TW202416713A - 仿射候選細化 - Google Patents

仿射候選細化 Download PDF

Info

Publication number
TW202416713A
TW202416713A TW112127131A TW112127131A TW202416713A TW 202416713 A TW202416713 A TW 202416713A TW 112127131 A TW112127131 A TW 112127131A TW 112127131 A TW112127131 A TW 112127131A TW 202416713 A TW202416713 A TW 202416713A
Authority
TW
Taiwan
Prior art keywords
affine
prediction
block
candidate
sub
Prior art date
Application number
TW112127131A
Other languages
English (en)
Inventor
羅志軒
賴貞延
徐志瑋
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202416713A publication Critical patent/TW202416713A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供了一種透過回歸細化仿射候選的方法。視訊編解碼器接收接收待編碼或待解碼作為視訊的當前圖片的當前塊的圖元塊的資料。視訊編解碼器推導線性模型，以透過回歸細化或生成預測候選，以最小化當前塊相鄰的當前範本的複數個樣本和由預測候選標識的參考範本的複數個樣本之間的差。視訊編解碼器基於已推導線性模型，生成當前塊的預測。視訊編解碼器透過使用已生成預測，對當前塊進行編碼或解碼。正被細化的預測候選可以是仿射運動候選，已推導線性模型是仿射運動模型。

Description

仿射候選細化
本發明一般涉及視訊編解碼 。具體地，本發明涉及一種使用仿射候選透過畫面間預測對圖元塊進行編解碼的方法。
除非此處有額外說明，本節所描述的方法不屬於下列申請專利範圍的習知技術，也不因包括本節而被承認為習知技術。
高效視訊編解碼（High-Efficiency Video Coding，HEVC）是由視訊編解碼的聯合合作團隊（Joint Collaborative Team on Video Coding，JCT-VC）開發的國際視訊編解碼標準。HEVC基於基於混合圖元塊的運動補償DCT類變換編解碼架構。壓縮的基本單元稱為編解碼單元（Coding unit，CU），是2Nx2N的正方形圖元塊，每一CU可以遞迴地分成四個更小的CU，直到達到預定義的最小大小。每一CU包含一個或複數個預測單元（Prediction unit，PU）。
多功能視訊編解碼（Versatile video coding，VVC）是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11聯合視訊專家組（Joint Video Expert Team，JVET）開發的最新國際視訊編解碼標準。輸入視訊訊號是從已重構訊號中預測得到的，已重構訊號是從已編解碼的圖像區域中推導得到的。預測殘差訊號是由圖元塊變換進行處理的。變換係數與位元流中的其他邊資訊一起進行量化和熵編解碼。已重構訊號是在對已去量化的變換係數進行逆變換後，從預測訊號和已重構殘差訊號中生成的。已重構訊號還透過環路濾波進行處理，用於移除編解碼偽影。已解碼圖像被存儲在暫存器中，用於預測輸入視訊訊號中的未來圖像。
在VVC中，已編解碼圖像被分割成由相關編解碼樹單元（Coding Tree Unit，CTU）表示的不重疊的正方形圖元塊區域。編解碼樹的葉節點對應於編解碼單元（Coding Unit，CU）。已編解碼圖像可以由切片的集合表示，每一切片包括整數個CTU。切片中的各個CTU按光柵掃描順序進行處理。使用最多兩個運動向量和參考索引的畫面內預測或畫面間預測，雙預測（Bi-predictive，B）切片可以被解碼，以預測每個圖元塊的樣本值。使用最多一個運動向量和參考索引的畫面內預測或畫面間預測，預測（Predictive，P）切片被解碼，以預測每個圖元塊的樣本值。僅使用畫面內預測，畫面內（Intra，I）切片被解碼。
使用具有嵌套的多類型樹（Multi-type-tree，MTT）結構的四叉樹（Quadtree，QT），可以將CTU分割為一個或複數個不重疊的編解碼單元（CU），以適應各種局部運動特徵和紋理特徵。使用五種劃分類型：四叉樹分割、垂直二叉樹分割、水準二叉樹分割、垂直中心側三叉樹分割、水準中心側三叉樹分割中的一種，將CU進一步劃分為更小的CU。
每一CU包含一個或複數個預測單元（Prediction Unit，PU）。預測單元與相關的CU語法一起作為基本單元，以用於標示預測子資訊。使用指定的預測過程來預測PU內相關圖元樣本的值。每一CU可以包含一個或複數個表示預測殘差圖元塊的變換單元（Transform Unit，TU）。變換單元（TU）包括亮度樣本的一個變換圖元塊（Transform Block，TB）和色度樣本的兩個相應的變換圖元塊，每一TB對應一個顏色分量的一個殘差圖元塊樣本。將整數變換應用於變換圖元塊。已量化係數的層值與其他邊資訊一起在位元流中進行熵編解碼。術語編解碼樹塊（Coding Tree Block，CTB）、編解碼圖元塊（Coding Block，CB）、預測圖元塊（Prediction Block，PB）、變換圖元塊（Transform Block，TB）被定義，以指定分別與CTU、CU、PU、TU相關的一個顏色分量的2D樣本陣列。因此，一個CTU包括一個亮度CTB、兩個色度CTB和相關的語法元素。類似的關係也適用於CU、PU和TU。
對於每一已畫面間預測的CU，包括運動向量、參考圖像索引和參考圖像清單使用索引的運動參數以及附加資訊用於生成已畫面間預測樣本。運動參數可以以顯式或隱式的方式被標示。當使用跳躍模式對CU進行編解碼時，CU與一個PU相關，並沒有有效的殘差係數，沒有編解碼的運動向量delta或參考圖像索引。合併模式被指定，其中當前CU的運動參數從相鄰CU獲得，包括空間候選和時間候選，以及VVC中引入的附加排程。合併模式可以應用於任何已畫面間預測CU。合併模式的替代是運動參數的顯式傳輸，其中運動向量、每一參考圖像清單相應的參考圖像索引和參考圖像清單使用標誌以及其他所需的資訊是對每一CU而進行顯式標示。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非顯而易見的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一步描述。因此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。
本發明的一些實施例提供了一種透過回歸細化仿射候選的方法。視訊編解碼器接收待編碼或待解碼作為視訊的當前圖片的當前塊的圖元塊的資料。視訊編解碼器推導線性模型，以透過回歸細化或生成預測候選，以最小化當前塊相鄰的當前範本的複數個樣本和由預測候選標識的參考範本的複數個樣本之間的差。視訊編解碼器基於已推導線性模型，生成當前塊的預測。視訊編解碼器透過使用已生成預測，對當前塊進行編碼或解碼。
在一些實施例中，正被細化的已推導預測候選是仿射運動候選，已推導模型是具有基於兩個檢查點的仿射運動的四個參數的仿射運動模型，或者具有用於三個檢查點的六個參數的仿射運動模型。正被細化的仿射運動候選可以是MMVD候選或適應性運動向量預測（Adaptive Motion Vector Prediction，AMVP）候選。已細化預測候選也可以是常規合併候選。
在一些實施例中，已細化預測候選被添加到當前塊的預測候選清單中。在一些實施例中，已細化預測候選代替當前塊的預測候選清單中的預測候選。
在一些實施例中，透過線性模型的回歸，僅對當前塊的預測候選清單中的預測候選子集進行細化。預測候選子集可以是基於與特定方向的接近度而標識的MMVD候選。在一些實施例中，對於每個MMVD候選，透過回歸，僅對基運動向量預測器（Motion Vector Predictor，MVP）進行細化。
在一些實施例中，已推導模型是仿射運動模型，該仿射運動模型是透過最小化複數個回歸子塊運動向量與（i）當前塊相鄰的複數個子塊的複數個子塊MV和（ii）從當前塊的仿射候選推導的複數個子塊MV之間的差而推導的，以細化仿射候選。預測是基於已細化仿射候選生成的。在一些實施例中，仿射運動模型是透過最小化複數個回歸子塊運動向量與（i）當前塊相鄰的複數個子塊相關的複數個已存儲子塊MV和（ii）與屬於參考仿射編解碼單元（CU）的複數個子塊相關的複數個繼承MV之間的差而推導的。參考仿射CU可以不與當前塊相鄰。
在下面詳細的說明書中，為了透徹理解相關教示內容，透過舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的方面，在相對較高的級別而無細節上描述已知的方法、程式、元件和/或關於此處所公開的一個或者複數個示例性實施方式的電路。 I. 合併模式
跳過模式和合併模式從空間相鄰塊（空間候選）或時間同位塊（時間候選）獲得運動資訊。當PU是跳過模式或合併模式時，沒有運動資訊被編解碼，而是僅對所選候選的索引進行編解碼。對於跳過模式，殘差訊號被強制為零並且不被編解碼。如果特定塊被 編碼為跳過或合併，則將標示候選索引，以指示候選集中哪個候選用於合併。每個已合併PU重用所選候選的MV、預測方向和參考圖片索引。
第1圖示出了合併模式的空間候選和時間候選。如圖所示，從A 0、A 1、B 0和B 1空間相鄰中，推導多達四個空間MV候選，並且從TBR或TCTR中（首先使用TBR，如果TBR不可用，則使用TCTR），推導一個時間MV候選。如果四個空間MV候選中的任何一個都不可用，則位置B2用於推導MV候選，作為替代。在四個空間MV候選和一個時間MV候選的推導過程之後，應用去除冗餘（即修剪）來去除冗餘MV候選。如果在去除冗餘（即修剪）之後，可用MV候選的數量小於5，則三種類型的額外候選被推導，並被添加到候選集（候選清單）中。基於率失真優化（Rate-distortion Optimization，RDO）決策，編碼器在候選集中選擇一個最終候選，用於跳過模式或合併模式，並將索引發送到解碼器。 II. 仿射運動場
視訊中的物件可能具有不同類型的運動，包括平移運動、放大/縮小運動、旋轉運動、透視運動和其他不規則運動。在一些實施例中，基於塊的仿射變換運動補償預測用於說明各種類型的運動。VVC提供了基於塊的仿射變換運動補償預測。具體地，當前塊在位置(x, y)處的仿射運動場mv x，mv y是以下線性模型的形式： mv x= a*x + b*y + c mv y= d*x + e*y + f (0)
係數{a，b，c，d，e，f}是線性模型的參數。在一些實施例中，位置（x，y）處的仿射運動場可以透過兩個控制點（Control Point，CP）（例如，塊的右上角和左上角）的運動資訊（4參數模型）或三個控制點（例如，塊的右下角、左上角和右下角）的運動資訊（6參數模型）來描述。
對於4參數仿射運動模型，方程0（塊中樣本位置（x，y）處的運動向量）可以被寫成： (1)
對於6參數仿射運動模型，方程0可以被寫成: (2)
其中，(mv 0x,mv 0y)是左上角控制點（左上角CPMV或mv 0）的運動向量，(mv 1x,mv 1y)是右上角控制點（右上角CPMV或mv 1）的運動向量，(mv 2x,mv 2y)是左下角控制點（左下角CPMV或mv 2）的運動向量。
在一些實施例中，2參數模型可用於細化平移畫面間預測候選（例如，常規合併候選）： MV x regress= MV x orig+ biasX MV y regress= MV y orig+ biasY (3)
第2圖示出了透過仿射運動場編解碼的當前塊的控制點運動向量（control point motion vector，CPMV）。當前塊具有位於左上角(mv 0)、右上角(mv 1)和左下角(mv 2)處的CPMV。使用諸如方程1（4參數仿射模型）或方程2（6參數仿射模型）之類的仿射運動模型，當前塊200中的位置(x, y)處的仿射運動場mv'可以被推導。 III. 仿射合併模式
仿射合併模式或AF_MERGE模式可被應用於寬度和高度均大於或等於8的CU。在該模式中，基於空間相鄰CU的運動資訊，生成當前CU在控制點（CPMV）處的運動向量。可以有多達五個CPMVP候選，並將標示索引，以指示用於當前CU的一個CPMV。以下三種類型的CPMV候選用於形成仿射合併候選清單：（1）從相鄰CU的CPMV推斷得到的繼承仿射合併候選；（2）使用相鄰CU的平移MV而推導的已構造仿射合併候選CPMVP；（3）零MV。
透過直接從相鄰塊獲得CPMV或者利用空間候選的子塊MV，繼承仿射候選從相鄰塊繼承仿射模型，以推導仿射模型。仿射合併清單中最多包括兩個繼承仿射候選，並且繼承仿射候選的推導過程遵循從B 0到B 2和從A 0到A 1搜索可用空間合併候選的順序。
另一方面，從來自不同相鄰塊的子塊MV中推導已構造仿射候選。第3圖示出了提供已構造仿射候選的相鄰塊。透過按以下順序從{A、B、C、H}中選擇兩個或三個子塊MV作為已構造仿射候選推導過程的輸入MV，將已構造仿射候選插入仿射合併清單： A, B, C A, B, H A, C, H B, C, H A, B A, C
仿射合併清單中最多包含6個已構造仿射候選，{A，B，C，H}的搜索過程是將{A0，A1，A2}中的第一個可用MV作為A，將{B0，B1}中的第一個可用MV作為B，將{C0，C1}中的第一個可用MV作為C，將同位塊中的子塊MV作為H。 IV. 基於回歸的運動向量場（Regression-based Motion Vector Field，RMVF)
運動行為可以在塊內變化。特別地，對於較大的CU，僅用一個運動向量來表示運動行為不是有效的。基於空間相鄰子塊的運動向量，RMVF方法對這種運動行為進行建模。
第4圖示出了用於RMVF運動參數推導的當前CU的空間相鄰子塊。該圖示出了具有相鄰子塊410的當前塊400。來自當前CU 400的相鄰子塊410的運動向量和中心位置被用作線性回歸過程的輸入，以推導仿射運動模型的線性模型參數集{ a xx, a xy, a yx, a yy, b x, b y}。回歸過程將相鄰子塊MV和由回歸模型推導的MV之間的均方誤差最小化。然後，用中心位置(X subPU, Y subPU)，當前CU 400中的子塊的運動向量(MV X_subPU, MV Y_subPU)可以被計算為： (4)
然後，可以透過具有參數{ a xx, a xy, a yx, a yy, b x, b y}的已推導仿射運動模型，細化當前CU 400的運動場。 IV. 仿射MMVD
不同於常規合併模式不同，其中隱式推導的運動資訊直接用於生成當前CU的預測樣本，在具有運動向量差的合併（Merge with Motion Vector Difference，MMVD）模式中，透過運動向量差MVD來進一步細化推導的運動資訊。透過基於預定義偏移（也稱為MMVD偏移）添加額外MMVD候選，MMVD還擴展合併模式的候選清單。
在一些實施例中，MMVD被擴展到仿射，作為仿射MMVD模式，用於進一步細化具有MV偏移的仿射合併候選。在仿射MMVD模式中，MV偏移是預定義的，並是用5個步長（即{1, 2, 4, 8, 16}）從8個方向（例如，k×π/2水平角和垂直角以及k×π/4對角）獲得的。透過將預定義的平移MV偏移添加到三個CPMV來生成仿射MMVD候選，並且仿射MMVD清單包括總共40個候選。在用範本匹配成本重新排序仿射MMVD清單後，僅範本匹配成本最小的20個仿射MMVD候選被保留。 V. 具有DMVR的仿射
為了增加合併模式的MV的精度，透過使用諸如雙邊匹配（Bilateral-matching，BM），解碼器側運動向量細化（Decoder Side Motion Vector Refinement，DMVR）可以應用於細化MV。在雙預測操作中，在參考圖片清單L0和參考圖片清單L1中的初始MV周圍搜索細化MV。BM方法計算參考圖片清單L0和參考圖片清單L1中的兩個候選塊之間的失真。具有最低SAD的MV候選變成細化MV，並用於生成雙預測訊號。
在一些實施例中，如果所選合併候選滿足DMVR條件，則在常規合併模式中應用多輪解碼器側運動向量細化（Multi-pass Decoder-side Motion Vector Refinement，MP-DMVR）方法。在第一輪中，雙邊匹配（Bilateral Matching，BM）被應用於編解碼塊。在第二輪中，BM被應用於編解碼塊內的每個16x16個子塊。在第三輪中，透過應用雙向光流（Bi-directional Optical Flow，BDOF），細化每個8x8子塊中的MV。在運動向量差MVD0（即MV0’-MV0）恰好是運動向量差MVP1（即MV1’-MV1）的相反符號的約束下，BM細化一對運動向量MV0和MV1。
在一些實施例中，MP-DMVR用於細化仿射CPMV。4參數仿射模型可以使用上面的方程1來描述，其中僅使用兩個非平移參數。
使用上面的方程2，可以描述6參數仿射模型，其中(mv x, mv y)是位置(x, y)處的運動向量。(mv 0x, mv 0y)是表示仿射模型的平移運動的基MV， ， ， 和 是定義仿射模型的旋轉、縮放和其他非平移運動的四個非平移參數。
在一些實施例中，透過僅應用多輪DMVR的第一步驟，利用仿射合併模式，對編解碼的編解碼塊的仿射模型的基MV進行細化。也就是說，如果候選滿足DMVR條件，則將平移MV偏移添加到仿射合併清單中的所有CPMV候選。並且MV偏移是透過最小化雙邊匹配的成本來推導的，這與傳統的DMVR相同。並且也沒有改變DMVR條件。
MV偏移搜索過程與多輪DMVR的第一輪相同，其中，3x3方形搜索圖案用於在水準方向上的搜索範圍[-8，+8]和垂直方向上的搜索範圍[-8，+8]進行環繞（Loop），以找到最佳整數MV偏移。然後，圍繞最佳整數位置進行半圖元搜索，最後，進行誤差面估計，以找到1/16精度的MV偏移。細化CPMV被存儲用於空間和時間運動向量預測，作為多輪DMVR結果。 VI. 基於回歸的仿射候選
A.透過範本回歸的仿射候選細化
本發明的一些實施例提供了一種透過回歸模型來細化仿射候選的方法，該回歸模型是透過將相鄰重構樣本（例如，在左側方向和/或頂部方向上的前N行的重構樣本，也稱為當前範本）與待細化仿射候選的參考範本之間的均方誤差（Mean Square Error，MSE）進行最小化而生成的。具體如下： 或 (5)
其中，(x, y)表示相對於重構塊的左上位置的位置，(x', y')表示相對於參考範本塊的左下位置的位置。B表示當前範本區域，B'表示參考範本區域。參考範本塊由回歸模型生成的回歸MV定位。回歸模型可以是4參數仿射模型（方程1）或6參數仿射模型 （方程2），或者甚至是2參數平移模型（方程3）。
第5A-C圖概念性地示出了使用範本回歸來細化仿射候選。如第5A圖所示，當前圖片500中的當前CU 505具有仿射候選510。仿射候選510用於定位參考圖片501中對應的參考範本區域530。當前CU 510的相鄰區域520被用作當前範本。
第5B圖示出了當前範本520的樣本和參考範本530的樣本，用於透過回歸生成線性模型550（因此，線性模型550也是回歸模型）。該回歸用於求解線性模型的參數。正在求解的線性模型550可以是以方程1或方程2形式的4參數仿射運動模型或6參數仿射運動模型。依據方程5，透過最小化當前範本520的樣本和參考範本530的樣本之間的MSE來驅動回歸。
第5A圖和第5B圖也示出了回歸過程。回歸下的線性運動模型550用於生成回歸MV 511，其定位更新的參考範本區域531，其樣本代替初始參考範本區域530的樣本而用於更新MSE計算。回歸MV 511可以被連續更新，直到依據方程5計算的MSE被最小化。
第5C圖示出了被應用於仿射候選510以生成可以是最終回歸MV 511的細化仿射候選512的已完成的模型550。
在一些實施例中，透過回歸模型，其是透過最小化相鄰重構樣本（例如，當前範本520，其包括左側方向和/或頂部方向上的前N行的重構樣本）與待細化的仿射合併候選的參考範本（例如，參考範本531）之間的均方誤差推導而來的，對仿射合併候選清單中的一個或複數個仿射合併候選進行細化。
在一些實施例中，透過2參數平移回歸模型，其最小化相鄰重構樣本與待細化的合併候選的參考範本之間的均方誤差，對合併候選清單中的一個或複數個合併候選進行細化。合併候選也可以以類似於雙向光流（Bi-directional Optical Flow，BDOF）的方式被細化。
在一些實施例中，透過2參數平移回歸模型，其最小化相鄰重構樣本與待細化的MMVD候選的參考範本之間的均方誤差，對MMVD候選清單中的一個或複數個MMVD候選進行細化。MMVD候選也可以以類似於雙向光流（BDOF）的方式被細化。
在一些實施例中，透過回歸模型，其最小化相鄰重構樣本與待細化的仿射MMVD候選的參考範本之間的均方誤差，對仿射MMVD候選清單中的一個或複數個仿射MMVD候選進行細化。細化之後，透過範本匹配成本，對仿射MMVD候選進行重新排序，並且僅保留具有最小範本匹配成本的N個候選。
在一些實施例中，首先透過範本匹配成本對仿射MMVD候選進行重新排序，並且僅保留具有最小範本匹配成本的N個候選，而丟棄其他候選。然後，透過回歸模型，其最小化相鄰重構樣本和待細化的仿射MMVD候選的參考範本之間的均方誤差，對剩餘的N個仿射MMVD候選進行細化。
在一些實施例中，透過回歸模型來細化基仿射MMVD候選。該模型用於確定哪個MMVD候選是優選的。依據回歸模型細化的仿射候選，對MMVD候選進行重新排序。
在一些實施例中，透過回歸模型，其最小化相鄰重構樣本與待細化的仿射AMVP候選的參考範本之間的均方誤差，對仿射AMVP候選清單中的一個或複數個仿射AMVP候選進行細化。細化之後，透過範本匹配成本，可以對仿射AMVP候選清單的仿射AMVP候選進行重新排序，並且僅保留具有最小範本匹配成本的N個候選。
在一些實施例中，首先透過範本匹配成本，對仿射AMVP候選進行重新排序，並且僅保留具有最小範本匹配成本的N個候選。然後，透過回歸模型，其最小化相鄰重構樣本與待細化的仿射AMVP候選的參考範本之間的均方誤差，對保留的N個仿射AMVP候選進行細化。
在一些實施例中，回歸模型（例如，使用樣本回歸或MV回歸）可以用作解碼器側MV細化過程（Decoder-side MV Refinement Process，DMVR）。例如，當仿射候選滿足一些約束時，透過回歸模型對仿射候選進行細化。這些約束的示例包括CU大小約束（例如，CU大小/寬度/高度＞、＞=、＜或＜=某個閾值）、相鄰MV/子塊MV數量約束、相鄰重構樣本數量約束、畫面間預測方向約束、真雙預測約束等。
B.透過範本回歸生成仿射候選
本發明的一些實施例提供了基於回歸的仿射候選，其是透過最小化當前範本樣本（即，當前塊的相鄰重構樣本）與待細化的仿射候選的參考範本樣本之間的均方誤差而推導的。例如，在第圖的示例中，細化仿射候選511可以被認為是基於回歸的仿射候選，其可以被添加到仿射候選清單中。
在一些實施例中，如果K個仿射候選和相鄰或非相鄰仿射CU可用，則總共K個基於回歸的仿射候選可以被包括在仿射候選清單中。K個基於回歸的仿射候選中的一個或複數個可以代替仿射候選清單中的任何候選，或者被額外地添加到仿射候選清單中。相同的方法可以應用於推導其他類型的基於回歸的仿射候選，例如，仿射合併候選清單中的基於回歸的仿射合併候選，或者仿射AMVP候選清單中的基於回歸的仿射AMVP候選，或者仿射MMVD候選清單中的基於回歸的MMVD AMVP候選。
在一些實施例中，回歸模型所細化的仿射候選可以被用於代替候選清單（例如，仿射合併候選清單、仿射MMVD候選清單或仿射AMVP候選清單）中的仿射候選，或者可以被插入到候選清單中。例如，回歸模型鎖細化的仿射候選可以被添加在原始候選之後，或者在前N個候選之後，或者在候選清單中的特定類型的候選之後。添加的回歸模型所細化的仿射候選的數量也可以被約束。
C. 透過範本回歸生成合併候選
在一些實施例中，透過使用合併候選的參考範本或非相鄰合併CU的參考範本作為輸入以推導參數平移回歸模型，其最小化相鄰重構樣本（當前範本）與待細化的合併候選的參考範本之間的均方誤差，基於回歸的合併候選被推導。如果K個合併候選和非相鄰合併CU可用，則總共K個基於回歸的合併候選可以包括在合併候選清單中。K個基於回歸的合併候選中的一個或複數個可以代替合併候選清單中的任何候選，或者被額外地添加到合併候選清單中。合併候選也可以以類似於BDOF的方式被細化。
D.透過MV回歸細化仿射候選
在一些實施例中，上文第IV節中描述的RMVF方法可用於透過相應的回歸模型，對仿射候選清單中的一個或複數個仿射候選進行細化。每個回歸模型將（i）相鄰子塊MV和（ii）從仿射候選推導的當前塊（例如，當前CU）的子塊MV作為輸入。回歸模型基於回歸，最小化相鄰子塊MV與由回歸模型推導的子塊MV之間的均方誤差。回歸模型可以是4參數或6參數仿射模型或2參數平移模型。與上述範本（Template，TM）回歸相對，這被稱為運動向量（Motion Vector，MV）回歸。
在一些實施例中，仿射細化模型是透過最小化（i）繼承子塊MV和/或相鄰子塊MV與（ii）由回歸模型推導的MV之間的MSE而推導的線性回歸模型。繼承子塊MV取自作為參考仿射CU的先前編解碼的仿射塊的子塊運動場，其可以是非相鄰仿射CU或基於歷史的仿射CU。相鄰子塊MV取自當前CU相鄰的4x4個子塊。
第6圖概念性地示出了使用當前CU的相鄰子塊MV和繼承子塊MV，透過MV回歸生成仿射運動模型。對於編解碼當前塊600，該圖顯示了（i）與當前塊600相鄰的相鄰子塊610相關的存儲MV(MV stored)，以及（ii）與屬於作為參考仿射CU的先前編解碼的仿射塊620的子塊相關的繼承MV (MV inherited)。參考仿射CU 620可以是與當前塊不相鄰的仿射CU，或者基於歷史的仿射CU。該圖還示出了（iii）回歸期間由回歸模型生成的回歸MV (MV regress)。
待求解的線性回歸模型如下： (6)
其中，B 1指示參考仿射編解碼的CU的區域（例如，非相鄰或CU 620），B 2指示當前CU的相鄰區域（例如相鄰子塊610）。線性模型是透過查找B 1和B 2的所有子塊位置x,y的MV x,y regress來構造的，其最小化MSE。回歸模型可以是4參數（方程1）或6參數仿射模型（方程2），或者甚至是2參數平移模型。
E.透過MV回歸細化仿射MMVD候選
在一些實施例中，透過回歸模型，細化基仿射MMVD候選。細化的基仿射MMVD候選用於確定哪個MMVD候選是優選的。依據回歸模型細化的仿射候選，對MMVD候選進行重新排序。
在一些實施例中，回歸模型細化的仿射候選可以被用於代替候選清單（例如，合併候選清單、MMVD候選清單或AMVP候選清單）中的仿射候選，或者可以被插入到候選清單中。在一些實施例中，可以將回歸模型細化的仿射候選添加到候選清單中，位於原始候選之後、或者前N個候選之後、或在某些類型的候選之後。添加的回歸模型細化的仿射候選的數量也可以被約束。
在一些實施例中，基於RMVF方法，將當前CU的相鄰子塊MV作為輸入，以推導回歸模型（表示為Mn）。此外，從每個仿射MMVD候選推導的當前CU中的運動場用於推導回歸模型集（表示為{Ma1，Ma2，…，MaN}，其中N＝仿射MMVD候選項的數量）。透過以特定的推導方法（例如，依據步長和/或方向的兩個線性和/或非線性仿射模型的組合）將Mn與{Ma1，Ma2，…，MaN}混合，可以得到最終回歸模型集（{Mf1，Mf2，…，MfN}，其中N＝仿射MMVD候選的數量。最終回歸模型集用於細化每個仿射MMVD候選的運動場。
回歸模型集{Mf1，Mf2，…，MfN}也可以用於推導仿射MMVD候選的N個CPMV候選。在這種方法中，只需要執行一次相鄰子塊MV的回歸。
混合過程可以被應用於子塊MV級、仿射參數級或CPMV級。混合過程可以受空間相鄰子塊MV的數量、每個仿射MMVD候選的參考塊中的子塊MV的數量、當前塊的子塊的數量、每個仿射MMVD候選的MV幅度、仿射MMVD的步長和方向、CU大小/寬度/高度、以及以上的任意組合限制。仿射參數級的混合可以使用空間相鄰子塊MV的數量、每個仿射MMVD候選的參考塊中的子塊MV的數量、當前塊的子塊的數量、每個仿射MMVD候選的MV幅度、仿射MMVD的步長和方向以及以上的任意組合。
F.混合範本回歸模型和MV回歸模型
在一些實施方案中，透過範本回歸的第一回歸模型（如上文第A節中所描述）和透過MV回歸的第二回歸模型（如上文第D節所描述）被混合，以推導融合回歸模型。具體地，透過使用範本回歸最小化相鄰重構樣本與待細化的仿射候選的參考範本之間的均方誤差，仿射合併候選或仿射AMVP候選的參考樣本，或非相鄰仿射CU的參考樣本可用於推導第一回歸模型（稱為Ma）。透過使用MV回歸最小化相鄰子塊MV和繼承子塊MV之間的均方誤差，將來自對應仿射合併或仿射AMVP候選或對應非相鄰仿射CU的相鄰子塊MV和繼承子塊MV作為輸入，以推導第二回歸模型（稱為Mb）。
透過以某種推導方法（例如，依據預定義權重的兩個仿射模型的線性和/或非線性組合）混合Ma和Mb，推導混合或融合回歸模型（稱為Mf）。如果K個仿射合併候選或仿射AMVP候選和非相鄰仿射CU可用，則從Mf推導的總共K個基於回歸的仿射候選被包括到仿射合併候選清單或仿射AMVP候選清單中。K個基於回歸的仿射候選中的一個或複數個可以代替仿射合併候選清單或仿射AMVP候選清單中的任何候選，或者被額外地添加到仿射合併候選清單或仿射AMVP候選清單中。
在一些實施例中，透過混合回歸模型（Regression Model，Mf），其是最小化MV誤差的回歸模型和最小化範本樣本誤差的回歸模型的組合，對仿射MMVD候選進行細化。混合回歸模型用於細化一個或複數個仿射MMVD候選。
在一些實施例中，基於RMVF方法，將當前CU的相鄰子塊MV作為輸入，以推導回歸模型（表示為Mn），並且從仿射MMVD候選集中推導的當前CU中的運動場用於推導回歸模型集（表示為{Ma1，Ma2，…，MaN}，其中N＝仿射MMVD候選的數量）。此外，每個仿射MMVD候選的參考範本用於推導另一回歸模型集（表示為{Mb1，Mb2，…，MbN}，其中N＝仿射MMVD候選的數量），其最小化相鄰重構樣本與每個仿射MMVD候選的參考範本之間的均方誤差（範本回歸）。透過以特定的推導方法（例如，依據步長和/或方向的三個仿射模型的線性和/或非線性組合）將Mn與{Ma1，Ma2，…，MaN}和{Mb1，Mb2，..，MbN}混合，可以獲得最終回歸模型集（{Mf1，Mf2，…，MfN}，其中N＝仿射MMVD候選的數量）。最終回歸模型集用於細化每個仿射MMVD候選的運動場。回歸模型集{Mf1，Mf2，…，MfN}可以用於推導仿射MMVD候選的N個CPMV候選。在一些實施例中，僅執行一次相鄰子塊MV的回歸。
混合過程可以被應用於子塊MV級、仿射參數級或CPMV級。混合過程可以受當前範本樣本的數量、參考範本樣本的數量、空間相鄰子塊MV的數量、每個仿射MMVD候選的參考塊中的子塊MV的數量、當前塊的子塊數量、每個仿射MMAD候選的MV幅度、仿射MMVD的步長和方向、CU大小/寬度/高度、QP值以及以上任意組合限制。仿射參數級處的混合可以使用空間相鄰子塊MV的數量、每個仿射MMVD候選的參考塊中的子塊MV的數量、當前塊的子塊數量、每個仿射MMVD候選的MV幅度、仿射MMVD的步長和方向以及以上的任意組合的資訊。
G.透過回歸減少仿射MMVD合併候選
在一些實施例中，透過回歸，對仿射MMVD模式的基MVP進行細化。該方法還依據原始仿射MMVD的基MVP和細化仿射MMVD基MVP之間的CPMV差，確定仿射MMVD的步長和/或方向。具有CPMV差的角度的最接近仿射MMVD方向被表示為Dc，具有CPMV差的幅度的最接近仿射MMVD步長被表示為Sc。在一些實施例中，透過範本匹配成本，只對方向Dc和步長Sc附近的K個（指示預定義數量）仿射MMVD候選進行重新排序，以減少範本匹配成本計算或者減少仿射MMVD方向和/或步長的標示開銷。回歸模型可以最小化相鄰子塊MV和繼承（來自仿射MMVD的基MVP）子塊MV與回歸模型推導的MV之間的均方誤差最小化，和/或最小化相鄰重構樣本和仿射MMVD基MVP的參考範本樣本之間的均方誤差。
在一些實施例中，透過回歸，對減少後的剩餘候選進行進一步細化。具體地，透過回歸模型，只對方向Dc和步長Sc附近的K個（表示預定義的數量）仿射MMVD候選進行細化，以減少回歸矩陣求解的計算。然後，透過範本匹配成本，對K個仿射MMVD候選進行重新排序，並保留具有最小範本匹配成本的N個候選。透過最小化相鄰子塊MV和繼承子塊MV（即，從仿射MMVD的基MVP或仿射MMVD候選推導的子塊MV）與透過回歸模型推導的MV之間的均方誤差最小化，和/或最小化將相鄰重構樣本與仿射MMVD基MVP或仿射MMVD候選的參考範本之間的均方差，回歸模型被推導出。
H.透過回歸結果減少MMVD合併候選
在一些實施例中，透過回歸，（僅）對MMVD模式的基MVP進行細化。該方法還依據原始MMVD基MVP和細化MMVD基MVP之間的MVP差，確定MMVD的步長和/或方向。具有MVP差的角度的最接近MMVD方向被表示為Dc，具有MV差的幅度的最接近MMVD步長被表示為Sc。僅方向Dc和步長Sc附近的K個（預定數量）MMVD候選被添加到MMVD候選清單中，以節省MMVD方向和/或步長的標示開銷。回歸模型可以最小化相鄰子塊MV和繼承（來自MMVD基MVP）子塊MV與透過回歸模型推導的MV之間的均方誤差，和/或最小化相鄰重構樣本與MMVD基MVP的參考範本之間的均方誤差。
在一些實施例中，透過範本匹配成本，僅對方向Dt和步長St附近的K個（表示預定義數量）畫面間MMVD候選進行重新排序，以減少範本匹配成本計算或減少畫面間MMVD方向和/或步長的標示開銷。
J.透過雙邊匹配細化仿射運動
在一些實施例中，將一個待測試運動偏移添加到所有CPMV中，以成為待測試CPMV。接下來，相應地推導子塊MV，然後在雙邊匹配演算法的輪1中計算兩個預測器之間的差。選擇差最小的待測試CPMV作為細化CPMV。在一些實施例中，用透過具有輪1、輪2和/或輪3的雙邊匹配演算法所推導的相同運動偏移，可以對仿射編解碼塊的所有CPMV進行細化。
在一些實施例中，首先基於CPMV，推導仿射編解碼塊的所有子塊運動。之後，給所有子塊運動添加相同的運動偏移，其將在雙邊匹配演算法中被測試。兩個預測器之間的差被計算，並被用於在這些待測試的運動偏移中選擇最佳運動偏移。在該方法中，當測試不同的待測試運動偏移時，只能應用仿射子塊運動的推導過程一次。
K.透過塊級和子塊級的雙邊匹配細化仿射運動
在一些實施例中，在基於CPMV推導所有子塊運動之後，透過雙邊匹配，對預定義區域中的子塊運動進行細化。然後，基於雙邊匹配，推導運動偏移，並且將推導的運動偏移添加到預定義區域中的所有子塊運動中。例如，如果預定義區域是16x16，則32x32仿射編解碼塊將被分割為四個區域，並且對應區域中的子塊的四個運動偏移被推導。
第7圖示出了塊級和子塊級的雙邊匹配。在圖中，A、B、C、D……P是一個仿射編解碼CU中的8x8個子塊。在基於CPMV推導所有子塊運動之後，每個16x16區域(A, B, E, F) (C, D, G, H) (I, J, M, N) (K, L, O, P)中的運動用於推導一個運動偏移。子塊A、B、E和F用於推導一個運動偏移，並且推導的運動偏移用於細化A、B、E和F中的子塊運動。子塊C、D、G和H用於推導一個運動偏移，推導的運動偏移用於細化C、D，G和H中的子塊運動。子塊I、J、M和N用於推導一個運動偏移，且推導的運動偏移用於細化I、J、M和N中的子塊運動。子塊K、L、O和P用於推導一個運動偏移，且推導的運動偏移用於細化K、L，O和P中的子塊運動。
在一些實施例中，將上述推導的運動偏移添加回相應的CPMV中，以推導細化CPMV。最終子塊運動是依據細化CPMV推導的。在一些實施例中，上面的細化子塊運動用於透過使用一些回歸方法來推導細化CPMV。最終子塊運動是依據細化CPMV推導的。
在一些實施例中，使用分層雙邊匹配運動細化。例如，兩個預定義區域為32x32和8x8。對於仿射編解碼的CU，在基於CPMV推導所有子塊運動之後，透過雙邊匹配推導的相同運動偏移，對一個32x32區域中的所有子塊運動進行細化。之後，透過雙邊匹配推導的相同運動偏移，對一個16x16區域中的每個子塊進行再次細化。
例如，64x64仿射編解碼塊包括四個32x32區域(A, B, E, F) (C, D, G, H) (I, J, M, N) (K, L, O, P)。基於區域(A, B, E, F)中的所有子塊運動，一個運動偏移被推導，並被添加到區域(A, B, E, F)的所有子塊運動中。基於區域(C, D, G, H)中的所有子塊運動，一個運動偏移被推導，並被添加到區域(C, D, G, H)的所有子塊運動中。基於區域(I, J, M, N)中的所有子塊運動，一個運動偏移被推導，並被添加到區域(I, J, M, N)的所有子塊運動中。基於區域(K, L, O, P)中的所有子塊運動，一個運動偏移被推導，並被添加到區域(K, L, O, P)的所有子塊運動中。之後，區域A(16x16)中的四個8x8子塊被用於推導一個運動偏移，其被添加到區域A中的四個子塊運動中。類似於64x64仿射編解碼塊中的每個16x16區域(A, B, C, D, …P)。上述實施例中的預定義區域大小可以基於CU大小或圖片大小來設計。
在一些實施例中，使用分層雙邊匹配運動細化。只有當淺深度運動細化的雙邊匹配成本大於閾值時，才應用更深深度的雙邊匹配。閾值可以基於CU大小來設計。例如，在添加相應的運動偏移之後，計算每個32x32區域的雙邊匹配成本。在32x32區域中，只有當計算的雙邊匹配成本大於CU大小的一半時，才執行具有16x16區域中的子塊的雙邊匹配。
在一些實施例中，將上述推導的運動偏移加回到相應的CPMV中，以推導細化CPMV。依據細化CPMV，推導最終子塊運動。在另一個實施例中，透過使用某種回歸方法，上述的細化子塊運動用於推導細化CPMV。依據細化CPMV，推導最終子塊運動。
在一些實施例中，雙邊匹配可以由上述的範本匹配代替。當使用範本匹配而不是雙邊匹配時，僅位於CU頂部邊界和左側邊界處的子塊用於確定推導的運動偏移。對於不位於CU頂部邊界和左側邊界處的其他子塊，推導的運動偏移可以與推導的一個相同，或被設置為零。
L.透過雙邊匹配細化sbTMVP運動
在一些實施例中，在推導基於子塊的時間運動向量預測（subblock-based Temporal Motion Vector Prediction，sbTMVP）編解碼塊的所有子塊運動之後，將透過雙邊匹配，推導運動細化。之後，推導的運動細化將被添加到所有子塊運動中。透過上述方式，基於雙邊匹配的結果，可以將sbTMVP編解碼塊的所有參考子塊一起進行移位（Shift）。先前提到的雙邊匹配方法可以是具有輪1、輪2和/或輪3的MP-DMVR。
在一些實施例中，在推導sbTMVP編解碼塊的所有子塊運動之後，預定義區域中的所有子塊將被分組，以推導一個運動偏移。推導的運動偏移將用於細化預定義區域中的所有子塊運動。例如，區域可以是16x16或32x32。又例如，該區域應包括sbTMVP編解碼塊內的一半或四分之一的子塊。再例如，可以基於CU大小或圖片大小，設計該區域。
在一些實施例中，在推導sbTMVP編解碼塊的所有子塊運動之後，使用分層運動細化。例如，sbTMVP編解碼塊的每個32x32中的子塊用於推導一個運動偏移。如果當前sbTMVP編解碼塊是64x64，則將分別基於4個32x32區域中的子塊，推導4個運動偏移。之後，在一個32x32區域中，將分別基於每16x16區域中的子塊，推導4個運動偏移，並且將推導的運動偏移添加到相應的子塊運動中。
在一些實施例中，在推導sbTMVP編解碼塊的所有子塊運動之後，使用分層運動細化。只有當淺深度運動細化的雙邊匹配成本大於閾值時，才應用更深深度的雙邊匹配。閾值可以基於CU大小來設計。例如，在添加相應的運動偏移之後，計算每個32x32區域的雙邊匹配成本。在32x32區域中，只有當計算的雙邊匹配成本大於CU大小的一半時，才執行具有16x16區域中的子塊的雙邊匹配。
在一些實施例中，雙邊匹配可以由上述範本匹配代替。當使用範本匹配而不是雙邊匹配時，僅位於CU頂部邊界和左側邊界的子塊用於確定運動偏移。對於不位於CU頂部邊界和左側邊界的其他子塊，運動偏移可以與推導的一個相同，或被設置為零。
任何提出的發明和概念都可以被組合。本發明和實施例中提到與仿射畫面間預測模式相關的回歸模型可以是4參數或6參數仿射型模型，或者甚至是2參數平移型模型。本發明中提到的與畫面間預測模式相關的回歸模型可以是2參數平移型模型，或者可以由與BDOF類似的任何細化方法代替。
M.組合仿射MP-DMVR與回歸
在一些實施例中，透過基於回歸的運動細化，可以對透過MP-DMVR相關運動細化方法所細化的MV進行進一步細化。第8圖概念性地示出了透過回歸進一步細化的MP-DMVR細化的MV。該圖說明瞭透過將當前CU中的MP-DMVR所細化的子塊MV作為輸入的回歸過程推導的3個CPMV。
首先透過範本匹配或雙邊匹配，分別對3個CPMV進行細化。回歸過程將當前CU中的子塊MV作為輸入，以推導回歸模型。從細化CPMV和相鄰子塊中，推導子塊MV。透過雙邊或範本匹配成本，可以將基於回歸的CPMV與MP-DMVR細化的CPMV進行比較，以獲得成本最小的當前CU的最佳CPMV。
任何前述提出的方法都可以在編碼器和/或解碼器中實施。例如，所提出的方法中的任何方法都可以在編碼器和/或解碼器的仿射畫面間預測模組和/或平移畫面間預測模組中實施。可選地，所提出的方法中的任何方法都可以被實施為耦合到編碼器和/或解碼器的仿射畫面間預測模組和/或平移畫面間預測模組的電路。 VII. 示例視訊編碼器
第9圖示出了可以透過回歸細化仿射候選的視訊編碼器900的示例。如圖所示，視訊編碼器900從視訊源905接收輸入視訊訊號，並將該訊號編碼成位元流995。視訊編碼器900具有若干元件或模組，以用於對來自視訊源905的訊號進行編碼，至少包括變換模組910、量化模組911、逆量化模組914、逆變換模組915、畫面內估計模組920、畫面內預測模組925、運動補償模組930、運動估計模組935、環內濾波器945、已重構圖像暫存器950、MV暫存器965、MV預測模組975，以及熵編碼器990。運動補償模組930和運動估計模組935是畫面間預測模組940的一部分。
在一些實施例中，模組910–990是由計算設備或電子設備的一個或複數個處理單元（例如，處理器）正在執行的軟體指令的模組。在一些實施例中，模組910–990是由電子設備的一個或複數個積體電路（Integrated Circuit，IC）實現硬體電路的模組。儘管模組910–990被示為單獨的模組，但其中一些模組可以組合成單個模組。
視訊源905提供原始視訊訊號，其表示沒有壓縮的每個視訊資訊框的圖元資料。減法器908計算視訊源905的原始視訊圖元資料與來自運動補償模組930或畫面內圖像預測模組925的已預測圖元資料913之間的差，作為預測殘差909。變換模組910將該差（或殘差圖元資料或殘差訊號908）變換為變換係數（例如，透過執行離散余弦變換或DCT）。量化模組911將變換係數量化為已量化資料（或已量化係數）912，其由熵編碼器990編碼到位元流995中。
逆量化模組914去量化已量化資料（或已量化係數）912，以得到變換係數，逆變換模組915對變換係數進行逆變換，以產生已重構殘差919。將已重構殘差919與已預測圖元資料913相加，以產生已重構圖元資料917。在一些實施方式中，已重構圖元資料917暫時存儲於線暫存器（未示出）中，用於畫面內圖像預測和空間MV預測。已重構圖元由環內濾波器945進行濾波，並被存儲於已重構圖像暫存器950中。在一些實施方式中，已重構圖像暫存器950是視訊編解碼器900外部的存儲。在一些實施方式中，已重構圖像暫存器950是視訊編碼器900內部的存儲。
圖像畫面內估計模組920基於已重構圖元資料917執行畫面內預測，以產生畫面內預測資料。畫面內預測資料被提供給熵編碼器990，以將其編碼成位元流995。畫面內預測資料也由畫面內預測模組925使用，以產生預測圖元資料913。
透過產生到存儲在已重構圖像暫存器950中的先前已解碼資訊框的參考圖元資料的運動向量，運動估計模組935執行畫面間預測。這些運動向量被提供給運動補償模組930，以產生已預測圖元資料。
不是對位元流中的完整實際MV進行編碼，視訊編解碼器900使用MV預測，生成已預測MV，用於運動補償的MV與已預測MV之間的差被編碼為殘差運動資料，並被存儲在位元流995中。
運動向量預測模組975基於被生成用於編碼之前視訊資訊框的參考運動向量，生成預測運動向量，即被用於執行運動補償的運動補償運動向量。運動向量預測模組975從運動向量暫存器965中檢索來自於之前視訊資訊框的參考運動向量。視訊編碼器900將被生成用於當前視訊資訊框的這些運動向量存儲到運動向量暫存器965中，以作為用於生成預測運動向量的參考運動向量。
運動向量預測模組975使用參考運動向量來創建已預測運動向量。已預測運動向量可以由空間運動向量預測或者時間運動向量預測來計算。已預測運動向量和當前資訊框的運動補償運動向量（motion compensation MV，MC MV）之間的差（殘差運動資料）被熵編碼器990編碼成位元流995。
透過使用熵編碼技術，例如上下文適應性二進位算術編碼（CABAC）或霍夫曼編碼，熵編碼器990將各種參數和資料編碼到位元流995中。熵編碼器990將各種標頭元素、標誌和已量化變換係數912以及殘差運動資料作為語法元素編碼到位元流995中。反過來，位元流995被存儲在存放設備中或透過諸如網路的通訊介質被傳輸到解碼器。
環內濾波器945對已重構圖元資料917執行濾波或者平滑操作，以減少編解碼的偽影，特別是位於圖元塊的邊界的偽影。在一些實施方式中，環內濾波器945所執行的濾波操作或平滑操作包括去塊濾波器（deblock filter，DBF）、樣本適應性偏移（sample adaptive offset，SAO）和/或適應性環濾波器（adaptive loop filter，ALF）。
第10圖示出了實施透過回歸細化仿射候選的部分視訊編碼器900。如圖所示，運動估計模組935搜索已重構圖片暫存器950的內容，以確定用於運動補償的MV。具體地，運動估計模組935可以基於搜索結果，從預測候選清單1020中選擇預測候選，並且將所選擇的預測候選提供給運動補償模組930，以生成用於畫面間預測的已預測圖元資料913。還可以將該選擇提供給熵編碼器990，以在位元流中標示該選擇。
預測候選清單1020可以包括合併候選和仿射候選。仿射候選可以是仿射MMVD候選和/或仿射AMVP候選和/或者仿射合併候選。預測候選被存儲在MV暫存器965中。清單中的仿射候選中的一些可以由回歸模型1010來細化或生成。
回歸引擎1005基於已重構圖片暫存器950和MV暫存器965的內容執行回歸，以生成回歸模型1010。透過範本回歸，其最小化當前塊相鄰的當前範本的樣本與由細化預測候選標識的參考範本的樣本之間的差，回歸模型1010可以被生成。透過MV回歸，其最小化（i）當前塊相鄰的子塊的子塊MV和（ii）從當前塊的仿射候選推導的子塊MV之間的差，回歸模型1010也可以被生成。回歸模型也可以是由範本回歸創建的第一模型和由MV回歸創建的第二模型的混合模型。在一些實施例中，只有清單中的預測候選的子集被回歸模型細化。
第11圖概念性地示出了透過推導回歸模型來細化預測候選的過程1100。在一些實施例中，實施編碼器900的計算設備的一個或複數個處理單元（例如，處理器）透過執行存儲在電腦可讀介質中的指令來執行過程1100。在一些實施例中，實施編碼器900的電子設備執行過程1100。
編碼器接收（在框1110處）待編碼作為視訊的當前圖片的當前塊的圖元塊的資料。編碼器推導（在框1120處）線性模型，以透過回歸細化或生成預測候選，以最小化當前塊相鄰的當前範本的複數個樣本和由預測候選標識的參考範本的複數個樣本之間的差。
在一些實施例中，正被細化的已推導預測候選是仿射運動候選，已推導模型是具有基於兩個檢查點的仿射運動的四個參數的仿射運動模型，或者具有用於三個檢查點的六個參數的仿射運動模型。正被細化的仿射運動候選是MMVD候選或適應性運動向量預測（AMVP）候選。正被細化的預測候選也可以是常規合併候選。
在一些實施例中，已細化預測候選被添加到當前塊的預測候選清單中。在一些實施例中，已細化預測候選代替當前塊的預測候選清單中的預測候選。
在一些實施例中，透過線性模型的回歸，僅對當前塊的預測候選清單中的預測候選子集進行細化。預測候選子集可以是基於與特定方向的接近度而標識的MMVD候選。在一些實施例中，對於每個MMVD候選，透過回歸，僅對基運動向量預測器（Motion Vector Predictor，MVP）進行細化透過。
編碼器基於已推導線性模型，生成（在框1130處）當前塊的預測。該預測可以是基於已細化預測候選來生成的。編碼器透過使用已生成預測，對當前塊進行編碼或解碼（在框1140處），以產生預測殘差。
在一些實施例中，已推導模型是仿射運動模型，仿射運動模型是透過最小化複數個回歸子塊運動向量與（i）當前塊相鄰的複數個子塊的複數個子塊MV和（ii）從當前塊的仿射候選推導的複數個子塊MV之間的差而推導的，以細化仿射候選。該預測是基於已細化仿射候選生成的。在一些實施例中，仿射運動模型是透過最小化該複數個回歸子塊運動向量與（i）該當前塊相鄰的複數個子塊相關的複數個已存儲子塊MV和（ii）與屬於參考仿射編解碼單元（CU）的複數個子塊相關的複數個繼承MV之間的差而推導的。參考仿射CU可以不與當前塊相鄰。 VIII. 示例視訊解碼器
在一些實施方式中，編碼器可以在位元流中標示（或生成）一個或複數個語法元素，使得解碼器可以從位元流解析一個或複數個語法元素。
第12圖示出了可以細化仿射候選的視訊解碼器1200的示例。如圖所示，視訊解碼器1200是圖像解碼或視訊解碼電路，其接收位元流1295並將位元流的內容解碼為視訊資訊框的圖元資料以供顯示。視訊解碼器1200具有用於解碼位元流1295的若干元件或模組，包括從逆量化模組1211、逆變換模組1210、畫面內預測模組1225、運動補償模組1230、環內濾波器1245、已解碼圖像暫存器1250、運動向量暫存器1265、運動向量預測模組1275和解析器1290中選擇的一些元件。運動補償模組1230是畫面間預測模組1240的一部分。
在一些實施方式中，模組1210-1290是由計算設備的一個或複數個處理單元（例如處理器）正在執行的軟體指令的模組。在一些實施方式中，模組1210-1290是由電子裝置的一個或複數個IC實施的硬體電路模組。雖然模組1210-1290被示意為獨立的模組，但這些模組中一些模組可以組合成一個單獨的模組。
解析器1290（或熵解碼器）接收位元流1295，並依據視訊編解碼或圖像編解碼標準定義的語法執行初始解析。已解析語法元素包括各種標元素、旗標以及已量化資料（或已量化係數）1212。解析器1290透過使用熵編解碼技術（如上下文適應性二進位算術編解碼（CABAC）或Huffman編碼）解析出各種語法元素。
逆量化模組1211對已量化資料（或已量化係數）1212進行去量化，得到變換係數，逆變換模組1210對變換係數1216進行逆變換，產生已重構殘差1219。已重構殘差1219與來自畫面內預測模組1225或運動補償模組1230的已預測圖元資料1213相加，產生已解碼圖元資料1217。已解碼圖元資料由環內濾波器1245濾波並被存儲在已解碼圖像暫存器1250中。在一些實施方式中，已解碼圖像暫存器1250是視訊解碼器1200外部的存儲。在一些實施方式中，已解碼圖像暫存器1250是視訊解碼器1200內部的存儲。
畫面內預測模組1225接收來自位元流1295的畫面內預測資料，並依據該資料，從存儲在已解碼圖像暫存器1250中的已解碼圖元資料1217中產生已預測圖元資料1213。在一些實施方式中，已解碼圖元資料1217還存儲在線暫存器（未示出）中，用於圖像畫面內預測和空間MV預測。
在一些實施方式中，已解碼圖像暫存器1250的內容用於顯示。顯示設備1255檢索已解碼圖像暫存器1250的內容以直接顯示，或者將已解碼圖像暫存器的內容檢索到顯示暫存器。在一些實施方式中，顯示設備透過圖元傳輸接收來自已解碼圖像暫存器1250的圖元值。
依據運動補償MV （MC MV），運動補償模組1230從存儲在已解碼圖像暫存器1250中的已解碼圖元資料1217中產生已預測圖元資料1213。透過將從位元流1295接收到的殘差運動資料與從運動向量預測模組1275接收到的已預測MV相加，對這些運動補償MV進行解碼。
運動向量預測模組1275基於被生成用於解碼之前視訊資訊框的參考MV，生成已預測MV，例如，用於執行運動補償的運動補償MV。運動向量預測模組1275從運動向量暫存器1265中檢索之前視訊資訊框的參考運動向量。視訊解碼器1200也將被生成用於解碼當前視訊資訊框的運動補償運動向量存儲到運動向量暫存器1265中，作為參考運動向量，以用於產生已預測運動向量。
環內濾波器1245對已解碼圖元資料執行濾波或者平滑操作，以減少編解碼的偽影，特別是位於圖元塊的邊界的偽影。在一些實施方式中，環內濾波器1245所執行的濾波或者平滑操作包括去塊濾波器（deblock filter，DBF）、樣本適應性偏移（sample adaptive offset，SAO）和/或適應性環濾波器（adaptive loop filter，ALF）。
第13圖示出了實施透過回歸細化仿射候選的部分視訊解碼器1200。如所示，熵解碼器1290可以基於位元流1295中標示的語法元素，從預測候選清單1320中選擇預測候選。所選擇的預測候選被提供給運動補償模組1230，以生成用於畫面間預測的已預測圖元資料1213。
預測候選清單1320可以包括合併候選和仿射候選。仿射候選可以是仿射MMVD候選和/或仿射AMVP候選和/或者仿射合併候選。清單1320的預測候選被存儲在MV暫存器1265中。清單中的仿射候選中的一些可以由回歸模型1310來細化或生成。
回歸引擎1305基於已解碼圖片暫存器1250和MV暫存器1265的內容執行回歸，以生成回歸模型1310。透過範本回歸，其最小化當前塊相鄰的當前範本的樣本與由細化預測候選標識的參考範本的樣本之間的差，回歸模型1310可以被生成。透過MV回歸，其最小化（i）與當前塊相鄰的子塊的子塊MV和（ii）從當前塊的仿射候選推導的子塊MV之間的差，回歸模型1310也可以被生成。回歸模型也可以是由範本回歸創建的第一模型和由MV回歸創建的第二模型的混合模型。在一些實施例中，只有清單中的預測候選的子集被回歸模型1310細化。
第14圖概念性地示出了透過推導回歸模型來細化預測候選的過程1400。在一些實施例中，實施解碼器1200的計算設備的一個或複數個處理單元（例如，處理器）透過執行存儲在電腦可讀介質中的指令來執行過程1400。在一些實施例中，實施解碼器1200的電子設備執行過程1400。
解碼器接收（在框1410處）待解碼作為視訊的當前圖片的當前塊的圖元塊的資料。解碼器推導（在框1420處）推導線性模型，以透過回歸細化或生成預測候選，以最小化當前塊相鄰的當前範本的複數個樣本和由預測候選標識的參考範本的複數個樣本之間的差。
在一些實施例中，正被細化的已推導預測候選是仿射運動候選，已推導模型是具有基於兩個檢查點的仿射運動的四個參數的仿射運動模型，或者具有用於三個檢查點的六個參數的仿射運動模型。正被細化的仿射運動候選是MMVD候選或適應性運動向量預測（AMVP）候選。正被細化的預測候選也可以是常規合併候選。
在一些實施例中，已細化預測候選被添加到當前塊的預測候選清單中。在一些實施例中，已細化預測候選代替當前塊的預測候選清單中的預測候選。
在一些實施例中，透過線性模型的回歸，僅對當前塊的預測候選清單中的預測候選子集進行細化。預測候選子集可以是基於與特定方向的接近度而標識的MMVD候選。在一些實施例中，對於每個MMVD候選，透過回歸，僅對基運動向量預測器（Motion Vector Predictor，MVP）進行細化透過。
解碼器基於已推導線性模型，生成（在框1430處）當前塊的預測。該預測可以是基於已細化預測候選來生成的。解碼器透過使用已生成的預測，重構（在框1440處）當前塊。然後，解碼器可以提供已重構當前塊，以作為已重構當前圖像的一部分進行顯示。
在一些實施例中，已推導模型是仿射運動模型，仿射運動模型是透過最小化複數個回歸子塊運動向量與（i）當前塊相鄰的複數個子塊的複數個子塊MV和（ii）從當前塊的仿射候選推導的複數個子塊MV之間的差而推導的，以細化仿射候選。該預測是基於已細化仿射候選生成的。在一些實施例中，仿射運動模型是透過最小化該複數個回歸子塊運動向量與（i）該當前塊相鄰的複數個子塊相關的複數個已存儲子塊MV和（ii）與屬於參考仿射編解碼單元（CU）的複數個子塊相關的複數個繼承MV之間的差而推導的。參考仿射CU可以不與當前塊相鄰。 IX. 電子系統示例
很多上述的特徵和應用可以被實作為軟體過程，其被指定為記錄在電腦可讀存儲介質（Computer Readable Storage Medium）（也被稱為電腦可讀介質）上的指令集。當這些指令由一個或者複數個計算單元或者處理單元（例如，一個或者複數個處理器、處理器核或者其他處理單元）來執行時，則這些指令使得處理單元執行這些指令所表示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器（Flash Drive）、隨機存取記憶體（Random Access Memory，RAM）晶片、硬碟、可讀寫可程式設計唯讀記憶體（Erasable Programmable Read Only Memory，EPROM），電可擦除可程式設計唯讀記憶體（Electrically Erasable Programmable Read-only memory，EEPROM）等。電腦可讀介質不包括通過無線或有線連接的載波和電訊號。
在本說明書中，術語「軟體」意味著包括唯讀記憶體中的固件或者存儲在磁存放裝置中的應用程式，應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，複數個軟體發明可以作為更大程式的子部分來實作，而保留不同的軟體發明。在一些實施例中，複數個軟體發明可以作為獨立的程式來實作。最後，一起實作此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當被安裝以在一個或者複數個電子系統上進行操作時，軟體程式定義了一個或者複數個特定的機器實作方式，機器實作方式執行和實施軟體程式的操作。
第15圖概念性地示出了實施本發明一些實施例的電子系統1500。電子系統1500可以是電腦（例如，臺式電腦、個人電腦、平板電腦等）、電話、PDA或任何其他種類的電子設備。這樣的電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦讀取介質的介面。電子系統1500包括匯流排1505、處理單元1510、影像處理單元（Graphics-processing Unit，GPU）1515、系統記憶體1520、網路1525、唯讀記憶體（Read-only Memory，ROM）1530、永久存放裝置1535、輸入設備1540和輸出設備1545。
匯流排1505共同表示通信連接電子系統1500的大量的內部設備連接的所有系統匯流排、外設匯流排和晶片組匯流排。例如，匯流排1505將處理單元1510與GPU 1515、唯讀記憶體1530、系統記憶體1520和永久存放裝置1535通信連接。
從各種記憶體單元中，處理單元1510檢索待執行的指令和要處理的資料，以便執行本發明的方法過程。在不同的實施例中，處理單元可以是單個處理器或多核心（Multi-core）處理器。某些指令被傳輸GPU 1515並由GPU 1515執行。GPU 1515可以卸載各種計算或者補充由處理單元1510提供的影像處理。
唯讀記憶體（ROM）1530存儲處理單元1510或者電子系統的其他模組所需要的靜態資料和指令。另一方面，永久存放裝置1535是讀寫記憶體設備（Read-and-write Memory）。這個設備是一種非易失性（non-volatile）記憶體單元，即使在電子系統1500關閉時也存儲指令和資料。在本發明的一些實施方式使用大型存放區設備（例如磁片或光碟及其相應的磁碟機）作為永久存放設備1535。
在其他實施方式使用卸除式存放裝置設備（例如軟碟、快閃記憶體設備等，以及其相應的磁碟機）作為永久存放裝置。與永久存放設備1535一樣，系統記憶體1520是一種讀寫記憶體設備。但是，與永久存放設備1535不一樣的是，系統記憶體1520是易失性（Volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體1520存儲處理器在運行時使用的一些指令和資料。在一些實施方式中，依據本發明的方法過程被存儲在系統記憶體1520、永久存放設備1535和/或唯讀記憶體1530中。例如，各種記憶體單元包括用於依據一些實施例的處理多媒體剪輯的指令。對於這些各種記憶體單元，處理單元1510檢索執行的指令和處理的資料，以為了執行某些實施方式的處理。
匯流排1505還連接到輸入設備1540和輸出設備1545。輸入設備1540使得使用者溝通資訊並選擇指令到電子系統上。輸入設備1540包括字母數位鍵盤和指示設備（也稱為「遊標控制設備」）、攝像機（如網路攝像頭（Webcam）），用於接收語音命令的麥克風或類似的設備等。輸出設備1545顯示由電子系統生成的圖像或以其他方式輸出資料。輸出設備1545包括印表機和顯示裝置，例如陰極射線管（Cathode Ray Tube，CRT）或液晶顯示器（Liquid Crystal Display，LCD），以及揚聲器或類似的音訊輸出設備。一些實施方式包括諸如同時用作輸入裝置和輸出設備的觸控式螢幕等設備。
最後，如第15圖所示，匯流排1505也透過網路介面卡（未示出）將電子系統1500耦接到網路1525。在這個方式中，電腦可以是電腦網路（例如，局域網（Local Area Network，LAN）、廣域網路（Wide Area Network，WAN）或者內聯網）或者網路的網路（例如互聯網）的一部分。電子系統1500的任一或者所有元件可以與本發明結合使用。
一些實施方式包括電子元件，例如，微處理器、存放裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者電腦可讀介質（可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質）。電腦可讀介質的一些實例包括RAM、ROM、唯讀光碟（Read-only Compact Disc，CD-ROM），可燒錄光碟（Recordable Compact Disc，CD-R）、可讀寫光碟（Rewritable Compact Disc，CD-RW）、唯讀數位通用光碟（Read-only Digital Versatile Disc）（例如，DVD-ROM，雙層DVD-ROM）、各種可記錄/可讀寫DVD（例如DVD RAM、DVD-RW、DVD+RW等）、快閃記憶體（如SD卡、迷你SD卡，微SD卡等）、磁性和/或固態硬碟、唯讀和可燒錄藍光®（Blu-Ray®）盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子元件或微處理器使用注釋器（interpreter）而執行的高級代碼的檔。
當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或複數個積體電路執行，如特定應用的積體電路（Application Specific Integrated Circuit，ASIC）或現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）。在一些實施方式中，這種積體電路執行存儲在電路本身上的指令。此外，一些實施方式執行存儲在可程式設計邏輯器件（Programmable Logic Device，PLD），ROM或RAM設備中的軟體。
如本發明的說明書和任一權利要求中所使用，術語「電腦」、「伺服器」、「處理器」和「記憶體」均指電子設備或其他技術設備。這些術語不包括人或群體。為了本說明書的目的，術語顯示或顯示裝置指在電子設備上進行顯示。如本發明的說明書和任一權利要求中所使用，術語「電腦可讀介質」、「電腦可讀媒質」和「機器可讀介質」完全局限於有形的、物理的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。
在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被實施，而不脫離本發明的精神。此外，大量的圖（包括第11圖和第14圖）概念性示出了過程。這些過程的具體操作可以不以所示以及所描述的確切順序來被執行。這些具體操作可用不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施方式中被執行。另外，過程通過使用幾個子過程而被實作，或者作為更大巨集過程的部分。因此，本領域的技術人員將能理解的是，本發明不受前述說明性細節的限制，而是由申請專利範圍加以界定。 額外說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是「相關聯的」，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為「相互關聯」，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互「可操作連接」或「可操作耦接」，以實作特定功能。能相互關聯的任何兩個組件也被視為相互「可操作地耦合」以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。
此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以依據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。
此外，本領域通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作「開放」術語，例如，「包括」應解釋為「包括但不限於」，「有」應理解為「至少有」，「包括」應解釋為「包括但不限於」等。本領域通常知識者可以進一步理解，若計畫介紹特定數量的請求項的內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，請求項可能包含短語「至少一個」和「一個或複數個」，以介紹請求項的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞「a」或「an」介紹請求項的內容，而限制了任何特定的專利範圍。甚至當相同的請求項包括介紹性短語「一個或複數個」或「至少有一個」，不定冠詞，例如「a」或「an」，則應被解釋為表示至少一個或者更多，對於用於介紹權利要求的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的「兩個引用」，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於「A、B和C中的至少一個」的表述的情況下，通常如此表述是為了本領域通常知識者可以理解表述，例如，「系統包括A、B和C中的至少一個」將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者圖式中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，「A或B」應理解為，「A」，或者「B」，或者「A和B」的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，權利要求表示真實的範圍和精神。
400:當前塊 410:相鄰子塊 500:當前圖片 501:參考圖片 505:當前CU 510:仿射候選 511:回歸MV 512:細化仿射候選 520:相鄰區域 530:參考範本區域 531:參考範本 550:回歸模型 600:當前塊 610:相鄰子塊 620:仿射塊 900:視訊編碼器 905:視訊源 908:減法器 909:預測殘差 910:變換 911:量化模組 912:已量化變換係數 913:已預測圖元資料 914:逆量化模組 915:逆變換模組 916:變換係數 917:已重構圖元資料 919:已重構殘差 920:畫面內估計模組 925:畫面內預測模組 930:運動補償模組 935:運動估計模組 940:畫面間預測模組 945:環內濾波器 950:已重構圖片暫存器 965:MV暫存器 975:運動向量預測模組 990:熵編碼器 995:位元流 1005:仿射回歸引擎 1010:回歸模型 1100:過程 1110,1120,1130,1140:框 1020:預測候選清單 1200:視訊解碼器 1210:逆變換模組 1211:逆量化模組 1212:已量化係數 1213:已預測圖元資料 1216:變換係數 1217:已解碼圖元資料 1219:已重構殘差 1200:視訊解碼器 1225:畫面內預測模組 1230:運動補償模組 1245:環內濾波器 1250:已解碼圖片暫存器 1255:顯示 1265:運動向量暫存器 1275:運動向量預測模組 1290:熵解碼器 1295:位元流 1305:仿射細化引擎 1310:回歸模型 1320:預測候選清單 1400:過程 1410,1420,1430,1440:框 1500:電子系統 1505:匯流排 1510:處理單元 1515:影像處理單元 1520:系統記憶體 1525:網路 1530:唯讀記憶體 1535:永久存放設備 1540:輸入設備 1545:輸出設備
圖式被包含，以為了提供對本發明的進一步理解，並被納入到本發明中並構成本發明的一部分。圖式說明瞭本發明的實施方式，並與說明書一起用於解釋本發明的原理。值得注意的是，圖式不一定是按比例繪製的，因為為了清楚地說明本發明的概念，一些元件可能會顯示出與實際實施方式中的尺寸不成比例。 第1圖示出了合併模式的空間候選和時間候選。 第2圖示出了透過仿射運動場編解碼的當前塊的控制點運動向量（Control Point Motion Vector，CPMV）。 第3圖示出了提供已構造仿射候選的相鄰塊。 第4圖示出了用於推導基於回歸的運動向量場（Regression-based Motion Vector Field，RMVF）運動參數的當前CU的空間相鄰子塊。 第5A-C圖概念性地示出了使用範本回歸來細化仿射候選。 第6圖概念性地示出了使用當前CU的相鄰子塊MV和繼承子塊MV而透過MV回歸生成仿射運動模型。 第7圖示出了塊級和子塊級處的雙邊匹配。 第8圖概念性地示出了透過回歸進行進一步細化的已細化MV。 第9圖示出了可以透過回歸細化仿射候選的視訊編碼器的示例。 第10圖示出了實施透過回歸細化仿射候選的部分視訊編碼器。 第11圖概念性地示出了透過推導回歸模型來細化預測候選的過程。 第12圖示出了可以細化仿射候選的視訊解碼器的示例。 第13圖示出了實施透過回歸細化仿射候選的部分視訊解碼器。 第14圖概念性地示出了透過推導回歸模型來細化預測候選的過程。 第15圖概念性地示出了實施本發明一些實施例的的電子系統。
1100:過程
1110,1120,1130,1140:框

Claims (17)

  1. 一種視訊編解碼方法，包括： 接收待編碼或待解碼作為視訊的當前圖片的當前塊的圖元塊的資料； 推導線性模型，以透過回歸細化或生成預測候選，以最小化該當前塊相鄰的當前範本的複數個樣本和由該預測候選標識的參考範本的複數個樣本之間的差； 基於已推導線性模型，生成該當前塊的預測；以及 透過使用已生成預測，對該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編解碼方法，其中，正被細化的已推導預測候選是仿射運動候選，已推導模型是具有基於兩個檢查點的仿射運動的四個參數的仿射運動模型，或者具有用於三個檢查點的六個參數的仿射運動模型。
  3. 如請求項2所述之視訊編解碼方法，其中，正被細化的仿射運動候選是具有運動向量差的合併模式候選（Merge candidate with Motion Vector Difference，MMVD）或適應性運動向量預測（Adaptive Motion vector Prediction，AMVP）候選。
  4. 如請求項1所述之視訊編解碼方法，其中，已細化預測候選被添加到該當前塊的預測候選清單中。
  5. 如請求項1所述之視訊編解碼方法，其中，已細化預測候選代替該當前塊的預測候選清單中的該預測候選。
  6. 如請求項1所述之視訊編解碼方法，其中，透過所述線性模型的回歸，僅對該當前塊的預測候選清單中的預測候選子集進行細化。
  7. 如請求項6所述之視訊編解碼方法，其中，該預測候選子集是基於與特定方向的接近度而標識的複數個MMVD候選。
  8. 如請求項6所述之視訊編解碼方法，其中，對於每個MMVD候選，透過回歸，僅對基運動向量預測器（Motion Vector Predictor，MVP）進行細化。
  9. 如請求項1所述之視訊編解碼方法，其中，該預測是基於已細化預測候選生成的。
  10. 如請求項1所述之視訊編解碼方法，其中，正被細化的該預測候選是常規合併候選。
  11. 如請求項1所述該之視訊編解碼方法，其中： 已推導模型是仿射運動模型，該仿射運動模型是透過最小化複數個回歸子塊運動向量與（i）該當前塊相鄰的複數個子塊的複數個子塊MV和（ii）從該當前塊的仿射候選推導的複數個子塊MV之間的差而推導的，以細化仿射候選； 該預測是基於已細化仿射候選生成的。
  12. 如請求項11所述之視訊編解碼方法，其中，該仿射運動模型是透過最小化該複數個回歸子塊運動向量與（i）該當前塊相鄰的複數個子塊相關的複數個已存儲子塊MV和（ii）與屬於參考仿射編解碼單元（CU）的複數個子塊相關的複數個繼承MV之間的差而推導的。
  13. 如請求項12所述之視訊編解碼方法，其中，該參考仿射CU不與該當前塊相鄰。
  14. 一種視訊編解碼方法，包括： 接收待編碼或待解碼作為視訊的當前圖片的當前塊的圖元塊的資料； 推導線性模型，以透過回歸細化仿射候選，以最小化複數個回歸子塊運動向量與（i）該當前塊相鄰的複數個子塊的複數個子塊MV和（ii）從該當前塊的已細化仿射候選推導的複數個子塊MV之間的差； 基於已推導線性模型，生成該當前塊的預測；以及 透過使用已生成預測，對該當前塊進行編碼或解碼。
  15. 一種電子設備，包括： 視訊解碼器電路，用於執行操作，包括： 接收待編碼或待解碼作為視訊的當前圖片的當前塊的圖元塊的資料； 推導線性模型，以透過回歸細化或生成預測候選，以最小化該當前塊相鄰的當前範本的複數個樣本和由該預測候選標識的參考範本的複數個樣本之間的差， 基於已推導線性模型，生成該當前塊的預測；以及 透過使用已生成預測，對該當前塊進行編碼或解碼。
  16. 一種視訊解碼方法，包括： 接收待解碼作為視訊的當前圖片的當前塊的圖元塊的資料； 推導線性模型，以透過回歸細化或生成預測候選，以最小化該當前塊相鄰的當前範本的複數個樣本和由該預測候選標識的參考範本的複數個樣本之間的差； 基於已推導線性模型，生成該當前塊的預測；以及 透過使用已生成的預測，重構該當前塊。
  17. 一種視訊編碼方法，包括： 接收待編碼作為視訊的當前圖片的當前塊的圖元塊的資料； 推導線性模型，以透過回歸細化或生成預測候選，以最小化該當前塊相鄰的當前範本的複數個樣本和由該預測候選標識的參考範本的複數個樣本之間的差； 基於已推導線性模型，生成該當前塊的預測；以及 透過使用已生成的預測，對該當前塊進行編碼。
TW112127131A 2022-07-22 2023-07-20 仿射候選細化 TW202416713A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202263369094P 2022-07-22 2022-07-22
US202263369083P 2022-07-22 2022-07-22
US63/369,094 2022-07-22
US63/369,083 2022-07-22
US202363478198P 2023-01-03 2023-01-03
US63/478,198 2023-01-03
WOPCT/CN2023/107825 2023-07-18
PCT/CN2023/107825 WO2024017224A1 (en) 2022-07-22 2023-07-18 Affine candidate refinement

Publications (1)

Publication Number Publication Date
TW202416713A true TW202416713A (zh) 2024-04-16

Family

ID=89617135

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112127131A TW202416713A (zh) 2022-07-22 2023-07-20 仿射候選細化

Country Status (2)

Country Link
TW (1) TW202416713A (zh)
WO (1) WO2024017224A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
CN116684639A (zh) * 2018-04-01 2023-09-01 Lg电子株式会社 图像编码/解码设备和图像数据发送设备

Also Published As

Publication number Publication date
WO2024017224A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
CN113455003B (zh) 视频编解码方法及电子设备
TWI735172B (zh) 用於多個工具的互相排斥設定
CN112042187B (zh) 一种解码方法和编码方法
TWI634783B (zh) 用於二叉樹分割塊的確定候選集的方法及裝置
TWI792152B (zh) 視訊編解碼系統中的視訊處理方法和裝置
TWI774141B (zh) 視訊編解碼方法及裝置
TWI749358B (zh) 共享候選列表
TW201946470A (zh) 用於照度補償的信令
TWI655863B (zh) 視訊處理系統中基於預測子的分割的方法及裝置
JP7337163B2 (ja) ビデオサンプルのツリー若しくはブロックを符号化および復号する方法、装置、およびシステム
CN118200610A (zh) 边界强制分区的改进
TW201939947A (zh) 視訊編解碼中的智能模式分配
TW202416713A (zh) 仿射候選細化
TWI853402B (zh) 視訊編解碼方法及相關裝置
TWI852465B (zh) 視訊編解碼方法及相關裝置
WO2023207511A1 (en) Method and apparatus of adaptive weighting for overlapped block motion compensation in video coding system
TW202402054A (zh) 用於候選清單的相似性閾值
TW202420819A (zh) 視訊編解碼中帶越界檢查的預測生成
TW202408232A (zh) 更新合併候選的運動屬性
TW202404354A (zh) 利用卷積模型的預測改進
TW202412521A (zh) 具有虛擬邊界和多樣本源的適應性環濾波器
TW202349953A (zh) 視訊編解碼方法及其裝置
TW202412526A (zh) 視訊編解碼中的出界檢查
TW202415075A (zh) 基於區域的隱式幀內模式推導和預測
TW202415066A (zh) 多假設預測編解碼