TWI833811B - 仿射模型的表示 - Google Patents

仿射模型的表示 Download PDF

Info

Publication number
TWI833811B
TWI833811B TW108134299A TW108134299A TWI833811B TW I833811 B TWI833811 B TW I833811B TW 108134299 A TW108134299 A TW 108134299A TW 108134299 A TW108134299 A TW 108134299A TW I833811 B TWI833811 B TW I833811B
Authority
TW
Taiwan
Prior art keywords
affine
current block
affine model
parameters
block
Prior art date
Application number
TW108134299A
Other languages
English (en)
Other versions
TW202017383A (zh
Inventor
張凱
張莉
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202017383A publication Critical patent/TW202017383A/zh
Application granted granted Critical
Publication of TWI833811B publication Critical patent/TWI833811B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公開涉及仿射模型的表示。一種視頻處理方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，儲存當前塊的仿射模型參數；以及使用仿射模型參數執行轉換，其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數。

Description

仿射模型的表示
本專利文件涉及視頻編碼技術、設備和系統。 [相關申請的交叉引用] 根據適用的《專利法》和/或《巴黎公約》的規定，本申請及時要求於2018年9月23日提交的國際專利申請號PCT / CN2018 / 107167的優先權和利益。將國際專利申請號PCT / CN2018 / 107167的全部公開以引用方式併入本文，作為本申請公開的一部分。
運動補償（MC）是一種視頻處理中的技術，給出先前的和/或將來的幀，通過考慮相機和/或視頻中的對象的運動來預測視頻中的幀。運動補償可以用於視頻數據的編碼以實現視頻壓縮。
本文件公開了與視頻編碼和解碼中的仿射運動補償的使用相關的方法、系統和設備。
在一個示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，儲存當前塊的仿射模型參數；以及使用仿射模型參數執行轉換。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用原始仿射模型的控制點運動向量（CPMV）導出當前塊的新仿射模型；以及使用新仿射模型執行轉換。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用來自N1個仿射預測和N2個非仿射預測的組合預測，其中N1和N2是整數；以及使用組合預測執行轉換。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用當前塊的基於子塊的Merge列表；以及使用基於子塊的Merge列表執行轉換。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，儲存當前塊的仿射模型參數；以及使用仿射模型參數執行轉換, 其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，信令通知當前塊的仿射模型參數；以及使用仿射模型參數執行轉換, 其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用具有參數的多個原始仿射模型導出組合仿射模型；以及使用組合仿射模型執行轉換, 其中，至少從所述當前塊的控制點運動向量導出所述仿射模型的參數。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用具有控制點運動向量的多個原始仿射模型導出新仿射模型；以及使用新仿射模型執行轉換。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，通過組合當前塊的多個臨時預測導出當前塊的最終組合預測；以及通過使用最終組合預測執行轉換。
在另一示例方面，公開了一種視頻處理方法。該方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，導出當前塊的多個組合仿射模型；以及使用多個組合仿射模型執行轉換。
在又一典型方面，本文描述的各種技術可以被實現為儲存在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式代碼。
在又一典型方面，視頻解碼器裝置可以實現本文所述的方法。
在另一方面，公開了一種包括處理器的視頻編碼器裝置。該視頻編碼器裝置實現本文所述的方法。
在附件、附圖、和下面的說明書中描述了一個或多個實現的細節。其它特徵將從描述和附圖、以及從申請專利範圍書中顯而易見。
本文提供了幾種可實施在數位視頻編碼器和解碼器中的技術。為了清晰理解，在本文中使用了章節標題，並且不將每個章節中描述的技術和實施例的範圍僅限於該章節。
由於對更高解析度視頻的需求的增加，視頻編碼方法和技術在現代技術中無處不在。視頻編解碼器通常包括壓縮或解壓縮數位視頻的電子電路或軟體，並且不斷被改進以提供更高的編碼效率。視頻編解碼器將未壓縮視頻轉換為壓縮格式，反之亦然。視頻質量、用於表示視頻的數據量（由位元率確定）、編碼和解碼算法的複雜度、對數據丟失和錯誤的敏感性、編輯的簡易性、隨機存取、以及端到端延遲（時延）之間存在複雜的關係。壓縮格式通常符合標準視頻壓縮規範，例如，高效視頻編碼（HEVC）標準（也稱為H.265或MPEG-H第2部分）、待定案的多功能視頻編碼標準（VVC）、或其他當前和/或未來的視頻編碼標準。
1. 總結
本發明涉及視頻/圖像編碼技術。具體來說，涉及視頻/圖像編碼中的仿射預測。它可以應用於如HEVC的現有的視頻編碼標準，或待定案的標準（多功能視頻編碼）。它也可適用於未來的視頻/圖像編碼標準或視頻/圖像編解碼器。
2. 介紹
基於子塊的預測由HEVC附件I（3D-HEVC）首次引入到視頻編碼標準中。利用基於子塊的預測，將諸如編碼單元（CU）或預測單元（PU）的塊劃分為幾個不重疊的子塊。不同的子塊可以被分配不同的運動信息，例如參考索引或運動向量（MV），並且對每個子塊分別執行運動補償（MC）。圖1示出了基於子塊的預測的概念。
為探索HEVC之外的未來視頻編碼技術，VCEG和MPEG於2015年共同成立了聯合視頻探索團隊（JVET）。從那時起，JVET採用了許多新的方法，並將其應用到了名為聯合探索模型（JEM）的參考軟體中。
在JEM中，諸如仿射預測、可選時域運動向量預測（ATMVP）、空時運動向量預測（STMVP）、雙向光流（BIO）和幀速率上轉換（FRUC）的多種編碼工具中都採用了基於子塊的預測。在VVC中也採用了仿射預測。
2.1仿射預測的示例
在HEVC中，僅將平移運動模型應用於運動補償預測（MCP）。而在現實世界中，存在很多種運動，例如，放大/縮小、旋轉、透視以及其它不規則運動。在VVC中，應用了簡化的仿射變換運動補償預測。如圖2A-2B所示，塊的仿射運動場由兩個（在4參數仿射模型中）或三個（在6參數仿射模型中）控制點運動向量描述。
圖2A-2B示出了簡化的仿射運動模型。（a）4參數仿射模型；（b）6參數仿射模型。
塊的運動向量場（MVF）用以下等式描述，其中4參數仿射模型：
（1）
和六參數仿射模型：
（2）
其中（mvh 0 ,mvh 0 ）為左上角控制點的運動向量，（mvh 1 ,mvh 1 ）為右上角控制點的運動向量，並且（mvh 2 ,mvh 2 ）為左下角控制點的運動向量。
為了導出每個44子塊的運動向量，如圖3所示，根據等式（1）或等式（2）計算每個子塊的中心樣本點的運動向量，並四捨五入到1/16分數精度。然後應用運動補償插值濾波器，以利用導出的運動向量生成每個子塊的預測。
在VVC測試模式（VTM）中，有兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度都大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級的仿射標誌，以指示是否使用AF_INTER 模式。在此模式下，構造具有兩個候選的CP MVP候選列表。
可以從如圖4A所示的諸如左、上、右上、左下和左上相鄰塊的空間相鄰仿射編碼塊繼承仿射模型。例如，如果圖4A中的相鄰左下塊A如圖4B中的A0所示的以仿射模式編碼，則獲取包含塊A的相鄰CU/PU的左上角、右上角和左下角的控制點（CP）運動向量mv 0 N ,mv 1 N 和mv 2 N 。基於mv 0 N ,mv 1 N 和mv 2 N 計算當前CU/PU的左上角/右上角/左下角的運動向量mv 0 C ,mv 1 C 和mv 2 C （其僅用於6參數仿射模型）。
應當注意的是，當CU使用仿射Merge模式編碼時，即在AF_Merge模式下，它從有效的相鄰重構塊中獲得使用仿射模式編碼的第一塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖4A所示。
導出的當前塊的CP MVmv 0 C ,mv 1 C 和mv 2 C 可以用作仿射Merge模式下的CP MV。或者它們可以用作VVC中仿射幀間模式的MVP。應當注意的是，對於Merge模式，如果當前塊是用仿射模式編碼的，則在導出當前塊的CP MV之後，可以將當前塊進一步劃分為多個子塊，並且每個塊將基於當前塊的導出的CP MV導出其運動信息。
與其中可以僅使用一個仿射空間相鄰塊來導出塊的仿射運動的VTM中不同，在其他實施例中，其建議為AF_MERGE模式構造單獨的仿射候選列表。
1）將繼承的仿射候選插入候選列表
圖5示出了仿射Merge模式的候選位置的示例。
繼承的仿射候選是指該候選是從由仿射模式編碼的有效相鄰重構塊導出的。
如圖5所示，候選塊的掃描順序為A1 、B1 、B0 、A0 和B2 。當塊被選擇時（例如，A1 ），採用兩步程式：
a）首先，使用覆蓋塊的CU的三個角運動向量來導出當前塊的兩個/三個控制點。
b）基於當前塊的控制點來導出當前塊內每個子塊的子塊運動。
2）插入構造的仿射候選
如果仿射Merge候選列表中的候選數目小於MaxNumAffineCand，則將構造的仿射候選插入候選列表中。
構造的仿射候選是指通過組合每個控制點的相鄰運動信息構造的候選。
首先從圖5所示的指定的空間鄰居和時域鄰居導出控制點的運動信息。CPk （k=1, 2, 3, 4）表示第k個控制點。A0 , A1 , A2 , B0 , B1 , B2 和 B3 是用於預測CPk的空間位置（k=1, 2, 3）；T是用於預測CP4的時域位置。
CP1、CP2、CP3和CP4的坐標分別為（0，0），（W，0），（H，0）和（W，H），其中W和H是當前塊的寬度和高度。
按照以下優先順序獲得每個控制點的運動信息：
- 對於CP1，檢查優先級為B2 ->B3 ->A2 。如果B2 可用，則使用B2 。否則，如果B2 不可用，則使用B3 。如果B2 和B3 都不可用，則使用A2 。如果三個候選都不可用，則無法獲得CP1的運動信息。
-對於CP2，檢查優先級為B1->B0；
-對於CP3，檢查優先級為A1->A0；
-對於CP4，使用T。
其次，使用控制點的組合來構造運動模型。
在6參數仿射模型中，需要三個控制點的運動向量來計算變換參數。這三個控制點可以從以下四個組合中的一個來選擇（{CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4}）。例如，使用CP1、CP2和CP3控制點來構造6參數仿射運動模型，表示為仿射（CP1、CP2、CP3）。
在4參數仿射模型中，需要兩個控制點的運動向量來計算變換參數。這兩個控制點可以從以下六個組合中的一個來選擇（{CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4}）。例如，使用CP1和CP2控制點來構造4參數仿射運動模型，表示為仿射（CP1，CP2）。
構造的仿射候選的組合按以下順序插入到候選列表中：
{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}。
3）插入零運動向量
如果仿射Merge候選列表中的候選數目小於MaxNumAffineCand，則在候選列表中插入零運動向量，直到列表滿為止。
2.2 ATMVP（高級時域運動向量預測）的示例
在第十屆JVET會議上，將高級時域運動向量預測（ATMVP）包含在了基準集（BMS）-1.0參考軟體中，ATMVP基於來自時域相鄰圖片的共位塊的運動信息導出一個編碼單元（CU）的子塊的多個運動。雖然它提高了時域運動向量預測的效率，但對於現有的ATMVP設計來說，仍然存在以下複雜度問題：
如果使用多個參考圖片，則不同ATMVP CU的共位圖片可能不相同。這意味著需要獲取多個參考圖片的運動場。
每個ATMVP CU的運動信息總是基於4x4單元導出的，導致多次調用一個ATMVP CU內的每個4x4子塊的運動推導和運動補償。
對ATMVP提出了一些進一步的簡化，並在VTM2.0中被採用。
2.2.1具有一個固定共位圖片的簡化共位塊推導的示例
在這種方法中，提出了一種簡化的設計，以將與HEVC中相同的共位圖片（其在條帶標頭中信令通知）用作ATMVP推導的共位圖片。在塊級別上，如果相鄰塊的參考圖片與該共位圖片不同，則使用HEVC時域MV縮放方法縮放塊的MV，並且在ATMVP中使用縮放的MV。
將用於獲取共位圖片Rcol 中的運動場的運動向量表示為MVcol 。為了最小化MV縮放造成的影響，用於推導MVcol 的空間候選列表中MV按以下方式選擇：如果候選MV的參考圖片是共位圖片，則選擇該MV並在不進行任何縮放的情況下將其用作MVcol 。否則，選擇具有最接近共位圖片的參考圖片的MV來使用縮放以導出MVcol 。
2.2.2 適應性的ATMVP子塊尺寸的示例
在該方法中，提出對於ATMVP運動推導支持子塊尺寸的條帶級的適應。具體地，在序列級信令通知用於ATMVP運動推導的一個默認子塊尺寸。另外，在條帶級信令通知一個標誌以指示當前條帶是否使用默認子塊尺寸。如果標誌為假（false），則在該條帶的條帶標頭中進一步信令通知對應的ATMVP子塊尺寸。
2.3  STMVP（空時運動向量預測）的示例
STMVP在JEM中被提出和採用，但在VVC中尚未被採用。在STMVP中，子CU的運動向量是按照光柵掃描順序遞迴推導的。圖6說明了該概念。我們來考慮包含四個44的子CU A、B、C和D的88的 CU。當前幀中相鄰的44的塊標記為a、b、c和d。
子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A上方的NN塊（塊c）。如果該塊c不可用或內部編碼，則檢查子CU A上方的其它NN塊（從左到右，從塊c處開始）。第二個鄰居是子     CU A左側的一個塊（塊b）。如果塊b不可用或是內部編碼，則檢查子CU A左側的其它塊（從上到下，從塊b處開始）。每個列表從相鄰塊獲得的運動信息被縮放到給定列表的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推推導子塊A的時域運動向量預測（TMVP）。提取位置D處的共位塊的運動信息並進行相應的縮放。最後，在檢索和縮放運動信息後，對每個參考列表分別平均所有可用的運動向量（最多3個）。將平均運動向量指定為當前子CU的運動向量。
圖6示出了具有四個子塊（A-D）和相鄰塊（a-d）的一個CU的示例。
2.4 MVPlanar（JVET-K0349）的示例
MVPlanar預測引入子塊級運動向量推導。如圖7所示，所提出的方案通過對上、右上、左上和左下相鄰塊的運動向量的加權平均插值運動向量而生成運動向量場，與幀內平面預測相同。如果相鄰塊不可用或者是幀內編碼的CU，則以與幀內參考樣本點替換相同的方式執行替換處理。
對於MVPlanar模式，在CU級信令通知附加的語法mv_planar_flag。如果mv_planar_flag設置為等於1，則額外地信令通知inter_pred_idc和ref_idx。
2.5基於歷史的運動向量預測的示例
本文提出了一種用於幀間編碼的基於歷史的運動向量預測（HMVP）方法。在HMVP中，動態地維護和更新HMVP候選表。在解碼非仿射幀間編碼塊之後，通過將相關聯的運動信息作為新的HMVP候選添加到表的最後一條來更新表。先入先出（FIFO）或限制的FIFO規則被應用於移除條目和向表中添加條目。HMVP候選可以應用於Merge候選列表或AMVP候選列表。
仿射模式的當前設計存在以下問題：
仿射模式的當前設計，塊只能應用一個仿射模型。然而，如果運動是複雜的，則單個仿射模型可能無法精確地描述運動。
對於基於子塊的候選，仍然不清楚應當將哪些候選放入單獨的Merge列表中。此外，這些候選應該按何種順序放入單獨的Merge列表也不清楚。
3. 示例技術
提出了幾種提高基於仿射模式的視頻編碼的增益的方法。
下面的詳細發明應被視為解釋一般概念的示例。這些發明不應被狹隘地解釋。此外，這些發明可以以任何方式組合。本發明與其他發明之間的組合同樣適用。
在沒有說明的情況下，以下描述以採用一個參考圖片列表為例。對於雙向預測仿射模式，每個參考圖片列表都可以遵循以下描述的方法。
對於仿射編碼塊，建議儲存仿射模型參數，而不是控制點運動向量。
a). 在一個示例中，等式（1）中4參數仿射模型的參數（a、b、c、d）儲存在仿射編碼塊中；等式（2）中6參數仿射模型的參數（a、b、c、d、e、f）儲存在仿射編碼塊中。
b). 或者，等式（1）中4參數仿射模型的參數（a，b）儲存在仿射編碼塊中；等式（2）中6參數仿射模型的參數（a，b，c，d）儲存在仿射編碼塊中。
c). 或者，另外，多個CPMV（如圖3所示的mv0、mv1、mv2或mv3）中的一個也儲存在仿射編碼塊中。
d). 在儲存器中，一個參數表示為一個K位的整數。例如，K=8或12。
可以從仿射參數而不是單純地基於CPMV推導出塊的仿射運動。
a). 例如，仿射編碼塊中子塊的MV可以計算為： i.（3）, 或者 ii.（4）, 或者 iii.（5）, 或者 iv.（6） v.           在一個示例中, vi.（7）
其中P是定義精度的整數（例如P=8），並且Off 是整數取整偏  移量。（例如，Off = 2 P -1 ）。
仿射塊的參數可以從編碼器信令通知到解碼器。
a). 相鄰仿射編碼塊的參數可以用作預測，來編碼當前仿射編碼塊的參數。
b). 對於放射編碼塊，也可以信令通知一個CPMV（如圖3中的mv0、mv1、mv2或mv3）。在一個示例中，CPMV可以由MVP來預測，並且被MVD作為正常的MV信令通知。
c). 可以從空間或時域相鄰的仿射編碼塊繼承仿射塊的參數。
i. 可以從相鄰的仿射編碼塊導出一個CPMV（諸如圖3中的mv0、mv1、mv2或mv3）。例如，可應用等式（5）至等式（6）來推導它，其中x=x'-x0，y=y'-y0，其中（x'，y'）是當前塊的CPMV所在位置的坐標；（x0，y0）是相鄰塊的左上角的坐標。
在一個示例中，存在具有參數（a 1 ,b 1 ,c 1 ,d 1 ,e 1 ,f 1 ）… （a N ,b N ,c N ,d N ,e N ,f N ）的N個（N>=2）原始仿射模型。可以從這些仿射模型導出組合仿射模型（a’ ,b’ ,c’ ,d’ ,e’ ,f’ ），並且可以通過組合仿射模型預測當前塊。
a). 例如，可以從當前塊的仿射編碼的空間或時域相鄰塊導出原始仿射模型；
i. 在一個示例中，一些仿射編碼的空間相鄰塊的仿射模型不被用來導出當前塊要使用的新仿射模型。
b). 例如，可以從構造仿射模型導出原始仿射模型；
i. 在一個示例中，一些構造仿射模型不用於導出要被當前塊使用的新仿射模型。
c). 例如（a’ ,b’ ,c’ ,d’ ,e’ ,f’ ）= （Fa（a 1 ,…,a N ）, Fb（b 1 ,…,b N ）, Fc（c 1 ,…,c N ）, Fd（d 1 ,…,d N ）, Fe（e 1 ,…,e N ）, Ff（f 1 ,…,f N ））; Fa, Fb, Fc, Fd, Fe 和 Ff是函數。
i. 函數定義為平均值。例如，（a’ ,b’ ,c’ ,d’ ,e’ ,f’ ）=（Average（a 1 ,…,a N ），Average（b 1 ,…,b N ），Average（c 1 ,…,c N ），Average（d 1 ,…,d N ），Average（e 1 ,…,e N ），Average（f 1 ,…,f N ））；
ii. 例如, （a’ ,b’ ,c’ ,d’ ,e’ ,f’ ）= （,,,,,）；
iii. 在一個示例中, （a’ ,b’ ,c’ ,d’ ,e’ ,f’ ）= （Normalize（,Pa）, Normalize（, Pb）, Normalize（, Pc）, Normalize（, Pd）, Normalize（, Pe）, Normalize（, Pf）），其中,,,,,。
iv. 在一個示例中，對於所有i，。
v. 在一個示例中，N=2並且對於i=1和2，=1。
vi. 在一個示例中，一些參數可不存在。例如，c i ,d i 不存在，則將和和置為0。
d). 在一個示例中，只有具有4個參數的原始仿射模型被用來導出組合仿射模型。
e). 在一個示例中，只有具有6個參數的原始仿射模型被用來導出組合仿射模型。
f). 在一個示例中，在被用於導出組合仿射模型之前，首先將具有 4個參數的原始仿射模型轉換成具有6個參數的仿射模型。
i. 4參數仿射模型（a k ,b k ,e k ,f k ）可以轉換為如（a k , -b k ,b k ,a k ,e k ,f k ）的6參數仿射模型。
提出基於CPMV導出新仿射模型。
a). 在一個示例中，有N個（N>=2）具有CPMV（MV0 1 ,MV1 1 ,MV2 1 ）…（MV0 N ,MV1 N ,MV2 N ）的原始仿射模型（例如，那些與相鄰塊相關聯的仿射模型）。從這些仿射模型可以導出具有CPMV（MV’0 ,MV’1 ,MV’2 ）的組合仿射模型，並且通過新仿射模型預測當前塊。（MV0 ,MV1 ,MV2 ）分別表示左上角、右上角和左下角的CPMV。在下面的討論中，MV是二維向量，表示為（MVx, MVy）。MV1+MV2=MV3表示MV1x+MV2x=MV3x且MV1y+MV2y=MV3y，kMV1=MV2表示kMV1x=MV2x且kMV1y=MV2y。
b). 例如，可以從當前塊的仿射編碼的空間或時域相鄰塊導出原始仿射模型的CPMV；
i. 在一個示例中，從一些仿射編碼的空間相鄰塊導出的仿射模型的CPMV不用於導出要被當前塊使用的新仿射模型。
c). 例如，可從構造仿射模型導出原始仿射模型的CPMV；
i. 在一個示例中，一些構造仿射模型的CPMV不用於導出要被當前塊使用的新仿射模型。
d). 例如（MV’0 ,MV’1 ,MV’2 ）= （F0（MV0 1 ,…,MV0 N ）, F1（MV1 1 ,…,MV1 N ）, F2（MV2 1 ,…,MV2 N ））；F0, F1 和 F2是函數。
i. 在一個示例中，Fi可以定義為平均函數。
ii. 例如（MV’0 ,MV’1 ,MV’2 ） = （Average（MV0 1 ,…,MV0 N ）, Average（MV1 1 ,…,MV1 N ）, Average（MV2 1 ,…,MV2 N ））；
iii. 例如（MV’0 ,MV’1 ,MV’2 ） = （,,）；
iv. 在一個示例中（MV’0 ,MV’1 ,MV’2 ） = （Normalize（,P0）, Normalize（, P1）, Normalize（, P2））, 其中,,。
v. 在一個示例中，對於所有 i，。
vi. 在一個示例中，N= 2 並且 對於i = 1 和 2，
vii. 在一個示例中，一些 CPMV可以不存在。 例如,MV2 i 不存在,則將設為 0。
e). 在一個示例中，只有具有4個參數的原始仿射模型被用來導出組合仿射模型的CPMV。
f). 在一個示例中，只有具有6個參數的原始仿射模型被用來導出組合仿射模型的CPMV。
g). 在一個示例中，在被用於導出組合仿射模型的CPMV之前，首先將具有 4個參數的原始仿射模型轉換成具有6個參數的仿射模型。
i. 具有兩個CPMV（MV0 k ,MV1 k ）的4參數仿射模型可轉換為具有三個CPMV（MV0 k ,MV1 k ,MV2 k ）的6參數仿射模型，其中MV2 k 可由等式（1）導出，其中x=0且y=h，其中h是具有4參數仿射模型的仿射編碼塊的高度。
h). 在一個示例中，可以從N（N>=2）個原始仿射模型導出DiffMV’1 = MV’1 -MV’0 和 DiffMV’2 = MV’2 -MV’0 。假設DiffMVk 1 = MVk 1 -MVk 0 且 DiffMVk 2 = MVk 2 -MVk 2 ：
i. 例如，（DiffMV’1 ,DiffMV’2 ） = （F1（DiffMV1 1 ,…,DiffMV1 N ）, F2（DiffMV2 1 ,…,DiffMV2 N ））； F1 和 F2是函數。
ii. 例如，（DiffMV’1 ,DiffMV’2 ） = （Average（DiffMV1 1 ,…,DiffMV1 N ）, Average（DiffMV2 1 ,…,DiffMV2 N ））；
iii.例如，（DiffMV’1 ,DiffMV’2 ） = （,）；
iv. 在一個示例中，（DiffMV’1 ,DiffMV’2 ） = （Normalize（, P1）, Normalize（, P2））, 其中,。
v. 在一個示例中，對於所有i，。
i). 在一個示例中，以一種方式從一些原始CPMV導出DiffMV’1 和/或 DiffMV’2 。以另一種方式導出MV’0 ；並且 （MV’0 , MV’0 + DiffMV’1 ） 或 （MV’0 , MV’0 + DiffMV’1 , MV’0 + DiffMV’2 ）被視為組合仿射模型的CPMV。
i. 例如，通過組合兩個仿射編碼的空間相鄰塊導出DiffMV’1 和/或 DiffMV’2 。從圖5中的塊A2、塊B2或塊B3複製或縮放MV’0 。
j). 在一個示例中，只能組合參考相同參考圖片的原始CPMV。
i.或者，在組合之前，參考不同參考圖片的CPMV應縮放到相同的參考圖片。
可以首先由N個仿射模型生成N（N>=2）個當前塊的臨時預測，並且最終預測可以是臨時預測的組合。假設當前塊的N個原始預測表示為P1 (x,y),….,PN (x,y)。最終預測表示為P’(x,y)。
a). 例如，P’(x,y)= Fx,y (P1 (x,y),….,PN (x,y))，Fx,y 是取決於樣本點位置（x，y）的函數束；
b). 例如，P’(x,y)= Average(P1 (x,y),….,PN (x,y))；
c). 例如，P’(x,y)=；
d). 在一個示例中，P’(x,y)= 歸一化 (,S(x,y)), 其中；
e). 在一個示例中，對於所有（x，y），都相同。
f). 在一個示例中，對於所有i，都相同。
g). 在一個示例中，N=2並且對於所有（x，y），。
h). 在一個示例中，,P1 (x,y),….,PN (x,y)應由參考相同參考圖片的仿射模型生成。
i). 或者，, P1 (x,y),….,PN (x,y)應由參考相同參考列表中的參考圖片的仿射模型生成。
j). 在一個示例中，如果P1 (x,y)和P2 (x,y)是參考已在候選列表中的雙向預測候選的參考列表0和參考列表1的兩個預測，則它們不能被組合為組合候選。
提出對一個塊聯合使用仿射運動和非仿射運動。
a). 在一個示例中，存在由N1個仿射模型生成的當前塊的N1（N1>=1）個臨時預測，以及由N2個非仿射預測生成的當前塊的N2（N2>=1）個臨時預測，最終預測可以是仿射預測和非仿射預測的組合。假設當前塊的N1個原始仿射預測表示為P1 (x,y),….,PN1 (x,y)。當前塊的N1個原始非仿射預測表示為Q1 (x,y),….,QN2 (x,y)。最終預測表示為P’(x,y)。
b). 非仿射預測包括：非仿射幀間預測、幀內預測、幀內塊複製、可縮放視頻編碼中的層間預測、多視圖視頻編碼或3D視頻編碼中的視圖間預測。
i.具體地，非仿射幀間預測包括其它基於子塊的預測，諸如ATMVP、STMVP和MVPlanar預測。
ii. 或者，N1＝0，並且諸如ATMVP、STMVP和MVPlanar預測的其他基於子塊的預測可以相互組合。
c). 例如，P’(x,y)= Fx,y (P1 (x,y),….,PN1 (x,y), Q1 (x,y),….,QN2 (x,y) ), Fx,y 是取決於於樣本點位置（x，y）的函數束；
i.例如，P’(x,y)= Average(P1 (x,y),….,PN1 (x,y) ), Q1 (x,y),….,QN2 (x,y))；
ii. 例如，P’(x,y)=；
iii.在一個示例中，P’(x,y)= Normalize(,S(x,y)), 其中。
iv. 在一個示例中，對於所有（x，y），都相同。
v. 在一個示例中，對於所有i，都相同。
vi. 在一個示例中，對於所有（x，y），都相同。
vii. 在一個示例中，對於所有i，都相同。
viii. 在一個示例中，對於所有（x，y），。
ix. 在一個示例中，對於所有i，。
x. 在一個示例中，N1=1，N2=1，並且對於所有（x，y），。
d). 在一個示例中，對於一個預測方向（一個參考圖片列表），使用仿射運動來導出臨時預測塊，並且對於另一個預測方向，使用非仿射運動來導出臨時預測塊。
i. 或者，此外，可以為每個參考圖片列表信令通知仿射標誌。
e). 在一個示例中，對於一個預測方向（一個參考圖片列表），使用仿射運動和非仿射運動二者來導出臨時預測塊。
可以導出多於一個組合仿射模型，並且作為仿射MVP候選或Merge候選
a). 在一個示例中，將每兩個仿射編碼的空間相鄰塊的仿射參數或CPMV組合以生成新仿射模型的具有仿射參數或CPMV的組合候選，並將該組合仿射模型添加到仿射MVP候選列表或仿射Merge列表中。
i. 在另一示例中，將從每兩個仿射編碼的空間相鄰塊的仿射模型生成的臨時預測組合，以生成具有組合預測的組合候選。
ii. 可將組合候選放入候選列表中正常仿射AMVP或從空間相鄰塊繼承的Merge候選之後。
iii. 放入候選列表的組合候選的數目不可超過固定數目（例如，5）。
在對仿射編碼塊進行編碼/解碼之後，可以將兩個或三個CPMV放入HMVP中的查找表中。
a). 在一個示例中，使用單獨的查找表（命名為CPMV查找表）來儲存CPMV。CPMV查找表中的條目儲存來自仿射編碼塊的兩個或三個CPMV。
b). 用於編碼仿射編碼塊的HMVP候選的數目可以是固定的，或者是適應性地改變的（諸如基於包括塊尺寸、塊形狀、條帶類型的編碼信息；或者基於在添加HMVP候選之前可用候選的數目）。
有幾種可能的順序將基於子塊的Merge候選放入基於子塊的Merge候選列表（其可以與普通Merge候選者列表不同）。表示為：
ATMVP候選：AT； STMVP候選：ST；
從仿射編碼相鄰塊繼承的仿射Merge候選：Aff；
構造仿射Merge候選：vAff；
組合Merge候選：cAff（在包括仿射或非仿射的任何子塊Merge候選之間組合）；
零候選：Z；
提出對基於子塊的Merge候選列表使用以下順序：
a.   AT->ST->Aff->vAff->Z;
b.   AT-> Aff->ST-> vAff->Z;
c.   Aff->AT->ST-> vAff->Z;
d.   Aff-> ST-> AT-> vAff->Z;
e.   ST-> AT-> Aff-> vAff->Z;
f.   ST-> Aff-> AT- > vAff->Z;
g.   AT->ST->Aff->cAff->vAff->Z;
h.   AT-> Aff->ST-> cAff-> vAff->Z;
i.   Aff->AT->ST-> cAff->vAff->Z;
j.   Aff-> ST-> AT-> cAff-> vAff->Z;
k.   ST-> AT-> Aff-> cAff->vAff->Z;
l.   ST-> Aff-> AT- > cAff->vAff->Z;
m.AT->ST->Aff->vAff- > cAff ->Z;
n.   AT-> Aff->ST-> vAff- > cAff ->Z;
o.   Aff->AT->ST-> vAff- > cAff ->Z;
p.  Aff-> ST-> AT-> vAff- > cAff ->Z;
q.   ST-> AT-> Aff-> vAff- > cAff ->Z;
r.   ST-> Aff-> AT- > vAff- > cAff ->Z;
s.   AT->ST->Aff->cAff ->Z;
t.   AT-> Aff->ST-> cAff ->Z;
u.   Aff->AT->ST-> cAff ->Z;
v.   Aff-> ST-> AT-> cAff ->Z;
w.ST-> AT-> Aff-> cAff ->Z;
x.   ST-> Aff-> AT- > cAff ->Z;
y.   該順序可從塊到塊適應性地改變。
添加到列表中的一種基於子塊的候選的數目不可超過一個數目。
a). 例如，從仿射編碼的相鄰塊繼承的仿射Merge候選的數目不可超過N，例如2、3、4、5、6；
b). 例如，構造仿射Merge候選的數目不可超過N，例如0、1、2、3、4、5、6；
c). 例如，組合Merge候選的數目不可超過N，例如0、1、2、3、4、5、6；
d). 用於編碼仿射編碼塊的一種基於子塊的候選的數目可以是固定的，或者是適應性地改變的（諸如基於包括塊尺寸、塊形狀、條帶類型的編碼信息；或者基於在添加這種候選之前可用候選的數目）。
圖8是說明可以用於實現本公開技術的各個部分的電腦系統或其他控制設備2600的結構的示例的示意圖。在圖8中，電腦系統2600包括通過互連2625連接的一個或多個處理器2605和儲存器2610。互連2625可以表示由適當的橋、適配器或控制器連接的任何一條或多條單獨的物理總線、點對點連接或兩者。因此，互連2625可以包括例如系統總線、外圍組件互連（PCI）總線、超傳輸或工業標准體系結構（ISA）總線、小型電腦系統介面（SCSI）總線、通用串行總線（USB）、IIC（I2C）總線或電氣與電子工程師協會（IEEE）標準674總線（有時被稱為“火線”）。
處理器2605可以包括中央處理器（CPU），來控制例如主機的整體操作。在一些實施例中，處理器2605通過執行儲存在儲存器2610中的軟體或韌體來實現這一點。處理器2605可以是或可以包括一個或多個可編程通用或專用微處理器、數位信號處理器（DSP）、可編程控制器、專用積體電路（ASIC）、可編程邏輯器件（PLD）等，或這些器件的組合。
儲存器2610可以是或包括電腦系統的主儲存器。儲存器2610表示任何適當形式的隨機存取儲存器（RAM）、只讀儲存器（ROM）、快閃等，或這些設備的組合。在使用中，儲存器2610除其他外可包含一組機器指令，當處理器2605執行該指令時，使處理器2605執行操作以實現本公開技術的實施例。
通過互連2625連接到處理器2605的還有（可選的）網路適配器2615。網路適配器2615為電腦系統2600提供與遠程設備（諸如儲存客戶機和/或其他儲存服務器）通信的能力，並且可以是例如以太網適配器或光纖通道適配器。
圖9示出了可以用於實施本公開技術的各個部分的移動設備2700的示例實施例的方塊圖。移動設備2700可以是筆記本電腦、智能手機、平板電腦、攝像機或其他能夠處理視頻的設備。移動設備2700包括處理器或控制器2701來處理數據，以及與處理器2701通信的儲存器2702來儲存和/或緩衝數據。例如，處理器2701可以包括中央處理器（CPU）或微控制器單元（MCU）。在一些實現中，處理器2701可以包括現場可編程門陣列（FPGA）。在一些實現中，移動設備2700包括或與圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通信單元通信，以實現智能手機設備的各種視覺和/或通信數據處理功能。例如，儲存器2702可以包括並儲存處理器可執行代碼，當處理器2701執行該代碼時，將移動設備2700配置為執行各種操作，例如接收信息、命令和/或數據、處理信息和數據，以及將處理過的信息/數據發送或提供給另一個數據設備，諸如執行器或外部顯示器。為了支持移動設備2700的各種功能，儲存器2702可以儲存信息和數據，諸如指令、軟體、值、圖像以及處理器2701處理或引用的其他數據。例如，可以使用各種類型的隨機存取儲存器（RAM）設備、只讀儲存器（ROM）設備、快閃記憶體和其他合適的儲存介質來實現儲存器2702的儲存功能。在一些實現中，移動設備2700包括輸入/輸出（I/O）單元2703，來將處理器2701和/或內存2702與其他模組、單元或設備進行介面。例如，I/O單元2703可以與處理器2701和內存2702進行介面，以利用與典型數據通信標準兼容的各種無線介面，例如，在雲中的一台或多台電腦和用戶設備之間。在一些實現中，移動設備2700可以通過I/O單元2703使用有線連接與其他設備進行介面。I/O單元2703可以包括無線感測器，例如用於檢測遠程控制信號的紅外探測器，或其他合適的無線人機界面技術。移動設備2700還可以與其他外部介面（例如數據儲存器）和/或可視或音頻顯示設備2704連接，以檢索和傳輸可由處理器處理、由儲存器儲存或由顯示設備2704或外部設備的輸出單元上顯示的數據和信息。例如，顯示設備2704可以根據所公開的技術顯示基於MVP修改的視頻幀。
圖10是視頻編碼的方法1000的流程圖表示。方法1000包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，儲存（1002）當前塊的仿射模型參數；以及使用仿射模型參數執行（1004）轉換。
視頻處理的另一種方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用原始仿射模型的控制點運動向量（CPMV）導出當前塊的新仿射模型；以及使用新仿射模型執行轉換。
視頻處理的另一種方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用來自N1個仿射預測和N2個非仿射預測的組合預測，其中N1和N2是整數；以及使用組合預測執行轉換。
視頻處理的另一種方法包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用當前塊的基於子塊的Merge列表；以及使用基於子塊的Merge列表執行轉換。
在又一典型方面，本文描述的各種技術可以被實現為儲存在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式代碼。
在又一典型方面，視頻解碼器裝置可以實現本文所述的方法。
在另一方面，公開了一種包括處理器的視頻編碼器裝置。該視頻編碼器裝置實現本文所述的方法。
可以用以下條款來描述這些方法：
1. 一種視頻處理方法，包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，儲存所述當前塊的仿射模型參數；以及使用所述仿射模型參數執行所述轉換。
2. 根據條款1所述的方法，其中所述轉換包括：從所述位元流表示重構所述當前塊。
3. 根據條款1所述的方法，其中所述轉換包括：從所述當前塊生成所述位元流表示。
4. 根據條款1至3中任一項所述的方法，其中在不儲存所述當前塊的控制點運動向量的情況下執行所述轉換。
5. 根據條款1至4中任一項所述的方法，儲存所述仿射模型參數包括：儲存4參數仿射模型的4個參數。
6. 根據條款1至4中任一項所述的方法，其中，儲存所述仿射模型參數包括：儲存4參數仿射模型的2個參數和6參數仿射模型的4個參數。
7. 根據條款1至3中任一項所述的方法，其中執行所述轉換包括：在不使用控制點運動向量的情況下，從所述仿射模型參數導出所述當前塊的仿射運動。
8. 根據條款1至3中任一項所述的方法，其中所述位元流表示包括所述仿射模型參數的值。
9. 根據條款8所述的方法，其中所述位元流表示還包括所述當前塊的控制點運動向量值。
10. 根據條款1至3中任一項所述的方法，其中執行所述轉換包括：通過從所述當前塊的多個仿射模型導出的組合仿射模型來預測所述當前塊的預測。
在章節4的技術1中提供了條款1至10的其他示例。
11. 一種視頻處理方法，包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用原始仿射模型的控制點運動向量（CPMV）導出當前塊的新仿射模型；以及使用新仿射模型執行轉換。
12. 根據條款11所述的方法，其中所述轉換包括：從所述位元流表示重構所述當前塊。
13. 根據條款11所述的方法，其中所述轉換包括：從所述當前塊生成所述位元流表示。
14. 根據條款11至13中任一項所述的方法，其中組合N個原始仿射模型，其中N是大於1的整數。
15. 根據條款11至14中任一項所述的方法，其中執行所述轉換包括：從所述新仿射模型確定預測的當前塊。
16. 根據條款11至15中任一項所述的方法，其中從另一仿射編碼的空間或時域相鄰塊導出原始仿射模型的CPMV。
17. 根據條款15所述的方法，其中確定預測的當前塊包括：從所述原始仿射模型生成所述當前塊的臨時預測，並且從作為所述臨時預測的組合的最終預測確定預測的當前塊。
在章節4的技術2中提供了條款11至17中所述方法的附加示例。
18.一種視頻編碼方法，包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用來自N1個仿射預測和N2個非仿射預測的組合預測，其中N1和N2是整數；以及使用組合預測執行轉換。
19. 根據條款18所述的方法，其中所述轉換包括：從所述位元流表示重構所述當前塊。
20. 根據條款18所述的方法，其中所述轉換包括：從所述當前塊生成所述位元流表示。
21. 根據條款18至21中任一項所述的方法，其中執行所述轉換包括：從N1個仿射預測生成N1個臨時預測；並且將N1個臨時預測與從N2個非仿射預測生成的N2個預測組合。
22. 根據條款18至21中任一項所述的方法，其中N2個非仿射預測包括以下的一個或多個：非仿射幀間預測、幀內預測、幀內塊複製、可縮放視頻編碼中的層間預測、多視圖視頻編碼或3D視頻編碼中的視圖間預測。
23. 根據條款18至21中任一項所述的方法，還包括：生成附加組合預測，以及在所述轉換期間將所述組合預測和所述附加組合預測用作仿射候選或Merge候選。
關於章節4的技術3-6描述了技術18至23的實施例的附加示例。
24. 一種視頻處理方法，包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，使用當前塊的基於子塊的Merge列表；以及使用基於子塊的Merge列表執行轉換
25. 根據條款24所述的方法，其中所述轉換包括：從所述位元流表示重構所述當前塊。
26. 根據條款24所述的方法，其中所述轉換包括：從所述當前塊生成所述位元流表示。
27. 根據條款24至26中任一項所述的方法，其中，生成基於子塊的Merge列表的順序包括以下中的至少一個：
AT->ST->Aff->vAff->Z;
AT-> Aff->ST-> vAff->Z;
Aff->AT->ST-> vAff->Z;
Aff-> ST-> AT-> vAff->Z;
ST-> AT-> Aff-> vAff->Z;
ST-> Aff-> AT- > vAff->Z;
AT->ST->Aff->cAff->vAff->Z;
AT-> Aff->ST-> cAff-> vAff->Z;
Aff->AT->ST-> cAff->vAff->Z;
Aff-> ST-> AT-> cAff-> vAff->Z;
ST-> AT-> Aff-> cAff->vAff->Z;
ST-> Aff-> AT- > cAff->vAff->Z;
AT->ST->Aff->vAff- > cAff ->Z;
AT-> Aff->ST-> vAff- > cAff ->Z;
Aff->AT->ST-> vAff- > cAff ->Z;
Aff-> ST-> AT-> vAff- > cAff ->Z;
ST-> AT-> Aff-> vAff- > cAff ->Z;
ST-> Aff-> AT- > vAff- > cAff ->Z;
AT->ST->Aff->cAff ->Z;
AT-> Aff->ST-> cAff ->Z;
Aff->AT->ST-> cAff ->Z;
Aff-> ST-> AT-> cAff ->Z;
ST-> AT-> Aff-> cAff ->Z;
ST-> Aff-> AT- > cAff ->Z;
從塊到塊適應性地改變；
其中AT表示高級時域運動向量預測候選，ST表示空時運動向量預測候選，Aff表示從仿射編碼相鄰塊繼承的仿射Merge候選，vAff表示構造的仿射Merge候選，cAff表示組合Merge候選，並且Z表示零候選。
28. 根據條款24至27中任一項所述的方法，其中所述基於子塊的Merge列表的長度小於N，其中N是0到6之間的整數。
在章節4的技術7中描述這些技術的一些實施例。
在上述條款中，轉換操作可以是例如視頻壓縮或解壓縮操作。
圖11是視頻編碼的方法1100的流程圖表示。方法1100包括：在視頻的當前塊和當前塊的位元流表示之間的轉換期間，儲存（1102）當前塊的仿射模型參數；以及使用仿射模型參數執行（1104）轉換, 其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數。
在一些實施例中，在不儲存所述當前塊的控制點運動向量的情況下執行所述轉換。
在一些實施例中，儲存的仿射模型參數的數目基於所述仿射模型。
在一些實施例中，儲存所述仿射模型參數包括：儲存4參數仿射模型的2個或4個參數。
在一些實施例中，儲存所述仿射模型參數包括：儲存6參數仿射模型的4個或6個參數。
在一些實施例中，所述方法還包括：儲存所述當前塊的多個控制點運動向量中的一個。
在一些實施例中，一個參數在儲存器中表示為K位的整數，K為8或12。
在一些實施例中，執行所述轉換包括：從所述仿射模型參數導出所述當前塊的子塊的仿射運動。
在一些實施例中，執行所述轉換包括：從所述仿射模型參數和多個控制點運動向量中的一個導出所述當前塊的子塊的仿射運動。
在一些實施例中，用於導出所述當前塊的所述子塊的所述仿射運動的所述仿射模型參數的數目基於所述仿射模型。
在一些實施例中，基於所述仿射模型參數將所述當前塊的所述子塊的所述仿射運動作為歸一化函數導出。
在一些實施例中，基於所述仿射模型參數外加多個控制點運動向量中的一個將所述當前塊的所述子塊的所述仿射運動作為歸一化函數導出。
圖12是視頻編碼的方法1200的流程圖表示。方法1200包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，信令通知（1202）所述當前塊的仿射模型參數；以及使用所述仿射模型參數執行（1204）所述轉換。
在一些實施例中，從相鄰仿射塊的參數預測所述當前塊的所述仿射模型參數。
在一些實施例中，為所述當前塊信令通知多個控制點運動向量中的一個。
在一些實施例中，通過運動向量預測對所述一個控制點運動向量進行預測，並且將運動向量差（MVD）信令通知為正常運動向量。
在一些實施例中，從所述當前塊的空間或時域相鄰塊導出所述當前塊的所述參數。
在一些實施例中，從所述當前塊的所述空間或時域相鄰塊導出多個控制點運動向量中的一個。
圖13是視頻編碼的方法1300的流程圖表示。方法1300包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，使用（1302）具有參數的多個原始仿射模型導出組合仿射模型；以及使用所述組合仿射模型執行（1304）所述轉換，其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數。
在一些實施例中，從所述當前塊的仿射編碼的空間或時域相鄰塊導出所述原始仿射模型。
在一些實施例中，從一個或多個構造仿射模型導出所述原始仿射模型。
在一些實施例中，所述組合仿射模型具有第一參數集，並且所述多個原始仿射模型分別具有多個第二參數集，所述第一參數集中的每個參數是所述多個第二參數集的每個中的對應參數的函數。
在一些實施例中，所述函數是平均函數、加權平均函數或歸一化函數。
在一些實施例中，所述加權平均函數中使用的所述運動向量的加權值相同。
在一些實施例中，所述第二參數集中的一些參數不存在，並且所述對應的加權值被設置為0。
在一些實施例中，僅使用具有4個參數的原始仿射模型來導出所述組合仿射模型。
在一些實施例中，僅使用具有6個參數的原始仿射模型來導出所述組合仿射模型。
在一些實施例中，所述方法還包括：將具有4個參數的原始仿射模型轉換為具有6個參數的仿射模型；以及使用所述轉換的具有6個參數的仿射模型導出所述組合仿射模型。
在一些實施例中，將具有4個參數的原始仿射模型轉換為具有6個參數的仿射模型包括：添加第一參數，所述第一參數是所述4個參數中的一個參數的負數；以及添加第二參數，所述第二參數與所述4個參數中的另一個參數相同。
在一些實施例中，所述轉換包括：從所述位元流表示重構所述當前塊。
在一些實施例中，所述轉換包括：從所述當前塊生成所述位元流表示。
圖14是視頻編碼的方法1400的流程圖表示。方法1400包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，使用具有控制點運動向量的多個原始仿射模型導出（1402）新仿射模型；以及使用所述新仿射模型執行（1404）所述轉換。
在一些實施例中，至少一個所述多個原始仿射模型是與所述當前塊的相鄰塊相關聯的仿射模型。
在一些實施例中，從所述當前塊的仿射編碼的空間或時域相鄰塊導出所述原始仿射模型的所述控制點運動向量。
在一些實施例中，從一些仿射編碼的空間相鄰塊導出的所述仿射模型的所述控制點運動向量不用於導出要被所述當前塊使用的所述新仿射模型。
在一些實施例中，從一個或多個構造仿射模型導出所述原始仿射模型的所述控制點運動向量。
在一些實施例中，一些構造仿射模型的所述控制點運動向量不用於導出要被所述當前塊使用的所述新仿射模型。
在一些實施例中，所述新仿射模型具有第一控制點運動向量集，並且所述多個原始仿射模型分別具有多個第二控制點運動向量集，所述第一控制點運動向量集中的每個控制點運動向量是所述多個第二控制點運動向量集的每個中的對應控制點運動向量的函數。
在一些實施例中，所述函數是平均函數、加權平均函數或歸一化函數。
在一些實施例中，所述加權平均函數中使用的所述控制點運動向量的加權值相同。
在一些實施例中，所述第二控制點運動向量集中的一些運動向量不存在，並且所述對應的加權值被設置為0。
在一些實施例中，僅使用具有4個參數的原始仿射模型來導出所述新仿射模型。
在一些實施例中，僅使用具有6個參數的原始仿射模型來導出所述新仿射模型。
在一些實施例中，所述方法還包括：具有4個參數的原始仿射模型轉換為具有6個參數的仿射模型；以及使用所述轉換的具有6個參數的仿射模型導出所述新仿射模型的控制點運動向量。
在一些實施例中，將具有4個參數的原始仿射模型轉換為具有6個參數的仿射模型包括：通過添加新控制點運動向量，將具有兩個控制點運動向量的4參數仿射模型轉換為具有三個控制點運動向量的6參數仿射模型。
在一些實施例中，從所述多個原始仿射模型導出所述新仿射模型的控制點運動向量之間的運動向量差，所述新仿射模型的控制點運動向量之間的運動向量差的每一個是原始仿射模型的每一個的控制點運動向量之間的對應運動向量差的函數。
在一些實施例中，所述函數是平均函數、加權平均函數或歸一化函數。
在一些實施例中，所述加權平均函數中使用的所述控制點運動向量差的加權值相同。
在一些實施例中，以第一方式導出所述新仿射模型的控制點運動向量之間的運動向量差，並且以第二方式導出所述新仿射模型的第一控制點運動向量，基於所述第一控制點運動向量和對應的運動向量差導出所述新仿射模型的所述控制點運動向量。
在一些實施例中，通過組合兩個仿射編碼的空間相鄰塊導出所述新仿射模型的控制點運動向量之間的運動向量差，並且從特定塊複製或縮放所述新仿射模型的所述第一控制點運動向量。
在一些實施例中，僅組合參考相同參考圖片的所述原始仿射模型的所述控制點運動向量。
在一些實施例中，在被組合之前將參考不同參考圖片的所述原始仿射模型的所述控制點運動向量縮放到相同的參考圖片。
圖15是視頻編碼的方法1500的流程圖表示。方法1500包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，通過組合所述當前視頻塊的多個臨時預測導出（1502）所述當前塊的最終組合預測；以及通過使用所述最終組合預測執行（1504）所述轉換。
在一些實施例中，通過使用多個仿射模型首先生成所述當前塊的所述多個臨時預測。
在一些實施例中，通過使用第一多個仿射模型生成所述當前塊的所述多個臨時預測的第一子集，並且通過使用第二多個非仿射預測生成所述當前塊的所述多個臨時預測的與所述第一子集不同的第二子集。
在一些實施例中，所述最終組合預測是所述多個臨時預測的函數。
在一些實施例中，所述函數是取決於相同位置的函數束，所述函數包括平均函數、加權平均函數或歸一化函數。
在一些實施例中，所述加權平均函數中使用的所述多個臨時預測的加權值對於所有位置都相同，或者所述加權平均函數中使用的所述多個臨時預測的加權值對於所有所述多個臨時預測都相同。
在一些實施例中，所述加權平均函數中使用的所述多個臨時預測的所述第一子集的加權值對於所述第一子集中的至少一個臨時預測的所有位置都相同，或者所述加權平均函數中使用的所述多個臨時預測的所述第一子集的至少一個位置中的加權值對於所述多個臨時預測的所述第一子集的所有都相同，或者所述加權平均函數中使用的所述多個臨時預測的所述第二子集的加權值對於所述第二子集中的至少一個臨時預測的所有位置都相同，或者所述加權平均函數中使用的所述多個臨時預測的所述第二子集的至少一個位置中的加權值對於所述多個臨時預測的所述第二子集的所有都相同。
在一些實施例中，通過使用參考相同參考圖片的仿射模型生成所述多個臨時預測。
在一些實施例中，通過使用參考相同參考列表中的參考圖片的仿射模型生成所述多個臨時預測。
在一些實施例中，參考已在候選列表中的雙向預測候選的參考列表0和參考列表1的兩個臨時預測不能被組合為組合候選。
在一些實施例中，所述第二多個非仿射預測包括以下的一個或多個：非仿射幀間預測、幀內預測、幀內塊複製、可縮放視頻編碼中的層間預測、多視圖視頻編碼或3D視頻編碼中的視圖間預測。
在一些實施例中，所述非仿射幀間預測包括其它基於子塊的預測，包括ATMVP、STMVP和MVPlanar預測。
在一些實施例中，在所述當前塊的所述第一多個臨時預測的數目為零的情況下，包括ATMVP、STMVP和MVPlanar預測的其他基於子塊的預測可以相互組合。
在一些實施例中，對於一個預測方向，使用仿射運動來導出臨時預測塊，並且對於另一個預測方向，使用非仿射運動來導出臨時預測塊。
在一些實施例中，為每個預測方向信令通知仿射標誌。
在一些實施例中，對於一個預測方向，使用仿射運動和非仿射運動二者來導出臨時預測塊。
圖16是視頻編碼的方法1600的流程圖表示。方法1600包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，導出（1602）所述當前塊的多個組合仿射模型；以及使用所述多個組合仿射模型執行（1604）所述轉換。
在一些實施例中，所述多個組合仿射模型被用作仿射運動向量預測候選或Merge候選，並且被添加到仿射運動向量預測候選列表或仿射Merge列表中。
在一些實施例中，將所述當前塊的每兩個仿射編碼的空間相鄰塊的仿射參數或控制點運動向量組合，以導出具有所述組合仿射模型的所述仿射參數或控制點運動向量的組合候選。
在一些實施例中，將從每兩個仿射編碼的空間相鄰塊的所述仿射模型生成的臨時預測組合，以生成具有所述組合預測的所述組合候選。
在一些實施例中，將所述組合候選添加到所述候選列表中正常仿射AMVP或從空間相鄰塊導出的Merge候選之後。
在一些實施例中，添加到所述候選列表中的所述組合候選的數目不可超過預定閾值數目。
在一些實施例中，所述方法還包括：在對所述當前塊執行轉換之後，將所述仿射模型的控制點運動向量添加到歷史運動向量預測中的查找表中。
在一些實施例中，使用單獨的控制點運動向量查找表來儲存所述控制點運動向量，並且所述控制點運動向量查找表中的條目儲存來自仿射編碼塊的兩個或三個控制點運動向量。
在一些實施例中，用於編碼仿射編碼塊的歷史運動向量預測候選的數目是固定的。
在一些實施例中，基於包括塊尺寸、塊形狀、條帶類型的編碼信息或者基於在添加歷史運動向量預測候選之前可用候選的數目適應性地改變用於編碼仿射編碼塊的歷史運動向量預測候選的數目。
在一些實施例中，將基於子塊的Merge候選添加到基於子塊的Merge列表中的順序包括以下中的至少一個：
a.   AT->ST->Aff->vAff->Z;
b.   AT-> Aff->ST-> vAff->Z;
c.   Aff->AT->ST-> vAff->Z;
d.   Aff-> ST-> AT-> vAff->Z;
e.   ST-> AT-> Aff-> vAff->Z;
f.   ST-> Aff-> AT- > vAff->Z;
g.   AT->ST->Aff->cAff->vAff->Z;
h.   AT-> Aff->ST-> cAff-> vAff->Z;
i.   Aff->AT->ST-> cAff->vAff->Z;
j.   Aff-> ST-> AT-> cAff-> vAff->Z;
k.   ST-> AT-> Aff-> cAff->vAff->Z;
l.   ST-> Aff-> AT- > cAff->vAff->Z;
m.AT->ST->Aff->vAff- > cAff ->Z;
n.   AT-> Aff->ST-> vAff- > cAff ->Z;
o.   Aff->AT->ST-> vAff- > cAff ->Z;
p.  Aff-> ST-> AT-> vAff- > cAff ->Z;
q.   ST-> AT-> Aff-> vAff- > cAff ->Z;
r.   ST-> Aff-> AT- > vAff- > cAff ->Z;
s.   AT->ST->Aff->cAff ->Z;
t.   AT-> Aff->ST-> cAff ->Z;
u.   Aff->AT->ST-> cAff ->Z;
v.   Aff-> ST-> AT-> cAff ->Z;
w.ST-> AT-> Aff-> cAff ->Z;
x.   ST-> Aff-> AT- > cAff ->Z;
y.   從塊到塊適應性地改變；
其中AT表示高級時域運動向量預測候選，ST表示空時運動向量預測候選，Aff表示從仿射編碼相鄰塊繼承的仿射Merge候選，vAff表示構造的仿射Merge候選，cAff表示組合Merge候選，並且Z表示零候選。
在一些實施例中，從塊到塊適應性地改變所述順序。
在一些實施例中，添加到所述基於子塊的Merge列表中的所述基於子塊的Merge候選的數目不超過預定數目。
在一些實施例中，從仿射編碼相鄰塊繼承的所述仿射Merge候選的數目不超過在2到6的範圍內的所述預定數目。
在一些實施例中，所述構造的仿射Merge候選的數目不超過在0到6的範圍內的所述預定數目。
在一些實施例中，所述組合Merge候選的數目不超過在0到6範圍內的所述預定數目。
在一些實施例中，用於編碼仿射編碼塊的一種基於子塊的候選的數目是固定的。
在一些實施例中，基於包括塊尺寸、塊形狀、條帶類型的編碼信息或者基於在添加歷史運動向量預測候選之前可用候選的數目適應性地改變用於編碼仿射編碼塊的一種基於子塊的候選的數目。
在一些實施例中，所述轉換包括：從所述位元流表示重構所述當前塊。
在一些實施例中，所述轉換包括：從所述當前塊生成所述位元流表示。
圖17示出了典型HEVC視頻編碼器和解碼器1700的示例性方塊圖。產生符合HEVC的位元流的編碼算法通常如下進行。每個圖片被劃分為塊狀區域，精確的塊劃分被傳送到解碼器。視頻序列的第一圖片（以及進入視頻序列的每個乾淨的隨機存取點處的第一圖片）僅使用幀內預測（其使用同一幀內區域到區域的空間數據預測，但不依賴其他圖片）進行編碼。對於序列的或隨機存取點之間的所有剩餘圖片，幀間時間預測編碼模式通常用於大多數塊。用於幀間預測的編碼處理包括選擇包括所選參考圖片的運動數據和要應用於預測每個塊的樣本點的運動向量（MV）。編碼器和解碼器通過使用MV和模式決策數據應用運動補償（MC）來生成相同的幀間預測信號，其作為輔助信息被傳輸。
通過線性空間變換來變換幀內或幀間預測的殘差信號，其是原始塊與其預測之間的差。然後對變換係數進行縮放，量化，熵編碼，並與預測信息一起傳輸。
編碼器複製解碼器處理循環（參見圖17中的灰色陰影框），使得兩者都將為後續數據生成相同的預測。因此，通過逆縮放來構造量化的變換係數，然後對其進行逆變換以複製殘差信號的解碼近似。然後將殘差添加到預測，然後可以將該相加的結果饋送到一個或兩個環路濾波器中以平滑由逐塊處理和量化引起的偽像。最終圖片表示（即解碼器輸出的副本）儲存在解碼圖片緩衝器中以用於後續圖片的預測。通常，圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序；需要區分解碼器的解碼順序（即位元流順序）和輸出順序（即顯示順序）。
通常期望由HEVC編碼的視頻材料作為逐行掃描圖像輸入（由於源視頻源自該格式或者由編碼之前的去交錯產生）。HEVC設計中不存在明確的編碼特徵以支持隔行掃描的使用，因為隔行掃描不再用於顯示器，並且對於分發而言變得非常不常見。然而，在HEVC中已提供了元數據語法以允許編碼器通過將隔行掃描視頻的每個區（即，每個視頻幀的偶數或奇數行）編碼為單獨的圖片來指示已發送隔行掃描視頻或通過將每個隔行掃描幀編碼為HEVC編碼圖片指示它已被發送。這提供了一種對隔行掃描視頻進行編碼的有效方法，而不需要支持用於它的特殊解碼處理。
本專利文件中描述的主題的實現和功能操作可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現，包括本說明書中所公開的結構及其結構等效體，或其中一個或多個的組合。本說明說中描述的主題的實現可以實現為一個或多個電腦程式產品，即一個或多個編碼在有形的且非揮發的電腦可讀介質上的電腦程式指令的模組，以供數據處理裝置執行或控制數據處理裝置的操作。電腦可讀介質可以是機器可讀儲存設備、機器可讀儲存基板、儲存設備、影響機器可讀傳播信號的物質組成或其中一個或其中多個的組合。術語“數據處理單元”或“數據處理裝置”包括用於處理數據的所有裝置、設備和機器，包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協議棧、數據庫管理系統、操作系統或其中一個或多個的組合。傳播的信號是人為生成的信號，例如，機器生成的電、光或電磁信號，其被生成以編碼信息以傳輸到合適的接收器設備。
電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的編程語言（包括編譯語言或解釋語言）編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以儲存在保存其他程式或數據的文件的部分中（例如，儲存在標記語言文件中的一個或多個腳本）、專用於該程式的單個文件中、或多個協調文件（例如，儲存一個或多個模組、子程式或部分代碼的文件）中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個站點上或分佈在多個站點上，並通過通信網路互連。
本說明書中描述的處理和邏輯流可以通過一個或多個可編程處理器執行，該處理器執行一個或多個電腦程式，通過在輸入數據上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA（現場可編程門陣列）或ASIC（專用積體電路）。
例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從只讀儲存器或隨機存取儲存器或兩者接收指令和數據。電腦的基本元件是執行指令的處理器和儲存指令和數據的一個或多個儲存設備。通常，電腦還將包括一個或多個用於儲存數據的大容量儲存設備，例如，磁盤、磁光盤或光盤，或通過操作耦合到一個或多個大容量儲存設備來從其接收數據或將數據傳輸到一個或多個大容量儲存設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括所有形式的非揮發性儲存器、介質和儲存器設備，包括例如半導體儲存器設備，例如EPROM、EEPROM和快閃記憶體；磁盤，例如，內部硬盤或可移動硬盤；磁光盤；以及CD ROM和DVD ROM盤。處理器和儲存器可以由專用邏輯電路來補充，或合併到專用邏輯電路中。
雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中移除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣，儘管附圖中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
1000、1100、1200、1300、1400、1500、1600:方法1002、1004、1102、1104、1202、1204、1302、1304、1402、1404、1502、1504、1602、1604:步驟 1700:典型HEVC視頻編碼器和解碼器 2600:電腦系統 2605:處理器 2610:儲存器 2615:網路適配器 2625:互連 2700:移動設備 2701:控制器 2702:儲存器 2703:輸入/輸出單元 2704:顯示器 a、b、c、d、A、B、C、D、E、A0、A1、B0、B1、B2、B3、T:塊 CP0、CP1、CP2、CP3、CP4:點mv 0、mv 1、mv 2、v0、v1:運動向量
圖1示出了基於子塊的預測計算的示例。 圖2A-2B示出了簡化仿射運動模型的示例。2A：4參數仿射模型；2B：6參數仿射模型。 圖3示出了每個子塊的仿射運動向量場（MVF）的示例。 圖4A-4B顯示AF_Merge模式的候選。 圖5示出仿射Merge模式的示例候選位置。 圖6示出了具有四個子塊（A-D）及其相鄰塊（a-d）的編碼單元（CU）的示例。 圖7示出了運動向量（MV）平面預測算法的示例。 圖8是示出可用於實現本公開技術的各個部分的電腦系統或其他控制設備的架構的示例的方塊圖。 圖9示出了可用於實現本公開技術的各個部分的移動設備的示例性實施例的方塊圖。 圖10是視頻處理的示例方法的流程圖。 圖11是視頻處理的另一示例方法的流程圖。 圖12是視頻處理的另一示例方法的流程圖。 圖13是視頻處理的另一示例方法的流程圖。 圖14是視頻處理的另一示例方法的流程圖。 圖15是視頻處理的另一示例方法的流程圖。 圖16是視頻處理的另一示例方法的流程圖。 圖17示出了典型的高效視頻編碼（HEVC）視頻編碼器和解碼器的示例方塊圖。
1100:方法
1102、1104:步驟

Claims (32)

  1. 一種視頻處理方法，包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，儲存所述當前塊的仿射模型參數；以及使用所述仿射模型參數執行所述轉換，其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數；並且其中，基於所述仿射模型參數將所述當前塊的子塊的仿射運動作為歸一化函數導出。
  2. 如申請專利範圍第1項所述的方法，其中在不儲存所述當前塊的控制點運動向量的情況下執行所述轉換。
  3. 如申請專利範圍第1項至第2項中任一項所述的方法，其中，儲存的仿射模型參數的數目基於所述仿射模型。
  4. 如申請專利範圍第1項至第2項中任一項所述的方法，其中，儲存所述仿射模型參數包括：儲存4參數仿射模型的2個或4個參數。
  5. 如申請專利範圍第1項至第2項中任一項所述的方法，其中，儲存所述仿射模型參數包括：儲存6參數仿射模型的4個或6個參數。
  6. 如申請專利範圍第1項所述的方法，還包括：儲存所述當前塊的多個控制點運動向量中的一個。
  7. 如申請專利範圍第1項至第2項中任一項所述的方法，其中一個參數在儲存器中表示為K位的整數，K為8或12。
  8. 如申請專利範圍第1項所述的方法，其中執行所述轉換包括：從所述仿射模型參數導出所述當前塊的子塊的仿射運動。
  9. 如申請專利範圍第1項所述的方法，其中，執行所述轉換包括：從所述仿射模型參數和多個控制點運動向量中的一個導出所述當前塊的子塊的仿射運動。
  10. 如申請專利範圍第8項至第9項中任一項所述的方法，其中，用於導出所述當前塊的所述子塊的所述仿射運動的所述仿射模型參數的數目基於所述仿射模型。
  11. 如申請專利範圍第10項所述的方法，其中，基於所述仿射模型參數外加多個控制點運動向量中的一個將所述當前塊的所述子塊的所述仿射運動作為歸一化函數導出。
  12. 一種視頻處理方法，包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，信令通知所述當前塊的仿射模型參數；以及使用所述仿射模型參數執行所述轉換，其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數；並且其中，基於所述仿射模型參數將所述當前塊的子塊的仿射運動作為歸一化函數導出。
  13. 如申請專利範圍第12項所述的方法，其中，從相鄰仿射塊的參數預測所述當前塊的所述仿射模型參數。
  14. 如申請專利範圍第12項所述的方法，其中，為所述當前塊信令通知多個控制點運動向量中的一個。
  15. 如申請專利範圍第14項所述的方法，其中通過運動向量預測對所述一個控制點運動向量進行預測，並且將運動向量差(MVD)信令通知為正常運動向量。
  16. 如申請專利範圍第12項所述的方法，其中，從所述當前塊的空間或時域相鄰塊導出所述當前塊的所述參數。
  17. 如申請專利範圍第16項所述的方法，其中，從所述當前塊的所述空間或時域相鄰塊導出多個控制點運動向量中的一個。
  18. 一種視頻處理方法，包括：在視頻的當前塊和所述當前塊的位元流表示之間的轉換期間，使用具有參數的多個原始仿射模型導出組合仿射模型；以及使用所述組合仿射模型執行所述轉換，其中，至少從所述當前塊的控制點運動向量導出所述仿射模型參數。
  19. 如申請專利範圍第18項所述的方法，其中，從所述當前塊的仿射編碼的空間或時域相鄰塊導出所述原始仿射模型。
  20. 如申請專利範圍第19項所述的方法，其中，從一個或多個構造仿射模型導出所述原始仿射模型。
  21. 如申請專利範圍第20項所述的方法，其中，所述組合仿射模型具有第一參數集，並且所述多個原始仿射模型分別具有多個第二參數集，所述第一參數集中的每個參數是所述多個第二參數集的每個中的對應參數的函數。
  22. 如申請專利範圍第21項所述的方法，其中，所述函數是平均函數、加權平均函數或歸一化函數。
  23. 如申請專利範圍第22項所述的方法，其中，所述加權平均函數中使用的所述運動向量的加權值相同。
  24. 如申請專利範圍第21項所述的方法，其中，所述第二參數集中的一些參數不存在，並且所述對應的加權值被設置為0。
  25. 如申請專利範圍第18項所述的方法，其中，僅使用具有4個參數的原始仿射模型來導出所述組合仿射模型。
  26. 如申請專利範圍第18項所述的方法，其中，僅使用具有6個參數的原始仿射模型來導出所述組合仿射模型。
  27. 如申請專利範圍第18項所述的方法，所述方法還包括：將具有4個參數的原始仿射模型轉換為具有6個參數的仿射模型；以及使用所述轉換的具有6個參數的仿射模型導出所述組合仿射模型。
  28. 如申請專利範圍第27項所述的方法，其中，將具有4個參數的原始仿射模型轉換為具有6個參數的仿射模型包括：添加第一參數，所述第一參數是所述4個參數中的一個參數的負數；以及添加第二參數，所述第二參數與所述4個參數中的另一個參數相同。
  29. 如申請專利範圍第1項及第12項至第28項中任一項所述的方法，其中所述轉換包括：從所述位元流表示重構所述當前塊。
  30. 如申請專利範圍第1項及第12項至第28項中任一項所述的方法，其中所述轉換包括：從所述當前塊生成所述位元流表示。
  31. 一種視頻處理裝置，其包括處理器，所述處理器被配置為實現申請專利範圍第1項至第30項中任一項或多項所述的方法。
  32. 一種其上儲存了代碼的電腦可讀程式介質，所述代碼包括指令，當所述指令被處理器執行時，使所述處理器實現申請專利範圍第1項至第30項中任一項或多項所述的方法。
TW108134299A 2018-09-23 2019-09-23 仿射模型的表示 TWI833811B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/107167 2018-09-23
CN2018107167 2018-09-23

Publications (2)

Publication Number Publication Date
TW202017383A TW202017383A (zh) 2020-05-01
TWI833811B true TWI833811B (zh) 2024-03-01

Family

ID=68069839

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108134297A TWI831837B (zh) 2018-09-23 2019-09-23 仿射模型的多個假設
TW108134299A TWI833811B (zh) 2018-09-23 2019-09-23 仿射模型的表示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108134297A TWI831837B (zh) 2018-09-23 2019-09-23 仿射模型的多個假設

Country Status (4)

Country Link
US (2) US11909953B2 (zh)
CN (2) CN110944207B (zh)
TW (2) TWI831837B (zh)
WO (2) WO2020058955A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944207B (zh) 2018-09-23 2023-12-08 北京字节跳动网络技术有限公司 仿射模型的表示
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码系统中组合多个预测子用于块预测的方法及装置
GB2578151B (en) * 2018-10-18 2021-06-09 Canon Kk Video coding and decoding
CN111083485B (zh) 2018-10-22 2024-08-02 北京字节跳动网络技术有限公司 仿射模式的运动信息的利用
CN113748673B (zh) * 2019-03-11 2024-07-05 阿里巴巴集团控股有限公司 用于针对合并模式确定预测权重的方法、设备和系统
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
CN112565770B (zh) * 2020-12-08 2022-08-12 深圳万兴软件有限公司 一种视频编码方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201742465A (zh) * 2016-05-16 2017-12-01 高通公司 用於視訊寫碼之仿射運動預測
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
AU2002228884A1 (en) * 2000-11-03 2002-05-15 Compression Science Video data compression system
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
WO2020084511A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified entropy coding for sub-block based motion information list
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
EP3490259B1 (en) 2013-04-02 2021-10-13 InterDigital Madison Patent Holdings, SAS Enhanced temporal motion vector prediction for scalable video coding
WO2015010317A1 (zh) 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
CN104769947B (zh) 2013-07-26 2019-02-26 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
WO2015195942A1 (en) * 2014-06-19 2015-12-23 Vid Scale, Inc. Methods and systems for intra block copy coding with block vector derivation
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017130696A1 (ja) 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10638152B2 (en) * 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2018061563A1 (ja) 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
KR102523619B1 (ko) 2016-11-25 2023-04-20 엘티소재주식회사 헤테로고리 화합물 및 이를 이용한 유기 발광 소자
US20180176582A1 (en) 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
CN108271023B (zh) * 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
EP3422720A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Multiple predictor candidates for motion compensation
WO2019002215A1 (en) 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction
CA3100970A1 (en) 2018-05-24 2019-11-28 Kt Corporation Method and apparatus for processing video signal
US11503300B2 (en) 2018-05-25 2022-11-15 Hfi Innovation Inc. Method and apparatus of affine mode motion-vector prediction derivation for video coding system
CN111869215B (zh) 2018-05-31 2023-06-06 华为技术有限公司 受限长距离运动矢量预测方法及装置
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
CN116347099A (zh) 2018-06-19 2023-06-27 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
WO2020009419A1 (ko) 2018-07-02 2020-01-09 인텔렉추얼디스커버리 주식회사 병합 후보를 사용하는 비디오 코딩 방법 및 장치
US10805624B2 (en) * 2018-07-16 2020-10-13 Tencent America LLC Determination of parameters of an affine model
US11032563B2 (en) 2018-07-17 2021-06-08 Tencent America LLC Method and apparatus for affine model prediction
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
KR20240005178A (ko) 2018-09-19 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 움직임 벡터 해상도를 가지는 어파인 모드에 대한 구문 재사용
TWI815973B (zh) 2018-09-23 2023-09-21 大陸商北京字節跳動網絡技術有限公司 具有自我調整運動向量解析度的運動向量精度指示的信令通知
CN110944207B (zh) 2018-09-23 2023-12-08 北京字节跳动网络技术有限公司 仿射模型的表示
CN111083485B (zh) 2018-10-22 2024-08-02 北京字节跳动网络技术有限公司 仿射模式的运动信息的利用
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
CN112997485A (zh) 2018-11-05 2021-06-18 北京字节跳动网络技术有限公司 用于具有细化的帧间预测的插值
US10904550B2 (en) 2019-01-12 2021-01-26 Tencent America LLC Method and apparatus for video coding
WO2020156576A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Multi-hmvp for affine
US11146813B2 (en) 2019-05-23 2021-10-12 Tencent America LLC Method and apparatus for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201742465A (zh) * 2016-05-16 2017-12-01 高通公司 用於視訊寫碼之仿射運動預測
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Also Published As

Publication number Publication date
WO2020058954A1 (en) 2020-03-26
TWI831837B (zh) 2024-02-11
CN110944181A (zh) 2020-03-31
TW202017389A (zh) 2020-05-01
CN110944207B (zh) 2023-12-08
WO2020058955A1 (en) 2020-03-26
US11870974B2 (en) 2024-01-09
CN110944181B (zh) 2023-03-10
US11909953B2 (en) 2024-02-20
TW202017383A (zh) 2020-05-01
CN110944207A (zh) 2020-03-31
US20210211714A1 (en) 2021-07-08
US20210195177A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
TWI833811B (zh) 仿射模型的表示
JP7263529B2 (ja) デコーダ側精緻化ツールのサイズ選択アプリケーション
JP7209092B2 (ja) 動きベクトル差分によるマージ（ｍｍｖｄ）モードにおける動きベクトル予測
CN113287317A (zh) 并置的局部照明补偿和修改的帧间编解码工具
CN110636300A (zh) 颜色分量之间的子块运动矢量继承
TWI822862B (zh) 8參數仿射模型
TWI834727B (zh) 從仿射運動預測的非仿射塊
CN111010571B (zh) 组合仿射Merge候选的生成和使用
US20220038732A1 (en) Method and device for processing video signal for inter-prediction
CN111131830A (zh) 重叠块运动补偿的改进
TW202002638A (zh) 子塊的邊界增強
CN115136597A (zh) 空域-时域运动矢量预测
CN113366831A (zh) 重叠块运动补偿和其他工具之间的协调
CN118870021A (zh) 8参数仿射模式