TW202032989A

TW202032989A - 塊級別的運動向量平面模式

Info

Publication number: TW202032989A
Application number: TW108134289A
Authority: TW
Inventors: 劉鴻彬; 張莉; 張凱; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-09-23
Filing date: 2019-09-23
Publication date: 2020-09-01
Also published as: TW202017384A; US11575903B2; TWI822862B; TW202031048A; CN110944205A; US20210211678A1; WO2020058950A1; WO2020058953A1; WO2020058952A1; CN110944183B; CN110944203A; CN110944183A; CN110944204A; TW202017382A; US11546601B2; US20210211647A1; US20210211677A1; CN110944204B; WO2020058951A1; TWI821408B

Abstract

一種視頻處理的方法，包括：從一組鄰近塊推導可以被劃分成多個子塊的當前塊的運動預測；以及使用推導出的運動預測執行當前塊和當前塊的位元流表示之間的轉換，其中，基於塊級而不是子塊級，將運動預測應用於當前塊。

Description

塊級別的運動向量平面模式

本專利文件涉及視頻編碼技術、設備和系統。 [相關申請案的交叉參考]

根據適用的專利法和/或巴黎公約的規則，本申請旨在及時要求2018年9月23日提交的國際專利申請第PCT/CN2018/107166號的優先權和利益。國際專利申請第PCT/CN2018/107166號的全部公開內容通過引用結合於此作為本申請公開內容的一部分。

運動補償（Motion compensation，MC）是視頻處理的一種技術，通過考慮相機和/或視頻中對象的運動，在給定先前和/或未來幀的情況下，預測視頻中的幀。運動補償可以被用於視頻數據的編碼以進行視頻壓縮。

該文件公開了與在視頻編碼和解碼中使用仿射運動補償相關的方法、系統和設備。

在一個示例方面，一種視頻處理的方法，包括：從一組鄰近塊推導可以被劃分成多個子塊的當前塊的運動預測；以及使用推導出的運動預測執行當前塊和當前塊的位元流表示之間的轉換，其中，基於塊級而不是子塊級，將運動預測應用於當前塊。

在又一代表性方面，公開了一種視頻處理裝置。該裝置包括處理器，該處理器被配置為實施本文描述的方法。

在又一代表性方面，本文描述的各種技術可以體現為儲存在非暫時性電腦可讀介質上的電腦程式產品。該電腦程式產品包括用於執行本文描述的方法的程式代碼。

在另一示例方面，視頻編碼器裝置包括處理器和視頻處理電路，被配置為實施視頻編碼方法。

在又一代表性方面，視頻解碼器裝置可以實施本文描述的方法。

在又一方面，所描述的方法可以以處理器可執行代碼的形式體現，並儲存在電腦可讀介質上。

一個或多個實施方式的細節在下面所附的申請專利範圍、附圖和描述中闡述。從說明書和附圖以及申請專利範圍書中，其他特徵將是明顯的。

本文件提供了若干種可以體現在數位視頻編碼器和解碼器中的技術。為了理解清楚，在本文件中使用了章節標題，並且不將每個章節中公開的技術和實施例的範圍僅限制於該章節。

在本文件中，術語“視頻處理”可以指視頻編碼、視頻解碼、視頻壓縮或視頻解壓縮。例如，視頻壓縮算法可以在從視頻的像素表示到對應的位元流表示的轉換期間應用，反之亦然。

1. 概要

該專利文件涉及視頻/圖像編碼技術。具體地，該專利文件涉及視頻/圖像編碼中的運動向量預測。該專利文件可以應用於現有的視頻編碼標準（如HEVC），或即將最終確定的標準（通用視頻編碼）。它也可以適用於未來的視頻/圖像編碼標準或視頻/圖像編解碼器。

2. 介紹

基於子塊的預測首先由HEVC Annex I（3D-HEVC）引入到視頻編碼標準中。利用基於子塊的預測，諸如編碼單元（CU）或預測單元（PU）的塊被分為若干不重疊的子塊。可以為不同的子塊分配不同的運動信息，諸如參考索引或運動向量（MV），並且對每個子塊單獨地執行運動補償（MC）。圖1示出了基於子塊的預測的概念。

為了探索HEVC之外的未來視頻編碼技術，聯合視頻探索團隊（Joint Video Exploration Team，JVET）由VCEG和MPEG於2015年共同創立。從那時起，JVET採用了許多新方法，並將其納入名為聯合探索模型（Joint Exploration Model，JEM）的參考軟體中。

在JEM中，在若干編碼工具中採用基於子塊的預測，例如仿射預測、可選時域運動向量預測（ATMVP）、空時運動向量預測（STMVP）、雙向光流（BIO）和幀速率上轉換（FRUC）。仿射預測也被採用到VVC中。

2.1 仿射預測

在HEVC中，僅將平移運動模型應用於運動補償預測（MCP）。而在現實世界中，存在多種運動，例如放大/縮小、旋轉、透視運動和其他不規則運動。在VVC中，應用簡化的仿射變換運動補償預測。如圖2所示，塊的仿射運動場由兩個（在4參數仿射模型中）或三個（在6參數仿射模型中）控制點運動向量描述。

圖2示出了簡化的仿射運動模型（a）4參數仿射模型；（b）6參數仿射模型。

塊的運動向量場（MVF）由具有4參數仿射模型的以下等式描述

（1）

和6參數仿射模型：

（2）

其中（mv^h ₀ ，mv^v ₀ ）是左上角控制點的運動向量，並且（mv^h ₁ ，mv^v ₁ ）是右上角控制點的運動向量，並且（mv^h ₂ ，mv^v ₂ ）是左下角控制點的運動向量。

為了推導每個4×4子塊的運動向量，根據等式（1）或（2）計算每個子塊的中心樣本的運動向量，如圖3所示，並捨入到1/16分數精度。然後，應用運動補償內插濾波器以用推導的運動向量生成每個子塊的預測。

在VTM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度均大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級中的仿射標誌，以指示是否使用AF_INTER模式。在該模式中，建構具有兩個候選的CP MVP候選列表。

仿射模型可以從空域鄰近的仿射編碼塊繼承，諸如左、上、右上、左下和左上鄰近塊，如圖4A中所示。例如，如果圖4A中的鄰近的左塊A以仿射模式編碼，如圖4B中的A0所指代，則獲取含有塊A的鄰近CU/PU的左上角、右上角和左下角的控制點（CP）運動向量mv₀ ^N 、mv₁ ^N 和mv₂ ^N 。並且基於mv₀ ^N 、mv₁ ^N 和mv₂ ^N 計算當前CU/PU上的左上角/右上/左下的運動向量mv₀ ^C 、mv₁ ^C 和mv₂ ^C （其僅用於6參數仿射模型）。

應當注意，當用仿射merge模式編碼CU時，即，在AF_MERGE模式中，它從有效的鄰近重構塊獲得用仿射模式編碼的第一塊。並且候選塊的選擇順序是從左、上、右上、左下到左上，如圖4A所示。

當前塊的推導的CP MV mv₀ ^C 、mv₁ ^C 和mv₂ ^C 可以用作仿射merge模式中的CP MV。或者它們可以在VVC中用作仿射幀間模式的MVP。應當注意，對於merge模式，如果當前塊用仿射模式編碼，則在推導當前塊的CP MV之後，可以將當前塊進一步劃分為多個子塊，並且每個塊將基於當前塊的推導的CP MV推導其運動信息。

2.2 JVET-K0186

不同於其中僅一個仿射空域鄰近塊可以用於推導塊的仿射運動的VTM，在JVET-K0186中，提出了為AF_MERGE模式建構仿射候選的單獨列表。

1) 插入繼承的仿射候選到候選列表中

圖5示出了仿射merge模式的候選位置的示例。

繼承的仿射候選是指由用仿射模式編碼的有效鄰近重構塊推導的候選。

如圖5中所示，候選塊的掃描順序是A1、B1、B0、A0和B2。當選擇塊（例如，A1）時，應用兩步過程： a) 首先，使用覆蓋該塊的CU的三個角部運動向量，以推導當前塊的兩個/三個控制點。 b) 基於當前塊的控制點，以推導當前塊內的每個子塊的子塊運動。

2) 插入建構的仿射候選

如果仿射merge候選列表中的候選的數目少於MaxNumAffineCand，則建構的仿射候選被插入到候選列表中。

建構的仿射候選是指通過組合每個控制點的鄰近運動信息建構的候選。

首先從指定的空域鄰域和時域鄰域推導控制點的運動信息，如圖5中所示。CPk（k=1、2、3、4）表示第k個控制點。A0、A1、A2、B0、B1、B2和B3是預測CPk（k=1、2、3）的空域位置；T是預測CP4的時域位置。

CP1，CP2，CP3和CP4的坐標分別是（0，0），（W，0），（H，0）和（W，H），其中W和H是當前塊的寬度和高度。

每個控制點的運動信息根據以下優先級順序獲得： - 對於CP1，檢查優先級是B2->B3->A2。如果B2可用則使用B2。否則，如果B2不可用，則使用B3。如果B2和B3都不可用，則使用A2。如果全部三個候選不可用，則CP1的運動信息無法獲得。 - 對於CP2，檢查優先級是B1->B0； - 對於CP3，檢查優先級是A1->A0； - 對於CP4，使用T。

其次，控制點的組合用於建構運動模型。

需要三個控制點的運動向量來計算6參數仿射模型中的變換參數。可以從以下四個組合之一選擇三個控制點：（{CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4}）。例如，使用CP1，CP2和CP3控制點來建構6參數仿射運動模型，指代為仿射（CP1，CP2，CP3）。

需要兩個控制點的運動向量來計算4參數仿射模型中的變換參數。可以從以下六個組合之一選擇兩個控制點（{CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4}）。例如，使用CP1和CP2控制點來建構4參數仿射運動模型，指代為仿射（CP1，CP2）。

建構的仿射候選的組合被以如下順序插入到候選列表中：{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}

3) 插入零運動向量

如果仿射merge候選列表中的候選的數目少於MaxNumAffineCand，則將零運動向量插入到候選列表中，直到列表充滿。

2.3 ATMVP（高級時域運動向量預測）

在第10次JVET會議上，高級時域運動向量預測（ATMVP）被包含在基準集（BMS）-1.0參考軟體中，其基於來自時域鄰近圖片的共位（collocated）塊的運動信息推導一個編碼單元（CU）的子塊的多個運動。雖然它提高了時域運動向量預測的效率，但是對現有的ATMVP設計識別出以下複雜度問題：

如果使用多個參考圖片，則不同ATMVP CU的共位圖片可能不相同。這意味著需要取回多個參考圖片的運動場。

每個ATMVP CU的運動信息總是基於4×4單元推導，導致對一個ATMVP CU內的每個4×4子塊的運動推導和運動補償的多次調用。

提出了對ATMVP的一些進一步簡化，並且已經在VTM2.0中採用。

2.3.1 使用一個固定共位圖片的簡化的共位塊推導

在該方法中，提出了一種簡化設計以使用與在HEVC中相同的共位圖片，其在條帶標頭處信令通知，作為用於ATMVP推導的共位圖片。在塊級，如果鄰近塊的參考圖片與該共位圖片不同，則使用HEVC時域MV縮放方法來縮放塊的MV，並且在ATMVP中使用縮放的MV。

指代用於取回共位圖片R_col 中的運動場的運動向量作為MV_col 。為了最小化由於MV縮放引起的影響，用於推導MVcol的空域候選列表中的MV以如下方式選擇：如果候選MV的參考圖片是共位圖片，則選擇該MV並將其用作MV_col ，而不使用任何縮放。否則，選擇具有最接近共位圖片的參考圖片的MV以利用縮放來推導MV_col 。

2.3.2 自適應ATMVP子塊大小

在該方法中，提出支持用於ATMVP運動推導的子塊尺寸的條帶級適配。具體地，在序列級信令通知用於ATMVP運動推導的一個默認子塊尺寸。另外，在條帶級信令通知一個標誌以指示默認子塊尺寸是否用於當前條帶。如果該標誌為偽，則在條帶的條帶標頭中進一步信令通知對應的ATMVP子塊尺寸。

2.4 STMVP（空時運動向量預測）

STMVP在JEM中被提出並被採用，但尚未在VVC中被採用。在STMVP中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖6說明了這個概念。讓我們考慮含有四個4×4子CU A，B、C和D的8×8 CU。當前幀中的鄰近4×4塊標記為a、b、c和d。

子CU A的運動推導以識別其兩個空間鄰域開始。第一鄰域是子CU A上方的N×N塊（塊c）。如果該塊c不可用或者是幀內編碼的，則檢查子CU A上方的其他N×N塊（從左到右，始於塊c）。第二鄰域是子CU A左側的塊（塊b）。如果塊b不可用或者是幀內編碼的，則檢查子CU A左側的其他塊（從上到下，始於塊b）。對每個列表從鄰近塊獲得的運動信息被縮放到給定列表的第一參考幀。接下來，通過按照與HEVC中指定的TMVP推導相同的過程來推導子塊A的時域運動向量預測符（TMVP）。取回位置D處的共位塊的運動信息並相應地縮放。最後，在檢索和縮放運動信息之後，對於每個參考列表分開地平均全部可用的運動向量（最多3個）。平均的運動向量被指定為當前子CU的運動向量。

圖6示出了具有四個子塊（A至D）的一個CU及其鄰近塊（a至d）的示例。

2.5非子塊STMVP

在該提議中，提出非子塊STMVP作為空時merge模式。所提出的方法使用共位塊，其與HEVC/JEM相同（只有一個圖片，這裡沒有時間向量）。所提出的方法還檢查上方和左方空間位置，該位置在本提議中被調整。具體地，為了檢查鄰近的幀間預測信息，最多檢查兩個位置，上方和左方。來自上面列的Amid、Afar、來自左行的Lfar和Lmid的確切位置（如圖7所示）如下所示： Afar：（nPbW * 5 / 2, -1），Amid（nPbW / 2, -1） Lfar：（-1, nPbH * 5 / 2），Lmid（-1, nPbH/2）

上塊、左塊和時間塊的運動向量的平均值的計算與BMS軟體實施方式相同。如果3個參考幀間預測塊可用，分別用（mvLX_A[0]，mvLX_A[1]）、（mvLX_L[0]，mvLX_L[1]）和（mvLX_C[0]，mvLX_C[1]）表示相關聯的MV，並且最終預測值用（mvLX[0]，mvLX[1]）表示。 mvLX[0]=（（mvLX_A[0]+mvLX_L[0]+mvLX_C[0]）* 43）/128 mvLX[1]=（（mvLX_A[1]+mvLX_L[1]+mvLX_C[1]）* 43）/128

如果只有兩個或一個幀間預測塊可用，則使用兩個MV的平均值或僅使用一個MV。 mvLX[0] = (mvLX_D[0] + mvLX_E[0]) / 2 mvLX[1] = (mvLX_D[1] + mvLX_E[1]) / 2

2.6 MV平面

為了生成平滑的細化粒度運動場，圖8給出了平面運動向量預測過程的簡要描述。

平面運動向量預測通過在4×4塊的基礎上平均水平和垂直線性插值來實現，如下所示。

W和H表示塊的寬度和高度。（x,y）是當前子塊相對於左上角子塊的坐標。所有距離都用像素距離除以4來表示。

是當前子塊的運動向量。

位置（x,y）的水平預測

和垂直預測

計算如下：

其中

和

是當前塊的左方和右方的4×4塊的運動向量。

和

是當前塊的上方和下方的4×4塊的運動向量。

左行和上面列鄰域塊的參考運動信息是從當前塊的空間鄰域塊推導的。

右行和底列鄰域塊的參考運動信息推導如下。 - 推導右下方時間鄰域4×4塊的運動信息。 - 使用推導出的右下方鄰域4×4塊的運動信息以及右上方鄰域4×4塊的運動信息，計算右行鄰域4×4塊的運動向量，如等式1中所述。 - 使用推導出的右下方鄰域4×4塊的運動信息以及左下方鄰域4×4塊的運動信息，計算底列鄰域4×4塊的運動向量，如等式2中所述。 R(W,y) = ((H-y-1)

AR + (y+1)

BR)/H 等式1 B(x,H) = ((W-x-1)

BL+ (x+1)

BR)/W 等式2

其中，AR是右上方空間鄰域4×4塊的運動向量，BR是右下方時間鄰域4×4塊的運動向量，以及BL是左下方空間鄰域4×4塊的運動向量。

從每個列表的鄰近塊中獲得的運動信息被縮放到給定列表的第一參考圖片。

3. 問題

當前基於子塊的預測設計存在以下問題：

MV平面模式可以帶來額外的編碼增益，但代價是計算複雜度和記憶體頻寬較高。一方面，它引入增加頻寬的子塊運動。另一方面，每個子塊需要推導自己的運動。

非子塊STMVP設計引入了對硬體實施方式不利的除法運算。

非子塊STMVP設計僅作為特殊的merge候選而添加。如果它也可以用於幀間模式，則可以預期額外的編碼增益。

4. 示例技術

下面的詳細發明應該被認為是解釋一般構思的示例。這些發明不應該被狹義地解釋。此外，這些發明可以以任何方式組合。本發明和其他發明之間的組合也是適用的。

技術1：更高的編碼性能

1. MV平面模式可以由分配給整個塊的單組運動信息代替，而不是為每個子塊分配的多組運動信息。 a. 在一個示例中，上方鄰近塊（例如，圖8中的AL和AR）可以用於推導位於當前塊的中心位置的第一組運動信息。下方鄰近塊（例如，圖8中的BL和BR）可以用於推導位於當前塊中心位置的第二組運動信息。然後，從第一組和第二組運動信息推導當前塊的最終運動候選。 b. 在一個示例中，6-參數仿射模型（例如，應用於圖8中的AL、AR和BL的）可以用於推導位於中心位置的第一組運動信息。第一組運動信息和時間運動信息（例如，與圖8中的BR相關聯的運動）可以被共同用來推導最終運動候選。 c. 在一個示例中，運動信息對（AL，AR）、（AL，BL）、（BL，BR）、（AR，BR）、（BL，AR）和（AL，BR）中的一些或全部被用於推導若干組4-參數仿射模型，然後若干組4-參數仿射模型進一步用於推導位於中心位置的運動信息。這些多組運動信息可以被共同用來推導最終運動候選。 i. 在一個示例中，（AL，AR）和（BL，BR）被用於推導兩組4-參數仿射模型。 d. 在一個示例中，多個空間和時間鄰近塊的運動信息可以用於推導一組運動信息，例如，與空間/時間鄰近塊相關聯的所有可用運動信息的線性組合（例如，在潛在縮放到同一參考圖片之後）可以用於推導最終運動候選。

2. 可以將從空間和時間運動信息共同推導出的運動候選添加到AMVP候選列表。 a. 在一個示例中，給定目標參考圖片（其可以在位元流中信令通知）的情況下，空間和時間塊的MV可以首先被縮放到目標參考圖片。縮放的MV可以共同用於推導最終運動向量預測值。 b. 在一個示例中，使用多個MV來形成最終MV預測值的推導過程被定義為線性函數。 i. 在一個示例中，多個MV的平均值可以被定義為最終MV預測值。 ii. 可替換地，不相等的加權可以應用於不同MV，以形成最終MV預測值。

3. 從上述方法推導的多個運動候選可以被添加到運動候選列表。 a. 對於多個運動候選中的每一個，可以利用不同的空間或時間塊。 b. 在一個示例中，用於生成推導出的運動候選的兩個或更多MV必須參考相同參考圖片； c. 在一個示例中，用於生成推導出的運動候選的兩個或更多MV必須參考相同參考列表中的參考圖片； d. 在一個示例中，用於生成推導出的運動候選的兩個或更多MV必須參考相同參考列表中具有相同參考索引的參考圖片； e. 在一個示例中，用於生成推導出的候選運動的兩個或更多MV可以參考不同參考圖片。 i.在一個示例中，它們將被縮放到相同參考圖片。 ii.在一個示例中，它們將被縮放到最接近當前圖片的參考圖片。

4. 在上述提出的方法中，空間鄰近塊的選擇可以是固定的，或者可以自適應地改變。 a. 在一個示例中，空間鄰近塊的選擇可以取決於塊尺寸和/或塊形狀。 b. 在一個示例中，空間鄰近塊的選擇可以取決於編碼模式（仿射、非仿射、amvp或merge、條帶類型等）。 c. 在一個示例中，空間鄰近塊的選擇可以取決於幀間預測方向（L0、L1或Bi）。

5. 提出了使用與在TMVP和/或ATMVP設計中使用的相同的共位圖片（其在條頭處信令通知）作為目標圖片，其中MV被縮放以用於STMVP推導。 a. 在塊級別下，如果鄰近塊的參考圖片不同於該共位圖片，則例如使用HEVC時間MV縮放方法來縮放塊的MV，並且縮放的MV被用於STMVP運動推導過程。 b. 可替換地，目標圖片由第一可用merge候選來確定。 c. 可替換地，目標圖片被確定為最接近當前圖片的參考圖片。 d. 可替換地，對於一個參考圖片列表，共位圖片可以用作一個參考圖片列表的目標圖片，並且對於另一參考圖片列表，可以選擇與空間鄰近塊之一相關聯的相同參考圖片。

6. 利用上述方法，可以預先定義要添加到候選列表的候選的最大數量和/或對候選列表的哪種插入順序。 a. 可替換地，它可以取決於編碼模式（例如，AMVP或merge；仿射或非仿射）。 b. 可替換地，它可以取決於編碼塊尺寸/塊形狀/條帶類型。 c. 它可以在SPS、PPS、VPS、條帶頭/片頭等中信令通知。

7. 提出了一個仿射模型需要4個控制點MV的8-參數仿射模型。 a. 在一個示例中，除了在6-參數仿射模型中使用的三個CP（例如，圖1中的CP₀ 、CP₁ 和CP₂ ）之外，還涉及與當前塊的右下方位置相關聯的一個或多個CP。 i. 在一個示例中，來自一個或多個時間鄰近塊的時間運動信息可以用作當前塊的右下方CP的預測器。 b. 在一個示例中，對於AMVP模式，可以信令通知4 個MVD。可替換地，此外，可以應用這4個MVD之間的預測。 c. 在一個示例中，即使在運動補償中使用的運動信息可能不同，也儲存與右下方CP相關聯的CP MV。

複雜度降低

8. 提出了對於子塊STMVP和/或非子塊STMVP僅存取位於某些位置的塊或其他類型的運動候選。 a. 在一個示例中，鄰近塊（x, y）的位置應該滿足x % M = 0和y % N = 0，其中M和N是兩個非零整數，諸如M = N = 8或16、32或64。 b. 在一個示例中，如果一個鄰近塊中的左上方樣點不滿足給定條件，則跳過對與該塊相關聯的運動信息的檢查。因此，不能將相關聯的運動信息添加到merge候選列表。 c. 可替換地，如果一個鄰近塊中的左上方樣點不滿足給定條件，則可以移位、截斷或舍入該塊的位置，以確保條件得到滿足。例如，（x, y）可以修改為（（x/M）*M,（y/N）*N），其中“/”是整數除法。 d. 覆蓋所有鄰近塊的受限區域尺寸被預定義/信令通知。在這種情況下，當由給定偏移量（OffsetX，OffsetY）計算的鄰近塊在該區域之外時，它被標記為不可用或被視為幀內編碼模式。對應的運動信息不能用於生成候選列表的運動候選。 i. 在一個示例中，區域尺寸被定義為一個CTB或多個CTB。 ii. 在一個示例中，區域尺寸被定義為W*H（例如，W=64以及H=64）。可替換地，此外，所有具有坐標（NAx, NAy）的鄰近塊應該至少滿足以下條件之一： 1）NAx >=（（Cx/W）*W） 2）NAx>=（（Cx/W）*W）+W 3）NAy >=（（Cy/H）*H） 4）NAy> =（（Cy/H）*H）+H 其中上述函數中的“>=”和/或“> =”可以用“>”和/或“>”代替，並且函數“/”表示整數除法運算，其中除法結果的小數部分被丟棄。 iii. 可替換地，覆蓋當前塊的LCU行上方的所有塊都被標記為不可用或被視為幀內編碼模式。對應的運動信息不能用於生成候選列表的運動候選。 iv. 可替換地，假設覆蓋當前塊的LCU的左上方樣點坐標為（LX，LY）。（LX–Nax）和/或abs（LX-NAx）和/或（LY-NAy）和/或abs（LY-NAy）應該在閾值內，abs是絕對值符號。 1. 可以預定義一個或多個閾值。它們還可能進一步取決於CU高度的最小尺寸/寬度的最小尺寸/LCU尺寸等。例如，（LY-NAy）應該小於CU高度的最小尺寸，或者（LY-NAy）應該小於CU高度的最小尺寸的兩倍。 v. 區域尺寸或（多個）閾值可以在SPS、PPS、VPS、條帶頭/片頭等中信令通知。 vi. 在一個示例中，當前條帶/片/其他類型的用於並行編碼的單元之外的所有鄰近塊被標記為不可用，並且對應的運動信息不能用於推導候選列表的候選。

9. 計算2個或3個或更多運動向量的平均值的除法運算用移位運算代替。 a. 三個MV的平均值： mvLX[0]=（（mvLX_A[0]+mvLX_L[0]+mvLX_C[0]）* S+W）>> N mvLX[1]=（（mvLX_A[1]+mvLX_L[1]+mvLX_C[1]）* S+W）>> N 例如，S= 43，W =64，以及N= 7。 b. 兩個MV的平均值： mvLX[0] =（（mvLX_A[0] + mvLX_L[0]+1））>> 1 mvLX[1] =（（mvLX_A[1] + mvLX_L[1]+1））>> 1 c. M個MV的平均值計算如下：

其中可以針對不同的M設計不同的S和N。例如，N可以是7、8、9、10等。 i. 在一個示例中，給定N，S被選擇為S/2^N最接近但小於或等於1/M的數。 ii. 在一個示例中，給定N，S被選擇為S/2^N最接近但大於或等於1/M的數。 iii. 在一個示例中，如果S/2^N等於1/M，則O被選擇為1 >>（N–1）。 iv. 在一個示例中，如果S/2^N小於1/M，則O被選擇為大於或等於1 >>（N–1）。 v. 在一個示例中，如果S/2^N大於1/M，則O被選擇為小於或等於1 >>（N–1）。 d. 可替換地，M個MV的平均值計算如下：

圖9是示出可用於實現本公開技術的各部分的電腦系統或其他控制裝置2600的架構的示例的方塊圖。在圖9中，電腦系統2600包含經由互連2625連接的一個或多個處理器2605和記憶體2610。互連2625可以表示由適當的橋接器、適配器或控制器連接的任何一個或多個單獨的物理匯流排、點對點連接或兩者。因此，互連2625可以包含例如系統匯流排、週邊組件互連（PCI）匯流排、HyperTransport或行業標準架構（ISA）匯流排、小型電腦系統介面（SCSI）匯流排、通用串行匯流排（USB）、IIC（I2C）匯流排或電氣和電子工程師協會（IEEE）標準674匯流排，有時也稱為“Firewire”。

（多個）處理器2605可以包含中央處理單元（CPU），以控制例如主機電腦的整體操作。在某些實施例中，（多個）處理器2605通過執行儲存在記憶體2610中的軟體或韌體來實現此目的。（多個）處理器2605可以是或可包含一個或多個可編程通用或專用微處理器、數位信號處理器（DSP）、可編程控制器、應用專用積體電路（ASIC）、可編程邏輯器件（PLD）等，或這些器件的組合。

記憶體2610可以是或包含電腦系統的主記憶體。記憶體2610表示任何合適形式的隨機存取記憶體（RAM）、唯讀記憶體（ROM）、快閃記憶體等，或這些設備的組合。在使用中，除其他之外，記憶體2610可以包含一組機器指令，當由處理器2605執行時，使得處理器2605執行操作以實現本公開技術的實施例。

還通過互連2625連接到（多個）處理器2605的是（可選的）網路適配器2615。網路適配器2615向電腦系統2600提供與遠程設備（例如儲存客戶端）和/或其他儲存服務器通信的能力，並且可以是例如乙太網適配器或光纖信道適配器。

圖10示出了可用於實現本公開技術的各部分的移動裝置2700的示例實施例的方塊圖。移動裝置2700可以是膝上型電腦，智能電話，平板電腦，攝錄機或能夠處理視頻的其他類型的設備。移動裝置2700包含用於處理數據的處理器或控制器2701，以及與處理器2701通信以儲存和/或緩衝數據的記憶體2702。例如，處理器2701可以包含中央處理單元（CPU）或微控制器單元（MCU）。在一些實現方式中，處理器2701可以包含現場可編程門陣列（FPGA）。在一些實現方式中，移動裝置2700包含用於智能手機裝置的各種視覺和/或通信數據處理功能的圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通信單元或與之通信。例如，記憶體2702可以包含並儲存處理器可執行代碼，當由處理器2701執行時，將移動裝置2700配置為執行各種操作，例如接收信息、命令和/或數據，處理信息和數據，以及將處理過的信息/數據發送或提供給另一個設備，例如致動器或外部顯示器。為了支持移動裝置2700的各種功能，記憶體2702可以儲存信息和數據，例如指令、軟體、值、圖像以及由處理器2701處理或引用的其他數據。例如，各種類型的隨機存取記憶體（RAM）設備、唯讀記憶體（ROM）設備、快閃記憶體和其他合適的儲存介質可用於實現記憶體2702的儲存功能。在一些實現方式中，移動裝置2700包含輸入/輸出（I/O）單元2703，用於將處理器2701和/或記憶體2702連接到其他模組、單元或裝置。例如，I/O單元2703可以與處理器2701和記憶體2702相接，以利用與典型數據通信標準兼容的各種類型的無線介面，例如，在雲中的一個或多個電腦與用戶設備之間。在一些實現方式中，移動裝置2700可以經由I/O單元2703使用有線連接與其他設備介面。移動裝置2700還可以與其他外部介面（例如數據記憶體）和/或視覺或音頻顯示設備2704相接，以檢索和傳輸可由處理器處理、儲存在記憶體中或在顯示設備2704的輸出單元或外部裝置上展示的數據和信息。例如，顯示設備2704可以顯示基於根據所公開的技術的MVP修改的視頻幀。

圖11示出了視頻處理的方法1100的流程圖。方法1100包括從一組鄰近塊推導（1102）可以被劃分成多個子塊的當前塊的運動預測。方法包括使用推導出的運動預測執行（1104）當前塊和當前塊的位元流表示之間的轉換。在示例中，基於塊級而不是子塊級，將運動預測應用於當前塊。

可以在以下示例列表中描述本文件中公開的各種實施例和技術。

1.一種視頻處理的方法，包括：從一組鄰近塊推導可以被劃分成多個子塊的當前塊的運動預測；以及使用推導出的運動預測執行當前塊和當前塊的位元流表示之間的轉換，其中，基於塊級而不是子塊級，將運動預測應用於當前塊。

2.如示例1所述的方法，其中，該組鄰近塊包括位於不同位置的至少兩個鄰近塊。

3.如示例1所述的方法，其中，該組鄰近塊包括至少一個時間鄰近塊。

4.如示例2所述的方法，其中，該組鄰近塊包括位於第一位置的第一鄰近塊和位於第二位置的第二鄰近塊。

5.如示例4所述的方法，其中，推導當前塊的運動預測包括：從位於第一位置的第一鄰近塊和位於第二位置的第二鄰近塊推導與當前塊的特定位置相關聯的第一組運動信息。

6.如示例5所述的方法，其中，第一位置是相對於當前塊的左上方位置，並且第二位置是相對於當前塊的右上方位置。

7.如示例5或6所述的方法，其中，該組鄰近塊還包括位於第三位置的第三鄰近塊和位於第四位置的第四鄰近塊。

8.如示例7所述的方法，其中，推導當前塊的運動預測還包括：從位於第三位置的第三鄰近塊和位於第四位置的第四鄰近塊推導與當前塊的特定位置相關聯的第二組運動信息。

9.如示例8所述的方法，其中，第三位置是相對於當前塊的左下方位置，並且第四位置是相對於當前塊的右下方位置。

10.如示例9所述的方法，其中，該右下方位置的運動信息來自時間鄰近塊。

11.如示例8或9所述的方法，還包括：從第一組和第二組運動信息推導當前塊的運動候選。

12.如示例4所述的方法，其中，該組鄰近塊還包括位於第三位置的第三鄰近塊。

13.如示例12所述的方法，其中，推導當前塊的運動預測包括：從位於第一位置的第一鄰近塊、位於第二位置的第二鄰近塊和位於第三位置的第三鄰近塊確定6-參數仿射模型的參數，其中第一至第三鄰近塊是空間鄰近塊；以及使用6-參數仿射模型推導與當前塊的特定位置相關聯的第一組運動信息。

14.如示例13所述的方法，其中，第一位置是相對於當前塊的左上方位置，第二位置是相對於當前塊的右上方位置，並且第三位置是相對於當前塊的左下方位置。

15.如示例13或14所述的方法，還包括：推導第四鄰近塊的運動信息，所述第四鄰近塊是位於相對於當前塊的右下方位置的時間鄰近塊；以及從第一組運動信息和第四鄰近塊的運動信息推導當前塊的運動候選。

16.如示例2所述的方法，其中，該組鄰近塊包括一對或多對鄰近塊，該一對或多對鄰近塊中的每一對包括位於不同位置的兩個鄰近塊。

17.如示例16所述的方法，其中，不同位置包括相對於當前塊的左上方、右上方、左下方和右下方位置中的任何兩個。

18.如示例16或17所述的方法，還包括：從一對或多對鄰近塊確定用於4-參數仿射模型的多組參數；以及從多組4-參數仿射模型推導多組運動信息。

19.如示例18所述的方法，包括：從推導出的多組運動信息推導與當前塊的特定位置相關聯的一組運動信息；從推導出的該組運動信息推導當前塊的運動候選。

20.如示例18所述的方法，其中，用於4-參數仿射模型的兩組參數是從分別位於相對於當前塊的左上方和右上方位置的一對鄰近塊和相對於當前塊的左下方和右下方位置的一對鄰近塊推導的。

21.如示例2所述的方法，其中，該組鄰近塊包括一個或多個空間和時間鄰近塊，並且該方法包括：推導與一個或多個空間和時間鄰近塊相關聯的一組運動信息；以及從該組運動信息推導當前塊的運動候選，其中，將函數應用於該組運動信息中的所有可用運動信息。

22.如示例21所述的方法，其中，該函數是線性組合函數。

23.如示例21或22所述的方法，其中，在應用該函數之前，如果必要，將所有可用運動信息縮放到相同的參考圖片。

24.如示例5、13或19所述的方法，其中，當前塊的特定位置是當前塊的中心。

25.如示例1至24中任一項所述的方法，其中，該轉換包括將視頻塊編碼成該視頻塊的位元流表示以及從該視頻塊的位元流表示解碼該視頻塊中的至少一個。

26.一種視頻處理裝置，包括：處理器，被配置為實施示例1至25中任一項的方法。

27.一種儲存在非暫時性電腦可讀介質上的電腦程式產品，該電腦程式產品包括用於執行示例1至25中任一項的方法的程式代碼。

在另一示例方面，公開了視頻編碼的另一種方法（“AMVP方法”）。AMVP方法包括對於當前塊確定高級運動向量預測（AMVP）列表，並通過使用AMVP列表確定運動向量來執行當前塊和當前塊的位元流表示之間的轉換。AMVP列表使用空間和時間運動信息。

在又一示例方面，公開了另一種視頻編碼方法（8-參數仿射方法）。該方法包括使用8-參數仿射模式執行當前塊和當前塊的位元流表示之間的轉換，該8-參數仿射模式使用4個控制點（CP）運動向量（MV）。基於當前塊的編碼條件使用CP。

關於方法1100、AMVP方法和8-參數仿射模式方法，在第4章節中描述的技術和所附申請專利範圍的列表中提供了實施方式和實施例的附加示例，其形成說明書的一部分。

本文件中描述的公開的和其他實施例、模組和功能操作可以實現為數位電子電路，或者實現為電腦軟體、韌體或硬體，包含本文件中公開的結構及其結構等同，或者它們中的一個或多個的組合。所公開的和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的電腦程式指令的一個或多個模組，用於由數據處理設備執行或控制數據處理設備的操作。電腦可讀介質可以是機器可讀儲存裝置、機器可讀儲存基板、記憶體裝置、實現機器可讀傳播信號的物質組合，或者它們中的一個或多個的組合。術語“數據處理設備”涵蓋用於處理數據的全部設備、裝置和機器，包括例如可編程處理器、電腦或多個處理器或電腦。除了硬體之外，該設備還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協議疊、數據庫管理系統、操作系統的代碼，或者它們中的一個或多個的組合。傳播信號是人工生成的信號，例如，機器生成的電、光或電磁信號，其被生成以對信息進行編碼以便傳輸到合適的接收器設備。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的編程語言編寫，包括編譯或解釋語言，並且可以以任何形式部署，包括如獨立程式或適合在計算環境中使用的模組、組件、子例程或其他單元。電腦程式不一定對應於文件系統中的文件。程式可以儲存在包含其他程式或數據的文件的一部分中（例如，儲存在標記語言文件中的一個或多個腳本），儲存在專用於所討論的程式的單個文件中，或者儲存在多個協調文件中（例如，儲存一個或多個模組、子程式或代碼部分的文件）。可以部署電腦程式以在一個電腦上或在位於一個站點上或分佈在多個站點上並通過通信網路互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入數據進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路（例如FPGA（現場可程式閘陣列）或ASIC（應用專用積體電路））執行，並且設備也可以實現為專用邏輯電路（例如FPGA（現場可程式閘陣列）或ASIC（專用積體電路））。

作為示例，適合於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和數據。電腦的基本元件是用於執行指令的處理器和用於儲存指令和數據的一個或多個記憶體設備。通常，電腦還將包括一個或多個大容量儲存設備或可操作地耦接到一個或多個大容量儲存設備，以從一個或多個大容量儲存設備接收數據或將數據傳輸到一個或多個大容量儲存設備或兩者，例如，磁盤、磁光盤或光盤。然而，電腦不一定需要這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括全部形式的非揮發性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體；磁盤，例如，內部硬盤或可移動磁盤；磁光盤；和CD ROM和DVD-ROM磁盤。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本專利文件中單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在某些情況下可以從組合中移除來自所要求保護的組合的一個或多個特徵，並且所要求保護的組合可以針對子組合或子組合的變化。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為實現期望的結果要求以所示的特定順序或按順序執行這樣的操作，或者執行全部示出的操作。此外，在本專利文件中描述的實施例中的各種系統部件的分離不應被理解為在全部實施例中都需要這種分離。

僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和示出的內容來做出其他實現、增強和變化。

1100:方法 1102、1104:步驟 2600:電腦系統 2605:處理器 2610、2702:記憶體 2615:網路適配器 2625:互連 2700:移動裝置 2701:處理器/控制器 2703:輸入/輸出（I/O）單元 2704:顯示設備 a、A、A0、A1、A2、AL、AR、b、B、B0、B1、B2、B3、BL、BR、c、C、d、D、E:塊 CP₀、CP₁、CP₂:控制點 mv₀、mv₀ ^C、mv₀ ^N、mv₁、mv₁ ^C、mv₁ ^N、mv₂、mv₂ ^C、mv₂ ^N:運動向量 T:時域位置

圖1示出了基於子塊的預測計算的示例。圖2A及圖2B示出了簡化的仿射運動模型：（a）4-參數仿射模型；（b）6-參數仿射模型。圖3示出了每一子塊的仿射運動向量場（affine motion vector field，MVF）的示例。圖4A及圖4B示出了AF_MERGE模式的候選。圖5示出了仿射merge模式的示例候選位置。圖6示出了具有四個子塊（A至D）及其鄰近塊（a至d）的編碼單元（Coding Unit，CU）的示例。圖7示出了基於子塊的空時merge模式實施方式的示例。圖8示出了平面運動向量預測過程的示例。圖9是示出可以用於實施本公開的技術的各個部分的電腦系統或其他控制設備的體系結構的示例的方塊圖。圖10示出了可以用於實施本公開的技術的各個部分的移動設備的示例實施例的方塊圖。圖11是視覺媒體處理的示例方法的流程圖。

1100:方法

1102、1104:步驟

Claims

一種用於視頻處理的方法，包括：從一組鄰近塊推導能夠被劃分成多個子塊的當前塊的運動預測；以及使用推導出的運動預測執行當前塊和當前塊的位元流表示之間的轉換，其中，基於塊級而不是子塊級，將運動預測應用於當前塊。
如申請專利範圍第1項所述的方法，其中，該組鄰近塊包括位於不同位置的至少兩個鄰近塊。
如申請專利範圍第1項所述的方法，其中，該組鄰近塊包括至少一個時間鄰近塊。
如申請專利範圍第2項所述的方法，其中，該組鄰近塊包括位於第一位置的第一鄰近塊和位於第二位置的第二鄰近塊。
如申請專利範圍第4項所述的方法，其中，推導當前塊的運動預測包括：從位於第一位置的第一鄰近塊和位於第二位置的第二鄰近塊推導與當前塊的特定位置相關聯的第一組運動信息。
如申請專利範圍第5項所述的方法，其中，第一位置是相對於當前塊的左上方位置，並且第二位置是相對於當前塊的右上方位置。
如申請專利範圍第5或6項所述的方法，其中，該組鄰近塊還包括位於第三位置的第三鄰近塊和位於第四位置的第四鄰近塊。
如申請專利範圍第7項所述的方法，其中，推導當前塊的運動預測還包括：從位於第三位置的第三鄰近塊和位於第四位置的第四鄰近塊推導與當前塊的特定位置相關聯的第二組運動信息。
如申請專利範圍第8項所述的方法，其中，第三位置是相對於當前塊的左下方位置，並且第四位置是相對於當前塊的右下方位置。
如申請專利範圍第9項所述的方法，其中，該右下方位置的運動信息來自時間鄰近塊。
如申請專利範圍第8或9項所述的方法，還包括：從第一組和第二組運動信息推導當前塊的運動候選。
如申請專利範圍第4項所述的方法，其中，該組鄰近塊還包括位於第三位置的第三鄰近塊。
如申請專利範圍第12項所述的方法，其中，推導當前塊的運動預測包括：從位於第一位置的第一鄰近塊、位於第二位置的第二鄰近塊和位於第三位置的第三鄰近塊確定6-參數仿射模型的參數，其中第一至第三鄰近塊是空間鄰近塊；以及使用6-參數仿射模型推導與當前塊的特定位置相關聯的第一組運動信息。
如申請專利範圍第13項所述的方法，其中，第一位置是相對於當前塊的左上方位置，第二位置是相對於當前塊的右上方位置，並且第三位置是相對於當前塊的左下方位置。
如申請專利範圍第13或14項所述的方法，還包括：推導第四鄰近塊的運動信息，所述第四鄰近塊是位於相對於當前塊的右下方位置的時間鄰近塊；以及從第一組運動信息和第四鄰近塊的運動信息推導當前塊的運動候選。
如申請專利範圍第2項所述的方法，其中，該組鄰近塊包括一對或多對鄰近塊，該一對或多對鄰近塊中的每一對包括位於不同位置的兩個鄰近塊。
如申請專利範圍第16項所述的方法，其中，不同位置包括相對於當前塊的左上方、右上方、左下方和右下方位置中的任何兩個。
如申請專利範圍第16或17項所述的方法，還包括：從一對或多對鄰近塊確定用於4-參數仿射模型的多組參數；以及從多組4-參數仿射模型推導多組運動信息。
如申請專利範圍第18項所述的方法，包括：從推導出的多組運動信息推導與當前塊的特定位置相關聯的一組運動信息；從推導出的該組運動信息推導當前塊的運動候選。
如申請專利範圍第18項所述的方法，其中，用於4-參數仿射模型的兩組參數是從分別位於相對於當前塊的左上方和右上方位置的一對鄰近塊和相對於當前塊的左下方和右下方位置的一對鄰近塊推導的。
如申請專利範圍第2項所述的方法，其中，該組鄰近塊包括一個或多個空間和時間鄰近塊，並且該方法包括：推導與一個或多個空間和時間鄰近塊相關聯的一組運動信息；以及從該組運動信息推導當前塊的運動候選，其中，將函數應用於該組運動信息中的所有可用運動信息。
如申請專利範圍第21項所述的方法，其中，該函數是線性組合函數。
如申請專利範圍第21或22項所述的方法，其中，在應用該函數之前，如果必要，將所有可用運動信息縮放到相同的參考圖片。
如申請專利範圍第5、13及19項中任一項所述的方法，其中，當前塊的特定位置是當前塊的中心。
如申請專利範圍第1至24項中任一項所述的方法，其中，該轉換包括將視頻塊編碼成該視頻塊的位元流表示以及從該視頻塊的位元流表示解碼該視頻塊中的至少一個。
一種視頻處理裝置，包括：處理器，被配置為實施申請專利範圍第1至25項中任一項的方法。
一種儲存在非暫時性電腦可讀介質上的電腦程式產品，該電腦程式產品包括用於執行申請專利範圍第1至25項中任一項的方法的程式代碼。