TW202002651A

TW202002651A - 視頻處理方法、視頻系統中的裝置及電腦程式產品

Info

Publication number: TW202002651A
Application number: TW108123159A
Authority: TW
Inventors: 劉鴻彬; 張莉; 張凱; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-06-29
Filing date: 2019-07-01
Publication date: 2020-01-01
Also published as: CN110662046A; TW202002650A; TWI736923B; CN110662055B; WO2020003281A1; WO2020003276A1; TWI731362B; CN110662046B; CN110662041A; CN110662041B; CN110662055A; TW202017370A; TWI722467B; WO2020003273A1

Abstract

描述了用於在視頻編碼中使用擴展Merge模式（EMM）的方法、設備和系統。一種視頻處理的示例性方法，該方法包括構建EMM候選列表；基於當前塊的位元流表示中的位元的第一集合來確定由當前塊從列表中繼承的運動資訊；基於當前塊的位元流表示中的位元的第二集合來確定該當前塊被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行當前塊與位元流表示之間的轉換，其中位元流表示進一步包括欄位，該欄位信令通知選擇性使用包括EMM候選列表的擴展Merge模式。

Description

視頻處理方法、視頻系統中的裝置及電腦程式產品

本文件涉及視頻編碼技術。 [相關申請的交叉引用] 根據適用的專利法和/或依據巴黎公約的規則，本申請要求於2018年6月29日提交的國際專利申請第PCT/CN2018/093646號的優先權和權益。該國際專利申請第PCT/CN2018/093646號的全部公開內容通過引用併入作為本申請的公開內容的一部分。

數位視頻占網際網路和其他數位通信網路上最大的頻寬使用。隨著能夠接收和顯示視頻的所連接的使用者設備的數量增加，預計數位視頻使用的頻寬需求將繼續增長。

所公開的技術可以由視頻解碼器或編碼器實施例用於使用擴展合併（Merge）模式，其中一些運動資訊可以被繼承，而一些運動資訊可以被信令通知。

在一個示例方面，公開了一種視頻處理方法。該方法包括構建擴展Merge模式（EMM）候選列表；基於當前塊的位元流表示中的位元的第一集合來確定由當前塊從列表中繼承的運動資訊；基於當前塊的位元流表示中的位元的第二集合來確定該當前塊被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行當前塊與位元流表示之間的轉換，其中位元流表示進一步包括欄位，該欄位信令通知選擇性使用包括EMM候選列表的擴展Merge模式。

在另一個示例方面，上述方法可以由包括處理器的視頻解碼器裝置實現。

在另一個示例方面，上述方法可以由視頻編碼器裝置實現，該視頻編碼器裝置包括用於在視頻編碼過程期間對已編碼的視頻進行解碼的處理器。

在又一個示例方面，這些方法可以以處理器可執行指令的形式實施並存儲在電腦可讀程式介質上。

在本文件中進一步描述了這些方面和其他方面。

本文件提供了可由視頻位元流的解碼器使用的各種技術，以改善解壓縮的或解碼的數位視頻的品質。此外，視頻編碼器也可在編碼過程期間實現這些技術，以便重建用於進一步編碼的已解碼幀。

為了便於理解，在本文件中使用了節標題，但是並非將實施例和技術限制於對應的節。這樣，來自一個節的實施例可以與來自其他節的實施例組合。 2．技術框架

視頻編碼標準主要是通過眾所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T產生了H.261和H.263標準，ISO/IEC產生了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合產生了H.262/MPEG-2視頻標準和H.264/MPEG-4高級視頻編碼（Advanced Video Coding，AVC）標準和H.265/HEVC標準。自H.262以來，視頻編碼標準基於混合視頻編碼結構，其中利用時間預測加變換編碼。為探索HEVC之外的未來視頻編碼技術，聯合視頻探索團隊（Joint Video Exploration Team, JVET）由VCEG和MPEG於2015年聯合創立。自那時以來，JVET採用了許多新方法，並將其納入了名為聯合探索模型（Joint Exploration Model, JEM）的參考軟體中。在2018年4月，VCEG（Q6/16）和ISO/IEC JTC1 SC29/WG11（MPEG）之間的聯合視頻專家團隊（Joint Video Expert Team, JVET）被創建以從事於VVC標準，目標是與HEVC相比降低50％的位元速率。 2.1在HEVC/H.265中的幀間預測

每個幀間預測的PU具有對於一個或兩個參考圖像列表的運動參數。運動參數包括運動向量和參考圖像索引。也可以使用inter_pred_idc來信令通知對兩個參考圖像列表中一個的使用。運動向量可以明確地被編碼為相對於預測器的增量。

當使用跳過（skip）模式編碼CU時，一個PU與該CU相關聯，並且不存在顯著的殘差係數，不存在編碼的運動向量增量或參考圖像索引。指定Merge模式，由此從相鄰PU——包括空間和時間候選——獲得用於當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅適用於跳過模式。Merge模式的替代方案是運動參數的顯式傳輸（explicit transmission），其中運動向量（更確切地說，與運動向量預測器相比的運動向量差異）、每個參考圖像列表的對應參考圖像索引、參考圖像列表使用被每個PU地明確地信令通知。這樣的模式在本文件中被命名為高級運動向量預測（Advanced motion vector prediction, AMVP）。

當信令指示要使用兩個參考圖像列表中的一個時，PU從一個樣點塊產生。這被稱為“單向預測”。單向預測可用於P條帶和B條帶。

當信令指示要使用兩個參考圖像列表時，PU從兩個樣點塊產生。這被稱為“雙向預測”。雙向預測僅可用於B條帶。

以下文本提供了HEVC中指定的幀間預測模式的細節。描述將從Merge模式開始。 2.1.1Merge模式 2.1.1.1Merge模式的候選的推導

當使用Merge模式預測PU時，從位元流解析出指向Merge候選列表（merge candidates list）中的條目的索引，並且該索引被用於檢索運動資訊。該列表的構建在HEVC標準中規定，並且可以根據以下步驟順序進行總結：步驟1：初始候選推導步驟1.1：空間候選推導步驟1.2：空間候選的冗餘校驗步驟1.3：時間候選推導步驟2：附加候選插入步驟2.1：創建雙向預測候選步驟2.2：插入零運動候選

這些步驟也在圖1中示意性地描繪。對於空間Merge候選推導，在位於五個不同位置的候選中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選中選擇最多一個Merge候選。由於在解碼器處假設每個PU的候選的數量為常數，因此當從步驟1獲得的候選的數量未達到在條帶標題中信令通知的最大Merge候選數量（MaxNumMergeCand）時，生成附加的候選。由於候選的數量是恒定的，因此使用二進位一元截斷（TUB）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，該單個Merge候選列表與2N×2N預測單元的Merge候選列表相同。

在下文中，詳細描述了與上述步驟相關聯的操作。 2.1.1.2空間候選推導

在空間Merge候選的推導中，在位於圖2中描繪的位置中的候選中選擇最多四個Merge候選。推導的順序是A₁ 、B₁ 、B₀ 、A₀ 和B₂ 。僅當位置A₁ 、B₁ 、B₀ 、A₀ 的任何PU不可用時（例如，因為該PU屬於另一個條帶（slice）或片（tile））或者是幀內編碼時，才考慮位置B₂ 。在添加位置A₁ 處的候選之後，對剩餘候選的添加進行冗餘校驗，該冗餘校驗確保具有相同運動資訊的候選被排除在列表之外，從而改善編碼效率。為了降低計算複雜度，在所提到的冗餘校驗中並未考慮所有可能的候選對。相反，僅考慮與圖3中的箭頭連結的對，並且如果用於冗餘校驗的對應候選具有不同的運動資訊，則該候選僅被添加到列表中。重複的運動資訊的另一個來源是與不同於2Nx2N的劃分相關聯的“第二PU”。作為示例，圖4A-4B分別描繪了針對N×2N和2N×N的情況的第二PU。當當前PU被劃分為N×2N時，位置A₁ 處的候選不被考慮用於列表構建。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是冗餘的。類似地，當當前PU被劃分為2N×N時，不考慮位置B₁ 。 2.1.1.3時間候選推導

在此步驟中，只有一個候選被添加到列表中。特別地，在該時間Merge候選的推導中，基於共位（co-located）的PU來導出縮放的運動向量，該共位的PU屬於相對於給定參考圖像列表內的當前圖像具有最小POC差異的圖像。在條帶標題中明確地信令通知用於共位的PU的推導的參考圖像列表。如圖5中的虛線所示，獲得用於時間Merge候選的縮放的運動向量，其使用POC距離tb和td從共位的PU的運動向量縮放，其中tb被定義為當前圖像的參考圖像與該當前圖像之間的POC差異，並且td被定義為共位元圖像的參考圖像與該共位元圖像之間的POC差異。時間Merge候選的參考圖像索引被設置為等於零。在HEVC規範中描述了縮放過程的實際實現。對於B條帶，獲得兩個運動向量並將其組合以產生雙向預測Merge候選，該兩個運動向量中的一個用於參考圖像列表0而另一個用於參考圖像列表1。

如圖6所示，在屬於參考幀的共位的PU(Y)中，在候選C₀ 和C₁ 之間選擇用於時間候選的位置。如果位置C₀ 處的PU不可用、被幀內編碼的或在當前CTU行之外，則使用位置C₁ 。否則，在時間Merge候選的推導中使用位置C₀ 。 2.1.1.4附加的候選插入

除了空間和時間Merge候選之外，還存在兩種附加類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空間和時間Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖像列表運動參數與另一個候選的第二參考圖像列表運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，則它們將形成一個新的雙向預測候選。作為示例，圖7描繪了當原始列表（在左方）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建組合的雙向預測Merge候選的情況，該組合的雙向預測Merge候選被添加到最終列表（在右方）。關於被考慮來生成這些附加Merge候選的組合存在許多規則。

零運動候選被插入以填充Merge候選列表中的剩餘條目，並且因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖像索引，該參考圖像索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是分別用於單向和雙向預測的1和2。最後，不對這些候選執行冗餘校驗。 2.1.1.5用於並行處理的運動估計區域

為了加速編碼過程，可以並存執行運動估計，由此同時導出給定區域內的所有預測單元的運動向量。來自空間鄰域的Merge候選的推導可能干擾並行處理，因為一個預測單元直到其相關聯的運動估計完成才能從相鄰PU導出運動參數。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義了運動估計區域（MER），運動估計區域的尺寸在圖像參數集中使用“log2_parallel_merge_level_minus2”語法元素來信令通知。當MER被定義時，落入同一區域的Merge候選被標記為不可用，並且因此在列表構建中也不被考慮。 2.1.2 AMVP

AMVP利用運動向量與相鄰PU的時空相關性，該時空相關性用於運動參數的顯式傳輸。對於每個參考圖像列表，通過下述操作來構建運動向量候選列表：首先校驗左方、上方在時間上相鄰PU位置的可用性，移除冗餘候選，並添加零向量，以使候選列表為恒定長度。然後，編碼器可以從候選列表中選擇最佳預測器，並傳輸指示所選候選的對應索引。與Merge索引信令類似，使用二進位一元截斷來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2（參見圖8）。在以下的節中，提供了關於運動向量預測候選的推導過程的細節。 2.1.2.1 AMVP候選的推導

圖8總結了用於運動向量預測候選的推導過程。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。如圖2所示，對於空間運動向量候選推導，最終基於位於五個不同位置的每個PU的運動向量來導出兩個運動向量候選。

對於時間運動向量候選推導，從基於兩個不同的共位位置導出的兩個候選中選擇一個運動向量候選。在製作時空候選的第一列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於2，則從列表中移除其在相關聯的參考圖像列表內的參考圖像索引大於1的運動向量候選。如果時空運動向量候選的數量小於2，則將附加的零運動向量候選添加到列表中。 2.1.2.2空間運動向量候選

在空間運動向量候選的推導中，在五個潛在候選中考慮最多兩個候選，該五個潛在候選來自位於如圖2所示的位置的PU，這些位置與運動Merge的那些位置相同。當前PU的左側的推導順序被定義為A₀ 、A₁ 以及縮放的A₀ 、縮放的A₁ 。當前PU的上側的推導順序被定義為B₀ 、B₁ 、B₂ 、縮放的B₀ 、縮放的B₁ 、縮放的B₂ 。因此，對於每一側，存在四種可用作運動向量候選的情況，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況總結如下。無空間縮放（1）相同的參考圖像列表，以及相同的參考圖像索引（相同的POC）（2）不同的參考圖像列表，但是相同的參考圖像索引（相同的POC）空間縮放（3）相同的參考圖像列表，但不同的參考圖像索引（不同的POC）（4）不同的參考圖像列表，以及不同的參考圖像索引（不同的POC）

首先校驗無空間縮放情況，接下來校驗空間縮放。不管參考圖像列表如何，當POC在相鄰PU的參考圖像與當前PU的參考圖像之間是不同的時，考慮空間縮放。如果左方候選的所有PU都不可用或者是被幀內編碼的，則允許對上方運動向量進行縮放，以幫助左方和上方MV候選的並行推導。否則，對上側運動向量不允許空間縮放。

如圖9所示，在空間縮放過程中，以與時間縮放類似的方式縮放相鄰PU的運動向量。主要差異在於當前PU的參考圖像列表和索引被給出以作為輸入；實際縮放過程與時間縮放過程相同。 2.1.2.3時間運動向量候選

除了參考圖像索引推導之外，用於時間Merge候選的推導的所有過程與用於空間運動向量候選的推導的過程相同（參見圖6）。將參考圖像索引信令通知給解碼器。 2.2 JEM中新的幀間預測方法 2.2.1自我調整運動向量差異解析度

在HEVC中，當條帶標題中的use_integer_mv_flag等於0時，以四分之一亮度樣點為單位，信令通知（PU的運動向量與預測的運動向量之間的）運動向量差異（MVD）。在JEM中，引入了局部自我調整運動向量解析度（LAMVR）。在JEM中，MVD可以以四分之一亮度樣點、整數亮度樣點或四個亮度樣點為單位進行編碼。在編碼單元（CU）級別控制MVD解析度，並且向具有至少一個非零MVD分量的每個CU，有條件地信令通知MVD解析度標誌。

對於具有至少一個非零MVD分量的CU，信令通知第一標記，以指示是否在CU中使用四分之一亮度樣點MV精度。當第一標誌（等於1）指示未使用四分之一亮度樣點MV精度時，信令通知另一個標誌，以指示是否使用整數亮度樣點MV精度或四個亮度樣點MV精度。

當CU的第一MVD解析度標誌為零，或未針對CU編碼（意味著CU中的所有MVD均為零）時，四分之一亮度樣點MV解析度被用於該CU。當CU使用整數亮度樣點MV精度或四個亮度樣點MV精度時，該CU的AMVP候選列表中的MVP被取整到對應的精度。

在編碼器中，使用CU級別RD校驗來確定將哪個MVD解析度將用於CU。換言之，對於每個MVD解析度，執行CU級RD校驗三次。為了加快編碼器速度，在JEM中應用以下編碼方案。在具有正常四分之一亮度樣點MVD解析度的CU的RD校驗期間，存儲該當前CU的運動資訊（整數亮度樣點精度）。對於具有整數亮度樣點和4個亮度樣點MVD解析度的相同CU，存儲的運動資訊（取整後）被用作RD校驗期間進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。有條件地調用具有4個亮度樣點MVD解析度的CU的RD校驗。對於CU，當整數亮度樣點MVD解析度的RD成本遠大於四分之一亮度樣點MVD解析度的RD成本時，跳過該CU的4個亮度樣點MVD解析度的RD校驗。 2.2.2較高的運動向量存儲精度

在HEVC中，運動向量精度是四分之一像素（pel）（用於4:2:0視頻的四分之一亮度樣點和八分之一色度樣點）。在JEM中，內部運動向量存儲和Merge候選的準確度增加到1/16像素。較高的運動向量精度（1/16像素）用於以跳過模式/Merge模式編碼的CU的運動補償幀間預測。對於使用正常AMVP模式編碼的CU，使用整數像素或四分之一像素運動，如小節2.2.1中所述。

具有與HEVC運動補償插值濾波器相同的濾波器長度和歸一化因子的SHVC上採樣插值濾波器，被用作附加分數像素位置的運動補償插值濾波器。在JEM中色度分量運動向量精度是1/32樣點，通過使用兩個相鄰1/16像素分數位置的濾波器的平均值，來導出1/32像素分數位置的附加插值濾波器。 2.2.3局部亮度補償

局部亮度補償（LIC）基於用於亮度變化的線性模型，使用縮放因子a和偏移b。並且，針對每個幀間模式編碼的編碼單元（CU）自我調整地啟用或禁用LIC。

當LIC應用於CU時，採用最小平方誤差方法，通過使用當前CU的相鄰樣點及其對應的參考樣點來導出參數a和b。更具體地，如圖10所示，使用了該CU的子採樣（2:1子採樣）的相鄰樣點和參考圖像中的對應樣點（其由當前CU或子CU的運動資訊識別）。IC參數被導出並被分別應用於每個預測方向。

當使用Merge模式對CU進行編碼時，以類似於Merge模式中的運動資訊複製的方式從相鄰塊複製LIC標誌；否則，向該CU信令通知LIC標誌以指示LIC是否適用。

當對圖像啟用LIC時，需要附加的CU級別RD校驗以確定是否對CU應用LIC。當對CU啟用LIC時，分別對整數像素運動搜索和分數像素運動搜索，使用均值移除的絕對差和（mean-removed sum of absolute diffefference，MR-SAD）以及均值移除的絕對哈達瑪變換差和（mean-removed sum of absolute Hadamard-transformed difference，MR-SATD），而不是SAD和SATD。

為了降低編碼複雜度，在JEM中應用以下編碼方案。

當當前圖像與其參考圖像之間不存在明顯的亮度變化時，對整個圖像禁用LIC。為了識別這種情況，在編碼器處，計算當前圖像與該當前圖像的每個參考圖像的長條圖。如果當前圖像與該當前圖像的每個參考圖像之間的長條圖差異小於給定閾值，則對當前圖像禁用LIC；否則，對當前圖像啟用LIC。 2.2.4仿射運動補償預測

在HEVC中，僅將平移運動模型應用於運動補償預測（MCP）。而在現實世界中，存在許多種運動，例如放大/縮小、旋轉、透視運動和其他不規則的運動。在JEM中，應用簡化的仿射變換運動補償預測。如圖11所示，塊的仿射運動場由兩個控制點運動向量描述。

塊的運動向量場（MVF）由以下等式描述：

(1) 其中（v_0x ,v_0y ）是左頂角控制點的運動向量，（v_1x ,v_1y ）是右頂角控制點的運動向量。

為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸M×N如等式（2）。中導出，其中MvPre是運動向量分數精度（在JEM中為1/16），（v_2x ,v_2y ）是左下控制點的運動向量，根據等式（1）計算。

(2)

在由等式（2）導出之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。

如圖12所示，為了導出每個M×N子塊的運動向量，根據等式（1）計算每個子塊的中心樣點的運動向量並將其取整至1/16分數精度。然後，應用運動補償插值濾波器，以利用導出的運動向量生成每個子塊的預測。

在MCP之後，每個子塊的高精度運動向量以與正常運動向量相同的精度被取整並保存。

在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度均大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級別的仿射標誌，以指示是否使用AF_INTER模式。在此模式下，使用相鄰塊構建具有運動向量對

的候選列表。如圖13所示，從塊A、B或C的運動向量中選擇v₀ 。來自相鄰塊的運動向量根據參考列表以及根據相鄰塊的參考的POC、當前CU的參考的POC和當前CU的POC之間的關係來縮放。並且從相鄰塊D和E中選擇v₁ 的方法是類似的。如果候選列表的數量小於2，則由通過重複每個AMVP候選而構建的運動向量對來填充該列表。當候選列表大於2時，首先根據相鄰運動向量的一致性（候選對中的兩個運動向量的相似性）對候選進行分類，並且僅保留前兩個候選。RD成本校驗用於確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測（CPMVP）。並且，在位元流中信令通知指示候選列表中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計，並找到控制點運動向量（CPMV）。然後在位元流中信令通知CPMV與CPMVP的差異。

當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得使用仿射模式編碼的第一塊。如圖14A所示，並且對於候選塊的選擇順序是從左方、上方、右上方、左下方到左上方。如圖14B所示，如果相鄰左下塊A以仿射模式編碼，則導出包含塊A的CU的左頂角、右上角和左底角的運動向量v₂ 、v₃ 和v₄ 。並且根據v₂ 、v₃ 和v₄ 來計算當前CU的左頂角的運動向量v₀ 。其次，計算當前CU的右上方的運動向量v₁ 。

在導出當前CU的CPMVv₀ 和v₁ 之後，根據簡化的仿射運動模型等式（1），生成該當前CU的MVF。為了識別當前CU是否使用AF_MERGE模式編碼，當存在至少一個相鄰塊以仿射模式編碼時，在位元流中信令通知仿射標誌。 2.2.5模式匹配的運動向量推導

模式匹配的運動向量推導（Pattern matched motion vector derivation, PMMVD）模式是一種基於畫面播放速率上轉換（Frame-Rate Up Conversion, FRUC）技術的特殊Merge模式。使用該模式，塊的運動資訊不被信令通知，而是在解碼器側導出。

當CU的Merge標誌為真時，向該CU信令通知FRUC標誌。當FRUC標誌為假時，信令通知Merge索引，並使用常規Merge模式。當FRUC標誌為真時，信令通知附加的FRUC模式標誌以指示將使用哪種方法（雙邊匹配或範本匹配）來導出該塊的運動資訊。

在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於如對正常Merge候選那樣所做的RD成本選擇。換言之，通過使用RD成本選擇來校驗CU的兩種匹配模式（雙邊匹配和範本匹配）。導致最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用有關匹配模式。

FRUC Merge模式中的運動推導過程有兩個步驟。首先執行CU級別運動搜索，接下來執行子CU級別運動細化。在CU級別，基於雙邊匹配或範本匹配為整個CU導出初始運動向量。首先，生成MV候選列表，並且選擇導致最小匹配成本的候選作為進一步CU級別細化的起點。然後，圍繞起始點執行基於雙邊匹配或範本匹配的局部搜索，並且將導致最小匹配成本的MV作為整個CU的MV。隨後，運動資訊在子CU級別進一步細化，其中導出的CU運動向量作為起點。

例如，針對W×HCU運動資訊推導執行以下推導處理。在第一階段，導出整體W×H CU的MV。在第二階段，CU進一步劃分為M×M子CU。如（3）中計算M的值，D是預定義的劃分深度，其在JEM中默認設置為3。然後導出每個子CU的MV。

} (3)

如圖15所示，雙邊匹配用於通過在兩個不同參考圖像中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，來導出當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與在當前圖像和兩個參考圖像之間的時間距離——即TD0和TD1——成比例。作為特殊情況，當當前圖像在時間上在兩個參考圖像之間並且從當前圖像到兩個參考圖像的時間距離相同時，雙邊匹配變為基於鏡像的雙向MV。

如圖16所示，範本匹配用於通過找到在當前圖像中的範本（當前CU的頂部相鄰塊和/或左方相鄰塊）與參考圖像中的塊（具有與範本相同的尺寸）之間的最接近匹配，來導出當前CU的運動資訊。除了上述FRUC Merge模式之外，範本匹配也適用於AMVP模式。在JEM中，如在HEVC中一樣，AMVP有兩個候選。使用範本匹配方法，導出新的候選。如果由範本匹配的新導出的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始，並且然後將列表尺寸設置為2（這意味著移除第二現有AMVP候選）。當應用於AMVP模式時，僅應用CU級別搜索。 2.2.5.1 CU級別MV候選集合

CU級別的MV候選集合由以下組成： (i) 如果當前CU處於AMVP模式，則為原始AMVP候選， (ii) 所有Merge候選， (iii) 插值MV域中的數個MV， (iv) 頂部和左方相鄰的運動向量。

當使用雙邊匹配時，Merge候選的每個有效MV被用作輸入，以在假設雙邊匹配的情況下生成MV對。例如，Merge候選的一個有效MV是在參考列表A中的（MVa，refa）。然後，在其他參考列表B中找到其配對雙邊MV的參考圖像refb，使得refa和refb在時間上位於當前圖片的不同側。如果參考列表B中這樣的refb不可用，則refb被確定為與refa不同的參考，並且refb到當前圖像的時間距離是列表B中的最小值。在確定refb之後，基於當前圖像與refa、refb之間的時間距離通過縮放MVa來導出MVb。

來自插值MV域的四個MV也被添加到CU級別候選列表。更具體地，添加當前CU的位置(0, 0)、(W/2, 0)、(0, H/2)和(W/2, H/2)處的插值MV。

當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級別MV候選集合。

在CU級別，用於AMVP CU的最多15個MV、用於Merge CU的最多13個MV被添加到候選列表。 2.2.5.2子CU級別MV候選集合

子CU級別的MV候選集合由以下組成： (i) 從CU級別搜索確定的MV， (ii) 頂部、左方、左頂和右頂的相鄰MV， (iii) 來自參考圖像的並列MV的縮放版本， (iv) 最多4個ATMVP候選， (v) 最多4個STMVP候選。

來自參考圖像的縮放MV如下導出。遍歷兩個列表中的所有參考圖像。參考圖像中的子CU的並列位置處的MV被縮放到起始CU級別MV的參考。

ATMVP和STMVP候選僅限於前四個。

在子CU級別，最多17個MV被添加到候選列表中。 2.2.5.3插值MV域的生成

在對幀進行編碼之前，基於單邊ME為整個圖像生成插值運動域。然後，運動域可以稍後用作CU級別或子CU級別MV候選。

首先，兩個參考列表中的每個參考圖像的運動域以4×4塊級別遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖像中的4×4塊（如圖17所示）並且該塊尚未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1（與HEVC中的TMVP的MV縮放的方式相同的方式）縮放到當前圖像，並且將縮放的運動分配給當前幀中的塊。如果無縮放的MV被分配到4×4塊，則在插值的運動域中將塊的運動標記為不可用。 2.2.5.4插值和匹配成本

當運動向量指向分數樣點位置時，需要運動補償插值。為了降低複雜性，雙邊匹配和範本匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。

匹配成本的計算在不同的步驟有點不同。當從CU級別的候選集合中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對差值和（SAD）。在確定起始MV之後，如下計算子CU級別搜索的雙邊匹配的匹配成本C：

(4) 其中w是一個加權因子，且根據經驗設置為4，MV和MV^s 分別指示當前MV和起始MV。SAD仍用作子CU級別搜索的範本匹配的匹配成本。

在FRUC模式中，MV通過僅使用亮度樣點導出。導出的運動將用於MC幀間預測的亮度和色度。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。 2.2.5.5 MV細化

MV細化是以雙邊匹配成本或範本匹配成本為準則的基於模式的MV搜索。在JEM中，支援兩種搜索模式——分別用於CU級別和子CU級別的MV細化的無限制的中心偏置菱形搜索（unrestricted center-biased diamond search，UCBDS）和自我調整交叉搜索（adaptive cross search）。對於CU級別和子CU級別MV細化，以四分之一亮度樣點MV精度直接搜索MV，並且接下來以八分之一亮度樣點MV細化。對於CU步驟和子CU步驟的MV細化的搜索範圍被設置為等於8個亮度樣點。 2.2.5.6範本匹配FRUC Merge模式中預測方向的選擇

在雙邊匹配Merge模式中，始終應用雙向預測，因為基於在兩個不同參考圖像中沿當前CU的運動軌跡的兩個塊之間的最接近匹配來導出CU的運動資訊。範本匹配Merge模式不存在這樣的限制。在範本匹配Merge模式中，編碼器可以在針對CU的來自列表0的單向預測、來自列表1的單向預測或者雙向預測之中進行選擇。選擇基於範本匹配成本，如下：如果costBi >= factor * min (cost0, cost1) 使用雙向預測；否則，如果cost0 >= cost1 使用來自列表0的單向預測；否則, 使用來自列表1的單向預測；其中cost0是列表0範本匹配的SAD，cost1是列表1範本匹配的SAD，costBi是雙向預測範本匹配的SAD。factor的值等於1.25，這意味著選擇過程偏向於雙向預測。

幀間預測方向選擇僅應用於CU級別範本匹配過程。 2.2.6解碼器側運動向量細化

在雙向預測操作中，為了預測一個塊區域，分別使用列表0的運動向量（MV）和列表1的MV形成的兩個預測塊被組合以形成單個預測信號。在解碼器側運動向量細化（DMVR）方法中，雙向預測的兩個運動向量通過雙邊範本匹配過程進一步細化。雙邊範本匹配應用於解碼器中，以在雙邊範本和參考圖像中的重建樣點之間執行基於失真的搜索，以便在不傳輸附加的運動資訊的情況下獲得細化的MV。

如圖18所示，在DMVR中，分別從列表0的初始MV0和列表1的MV1生成雙邊範本，作為兩個預測塊的加權組合（即平均）。範本匹配操作包括計算生成的範本與參考圖像中的樣點區域（在初始預測塊周圍）之間的成本度量。對於兩個參考圖像中的每一個，產生最小範本成本的MV被視為該列表的更新MV以替換原始範本。在JEM中，對於每個列表，搜索九個MV候選。該九個MV候選包括原始MV和8個周圍MV，其中一個亮度樣點在水準或垂直方向上或在兩個方向上偏移到原始MV。最後，如圖18所示，兩個新的MV，即MV0'和MV1'，被用於生成最終的雙向預測結果。絕對差值和（SAD）用作成本度量。請注意，當計算由一個周圍MV生成的預測塊的成本時，實際上使用取整的MV（到整數像素）而不是真實MV來獲得預測塊。

DMVR被應用於雙向預測的Merge模式，在不傳輸附加的語法元素的情況下使用來自過去的參考圖像中的一個MV和來自將來的參考圖像中的另一個MV。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。 2.3非相鄰Merge候選

在J0021中，高通建議從非相鄰的相鄰位置導出附加的空間Merge候選，這些非相鄰的相鄰位置被標記為6至49，如圖19所示。在Merge候選列表中的TMVP候選之後添加導出的候選。

在J0058中，騰訊建議從外部參考區域中的位置導出附加的空間Merge候選，該外部參考區域到當前塊的偏移為(-96, -96)。

如圖20所示，位置標記為A(i,j)、B(i,j)、C(i,j)、D(i,j)和E(i,j)。與其先前的B或C候選相比，每個候選B(i, j)或C(i, j)在垂直方向上具有16的偏移。與其先前的A或D候選相比，每個候選A(i, j)或D(i, j)在水準方向上具有16的偏移。與其先前的E候選相比，每個E (i, j)在水準方向和垂直方向上具有16的偏移。候選從內到外進行校驗。並且候選的順序是A(i, j)、B(i, j)、C(i, j)、D(i, j)和E(i, j)。進一步研究Merge候選的數量是否可以進一步減少。在Merge候選列表中的TMVP候選之後添加候選。

在J0059中，根據時間候選之後的數位順序校驗如圖21中的從6到27的擴展空間位置。為了保存MV線緩衝區，所有空間候選都被限制在兩個CTU線內。 2.4相關方法

在J0024中的終極運動向量表達（ultimate motion vector expression，UMVE）可以是跳過（skip）模式或直接（或Merge）模式，其使用所建議的使用相鄰運動資訊的運動向量表達方法。作為HEVC中的跳過模式和Merge模式，UMVE還根據相鄰的運動資訊製作候選列表。在列表中的那些候選中，選擇MV候選並通過新的運動向量表達方法對該MV候選進行進一步擴展。

圖22示出了UMVE搜索過程的示例，並且圖23示出了UMVE搜索點的示例。

UMVE提供了具有簡化信令的新的運動向量表達。該表達方法包括起點、運動幅度和運動方向。

基礎候選索引定義了起點。基礎候選索引如下指示在列表中的候選中的最佳候選。

距離索引是運動幅度資訊。距離索引指示距離起點資訊的預定義距離。該預定義距離如下所示（表格中pel表示像素）。

方向索引表示MVD相對於起點的方向。該方向索引可以表示四個方向，如下所示。

3．現有實現方式的缺點的討論

在Merge模式中，Merge候選的運動資訊由當前塊繼承，包括運動向量、參考圖像、預測方向、LIC標誌等。僅Merge索引被信令通知，這在許多情況下是高效的。然而，繼承的運動資訊尤其是運動向量可能不足夠好。

另一方面，在AMVP模式中，所有運動資訊被信令通知，包括運動向量（即MVP索引和MVD）、參考圖像（即參考索引）、預測方向、LIC標誌和MVD精度等，這消耗位元。

在JVET-J0024建議的UMVE中，建議對附加的MVD進行編碼。然而，MVD僅可以在水準方向或垂直方向上具有非零分量，而不能在兩個方向上都具有非零分量。同時，它還信令通知MVD資訊，即距離索引或運動幅度資訊。 4．基於所公開的技術的擴展Merge模式（EMM）的方法

視頻編碼器和解碼器實施例可以使用本文件中公開的技術來實現擴展Merge模式（EMM），其中只有很少的資訊被信令通知，並且對MVD沒有特別的限制。

下面的詳細發明應被視為解釋一般概念的示例。不應以狹隘的方式解釋這些發明。此外，這些發明可以以任何方式組合。

建議將運動資訊（諸如預測方向、參考索引/圖像、運動向量、LIC標誌、仿射標誌、幀內塊複製（IBC）標誌、MVD精度、MVD值）劃分為兩部分。第一部分是直接繼承的，並且第二部分在有/無預測編碼的情況下被明確地信令通知。

建議構建EMM列表，並且信令通知索引以指示當前塊（例如，PU/CU）繼承哪個候選的運動資訊的第一部分。同時，進一步信令通知如MVD的附加資訊（例如，運動資訊的第二部分）。 a. 運動資訊的第一部分包括以下資訊中的一個或多個：預測方向、參考圖像、運動向量、LIC標誌和MVD精度等。 b. 第二部分可以使用預測編碼進行編碼。

建議通過插入空間相鄰塊、時間相鄰塊或非相鄰塊的運動資訊來構建運動資訊候選列表。

替代地，預測方向不是被繼承的而是明確地被信令通知的。在這種情況下，建議構建兩個或多個運動資訊候選列表。

建議MVD精度以Merge模式從相鄰塊繼承並被存儲。

EMM模式被信令通知為特殊AMVP模式。當Merge標誌為假時，信令通知EMM標誌以指示是使用EMM模式還是使用AMVP模式。 a. 替代地，EMM標誌被信令通知為特殊Merge模式。當Merge標誌為真時，信令通知EMM標誌以指示是使用EMM模式還是使用Merge模式。 b. 替代地，僅有AMVP模式和EMM模式，沒有正常的Merge模式。 c. 替代地，僅有正常的Merge模式和EMM模式，沒有AMVP模式。 d. 替代地，將預留位置插入到Merge候選列表中，並在選擇預留位置時使用EMM模式。 e. 替代地，可以將附加Merge候選添加到傳統Merge候選列表中。當所選擇的Merge索引對應於這些新引入的Merge候選時，即使附加運動資訊以Merge模式被編碼，也進一步允許對該附加運動資訊的信令通知。 f. 替代地，EMM模式在語法元素幀間預測方向上被編碼。例如，inter_dir等於0指示使用EMM模式。

從編碼器向解碼器信令通知是否應用EMM模式。例如，可以在以下方式中信令通知該選擇：視頻參數集（VPS）、序列參數集（SPS）、圖像參數集（PPS）、條帶標題、編碼樹單元（CTU）、編碼樹塊（CTB）、編碼單元（CU）或預測單元（PU）、覆蓋多個CTU/CTB/CU/Pu的區域。

上述示例可以被併入下面描述的方法（例如，方法2400）的上下文中，該方法可以在視頻解碼器或視頻編碼器實現。

圖24是處理視頻位元流的示例方法2400的流程圖。該方法2400包括構建（2402）擴展Merge模式（EMM）候選列表；基於當前塊的位元流表示中的位元的第一集合來確定（2404）由該當前塊從列表中繼承的運動資訊；基於當前塊的位元流表示中的位元的第二集合來確定（2406）該當前塊被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行（2408）當前塊與位元流表示之間的轉換，其中位元流表示進一步包括欄位，該欄位信令通知選擇性使用包括EMM候選列表的擴展Merge模式。

以下列舉的示例提供了可以解決本文件中描述的技術問題以及其他問題的實施例。

1．一種視頻處理方法，包括：構建擴展Merge模式（EMM）候選列表；基於當前塊的位元流表示中的位元的第一集合來確定由當前塊從列表中繼承的運動資訊；基於當前塊的位元流表示中的位元的第二集合來確定當前塊的被信令通知的運動資訊；並且基於EMM候選列表和被信令通知的運動資訊來執行當前塊與位元流表示之間的轉換，其中位元流表示進一步包括欄位，該欄位信令通知選擇性使用包括EMM候選列表的擴展Merge模式。

2．根據示例1的方法，其中該欄位被信令通知為特殊高級運動向量預測（AMVP）模式。

3．根據示例2的方法，其中在當前塊的Merge標誌設置為假的情況下，該欄位指示使用擴展Merge模式或AMVP模式中的任一個。

4．根據示例1的方法，其中該欄位被信令通知為為特殊Merge模式。

5．根據示例2的方法，其中在當前塊的Merge標誌設置為真的情況下，該欄位指示使用擴展Merge模式或正常Merge模式中的任一個。

6．根據示例1的方法，其中與正常Merge模式相關聯的候選列表包括預留位置候選，並且其中預留位置候選的選擇指示使用擴展Merge模式。

7．根據示例1的方法，其中該欄位是幀間預測方向語法元素。

8．根據示例7的方法，其中該欄位是inter_dir，並且其中inter_dir等於零指示使用擴展Merge模式。

9．根據示例1的方法，進一步包括：將運動資訊劃分為兩部分，其中運動資訊包括預測方向、一個或多個參考索引或圖像、一個或多個運動向量、局部亮度補償（LIC）標誌、仿射標誌、幀內塊複製（IBC）標誌、運動向量差（MVD）精度或一個或多個MVD值。

10．根據示例9的方法，其中兩個部分的第一部分直接從EMM候選列表繼承，並且其中兩個部分的第二部分明確地被信令通知。

11．根據示例1至10中任一項的方法，其中在以下方式中信令通知欄位：視頻參數集（VPS），序列參數集（SPS），圖像參數集（PPS），條帶標題，編碼樹單元（CTU），編碼樹塊（CTB），編碼單元（CU）或預測單元（PU），或者覆蓋多個CTU、CTB、CU或PU的區域。

12．一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中指令在由處理器執行時使得處理器實現示例1至11中的一項或多項的方法。

13．一種存儲在非暫時性電腦可讀介質上的電腦程式產品，該電腦程式產品包括用於實施示例1至11中的一項或多項的方法的程式碼。 5．參考文獻

[1] ITU-T和ISO/IEC，“High efficiency video coding”，Rec. ITU-T H.265| ISO/IEC 23008-2（有效版本）。

[2] C. Rosewarne，B.Bross，M.Naccari，K.Sharman，G.Sullivan，“High Efficiency Video Coding (HEVC) Test Model 16 (HM 16) Improved Encoder Description Update 7，”JCTVC-Y1002，2016年10月。

[3] J. Chen，E.Alshina，G.J. Sullivan，J.-R. Ohm，J.Boyce，“Algorithm description of Joint Exploration Test Model 7 (JEM7)”，JVET-G1001，2017年8月。

[4] JEM-7.0：https：//jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/ HM-16.6-JEM-7.0。

[5] A. Alshin，E.Alshina等，“Description of SDR, HDR and 360° video coding technology proposal by Samsung, Huawei, GoPro, and HiSilicon – mobile application scenario”，JVET-J0024，2018年4月。 6．所公開技術的實施例

圖25是視頻處理裝置2500的框圖。裝置2500可以用於實現本文件描述的一種或多種方法。裝置2500可以實施在智慧手機、平板電腦、電腦、物聯網（IoT）接收器等中。裝置2500可以包括一個或多個處理器2502、一個或多個記憶體2504和視頻處理硬體2506。（一個或多個）處理器2502可以被配置為實現本文件中描述的一種或多種方法（包括但不限於方法2400）。（一個或多個）記憶體2504可以用於存儲用於實現本文描述的方法和技術的資料和代碼。視頻處理硬體2506可以用於在硬體電路中實現本文件中描述的一些技術。

在一些實施例中，視頻編碼方法可以使用在如關於圖25所描述的硬體平臺上實現的裝置來實現。

本文件中描述的公開和其他解決方案、示例、實施例、模組和功能操作可以以數位電子電路實現，或者以電腦軟體、固件或硬體實現，包含本文件中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器裝置。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以以任何形式的程式設計語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括作為獨立程式或作為適合在計算環境中使用的模組、元件、子常式或其他單元。電腦程式不一定對應於檔案系統中的檔案。程式可以存儲在保存其他程式或資料的檔案的一部分中（例如，存儲在標記語言檔案中的一個或多個腳本），存儲在專用於所討論的程式的單個檔案中，或存儲在多個協調檔案中（例如，存儲一個或多個模組、副程式或代碼部分的檔案）。可以部署電腦程式以在一個電腦上或在位於一個網站上或分佈在多個網站上並由通信網路互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA（現場可程式設計閘陣列）或ASIC（特殊應用積體電路）。

舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於存儲指令和資料的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於存儲資料的一個或多個大型存放區設備，例如磁片、磁光碟或光碟，以從該一個或多個大型存放區設備接收資料，或將資料傳遞到該一個或多個大型存放區設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，舉例來說，包括半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM磁片。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本專利文件中，在分開的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以分開地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按循序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都要求這樣的分離。

僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和示出的內容來做出其他實現方式、增強和變型。

2400‧‧‧方法 2402、2404、2406、2408‧‧‧步驟 2500‧‧‧視頻處理裝置 2502‧‧‧處理器 2504‧‧‧記憶體 2506‧‧‧視頻處理硬體 A₀、A₁、B₀、B₁、B₂、C₀、C₁‧‧‧位置 mvL0、mvL1、refIdxL0、refIdxL1‧‧‧候選 MV0、MV1、MV0'、MV1'‧‧‧運動向量 refa、refb‧‧‧參考圖像 TD0、TD1‧‧‧時間距離 tb、td‧‧‧距離

圖1示出了用於Merge候選列表構建的推導過程的示例。圖2示出了空間Merge候選的示例位置。圖3示出了考慮空間Merge候選的冗餘校驗的候選對的示例。圖4A和圖4B示出了N×2N和2N×N劃分的第二PU的示例位置。圖5是用於時間Merge候選的運動向量縮放的示例圖示。圖6示出了時間Merge候選C0和C1的候選位置的示例。圖7示出了組合的雙向預測Merge候選的示例。圖8示出了用於運動向量預測候選的示例推導過程。圖9示出了用於空間運動向量候選的運動向量縮放的示例圖示。圖10示出了用於導出IC參數的相鄰樣點的示例。圖11示出了簡化的仿射運動模型的示例。圖12示出了每個子塊的仿射MVF的示例。圖13顯示了AF_INTER的MVP的示例。圖14A和14B示出了AF_MERGE的候選的示例。圖15示出了雙邊匹配的示例。圖16示出了範本匹配的示例。圖17示出了FRUC中單向ME的示例。圖18示出了基於雙邊範本匹配的DMVR的示例。圖19示出了非相鄰Merge候選的示例。圖20示出了非相鄰Merge候選的示例。圖21示出了非相鄰Merge候選的示例。圖22和圖23描繪了視頻編碼的最終運動向量表達技術的示例。圖24是視頻位元流處理方法的示例的流程圖。圖25是視頻處理裝置的示例的框圖。

2400‧‧‧方法

2402、2404、2406、2408‧‧‧步驟

Claims

一種視頻處理方法，包括：構建擴展Merge模式（EMM）候選列表；基於當前塊的位元流表示中的位元的第一集合來確定由所述當前塊從所述列表中繼承的運動資訊；基於當前塊的所述位元流表示中的位元的第二集合來確定所述當前塊的被信令通知的運動資訊；以及基於所述EMM候選列表和所述被信令通知的運動資訊來執行所述當前塊與所述位元流表示之間的轉換，其中所述位元流表示進一步包括欄位，所述欄位信令通知選擇性使用包括所述EMM候選列表的擴展Merge模式。
如申請專利範圍第1項所述的方法，其中所述欄位被信令通知為特殊高級運動向量預測（AMVP）模式。
如申請專利範圍第2項所述的方法，其中在所述當前塊的Merge標誌設置為假的情況下，所述欄位指示使用所述擴展Merge模式或所述AMVP模式中的任一個。
如申請專利範圍第1項所述的方法，其中所述欄位被信令通知為為特殊Merge模式。
如申請專利範圍第2項所述的方法，其中在所述當前塊的Merge標誌設置為真的情況下，所述欄位指示使用所述擴展Merge模式或正常Merge模式中的任一個。
如申請專利範圍第1項所述的方法，其中與所述正常Merge模式相關聯的候選列表包括預留位置候選，並且其中所述預留位置候選的選擇指示使用所述擴展Merge模式。
如申請專利範圍第1項所述的方法，其中所述欄位是幀間預測方向語法元素。
如申請專利範圍第7項所述的方法，其中所述欄位是inter_dir，並且其中inter_dir等於零指示使用所述擴展Merge模式。
如申請專利範圍第1項所述的方法，進一步包括：將所述運動資訊劃分為兩部分，其中所述運動資訊包括預測方向、一個或多個參考索引或圖像、一個或多個運動向量、局部亮度補償（LIC）標誌、仿射標誌、幀內塊複製（IBC）標誌、運動向量差（MVD）精度或一個或多個MVD值。
如申請專利範圍第9項所述的方法，其中所述兩個部分的第一部分直接從所述EMM候選列表繼承，並且其中所述兩個部分的第二部分明確地被信令通知。
如申請專利範圍第1項至第10項中任一項所述的方法，其中在以下中信令通知所述欄位：視頻參數集（VPS），序列參數集（SPS），圖像參數集（PPS），條帶標題，編碼樹單元（CTU），編碼樹塊（CTB），編碼單元（CU）或預測單元（PU），或者覆蓋多個CTU、CTB、CU或PU的區域。
一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使得所述處理器實現申請專利範圍第1項至第11項中的一項或多項所述的方法。
一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於實施申請專利範圍第1項至第11項中的一項或多項所述的方法的程式碼。