TW202044841A

TW202044841A - 在視頻編解碼中約束合併標誌信令的方法和裝置

Info

Publication number: TW202044841A
Application number: TW109112748A
Authority: TW
Inventors: 蕭裕霖; 徐志瑋
Original assignee: 聯發科技股份有限公司
Priority date: 2019-04-25
Filing date: 2020-04-16
Publication date: 2020-12-01
Also published as: US11432004B2; TWI779278B; US20200344492A1

Abstract

公開了用於約束模式信令的方法和裝置。根據一種方法，使用多個模式語法來用信號發送用於當前塊的當前模式。如果根據與所述當前塊有關的一個或更多個條件，所述多個候選模式中的一個或更多個候選模式不可用，則在所述視頻編碼器側跳過用信號發送模式語法，或者在所述視頻解碼器側跳過解析所述模式語法。在一個實施方式中，如果如SPS標誌所指示的那樣禁用了具有MVD的合併模式（MMVD）模式、仿射模式、子塊時間運動向量預測（SbTMVP）模式、幀間幀內聯合預測（CIIP）合併模式以及三角預測模式（TPM），則不用信號發送指示常規合併模式或跳過模式的開啟或關閉的常規標誌。

Description

在視頻編解碼中約束合併標誌信令的方法和裝置

本發明涉及視頻和圖像資料的編解碼。特別地，本發明涉及約束合併標誌信令以減少不必要的信令的方法和裝置。

視頻資料需要大量的存儲空間來存儲或需要很寬的頻寬來傳輸。隨著不斷增長的高解析度和更高的畫面播放速率，如果視頻資料以未壓縮形式存儲或傳輸，則存儲或傳輸頻寬的要求將非常嚴峻。因此，通常使用視頻編碼技術以壓縮格式存儲或傳輸視頻資料。使用較新的視頻壓縮格式（例如H.264/AVC和新興的HEVC（高效視頻編碼）標準），編碼效率得到了顯著提高。

在高效視頻編碼（HEVC）系統中，H.264/AVC的固定尺寸巨集塊被稱為編碼單元（CU）的靈活塊代替。CU中的圖元共用相同的編碼參數，以改善編碼效率。CU可以以最大CU（LCU）開頭，其在HEVC中也稱為編碼樹單元（CTU）。除了編碼單元的概念外，HEVC中還引入了預測單元（PU）的概念。一旦完成了CU分層樹的分割，則根據預測類型和PU劃分，將每個葉CU進一步分割為一個或更多個預測單元（PU）。此外，用於變換編碼的基本單元是正方形尺寸，稱為變換單元 （TU）。

在制定HEVC標準之後，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻探索小組（JVET）正在開發另一合併的視頻編碼標準，稱為通用視頻編碼（VVC）。已經針對VVC評估了各種新的編碼工具以及一些現有的編碼工具。一些相關的視頻編碼工具/模式描述如下。

合併模式

為了改善HEVC中運動向量（MV）編碼的編碼效率，HEVC支援跳過模式和合併模式。跳過模式和合併模式從空間上鄰近的塊（即，空間候選）或時間上共同定位的塊（即，時間候選）獲得運動資訊。當塊處於跳過模式或合併模式時，不對運動資訊進行編碼，而是僅對所選候選的索引進行編碼。對於跳過模式，殘差信號被強制為零且未編碼。在HEVC中，如果特定塊被編碼為跳過或合併，則用信號發送候選索引以指示候選集合當中的哪個候選被用於合併。每個合併的塊重用（reuse）所選候選的MV、預測方向和參考圖片索引。

對於HEVC中的HM-4.0（HEVC測試模型版本4.0）中的合併模式，推導出多達四個空間MV候選和一個時間MV候選。在四個空間MV候選和一個時間MV候選的推導處理之後，應用去除冗餘（即，修剪）以去除冗餘MV候選。如果去除冗餘（即，修剪）後，可用的MV候選的數量小於五，則可以推導出三種類型的附加候選並將其添加到候選集合（即，候選清單）。編碼器基於率失真優化（RDO）決策，在候選集合內為跳過模式或合併模式選擇一個最終候選，並將索引發送給解碼器。

高級時間運動向量預測（ ATMVP ）

在具有QTBT的聯合探索模型（JEM）軟體中，對於每個預測方向，每個CU最多可具有一組運動。高級時間運動向量預測（ATMVP）模式首先在VCEG-AZ10（W.-J. Chien,et al ., “Extension of Advanced Temporal Motion Vector Predictor ”, ITU-T SG16/Q6 Document: VCEG-AZ10, Jun. 2015）中被提出。在ATMVP中，將較大的CU分割為子CU，並針對該較大CU的所有子CU推導出運動資訊。ATMVP模式使用空間鄰近者來得到初始向量，並且該初始向量用於確定並置圖片上的並置塊的座標。然後，並置圖片中的並置塊的子CU（通常為4x4或8x8）運動資訊被檢索並填充到當前合併候選的子CU（通常為4x4或8x8）運動緩衝區中。在一些實施方式中，可以修改ATMVP模式的初始向量。提出了ATMVP的一些變型實施方式。例如，在JVET-K0346（X. Xiu,et al ., "CE4-related: One simplified design of advanced temporal motion vector prediction (ATMVP) ", Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 11th Meeting: Ljubljana, SI, 10–18 July 2018, Document: JVET-K0346）中公開了簡化的ATMVP模式。

第1圖示出了ATMVP的示例，其中CU被劃分為子PU。不同于傳統的時間候選，子PU TMVP模式將當前PU劃分為多個子PU，並為每個子PU找到所有對應的時間並置運動向量。尺寸為MxN的當前PU具有(M/P)x(N/Q)個子PU，每個子PU的尺寸為PxQ，其中M可被P整除，N可被Q整除。第1圖的示例對應於當前PU 110被分為16個子PU（即，M/P=4和N/Q=4）的情況。指示了子PU 0（111）和子PU 1（112）。子PU TMVP的詳細演算法描述如下。子PU TMVP的詳細演算法描述如下。

在步驟1中，對於以子PU TMVP模式編碼的當前PU 110，為時間並置圖片120中的並置PU的子PU（121和122）確定表示為vec_init（123和124）的“初始運動向量”。例如，vec_init可以是當前PU 110的第一可用空間鄰近塊的MV。在第1圖中，vec_init_0 123指向子塊125，並且vec_init_1 123指向子塊126。另選地，其他鄰近塊的MV也可以用作初始運動向量。通常，vec_init是空間鄰近塊當中的第一可用候選。例如，如果第一可用空間鄰近塊具有L0和L1 MV，並且LX是用於搜索並置信息的第一列表，則vec_init在LX = L0時使用L0 MV或者在LX = L1時使用L1。LX（L0或L1）的值取決於哪個列表（L0或L1）更適合並置信息。如果L0更適合並置信息（例如，POC（圖片順序計數）距離比L1更近），則LX等於L0，反之亦然。可以在條帶（slice）級別、磚塊（brick）級別、圖塊（tile）組級別或圖片級別執行LX分配。在第1圖中，子塊125和126的運動向量分別被標記為127和128。

然後，開始“並置圖片搜索處理”。該“並置圖片搜索處理”是在子PU TMVP模式下為所有子PU找到主並置圖片。主並置圖片表示為main_colpic。通常，該處理首先搜索由第一可用空間鄰近塊選擇的參考圖片。然後，在B條帶中，該處理從L0（或L1）開始搜索當前圖片的所有參考圖片：參考索引0、然後索引1、然後索引2，依此類推（索引順序遞增）。如果該處理完成了搜索L0（或L1），則搜索另一列表。在P條帶中，該處理首先搜索由第一可用空間鄰近塊選擇的參考圖片。然後，該處理搜索該清單中當前圖片的所有參考圖片：從參考索引0開始、然後索引1、然後索引2，依此類推（即，索引順序遞增）。

如果該處理完成了搜索L0（或L1），則搜索另一列表。在P條帶中，該處理首先搜索由第一可用空間鄰近塊選擇的參考圖片；然後，該處理搜索清單中當前圖片的所有參考圖片：從參考索引0開始、然後索引1、然後索引2，依此類推（依索引順序遞增）。在搜索期間，對於每張搜索到的圖片，它具有名為“可用性檢查”的處理。該“可用性檢查”首先將當前PU的“圍繞中心位置”與vec_init_scaled相加，其中vec_init_scaled是從vec_init經適當MV縮放的MV。其次，相加後的位置用於檢查所搜索到的圖片的幀內/幀間。

這裡，“圍繞中心位置”可以以不同的方式確定。在一個示例中，該位置對應於中心圖元。例如，對於尺寸等於M*N的PU，可以根據位置(M/2, N/2)來確定“圍繞中心位置”。在另一示例中，可以根據中心子PU的中心圖元來確定“圍繞中心位置”。在又一示例中，取決於當前PU的形狀，“圍繞中心位置”可以是前兩個示例的混合。“圍繞中心位置”的詳細實現不限於這三個示例。

最後在“可用性檢查”中，如果檢查結果為幀間，則可用性為真（true）；如果檢查結果為幀內，則可用性為假（false）。當“可用性檢查”完成時，如果可用性為真，則將當前搜索到的圖片記錄為主並置圖片，並且搜索處理完成。如果可用性為假，則該處理開始搜索下一張圖片。在“並置圖片搜索處理”期間，當vec_init的參考圖片不等於當前參考圖片時，需要進行MV縮放。MV縮放處理將使用運動向量的縮放版本。分別根據vec_init的當前圖片與參考圖片之間的時間距離以及搜索到的參考圖片來對MV進行縮放。MV縮放後，MV表示為vec_init_scaled。

然後，在步驟2中，對於每個子PU，進一步找到表示為vec_init_sub_i的“子U的初始運動向量”，並且i = 0 ~ ((M/P)x(N/Q)-1)。通常，vec_init_sub_i等於vec_init_scaled。

在步驟3中，對於每個子PU，找到用於參考清單0的並置圖片和用於參考清單1的並置圖片。通常，對於當前PU的所有子PU，針對參考列表0、1只有一個並置圖片，如main_colpic所指示的那樣。

然後，在步驟4中，針對每個子PU，在並置圖片中進一步找到並置位置。我們假設當前的子PU為子PU i，則並置位置的計算如下所示：並置位置x =子PU_i_x + vec_init_sub_i_x（整數部分）+ shift_x，並置位置y =子PU_i_y + vec_init_sub_i_y（整數部分）+ shift_y。

在上述等式中，子PU_i_x表示當前圖片內部的子PU i的水準左上位置（整數位置）；子PU_i_y表示當前圖片內部的子PU i的豎直左上位置（例如，整數位置）；vec_init_sub_i_x表示vec_init_sub_i的水準部分，其在計算中具有整數部分和小數部分，然而，僅使用整數部分。Vec_init_sub_i_y表示vec_init_sub_i的豎直部分，其在計算中具有整數部分和小數部分，然而僅使用整數部分。Shift_x表示移位值，並且shift_x可以是子PU寬度的一半。然而，其他值也可以用於shift_x。shift_y表示移位值，並且shift_y可以是子PU高度的一半。然而，其他值也可以用於shift_y。

最後，在步驟5中，針對每個子PU，找到每個子PU的運動資訊時間預測子（predictor），表示為SubPU_MI_i。SubPU_MI_i是來自並置位置x和並置位置y上的collocated_picture_i_L0和collocated_picture_i_L1的運動資訊。運動資訊（MI）定義為MV_x、MV_y、參考清單、參考索引以及其他合併模式敏感的資訊（例如局部照明補償標誌）的集合。此外，在一個實施方式中，可以根據並置圖片、當前圖片和並置MV的參考圖片之間的時間距離關係來縮放MV_x和MV_y。

仿射模式 和仿射合併模式

提交給ITU-VCEG的投稿ITU-T13-SG16-C1016（Lin, et al., “Affine transform prediction for next generation video coding”, ITU-U, Study Group 16, Question Q6/16, Contribution C1016, September 2015, Geneva, CH）中公開了一種四參數仿射預測，其包括仿射合併模式。當仿射運動塊移動時，可以通過如下的兩個控制點運動向量或四個參數來描述該塊的運動向量場，其中（vx ， vy ）表示運動向量

第2A圖中示出了四參數仿射模型的示例，其中，塊210對應於當前塊，塊220對應於根據四參數仿射模型推導出的參考塊。變換後的塊是矩形塊。該移動塊中每個點的運動向量場可以用以下等式描述：

在上述等式中，(v0x, v0y )是塊的左上角處的控制點運動向量（即，v0 ），(v1x, v1y ) 是塊的右上角處的另一控制點運動向量（即，v1 ）。當對兩個控制點的MV進行解碼時，可以根據上述等式確定該塊的每個4×4塊的MV。換句話說，可以通過兩個控制點處的兩個運動向量來指定該塊的仿射運動模型。此外，雖然將塊的左上角和右上角用作兩個控制點，但是也可以使用其他兩個控制點。

仿射候選有兩種：繼承的仿射候選和角推導的候選（即，構造的候選）。對於繼承的仿射候選，當前塊繼承鄰近塊的仿射模型。所有控制點MV來自同一鄰近塊。如果當前塊210繼承了來自塊A1的仿射運動，則如第2A圖所示，將塊A1的控制點MV用作當前塊的控制點MV，其中與塊A1相關聯的塊212基於兩個控制點MV（v0 和v1 ）被旋轉到塊214。因此，當前塊210被旋轉到塊216。在角推導的候選之前插入繼承的候選。選擇用於繼承控制點MV的候選的順序是根據：（A0-＞ A1）（B0-＞ B1-＞ B2）。

在投稿ITU-T13-SG16-C1016中，對於幀間模式編碼的CU，當CU尺寸等於或大於16x16時，用信號發送仿射標誌以指示是否應用了仿射幀間模式。如果當前塊（例如，當前CU）以仿射幀間模式被編碼，則使用鄰近者有效重構塊來構建候選MVP對列表。第2B圖例示了用於推導出角推導仿射候選的鄰近塊集合。如第2B圖所示，

對應于當前塊230的左上角處的塊V0的運動向量，其選自鄰近塊a0（稱為左上塊）、a1（稱為內左上塊）和a2（稱為下左上塊）的運動向量。

對應於當前塊220的右上角處的塊V1的運動向量，其選自鄰近塊b0（稱為上塊）和b1（稱為右上塊）的運動向量。

在上式中，MVa是與塊a0、a1或a2相關聯的運動向量，MVb是從塊b0和b1的運動向量中選擇的，MVc是從塊c0和c1的運動向量中選擇的。選擇具有最小DV的MVa和MVb以形成MVP對。因此，儘管僅兩個MV集合（即，MVa和MVb）將被搜索以尋找最小的DV，但是第三DV集合（即，MVc）也參與選擇處理。第三DV集合對應於當前塊210的左下角處的塊的運動向量，其選自鄰近塊c0（稱為左塊）和c1（稱為左下塊）的運動向量。在第2B圖的示例中，用於構造仿射運動模型的控制點MV的鄰近塊（a0、a1、a2、b0、b1、c0和c1）在本公開中被稱為鄰近塊集合 。

在ITU-T13-SG16-C-1016中，還提出了仿射合併模式。如果當前是合併PU，則檢查鄰近的五個塊（第2B圖中的c0、b0、b1、c1和a0塊）以確定其中之一是仿射幀間模式還是仿射合併模式。如果是，則用信號發送affine_flag以指示當前PU是否為仿射模式。當當前PU以仿射合併模式編碼時，它從有效的鄰近者重構塊中得到以仿射模式編碼的第一塊。如第2B圖所示，候選塊的選擇順序是從左、上、右上、左下到左上（即，c0 → b0 → b1 → c1 → a0）。第一仿射編碼塊的仿射參數用於推導當前PU的v0 和v1 。

三角形預測單元模式技術

三角形預測單元模式的概念是引入用於運動補償預測的三角形劃分。如第3圖所示，將CU分割成對角線方向的兩個三角形預測單元310或反對角線方向的兩個三角形預測單元320。使用CU中的每個三角形預測單元自身的單向預測運動向量和參考幀索引來對該三角形預測單元進行幀間預測，所述單向預測運動向量和參考幀索引是從單向預測候選列表推導出的。在對三角形預測單元進行預測之後，對對角線邊緣執行自我調整加權處理。然後，將變換和量化處理應用於整個CU。注意，此模式僅適用於跳過模式和合併模式。

具有運動向量差的合併 （MMVD ）

MMVD（具有MVD的合併）合併候選是在稱為VVC（通用視頻編碼）的新興視頻編碼標準下開發的技術。MMVD合併候選也稱為UMVE（最終運動向量表達）合併候選。在JVET-K0115（S. Jeong, et al., “CE4 Ultimate motion vector expression in J0024 (Test 4.2.9) ”, in Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 11th Meeting: Ljubljana, SI, 10–18 July 2018, Document: JVET- K0115）中，介紹了JVET-J0024（(S. Akula, et. Al., “Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon ”, in Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 10th Meeting: San Diego, US, 10–20 Apr. 2018, Document: JVET- J0024）中提出的最終運動向量表達（UMVE）。參考列表L1中的參考幀和參考列表L1中的參考幀對應於用於雙向預測的兩個參考。穿過當前塊中心的線經過這兩個參考幀中的兩個對應圖元。搜索是圍繞與該線關聯的中心點進行的。為了簡化搜索處理，針對L0參考和L1參考，將只搜索圍繞中心點的豎直和水準的特定位置。利用提出的運動向量表達方法，將UMVE用於跳過模式或合併模式。UMVE重用與VVC相同的合併候選。在合併候選當中，可以選擇候選，並通過提出的運動向量表達方法對該候選進行進一步擴展。UMVE提供了具有簡化信令的新的運動向量表達。該表達方法包括預測方向資訊、起點、運動幅度和運動方向。

幀間 / 幀內聯合 預測（ CIIP ）

在VTM（VVC測試模型）中，引入了稱為幀間/幀內聯合預測（CIIP）模式的編碼工具。為了形成CIIP預測，確定了幀內預測子和幀間預測子。然後，從幀間和幀內預測信號的加權平均推導出幀間幀內聯合預測信號。可以在JVET-L0100（M.-S. Chiang, et al., “CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and Intra mode,” ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12th Meeting: Macao, CN, Oct. 2018, Document: JVET-L0100）中找到該演算法的更詳細說明。

常規合併 / 跳過模式

在VTM-4.0（VVC測試模型版本4.0）中，合併模式和跳過模式分別進一步分為五類和四類，包括常規合併/跳過、具有MVD的合併模式（MMVD）、子塊模式、幀間幀內聯合預測（CIIP）合併和三角預測模式（TPM）。在此，CIIP僅在合併模式下可用，而其他四個模式對於合併模式和跳過模式二者都可用。

在合併標誌和跳過標誌之後隨即引入常規標誌，以指示當前CU是否使用了常規的合併/跳過模式。在表1和表2中分別針對合併模式和跳過模式例示了用於合併模式的信令。表 1. 合併模式的標誌信令

信令模式	常規標誌	MMVD標誌	子塊標誌	CIIP標誌
常規	1	-	-	-
MMVD	0	1	-	-
子塊	0	0	1	-
CIIP	0	0	0	1
TPM	0	0	0	0

表 2. 跳過模式的標誌信令

信令模式	常規標誌	MMVD標誌	子塊標誌
常規	1	-	-
MMVD	0	1	-
子塊	0	0	1
TPM	0	0	0

在現有系統中，由於對當前塊施加了約束，因此用於用信號發送當前塊的模式的標誌沒有考慮冗餘。因此，本發明期望開發避免或減少這種冗餘的方法和裝置。

公開了用於視頻編碼或視頻解碼的方法和裝置。根據該方法，在視頻編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視頻解碼器側接收與包括所述當前圖片中的所述當前塊的壓縮資料相對應的視頻位元流，其中，多個模式語法在所述視頻編碼器側被用信號發送或者在所述視頻解碼器側被解析以指示用於所述當前塊的當前模式，並且所述當前模式屬於由多個候選模式組成的模式集合。如果根據與所述當前塊有關的一個或更多個條件，所述多個候選模式中的一個或更多個候選模式不可用，則在所述視頻編碼器側跳過用信號發送至少一個模式語法，或者在所述視頻解碼器側跳過解析所述至少一個模式語法。根據所述當前模式對所述當前塊進行編碼或解碼。

在一個實施方式中，當在所述視頻編碼器側未用信號發送所述至少一個模式語法或者在所述視頻解碼器側未解析所述至少一個模式語法時，推斷與所述至少一個模式語法相關聯的對應模式被啟用或禁用。

在一個實施方式中，所述一個或更多個條件對應於一個或更多個SPS（序列參數集）標誌、一個或更多個尺寸約束、條帶類型或跳過標誌。

在一個實施方式中，所述多個候選模式包括常規合併模式、具有MVD的合併模式（MMVD）模式、子塊模式、幀間幀內聯合預測（CIIP）合併以及三角預測模式（TPM）的組合。例如，如果所述當前塊的尺寸小於64或等於32使得所述子塊模式、所述CIIP合併模式和所述TPM無效，並且如果如SPS標誌所指示的那樣禁用了MMVD模式，則不用信號發送指示非跳過塊的所述常規合併模式的開啟或關閉的常規標誌。在另一示例中，如果所述當前塊的尺寸大於或等於64，並且如果如SPS標誌所指示的那樣禁用了所述MMVD模式、所述子塊模式、所述CIIP合併模式、所述TPM，則不用信號發送指示非跳過塊的所述常規合併模式的開啟或關閉的常規標誌。

在一個實施方式中，所述多個候選模式包括常規跳過模式、具有MVD的合併模式（MMVD）、子塊模式、幀間幀內聯合預測（CIIP）合併模式以及三角預測模式（TPM）的組合。例如，如果所述當前塊的尺寸小於64或等於32使得所述子塊模式、所述CIIP合併模式和所述TPM無效，並且如果如SPS標誌所指示的那樣禁用了MMVD模式，則不用信號發送指示跳過塊的所述常規合併模式的開啟或關閉的常規標誌。在另一示例中，如果所述當前塊的尺寸大於或等於64，並且如果如SPS標誌所指示的那樣禁用了所述MMVD模式、所述子塊模式、所述TPM，則不用信號發送指示跳過塊的所述常規合併模式的開啟或關閉的常規標誌。

在一個實施方式中，如果如SPS標誌所指示的那樣禁用了具有MVD的合併模式（MMVD）模式、仿射模式、子塊時間運動向量預測（SbTMVP）模式、幀間幀內聯合預測（CIIP）合併模式以及三角預測模式（TPM），則不用信號發送指示常規合併模式或跳過模式的開啟或關閉的常規標誌。

以下描述是實施本發明的最佳構想模式。進行該描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍通過參照所附的權利要求書來最佳確定。

觀察到僅當多個可能的合併模式或跳過模式有效時才需要用信號發送常規標誌。否則，如果只有一個常規合併/跳過有效，則不應用信號發送常規標誌，以避免冗餘信令，並且常規的合併/跳過模式應被推斷為真以避免未定義的模式。

為了避免冗餘信令，針對常規標誌信令提出了如下多個約束。

在一個實施方式中，如果CU尺寸小於閾值（或等於閾值），則某些模式無效。同樣，某些其他模式可能會被禁用，如SPS標誌所指示的那樣。在這種情況下，不應用信號發送常規標誌，並且常規合併/跳過模式應被推斷為真。例如，對於跳過模式，如果CU尺寸小於64（或等於32），則子塊模式和TPM無效，因為它們不被允許。此外，如果如SPS標誌所指示的禁用了MMVD模式，則不應用信號發送常規標誌，並且常規跳過模式應被推斷為真。在另一示例中，對於合併模式，如果CU尺寸小於64（或等於32），則子塊模式、CIIP模式和TPM無效，因為它們不被允許。此外，如果如SPS標誌所指示的禁用了MMVD模式，則不應用信號發送常規標誌，並且常規合併模式應被推斷為真。

在另一實施方式中，如果CU尺寸大於或等於閾值，則所有模式均有效。然而，如果禁用了除常規合併/跳過模式之外的所有模式（如SPS標誌所指示的那樣），則不應用信號發送常規標誌，並且常規合併/跳過模式應被推斷為真。例如，對於跳過模式，如果CU尺寸大於或等於64，並且MMVD模式、子塊模式、TPM被禁用（如SPS標誌所指示的那樣），則不應用信號發送常規標誌，並且常規跳過模式應被推斷為真。在另一示例中，對於合併模式，如果CU尺寸大於或等於64，並且如SPS標誌所指示的那樣禁用了MMVD模式、子塊模式、CIIP模式和TPM，則不應用信號發送常規標誌，並且常規合併模式應被推斷為真。在又一示例中，如果除了常規的跳過/合併模式之外沒有其他模式有效，則不應用信號發送常規標誌，並且常規的跳過/合併模式應被推斷為真。

在另一實施方式中，當合併/跳過模式中的任何模式都不可用時，需要後備（fallback）模式。後備模式可以是具有預定義的常規合併索引的常規合併模式，或者可以是具有預定義的MMVD合併索引、MMVD距離索引或MMVD方向索引的MMVD模式。後備模式可以是具有預定義的子塊合併索引的子塊模式。後備模式也可以是具有預定義CIIP MPM（最可能模式）標誌或CIIP MPM索引的CIIP模式。後備模式也可以是具有預定義分割方向和兩個索引的三角形模式。例如，當所有模式（包括常規合併模式、MMVD模式、子塊模式和CIIP模式）都被禁用（如用信號發送的標誌所指示的那樣或被推斷），並且三角形模式如SPS標誌所指示的那樣被禁用時，則在這種情況下沒有可用的模式，並且常規合併模式與合併索引被設置為零。

在另一實施方式中，指示常規合併模式、MMVD模式、子塊模式、CIIP模式和三角形模式為真或為假的標誌不應被用信號發送，並且當所有以下模式都不可用時（如SPS標誌、尺寸約束、條帶類型或不同模式（例如幀內/幀間/IBC/合併/跳過）所指示），應被推斷為真。例如，根據一個實施方式，當MMVD、仿射、SbTMVP、CIIP和三角形模式的SPS標誌都被禁用時，不應用信號發送常規的合併模式標誌，並且應將其設置為真。對於另一示例，根據另一實施方式，當三角形模式的SPS標誌被禁用時，不應用信號發送CIIP模式標誌，並且應將其設置為真。

以上公開的前述方法可以在編碼器和/或解碼器中實現。例如，可以在編碼器的幀間預測模組和/或幀內塊複製預測模組和/或解碼器的幀間預測模組（和/或幀內塊複製預測模組）中實現這些方法。

第9圖例示了根據本發明實施方式的使用約束模式信令的示例性視頻編碼的流程圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或更多個處理器（例如，一個或更多個CPU）上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或更多個電子器件或處理器。根據該方法，在步驟410中，在視頻編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視頻解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視頻位元流，其中，多個模式語法在視頻編碼器側被用信號發送或者在視頻解碼器側被解析以指示用於當前塊的當前模式，並且當前模式屬於由多個候選模式組成的模式集合。在步驟420中，如果根據與當前塊相關的一個或更多個條件，多個候選模式中的一個或更多個候選模式不可用，則在視頻編碼器側跳過用信號發送至少一個模式語法，或者在視頻解碼器側跳過解析所述至少一個模式語法。在步驟430中，根據當前模式對當前塊進行編碼或解碼。

所示的流程圖旨在例示根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域技術人員可以修改各個步驟、重新安排步驟、拆分步驟、或組合步驟以實踐本發明。在本公開中，已經使用特定語法和語義來例示用於實現本發明的實施方式的示例。本領域技術人員可以在不脫離本發明的精神的情況下，通過用等同的語法和語義替換語法和語義來實踐本發明。

提供以上描述是為了使得本領域普通技術人員能夠如同在特定應用及其要求的背景下提供的那樣實踐本發明。對所描述的實施方式的各種修改對於本領域技術人員來說是顯而易見的，並且本文定義的一般原理可以應用於其它實施方式。因此，本發明不旨在限於所示出和所描述的特定實施方式，而是符合與本文所公開的原理和新穎特徵相一致的最寬範圍。在以上詳細的描述中，例示了各種具體細節以提供對本發明的透徹理解。然而，本領域技術人員將理解，可以實踐本發明。

可以以各種硬體、軟體代碼或兩者的組合來實現如上所述的本發明的實施方式。例如，本發明的實施方式可以是集成到視頻壓縮晶片中的一個或更多個電子電路或者集成到視頻壓縮軟體中的程式碼，以執行本文所描述的處理。本發明的實施方式還可以是要在數位訊號處理器（DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（FPGA）執行的許多功能。這些處理器可以被配置成通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。可以以不同的程式設計語言和不同的格式或形式來開發該軟體代碼或固件代碼。還可以針對不同的目標平臺編譯軟體代碼。然而，軟體代碼的不同代碼格式、形式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。

在不脫離本發明的精神或實質特徵的情況下，可以以其它特定形式實施本發明。所描述的示例在所有方面都應被視為僅是例示性的而非限制性的。因此，由所附權利要求書而不是前面的描述來表示本發明的範圍。在權利要求書的含義和等同範圍內的所有變化都包含在其範圍之內。

110:當前PU 120:時間並置圖片 111、112、121、122:子PU 123、124:初始運動向量 125、126:子塊 127、128:運動向量 210、220、212、214、216、230:塊 310、320:三角形預測單元 410-430:步驟

第1圖例示了高級時間運動向量預測（ATMVP）的示例，其中CU被劃分為子PU，並且ATMVP模式將當前的PU劃分為多個子PU，並找到每個子PU的所有對應的時間並置運動向量。第2A圖例示了四參數仿射模型的示例，其中，用於當前塊的參考塊對應於該當前塊的根據該四參數仿射模型的旋轉和縮放版本。第2B圖例示了用於推導對角推導仿射候選的鄰近塊集合的示例，角塊的控制點運動向量選自鄰近塊的運動向量。第3圖例示了三角形預測單元模式的示例，其中該模式將CU分割成對角線方向或反對角線方向的兩個三角形預測單元。第4圖例示了根據本發明實施方式的使用約束模式信令的示例性視頻編碼的流程圖。

410-430:步驟

Claims

一種視頻編碼或視頻解碼的方法，所述方法包括：在視頻編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視頻解碼器側接收與包括所述當前圖片中的所述當前塊的壓縮資料相對應的視頻位元流，其中，多個模式語法在所述視頻編碼器側被用信號發送或者在所述視頻解碼器側被解析以指示用於所述當前塊的當前模式，並且所述當前模式屬於由多個候選模式組成的模式集合；如果根據與所述當前塊有關的一個或更多個條件，所述多個候選模式中的一個或更多個候選模式不可用，則在所述視頻編碼器側跳過用信號發送至少一個模式語法，或者在所述視頻解碼器側跳過解析所述至少一個模式語法；以及根據所述當前模式對所述當前塊進行編碼或解碼。
如請求項1之方法，其中，當在所述視頻編碼器側未用信號發送所述至少一個模式語法或者在所述視頻解碼器側未解析所述至少一個模式語法時，推斷與所述至少一個模式語法相關聯的對應模式被啟用或禁用。
如請求項1之方法，其中，所述一個或更多個條件對應於一個或更多個序列參數集(SPS)標誌、一個或更多個尺寸約束、條帶類型或跳過標誌。
如請求項1之方法，其中，所述多個候選模式包括常規合併模式、具有MVD模式的合併模式(MMVD)、子塊模式、幀間幀內聯合預測(CIIP)合併模式以及三角預測模式(TPM)的組合。
如請求項4之方法，其中，如果所述當前塊的尺寸小於64或等於32使得所述子塊模式、所述CIIP合併模式和所述TPM無效，並且如果如SPS標誌所指示的禁用了MMVD模式，則不用信號發送指示非跳過塊的所述常規合併模式的開啟或關閉的常規標誌。
如請求項4之方法，其中，如果所述當前塊的尺寸小於64或等於32使得所述子塊模式、CIIP合併模式和所述TPM無效，並且如果如SPS標誌所指示的禁用了MMVD模式，則不用信號發送指示跳過塊的所述常規合併模式的開啟或關閉的常規標誌。
如請求項4之方法，其中，如果所述當前塊的尺寸大於或等於64，並且如果如SPS標誌所指示的禁用了所述MMVD模式、所述子塊模式、所述TPM，則不用信號發送指示跳過塊的所述常規跳過模式的開啟或關閉的常規標誌。
如請求項1之方法，其中，如果如SPS標誌所指示的禁用了具有MVD模式的合併模式(MMVD)、仿射模式、子塊時間運動向量預測(SbTMVP)模式、幀間幀內聯合預測(CIIP)合併模式以及三角預測模式(TPM)，則不用信號發送指示常規合併模式或跳過模式的開啟或關閉的常規標誌。
一種視頻編碼或視頻解碼的裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被佈置為：在視頻編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視頻解碼器側接收與包括所述當前圖片中的所述當前塊的壓縮資料相對應的視頻位元流，其中，多個模式語法在所述視頻編碼器側被用信號發送或者在所述視頻解碼器側被解析以指示用於所述當前塊的當前模式，並且所述當前模式屬於由多個候選模式組成的模式集合；如果根據與所述當前塊有關的一個或更多個條件，所述多個候選模式中的一個或更多個候選模式不可用，則在所述視頻編碼器側跳過用信號發送至少一個模式語法，或者在所述視頻解碼器側跳過解析所述至少一個模式語法；以及根據所述當前模式對所述當前塊進行編碼或解碼。