TWI728390B

TWI728390B - 查找表尺寸

Info

Publication number: TWI728390B
Application number: TW108123183A
Authority: TW
Inventors: 張莉; 張凱; 劉鴻彬; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-06-29
Filing date: 2019-07-01
Publication date: 2021-05-21
Also published as: TWI744661B; WO2020003282A1; US11159807B2; GB2588006B; TW202002641A; US20200396466A1; US11909989B2; CN110662053A; CN110662057B; GB2588006A; CN110662057A; CN110662053B; US20210337216A1; GB202018263D0; WO2020003270A1; TW202019181A

Abstract

描述了用於使用包含編碼候選的表來編碼和解碼數位視頻的設備、系統和方法。在代表性方面，提供了一種視頻處理方法，以包括：維護由索引i = 1至N索引的N個表，其中第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯；以及使用來自表的運動候選來執行當前視頻塊與包括當前視頻塊的視頻資料的位元流表示之間的轉換。

Description

查找表尺寸

本專利文獻涉及視頻編碼和解碼技術、設備和系統

[相關申請的交叉引用]

根據適用的專利法和/或依據巴黎公約的規則，本發明是為了及時要求於2018年6月29日提交的國際專利申請No.PCT/CN2018/093663以及於2018年7月2日提交的國際專利申請No.PCT/CN2018/093987的優先權和權益。國際專利申請No.PCT/CN2018/093663和國際專利申請No.PCT/CN2018/093987的全部公開通過引用併入，作為本發明的公開的一部分。

儘管視頻壓縮有所進步，但數位視頻仍占互聯網和其他數位通信網路上的最大的頻寬使用。隨著能夠接收和顯示視頻的連接使用者設備的數量增加，預計數位視頻使用的頻寬需求將繼續增長。

描述了與使用包含編碼候選的查找表(look-up table，LUT)的集合來編碼和解碼數位視頻有關的設備、系統和方法。所描述的方法可以應用於現有視頻編碼標準(例如，高效視頻編碼(High Efficiency Video Coding，HEVC))和未來視頻編碼標準或視頻編碼器兩者。

在一個代表性方面，所公開的技術可以用於提供一種用於視頻處理方法的方法，該方法包括：維護由索引i=1至N索引的N個表，其中，第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中，i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯；以及使用來自表的運動候選來執行當前視頻塊與包括當前視頻塊的視頻資料的位元流表示之間的轉換。

在另一方面，提供了一種視頻處理方法，以包括：接收視頻資料中的當前視頻塊的位元流表示；以及基於由索引i=1至N索引的N個表來處理位元流表示，其中，第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中，i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯。

在又一代表性方面，上述方法以處理器可執行代碼的形式實施並儲存在電腦可讀程式介質中。

在又一代表性方面，公開了一種被配置為或可操作來執行上述方法的設備。該設備可以包括被程式設計以實現該方法的處理器。

在又一代表性方面，視頻解碼器裝置可以實現如本文所描述的方法。

在附圖、說明書和申請專利範圍中更詳細地描述了所公開的技術的以上及其他方面和特徵。

1510:原始列表

1520:最終列表

1800、2000:CU

1801、1851、2001、2002、2003、2004、2011、2012、2013、2014:子CU

1850、2110、2111、2210:參考圖片

2101、2102:運動向量

2100、2200:當前CU

2103、2104、TD0、TD1:時間距離

2300:運動估計

3200、3600:方法

3202、3204、3602、3604:步驟

3300:裝置

3302:處理器

3304:儲存器

3306:視頻處理硬體

tb、td:距離

圖1示出了典型的高效視頻編碼(HEVC)視頻編碼器和解碼器的示例方塊圖。

圖2示出了H.264/AVC中的宏塊(MacroBlock，MB)分割的示例。

圖3示出了將編碼塊(Coding Block，CB)劃分為預測塊(Prediction Block，PB)的示例。

圖4A和圖4B分別示出了將編碼樹塊(Coding Tree Block，CTB)細分為CB和變換塊(Transform Block，TB)、以及對應的四叉樹的示例。

圖5A和圖5B示出了用於最大編碼單元(Largest Coding Unit，LCU)的細分和對應的QTBT(QuadTree plus Binary Tree，四叉樹加二叉樹)的示例。

圖6A-圖6E示出了分割編碼塊的示例。

圖7示出了基於QTBT的CB的示例細分。

圖8A-圖8I示出了支持作為QTBT的一般化的多樹類型(Multi-Tree Type，MTT)的CB的分割的示例。

圖9A示出了樹型信號的示例。

圖9B示出了構造Merge候選列表的示例。

圖10示出了空間候選的位置的示例。

圖11示出了對其進行空間Merge候選的冗餘檢查的候選對的示例。

圖12A和圖12B示出了基於當前塊的尺寸和形狀的第二預測單元(Prediction Unit，PU)的位置的示例。

圖13示出了用於時間Merge候選的運動向量縮放的示例。

圖14示出了時間Merge候選的候選位置的示例。

圖15示出了生成組合的雙向預測Merge候選的示例。

圖16A和圖16B示出了用於運動向量預測候選的推導過程的示例。

圖17示出了用於空間運動向量候選的運動向量縮放的示例。

圖18示出了使用用於編碼單元(Coding Unit，CU)的可選時域運動向量預測(Alternative Temporal Motion Vector Prediction，ATMVP)演算法的運動預測的示例。

圖19示出了識別源塊和源圖片的示例。

圖20示出了由時空運動向量預測(Spatial-Temporal Motion Vector Prediction，STMVP)演算法使用的具有子塊和相鄰塊的編碼單元(CU)的示例。

圖21示出了作為基於幀速率上轉換(Frame-Rate Up Conversion，FRUC)演算法的特殊Merge模式的模式匹配的運動向量推導(Pattern Matched Motion Vector Derivation，PMMVD)模式中的雙向匹配的示例。

圖22示出了FRUC演算法中的模板匹配的示例。

圖23示出了FRUC演算法中的單向運動估計的示例。

圖24示出了基於雙向模板匹配的解碼器側運動向量細化(Decoder-side Motion Vector Refinement，DMVR)演算法的示例。

圖25示出了用於推導光照補償(Illumination Compensation，IC)參數的相鄰樣點的示例。

圖26示出了用於推導空間Merge候選的相鄰塊的示例。

圖27示出了所提出的67個幀內預測模式的示例。

圖28示出了用於最可能模式推導的相鄰塊的示例。

圖29A和圖29B示出了具有QTBT結構的I條帶中的對應的亮度和彩度子塊。

圖30示出了基於LUT(查找表)的預測方法的過程流程圖的示例。

圖31示出了基於優先順序插入來自非鄰近塊和LUT的候選的示例。

圖32A示出了根據本公開技術的用於視頻處理的示例方法的流程圖。

圖32B示出了根據本公開技術的用於視頻處理的另一示例方法的流程圖。

圖33是用於實現本文件中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的方塊圖。

由於對更高解析度視頻的日益增長的需求，視頻編碼方法和技術在現代技術中無處不在。視頻編碼器通常包括壓縮或解壓縮數位視頻的電子電路或軟體，並且不斷被改進以提供更高的編碼效率。視頻編碼器將未壓縮的視頻轉換為壓縮格式，反之亦然。視頻品質、用於表示視頻的資料量(由位元速率確定)、編碼和解碼演算法的複雜性、對資料丟失和錯誤的敏感性、編輯的簡易性、隨機訪問和端到端延遲(時延)之間存在複雜的關係。壓縮格式通常符合標準視頻壓縮規範，例如，高效視頻編碼(HEVC)標準(也已知為H.265或MPEG-H部分2)、即將完成的通用視頻編碼標準、或其他當前和/或未來視頻編碼標準。

所公開的技術的實施例可以應用於現有視頻編碼標準(例如，HEVC、H.265)和未來標準以改進壓縮性能。在本文件中使用章節標題以提高描述的可讀性，並且不以任何方式將討論或實施例(和/或實現方式)限制於僅相應的章節。

1.視頻編碼的示例實施例

圖1示出了典型HEVC視頻編碼器和解碼器的示例方塊圖。產生符合HEVC的位元流的編碼演算法通常如下進行。每個圖片被劃分為塊狀區域，其中精確的塊分割被傳遞到解碼器。視頻序列的第一圖片(以及到視頻序列中的每個完全隨機訪問點(clean random access point)處的第一圖片)僅使用(在相同圖片內從區域到區域空間地使用一些資料預測，但不取決於其他圖片的)幀內預測而編碼。對於序列的或隨機訪問點之間的所有剩餘圖片，幀間時間預測編碼模式通常用於大多數塊。用於幀間預測的編碼過程包括選擇包括所選擇的參考圖片和要應用於預測每個塊的樣點的運動向量(Motion Vector，MV)的運動資料。編碼器和解碼器通過應用使用MV和模式判定資料的運動補償(Motion Compensation，MC)來生成相同的幀間預測信號，其作為邊資訊(side information)被發送。

通過線性空間變換來變換幀內預測或幀間預測的殘差信號，其是原始塊與其預測之間的差異。變換係數然後被縮放、量化、熵編碼，並與預測資訊一起被發送。

編碼器複製解碼器處理環路(參見圖1中的灰色陰影框)，使得兩者都將生成對後續資料的相同預測。因此，量化的變換係數通過逆縮放而構造並且然後被逆變換以複製殘差信號的解碼的近似。殘差然後被添加到預測，添加的結果然後可以被饋送到一個或兩個環路濾波器中以平滑由分塊處理和量化引起的偽影。最終圖片表示(即解碼器的輸出的副本)儲存在解碼圖片緩衝器中以用於後續圖片的預測。通常，圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序；需要區分解碼器的解碼順序(即位元流順序)和輸出順序(即顯示順序)。

通常期望通過HEVC編碼的視頻材料作為逐行掃描影像而輸入(由於源視頻源自該格式或者由編碼之前的去交錯產生)。HEVC設計中不存在顯式的編碼特徵以支援交錯掃描的使用，因為交錯掃描不再用於顯示器並且對於分發而言變得基本上不常見。然而，在HEVC中已經提供了中繼資料語法(syntax)，以允許編碼器指示已經通過將交錯視頻的每個場(即每個視頻幀的偶數或奇數行)編碼為單獨的圖片來傳送交錯掃描視頻或已經通過將每個交錯幀編碼為HEVC編碼圖片來傳送交錯掃描視頻。這提供了一種對交錯視頻進行編碼而無需使解碼器需要支援針對其的特殊解碼過程的有效方法。

1.1.H.264/AVC中的分割樹結構的示例

先前標準中的編碼層的核心是巨集塊，其包含16×16亮度樣點塊，並且在4：2：0顏色採樣的通常情況下，包含兩個對應的8×8彩度樣點塊。

幀內編碼塊使用空間預測來利用像素當中的空間相關性。定義了兩個分割：16×16和4×4。

幀間編碼塊通過估計圖片當中的運動來使用時間預測而不是空間預測。可以針對16×16宏塊或其任何子宏塊分割(16×8、8×16、8×8、8×4、4×8、4×4)獨立地估計運動，如圖2 所示。僅允許每一子宏塊分割一個運動向量(MV)。

1.2.HEVC中分割樹結構的示例

在HEVC中，通過使用表示為編碼樹的四叉樹結構將編碼樹單元(Coding Tree Unit，CTU)劃分為編碼單元(CU)以適應各種局部特性。使用幀間(時間)還是幀內(空間)預測來編碼圖片區域的判定是在CU級別進行的。可以根據預測單元(PU)劃分類型將每個CU進一步劃分為一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並且基於PU將相關資訊發送到解碼器。在通過應用基於PU劃分類型的預測過程來獲得殘差塊之後，可以根據類似於CU的編碼樹的另一個四叉樹結構將CU分割為變換單元(TU)。HEVC結構的關鍵特徵中的一個是它具有多個分割概念，包括CU、PU和TU。

使用HEVC的混合視頻編碼中涉及的某些特徵包括：

(1)編碼樹單元(CTU)和編碼樹塊(CTB)結構：HEVC中的類比結構是編碼樹單元(CTU)，其具有由編碼器選擇的尺寸並且可以大於傳統宏塊。CTU由亮度CTB和對應的彩度CTB以及語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣點，其中更大的尺寸通常能夠實現更好的壓縮。HEVC然後支援使用樹結構和類似四叉樹的信號將CTB分割為更小的塊。

(2)編碼單元(CU)和編碼塊(CB)：CTU的四叉樹語法指定其亮度CB和彩度CB的尺寸和位置。四叉樹的根與 CTU相關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分為亮度CB和彩度CB是聯合信號通知的。一個亮度CB和通常兩個彩度CB與相關聯的語法一起形成編碼單元(CU)。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有分割為預測單元(PU)的相關聯分割和變換單元(TU)的樹。

(3)預測單元和預測塊(PB)：是使用幀間還是幀內預測來編碼圖片區域的判定是在CU級別進行的。PU分割結構的根在CU級別。根據基本預測類型判定，亮度CB和彩度CB然後可以進一步在尺寸上被劃分，並且根據亮度和彩度預測塊(PB)而預測。HEVC支援從64×64到4×4個樣點的可變PB尺寸。圖3示出了M×M CU的允許的PB的示例。

(4)變換單元(TU)和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級別。亮度CB殘差可以與亮度變換塊(TB)相同，或者可以進一步劃分為更小的亮度TB。這同樣適用於彩度TB。針對正方形TB尺寸4×4、8×8、16×16和32×32定義類似於離散餘弦變換(Discrete Cosine Transform，DCT)的函數的整數基函數。對於亮度幀內預測殘差的4×4變換，交替地指定從離散正弦變換(Discrete Sine Transform，DST)的形式推導的整數變換。

1.2.1.樹結構分割為TB和TU的示例

對於殘差編碼，CB可以被遞迴地分割為變換塊(TB)。分割由殘差四叉樹信號通知。僅指定了正方形CB和TB分割，其中塊可以被遞迴地劃分為象限，如圖4A和圖4B所示。對於尺寸為M×M的給定亮度CB，標誌信號通知其是否被劃分為四個尺寸為M/2×M/2的塊。如果進一步劃分是有可能的，如通過序列參數集(Sequence Parameter Set，SPS)中指示的殘差四叉樹的最大深度信號通知的，則為每個象限分配指示其是否被劃分為四個象限的標誌。由殘差四叉樹產生的葉節點塊是通過變換編碼進一步處理的變換塊。編碼器指示其將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，劃分是隱式的。當劃分將導致亮度TB尺寸小於指示的最小值時，不劃分是隱式的。除了當亮度TB尺寸為4×4時(在這種情況下，單個4×4彩度TB用於由四個4×4亮度TB覆蓋的區域)，彩度TB尺寸在每個維度中是亮度TB尺寸的一半。在幀內預測的CU的情況下，(在CB內或外部的)最近的相鄰TB的解碼樣點被用作用於幀內預測的參考資料。

與先前標準相反，HEVC設計允許TB跨越幀間預測的CU的多個PB，以最大化四叉樹結構的TB分割的潛在編碼效率益處。

1.2.2.父節點和子節點

根據四叉樹結構劃分CTB，四叉樹結構的節點是編碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(即葉節點不被進一步劃分)。非葉節點包括樹結構的根節點。根節點對應於視頻資料的初始視頻塊(例如，CTB)。對於多個節點中的每個相應的非根節點，相應的非根節點對應於視頻塊，該視頻塊是與相應的非根節點的樹結構中的父節點相對應的視頻塊的子塊。多個非葉節點中的每個相應的非葉節點在樹結構中具有一個或多個子節點。

1.3.在JEM中的具有更大CTU的四叉樹加二叉樹塊結構的示例

在一些實施例中，使用已知為聯合探索模型(Joint Exploration Model，JEM)的參考軟體來探索未來視頻編碼技術。除二叉樹結構外，JEM還描述了四叉樹加二叉樹(QTBT)和三叉樹(Ternary Tree，TT)結構。

1.3.1.QTBT塊分割結構的示例

與HEVC相反，QTBT結構移除了多個分割類型的概念，即它移除了CU、PU和TU概念的分離，並且支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖5A所示，首先通過四叉樹結構分割編碼樹單元(CTU)。通過二叉樹結構進一步分割四叉樹葉節點。在二叉樹劃分中有兩種劃分類型，對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元(CU)，並且該分段用於預測和變換處理而無需任何進一步的分割。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊(CB)組成，例如，一個CU在4：2：0彩度格式的P條帶和B條帶的情況下包含一個亮度CB和兩個彩度CB，並且有時由單個分量的CB組成，例如，一個CU在I條帶的情況下僅包含一個亮度CB或只包含兩個彩度CB。

為QTBT分割方案定義以下參數：

--CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同

--MinQTSize：最小允許的四叉樹葉節點尺寸

--MaxBTSize：最大允許的二叉樹根節點尺寸

--MaxBTDepth：最大允許的二叉樹深度

--MinBTSize：最小允許二叉樹葉節點尺寸

在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64彩度樣點塊的128×128個亮度樣點，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize(寬度和高度)被設置為4×4，並且MaxBTDepth被設置為4。四叉樹分割首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16(即MinQTSize)至128×128(即CTU尺寸)的尺寸。如果四叉樹葉節點為128×128，則由於尺寸超過MaxBTSize(即64×64)，所以它不會通過二叉樹被進一步劃分。否則，四叉樹葉節點可以通過二叉樹被進一步分割。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDepth(即4)時，不考慮進一步的劃分。當二叉樹節點具有等於MinBTSize(即4)的寬度時，不考慮進一步的水平劃分。類似地，當二叉樹節點具有等於MinBTSize的高度時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而無需任何進一步的分割。在JEM中，最大CTU尺寸為256×256個亮度樣點。

圖5A示出了通過使用QTBT進行塊分割的示例，並且圖5B示出了對應的樹表示。實線指示四叉樹劃分，並且虛線指示二叉樹劃分。在二叉樹的每個劃分(即非葉)節點中，信號通知一個標誌以指示使用哪種劃分類型(即水平或垂直)，其中0指示水平劃分，並且1指示垂直劃分。對於四叉樹劃分，不需要指示劃分類型，因為四叉樹劃分總是水平和垂直地劃分塊以產生具有相同尺寸的4個子塊。

另外，QTBT方案支援亮度和彩度具有單獨的QTBT結構的能力。目前，對於P條帶和B條帶，一個CTU中的亮度CTB和彩度CTB共用相同的QTBT結構。然而，對於I條帶，通過QTBT結構將亮度CTB分割為CU，並且通過另一個QTBT結構將彩度CTB分割為彩度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個彩度分量的編碼塊組成，並且P條帶或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，小塊的幀間預測被限制，以減少運動補償的儲存器訪問，使得對於4×8塊和8×4塊不支持雙向預測，並且對於4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被移除。

1.4.多功能視頻編碼(VVC)的三叉樹(TT)

圖6A示出了四叉樹(QT)分割的示例，並且圖6B和圖6C分別示出了垂直和水平二叉樹(BT)分割的示例。在一些實施例中，除了四叉樹和二叉樹之外，還支持三叉樹(TT)分割，例如，水平和垂直中心側三叉樹(如圖6D和圖6E所示)。

在一些實現方式中，支援兩級樹：區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先通過區域樹(RT)對CTU進行分割。可以用預測樹(PT)進一步劃分RT葉。還可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU無法被進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構命名為“多類型樹”。

1.5.可選視頻編碼技術中的分割結構的示例

在一些實施例中，支持作為QTBT的一般化的稱為多樹類型(MTT)的樹結構。在QTBT中，如圖7所示，首先通過四叉樹結構分割編碼樹單元(CTU)。通過二叉樹結構進一步分割四叉樹葉節點。

MTT的結構由兩種類型的樹節點構成：區域樹(RT)和預測樹(PT)，支援九種類型的分割，如圖8A至圖8I所示。區域樹可以遞迴地將CTU劃分為方塊，直到4×4尺寸的區域樹葉節點。在區域樹中的每個節點處，可以從三種樹類型(二叉樹、三叉樹和非對稱二叉樹)中的一種形成預測樹。在PT劃分中，禁止在預測樹的分支中具有四叉樹分割。如在JEM中，亮度樹和彩度樹在I條帶中被分離。在圖9A中示出了RT和PT的信號方法。

2 HEVC/H.265中的幀間預測的示例

多年來，視頻編碼標準已經顯著改進，並且現在部分地提供高編碼效率和對更高解析度的支援。諸如HEVC和H.265的最新標準基於其中利用時間預測加變換編碼的混合視頻編碼結構。

2.1 預測模式的示例

每個幀間預測的PU(預測單元)具有針對一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包括運動向量和參考圖片索引。在其他實施例中，還可以使用inter_pred_idc信號通知兩個參考圖片列表中的一個的使用。在其他實施例中，運動向量可以被顯式地編碼為相對於預測器的增量。

當用跳過模式對CU進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式，由此從相鄰PU獲得當前PU的運動參數，包括空間和時間候選。Merge模式可以應用於任何幀間預測的PU，不僅應用於跳過模式。Merge模式的可選方案是運動參數的顯式傳輸，其中每一PU顯式地信號通知運動向量、每個參考圖片列表的對應參考圖片索引、以及參考圖片列表使用。

當信號指示要使用兩個參考圖片列表中的一個時，從一個樣點塊產生PU。這被稱為“單向預測”。單向預測可用於P條帶和B條帶兩者。

當信號指示要使用參考圖片列表中的兩者時，從兩個樣點塊產生PU。這被稱為“雙向預測”。雙向預測僅可用於B條帶。

2.1.1 構造Merge模式的候選的實施例

當使用Merge模式預測PU時，從位元流解析指向Merge候選列表中的條目的索引並將其用於檢索運動資訊。可以根據以下步驟的序列概述該列表的構造：

步驟1：初始候選推導

步驟1.1：空間候選推導

步驟1.2：空間候選的冗餘檢查

步驟1.3：時間候選推導

步驟2：附加候選插入

步驟2.1：創建雙向預測候選

步驟2.2：插入零運動候選

圖9B示出了基於上面概述的步驟的序列構造Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選當中選擇最多四個Merge候選。對於時間Merge候選推導，在兩個候選當中選擇最多一個Merge候選。由於在解碼器處假設每個PU的恆定數量的候選，因此當候選的數量未達到在條帶頭中信號通知的Merge候選的最大數量(MaxNumMergeCand)時，生成附加候選。由於候選的數量是恆定的，因此使用舍位一元二值化(Unary Binarization，TU)來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共用單個Merge候選列表，其與2N×2N預測單元的Merge候選列表相同。

2.1.2 構造空間Merge候選

在對空間Merge候選的推導中，在位於圖10中描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A1、B1、B0、A0和B2。僅當位置A1、B1、B0、A0的任何PU不可用(例如，因為它屬於另一個條帶或片)或者是幀內編碼的時，才考慮位置B2。在添加位置A1處的候選之後，對剩餘候選的添加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在列表之外，從而改進編碼效率。

為了降低計算複雜度，在所提到的冗餘檢查中不考慮所有可能的候選對。相反，只考慮與圖11中的箭頭連結的對，並且如果用於冗餘檢查的對應候選沒有相同的運動資訊，則候選僅被添加到列表中。重複運動資訊的另一個源是與不同於2N×2N的分割相關聯的“第二PU”。作為示例，圖12A和圖12B分別描繪了N×2N和2N×N的情況下的第二PU。當當前PU被分割為N×2N時，位置A1處的候選不被考慮用於列表構造。在一些實施例中，添加該候選可能導致兩個預測單元具有相同的運動資訊，這對於在編碼單元中只具有一個PU是冗餘的。類似地，當當前PU被分割為2N×N時，不考慮位置B1。

2.1.3 構造時態Merge候選

在該步驟中，僅一個候選被添加到列表。具體地，在對該時間Merge候選的推導中，基於屬於與給定參考圖片列表內的當前圖片具有最小POC差異的圖片的共定位PU來推導縮放運動向量。在條帶頭中顯式地信號通知要用於推導共定位PU的參考圖片列表。

圖13示出了對時間Merge候選(如虛線)的縮放運動向量的推導的示例，該縮放運動向量使用POC距離tb和td從共定位PU的運動向量縮放，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差異，並且td被定義為共定位圖片的參考圖片與共定位圖片之間的POC差異。時間Merge候選的參考圖片索引被設置為等於零。對於B條帶，兩個運動向量(一個用於參考圖片列表0，並且另一個用於參考圖片列表1)被獲得並組合，以產生雙向預測Merge候選。

在屬於參考幀的共定位PU(Y)中，在候選C0和C1之間選擇時間候選的位置，如圖14中所描繪的。如果位置C0處的PU不可用、是幀內編碼的、或者在當前CTU外部，則使用位置C1。否則，位置C0用於對時間Merge候選的推導中。

2.1.4 構造附加類型的Merge候選

除了時空Merge候選之外，存在兩種附加類型的Merge 候選：組合的雙向預測Merge候選和零Merge候選。通過利用時空Merge候選來生成組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一個初始候選的第二參考圖片列表運動參數組合來生成組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。

圖15示出了該過程的示例，其中具有mvL0和refIdxL0或mvL1和refIdxL1的原始列表(左邊的1510)中的兩個候選用於創建被添加到最終列表(右邊的1520)的組合的雙向預測Merge候選。

插入零運動候選以填充Merge候選列表中的剩餘條目，並因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，其從零開始並且每當新的零運動候選被添加到列表時增加。由這些候選使用的參考幀的數量對於單向預測和雙向預測分別是1和2。在一些實施例中，不對這些候選執行冗餘檢查。

2.1.5 用於並行處理的運動估計區域的示例

為了加速編碼過程，可以並存執行運動估計，由此同時推導給定區域內部的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因為一個預測單元不能從鄰近PU推導運動參數，直到其相關聯的運動估計被完成。為了緩和編碼效率和處理時延之間的折衷，可以定義運動估計區域(Motion Estimation Region，MER)。可以使用“log2_parallel_merge_level_minus2”語法元素在圖片參數集(PPS)中信號通知MER的尺寸。當定義MER時，落入相同區域的Merge候選被標記為不可用，並且因此在列表構造中不考慮。

表1中示出了圖片參數集(PPS)原始位元組序列有效載荷(Raw Byte Sequence Payload RBSP)語法，其中log2_parallel_merge_level_minus2加2指定變數Log2ParMrgLevel的值，其用於Merge模式的亮度運動向量的推導過程以及現有視頻編碼標準中指定的空間Merge候選的推導過程中。 log2_parallel_merge_level_minus2的值必須在0至CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變數Log2ParMrgLevel如下推導： Log2ParMrgLevel=log2_parallel_merge_level_minus2+2

注意，Log2ParMrgLevel的值指示Merge候選列表的並行推導的內置能力。例如，當Log2ParMrgLevel等於6時，被包含在64×64塊中的所有預測單元(PU)和編碼單元(CU)的Merge候選列表可以並行地推導。

表1：一般圖片參數設置RBSP語法

2.2 AMVP模式中的運動向量預測的實施例

運動向量預測利用運動向量與相鄰PU的時空相關性，其用於運動參數的顯式傳輸。它通過首先檢查左邊、上面時間上相鄰的PU位置的可用性，移除冗餘候選並添加零向量以使候選列表為恆定長度來構造運動向量候選列表。然後，編碼器可以從候選列表選擇最佳預測器，並發送指示所選擇的候選的對應索引。與Merge索引信號類似，使用舍位元一元來編碼最佳運動向量候選的索引。

2.2.1 構造運動向量預測候選的示例

圖16A和圖16B概述了運動向量預測候選的推導過程，並且可以針對以refidx作為輸入的每個參考圖片列表來實現。

在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選推導，最終基於位於如先前在圖10中所示的五個不同位置的每個PU的運動向量推導兩個運動向量候選。

對於時間運動向量候選推導，從基於兩個不同的共定位位置而推導的兩個候選選擇一個運動向量候選。在產生第一時空候選列表之後，移除列表中的重複的運動向量候選。如果潛在候選的數量大於二，則從列表移除其相關聯的參考圖片列表內的參考圖片索引大於1的運動向量候選。如果時空運動向量候選的數量小於二，則將附加的零運動向量候選添加到列表。

2.2.2 構造空間運動向量候選

在對空間運動向量候選的推導中，在從位於如先前在圖10中所示的位置的PU推導的五個潛在候選當中考慮最多兩個候選。那些位置與運動Merge的位置相同。當前PU的左側的推導順序被定義為A₀、A₁、以及縮放A₀、縮放A₁。當前PU的上側的推導順序被定義為B₀、B₁、B₂、縮放B₀、縮放B₁、縮放B₂。對於每一側，因此存在可用作運動向量候選的四種情況，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概述如下：

--沒有空間縮放

(1)相同的參考圖片列表，以及相同的參考圖片索引(相同的POC)

(2)不同的參考圖片列表，但是相同的參考圖片(相同的POC)

--空間縮放

(3)相同的參考圖片列表，但是不同的參考圖片(不同的POC)

(4)不同的參考圖片列表，以及不同的參考圖片(不同的POC)

首先檢查非空間縮放情況，然後是允許空間縮放的情況。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片列表時，考慮空間縮放。如果左邊候選的所有PU都不可用或者是幀內編碼的，則允許針對以上運動向量的縮放以幫助對左邊和上面MV候選的並行推導。否則，針對以上運動向量不允許空間縮放。

如圖17中的示例所示，對於空間縮放情況，以與時間縮放類似的方式縮放相鄰PU的運動向量。一個差異是參考圖片列表和當前PU的索引被給出作為輸入；實際縮放過程與時間縮放的過程相同。

2.2.3 構造時間運動向量候選

除了參考圖片索引推導外，對時間Merge候選的推導的所有過程與對空間運動向量候選的推導的所有過程相同(如圖14中的示例所示)。在一些實施例中，將參考圖片索引信號通知給解碼器。

2.2.4 Merge/AMVP信息的信號

對於AMVP模式，可以在位元流中信號通知四個部分，例如，預測方向、參考索引、MVD和mv預測器候選索引，其在表2-4中所示的語法的上下文中描述。而對於Merge模式，可能只需要信號通知Merge索引。

表3：預測單元語法

表4：運動向量差語法

對應語義包括：five_minus_max_num_merge_cand指定從5減去的條帶中支持的Merge MVP候選的最大數量。Merge MVP候選的最大數量MaxNumMergeCand如下推導：MaxNumMergeCand=5-five_minus_max_num_merge_cand

MaxNumMergeCand的值必須在1至5的範圍內，包括1和5。

merge_flag[x0][y0]指定是否從相鄰的幀間預測分割推斷出當前預測單元的幀間預測參數。陣列索引x0、y0指定所考慮的預測塊的左上亮度樣點相對於圖片的左上亮度樣點的位置(x0，y0)。

當merge_flag[x0][y0]不存在時，推斷如下：

--如果CuPredMode[x0][y0]等於MODE_SKIP，則merge_flag[x0][y0]被推斷為等於1。

--否則，merge_flag[x0][y0]被推斷為等於0。

merge_idx[x0][y0]指定Merge候選列表的Merge候選索引，其中x0、y0指定所考慮的預測塊的左上亮度樣點相對於圖片的左上亮度樣點的位置(x0，y0)。

3.聯合探索模型(JEM)中的幀間預測方法的示例

在一些實施例中，使用已知為聯合探索模型(JEM)的參考軟體來探索未來視頻編碼技術。在JEM中，在若干編碼工具中採用基於子塊的預測，諸如仿射預測、可選時域運動向量預測(ATMVP)、時空運動向量預測(STMVP)、雙向光流(bi-directional optical flow，BIO)、幀速率上轉換(FRUC)、局部自我調整運動向量解析度(Locally Adaptive Motion Vector Resolution，LAMVR)、重疊塊運動補償(Overlapped Block Motion Compensation，OBMC)、局部光照補償(Local Illumination Compensation，LIC)和解碼器側運動向量細化(DMVR)。

3.1 基於子CU的運動向量預測的示例

在具有四叉樹加二叉樹(QTBT)的JEM中，每個CU可以具有每個預測方向的運動參數的至多一個集合。在一些實施例中，通過將大CU劃分為子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級別運動向量預測方法。可選時域運動向量預測(ATMVP)方法允許每個CU從比並置參考圖片中的當前CU小的多個塊提取運動資訊的多個集合。在時空運動向量預測(STMVP)方法中，通過使用時間運動向量預測器和空間相鄰運動向量來遞迴地推導子CU的運動向量。在一些實施例中，並且為了保留子CU運動預測的更準確的運動場，可以禁用參考幀的運動壓縮。

3.1.1 可選時域運動向量預測(ATMVP)的示例

在ATMVP方法中，通過從比當前CU小的塊提取運動資訊(包括運動向量和參考索引)的多個集合來修改時間運動向量預測(TMVP)方法。

圖18示出了用於CU 1800的ATMVP運動預測過程的示例。ATMVP方法以兩個步驟預測CU 1800內的子CU 1801的運動向量。第一步驟是用時間向量識別參考圖片1850中的對應塊1851。參考圖片1850也稱為運動源圖片。第二步驟是將當前CU 1800劃分為子CU 1801，並從對應於每個子CU的塊獲得運動向量以及每個子CU的參考索引。

在第一步驟中，參考圖片1850和對應塊由當前CU 1800的空間相鄰塊的運動資訊確定。為了避免相鄰塊的重複掃描過程，使用當前CU 1800的Merge候選列表中的第一Merge候選。第一可用運動向量以及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應塊，其中對應塊(有時稱為並置塊)總是相對於當前CU處於右下或中心位置。

在一個示例中，如果第一Merge候選來自左邊相鄰塊(即圖19中的A₁)，則利用相關聯的MV和參考圖片來識別源塊和源圖片。

在第二步驟中，通過向當前CU的座標添加時間向量，通過運動源圖片1850中的時間向量識別子CU 1851的對應塊。對於每個子CU，其對應塊的運動資訊(例如，覆蓋中心樣點的最小運動網格)用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將其轉換為當前子CU的運動向量和參考索引，其中運動縮放和其他過程適用。例如，解碼器檢查是否滿足低延遲條件(例如，當前圖片的所有參考圖片的POC小於當前圖片的POC)，並且可能使用運動向量MVx(例如，對應於參考圖片列表X的運動向量)來預測每個子CU的運動向量MVy(例如，其中X等於0或1，並且Y等於1-X)。

3.1.2 時空運動向量預測(STMVP)的示例

在STMVP方法中，按照光柵掃描順序遞迴地推導子CU的運動向量。圖20示出了具有四個子塊和相鄰塊的一個CU的示例。考慮包括四個4×4子CU A(2001)、子CU B(2002)、子CU C(2003)和子CU D(2004)的8×8 CU 2000。當前幀中的相鄰4×4塊標記為a(2011)、b(2012)、c(2013)和d(2014)。

子CU A的運動推導通過識別其兩個空間鄰域開始。第一鄰域是子CU A 2001上面的N×N塊(塊c 2013)。如果該塊c(2013)不可用或是幀內編碼的，則檢查子CU A(2001)上面的其他N×N塊(在塊c 2013處開始，從左到右)。第二鄰域是子CU A 2001的左邊的塊(塊b 2012)。如果塊b(2012)不可用或是幀內編碼的，則檢查子CU A 2001的左邊的其他塊(在塊b 2012處開始，從上到下)。從每個列表的相鄰塊獲得的運動資訊被縮放為給定列表的第一參考幀。接下來，通過按照與HEVC中指定的TMVP推導相同過程來推導子塊A 2001的時間運動向量預測器(TMVP)。在塊D 2004處的並置塊的運動資訊被提取並相應地縮放。最後，在檢索和縮放運動資訊之後，針對每個參考列表單獨地平均所有可用運動向量。平均運動向量被指定為當前子CU的運動向量。

3.1.3 子CU運動預測模式信號的示例

在一些實施例中，子CU模式被啟用作為附加Merge候選，並且不需要附加語法元素來信號通知模式。兩個附加Merge候選被添加到每個CU的Merge候選列表以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啟用了 ATMVP和STMVP，則可以使用多達七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著，對於P條帶或B條帶中的每個CU，針對兩個附加Merge候選可能還需要兩次RD檢查。在一些實施例中，例如，JEM，通過CABAC(Context-based Adaptive Binary Arithmetic Coding，基於上下文的自我調整二進位算術編碼)對Merge索引的所有二進位位元進行上下文編碼。在其他實施例中，例如，HEVC，僅對第一二進位位元進行上下文編碼，並且對剩餘的二進位位元進行上下文旁路編碼。

3.2 自我調整運動向量差解析度的示例

在一些實施例中，當條帶頭中的use_integer_mv_flag等於0時，以四分之一(quarter)亮度樣點為單位信號通知(在PU的運動向量和預測運動向量之間的)運動向量差(MVD)。在JEM中，引入了局部自我調整運動向量解析度(LAMVR)。在JEM中，可以以四分之一亮度樣點、整數亮度樣點或四亮度樣點為單位編碼MVD。以編碼單元(CU)級別控制MVD解析度，並且對於具有至少一個非零MVD分量的每個CU，有條件地信號通知MVD解析度標誌。

對於具有至少一個非零MVD分量的CU，信號通知第一標誌以指示在CU中是否使用四分之一亮度樣點MV精度。當第一標誌(等於1)指示未使用四分之一亮度樣點MV精度時，信號通知另一個標誌以指示使用整數亮度樣點MV精度還是四亮度樣點MV精度。

當CU的第一MVD解析度標誌為零或未針對CU編碼(意味著CU中的所有MVD均為零)時，四分之一亮度樣點MV解析度用於CU。當CU使用整數亮度樣點MV精度或四亮度樣點MV精度時，CU的AMVP候選列表中的MVP被取整為對應精度。

在編碼器中，CU級別RD檢查用於確定哪個MVD解析度要被用於CU。也就是說，對於每個MVD解析度，執行CU級別RD檢查三次。為了加快編碼器速度，在JEM中應用以下編碼方案：

--在具有正常四分之一亮度樣點MVD解析度的CU的RD檢查期間，儲存當前CU(整數亮度樣點准度)的運動資訊。儲存的運動資訊(取整之後)被用作在針對具有整數亮度樣點和4亮度樣點MVD解析度的相同CU的RD檢查期間的進一步小範圍運動向量細化的起始點，使得耗時的運動估計過程不會重複三次。

--有條件地調用具有4亮度樣點MVD解析度的CU的RD檢查。對於CU，當整數亮度樣點MVD解析度的RD成本遠大於四分之一亮度樣點MVD解析度的RD成本時，跳過對於CU的4亮度樣點MVD解析度的RD檢查。

3.2.1 AMVP候選列表構造的示例

在JEM中，該過程類似於HEVC設計。然而，當當前塊選擇更低精度的MV(例如，整數精度)時，可以應用取整操作。在當前實現方式中，在從空間位置選擇2個候選之後，如果兩者都可用，則將這兩個候選取整，然後進行修剪。

3.3 模式匹配的運動向量推導(PMMVD)的示例

PMMVD模式是基於幀速率上轉換(FRUC)方法的特殊Merge模式。用該模式，不信號通知塊的運動資訊，而是在解碼器側推導。

當CU的Merge標誌為真時，可以對CU信號通知FRUC標誌。當FRUC標誌為假時，可以信號通知Merge索引並使用常規Merge模式。當FRUC標誌為真時，可以信號通知附加FRUC模式標誌以指示要使用哪個方法(例如，雙向匹配或模板匹配)來推導塊的運動資訊。

在編碼器側，關於是否對CU使用FRUC Merge模式的判定是基於對正常Merge候選所做的RD成本選擇。例如，通過使用RD成本選擇對CU檢查多個匹配模式(例如，雙向匹配和模板匹配)。產生最小成本的一個匹配模式進一步與其他CU模式比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用相關匹配模式。

通常，FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級別運動搜索，然後執行子CU級別運動細化。在CU級別，基於雙向匹配或模板匹配針對整個CU推導初始運動向量。首先，生成MV候選列表，並且選擇產生最小匹配成本的候選作為進一步CU級別細化的起始點。然後，執行起始點周圍的基於雙向匹配或模板匹配的本地搜索。將最小匹配成本的MV結果作為整個CU的MV。隨後，以推導的CU運動向量作為起始點，以子CU級別進一步細化運動資訊。

例如，針對W×H CU運動資訊推導執行以下推導過程。在第一階段，推導整個W×H CU的MV。在第二階段，CU被進一步劃分為M×M個子CU。M的值按公式(3)計算。D是在JEM中默認設置為3的預定義劃分深度。然後推導每個子CU的MV。

圖21示出了在幀速率上轉換(FRUC)方法中使用的雙向匹配的示例。雙向匹配用於通過沿著兩個不同參考圖片(2110、2111)中的當前CU(2100)的運動軌跡找到兩個塊之間的最接近匹配來推導當前CU的運動資訊。在連續運動軌跡的假設下，指向兩個參考塊的運動向量MV0(2101)和MV1(2102)和當前圖片與兩個參考圖片之間的時間距離(例如，TD0(2103)和TD1(2104))成比例。在一些實施例中，當當前圖片2100在時間上在兩個參考圖片(2110、2111)之間並且從當前圖片到兩個參考圖片的時間距離相同時，雙向匹配變為基於鏡像的雙向MV。

圖22示出了在幀速率上轉換(FRUC)方法中使用的模板匹配的示例。模板匹配可以用於通過找到當前圖片中的模板 (例如，當前CU的上和/或左邊相鄰塊)與參考圖片2210中的塊(例如，與模板尺寸相同)之間的最接近匹配來推導當前CU 2200的運動資訊。除了上述FRUC Merge模式之外，模板匹配也可以應用於AMVP模式。在JEM和HEVC中，AMVP具有兩個候選。用模板匹配方法，可以推導新的候選。如果通過模板匹配的新推導的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開端，然後(例如，通過移除第二現有AMVP候選)將列表尺寸設置為二。當應用於AMVP模式時，僅應用CU級別搜索。

在CU級別的MV候選集可以包括以下：(1)如果當前CU處於AMVP模式的原始AMVP候選，(2)所有Merge候選，(3)內插MV場中的若干MV(稍後描述)，以及上邊和左邊相鄰運動向量。

當使用雙向匹配時，Merge候選的每個有效MV可以用作輸入以在假設雙向匹配的情況下生成MV對。例如，Merge候選的一個有效MV是(MVa、ref_a)在參考列表A處。然後，在其他參考列表B中找到其配對雙向MV的參考圖片ref_b，使得ref_a和ref_b在時間上位於當前圖片的不同側。如果這樣的ref_b在參考列表B中不可用，則ref_b被確定為與ref_a不同的參考，並且其到當前圖片的時間距離是列表B中的最小一個。在確定ref_b之後，基於當前圖片和refa、ref_b之間的時間距離通過縮放MVa來推導MVb。

在一些實現方式中，還可以將來自內插MV場的四個MV添加到CU級別候選列表。更具體地，添加當前CU的位置(0，0)、(W/2，0)、(0，H/2)和(W/2，H/2)處的內插MV。當FRUC被應用於AMVP模式中時，原始AMVP候選也被添加到CU級別MV候選集。在一些實現方式中，在CU級別，可以將AMVP CU的15個MV和Merge CU的13個MV添加到候選列表。

在子CU級別的MV候選集包括從CU級別搜索確定的MV，(2)上邊、左邊、左上和右上相鄰MV，(3)來自參考圖片的並置MV的縮放版本，(4)一個或多個ATMVP候選(例如，多達四個)，以及(5)一個或多個STMVP候選(例如，多達四個)。來自參考圖片的縮放MV如下推導。遍歷兩個列表中的參考圖片。參考圖片中的子CU的並置位置處的MV被縮放為起始CU級別MV的參考。ATMVP和STMVP候選可以是前四個。在子CU級別，將一個或多個MV(例如，多達17個)添加到候選列表。

內插MV場的生成。在對幀進行編碼之前，基於單向ME針對整個圖片生成內插運動場。然後，運動場可以稍後用作CU級別或子CU級MV候選。

在一些實施例中，兩個參考列表中的每個參考圖片的運動場以4×4塊級別遍歷。圖23示出了FRUC方法中的單向運動估計(ME)2300的示例。對於每個4×4塊，如果與塊相關聯的運動穿過當前圖片中的4×4塊並且塊未被分配任何內插運動，則參考塊的運動根據時間距離TD0和TD1縮放為當前圖片(與HEVC中的TMVP的MV縮放的方式相同的方式)，並且縮放的運動被分配給當前幀中的塊。如果沒有將縮放的MV分配給4×4塊，則在內插運動場中將塊的運動標記為不可用。

插值和匹配成本。當運動向量指向分數樣點位置時，需要運動補償內插。為了降低複雜性，雙線性內插代替常規8抽頭HEVC內插可以用於雙向匹配和模板匹配兩者。

匹配成本的計算在不同步驟處略微不同。當從CU級別的候選集選擇候選時，匹配成本可以是雙向匹配或模板匹配的絕對和差(Absolute Sum Difference，SAD)。在確定起始MV之後，子CU級別搜索的雙向匹配的匹配成本C計算如下：

這裡，w是加權因數。在一些實施例中，w可以根據經驗設置為4。MV和MV^s分別指示當前MV和起始MV。SAD仍然可以用作子CU級別搜索的模板匹配的匹配成本。

在FRUC模式中，通過僅使用亮度樣點來推導MV。推導的運動將用於MC幀間預測的亮度和彩度兩者。在決定MV之後，使用用於亮度的8抽頭內插濾波器和用於彩度的4抽頭內插濾波器來執行最終MC。

MV細化是基於模式的MV搜索，其具有雙向匹配成本或模板匹配成本的標準。在JEM中，支援兩個搜索模式-無限制的中心偏置菱形搜索(Unrestricted Center-Biased Diamond Search，UCBDS)和分別在CU級別和子CU級別的MV細化的自我調整交叉搜索。對於CU級別和子CU級別MV細化，以四分之一亮度樣點MV准度直接搜索MV，並且接著是八分之一亮度樣點MV細化。CU步驟和子CU步驟的MV細化的搜索範圍被設置為等於8個亮度樣點。

在雙向匹配Merge模式中，應用雙向預測，因為CU的運動資訊是基於沿著兩個不同參考圖片中的當前CU的運動軌跡的兩個塊之間的最接近匹配而推導的。在模板匹配Merge模式中，編碼器可以在來自列表0的單向預測、來自列表1的單向預測、或者CU的雙向預測當中選擇。選擇可以基於模板匹配成本，如下所示：如果costBi<=factor * min(cost0，cost1)

使用雙向預測；否則，如果cost0<=cost1

使用來自list0的單向預測；否則，使用來自list1的單向預測；這裡，cost0是list0模板匹配的SAD，cost1是list1模板匹配的SAD，並且costBi是雙向預測模板匹配的SAD。例如，當因數的值等於1.25時，這意味著選擇過程偏向於雙向預測。幀間預測方向選擇可以應用於CU級別模板匹配過程。

3.4 解碼器側運動向量細化(DMVR)的示例

在雙向預測操作中，為了預測一個塊區域，分別使用list0的運動向量(MV)和list1的MV形成的兩個預測塊被組合以形成單個預測信號。在解碼器側運動向量細化(DMVR)方法中，通過雙向模板匹配過程進一步細化雙向預測的兩個運動向量。雙向模板匹配在解碼器中應用，以在雙向模板和參考圖片中的重建樣點之間執行基於失真的搜索，以便獲得細化的MV而不發送附加運動資訊。

在DMVR中，分別從list0的初始MV0和list1的MV1生成雙向模板作為兩個預測塊的加權組合(即平均)，如圖24所示。模板匹配操作包括計算所生成的模板與參考圖片中的(初始預測塊周圍的)樣點區域之間的成本度量。對於兩個參考圖片中的每一個，產生最小模板成本的MV被視為該列表的更新後的MV以替換原始MV。在JEM中，針對每個列表搜索九個MV候選。九個MV候選包括原始MV和8個圍繞的MV，其中一個亮度樣點在水平或垂直方向上或兩個方向上與原始MV偏移。最終，兩個新的MV(即如圖24所示的MV0'和MV1')用於生成最終的雙向預測結果。絕對誤差和(SAD)用作成本度量。

DMVR被應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片，而無需發送附加語法元素。在JEM中，當針對CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

3.5 局部光照補償

局部光照補償(IC)基於用於光照改變的線性模型，使用縮放因數a和偏移b。並且針對每個幀間模式編碼的編碼單元(CU)自我調整地啟用或禁用局部光照補償。

當IC應用於CU時，採用最小平方誤差方法通過使用當前CU的相鄰樣點及其對應的參考樣點來推導參數a和b。更具體地，如圖25所示，使用CU的子採樣的(2：1子採樣)相鄰樣點和參考圖片中的(由當前CU或子CU的運動資訊識別的)對應樣點。IC參數被推導並分別應用於每個預測方向。

當以Merge模式對CU進行編碼時，以與Merge模式中的運動資訊複製類似的方式從相鄰塊複製IC標誌；否則，對CU信號通知IC標誌以指示LIC是否適用。

當針對圖片啟用IC時，需要附加CU級別RD檢查以確定是否將LIC應用於CU。當針對CU啟用IC時，對於整數像素運動搜索和分數像素運動搜索分別使用均值移除絕對和差(Mean-Removed Sum of Absolute Diffefference，MR-SAD)以及均值移除絕對Hadamard變換和差(Mean-Removed Sum of Absolute Hadamard-Transformed Difference，MR-SATD)，而不是SAD和SATD。

為了降低編碼複雜度，在JEM中應用以下編碼方案。當當前圖片與其參考圖片之間沒有明顯的光照改變時，針對全部圖片禁用IC。為了識別這種情況，在編碼器處計算當前圖片的長條圖和當前圖片的每個參考圖片。如果當前圖片與當前圖片的每個參考圖片之間的長條圖差異小於給定閾值，則針對當前圖片禁用IC；否則，針對當前圖片啟用IC。

3.6 具有雙向匹配細化的Merge/跳過模式的示例

首先通過利用冗餘檢查將空間相鄰和時間相鄰塊的運動向量和參考索引插入候選列表中來構造Merge候選列表，直到可用候選的數量達到最大候選尺寸19。通過根據預定義的插入順序，在插入空間候選、時間候選、仿射候選、高級時間MVP(Advanced Temporal MVP，ATMVP)候選、時空MVP(Spatial Temporal，STMVP)候選和HEVC中使用的附加候選(組合候選和零候選)來構造Merge/跳過模式的Merge候選列表，並且在圖25中所示的編號塊的上下文中：

(1)塊1-4的空間候選

(2)塊1-4的外推(extrapolated)仿射候選

(3)ATMVP

(4)STMVP

(5)虛擬仿射候選

(6)空間候選(塊5)(僅當可用候選的數量小於6時使用)

(7)外推仿射候選(塊5)

(8)時間候選(如在HEVC中推導的)

(9)非鄰近空間候選，其後是外推仿射候選(塊6至 49)

(10)組合候選

(11)零候選

可以注意到，除了STMVP和仿射之外，IC標誌也從Merge候選繼承。而且，對於前四個空間候選，在具有單向預測的候選之前插入雙向預測候選。

4.二值化方法和Merge索引編碼的示例

在一些實施例中，可以選擇若干二值化方法。對於一個語法元素，應該首先基於分佈將相關值二值化為二進位串。對於每個二進位位元，可以用上下文或旁路編碼方法對其進行編碼。

4.1 示例性一元和舍位一元(TU)二值化過程

對於每個不帶正負號的整數值符號x

0，CABAC中的一元碼字由x個“1”位元加上終止“0”位元組成。僅針對0

x

S的x定義舍位一元(TU)碼，其中對於x<S，該碼由一元碼給出，而對於x=S，終止“0”位元被忽略，使得x=S的TU碼僅由x個“1”位元組成的碼字給出。

表5：一元二值化的二進位串

4.2 示例性K階Exp-Golomb(K-th order Exp-Golomb，EGk)二值化過程

對於EGk二值化，具有相同碼長k+2．l(x)+1的符號的數量在幾何上增長。通過反轉理想碼長與符號概率之間的香農關係，我們可以例如容易推斷出EG0是概率分佈函數(pdf)p(x)=½．(x+1)-2(其中x

0)的最優碼。這意味著對於適當選擇的參數k，EGk碼表示通常觀察到的概率分佈函數的尾部的理想無首碼碼的相當好的一階近似。

表7：EG0二值化的二進位串

4.3 示例性舍位Rice(Truncated Rice，TR)二值化過程

該過程的輸入是對TR二值化、cMax和cRiceParam的請求。

該過程的輸出是將每個值symbolVal與對應的二進位串相關聯的TR二值化。

TR二進位串是首碼二進位串和尾碼二進位串(當存在時)的串聯。

為了推導首碼二進位串，以下適用：

--symbolVal的首碼值prefixVal如下推導：prefixVal=symbolVal>>cRiceParam

--TR二進位串的首碼指定如下：如果prefixVal小於cMax>>cRiceParam，則首碼二進位串是由binIdx索引的長度為prefixVal+1的位元串。小於 prefixVal的binIdx的二進位位元等於1。binIdx等於prefixVal的二進位位元等於0。

當cMax大於symbolVal且cRiceParam大於0時，存在TR二進位串的尾碼，並且如下推導：

--尾碼值suffixVal如下推導：suffixVal=symbolVal-((prefixVal)<<cRiceParam)

--通過以等於(1<<cRiceParam)-1的cMax值調用suffixVal的固定長度(Fixed-Length，FL)二值化過程來指定TR二進位串的尾碼。

注意，對於輸入參數cRiceParam=0，TR二值化恰好是舍位一元二值化，並且其總是以等於被解碼的語法元素的最大可能值的cMax值而調用。

4.4 示例性固定長度(FL)二值化過程

該過程的輸入是對FL二值化和cMax的請求。

該過程的輸出是將每個值symbolVal與對應的二進位串相關聯的FL二值化。

通過使用符號值symbolVal的fixedLength位元不帶正負號的整數二進位串來構造FL二值化，其中fixedLength=Ceil(Log2(cMax+1))。FL二值化的二進位位元的索引使得binIdx=0與最高有效位相關，其中binIdx的值向最低有效位增加。

表8：FL二值化的二進位串(cMax=7)

4.5 merge_idx的示例性編碼

如HEVC規範中所指定的，如果允許的Merge候選的總數大於1，則首先將Merge索引二值化為二進位串。

使用cRiceParam等於0的TR，即TU。merge_idx的第一二進位位元用一個上下文編碼，並且剩餘的二進位位元(如果存在)用旁路編碼。

5.JEM中的幀內預測的示例實施例

5.1 具有67個幀內預測模式的幀內模式編碼的示例

為了捕獲在自然視頻中呈現的任意邊緣方向，定向幀內模式的數量從如在HEVC中使用的33擴展到65。附加定向模式在圖27中被描繪為淺灰色虛線箭頭，並且平面和DC模式保持不變。這些更密集的定向幀內預測模式適用於所有塊尺寸以及亮度和彩度幀內預測。

5.2 亮度幀內模式編碼的示例

在JEM中，幀內預測模式的總數已經從HEVC中的35增加到67。圖27描繪了67個幀內預測模式的示例。

為了適應增加數量的定向幀內模式，使用具有6個最可能模式(Most Probable Mode，MPM)的幀內模式編碼方法。涉及兩個主要技術方面：1)對6個MPM的推導，以及2)6個MPM和非MPM模式的熵編碼。

在JEM中，被包括在MPM列表中的模式被分類為三組：

--鄰域幀內模式

--推導的幀內模式

--預設幀內模式

使用五個相鄰幀內預測模式來形成MPM列表。5個相鄰塊的那些位置與Merge模式中使用的那些位置相同，即如圖28所示的左邊(L)、上面(A)、左下(BL)、右上(AR)和左上(AL)。通過將5個鄰域幀內模式以及平面和DC模式插入MPM列表來形成初始MPM列表。修剪過程用於移除重複模式，以便只有唯一模式可以被包括在MPM列表中。初始模式被包括的順序是：左邊、上面、平面、DC、左下、右上、並且然後左上。

如果MPM列表未滿(即列表中少於6個MPM候選)，則添加推導模式；通過將-1或+1添加到已被包括在MPM列表中的角度模式(angular mode)來獲得這些幀內模式。這樣的附加推導模式不是從非角度模式(DC或平面)生成的。

最後，如果MPM列表仍未完成，則按以下順序添加預設模式：垂直、水平、模式2和對角線模式。作為該過程的結果，生成6個MPM模式的唯一列表。

對於使用6個MPM對所選擇的模式進行熵編碼，使用舍位元一元二值化。前三個二進位位元用上下文編碼，該上下文取決於與當前信號通知的二進位位元相關的MPM模式。MPM模式分類為以下三類中的一類：(a)主要為水平的模式(即MPM模式數量小於或等於對角線方向的模式數量)，(b)主要為垂直的模式(即MPM模式大於對角線方向的模式數量，以及(c)非角度(DC和平面)類。因此，基於該分類，三個上下文用於信號通知MPM索引。

用於選擇剩餘的61個非MPM的編碼如下進行。61個非MPM首先劃分為兩個集合：所選擇的模式集和非選擇模式集。所選擇的模式集包含16個模式，其餘模式(45個模式)分配給未選擇模式集。當前模式所屬的模式集在具有標誌的位元流中指示。如果要指示的模式在所選擇的模式集內，則用4位元固定長度碼信號通知所選擇的模式，並且如果要指示的模式來自未選擇模式集，則用舍位元二進位碼信號通知所選擇的模式。所選擇的模式集是通過如下所示對61個非MPM模式進行子採樣而生成的：

--所選擇的模式集={0,4,8,12,16,20...60}

--未選擇模式集={1,2,3,5,6,7,9,10...59}

在編碼器側，使用HM的類似的兩階段幀內模式判定過程。在第一階段(即幀內模式預選階段)中，使用更低複雜度的絕對變換差和(Sum of Absolute Transform Difference，SATD)成本來從所有可用幀內模式預選N個幀內預測模式。在第二階段中，進一步應用更高複雜度的R-D成本選擇以從N個候選選擇一個幀內預測模式。然而，當應用67個幀內預測模式時，由於可用模式的總數大致加倍，所以如果直接使用HM的相同的編碼器模式判定過程，則幀內模式預選階段的複雜度也將增加。為了最小化編碼器複雜度增加，執行兩步幀內模式預選過程。在第一步，基於絕對變換差和(SATD)度量，從(圖27中由黑色實線箭頭指示的)原始的35個幀內預測模式選擇N(N取決於幀內預測塊尺寸)個模式；在第二步，通過SATD進一步檢查所選擇的N個模式的直接鄰域(如圖27中由淺灰色虛線箭頭指示的附加幀內預測方向)，並且更新所選擇的N個模式的列表。最後，如果尚未包括MPM，則將前M個MPM添加到N個模式，並且針對第二階段R-D成本檢查生成候選幀內預測模式的最終列表，其以與HM相同的方式完成。基於HM中的原始設置，M的值增加1，並且N稍微減小，如下表10所示。

表10：幀內模式預選步驟中的模式候選的數量

5.3 彩度幀內模式編碼的示例

在JEM中，允許總共11個幀內模式用於彩度CB編碼。這些模式包括5個傳統幀內模式和6個跨分量線性模型模式。彩度模式候選的列表包括以下三個部分：

●CCLM模式

●DM模式，從覆蓋當前彩度塊的並置的五個位置的亮度CB推導的幀內預測模式

○按順序檢查的五個位置是：I條帶的當前彩度塊的對應亮度塊內的中心(CR)、左上(TL)、右上(TR)、左下(BL)和右下(BR)4×4塊。對於P條帶和B條帶，僅檢查這五個子塊中的一個，因為它們具有相同的模式索引。圖29A和圖29B中示出了五個並置的亮度位置的示例。

●根據空間相鄰塊的彩度預測模式：

○5個彩度預測模式：根據左邊、上面、左下、右上和左上空間上相鄰的塊

○平面和DC模式

○添加推導的模式，通過將-1或+1添加到已被包括在列表中的角度模式來獲得這些幀內模式。

○垂直、水平、模式2

每當將新的彩度幀內模式添加到候選列表時，應用修剪過程。然後將非CCLM彩度幀內模式候選列表尺寸修整為5。對於模式信號，首先信號通知標誌以指示使用CCLM模式中的一個還是傳統彩度幀內預測模式中的一個。然後可以跟隨幾個更多的標誌以指定用於當前彩度CB的精確彩度預測模式。

6.現有實現方式的示例

當前HEVC設計可以採用當前塊與其相鄰塊(緊鄰當前塊)的相關性來更好地編碼運動資訊。然而，相鄰塊有可能對應於具有不同運動軌跡的不同物件。在這種情況下，根據其相鄰塊的預測效率不高。

根據非鄰近塊的運動資訊的預測可以帶來附加編碼增益，其存在將所有運動資訊(通常在4×4級別上)儲存到快取儲存器中的成本，這顯著增加了硬體實現方式的複雜性。

一元二值化方法適用於較少數量的允許的Merge候選。然而，當允許的候選的總數變得更大時，一元二值化可能是次優的。

AMVP候選列表構造過程的HEVC設計僅調用兩個空間AMVP候選當中的修剪。沒有利用完全修剪(可用候選中的每一個與所有其他候選相比)，因為由於有限的修剪而編碼損失可忽略不計。然而，如果有更多的AMVP候選可用，修剪變得重要。此外，當啟用LAMVR時，應該研究如何構造AVMP候選列表。

7.基於LUT的運動向量預測的示例方法

本公開技術的實施例克服了現有實現方式的缺點，從而為視頻編碼提供更高的編碼效率。可以在各種實施例中實現使用具有被儲存以預測塊的運動資訊的至少一個運動候選的一個或多個表(例如，查找表)的基於LUT的運動向量預測技術，以為視頻編碼提供更高的編碼效率。查找表是可以用於包括用於預測塊的運動資訊的運動候選的表的示例，並且其他實現方式也是可能的。每個LUT可以包括一個或多個運動候選，每個運動候選與對應的運動資訊相關聯。運動候選的運動資訊可包括預測方向、參考索引/圖片圖片、運動向量、LIC標誌、仿射標誌、運動向量推導(MVD)精度和/或MVD值的部分或全部。運動資訊可以進一步包括塊位置資訊，以指示運動資訊來自哪裡。

可以增強現有和未來視頻編碼標準的、基於所公開的技術的基於LUT的運動向量預測在針對各種實現方式描述的以下示例中闡明。因為LUT允許基於歷史資料(例如，已經被處理的塊)執行編碼/解碼過程，所以基於LUT的運動向量預測也可以被稱為基於歷史的運動向量預測(History-based Motion Vector Prediction，HMVP)方法。在基於LUT的運動向量預測方法中，在編碼/解碼過程期間維護具有來自先前編碼的塊的運動資訊的一個或多個表。儲存在LUT中的這些運動候選被命名為HMVP候選。在一個塊的編碼/解碼期間，可以將LUT中的相關聯的運動資訊添加到運動候選列表(例如，Merge/AMVP候選列表)，並且在對一個塊進行編碼/解碼之後，可以更新LUT。然後使用更新的LUT對後續塊進行編碼。也就是說，LUT中的運動候選的更新基於塊的編碼/解碼順序。以下示例應被視為解釋一般概念的示例。不應以狹隘的方式解釋這些示例。此外，這些示例可以以任何方式組合。

可以增強現有和未來視頻編碼標準的、基於所公開的技術的基於LUT的運動向量預測在針對各種實現方式描述的以下示例中闡明。以下提供的所公開的技術的示例解釋了一般概念，並且不意味著被解釋為限制。在一個示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。

關於術語，LUT的條目的以下示例是運動候選。術語運動候選用於指示儲存在查找表中的運動資訊的集合。對於傳統AMVP或Merge模式，AMVP或Merge候選用於儲存運動資訊。如下面將描述的，並且在非限制性示例中，具有用於運動向量預測的運動候選的LUT的概念被擴展到具有用於幀內模式編碼的幀內預測模式的LUT，或者擴展到具有用於IC參數編碼的光照補償參數的LUT或擴展到具有濾波器參數的LUT。用於運動候選的基於LUT的方法可以擴展到其他類型的編碼資訊，如本專利文獻中所述的，現有和未來視頻編碼標準。

示例1和示例2有利地定義了如在所公開的技術中使用的LUT。

示例1.每個查找表可以包含一個或多個運動候選，其中每個候選與其運動資訊相關聯。

a.表尺寸(允許的運動候選的數量)和/或表的數量可以是固定的或自我調整的。表尺寸對於所有表可以相同，或者對於不同的表可以不同。

i.可替換地，不同的尺寸可以用於不同的查找表(例如，1或2)。

ii.在一個示例中，可以預定義表尺寸和/或表的數量。

iii.在一個示例中，可以在視頻參數集(Video Parameter Set，VPS)、序列參數集(Sequence Parameter Set，SPS)、圖片圖片參數集(Picture Parameter Set，PPS)、條帶頭、片頭、編碼樹單元(CTU)、編碼樹塊(CTB)、編碼單元(CU)或預測單元(PU)、覆蓋多個CTU/CTB/CU/PU的區域中信號通知信號通知表尺寸或表的數量。

iv.表尺寸和/或表的數量可以進一步取決於條帶類型、圖片圖片的時間層索引、一個條帶與最接近的幀內條帶之間的圖片圖片順序計數(Picture Order Count，POC)距離。

b.假定存在用於編碼執行緒的N個表，可能需要N*P個表來對條帶進行編碼，其中P指示LCU行的數量或片的數量。

i.可替換地，可能僅需要P個表來對條帶進行編碼，其中P指示LCU行的數量，其中每個LCU行僅使用一個查找表，甚至當禁用片時N可以大於1。

示例2.在一個示例中，表尺寸(例如，運動候選的最大允許條目的數量)和/或表的數量可以取決於序列解析度、最大編碼單元尺寸、Merge候選列表的尺寸。

(a)在一個示例中，沒有表尺寸的附加信號。

(b)推斷表尺寸與信號通知信號通知的最大Merge候選相同。

(c)可替換地，推斷表尺寸與信號通知信號通知的最大Merge候選減去某個值相同。該某個值可以被定義為在Merge候選列表構造過程中可以訪問多少空間/時間相鄰塊，例如，在HEVC中為5。

示例3.當用Merge或AMVP模式對塊進行編碼時，可以用與塊相關聯的運動資訊來更新LUT。

(a)在一個示例中，在用幀內模式對塊進行編碼/解碼之後，所有LUT不更新。

(b)在一個示例中，在用幀內塊複製模式對塊進行編碼/解碼之後，所有LUT不更新。

(c)在一個示例中，在用仿射Merge或仿射AMVP模式對塊進行編碼/解碼之後，所有LUT不更新。

示例4.在通過添加從編碼塊獲得的運動候選來更新LUT之前，可以應用修剪。

示例5.可以週期性地更新LUT。

示例6.當使用Merge或AMVP模式對塊進行編碼時，可以使用LUT。

示例7.當不允許具有某些資訊(諸如塊模式)的塊使用來自LUT的資訊時，不允許編碼的運動資訊更新LUT。也就是說，在對這樣的塊進行編碼或解碼之後，跳過更新LUT的過程。

在一些實現方式中，類似於對具有用於運動向量預測的運動候選的LUT的使用，提出了可以構造和/或更新一個或多個LUT以儲存來自先前編碼的塊的幀內預測模式，並且LUT可以用於對幀內編碼塊進行編碼/解碼。

8.基於LUT的運動向量預測的附加實施例

圖30中描繪了基於LUT的預測方法的編碼流程的示例。在一些實現方式中，更新過程在對區域進行解碼之後完成。避免頻繁更新LUT的示例在圖31中描繪。

上述示例可以併入在下面描述的方法(例如，可以在視頻解碼器和/或視頻編碼器處實現的方法3200)的上下文中。

圖32A示出了用於視頻處理的示例性方法的流程圖。方法3200包括：在步驟3202處，維護由索引i=1至N索引的N個表，其中第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯。方法3200包括，在步驟3204處，使用來自表的運動候選來執行當前視頻塊與包括當前視頻塊的視頻資料的位元流表示之間的轉換。

圖32B示出了用於視頻處理的示例性方法的另一流程圖。方法3600包括：在步驟3602處，接收包括當前視頻塊的視頻資料的位元流表示。方法366進一步包括，在步驟3604處，基於由索引i=1至N索引的N個表來處理位元流表示，其中第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯。

9.所公開的技術的示例實現方式

圖33是視頻處理裝置3300的方塊圖。裝置3300可以用於實現本文描述的一個或多個方法。裝置3300可以實施在智慧手機、平板電腦、電腦、物聯網(Internet of Things，IoT)接收器等中。裝置3300可以包括一個或多個處理器3302、一個或多個儲存器3304和視頻處理硬體3306。(多個)處理器3302可以被配置為實現本文件中描述的一個或多個方法(包括但不限於方法3200和3600)。儲存器3304可以用於儲存用於實現本文描述的方法和技術的資料和代碼。視頻處理硬體3306可以用於在硬體電路中實現本文件中描述的一些技術。

在一些實施例中，視頻編碼方法可以使用在如關於圖33所描述的硬體平臺上實現的裝置而實現。

下面描述了上述方法/技術的特徵和實施例。

1.一種視頻處理方法，包括：維護由索引i=1至N索引的N個表，其中，第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中，i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯；以及使用來自表的運動候選來執行當前視頻塊與包括當前視頻塊的視頻資料的位元流表示之間的轉換。

2.根據條款1所述的方法，其中，N個表包括來自視頻資料中的先前處理的視頻塊的運動資訊。

3.根據條款1所述的方法，其中，M(i)對於所有表是相同的。

4.根據條款1所述的方法，其中，至少一些表具有與其他表中的任何一個表的尺寸不同的尺寸。

5.根據條款1所述的方法，其中，N和M(i)是預定義的。

6.根據條款1所述的方法，其中，表的尺寸是在視頻參數集、序列參數集、圖片圖片參數集、條帶頭或片頭中的一個或多個中信號通知信號通知的。

7.根據條款1所述的方法，其中，表的尺寸是在與編碼樹單元或編碼樹塊單元或編碼單元或預測單元中的一個或多個相對應的位元欄位中信號通知信號通知的。

8.根據條款1所述的方法，其中，N和M(i)中的至少一個取決於以下中的至少一個：i)條帶類型，ii)圖片圖片的時間層索引，或iii)一個條帶與最接近該條帶的幀內條帶之間的圖片圖片順序計數(POC)距離。

9.根據條款1所述的方法，其中，當前視頻塊對應於視頻資料的條帶，並且其中N等於K*P，其中K是表示每一解碼執行緒的表的整數，並且P是表示視頻資料的條帶中的最大編碼單元(LCU)行的數量或片的數量的整數。

10.根據條款1所述的方法，其中，視頻資料的部分對應於視頻資料的條帶，並且其中當每個LCU行使用單個表時N等於P，並且P是表示視頻資料的條帶中的最大編碼單元行的數量或片的數量的整數。

11.根據條款1所述的方法，其中，N或M(i)中的至少一個基於序列解析度、最大編碼單元(LCU)尺寸、或Merge或高級運動向量預測(AMVP)候選列表的尺寸。

12.根據條款1所述的方法，其中，表的尺寸不被信號通知。

13.根據條款1所述的方法，其中，表的尺寸與Merge候選列表中的Merge候選的最大數量相同。

14.根據條款1所述的方法，其中，表的尺寸與通過從Merge候選列表中的Merge候選的最大數量減去某個值而獲得的尺寸相同。

15.根據條款14所述的方法，其中，該某個值表示在構造Merge候選列表期間訪問了多少空間或時間相鄰塊。

16.一種用於視頻處理的方法，包括：接收包括當前視頻塊的視頻資料的位元流表示；以及基於由索引i=1至N索引的N個表來處理位元流表示，其中第i個表具有等於與第i個表中的運動候選的最大數量相對應的M(i)的尺寸，其中i、N和M(i)為整數，並且其中每個運動候選與對應的運動資訊相關聯。

17.根據條款16所述的方法，其中，N個表包括來自視頻資料中的先前處理的視頻塊的運動資訊。

18.根據條款16所述的方法，進一步包括：基於來自視頻資料中的視頻塊的運動資訊來更新一個或多個表。

19.根據條款16所述的方法，其中，每個運動候選與對應的運動資訊相關聯。

20.根據條款16所述的方法，其中，N或M(i)中的至少一個基於序列解析度、最大編碼單元(LCU)尺寸、或Merge或高級運動向量預測(AMVP)候選列表的尺寸。

21.根據條款16所述的方法，其中，表的尺寸不被信號通知。

22.根據條款16所述的方法，其中，表的尺寸等於Merge候選列表中的Merge候選的最大數量。

23.根據條款16所述的方法，其中，表的尺寸是通過從Merge候選列表中的Merge候選的最大數量減去固定值而獲得的。

24.根據條款23所述的方法，其中，所述固定值基於在構造Merge候選列表或AMVP候選列表期間訪問的時間或空間相鄰塊的數量。

25.根據條款16所述的方法，其中，M(i)對於所有表是相同的。

26.根據條款16所述的方法，其中，至少一些表具有與其他表中的任何一個表的尺寸不同的尺寸。

27.根據條款16所述的方法，其中，N和M(i)是預定義的。

28.根據條款16所述的方法，其中，表的尺寸是在視頻參數集、序列參數集、圖片圖片參數集、條帶頭或片頭中的一個或多個中信號通知信號通知的。

29.根據條款16所述的方法，其中，表的尺寸是在與編碼樹單元、編碼樹塊單元、編碼單元或預測單元中的一個或多個相對應的位元欄位中信號通知信號通知的。

30.根據條款16所述的方法，其中，N或M(i)中的至少一個取決於以下中的至少一個：i)條帶類型，ii)圖片圖片的時間層索引，或iii)一個條帶與最接近該條帶的幀內條帶之間的圖片圖片順序計數(POC)距離。

31.根據條款16所述的方法，其中，當前視頻塊對應於視頻資料的條帶，並且其中，N等於K*P，其中，K是表示每一解碼執行緒的表的整數，並且P是表示視頻資料的條帶中的最大編碼單元行的數量或片的數量的整數。

32.根據條款16所述的方法，其中，當前視頻塊對應於視頻資料的條帶，並且其中當每個LCU行使用單個表時N等於P，並且P是表示視頻資料的條帶中的最大編碼單元行的數量或片的數量的整數。

33.根據條款1-32中任一項所述的方法，其中，執行轉換包括從當前視頻塊生成位元流表示。

34.根據條款1-32中任一項所述的方法，其中，執行轉換包括從位元流表示生成當前視頻塊。

35.根據條款1-34中任一項所述的方法，其中，運動候選與運動資訊相關聯，其中該運動資訊包括以下中的至少一個：預測方向、參考圖片圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。

36.根據條款16-32中任一項所述的方法，進一步包括基於轉換來更新一個或多個表。

37.根據條款1-36中任一項所述的方法，其中，更新一個或多個表包括在執行轉換之後基於當前視頻塊的運動資訊來更新一個或多個表。

38.根據條款37所述的方法，進一步包括：基於更新的表來執行視頻資料的後續視頻塊與視頻資料的位元流表示之間的轉換。

39.一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性儲存器，其中該指令在由處理器運行時使得處理器實現根據條款1-38中任一項所述的方法。

40.一種儲存在非暫時性電腦可讀介質上的電腦程式產品，該電腦程式產品包括用於執行根據條款1-38中任一項所述的方法的程式碼。

根據前述內容，可以理解本文已經出於說明的目的描述了本公開技術的具體實施例，但是在不脫離本發明範圍的情況下可以進行各種修改。因此，本公開技術不受除了所附申請專利範圍之外的限制。

本專利文件中描述的主題和功能操作的實現方式可以在各種系統、數位電子電路或電腦軟體、韌體或硬體(包括本說明書中公開的結構及其結構等同物、或者它們中的一個或多個的組合)中實現。本說明書中描述的主題的實現方式可以實現為一個或多個電腦程式產品，即編碼在有形和非暫時性電腦可讀介質上的電腦程式指令的一個或多個模組，該電腦程式指令用於由資料處理裝置運行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、儲存器設備、影響機器可讀傳播信號的物質的組成、或它們中的一個或多個的組合。術語“資料處理單元”或“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦、或多個處理器或電腦。除了硬體之外，裝置還可以包括為所討論的電腦程式創建運行環境的代碼，例如，構成處理器韌體、協定棧、資料庫管理系統、作業系統、或它們中的一個或多個的組合的代碼。

電腦程式(也已知為程式、軟體、軟體應用、腳本或代碼)可以以任何形式的程式設計語言(包括編譯或解釋語言)編寫，並且其可以以任何形式部署，包括作為獨立程式或作為適合在計算環境中使用的模組、元件、子常式或其他單元。電腦程式不一定對應於檔案系統中的文件。程式可以儲存在保存其他程式或資料(例如，儲存在標記語言文件中的一個或多個腳本)的文件的一部分中，儲存在專用於所討論的程式的單個文件中，或儲存在多個協調文件中(例如，儲存一個或多個模組、副程式或代碼部分的文件)。電腦程式可以被部署以在一個電腦上或在位於一個網站上或跨多個網站分佈並通過通信網路互連的多個電腦上運行。

本說明書中描述的過程和邏輯流程可以由運行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如，FPGA(Field Programmable Gate Array，現場可程式設計閘陣列)或ASIC(Application Specific Integrated Circuit，專用積體電路)。

適合於運行電腦程式的處理器包括例如通用和專用微處理器、以及任何類型的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀儲存器或隨機存取儲存器或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個儲存器設備。通常，電腦還將包括用於儲存資料的一個或多個大型存放區設備(例如，磁片、磁光碟或光碟)，或可操作地耦合以從該一個或多個大型存放區設備接收資料或向該一個或多個大型存放區設備傳遞資料、或者從其接收資料並向其傳遞資料。然而，電腦不需要這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非揮發性儲存器、介質和儲存器設備，包括例如半導體儲存器設備，例如，EPROM、EEPROM和快閃儲存器設備。處理器和儲存器可以由專用邏輯電路補充或併入專用邏輯電路中。

說明書與附圖一起旨在被視為是示例性的，其中示例性意味著示例。如本文所使用的，除非上下文另有清楚說明，否則單數形式“一”、“一個”和“該”旨在也包括複數形式。另外，除非上下文另有清楚說明，否則使用“或”旨在包括“和/或”。

雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可能要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在單獨的實施例的上下文中在本專利文件中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以分別在多個實施例中或以任何合適的子組合實現。而且，儘管特徵可以在上面描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下可以從組合排除來自所要求保護的組合的一個或多個特徵，並且所要求保護的組合可以針對子組合或子組合的變化。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或以先後循序執行這樣的操作或者執行所有示出的操作以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現方式和示例，並且可以基於本專利文件中描述和示出的內容來進行其他實現、增強和變化。

Claims

一種視頻處理方法，包括：維護N個表，其中，N為正整數，所述表的尺寸對應於所述表中允許的運動候選的最大數量，所述N個表中允許的運動候選的最大數量相同，並且所述表包括的運動候選推導自當前視頻塊之前被處理的視頻塊；為當前視頻塊推導運動資訊，其中，在運動候選列表構建過程中，所述N個表中的一個或多個表的一個或多個候選被加入到所述運動候選列表中，所述運動候選列表構建過程用於為所述當前視頻塊推導運動資訊；基於所述運動資訊，執行當前視頻塊與包括所述當前視頻塊的視頻資料的位元流表示之間的轉換。
如申請專利範圍第1項所述的方法，其中，所述N和/或所述表中允許的運動候選的最大數量是預定義的。
如申請專利範圍第1項所述的方法，其中，所述表的尺寸是在視頻參數集、序列參數集、圖片參數集、條帶頭或片頭中的一個或多個中信號通知的。
如申請專利範圍第1項所述的方法，其中，所述表的尺寸是在與編碼樹單元或編碼樹塊單元或編碼單元或預測單元中的一個或多個相對應的位元欄位中信號通知的。
如申請專利範圍第1項所述的方法，其中，所述N與所述表中允許的運動候選的最大數量的至少一個取決於以下中的至少一個：i)條帶類型，ii)圖片的時間層索引，或iii)一個條帶與最接近所述條帶的幀內條帶之間的圖片順序計數(POC)距離。
如申請專利範圍第1項所述的方法，其中，所述N為對一個條帶中的視頻塊進行處理時所需表的數量，並且其中，N等於K*P，其中，K是表示每一解碼執行緒的表的整數，並且P是表示視頻資料的條帶中的最大編碼單元(LCU)行的數量或片的數量的整數。
如申請專利範圍第1項所述的方法，其中，所述N為對一個條帶中的視頻塊進行處理時所需表的數量，並且其中當每個LCU行使用單個所述表時，N等於P，並且P是表示視頻資料的條帶中的最大編碼單元行的數量或片的數量的整數。
如申請專利範圍第1項所述的方法，其中，所述N與所述表中允許的運動候選的最大數量中的至少一個基於序列解析度、最大編碼單元(LCU)尺寸、或Merge或高級運動向量預測(AMVP)候選列表的尺寸。
如申請專利範圍第1項所述的方法，其中，所述表的尺寸不被信號通知。
如申請專利範圍第1項所述的方法，其中，所述表的尺寸與Merge候選列表中的Merge候選的最大數量相同。
如申請專利範圍第1項所述的方法，其中，所述表的尺寸與通過從Merge候選列表中的Merge候選的最大數量減去某個值而獲得的尺寸相同。
如申請專利範圍第11項所述的方法，其中，所述某個值表示在構造Merge候選列表期間訪問了多少空間或時間相鄰塊。
一種用於視頻處理的方法，包括：接收包括當前視頻塊的視頻資料的位元流表示；以及基於N個表來處理所述位元流表示，其中，所述N為正整數，所述表的尺寸對應於所述表中允許的運動候選的最大數量，所述N個表中允許的運動候選的最大數量相同，並且所述表包括的運動候選推導自當前視頻塊之前被處理的視頻塊；其中，基於N個表來處理所述位元流表示，包括：為當前視頻塊推導運動資訊，其中，在運動候選列表構建過程中，所述N個表中的一個或多個表的一個或多個候選被加入到所述運動候選列表中，所述運動候選列表構建過程用於為所述當前視頻塊推導運動資訊；基於所述運動資訊，解碼所述當前視頻塊。
如申請專利範圍第13項所述的方法，其中，所述N和所述表中允許的運動候選的最大數量中的至少一個基於序列解析度、最大編碼單元(LCU)尺寸、或Merge或高級運動向量預測(AMVP)候選列表的尺寸。
如申請專利範圍第13項所述的方法，其中，所述表的尺寸不被信號通知。
如申請專利範圍第13項所述的方法，其中，所述表的尺寸等於Merge候選列表中的Merge候選的最大數量。
如申請專利範圍第13項所述的方法，其中，所述表的尺寸是通過從Merge候選列表中的Merge候選的最大數量減去固定值而獲得的。
如申請專利範圍第17項所述的方法，其中，所述固定值基於在構造Merge候選列表或AMVP候選列表期間訪問的時間或空間相鄰塊的數量。
如申請專利範圍第13項所述的方法，其中，所述N個表中允許的運動候選的最大數量是相同的。
如申請專利範圍第13項所述的方法，其中，所述N個表中，至少一些表具有與其他表中的任何一個表的尺寸不同的尺寸。
如申請專利範圍第13項所述的方法，其中，所述N和所述表中允許的運動候選的最大數量是預定義的。
如申請專利範圍第13項所述的方法，其中，所述表的尺寸是在視頻參數集、序列參數集、圖片參數集、條帶頭或片頭中的一個或多個中信號通知的。
如申請專利範圍第13項所述的方法，其中，所述表的尺寸是在與編碼樹單元、編碼樹塊單元、編碼單元或預測單元中的一個或多個相對應的位元欄位中信號通知的。
如申請專利範圍第13項所述的方法，其中，所述N和所述表中允許的運動候選的最大數量中的至少一個取決於以下中的至少一個：i)條帶類型，ii)圖片的時間層索引，或iii)一個條帶與最接近所述條帶的幀內條帶之間的圖片順序計數(POC)距離。
如申請專利範圍第13項所述的方法，其中，所述N為對一個條帶中的視頻塊進行處理時所需表的數量，並且其中，N等於K*P，其中，K是表示每一解碼執行緒的表的整數，並且P是表示視頻資料的條帶中的最大編碼單元行的數量或片的數量的整數。
如申請專利範圍第13項所述的方法，其中，所述N為對一個條帶中的視頻塊進行處理時所需表的數量，並且其中，當每個LCU行使用單個表時N等於P，並且P是表示視頻資料的條帶中的最大編碼單元行的數量或片的數量的整數。
如申請專利範圍第1-26項中任一項所述的方法，其中，執行轉換包括從當前視頻塊生成位元流表示。
如申請專利範圍第1-26項中任一項所述的方法，其中，執行轉換包括從位元流表示生成當前視頻塊。
如申請專利範圍第1-26項中任一項所述的方法，其中，所述表中的運動候選與運動資訊相關聯，其中所述運動資訊包括以下中的至少一個：預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌、運動向量差精度或運動向量差值。
如申請專利範圍第1-26項中任一項所述的方法，其中，所述方法還包括：基於所述當前視頻塊的運動資訊來更新所述N個表中的一個或多個表。
如申請專利範圍第30項所述的方法，進一步包括：基於所更新的表來執行視頻資料的後續視頻塊與視頻資料的位元流表示之間的轉換。
一種視頻系統中的裝置，包括處理器和其上具有指令的非暫時性儲存器，其中，所述指令在由處理器運行時使得處理器實現如申請專利範圍第1-31項中的任一項所述的方法。
一種電腦可讀儲存介質，所述電腦可讀儲存介質用於儲存程式碼，其中所述程式碼由電腦執行時，所述電腦實現如申請專利範圍第1-31項中任一項所述的方法。
一種儲存在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行如申請專利範圍第1-31項中的任一項所述的方法的程式碼。