TWI839388B

TWI839388B - 簡化的基於歷史的運動矢量預測

Info

Publication number: TWI839388B
Application number: TW108134498A
Authority: TW
Inventors: 張莉; 張凱; 劉鴻彬; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-09-24
Filing date: 2019-09-24
Publication date: 2024-04-21
Also published as: WO2020065518A1; TWI818086B; US20210037240A1; GB2591906B; GB2591906A; TW202037159A; WO2020065517A1; US11202065B2; CN110944170B; TW202037170A; US20210037256A1; CN110944193B; US20230300322A1; CN110944170A; US11616945B2; CN110944196A; GB202104139D0; CN110944193A; WO2020065520A2; CN110944196B

Abstract

本申請文件涉及簡化的基於歷史的運動矢量預測。公開了一種視頻編碼或解碼方法，包括：使用基於歷史的運動矢量預測（HMVP），在包括視頻的當前塊的多個視頻塊和所述多個視頻塊的位元流表示之間進行轉換，使得對於使用單個參考圖片進行運動補償的單向預測塊，避免更新該單向預測塊的HMVP候選的查找表。所述視頻編碼或解碼方法還包括使用所述多個視頻塊的查找表執行所述轉換。

Description

簡化的基於歷史的運動矢量預測

本申請文件涉及視頻編碼及解碼技術、設備和系統。

[相關申請的交叉引用]

本申請及時要求於2018年9月24日提交的國際專利申請號PCT/CN2018/107178的優先權和利益。將國際專利申請號PCT/CN2018/107178的全部公開以引用方式並入本文，作為本申請公開的一部分。

儘管視頻壓縮有所進步，數位視頻在互聯網和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接用戶設備數量的增加，預計數位視頻使用的頻寬需求將繼續增長。

本文件公開了使用運動矢量的Merge列表對數位視頻編碼和解碼的方法、系統和設備。

在一個示例的方面，公開了一種視頻處理方法。該方法包括在包括多個塊的視頻的視頻塊與所述視頻的位元流表示之間的轉換之後，通過用於所述轉換的預測方向，確定是否滿足一個或多個基於歷史的運動矢量預測(HMVP)表的更新規則；以及基於所述確定來選擇性地更新所述一個或多個HMVP表。

在另一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中使用第一運動信息精度來儲存HMVP候選，所述第一運動信息精度低於未被儲存在所述一個或多個表中的運動候選所使用的第二運動信息精度；以及在所述視頻的當前塊和當前塊的編解碼表示之間執行轉換，其中在所述轉換期間使用所述一個或多個表。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中根據至少基於所述HMVP候選所參考的參考圖片的條件的規則來儲存所述一個或多個表中的HMVP候選；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；在所述視頻的當前塊與該當前塊的編解碼表示之間執行轉換；從所述一個或多個表中的HMVP候選中選擇HMVP候選；以及使用應用於所述HMVP候選以及該視頻的當前塊的運動信息的基於哈希表的修剪，更新所述一個或多個表。

在又一示例的方面，公開了一種視頻處理的方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；使用廣義雙向預測(GBi，也被稱作為具有CU級別權重的雙向預測BCW)模式來執行所述視頻的當前塊與當前塊的編解碼表示之間的轉換，其中，在GBi模式下，使用雙向預測步驟對當前塊編解碼，並且其中，將編解碼單元(CU)級權重分配給從雙向預測步驟生成的預測塊；以及僅使用當前塊的參考圖片信息和運動信息來更新所述一個或多個表，從而排除將當前塊的權重儲存在所述一個或多個表中。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；使用廣義雙向預測(GBi)模式執行所述視頻的當前塊與當前塊的編解碼表示之間的轉換，其中，在GBi模式下，使用雙向預測步驟對當前塊編解碼，並且其中，將編解碼單元(CU)級權重分配給從雙向預測步驟生成的預測塊；以及至少用當前塊的權重來更新所述一個或多個表。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及執行視頻的當前塊與當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表，其中通過比較當前塊的N對運動信息來生成組合的雙向預測Merge候選，並且其中N小於12。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及執行視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表，其中通過比較當前塊的多對運動信息來生成組合的雙向預測Merge候選，並且其中僅使用某種類型的Merge候選來生成雙向預測Merge候選。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；從HMVP候選生成多個Merge候選；以及執行視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所生成的Merge候選。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和時空運動矢量預測來構造運動候選列表；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和成對平均候選(PAC)來構造運動候選列表；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

在又一示例的方面，公開了一種視頻處理方法。該方法包括基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和仿射運動候選來構造運動候選列表；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

在又一示例的方面，公開了一種實現本文描述的視頻編碼方法的視頻編碼器設備。

在又一個代表性方面，本文所述的各種技術可以實施為儲存在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式代碼。

在又一個代表性方面，視頻解碼器裝置可以實現如本文所述的方法。

在附件、附圖和下面的描述中闡述了一個或多個實現的細節。其它特徵將從說明書和附圖以及申請專利範圍書中顯而易見。

2800:裝置

2802:處理器

2804:儲存器

2806:視頻處理硬體

2900、3000、3300、3400、3500、3700、3800、3900、4000、4100、4200、4300、4400、4500、4600、4700、4800:方法

2902、2904、2906、3002、3004、3302、3304、3402、3404、3406、3502、3504、3506、3702、3704、3802、3804、3902、3904、4002、4004、4006、4008、4102、4104、4106、4202、4204、4206、4302、4304、4402、4404、4502、4504、4506、4602、4604、4606、4702、4704、4706、4802、4804、4806:步驟

3600:系統

3602:輸入

3604、3606、3608:部件

3610:顯示介面

tb、td、TD0、TD1:距離

圖1是示出視頻編碼器實現的示例的方塊圖。

圖2圖示了H.264視頻編解碼標準中的巨集塊分割。

圖3圖示了將編解碼塊(CB)劃分成預測塊(PB)的示例。

圖4圖示了將編解碼樹塊(CTB)細分成CB和轉換塊(TB)的示例實現。實線表示CB邊界，且虛線表示TB邊界，包括帶分割的示例CTB和相應的四叉樹。

圖5A示出了通過使用QTBT的塊分割的示例。

圖5B示出了圖5A的對應樹表示。

圖6示出了視頻塊分割的示例。

圖7示出了四叉樹分割的示例。

圖8示出了樹型信令的示例。

圖9示出了Merge候選列表構造的推導過程的示例。

圖10示出了空間Merge候選的示例位置。

圖11示出了對於空間Merge候選的冗餘檢查考慮的候選對的示例。

圖12(a)和圖12(b)示出了Nx2N和2NxN分割的第二個PU的位置的示例。

圖13圖示了時間Merge候選的示例運動矢量縮放。

圖14示出了時間Merge候選的候選位置以及它們的共位圖片。

圖15A示出了與組合的雙向預測Merge候選有關的原始Merge候選列表的示例。

圖15B示出了從圖15A的原始列表生成的Merge候選列表的示例。

圖16示出了運動矢量預測候選的推導過程的示例。

圖17示出了空間運動矢量候選的運動矢量縮放的示例。

圖18示出了編解碼單元(CU)的運動預測的示例可選時間運動矢量預測(ATMVP)。

圖19圖示地描繪了源塊和源圖片的識別的示例。

圖20示出了具有四個子塊和相鄰塊的一個CU的示例。

圖21圖示了雙邊匹配的示例。

圖22圖示了模板匹配的示例。

圖23描繪了幀速率上轉換(FRUC)中的單邊運動估計(ME)的示例。

圖24示出了基於雙邊模板匹配的解碼器側運動矢量細化(DMVR)的示例。

圖25示出了用於推導空間Merge候選的空間相鄰塊的示例。

圖26示出了非子塊STMVP(時空運動矢量預測)的示例，其中當前塊的寬度和高度分別由nPbW和nPbH表示。

圖27示出了平面運動矢量預測的示例。

圖28是用於實現本文件中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的方塊圖。

圖29是視頻位元流處理的示例方法的流程圖。

圖30是視頻位元流處理的另一示例方法的流程圖。

圖31示出了具有所提出的HMVP(基於歷史的運動矢量預測)方法的解碼流程圖的示例。

圖32示出了使用示例的HMVP方法來更新表的示例。

圖33是用於視頻處理的示例方法的流程圖。

圖34是用於視頻處理的示例方法的流程圖。

圖35是用於視頻處理的示例方法的流程圖。

圖36是其中可以實現所公開的技術的示例視頻處理系統的方塊圖。

圖37是用於視頻處理的示例方法的流程圖。

圖38是用於視頻處理的示例方法的流程圖。

圖39是用於視頻處理的示例方法的流程圖。

圖40是用於視頻處理的示例方法的流程圖。

圖41是用於視頻處理的示例方法的流程圖。

圖42是用於視頻處理的示例方法的流程圖。

圖43是用於視頻處理的示例方法的流程圖。

圖44是用於視頻處理的示例方法的流程圖。

圖45是用於視頻處理的示例方法的流程圖。

圖46是用於視頻處理的示例方法的流程圖。

圖47是用於視頻處理的示例方法的流程圖。

圖48是用於視頻處理的示例方法的流程圖。

為了提高視頻的壓縮比，研究人員不斷尋找新的技術來編解碼視頻。本文件提供了視頻位元流的解碼器可以使用的各種技術，以改善解壓縮或解碼的數位視頻的質量。此外，視頻編碼器還可以在編碼過程期間實現這些技術，以便重構解碼幀用於進一步的編碼。

在本文件中使用章節標題來提高可讀性，並且不將每個章節中描述的技術和實施例的範圍僅限於該章節。此外，儘管使用了來自各種現有視頻編解碼器標準的某些術語，但是所公開的技術不僅限於這些視頻標準或其繼任者，而是可應用於其他視頻編解碼器標準。此外，在某些情況下，使用相應的編解碼步驟公開了技術，並且將理解的是，在解碼器處，將以相反的順序執行相應的解碼步驟。另外，編解碼還可用於執行轉碼，其中將視頻從一個編解碼表示(例如，一種位元率)表示為另一種編解碼表示(例如，不同的位元率)。

1.介紹

本文件與視頻編解碼技術相關。具體地，與視頻編解碼中的運動信息編解碼(例如Merge模式、AMVP模式)相關。其可應用於現有的視頻編解碼標準HEVC，或待最終確定的標準多功能視頻編解碼(VVC)。也可能適用於未來的視頻編解碼標準或視頻編解碼器。

簡要討論

視頻編解碼標準主要是通過開發公知的ITU-T和ISO/IEC標準而發展起來的。ITU-T開發了H.261和H.263，ISO/IEC開發了MPEG-1和MPEG-4視覺，並且兩個組織聯合開發了H.262/MPEG-2視頻、H.264/MPEG-4高級視頻編解碼(AVC)和H.265/HEVC標準。自H.262以來，視頻編解碼標準基於混合視頻編解碼結構，其中采用了時間預測加變換編解碼。典型HEVC編碼器框架的示例如圖1所示。

2.1 分割結構

2.1.1 H.264/AVC中的分割樹結構

先前標準中編解碼層的核心是巨集塊，包含16×16的亮度樣本塊，並且在常規的4：2：0顏色采樣情況下，包含兩個對應的8×8的彩度樣本塊。

內部編解碼塊使用空間預測來探索像素之間的空間相關性。定義了兩種分割：16x16和4x4。

幀間編解碼塊通過估計圖片之間的運動來使用時間預測，而不是空間預測。可以單獨估計16x16巨集塊或其任何子巨集塊分割的運動：16x8、8x16、8x8、8x4、4x8、4x4(見圖2)。每個子巨集塊分割只允許一個運動矢量(MV)。

2.1.2 HEVC中的分割樹結構

在HEVC中，通過使用表示為編解碼樹的四叉樹結構將CTU劃分成CU來適應各種局部特性。在CU級別決定是使用幀間(時間)預測還是幀內(空間)預測對圖片區域進行編解碼。根據PU的分割類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中，應用相同的預測處理，並且相關信息以PU為基礎傳輸到解碼器。在基於PU分割類型通過應用預測處理獲得殘差塊後，可以根據與CU的編解碼樹相似的另一個四叉樹結構將CU分割成變換單元(TU)。HEVC結構的一個重要特徵是它具有多個分割概念，包括CU、PU以及TU。

在下文中，使用HEVC的混合視頻編解碼中涉及的各種特徵突出顯示如下。

1)編解碼樹單元和編解碼樹塊(CTB)結構：HEVC中的類似結構是編解碼樹單元(CTU)，其具有由編碼器選擇並且可以大於傳統的巨集塊的尺寸。CTU由亮度CTB和相應的彩度CTB以及語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支持使用樹結構和四叉樹式信令將CTB分割為更小的塊。

2)編解碼單元(CU)和編解碼塊(CB)：CTU的四叉樹語法規定了其亮度和彩度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB支持的最大尺寸。CTU的亮度和彩度CB的劃分是聯合發信令的。一個亮度CB和通常兩個彩度CB以及相關的語法一起形成編解碼單元(CU)。CTB 可以只包含一個CU，也可以劃分形成多個CU，並且每個CU都有一個相關的分割，分割成預測單元(PU)和轉換單元樹(TU)。

3)預測單元(PU)和預測塊(PB)：在CU級別決定是使用幀間預測還是幀內預測對圖片區域進行編解碼。PU分割結構的根位於CU級。取決於基本的預測類型決定，可以在尺寸上進一步劃分亮度和彩度CB，並從亮度和彩度預測塊(PB)中預測亮度和彩度CB。HEVC支持從64×64到4×4個樣本的可變PB尺寸。圖3示出了MxM CU的允許PB示例。

4)變換單元(TU)和變換塊(TB)：使用塊變換對預測殘差進行編解碼。TU樹結構的根位於CU級。亮度CB殘差可能與亮度TB相同，或者也可能進一步劃分成更小的亮度變換塊TB。同樣適用於彩度TB。對於4×4、8×8、16×16和32×32的方形TB定義了與離散余弦變換(DCT)相似的整數基函數。對於亮度幀內預測殘差的4×4變換，也可以指定從離散正弦變換(DST)形式推導的整數變換。

圖4示出了將CTB細分成CB(和轉換塊(TB))的示例。實線指示CB邊界，並且虛線指示TB邊界。(a)帶分割的CTB。(b)對應的四叉樹。

2.1.2.1 分割成變換塊和單元的樹形結構分割

對於殘差編解碼，CB可以遞迴地分割為轉換塊(TB)。分割由殘差四叉樹發信令。只指定了方形CB和TB分割，其中塊可以遞迴地劃分為四象限，如圖4所示。對於尺寸為M×M的給定的亮度CB，標志指示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分，如序列參數集(SPS)中指示的殘差四叉樹的最大深度所指示的那樣，每個象限都會分配一個標志，指示是否將其劃分為四個象限。由殘差四叉樹生成的葉節點塊是由變換編解碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，則暗示劃分。當劃分將導致比指示的最小值更小的亮度TB尺寸時，則暗示不劃分。彩度TB尺寸在每個維度上是亮度TB尺寸的一半，但當亮度TB尺寸為4×4時除外，在這種情況下，被四個4×4亮度TB覆蓋的區域使用單個4×4彩度TB。在幀內預測的CU的情況下，最近相鄰TB(CB內或CB外)的解碼樣本用作幀內預測的參考數據。

與以前的標準不同，對於幀間預測的CU，HEVC設計允許TB跨越多個PB，以最大化得益於四叉樹結構的TB分割的潛在編解碼效率。

2.1.2.2 父節點和子節點

根據四叉樹結構對CTB進行劃分，其節點為編解碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(即，葉節點不會進一步劃分)。非葉節點包括樹結構的根節點。根節點對應於視頻數據的初始視頻塊(例如，CTB)。對於多個節點的每個各自的非根節點，各自的非根節點對應於視頻塊，該視頻塊是對應於各自非根節點的樹結構中的父節點的視頻塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。

2.1.3 聯合探索模型(JEM)中具有較大CTU的四叉樹加二叉樹塊結構

為探索HEVC之外的未來視頻編解碼技術，VCEG和MPEG於2015年共同成立了聯合視頻探索團隊(JVET)。從那時起，JVET采用了許多新的方法，並將其應用到了名為聯合探索模型(JEM)的參考軟體中。

2.1.3.1 QTBT塊分割結構

與HEVC不同，QTBT結構消除了多個分割類型的概念，即，其消除了CU、PU和TU概念的分離，並支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以是方形或矩形。如圖5A和5B所示，首先用四叉樹結構對編解碼樹單元(CTU)進行分割。四叉樹葉節點進一步被二叉樹結構分割。在二叉樹劃分中有兩種分割類型：對稱的水平劃分和對稱的垂直劃分。二叉樹葉節點被稱為編解碼單元(CU)，該劃分用於預測和轉換處理，而無需進一步分割。這意味著在QTBT編解碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編解碼塊(CB)組成，例如，在4：2：0彩度格式的P條帶和B條帶中，一個CU包含一個亮度CB和兩個彩度CB，並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個彩度CB。

為QTBT分割方案定義了以下參數。

-CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同。

-MiNQTSize：最小允許的四叉樹葉節點尺寸

-MaxBTSize：最大允許的二叉樹根節點尺寸

-MaxBTDePTh：最大允許的二叉樹深度

-MiNBTSize：最小允許的二叉樹葉節點尺寸

在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64彩度樣本塊的128×128個亮度樣本，MiNQTSize被設置為16×16，MaxBTSize被設置為64×64，MiNBTSize(寬度和高度)被設置為4×4，MaxBTSize被設置為4。四叉樹分割首先應用於CTU，以生成四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16(即，MiNQTSize)到128×128(即，CTU尺寸)的尺寸。如果葉四叉樹節點是128×128，則其不會被二叉樹進一步劃分，因為其尺寸超過了MaxBTSize(即，64×64)。否則，葉四叉樹節點可以被二叉樹進一步分割。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh(即，4)時，不考慮進一步劃分。當二叉樹節點的寬度等於MiNBTSize(即，4)時，不考慮進一步的水平劃分。同樣，當二叉樹節點的高度等於MiNBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而不需要進一步的分割。在JEM中，最大CTU尺寸為256×256個亮度樣本。

圖5A圖示了通過使用QTBT進行塊分割的示例，圖5B圖示了相應的樹表示。實線表示四叉樹分割，並且虛線表示二叉樹分割。在二叉樹的每個劃分(即，非葉)節點中，會對一個標志發信令來指示使用哪種分割類型(即，水平或垂直)，其中0表示水平劃分，1表示垂直劃分。對於四叉樹分割，不需要指明分割類型，因為四叉樹分割總是水平和垂直劃分一個塊，以生成尺寸相同的4個子塊。

此外，QTBT方案支持亮度和彩度具有單獨的QTBT結構的能力。目前，對於P條帶和B條帶，一個CTU中的亮度和彩度CTB共享相同的QTBT結構。然而，對於I條帶，用QTBT結構將亮度CTB分割為CU，用另一個QTBT結構將彩度CTB分割為彩度CU。這意味著I條帶中的CU由亮度分量的編解碼塊或兩個彩度分量的編解碼塊組成，P條帶或B條帶中的CU由所有三種顏色分量的編解碼塊組成。

在HEVC中，為了減少運動補償的內存存取，限制小塊的幀間預測，使得4×8和8×4塊不支持雙向預測，並且4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被移除。

2.1.4 多功能視頻編解碼(VVC)的三叉樹

在一些實現中，也支持四叉樹和二叉樹以外的樹類型。在實現中，引入了兩個額外的三叉樹(TT)劃分，即，水平和垂直中心側三叉樹，如圖6(d)和(e)所示。

圖6示出了：(a)四叉樹分割，(b)垂直二叉樹分割(c) 水平二叉樹分割(d)垂直中心側三叉樹分割，和(e)水平中心側三叉樹分割。

例如，可以有兩個層次的樹：區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先用區域樹(RT)對CTU進行劃分。可以進一步用預測樹(PT)劃分RT葉。也可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本的編解碼單元。為了方便起見，它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構被稱為“多類型樹”。

2.1.5 分割結構

被稱為多樹型(MTT)的樹結構是QTBT的廣義化。在QTBT中，如圖7所示，首先用四叉樹結構對編解碼樹單元(CTU)進行劃分。然後用二叉樹結構對四叉樹葉節點進行進一步劃分。

MTT的基本結構由兩種類型的樹節點組成：區域樹(RT)和預測樹(PT)，支持九種類型的劃分，如圖7所示。

圖8圖示了：(a)四叉樹分割，(b)垂直二叉樹分割，(c)水平二叉樹分割，(d)垂直三叉樹分割，(e)水平三叉樹分割，(f)水平向上非對稱二叉樹分割，(g)水平向下非對稱二叉樹分割，(h)垂直的左非對稱二叉樹分割，和(i)垂直的右非對稱二叉樹分割。

區域樹可以遞迴地將CTU劃分為方形塊，直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上，可以從三種樹類型中的一種形成預測樹：二叉樹(BT)、三叉樹(TT)和非對稱二叉樹(ABT)。在PT劃分中，禁止在預測樹的分支中進行四叉樹分割。和JEM一樣，亮度樹和彩度樹在I條帶中被分開。RT和PT的信令方法如圖8所示。

2.2 HEVC/H.265中的幀間預測

每個幀間預測的PU具有一個或兩個參考圖片列表的運動參數。運動參數包括運動矢量和參考圖片索引。對兩個參考圖片列表中的一個的使用也可以使用inter_pred_idc來信令通知。運動矢量可以相對於預測顯式地編解碼為增量，這種編解碼模式稱為高級運動矢量預測(AMVP)模式。

當CU采用跳躍模式編解碼時，一個PU與CU相關聯，並且沒有顯著的殘差係數、沒有編解碼的運動矢量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU(包括空間和時間候選)中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中運動矢量、每個參考圖片列表對應的參考圖片索引和參考圖片列表的使用都會在每個PU中顯式地用信令通知。

當信令指示要使用兩個參考圖片列表中的一個時，從一個樣本塊中生成PU。這被稱為“單向預測”。單向預測對P條帶和B條帶都可用。

當信令指示要使用兩個參考圖片列表時，從兩個樣本塊中生成PU。這被稱為“雙向預測”。雙向預測僅對B條帶可用。

下文提供HEVC中規定的幀間預測模式的細節。描述將從Merge模式開始。

2.2.1 Merge模式

2.2.1.1Merge模式的候選的推導

當使用Merge模式預測PU時，從位元流分析指向Merge候選列表中條目的索引，並用於檢索運動信息。該列表的結構在HEVC標準中有規定，並且可以按照以下步驟順序進行概括：

步驟1：初始候選推導

步驟1.1：空間候選推導

步驟1.2：空間候選的冗餘檢查

步驟1.3：時間候選推導

步驟2：附加候選插入

步驟2.1：雙向預測候選的創建

步驟2.2：零運動候選的插入

在圖9中也示意性描述了這些步驟。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時間Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到條帶標頭中發信令的最大Merge候選數(MaxNumMergeCand)時，生成附加的候選。由於候選數是恆定的，所以最佳Merge候選的索引使用截斷的一元二值化(TU)進行編碼。如果CU的大小等於8，則當前CU的所有PU都共享一個Merge候選列表，這與2N×2N預測單元的Merge候選列表相同。

下面詳細介紹與上述步驟相關的操作。

2.2.1.2 空間候選推導

在空間Merge候選的推導中，在位於圖10所示位置的候選中最多選擇四個Merge候選。推導順序為A1、B1、B0、A0和B2。只有當位置A1、B1、B0、A0的任何PU不可用(例如，因為它屬另一個條帶或片)或是內部編解碼時，才考慮位置B2。在增加A1位置的候選後，對其餘候選的增加進行冗餘檢查，其確保具有相同運動信息的候選被排除在列表之外，從而提高編解碼效率。為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖11中的箭頭鏈接的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動信息時，才將候選添加到列表中。複製運動信息的另一個來源是與2N×2N不同的分區相關的“第二PU”。例如，圖12(a)和12(b)分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表建構不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動信息的預測單元，這對於在編解碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1。

2.2.1.3 時間候選推導

在此步驟中，只有一個候選添加到列表中。特別地，在這個時間Merge候選的推導中，基於與給定參考圖片列表中當前圖片具有最小圖片順序計數POC差異的共位PU推導了縮放運動矢量。用於推導共位PU的參考圖片列表在條帶標頭中顯式地發信令。圖13中的虛線示出了時間Merge候選的縮放運動矢量的獲得，其使用POC距離tb和td從共位PU的運動矢量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為共位圖片的參考圖片與共位圖片之間的POC差異。時間Merge候選的參考圖片索引設置為零。縮放處理的實際處理在HEVC規範中描述。對於B條帶，得到兩個運動矢量(一個是對於參考圖片列表0，另一個是對於參考圖片列表1)並將其組合使其成為雙向預測Merge候選。圖示用於時間Merge候選的運動矢量縮放。

在屬參考幀的共位PU(Y)中，在候選C₀和C₁之間選擇時間候選的位置，如圖14所示。如果位置C₀處的PU不可用、內部編解碼或在當前CTU之外，則使用位置C₁。否則，位置C₀被用於時間Merge候選的推導。

2.2.1.4 附加候選插入

除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。例如，圖15A和15B示出了在左側的原始列表以及在右側的Merge候選列表。圖15A和15B示出了原始列表中(在左側)的兩個候選被用於創建添加到最終列表(在右側)中的組合雙向預測Merge候選的情況，其具有MvL0和refIdxL0或MvL1和refIdxL1的兩個候選。有許多關於組合的規則需要考慮以生成這些附加Merge候選。

插入零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到列表中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。最後，對這些候選不執行冗餘檢查。

2.2.1.5 並列處理的運動估計區域

為了加快編碼處理，可以並列執行運動估計，從而同時推導給定區域內所有預測單元的運動矢量。從空間鄰域推導Merge候選可能會干擾並列處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編解碼效率和處理延遲之間的平衡，HEVC定義了運動估計區域(MER)，可使用例如語法元素“log2_parallel_merge_level_minus2”在圖片參數集中對MER的尺寸中進行信令通知。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表建構中不考慮。

7.3.2.3 圖片參數設置原始字節序列有效載荷(RBSP) 語法

7.3.2.3.1 通用圖片參數集RBSP語法

log2_parallel_Merge_level_MiNus2加2指定變量Log2ParMrgLevel的值，該變量用於第8.5.3.2.2條中規定的Merge模式亮度運動矢量的推導過程，以及第8.5.3.2.3條中規定的空間Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變量Log2ParMrgLevel推導如下：Log2ParMrgLevel=log2_parallel_Merge_level_MiNus2+2 (7-37)

注釋3-Log2ParMrgLevel的值表示Merge候選列表並列推導的內置功能。例如，當Log2ParMrgLevel等於6時，可以並列推導64x64 塊中包含的所有預測單元(PU)和編解碼單元(CU)的Merge候選列表。

2.2.2 AMVP模式中的運動矢量預測

運動矢量預測利用運動矢量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時間相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零矢量以使候選列表長度恆定來建構運動矢量候選列表。然後，編碼器可以從候選列表中選擇最佳的預測，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動矢量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2(例如，圖2至圖8)。在下面的章節中，將詳細介紹運動矢量預測候選的推導過程。

2.2.2.1 運動矢量預測候選的推導

圖16概括了運動矢量預測候選的推導過程。

在運動矢量預測中，考慮了兩種類型的運動矢量候選：空間運動矢量候選和時間運動矢量候選。對於空間運動矢量候選的推導，基於位於圖11所示的五個不同位置的每個PU的運動矢量最終推導兩個運動矢量候選。

對於時間運動矢量候選的推導，從兩個候選中選擇一個運動矢量候選，這兩個候選是基於兩個不同的共位位置推導的。在作出第一個空時候選列表後，移除列表中重複的運動矢量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片列表中參考圖片索引大於1的運動矢量候選。如果空時運動矢量候選數小於二，則會在列表中添加附加的零運動矢量候選。

2.2.2.2 空間運動矢量候選

在推導空間運動矢量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自圖11所描繪位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A₀、A₁、以及縮放的A₀、縮放的A₁。當前PU上面的推導順序定義為B₀、B₁,B₂、縮放的B₀、縮放的B₁、縮放的B₂。因此，每側有四種情況可以用作運動矢量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：--無空間縮放

(1)相同的參考圖片列表，並且相同的參考圖片索引(相同的POC)

(2)不同的參考圖片列表，但是相同的參考圖片(相同的POC)

--空間縮放

(3)相同的參考圖片列表，但是不同的參考圖片(不同的POC)

(4)不同的參考圖片列表，並且不同的參考圖片(不同的POC)

首先檢查無空間縮放的情況，然後檢查空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是內部編解碼，則允許對上述運動矢量進行縮放，以幫助左側和上方MV候選的並列推導。否則，不允許對上述運動矢量進行空間縮放。

在空間縮放處理中，相鄰PU的運動矢量以與時間縮放相似的方式縮放，如圖17所示。主要區別在於，給出了當前PU的參考圖片列表和索引作為輸入，實際縮放處理與時間縮放處理相同。

2.2.2.3 時間運動矢量候選

除了參考圖片索引的推導外，時間Merge候選的所有推導過程與空間運動矢量候選的推導過程相同(參見例如圖6)。向解碼器信令通知參考圖片索引。

2.2.2.4 AMVP信息的信令

對於AMVP模式，可以在位元流對四個部分發信令，包括預測方向、參考索引、MVD和MV預測候選索引。

語法表：

7.3.8.9 運動矢量差語法

2.3 聯合探索模型(JEM)中新的幀間預測方法

2.3.1 基於子CU的運動矢量預測

在具有QTBT的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。通過將大的CU分割成子CU並推導該大CU的所有子CU的運動信息，編碼器中考慮了兩種子CU級的運動矢量預測方法。可選時間運動矢量預測(ATMVP)方法允許每個CU從多個小於共位參考圖片中當前CU的塊中獲取多組運動信息。在空時運動矢量預測(STMVP)方法中，通過利用時間運動矢量預測和空間鄰接運動矢量遞迴地推導子CU的運動矢量。

為了為子CU運動預測的保持更精確的運動場，當前禁用參考幀的運動壓縮。

2.3.1.1 可選時間運動矢量預測

在可選時間運動矢量預測(ATMVP)方法中，運動矢量時間運動矢量預測(TMVP)是通過從小於當前CU的塊中提取多組運動信息(包括運動矢量和參考索引)來修改的。如圖18所示，子CU為方形N×N塊(默認N設置為4)。

ATMVP分兩步預測CU內的子CU的運動矢量。第一步是用所謂的時間矢量識別參考圖中的對應塊。參考圖片稱為運動源圖片。第二步是將當前CU劃分成子CU，並從每個子CU對應的塊中獲取運動矢量以及每個子CU的參考索引，如圖18所示。

在第一步中，參考圖片和對應的塊由當前CU的空間相鄰塊的運動信息確定。為了避免相鄰塊的重複掃描處理，使用當前CU的Merge候選列表中的第一個Merge候選。第一個可用的運動矢量及其相關聯的參考索引被設置為時間矢量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊(有時稱為共位塊)始終位於相對於當前CU的右下角或中心位置。在一個示例中，如果第一個Merge候選來自左相鄰塊(即，圖19中的A1)，則使用相關的MV和參考圖片來識別源塊和源圖片。

圖19示出了源塊和源圖片的識別的示例。

在第二步中，通過將時間矢量添加到當前CU的坐標中，通過運動源圖片中的時間矢量識別子CU的對應塊。對於每個子 CU，使用其對應塊的運動信息(覆蓋中心樣本的最小運動網格)來推導子CU的運動信息。在識別出對應N×N塊的運動信息後，將其轉換為當前子CU的運動矢量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器檢查是否滿足低延遲條件(即，當前圖片的所有參考圖片的POC都小於當前圖片的POC)，並可能使用運動矢量MV_x(與參考圖片列表X對應的運動矢量)來為每個子CU預測運動矢量MV_y(X等於0或1且Y等於1-X)。

2.3.1.2 空時運動矢量預測

在這種方法中，子CU的運動矢量是按照光柵掃描順序遞迴推導的。圖20圖示了這一概念。考慮一個8×8的CU，它包含四個4×4的子CU A、B、C和D。當前幀中相鄰的4×4的塊標記為a、b、c和d。

子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A上方的N×N塊(塊c)。如果該塊c不可用或內部編解碼，則檢查子CU A上方的其它N×N塊(從左到右，從塊c處開始)。第二個鄰居是子CU A左側的一個塊(塊b)。如果塊b不可用或是內部編解碼，則檢查子CU A左側的其它塊(從上到下，從塊b處開始)。每個列表從相鄰塊獲得的運動信息被縮放到給定列表的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推導子塊A的時間運動矢量預測(TMVP)。提取位置D處的共位塊的運動信息並進行相應的縮放。最後，在檢索和縮放運動信息後，對每個參考列表分別平均所有可用的運動矢量(最多3個)。將平均運動矢量指定為當前子CU的運動矢量。

圖20示出了具有四個子塊(A-D)及其相鄰塊(a-d)的一個CU的示例。

2.3.1.3 子CU運動預測模式信令通知

子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P條帶或B條帶中的每個CU，需要對兩個附加Merge候選進行兩次額外的RD檢查。

在JEM中，Merge索引的所有bin文件都由CABAC進行上下文編解碼。然而在HEVC中，只有第一個bin文件是上下文編解碼的，並且其餘的bin文件是上下文旁路編解碼的。

2.3.2 自適應運動矢量差解析度

在HEVC中，當在條帶標頭中use_integer_mv_flag等於0時，運動矢量差(MVD)(在PU的運動矢量和預測運動矢量之間)以四分之一亮度樣本為單位發信令。在JEM中，引入了局部自適應運動矢量解析度(LAMVR)。在JEM中，MVD可以用四分之一亮度樣本、整數亮度樣本或四亮度樣本的單位進行編解碼。MVD解析度控制在編解碼單元(CU)級別，並且MVD解析度標志有條件地為每個至少有一個非零MVD分量的CU發信令。

對於具有至少一個非零MVD分量的CU，第一個標志將發信令以指示CU中是否使用四分之一亮度樣本MV精度。當第一個標志(等於1)指示不使用四分之一亮度樣本MV精度時，另一個標志發信令以指示是使用整數亮度樣本MV精度還是使用四亮度樣本MV精度。

當CU的第一個MVD解析度標志為零或沒有為CU編解碼(意味著CU中的所有MVD都為零)時，CU使用四分之一亮度樣本MV解析度。當一個CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。

在編碼器中，CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說，對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度，在JEM中應用以下編碼方案。

在對具有正常四分之一亮度采樣MVD解析度的CU進行RD檢查期間，儲存當前CU(整數亮度采樣精度)的運動信息。在對具有整數亮度樣本和4亮度樣本MVD解析度的同一個CU進行RD檢查時，將儲存的運動信息(取整後)用作進一步小範圍運動矢量細化的起始點，從而使耗時的運動估計處理不會重複三次。

有條件地調用具有4亮度樣本MVD解析度的CU的RD 檢查。對於CU，當整數亮度樣本MVD解析度的RD檢查成本遠大於四分之一亮度樣本MVD解析度的RD檢查成本時，將跳過對CU的4亮度樣本MVD解析度的RD檢查。

2.3.3 模式匹配運動矢量推導

模式匹配運動矢量推導(PMMVD)模式是基於幀速率上轉換(FRUC)技術的特殊Merge模式。在這種模式下，塊的運動信息不會被發信令，而是在解碼器側推導。

對於CU，當其Merge標志為真時，對FRUC標志發信令。當FRUC標志為假時，對Merge索引發信令並且使用常規Merge模式。當FRUC標志為真時，對另一個FRUC模式標志發信令來指示將使用哪種模式(雙邊匹配或模板匹配)來推導該塊的運動信息。

在編碼器側，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。即通過使用RD成本選擇來檢查CU的兩個匹配模式(雙邊匹配和模板匹配)。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標志設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動優化。在CU級，基於雙邊匹配或模板匹配，推導整個CU的初始運動矢量。首先，生成一個MV候選列表，並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙邊匹配或模板匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV值。接著，以推導的CU運動矢量為起點，進一步在子CU級細化運動信息。

例如，對於W×H CU運動信息推導執行以下推導過程。在第一階段，推導了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照(16)計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV值。

如圖21所示，通過沿當前CU的運動軌跡在兩個不同的參考圖片中找到兩個塊之間最接近的匹配，使用雙邊匹配來推導當前CU的運動信息。在連續運動軌跡假設下，指向兩個參考塊的運動矢量MV0和MV1應與當前圖片和兩個參考圖片之間的時間距離(即，TD0和TD1)成正比。作為特殊情況，當當前圖片暫時位於兩個參考圖片之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

如圖22所示，通過在當前圖片中的模板(當前CU的頂部和/或左側相鄰塊)和參考圖片中的塊(與模板尺寸相同)之間找到最接近的匹配，使用模板匹配來推導當前CU的運動信息。除了上述的FRUC Merge模式外，模板匹配也應用於AMVP模式。在JEM中，正如在HEVC中一樣，AMVP有兩個候選。利用模板匹配方法，推導了新的候選。如果由模板匹配新推導的候選與第一個現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表尺寸設置為2(即移除第二個現有AMVP候選)。當應用於AMVP模式時，僅應用CU級搜索。

2.3.3.1 CU級MV候選集

CU級的MV候選集包括：

(i)原始AMVP候選，如果當前CU處於AMVP模式，

(ii)所有Merge候選，

(iii)插值MV場中的幾個MV。

(iv)頂部和左側相鄰運動矢量

當使用雙邊匹配時，Merge候選的每個有效MV用作輸入，以生成假設為雙邊匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為(MVa，ref_a)。然後在另一個參考列表B中找到其配對的雙邊MV的參考圖片ref_b，以便ref_a和ref_b在時間上位於當前圖片的不同側。如果參考列表B中的參考ref_b不可用，則將參考ref_b確定為與參考ref_a不同的參考，並且其到當前圖片的時間距離是列表B中的最小距離。確定參考ref_b後，通過基於當前圖片和參考ref_a、參考ref_b之間的時間距離縮放MVa推導MVb。

還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)處插值的MV。

當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。

在CU級，可以將AMVP CU的最多15個MV和Merge CU的最多13個MV添加到候選列表中。

2.3.3.2 子CU級MV候選集

在子CU級設置的MV候選包括：(i)從CU級搜索確定的MV，(ii)頂部、左側、左上方和右上方相鄰的MV，(iii)來自參考圖片的共位MV的縮放版本，(iv)最多4個ATMVP候選，(v)最多4個STMVP候選。

來自參考圖片的縮放MV推導如下。兩個列表中的所有參考圖片都被遍歷。參考圖片中子CU的共位位置處的MV被縮放為起始CU級MV的參考。

ATMVP和STMVP候選被限制為前四個。

在子CU級，最多17個MV被添加到候選列表中。

2.3.3.3 插值MV場的生成

在對幀進行編解碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。

首先，兩個參考列表中每個參考圖片的運動場在4×4的塊級別上被遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊(如圖23所示)，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC中TMVP的MV縮放相同)，並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。

2.3.3.4 插補匹配成本

當運動矢量指向分數采樣位置時，需要運動補償插值。為了降低複雜度，對雙邊匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。

匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或模板匹配的絕對和差(SAD)。在確定起始MV後，雙邊匹配在子CU級搜索的匹配成本C計算如下：

這裏，w是權重係數，被經驗地設置為4。MV和MV ^s分別指示當前MV和起始MV。仍然將SAD用作模式匹配在子CU級搜索的匹配成本。

在FRUC模式下，MV通過僅使用亮度樣本推導。推導的運動將用於亮度和彩度的MC幀間預測。確定MV後，對亮度使用8抽頭(8-taps)插值濾波器並且對彩度使用4抽頭(4-taps)插值濾波器執行最終MC。

2.3.3.5 MV細化

MV細化是基於模式的MV搜索，以雙邊成本或模板匹配成本為標準。在JEM中，支持兩種搜索模式-無限制中心偏置菱形搜索(UCBDS)和自適應交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本精度下直接搜索MV，接著是八分之一亮度樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8個亮度樣本。

2.3.3.6 模板匹配FRUC Merge模式下預測方向的選擇

在雙邊Merge模式下，總是應用雙向預測，因為CU的運動信息是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。模板匹配Merge模式沒有這種限定。在模板匹配Merge模式下，編碼器可以從列表0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇基於如下的模板匹配成本：如果costBi<=factor*min(cost0,cost1)

則使用雙向預測；否則，如果cost0<=cost1

則使用列表0中的單向預測；否則，使用列表1中的單向預測；其中cost0是列表0模板匹配的SAD，cost1是列表2模板匹配的SAD，並且costBi是雙向預測模板匹配的SAD。factor 的值等於1.25，意味著選擇處理朝雙向預測偏移。幀間預測方向選擇可以僅應用於CU級模板匹配處理。

2.3.4 解碼器側運動矢量細化

在雙向預測操作中，對於一個塊區域的預測，將兩個分別由列表0的運動矢量(MV)和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動矢量細化(DMVR)方法中，通過雙邊模板匹配處理進一步細化雙向預測的兩個運動矢量。解碼器中應用的雙邊模板匹配用於在雙邊模板和參考圖片中的重建樣本之間執行基於失真的搜索，以便在不傳輸附加運動信息的情況下獲得細化的MV。

在DMVR中，雙邊模板被生成為兩個預測塊的加權組合(即平均)，其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1。模板匹配操作包括計算生成的模板與參考圖片中的樣本區域(在初始預測塊周圍)之間的成本度量。對於兩個參考圖片中的每一個，產生最小模板成本的MV被視為該列表的更新MV，以替換原始MV。在JEM中，為每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周邊MV，這八個周邊MV在水平或垂直方向上或兩者與原始MV具有一個亮度樣本的偏移。最後，使用圖24所示的兩個新的MV(即MV0'和MV1')生成最終的雙向預測結果。絕對差異之和(SAD)被用作成本度量。

在不傳輸附加語法元素的情況下，將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

2.3.5 具有雙向匹配細化的Merge/跳過模式

首先通過利用冗餘檢查將空間相鄰和時間相鄰塊的運動矢量和參考索引插入候選列表中來構造Merge候選列表，直到可用候選的數量達到最大候選尺寸19。通過根據預定義的插入順序，在插入空間候選(圖11)、時間候選、仿射候選、高級時間MVP(Advanced Temporal MVP，ATMVP)候選、時空MVP(Spatial Temporal，STMVP)候選和HEVC中使用的附加候選(組合候選和零候選)來構造Merge/跳過模式的Merge候選列表：

- 塊1-4的空間候選

- 塊1-4的外推(extrapolated)仿射候選

- ATMVP

- STMVP

- 虛擬仿射候選

- 空間候選(塊5)(僅當可用候選的數量小於6時使用)

- 外推仿射候選(塊5)

- 時間候選(如在HEVC中推導的)

- 非鄰近空間候選，其後是外推仿射候選(塊6至49，如圖25所示)

- 組合候選

- 零候選

注意到，除了STMVP和仿射之外，IC標志也從Merge候選繼承。而且，對於前四個空間候選，在具有單向預測的候選之前插入雙向預測候選。

在一些實現方案中，可以存取未與當前塊連接的塊。如果以非幀內模式對非鄰近塊編解碼，則可以添加相關聯的運動信息作為附加Merge候選。

2.3.6 用於運動矢量預測的查找表

在基於歷史的MVP(HMVP)(例如，如JVET-K0104中所提出)方法中，HMVP候選可以用作先前編解碼的塊的運動信息。在編碼/解碼過程期間，保持具有多個HMVP候選的表。

如上文提到的IDF中所描述的，HMVP可以以若干方式用於運動預測。

2.3.7 JVET-K0248中的廣義雙向預測(GBI)

在此提案(contribution)中，提出GBi以允許將不同的權重應用於來自L0和L1的預測器。預測器生成如下所示。

P _GBi=((1-w ₁ )* P _L0+w ₁ * P _L1+RoundingOffset _GBi)>>shiftNum _GBi,

隨機存取(RA)條件下的真實雙向預測情況的權重。

廣義雙向預測中的權重

對於高級運動矢量預測(AMVP)模式，如果通過雙向預測對CU進行編解碼，則在CU級顯式地信令通知GBi中的權重選擇。對於Merge模式，權重選擇從Merge候選繼承。在此提議中，GBi支持DMVR以生成模板的加權平均值以及BMS-1.0的最終預測。

2.3.8 JVET-K0532中的非子塊STMVP

在本提議中，沒有提出子塊STMVP作為空間-時間Merge模式。所提出的方法使用共位塊，其與HEVC/JEM(僅1個圖片，此處沒有時間矢量)相同。所提出的方法還檢查上部和左側空間位置，該位置在該提議中被調節。具體地，為了檢查相鄰的幀間預測信息，對於每個上方和左側檢查最多兩個位置。來自上方列的Amid、Afar和來自左側哈哈的Lfar和Lmid(如圖26中所描繪的)的確切的位置如下所示。

Afar：(nPbW * 5/2,-1),Amid(nPbW/2,-1)

Lfar：(-1,nPbH * 5/2),Lmid(-1,nPbH/2)

上方塊、左側塊和時間塊的運動矢量的平均值的計算與BMS軟體實現方式相同。如果3個參考幀間預測塊可用，分別用 (mvLX_A[0],mvLX_A[1]),(mvLX_L[0],mvLX_L[1])和(mvLX_C[0],mvLX_C[1])表示相關聯的MV，用(mvLX[0],mvLX[1])表示最終預測。

mvLX[0]=((mvLX_A[0]+mvLX_L[0]+mvLX_C[0])* 43)/128

mvLX[1]=((mvLX_A[1]+mvLX_L[1]+mvLX_C[1])* 43)/128

如果僅有兩個或一個幀間預測塊可用，則使用兩個的平均值或者僅使用一個mv。

mvLX[0]=(mvLX_D[0]+mvLX_E[0])/2

mvLX[1]=(mvLX_D[1]+mvLX_E[1])/2

2.3.9 JVET-K0135中的MV平面

為了生成平滑的細粒度運動場，圖27給出了平面運動矢量預測過程的簡要描述。

通過如下在4×4塊的基礎上對水平和垂直線性插值求平均，來實現平面運動矢量預測。

P(x,y)=(H×P _h(x,y)+W×P _v(x,y)+H×W)/(2×H×W)

W和H表示塊的寬度和高度。(x,y)是當前子塊相對於左上角子塊的坐標。所有距離由像素距離除以4表示。P(x,y)是當前子塊的運動矢量。

位置(x,y)的水平預測P _h(x,y)和垂直預測P _h(x,y)計算如下：P _h(x,y)=(W-1-x)×L(-1,y)+(x+1)×R(W,y)

P _v(x,y)=(II-1-y)×A(x,-1)+(y+1)×B(x,II)

其中L(-1,y)和R(W,y)是當前塊左側和右側的4x4塊的運動矢量。A(x,-1)和B(x,H)是當前塊上方和底部的4x4塊的運動矢量。

從當前塊的空間相鄰塊推導出左側哈哈和上方列相鄰塊的參考運動信息。

右側哈哈和底部列相鄰塊的參考運動信息如下推導出。

- 推導右下方時間相鄰4×4塊的運動信息

- 使用推導出的右下方相鄰4×4塊的運動信息以及右上方相鄰4×4塊的運動信息，來計算右側哈哈相鄰4×4塊的運動矢量，如以下公式中所描述。

R(W,y)=((H-y-1)×AR+(y+1)×BR)/H

- 使用推導出的右下方相鄰4×4塊的運動信息以及左下方相鄰4×4塊的運動信息，來計算底部列相鄰4×4塊的運動矢量，如以下公式中所描述。

B(x,H)=((W-x-1)×BL+(x+1)×BR)/W

其中AR是右上方空間相鄰4×4塊的運動矢量，BR是右下方時間相鄰4×4塊的運動矢量，並且BL是左下方空間相鄰4×4塊的運動矢量。

對於每個列表從相鄰塊獲得的運動信息被縮放到給定列表的第一參考圖片。

2.3.10 JVET-K0245中的成對平均候選

通過對當前Merge候選列表中的預定候選對進行平均，來生成成對平均候選，並且將預定的對定義為{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中數位表示Merge候選列表的Merge索引。對每個參考列表分別計算平均運動矢量；如果兩個MV在一個列表中均可用，則具有較大Merge索引的MV被縮放到具有較小Merge索引的Merge候選的參考圖片；如果只有一個MV可用，則直接使用MV；如果沒有可用的MV，則保持此列表無效。成對平均候選替換來自HEVC的組合候選。

3.通過本文公開的實施例解決的問題的示例

HMVP的設計可以帶來顯著的編解碼增益。然而，由於以下修剪階段，複雜性有所增加：

階段1：當將HMVP候選插入查找表時，可以應用修剪以在查找表中移除相同的候選。

階段2：當將HMVP候選插入AMVP或Merge候選列表時，可能需要將運動矢量與AMVP候選列表中的可用MV進行比較，或者需要將運動信息與Merge列表中的可用Merge候選進行比較。

在又一示例中，在HEVC或當前VVC設計中，在檢查來自空間或時間相鄰塊的運動信息之後，Merge列表大小未滿的可能性很高。也就是說，在插入空間Merge候選、ATMVP(VVC中)和時間Merge候選之後，插入組合的雙向預測Merge候選和零運動矢量候選的可能性仍然很高。在使用HMVP候選之後，可以改變這種情況。

有越來越多的Merge候選(非子塊STMVP、mv平面)出現。如何將它們與HMVP組合是值得研究的問題。

當啟用廣義雙向預測時，如何與HMVP候選協作是未知的。

4.一些示例

以下示例應被視為解釋一般概念的示例。不應以狹窄的方式解釋這些示例。此外，這些實例可以以任何方式組合。

技術1：HMVP的複雜性降低

1.提出當用單向預測來對塊編解碼(code)時，不需要更新HMVP候選的查找表。

a.當使用雙向預測對塊編解碼時，可以將相關聯的運動信息添加到查找表中，作為附加的HMVP候選。

b.或者，即使用單向預測對一個塊編解碼，如果用多個假設(例如，多於一個參考圖片被用於運動補償)對其編解碼，則這種運動信息也可用於更新查找表。

2.提出當用廣義雙向預測模式對塊編解碼時，只有運動信息(參考圖片信息、運動矢量)可以儲存在查找表中。

a.在一個示例中，不儲存相關聯的權重(即，w1)並且將其推斷為1/2。

b.在一個示例中，不儲存相關聯的權重(即，w1)並且將其推斷為(1<<(shiftNum _GBi-1))。

c.或者，相關聯的權重也可以儲存在查找表中。在這種情況下，對於HMVP候選，它還將包括權重信息。

3.提出減少為生成組合的雙向預測Merge候選而要檢查的對的數目。

a.要檢查的對的數目從12減少到N，其中N是整數值。

b.在一個示例中，要檢查的對的數目被設置為等於(m *(m-1))，其中m小於4。

c.在一個示例中，要檢查的對的數目取決於在添加組合的雙向預測Merge候選之前有多少Merge候選可用。

4.提出儲存在查找表中的HMVP候選與較低的運動矢量精度相關聯。

a.如果我們用K位元(例如，HEVC中的16位元)表示解碼器圖片緩存器中的MV儲存精度，則將查找表中儲存的MV的精度設置為L，其中L小於K(例如，L是8,10,12,14)。

b.在這種情況下，當將HMVP候選的運動信息與其他運動候選進行比較時，可能首先需要對準運動矢量精度。

i.在一個示例中，HMVP候選的MV可以被縮放(1<<(K-L))。

5.提出僅將參考某些參考圖片(例如每個參考列表的參考索引等於0的參考圖片)的運動矢量添加到查找表中。在這種情況下，不需要儲存參考圖片信息(例如，不儲存參考圖片索引)

a.可選的，在放入查找表之前，將不參考某些參考圖片的運動矢量縮放到參考圖片。

b.可以預定義“某些參考圖片”。可選的，可以信令通知“某些參考圖片”的索引。

6.在一個示例中，使用一個或多個哈希表在候選之間進行修剪。

技術2：HMVP的進一步編解碼性能

7.可以從某些類型的Merge候選生成組合的雙向預測Merge候選。對於其他類型的Merge候選，不允許將其用於生成組合的雙向預測Merge候選。

a.在一個示例中，不允許將HMVP候選用於組合的雙向預測Merge候選生成。

b.在一個示例中，不允許將子塊運動候選(例如，ATMVP)用於組合的雙向預測Merge候選生成。

8.當HMVP與權重信息相關聯(例如，啟用GBI)時，可以從一個HMVP候選生成多個Merge候選。

a.在一個示例中，可以在潛在的修剪操作之後，直接將HMVP候選添加為Merge候選。

b.在一個示例中，可以使用HMVP候選的相同運動信息，並且可以分配不同的權重。

c.從一個HMVP候選生成多少Merge候選(例如，具有不同權重)可以取決於允許的權重的數量。

d.從一個HMVP候選生成多少Merge候選(例如，具有不同權重)可以取決於與HMVP候選相關聯的權重。

i.在一個示例中，可以生成多至兩個候選，一個具有與HMVP候選相關聯的精確權重，而另一個候選具有對於兩個參考圖片列表的相等權重。

e.從一個HMVP候選生成多少Merge候選(例如，具有不同的權重)可以取決於在添加HMVP之前的可用運動候選的數量。

9.當啟用STMVP(基於子塊或基於非子塊)時，可以在STMVP之後添加HMVP候選。

a.可選的，可以在STMVP之前添加HMVP候選。

b.可選的，可以以與STMVP交織的方式添加HMVP候選，例如，可以在STMVP之前添加部分HMVP候選，並且可以在STMVP之後添加部分HMVP候選。

10.當啟用成對平均候選(PAC)時，可以在PAC之前添加HMVP候選。

a.可選的，可以在PAC之前添加HMVP候選。

b.可選的，可以以與PAC交織的方式添加HMVP候選，例如，可以在PAC之前添加部分HMVP候選，並且可以在PAC之後添加部分HMVP，或一個HMVP和一個PAC，等等；或一個PAC和一個HMVP，依此類推。

c.在一個示例中，可以不允許HMVP候選推導PAC。

11.當將仿射運動候選放入不同的候選列表(不同於傳統的Merge候選列表)時，可以在與相鄰塊直接相關聯的仿射運動候選之後添加HMVP候選。

a.可選的，可以在從相鄰塊生成的仿射運動候選之後添加HMVP候選。

b.可選的，可以恰好在默認仿射運動候選(例如，零運動候選)之前添加HMVP候選。

c.可選的，可以以交織的方式添加HMVP候選，例如，一些在仿射運動候選之前，一些在仿射運動候選之後。

d.可以以靈活的方式將HMVP候選添加到仿射運動候選列表，即，塊到塊是不同的。

5.實施例的附加示例

實施例# 1

提出了基於歷史的MVP(HMVP)方法，其中HMVP候選被定義為先前編解碼的塊的運動信息。在編碼/解碼過程期間，保持具有多個HMVP候選的表。當遇到新的條帶時，該表被清空。每當存在幀間編解碼的非仿射塊時，將相關聯的運動信息添加到表的最後一個條目，作為新的HMVP候選。整個編解碼流程在圖31中描繪。

圖32示出了HMVP表更新的示例實現方式。表尺寸S被設置為6，這表示可以向表中添加多至6個HMVP候選。當向表中插入新的運動候選時，使用約束FIFO規則，其中首先應用冗餘檢查以查找表中是否存在相同的HMVP。如果找到，則從表中移除相同的HMVP，然後移動之後所有的HMVP候選，即，索引減少1。

HMVP候選可以用在Merge候選列表建構過程中。按順序對表中的最新幾個HMVP候選檢查，並在TMVP候選之後將其插入候選列表。對HMVP候選應用與除了子塊運動候選(即，ATMVP)之外的空間或時間Merge候選的修剪。

為了減少修剪操作的數量，引入了三種簡化：

1)由L表示的要檢查的HMPV候選的數量設置如下：L=(N<=4)？M：(8-N)

其中N表示可用的非子塊Merge候選的數量，且M表示表中的可用HMVP候選的數量。

2)另外，一旦可用Merge候選的總數量達到信令通知的最大允許Merge候選減1，則Merge候選列表建構過程終止。

3)此外，組合的雙向預測Merge候選推導的對的數量從12減少到6。類似地，HMVP候選也可以用在AMVP候選列表建構過程中。在TMVP候選之後，插入表中的最後K個HMVP候選的運動矢量。僅使用具有與AMVP目標參考圖片相同的參考圖片的HMVP候選，來建構AMVP候選列表。將修剪應用於HMVP候選。在此提案中，K設置為4。

實施例# 2

Merge列表推導過程的一些示例如下給出：

1)空間Merge候選+ATMVP(ATMVP可以與空間Merge候選交織插入)->TMVP->HMVP->其他(例如，組合的雙向預測Merge候選、零運動矢量候選)

2)空間Merge候選+ATMVP+STMVP(ATMVP和STMVP可以與空間Merge候選交織插入，STMVP可以在TMVP恰好之前或之後插入)->TMVP->HMVP->其他(例如，組合的雙向預測Merge候選、零運動矢量候選)

3)空間Merge候選+ATMVP(ATMVP可以與空間Merge候選交織插入)->TMVP->HMVP->成對平均候選->其他(例如，組合的雙向預測Merge候選、零運動矢量候選)

4)空間Merge候選+ATMVP(ATMVP可以與空間Merge候選交織插入)->TMVP->成對平均候選->HMVP->其他(例如，組合的雙向預測Merge候選、零運動矢量候選)

5)空間Merge候選+ATMVP+STMVP(ATMVP和STMVP可以與空間Merge候選交織插入，STMVP可以在TMVP恰好之前或之後插入)->TMVP->HMVP->成對平均候選->其他(例如，組合雙向預測Merge候選、零運動矢量候選)

圖28是視頻處理裝置2800的方塊圖。裝置2800可用於實現本文描述的一個或多個方法。裝置2800可以體現在智能手機、平板電腦、電腦、物聯網(IoT)接收器等中。裝置2800可以包括一個或多個處理器2802、一個或多個儲存器2804和視頻處理硬體2806。處理器(多個處理器)2802可以被配置為實現本文件中描述的一個或多個方法。儲存器(多個儲存器)2804可以用於儲存用於實現這裏描述的方法和技術的數據和代碼。視頻處理硬體2806可用於在硬體電路中實現本文件中描述的一些技術。

圖29示出了視頻處理的示例方法2900的流程圖。方法2900包括使用(2902)基於歷史的運動矢量預測(HMVP)，在包括視頻的當前塊的多個視頻塊與所述多個視頻塊的位元流表示之間進行轉換，使得對於使用單個參考圖片進行運動補償的單向預測塊，避免(2904)更新該單向預測塊的HMVP候選的查找表，以及使用查找表執行(2906)所述多個視頻塊的轉換。

圖30示出了視頻處理的示例方法3000的流程圖。方法3000包括使用廣義雙向預測模式，使用查找表執行(3002)視頻的當前塊與該當前塊的位元流表示之間的轉換，並且僅使用當前塊的參考圖片信息和運動矢量來更新(3004)查找表。

圖33是視頻處理的示例方法3300的流程圖。方法3300包括使用廣義雙向預測模式，使用查找表執行(3302)視頻的當前塊與該當前塊的位元流表示之間的轉換，以及使用當前塊的參考圖片信息、相關聯的權重和運動矢量來更新(3304)查找表。這裏，當前塊的基於歷史的運動矢量預測候選也使用相關聯的權重。

另一示例視頻處理方法包括使用基於歷史的運動矢量預測查找表來執行視頻的當前塊與當前塊的位元流表示之間的轉換，在該表中，通過比較N對運動矢量來生成組合的雙向預測Merge 候選，其中N小於12。

圖34是視頻處理的示例方法3400的流程圖。方法3400包括使用(3402)基於歷史的運動矢量預測(HMVP)在包括視頻的當前塊的多個視頻塊和所述多個視頻塊的位元流表示之間進行轉換，使用比查找表中的其他候選的精度低的精度來將HMVP候選儲存(3404)在查找表中，以及使用HMVP候選執行(3406)轉換。

圖35示出了視頻處理的示例方法3500的流程圖。方法3500包括使用(3502)基於歷史的運動矢量預測(HMVP)在視頻的當前塊與該當前塊的位元流表示之間進行轉換，基於HMVP候選所參考的參考圖片的條件將HMVP候選儲存(3504)在查找表中，以及使用儲存在查找表中的HMVP候選執行(3506)轉換。

可以使用以下基於條款的描述來描述上述和其他技術。

1.一種視頻處理方法，包括：使用基於歷史的運動矢量預測(HMVP)，在包括視頻的當前塊的多個視頻塊和所述多個視頻塊的位元流表示之間進行轉換，使得：對於使用單個參考圖片進行運動補償的單向預測塊，避免更新該單向預測塊的HMVP候選的查找表；以及使用查找表執行所述多個視頻塊的所述轉換。例如，可以使用基於單個預測方向的預測來壓縮單向預測塊。

2.如條款1所述的方法，還包括：對於雙向預測塊，將對應的運動信息添加到該雙向預測塊的查找表，作為附加的HMVP候選。例如，可以使用在兩個時間方向上(之前和之後) 的參考圖片來預測雙向預測塊。

3.如條款1或2所述的方法，還包括：對於使用多個參考圖片進行運動補償的單向預測塊，用其運動信息更新對應的查找表。

4.一種視頻處理方法，包括：使用廣義雙向預測模式，使用查找表執行視頻的當前塊與當前塊的位元流表示之間的轉換；以及僅使用當前塊的參考圖片信息和運動矢量來更新查找表。

5.如條款4所述的方法，還包括對於與參考圖片信息中參考的參考圖片相對應的權重，使用1/2的預定值。

6.如條款4所述的方法，還包括使用從位元流表示中的其他塊的編解碼繼承的權重。

7.一種視頻處理方法，包括：使用廣義雙向預測模式，使用查找表執行視頻的當前塊與該當前塊的位元流表示之間的轉換；以及使用當前塊的參考圖片信息、相關聯的權重和運動矢量來更新查找表；其中，當前塊的基於歷史的運動矢量預測候選也使用相關聯的權重。

8.一種視頻處理方法，包括：使用基於歷史的運動矢量預測查找表，執行視頻的當前塊與該當前塊的位元流表示之間的轉換，在所述基於歷史的運動矢量預測查找表中，通過比較N對運動矢量來生成組合的雙向預測Merge候選，其中N小於12。

9.如條款8所述的方法，其中N等於m*(m-1)，其中m是小於4的整數。

10.如條款8所述的方法，其中，N取決於在將所述組合的雙向預測Merge候選添加到查找表之前可用Merge候選的數量。

11.一種視頻處理方法，包括：使用基於歷史的運動矢量預測(HMVP)，在包括視頻的當前塊的多個視頻塊和所述多個視頻塊的位元流表示之間進行轉換；使用比查找表中的其他候選的精度低的精度，將HMVP候選儲存在查找表中；以及使用HMVP候選執行所述轉換。

12.如條款11所述的方法，還包括：通過在比較之前縮放HMVP候選來將HMVP候選與其他候選比較。

13.一種視頻處理方法，包括：使用基於歷史的運動矢量預測(HMVP)，在視頻的當前塊和該當前塊的位元流表示之間進行轉換；基於HMVP候選所參考的參考圖片的條件，將HMVP候選儲存在查找表中；以及使用儲存在查找表中的HMVP候選進行所述轉換。

14.如條款13所述的方法，其中，僅將參考某些參考圖片的HMVP候選儲存在查找表中，從而避免需要將參考圖片索引信息儲存在查找表中。

15.如條款14所述的方法，其中，在位元流表示中預先定義或信令通知所述某些參考圖片。

16.如條款13所述的方法，還包括：在儲存在查找表中之前縮放HMVP候選。

17.如條款1至16中任一項所述的方法，其中，候選的修剪使用基於哈希表的修剪。

18.如條款1至17中任一項所述的方法，其中，所述轉換還使用組合的雙向預測Merge候選，所述組合的雙向預測Merge候選僅使用某種類型的Merge候選生成。

19.如條款18所述的方法，其中，所述某種類型的Merge候選排除HMVP候選。

20.如條款18所述的方法，其中，所述某種類型的Merge候選排除高級時間運動矢量預測。

21.如條款18所述的方法，其中，具有相關聯的權重信息的HMVP候選用於生成多個Merge候選。

22.如條款21所述的方法，其中，所述HMVP候選被用作用於所述轉換的Merge候選。

23.如條款21或22所述的方法，其中從HMVP候選生成的Merge候選的數量等於允許的權重的數量。

24.如條款1至23所述的方法，其中在將當前塊的時空運動矢量預測添加到列表之後，將HMVP候選添加到Merge列表。

25.如條款1至23所述的方法，其中通過在當前塊的時空運動矢量預測之間交織，將HMVP候選添加到Merge列表。

26.如條款1至23所述的方法，其中在將當前塊的成對平均候選添加到列表之前，將HMVP候選添加到Merge列表。

27.如條款1至23所述的方法，其中通過在當前塊的成對平均候選之間交織，將HMVP候選添加到Merge列表。

28.如條款1至23所述的方法，其中，所述轉換還使用仿射運動候選的候選列表，並且其中，在仿射運動候選的候選列表的仿射運動候選之後添加HMVP候選。

29.如條款1至23所述的方法，其中，所述轉換還使用仿射運動候選的候選列表，並且其中，在從當前塊的相鄰塊生成的仿射運動候選之後添加HMVP候選。

30.如條款1至23所述的方法，其中，所述轉換還使用仿射運動候選的候選列表，並且其中，所述HMVP候選與從當前塊的相鄰塊生成的仿射運動候選交織。

31.如條款1至30中任一項所述的方法，其中，所述轉換包括將當前塊壓縮為位元流表示。

32.如條款1至30中任一項所述的方法，其中，所述轉換包括將位元流表示解壓縮為當前塊。

33.一種視頻編碼器裝置，包括處理器，該處理器被配置為實現條款1至32中任一項或多項所述的方法。

34.一種視頻解碼器裝置，包括處理器，該處理器被配置為實現條款1至32中任一項或多項所述的方法。

35.一種電腦可讀介質，其上儲存有代碼，該代碼包括使處理器實現條款1至32中任一項或多項所述的方法的指令。

圖36是示出示例視頻處理系統3600的方塊圖，其中可以實現本文公開的各種技術。各種實現方式可以包括系統3600的一些或所有部件。系統3600可以包括用於接收視頻內容的輸入3602。視頻內容可以以原始或未壓縮格式接收，例如8或10位元多分量像素值，或者可以以壓縮或編碼格式接收。輸入3602可以表示網路介面、週邊匯流排介面或儲存介面。網路介面的示例包括諸如乙太網、無源光網路(PON)等的有線介面和諸如Wi-Fi或蜂窩介面的無線介面。

系統3600可以包括編解碼部件3604，其可以實現本文件中描述的各種編碼方法。編解碼部件3604可以減小從輸入3602到編解碼部件3604的輸出的視頻的平均位元率，以產生視頻的編解碼表示。因此，編解碼技術有時被稱為視頻壓縮或視頻轉碼技術。編解碼部件3604的輸出可以儲存，或者經由如部件3606所表示的已連接的通信來發送。在輸入3602處接收的視頻的經儲存或傳送的位元流(或編解碼)表示可以由部件3608使用，以生成發送到顯示介面3610的像素值或可顯示視頻。從位元流表示生成用戶可觀看視頻的過程有時被稱為視頻解壓縮。此外，雖然某些視頻處理操作被稱為“編解碼(coding)”操作或工具，但是應當理解，編解碼工具或操作在編碼器處使用，並且相應的反轉編解碼的結果的解碼工具或操作將由解碼器執行。

週邊匯流排介面或顯示介面的示例可以包括通用串列匯流排(USB)或高清晰度多媒體介面(HDMI)或Displayport等。儲存介面的示例包括SATA(串列高級技術附件)、PCI、IDE介面等。本文件中描述的技術可以體現在各種電子設備中，諸如移動電話、膝上型電腦、智能電話或能夠執行數位數據處理和/或視頻顯示的其他設備。

圖37是視頻處理的示例方法3700的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例1相關聯。方法3700包括在包括多個塊的視頻的視頻塊與該視頻的位元流表示之間的轉換之後，通過用於該轉換的預測方向，確定(3702)是否滿足一個或多個基於歷史的運動矢量預測(HMVP)表的更新規則；以及基於該確定來選擇性地更新(3704)所述一個或多個HMVP表。

圖38是視頻處理的示例方法3800的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例4相關聯。方法3800包括基於與視頻的塊相關聯的運動信息，保持(3802)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中使用第一運動信息精度來儲存HMVP候選，所述第一運動信息精度低於未被儲存在所述一個或多個表中的運動候選所使用的第二運動信息精度，以及在該視頻的當前塊和該當前塊的編解碼表示之間執行(3804)轉換，其中在所述轉換期間使用所述一個或多個表。

圖39是視頻處理的示例方法3900的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例5相關聯。方法3900包括基於與視頻的塊相關聯的運動信息，保持(3902)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中根據至少基於所述HMVP候選所參考的參考圖片的條件的規則來儲存所述一個或多個表中的HMVP候選；以及執行(3904)該視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表。

圖40是視頻處理的示例方法4000的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例6相關聯。方法3700包括基於與視頻的塊相關聯的運動信息，保持(4002)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；在該視頻的當前塊與該當前塊的編解碼表示之間執行(4004)轉換；從所述一個或多個表中的HMVP候選中選擇(4006)HMVP候選；使用應用於所述HMVP候選以及該視頻的當前塊的運動信息的基於哈希表的修剪，更新(4008)所述一個或多個表。

圖41是視頻處理的示例方法4100的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例2相關聯。方法4100包括基於與視頻的塊相關聯的運動信息，保持(4102)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及使用廣義雙向預測(GBi)模式來執行(4104)該視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中，在GBi模式下，使用雙向預測步驟對當前塊編解碼，並且其中，將編解碼單元(CU)級權重分配給從雙向預測步驟生成的預測塊；以及僅使用當前塊的參考圖片信息和運動信息來更新(4106)所述一個或多個表，從而排除將當前塊的權重儲存在所述一個或多個表中。

圖42是視頻處理的示例方法4200的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例2c相關聯。方法4200包括基於與視頻的塊相關聯的運動信息，保持(4202)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；使用廣義雙向預測(GBi)模式執行(4204)該視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中，在GBi模式下，使用雙向預測步驟對當前塊編解碼，並且其中，將編解碼單元(CU)級權重分配給從雙向預測步驟生成的預測塊；以及至少用當前塊的權重來更新(4206)所述一個或多個表。

圖43是視頻處理的示例方法4300的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例3相關聯。方法4300包括基於與視頻的塊相關聯的運動信息，保持(4302)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及執行(4304)視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表，其中通過比較當前塊的N對運動信息來生成組合的雙向預測Merge候選，並且其中N小於12。

圖44是視頻處理的示例方法4400的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例7相關聯。方法4400包括基於與視頻的塊相關聯的運動信息，保持(4402)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及執行(4404)視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表，其中通過比較當前塊的多對運動信息來生成組合的雙向預測Merge候選，並且其中僅使用某種類型的Merge候選來生成雙向預測Merge候選。

圖45是視頻處理的示例方法4500的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例8相關聯。方法4500包括基於與視頻的塊相關聯的運動信息，保持(4502)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；從HMVP候選生成(4504)多個Merge候選；以及執行(4506)視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所生成的Merge候選。

圖46是用於視頻處理的示例方法4600的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例9相關聯。方法4600包括基於與視頻的塊相關聯的運動信息，保持(4602)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及至少基於當前塊的HMVP候選和時空運動矢量預測來構造(4604)運動候選列表；以及執行(4606)視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

圖47是視頻處理的示例方法4700的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例10相關聯。方法4700包括基於與視頻的塊相關聯的運動信息，保持(4702)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和成對平均候選(PAC)來構造(4704)運動候選列表；以及執行(4706)視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

圖48是用於視頻處理的示例方法4800的流程圖。該流程圖的步驟可以與本文件第4節中描述的示例11相關聯。方法4800包括基於與視頻的塊相關聯的運動信息，保持(4802)一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和仿射運動候選來構造(4804)運動候選列表；以及執行(4806)視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

現在將以基於條款的格式描述所公開技術的一些實施例。

1.一種視頻處理方法，包括：在包括多個塊的視頻的視頻塊與所述視頻的位元流表示之間的轉換之後，通過用於所述轉換的預測方向，確定是否滿足一個或多個基於歷史的運動矢量預測(HMVP)表的更新規則；以及基於所述確定來選擇性地更新所述一個或多個HMVP表。

2.如條款1所述的方法，其中由於所述預測方向是單向，所述更新規則規定跳過對所述一個或多個HMVP表的更新。

3.如條款1所述的方法，其中由於所述預測方向是雙向預測，所述更新規則規定更新所述一個或多個HMVP表。

4.如條款1所述的方法，其中由於所述預測方向是單向並且由於在所述轉換期間使用多個參考圖片，所述更新規則規定更新所述一個或多個HMVP表。

5.如條款4所述的方法，其中所述選擇性地更新包括使用所述視頻塊的多假設運動信息來更新所述一個或多個表。

6.一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中使用第一運動信息精度來儲存HMVP候選，所述第一運動信息精度低於未被儲存在所述一個或多個表中的運動候選所使用的第二運動信息精度；以及在所述視頻的當前塊和該當前塊的編解碼表示之間執行轉換，其中在所述轉換期間使用所述一個或多個表。

7.如條款6所述的方法，其中，第一運動信息精度是8、10、12或14，並且第二運動信息精度是16。

8.如條款6所述的方法，還包括：從HMVP候選中選擇HMVP候選；以及根據第二運動信息精度，執行該HMVP候選與儲存在運動候選列表中的運動候選的比較。

9.如條款8所述的方法，其中，所述比較包括應用位元移位操作。

10.如條款9所述的方法，其中所述位元移位操作表示為(1<<(K-L))，其中，K表示第二運動信息精度，且L表示第一運動信息精度。

11.如條款8所述的方法，還包括：在確定HMVP候選不同於運動候選時，將HMVP候選添加到運動候選列表。

12.一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中根據至少基於所述HMVP候選所參考的參考圖片的條件的規則來儲存所述一個或多個表中的HMVP候選；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表。

13.如條款11所述的方法，其中僅將參考某些參考圖片的HMVP候選儲存在所述一個或多個表中，從而避免需要在所述一個或多個表中儲存參考圖片索引信息。

14.如條款13所述的方法，其中，在所述視頻的編解碼表示中預先定義或信令通知所述某些參考圖片。

15.如條款14所述的方法，還包括：若確定當前塊的運動信息未參考所述某些參考圖片，則在將當前塊的運動信息儲存在所述一個或多個表中之前，將當前塊的運動信息縮放到所述某些參考圖片中的至少一個。

16.一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；在所述視頻的當前塊與當前塊的編解碼表示之間執行轉換；從所述一個或多個表中的HMVP候選中選擇HMVP候選；以及使用應用於所述HMVP候選以及該視頻的當前塊的運動信息的基於哈希表的修剪，更新所述一個或多個表。

17.如條款16所述的方法，其中基於哈希表的修剪包括執行所述HMVP候選的哈希值與所述視頻的當前塊的運動信息的哈希值的比較。

18.如條款17所述的方法，還包括：在確定所述HMVP候選的哈希值與所述視頻的當前塊的運動信息的哈希值相同時，從所述一個或多個表中移除所述HMVP候選。

19.一種視頻處理的方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；使用廣義雙向預測(GBi)模式來執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中，在GBi模式下，使用雙向預測步驟對當前塊編解碼，並且其中，將編解碼單元(CU)級權重分配給從雙向預測步驟生成的預測塊；以及僅使用當前塊的參考圖片信息和運動信息來更新所述一個或多個表，從而排除將當前塊的權重儲存在所述一個或多個表中。

20.如條款19所述的方法，其中所述權重基於預定值。

21.如條款19所述的方法，其中所述預定值是1/2。

22.如條款19所述的方法，其中所述權重基於在所述視頻的另一個塊與該另一個塊的編解碼表示的轉換期間使用的一個或多個HMVP候選。

23.一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；使用廣義雙向預測(GBi)模式執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中，在GBi模式下，使用雙向預測步驟對當前塊編解碼，並且其中，將編解碼單元(CU)級權重分配給從雙向預測步驟生成的預測塊；以及至少用當前塊的權重來更新所述一個或多個表。

24.如條款23所述的方法，還包括：用當前塊的運動信息和權重來更新所述一個或多個表。

25.如條款24所述的方法，還包括：通過添加當前塊的運動信息和權重作為新的HMVP候選，來更新所述一個或多個表。

26.如條款23所述的方法，還包括：在所述視頻的另一個塊與包括該另一個塊的視頻的編解碼表示之間執行轉換，其中在所述轉換期間使用所述一個或多個表。

27.如條款23所述的方法，還包括：根據所述一個或多個表中的HMVP候選，在所述視頻的另一個塊和所述視頻的編解碼表示之間執行轉換。

28.一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及執行視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表，其中通過比較當前塊的N對運動信息來生成組合的雙向預測Merge候選，並且其中N小於12。

29.如條款28所述的方法，其中N等於m*(m-1)，其中m是小於4的整數。

30.如條款28所述的方法，其中N取決於在將所述組合的雙向預測Merge候選添加到查找表之前可用Merge候選的數量。

31.一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；以及執行視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表，其中通過比較當前塊的多對運動信息來生成組合的雙向預測Merge候選，並且其中僅使用某種類型的Merge候選來生成雙向預測Merge候選。

32.如條款31所述的方法，其中所述某種類型的Merge候選排除HMVP候選。

33.如條款31所述的方法，其中所述某種類型的Merge候選排除高級時間運動矢量預測。

34.一種視頻處理的方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；從HMVP候選生成多個Merge候選；以及執行視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所生成的Merge候選。

35.如條款34所述的方法，其中所述HMVP候選用作用於所述轉換的Merge候選。

36.如條款34所述的方法，其中所述多個Merge候選使用相同的運動信息作為所述HMVP候選的運動信息，並且所述多個Merge候選還使用與所述HMVP候選的權重不同的相關聯權重。

37.如條款34或35所述的方法，其中從所述HMVP候選生成的Merge候選的數量等於所允許的權重的數量。

38.如條款34或35所述的方法，其中從所述HMVP候選生成的Merge候選的數量基於所述HMVP候選的權重。

39.如條款38所述的方法，其中至多生成第一Merge候選和第二Merge候選，其中所述第一Merge候選的權重等於所述 HMVP候選的權重，且所述第二Merge候選的權重等於所述轉換中使用的一對參考圖片的權重。

40.如條款34或35所述的方法，其中從所述HMVP候選生成的Merge候選的數量基於在將HMVP候選添加到查找表之前可用運動候選的數量。

41.一種視頻處理的方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和時空運動矢量預測來構造運動候選列表；以及執行所述視頻的當前塊與當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

42.如條款41所述的方法，其中所述運動候選列表是Merge候選列表。

43.如條款42所述的方法，還包括：根據規則將HMVP候選添加到Merge候選列表。

44.如條款41所述的方法，其中所述規則規定，在當前塊的時空運動矢量預測之後添加HMVP候選。

45.如條款41所述的方法，其中所述規則規定，在當前塊的時空運動矢量預測之前添加HMVP候選。

46.如條款41所述的方法，其中所述規則規定，將HMVP候選與當前塊的時空運動矢量預測交織，使得一部分HMVP候選在時空運動矢量預測之前添加且另一部分HMVP候選在時空運動矢量預測之後添加。

47.如條款41-46中的一項或多項所述的方法，其中，當前塊的時空運動矢量預測與當前塊的子塊相關。

48.一種視頻處理的方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和成對平均候選(PAC)來構造運動候選列表；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

49.如條款48所述的方法，其中所述運動候選列表是Merge候選列表。

50.如條款49所述的方法，還包括：根據規則將HMVP候選添加到Merge候選列表。

51.如條款48所述的方法，其中所述規則規定，在當前塊的PAC之後添加HMVP候選。

52.如條款48所述的方法，其中所述規則規定，在當前塊的PAC之前添加HMVP候選。

53.如條款48所述的方法，其中所述規則規定，將HMVP候選與當前塊的PAC交織，使得一部分HMVP候選在PAC之前添加且另一部分HMVP候選在PAC之後添加。

54.如條款48所述的方法，還包括：通過不允許從HMVP候選推導PAC，來執行當前塊的轉換。

55.一種視頻處理的方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；至少基於當前塊的HMVP候選和仿射運動候選來構造運動候選列表；以及執行所述視頻的當前塊與該當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述運動候選列表。

56.如條款55所述的方法，其中所述運動候選列表是Merge候選列表。

57.如條款56所述的方法，還包括：根據規則將HMVP候選添加到Merge候選列表。

58.如條款55所述的方法，其中所述規則規定，在當前塊的仿射運動候選之後添加HMVP候選。

59.如條款55所述的方法，其中所述規則規定，在當前塊的默認仿射運動候選之前添加HMVP候選。

60.如條款55所述的方法，其中所述規則規定，將HMVP候選與當前塊的PAC交織，使得一部分HMVP候選在PAC之前添加且另一部分HMVP候選在仿射運動候選之後添加。

61.如條款55至條款60中的任一項的方法，其中所述 HMVP候選從當前塊的相鄰塊生成。

62.如條款55至條款61中的任一項的方法，其中將HMVP候選添加到Merge列表從一個塊到另一個塊動態地變化。

63.一種視頻編碼器裝置，包括處理器，該處理器被配置為實現條款1至62中任一項或多項所述的方法。

64.一種視頻解碼器裝置，包括處理器，該處理器被配置為實現條款1至62中任一項或多項所述的方法。

65.一種電腦可讀介質，其上儲存有代碼，該代碼包括使處理器實現條款1至62中任一項或多項所述的方法的指令。

66.如本文所描述的方法、系統或裝置。

從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。

本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現，包括本文中所公開的結構及其結構等效體，或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品，即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組，以供數據處理裝置執行或控制數據處理裝置的操作。電腦可讀介質可以是機器可讀儲存設備、機器可讀儲存基板、儲存設備、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“數據處理裝置”包括用於處理數據的所有裝置、設備和機器，包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器韌體的代碼、協議棧、數據庫管理系統、操作系統或其中一個或多個的組合。傳播信號是人為產生的信號，例如機器產生的電信號、光學信號或電磁信號，生成這些信號以對信息進行編碼，以便傳輸到適當的接收裝置。

電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的編程語言(包括編譯語言或解釋語言)編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以儲存在保存其他程式或數據的文件的部分中(例如，儲存在標記語言文件中的一個或多個腳本)、專用於該程式的單個文件中、或多個協調文件(例如，儲存一個或多個模組、子程式或部分代碼的文件)中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個站點上或分布在多個站點上，並通過通信網路互連。

本文中描述的處理和邏輯流可以通過一個或多個可編程處理器執行，該處理器執行一個或多個電腦程式，通過在輸入數據上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA(現場可編程門陣列)或ASIC(專用積體電路)。

例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從只讀儲存器或隨機存取儲存器或兩者接收指令和數據。電腦的基本元件是執行指令的處理器和儲存指令和數據的一個或多個儲存設備。通常，電腦還將包括一個或多個用於儲存數據的大容量儲存設備，例如，磁盤、磁光盤或光盤，或通過操作耦合到一個或多個大容量儲存設備來從其接收數據或將數據傳輸到一個或多個大容量儲存設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括所有形式的非揮發性儲存器、介質和儲存器設備，包括例如半導體儲存器設備，例如EPROM、EEPROM和快閃記憶體；磁盤，例如內部硬盤或可移動磁盤；磁光磁盤；以及CDROM和DVD-ROM光盤。處理器和儲存器可以由專用邏輯電路來補充，或合並到專用邏輯電路中。

雖然本專利文件包含許多細節，但不應將其解釋為對任何發明或申請專利範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。

同樣，儘管圖紙中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作，或執行所有說明的操作。此外，本專利文件所述實施例中各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。

2900:方法

2902、2904、2906:步驟

Claims

一種視頻處理方法，包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中使用第一運動信息精度來儲存HMVP候選，所述第一運動信息精度低於未被儲存在所述一個或多個表中的運動候選所使用的第二運動信息精度；以及在所述視頻的當前塊和當前塊的編解碼表示之間執行轉換，其中在所述轉換期間使用所述一個或多個表。
如申請專利範圍第1項所述的方法，其中，第一運動信息精度是8、10、12或14，並且第二運動信息精度是16。
如申請專利範圍第1項所述的方法，還包括：從HMVP候選中選擇HMVP候選；以及根據第二運動信息精度，執行該HMVP候選與儲存在運動候選列表中的運動候選的比較。
如申請專利範圍第3項所述的方法，其中，所述比較包括應用位元移位操作。
如申請專利範圍第4項所述的方法，其中所述位元移位操作表示為(1<<(K-L))，其中，K表示第二運動信息精度，且L表示第一運動信息精度。
如申請專利範圍第3項所述的方法，還包括：在確定HMVP候選不同於運動候選時，將HMVP候選添加到運動候選列表。
如申請專利範圍第1項所述的方法，還包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表，其中根據至少基於所述HMVP候選所參考的參考圖片的條件的規則來儲存所述一個或多個表中的HMVP候選；以及執行所述視頻的當前塊與所述當前塊的編解碼表示之間的轉換，其中在所述轉換期間使用所述一個或多個表。
如申請專利範圍第7項所述的方法，其中僅將參考某些參考圖片的HMVP候選儲存在所述一個或多個表中，從而避免需要在所述一個或多個表中儲存參考圖片索引信息。
如申請專利範圍第8項所述的方法，其中，在所述視頻的編解碼表示中預先定義或信令通知所述某些參考圖片。
如申請專利範圍第9項所述的方法，還包括：若確定當前塊的運動信息未參考所述某些參考圖片，則在將當前塊的運動信息儲存在所述一個或多個表中之前，將當前塊的運動信息縮放到所述某些參考圖片中的至少一個。
如申請專利範圍第1項所述的方法，還包括：基於與視頻的塊相關聯的運動信息，保持一個或多個具有基於歷史的運動矢量預測(HMVP)候選的表；在所述視頻的當前塊與所述當前塊的編解碼表示之間執行轉換；從所述一個或多個表中的HMVP候選中選擇HMVP候選；以及使用應用於所述HMVP候選以及該視頻的當前塊的運動信息的基於哈希表的修剪，更新所述一個或多個表。
如申請專利範圍第11項所述的方法，其中基於哈希表的修剪包括執行所述HMVP候選的哈希值與所述視頻的當前塊的運動信息的哈希值的比較。
如申請專利範圍第12項所述的方法，還包括：在確定所述HMVP候選的哈希值與所述視頻的當前塊的運動信息的哈希值相同時，從所述一個或多個表中移除所述HMVP候選。
如申請專利範圍第1項所述的方法，還包括：在包括多個塊的視頻的視頻塊與所述視頻的位元流之間的轉換之後，通過用於所述轉換的預測方向，確定是否滿足一個或多個基於歷史的運動向量預測HMVP表的更新規則；以及基於所述確定來選擇性地更新所述一個或多個HMVP表。
如申請專利範圍第14項所述的方法，其中由於所述預測方向是單向，所述更新規則規定跳過對所述一個或多個HMVP表的更新。
如申請專利範圍第14項所述的方法，其中由於所述預測方向是雙向預測，所述更新規則規定更新所述一個或多個HMVP表。
如申請專利範圍第14項所述的方法，其中由於所述預測方向是單向並且由於在所述轉換期間使用多個參考圖片，所述更新規則規定更新所述一個或多個HMVP表。
如申請專利範圍第17項所述的方法，其中所述選擇性地更新包括使用所述視頻塊的多假設運動資訊來更新所述一個或多個表。
一種視頻編碼器裝置，包括處理器，該處理器被配置為實現申請專利範圍第1至18項中任一項所述的方法。
一種視頻解碼器裝置，包括處理器，該處理器被配置為實現申請專利範圍第1至18項中任一項所述的方法。
一種電腦可讀介質，其上儲存有代碼，該代碼包括使處理器實現申請專利範圍第1至18項中任一項所述的方法的指令。