TWI747000B

TWI747000B - 虛擬Merge候選

Info

Publication number: TWI747000B
Application number: TW108123078A
Authority: TW
Inventors: 張莉; 張凱; 劉鴻彬; 王悅
Original assignee: 大陸商北京字節跳動網絡技術有限公司; 美商字節跳動有限公司
Priority date: 2018-06-29
Filing date: 2019-07-01
Publication date: 2021-11-21
Also published as: CN110662037B; US20230209046A1; TWI744660B; WO2020003255A1; TW202007168A; CN110662036A; WO2020003267A1; US11627308B2; TW202025742A; TW202021347A; CN110662062A; WO2020003256A1; CN110662075A; CN110662036B; CN110662037A; WO2020003259A1; TW202032988A; US11470304B2; TW202021348A; CN110662032B

Abstract

一種視頻處理方法，包括：為視頻圖片中的視頻塊與視頻塊的位元流表示之間的轉換生成視頻塊的Merge候選清單。Merge候選列表包括至少一個第一Merge候選，第一Merge候選是通過修改第二Merge候選的運動向量和/或參考圖片推導出的虛擬Merge候選。該方法還包括：使用Merge候選清單在視頻塊和視頻位元流之間進行轉換。

Description

虛擬Merge候選

本發明檔涉及視頻處理技術、設備和系統。

[相關申請的交叉引用]

根據適用的《專利法》和/或《巴黎公約》的規定，本發明及時要求於2018年6月29日提交的國際專利申請號PCT/CN2018/093656的優先權和利益。根據美國法律，將國際專利申請號PCT/CN2018/093656的全部公開以引用方式併入本文，作為本發明公開的一部分。

儘管視訊壓縮有所進步，數位視訊在互聯網和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接使用者設備數量的增加，預計數位視訊使用的頻寬需求將繼續增長。

本檔公開了用於使用運動向量的Merge清單編碼和解碼數位視訊的方法、系統和設備。

在一個示例方面，一種視頻編碼方法，包括：根據分割結構將視頻資料塊劃分成M個子塊；根據公共運動資訊編解碼M個子塊的第一子集；以及根據不同於第一子集的公共運動資訊的運動資訊編解碼M個子塊的第二子集。

在另一示例方面，一種視頻解碼方法，包括：解析視頻位元流；以及基於解析的視頻位元流重建視頻圖片。視頻位元流包括根據分割結構劃分成M個子塊的至少一個視頻資料塊，M是大於1的整數。M個子塊的第一子集是根據公共運動資訊編解碼的，並且M個子塊的第二子集是根據不同於公共運動資訊的運動資訊編解碼的。

在另一示例方面，一種視頻處理方法，包括：基於子節點的父節點的多個相鄰塊為子節點推導Merge候選列表。父節點表示視頻資料單元，並且根據分割結構被劃分成多個子節點。多個子節點包括子節點和與該子節點相鄰的至少另一個子節點。該方法還包括在視頻資料單元和視頻位元流之間進行轉換。

在另一示例方面，一種視頻處理方法，包括：基於視頻塊的編解碼特性確定運動估計區域的維度。該方法還包括基於運動估計區域在視頻塊和視頻位元流之間進行轉換。運動估計區域表示視頻幀的一部分，該視頻幀包括視頻塊，從而能通過檢查候選塊是否位於Merge運動估計區域中而獨立地推導運動向量候選列表。

在另一示例方面，一種視頻處理方法，包括：基於與當前圖片臨時並置的一個或多個圖片中的多個塊，為當前圖片中的視頻塊推導多個時域運動向量預測(TMVP)候選。當前圖片從一個或多個圖片中排除。該方法還包括：將多個TMVP候選添加到與視頻塊相關聯的運動候選清單中，並在視頻塊和位元流之間進行轉換。

在另一示例方面，一種視頻處理方法，包括：為視頻圖片中的視頻塊與視頻塊的位元流表示之間的轉換生成視頻塊的Merge候選清單。Merge候選列表包括至少一個第一Merge候選，該第一Merge候選是通過修改第二Merge候選的運動向量和/或參考圖片推導出的虛擬Merge候選。該方法還包括：使用Merge候選清單在視頻塊和視頻位元流之間進行轉換。

在另一示例方面，一種視頻處理方法，包括：基於由當前視頻塊的空間Merge候選的運動向量識別的第一塊、以及當前視頻塊和空間Merge候選來自的第二塊之間的相對位置，為當前視頻塊的子塊確定子塊運動候選。該方法還包括：使用子塊運動候選在當前視頻塊和視頻位元流之間進行轉換。

在另一示例方面，公開了一種視頻解碼方法。該方法包括：解碼視頻位元流，其中至少一個視頻塊是使用取決於視頻塊的編解碼特性的運動估計區域表示的；以及從解析中重建視頻塊的解碼版本，其中運動估計區域表示視頻幀的一部分，該視頻幀包括視頻塊，從而能通過檢查候選塊是否位於該Merge估計區域而獨立地推導運動向量Merge候選列表。

在另一示例方面，公開了另一種視頻解碼方法。該方法包括：根據第一規則，為視頻位元流中的運動補償視頻塊生成Merge候選清單；使用第二規則從Merge候選清單確定當前運動資訊；以及基於當前運動資訊重建視頻塊。

在又一方面，公開了一種視頻解碼方法。該方法包括：根據第一規則，為視頻位元流中的視頻塊生成Merge候選清單；使用第二規則將Merge候選清單擴展到包含附加Merge候選的擴展Merge候選列表；以及使用擴展Merge候選清單重建視頻塊。

在另一示例方面，公開了一種解碼視頻位元流的方法。該方法包括：解析視頻位元流；以及從解析中重建視頻圖片。視頻位元流包括由父節點指示的至少一個塊，該父節點被劃分成由子節點指示的M個子塊，其中每個子塊的模式資訊被單獨編解碼，並且M個子塊不被進一步劃分，M是大於1的整數，並且其中並非所有M個子塊都共用相同的運動資訊。

在又一示例方面，公開了實現上述方法之一的視頻解碼裝置。

在又一示例方面，公開了實現上述方法之一的視頻編碼設備。

在又一典型的方面，本文所述的各種技術可以實施為存儲在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式碼。

在附件、附圖和下面的描述中闡述了一個或多個實現的細節。其它特徵將從說明書和附圖以及申請專利範圍中顯而易見。

2601、2611:父節點

2603、2613:相鄰塊

2700:視頻處理裝置

2702:處理器

2704:記憶體

2706:視頻處理電路

2800、2900、3000、3200:視頻解碼方法

3100:視頻編碼方法

3300:視頻編碼或解碼方法

3400、3500、3600、3700:視頻處理方法

2802、2804、2902、2904、2906、3002、3004、3006、3102、3104、3106、3202、3204、3302、3304、3402、3404、3502、3504、3602、3604、3702、3704:步驟A₀、A₁、B₀、B₁、B₂、C₀、C₁:位置

A、B、C、D:子CU

a、b、c、d:塊

MV0、MV0’、MV1、MV1’:運動向量

tb、td:距離

TD0、TD1:時間距離

圖1是示出視訊編碼器實現的示例的框圖。

圖2圖示了H.264視頻編解碼標準中的巨集塊分割。

圖3圖示了將編解碼塊(CB)劃分成預測塊(PB)的示例。

圖4圖示了將編解碼樹塊(CTB)細分成CB和轉換塊(TB)的示例實現。實線表示CB邊界，且虛線表示TB邊界，包括帶分割的示例CTB和相應的四叉樹。

圖5示出了用於分割視頻資料的四叉樹二叉樹(QTBT)結構的示例。

圖6示出了視頻塊分割的示例。

圖7示出了四叉樹分割的示例。

圖8示出了樹型信令的示例。

圖9示出了Merge候選列表構造的推導過程的示例。

圖10示出了空間Merge候選的示例位置。

圖11示出了考慮到空間Merge候選的冗餘檢查的候選對的示例。

圖12示出了Nx2N和2NxN分割的第二個PU的位置的示例。

圖13圖示了時域Merge候選的示例運動向量縮放。

圖14示出了時域Merge候選的候選位置以及它們的並置圖片。

圖15示出了組合雙向預測Merge候選的示例。

圖16示出了運動向量預測候選的推導過程的示例。

圖17示出了空間運動向量候選的運動向量縮放的示例。

圖18示出了編解碼單元(CU)的運動預測的示例可選時域運動向量預測(ATMVP)。

圖19圖示地描繪了源塊和源圖片的識別的示例。

圖20示出了具有四個子塊和相鄰塊的一個CU的示例。

圖21圖示了雙邊匹配的示例。

圖22圖示了範本匹配的示例。

圖23描繪了畫面播放速率上轉換(FRUC)中的單邊運動估計(ME)的示例。

圖24示出了基於雙邊範本匹配的解碼器側運動向量細化(DMVR)的示例。

圖25圖示了源塊識別的示例。

圖26A圖示了根據所公開技術的一個或多個實施例的非對稱二叉樹(ABT)分割結構下的第二CU的示例。

圖26B圖示了根據所公開技術的一個或多個實施例的三叉樹(TT)分割下的CU的示例。

圖26C圖示了根據所公開技術的一個或多個實施例的在並置塊之外的時域運動向量預測(TMVP)候選推導的多個塊的示例。

圖26D圖示了根據所公開技術的一個或多個實施例在並置編解碼樹單元(CTU)內的TMVP候選推導的多個塊的示例。

圖26E圖示了根據所公開技術的一個或多個實施例在並置塊之外的TMVP候選推導的多個塊的示例。

圖27是用於實現本文中所述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺示例的框圖。

圖28是視頻位元流處理的示例方法的流程圖。

圖29是視頻位元流處理的另一示例方法的流程圖。

圖30是視頻位元流處理的另一示例方法的流程圖。

圖31是根據所公開的技術的視頻編碼方法的流程圖表示。

圖32是根據所公開的技術的視頻解碼方法的流程圖表示。

圖33是根據所公開的技術的視頻處理方法的流程圖表示。

圖34是根據所公開的技術的另一種視頻處理方法的流程圖表示。

圖35是根據所公開的技術的另一種視頻處理方法的流程圖表示。

圖36是根據所公開的技術的另一種視頻處理方法的流程圖表示。

圖37是根據所公開的技術的另一種視頻處理方法的流程圖表示。

為了提高視頻的壓縮比，研究人員不斷尋找新的技術來編碼視頻。

1.介紹

本專利檔描述了與視頻編解碼技術相關的技術。具體地，描述了視頻編解碼中與Merge模式相關的技術。所公開的技術可應用於現有的視頻編解碼標準，如高效視頻編解碼(HEVC)，或待最終確定的標準多功能視頻編解碼(VVC)。也可能適用於未來的視頻編解碼標準或視頻編解碼器。

簡要討論

視頻編解碼標準主要是通過開發公知的ITU-T和ISO/IEC標準而發展起來的。ITU-T開發了H.261和H.263，ISO/IEC開發了MPEG-1和MPEG-4視覺，並且兩個組織聯合開發了H.262/MPEG-2視頻、H.264/MPEG-4高級視頻編解碼(AVC)和H.265/HEVC標準。自H.262以來，視頻編解碼標準基於混合視頻編解碼結構，其中採用了時域預測加變換編解碼。典型HEVC編碼器框架的示例如圖1所示。

2.1 分割結構

2.1.1 H.264/AVC中的分割樹結構

先前標準中編解碼層的核心是巨集塊，包含16×16的亮度樣本塊，並且在常規的4：2：0顏色採樣情況下，包含兩個對應的8×8的色度樣本塊。

內部編解碼塊使用空間預測來探索像素之間的空間相關性。定義了兩種分割：16x16和4x4。幀間編解碼塊通過估計圖片之間的運動來使用時域預測，而不是空間預測。可以單獨估計16x16宏塊或其任何子宏塊分割的運動：16x8、8x16、8x8、8x4、4x8、4x4(見圖2)。每個子宏塊分割只允許一個運動向量(MV)。

2.1.2 HEVC中的分割樹結構

在HEVC中，通過使用四叉樹結構(表示為編解碼樹)將CTU劃分成CU來適應各種局部特性。在CU級別決定是使用幀間(時域)預測還是幀內(空間)預測對圖片區域進行編解碼。根據PU的分割類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中，應用相同的預測處理，並且相關資訊以PU為基礎傳輸到解碼器。在基於PU分割類型通過應用預測處理獲得殘差塊後，可以根據與CU的編解碼樹相似的另一個四叉樹結構將CU分割成變換單元(TU)。HEVC結構的一個重要特徵是它具有多個分割概念，包括CU、PU以及TU。

使用HEVC的混合視頻編解碼中涉及的各種特徵突出顯示如下。

1)編解碼樹單元和編解碼樹塊(CTB)結構：HEVC中的類似結構是編解碼樹單元(CTU)，其具有由編碼器選擇並且可以大於傳統的宏塊的尺寸。CTU由亮度CTB和相應的色度CTB以及語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和四叉樹式信令將CTB分割為更小的塊。

2)編解碼單元(CU)和編解碼塊(CB)：CTU的四叉樹語法規定了其亮度和色度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB支持的最大尺寸。CTU的亮度和色度CB的劃分是聯合發信令的。一個亮度CB和通常兩個色度CB以及相關的語法一起形成編解碼單元(CU)。CTB可以只包含一個CU，也可以劃分形成多個CU，並且每個CU都有一個相關的劃分，分割成預測單元(PU)和轉換單元樹(TU)。

3)預測單元(PU)和預測塊(PB)：在CU級別決定是使用幀間預測還是幀內預測對圖片區域進行編解碼。PU分割結構的根位於CU級。取決於基本的預測類型決定，可以在尺寸上進一步劃分亮度和色度CB，並從亮度和色度預測塊(PB)中預測亮度和色度CB。HEVC支援從64×64到4×4個樣本的可變PB尺寸。圖3示出了MxM CU的允許PB示例。

4)變換單元(TU)和變換塊(TB)：使用塊變換對預測殘差進行編解碼。TU樹結構的根位於CU級。亮度CB殘差可能與亮度TB相同，或者也可能進一步劃分成更小的亮度TB。同樣適用於色度TB。對於4×4、8×8、16×16和32×32的方形TB定義了與離散余弦變換(DCT)相似的整數基函數。對於亮度幀內預測殘差的4×4變換，也可以指定從離散正弦變換(DST)形式推導的整數變換。

圖4示出了將CTB細分成CB(和轉換塊(TB))的示例。實線指示CB邊界，並且虛線指示TB邊界。(a)帶分割的CTB。(b)對應的四叉樹。

2.1.2.1 分割成變換塊和單元的樹形結構劃分

對於殘差編解碼，CB可以遞迴地分割為轉換塊(TB)。分割由殘差四叉樹發信令。只指定了方形CB和TB分割，其中塊可以遞迴地劃分為四象限，如圖4所示。對於尺寸為M×M的給定的亮度CB，標誌指示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分，如序列參數集(SPS)中指示的殘差四叉樹的最大深度所指示的那樣，每個象限都會分配一個標誌，指示是否將其劃分為四個象限。由殘差四叉樹生成的葉節點塊是由變換編解碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，則暗示劃分。當劃分將導致比指示的最小值更小的亮度TB尺寸時，則暗示不劃分。色度TB尺寸在每個維度上是亮度TB尺寸的一半，但當亮度TB尺寸為4×4時除外，在這種情況下，被四個4×4亮度TB覆蓋的區域使用單個4×4色度TB。在幀內預測的CU的情況下，最近相鄰TB(CB內或CB外)的解碼樣本用作幀內預測的參考資料。

與以前的標準不同，對於幀間預測的CU，HEVC設計允許TB跨越多個PB，以最大化得益於四叉樹結構的TB分割的潛在編解碼效率。

2.1.2.2 父節點和子節點

根據四叉樹結構對CTB進行劃分，其節點為編解碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(例如，葉節點不會進一步劃分)。非葉節點包括樹結構的根節點。根節點對應於視頻資料的初始視頻塊(例如，CTB)。對於多個節點的每個各自的非根節點，各自的非根節點對應於視頻塊，該視頻塊是對應於各自非根節點的樹結構中的父節點的視頻塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。

2.1.3 聯合探索模型(JEM)中具有較大CTU的四叉樹加二叉樹塊結構

為探索HEVC之外的未來視頻編解碼技術，VCEG和MPEG於2015年共同成立了聯合視頻探索團隊(JVET)。從那時起，JVET採用了許多新的方法，並將其應用到了名為聯合探索模型(JEM)的參考軟體中。

2.1.3.1 QTBT塊分割結構

與HEVC不同，QTBT結構消除了多個分割類型的概念。例如，QTBT結構消除了CU、PU和TU概念的分離，並支持CU分割形狀的更多靈活性。在QTBT塊結構中，CU可以是方形或矩形。如圖5所示，首先用四叉樹結構對編解碼樹單元(CTU)進行分割。四叉樹葉節點進一步被二叉樹結構分割。在二叉樹劃分中有兩種分割類型：對稱的水準劃分和對稱的垂直劃分。二叉樹葉節點被稱為編解碼單元(CU)，該劃分用於預測和轉換處理，而無需進一步分割。這意味著在QTBT編解碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編解碼塊(CB)組成，例如，在4：2：0色度格式的預測(P)條帶和雙向預測(B)條帶中，一個CU包含一個亮度CB和兩個色度CB，並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

為QTBT分割方案定義了以下參數。

-CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同。

-MiNQTSize：最小允許的四叉樹葉節點尺寸

-MaxBTSize：最大允許的二叉樹根節點尺寸

-MaxBTDePTh：最大允許的二叉樹深度

-MiNBTSize：最小允許的二叉樹葉節點尺寸

在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128個亮度樣本，MiNQTSize被設置為16×16，MaxBTSize被設置為64×64，MiNBTSize(寬度和高度)被設置為4×4，MaxBTSize被設置為4。四叉樹分割首先應用於CTU，以生成四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16(例如，MiNQTSize)到128×128(例如，CTU尺寸)的尺寸。如果葉四叉樹節點是128×128，則其不會被二叉樹進一步劃分，因為其尺寸超過了MaxBTSize(例如，64×64)。否則，葉四叉樹節點可以被二叉樹進一步分割。因此，四叉樹葉節點也是二叉樹的根節點，並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh(例如，4)時，不考慮進一步劃分。當二叉樹節點的寬度等於MiNBTSize(例如，4)時，不考慮進一步的水準劃分。同樣，當二叉樹節點的高度等於MiNBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而不需要進一步的分割。在JEM中，最大CTU尺寸為256×256個亮度樣本。

圖5的左側部分圖示了通過使用QTBT進行塊分割的示例，圖 5的右側部分圖示了相應的樹表示。實線表示四叉樹分割，並且虛線表示二叉樹分割。在二叉樹的每個劃分(例如，非葉)節點中，會對一個標誌發信令來指示使用哪種分割類型(例如，水準或垂直)，其中0表示水準劃分，1表示垂直劃分。對於四叉樹分割，不需要指明分割類型，因為四叉樹分割總是水準和垂直劃分一個塊，以生成尺寸相同的4個子塊。

此外，QTBT方案支援亮度和色度具有單獨的QTBT結構的能力。目前，對於P條帶和B條帶，一個CTU中的亮度和色度CTB共用相同的QTBT結構。然而，對於內部編解碼(I)條帶，用QTBT結構將亮度CTB分割為CU，用另一個QTBT結構將色度CTB分割為色度CU。這意味著I條帶中的CU由亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，P條帶或B條帶中的CU由所有三種顏色分量的編解碼塊組成。

在HEVC中，為了減少運動補償的記憶體訪問，限制小塊的幀間預測，使得4×8和8×4塊不支持雙向預測，並且4×4塊不支援幀間預測。在JEM的QTBT中，這些限制被移除。

2.1.4 多功能視頻編解碼(VVC)的三叉樹

圖6圖示了以下示例：(a)四叉樹分割，(b)垂直二叉樹分割(c)水準二叉樹分割(d)垂直中心側三叉樹分割，和(e)水準中心側三叉樹分割。提出了四叉樹和二叉樹以外的樹類型。在一些實現中，還引入了兩個額外的三叉樹(TT)劃分，例如，水準和垂直中心側三叉樹，如圖6(d)和(e)所示。

在一些實現中，有兩個層次的樹：區域樹(四叉樹)和預測樹 (二叉樹或三叉樹)。首先用區域樹(RT)對CTU進行劃分。可以進一步用預測樹(PT)劃分RT葉。也可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本的編解碼單元。為了方便起見，它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構被稱為“多類型樹”。

2.1.5 示例分割結構

被稱為多樹型(MTT)的樹結構是QTBT的廣義化。在QTBT中，如圖5所示，首先用四叉樹結構對編解碼樹單元(CTU)進行劃分。然後用二叉樹結構對四叉樹葉節點進行進一步劃分。

MTT的基本結構由兩種類型的樹節點組成：區域樹(RT)和預測樹(PT)，支援九種類型的劃分，如圖7所示。

圖7圖示了以下示例：(a)四叉樹分割，(b)垂直二叉樹分割，(c)水準二叉樹分割，(d)垂直三叉樹分割，(e)水準三叉樹分割，(f)水準向上非對稱二叉樹分割，(g)水準向下非對稱二叉樹分割，(h)垂直的左非對稱二叉樹分割，和(i)垂直的右非對稱二叉樹分割。

區域樹可以遞迴地將CTU劃分為方形塊，直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上，可以從三種樹類型中的一種形成預測樹：二叉樹(BT)、三叉樹(TT)和/或非對稱二叉樹(ABT)。在PT劃分中，可能禁止在預測樹的分支中進行四叉樹分割。和JEM一樣，亮度樹和色度樹在I條帶中被分開。RT和PT的信令方法如圖8所示。

2.2 HEVC/H.265中的幀間預測

每個幀間預測的PU具有一個或兩個參考圖片清單的運動參數。運動參數包括運動向量和參考圖片索引。對兩個參考圖片清單中的一個的使用也可以使用inter_pred_idc發信令。運動向量可以相對於預測器顯式地編解碼為增量，這種編解碼模式稱為高級運動向量預測(AMVP)模式。

當CU採用跳躍模式編解碼時，一個PU與CU相關聯，並且沒有顯著的殘差係數、沒有編解碼的運動向量增量或參考圖片索引。指定了一種Merge模式，通過該模式，可以從相鄰的PU(包括空間和時域候選)中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU，而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸，其中運動向量、每個參考圖片清單對應的參考圖片索引和參考圖片清單的使用都會在每個PU中顯式地發信令。

當信令指示要使用兩個參考圖片清單中的一個時，從一個樣本塊中生成PU。這被稱為“單向預測”。單向預測對P條帶和B條帶都可用。

當信令指示要使用兩個參考圖片清單時，從兩個樣本塊中生成PU。這被稱為“雙向預測”。雙向預測僅對B條帶可用。

下面詳細介紹了幀間預測模式。描述將從Merge模式開始。

2.2.1 Merge模式

2.2.1.1Merge模式的候選的推導

當使用Merge模式預測PU時，從位元流分析指向Merge候選清單中條目的索引，並用於檢索運動資訊。該清單的結構在HEVC標準中有規定，並且可以按照以下步驟順序進行概括：

步驟1：初始候選推導

步驟1.1：空間候選推導

步驟1.2：空間候選的冗餘檢查

步驟1.3：時域候選推導

步驟2：附加候選插入

步驟2.1：雙向預測候選的創建

步驟2.2：零運動候選的插入

在圖9中也示意性描述了這些步驟。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量，因此當候選數未達到條帶標頭中發信令的最大Merge候選數(例如，MaxNumMergeCand)時，生成附加的候選。由於候選數是恒定的，所以最佳Merge候選的索引使用截斷的一元二值化進行編碼。如果CU的大小等於8，則當前CU的所有PU都共用一個Merge候選列表，這與2N×2N預測單元的Merge候選清單相同。

下面詳細介紹與上述步驟相關的操作。

2.2.1.2 空間候選推導

在空間Merge候選的推導中，在位於圖10所示位置的候選中最多選擇四個Merge候選。推導順序為A1、B1、B0、A0和B2。只有當位置A1、B1、B0、A0的任何PU不可用(例如，因為它屬於另一個條帶或片)或是內部編解碼時，才考慮位置B2。在增加A1位置的候選後，對其餘候選的增加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在清單之外，從而提高編解碼效率。為了降低計算的複雜度，在所提到的冗餘檢查中並不考慮所有可能的候選對。相反，只有與圖11中的箭頭連結的對才會被考慮，並且只有當用於冗餘檢查的對應候選沒有相同的運動資訊時，才將候選添加到列表中。複製運動資訊的另一個來源是與2N×2N不同的分區相關的“第二PU”。例如，圖12分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時，對於列表構建不考慮A1位置的候選。在一些實施例中，添加此候選可能導致兩個具有相同運動資訊的預測單元，這對於在編解碼單元中僅具有一個PU是冗餘的。同樣地，當當前PU被劃分為2N×N時，不考慮位置B1。

2.2.1.3 時域候選推導

在此步驟中，只有一個候選添加到列表中。特別地，在這個時域Merge候選的推導中，基於與給定參考圖片清單中當前圖片具有最小圖片順序計數POC差異的並置PU推導了縮放運動向量。用於推導並置PU的參考圖片清單在條帶標頭中顯式地發信令。圖13中的虛線示出了時域Merge候選的縮放運動向量的獲得，其使用POC距離tb和td從並置PU的運動向量進行縮放，其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義為並置圖片的參考圖片與並置圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。對於B條帶，得到兩個運動向量(一個是對於參考圖片清單0，另一個是對於參考圖片清單1)並將其組合使其成為雙向預測Merge候選。在屬於參考幀的並置PU(Y)中，在候選C₀和C₁之間選擇時域候選的位置，如圖14所示。如果位置C₀處的PU不可用、內部編解碼或在當前CTU 之外，則使用位置C₁。否則，位置C₀被用於時域Merge候選的推導。

2.2.1.4 附加候選插入

除了空時Merge候選，還有兩種附加類型的Merge候選：組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片清單運動參數與另一候選的第二參考圖片清單運動參數相結合，生成組合雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成新的雙向預測候選。圖15示出了原始列表中(在左側)的兩個候選被用於創建添加到最終列表(在右側)中的組合雙向預測Merge候選的情況，其具有MvL0和refIdxL0或MvL1和refIdxL1的兩個候選。有許多關於組合的規則需要考慮以生成這些附加Merge候選。

插入零運動候選以填充Merge候選列表中的其餘條目，從而達到MaxNumMergeCand的容量。這些候選具有零空間位移和從零開始並且每次將新的零運動候選添加到清單中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。最後，對這些候選不執行冗餘檢查。

2.2.1.5 並行處理的運動估計區域

為了加快編碼處理，可以並存執行運動估計，從而同時推導給定區域內所有預測單元的運動向量。從空間鄰域推導Merge候選可能會干擾並行處理，因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編解碼效率和處理延遲之間的平衡，HEVC定義了運動估計區域(MER)。可使用如下所述的語法元素 “log2_parallel_merge_level_minus2”在圖片參數集中對MER的尺寸中發信令。當定義MER時，落入同一區域的Merge候選標記為不可用，並且因此在列表構建中不考慮。

7.3.2.3 圖片參數設置原始位元組序列有效載荷(RBSP)語法

7.3.2.3.1 通用圖片參數集RBSP語法

log2_parallel_Merge_level_MiNus2加2指定變數Log2ParMrgLevel的值，該變數用於第8.5.3.2.2條中規定的Merge模式亮度運動向量的推導過程，以及第8.5.3.2.3條中規定的空間Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變數Log2ParMrgLevel推導如下：Log2ParMrgLevel=log2_parallel_Merge_level_MiNus2+2

注釋3-Log2ParMrgLevel的值表示Merge候選列表並行推導的內置功能。例如，當Log2ParMrgLevel等於6時，可以並行推導64x64塊中包含的所有預測單元(PU)和編解碼單元(CU)的Merge候選列表。

2.2.2 AMVP模式中的運動向量預測

運動向量預測利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恒定來構建運動向量候選列表。然後，編碼器可以從候選清單中選擇最佳的預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2(參見圖2至圖8)。在下面的章節中，將詳細介紹運動向量預測候選的推導過程。

2.2.2.1 運動向量預測候選的推導

圖16概括了運動向量預測候選的推導過程。

在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選的推導，基於位於圖11所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。

對於時域運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的並置位置推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除相關聯的參考圖片清單中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加附加的零運動向量候選。

2.2.2.2 空間運動向量候選

在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自圖11所描繪位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A₀、A₁、以及縮放的A₀、縮放的A₁。當前PU上面的推導順序定義為B₀、B₁,B₂、縮放的B₀、縮放的B₁、縮放的B₂。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：

--無空間縮放

(1)相同的參考圖片清單，並且相同的參考圖片索引(相同的POC)

(2)不同的參考圖片清單，但是相同的參考圖片索引(相同的POC)

--空間縮放

(3)相同的參考圖片清單，但是不同的參考圖片索引(不同的POC)

(4)不同的參考圖片清單，並且不同的參考圖片索引(不同的POC)

首先檢查無空間縮放的情況，然後檢查空間縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，都會考慮空間縮放，而不考慮參考圖片清單。如果左側候選的所有PU都不可用或是內部編解碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的平行推導。否則，不允許對上述運動向量進行空間縮放。

在空間縮放處理中，相鄰PU的運動向量以與時域縮放相似的方式縮放，如圖17所示。主要區別在於，給出了當前PU的參考圖片清單和索引作為輸入，實際縮放處理與時域縮放處理相同。

2.2.2.3 時域運動向量候選

除了參考圖片索引的推導外，時域Merge候選的所有推導過程與空間運動向量候選的推導過程相同(參見圖2至圖6)。向解碼器發參考圖片索引的信令。

2.2.2.4 AMVP信息的信令

對於AMVP模式，可以在位元流對四個部分發信令，包括預測方向、參考索引、MVD和MV預測候選索引。

語法表：

7.3.8.9 運動向量差語法

2.3 聯合探索模型(JEM)中新的幀間預測方法

2.3.1 基於子CU的運動向量預測

在具有QTBT的JEM中，每個CU對於每個預測方向最多可以具有一組運動參數。通過將大的CU分割成子CU並推導該大CU的所有子CU的運動資訊，編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測(ATMVP)方法允許每個CU從多個小於並置參考圖片中當前CU的塊中獲取多組運動資訊。在空時運動向量預測(STMVP)方法中，通過利用時域運動向量預測器和空間鄰接運動向量遞迴地推導子CU的運動向量。

為了為子CU運動預測的保持更精確的運動場，當前禁用參考幀的運動壓縮。

2.3.1.1 可選時域運動向量預測

在可選時域運動向量預測(ATMVP)方法中，運動向量時域運動向量預測(TMVP)是通過從小於當前CU的塊中提取多組運動資訊(包括運動向量和參考索引)來修改的。如圖18所示，子CU為方形N×N塊(默認N設置為4)。

ATMVP分兩步預測CU內的子CU的運動向量。第一步是用所謂的時域向量識別參考圖中的對應塊。參考圖片稱為運動源圖片。第二步是將當前CU劃分成子CU，並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引，如圖18所示。

在第一步中，參考圖片和對應的塊由當前CU的空間相鄰塊的運動資訊確定。為了避免相鄰塊的重複掃描處理，使用當前CU的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊(有時稱為並置塊)始終位於相對於當前CU的右下角或中心位置。在一個示例中，如果第一個Merge候選來自左相鄰塊(例如，圖19中的A₁)，則使用相關的MV和參考圖片來識別源塊和源圖片。

在第二步中，通過將時域向量添加到當前CU的座標中，通過運動源圖片中的時域向量識別子CU的對應塊。對於每個子CU，使用其對應塊的運動資訊(覆蓋中心樣本的最小運動網格)來推導子CU的運動資訊。在識別出對應N×N塊的運動資訊後，將其轉換為當前子CU的運動向量和參考索引，與HEVC的TMVP方法相同，其中應用運動縮放和其它處理。例如，解碼器檢查是否滿足低延遲條件(例如，當前圖片的所有參考圖片的POC都小於當前圖片的POC)，並可能使用運動向量MVx(與參考圖片清單X對應的運動向量)來為每個子CU預測運動向量MVy(X等於0或1且Y等於1-X)。

2.3.1.2 空時運動向量預測

在這種方法中，子CU的運動向量是按照光柵掃描順序遞迴推導的。圖20圖示了一個具有四個子塊(A至D)及其相鄰塊(a至d)的CU的示例。考慮一個8×8的CU，它包含四個4×4的子CU A、B、C和D。當前幀中相鄰的4×4的塊標記為a、b、c和d。

子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A上方的N×N塊(塊c)。如果該塊c不可用或內部編解碼，則檢查子CU A上方的其它N×N塊(從左到右，從塊c處開始)。第二個鄰居是子CU A左側的一個塊(塊b)。如果塊b不可用或是內部編解碼，則檢查子CU A左側的其它塊(從上到下，從塊b處開始)。每個清單從相鄰塊獲得的運動資訊被縮放到給定清單的第一個參考幀。接下來，按照HEVC中規定的與TMVP相同的程式，推推導子塊A的時域運動向量預測(TMVP)。提取位置D處的並置塊的運動資訊並進行相應的縮放。最後，在檢索和縮放運動資訊後，對每個參考列表分別平均所有可用的運動向量(最多3個)。將平均運動向量指定為當前子CU的運動向量。

2.3.1.3 子CU運動預測模式信令通知

子CU模式作為附加的Merge候選模式啟用，並且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP，則最多使用七個Merge候選。附加Merge候選的編解碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P條帶或B條帶中的每個CU，需要對兩個附加Merge候選進行兩次額外的RD檢查。

在JEM中，Merge索引的所有bin檔都由CABAC進行上下文編解碼。然而在HEVC中，只有第一個bin檔是上下文編解碼的，並且其餘的biN檔是上下文旁路編解碼的。

2.3.2 自我調整運動向量差解析度

在HEVC中，當在條帶標頭中use_integer_mv_flag等於0時，運動向量差(MVD)(在PU的運動向量和預測運動向量之間)以四分之一亮度樣本為單位發信令。在JEM中，引入了局部自我調整運動向量解析度(LAMVR)。在JEM中，MVD可以用四分之一亮度樣本、整數亮度樣本或四亮度樣本的單位進行編解碼。MVD解析度控制在編解碼單元(CU)級別，並且MVD解析度標誌有條件地為每個至少有一個非零MVD分量的CU發信令。

對於具有至少一個非零MVD分量的CU，第一個標誌將發信令以指示CU中是否使用四分之一亮度樣本MV精度。當第一個標誌(等於1)指示不使用四分之一亮度樣本MV精度時，另一個標誌發信令以指示是使用整數亮度樣本MV精度還是使用四亮度樣本MV精度。

當CU的第一個MVD解析度標誌為零或沒有為CU編解碼(意味著CU中的所有MVD都為零)時，CU使用四分之一亮度樣本MV解析度。當一個CU使用整數亮度樣本MV精度或四亮度樣本MV精度時，該CU的AMVP候選列表中的MVP將取整到對應的精度。

在編碼器中，CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說，對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度，在JEM中應用以下編碼方案。

在對具有正常四分之一亮度採樣MVD解析度的CU進行RD檢查期間，存儲當前CU(整數亮度採樣精度)的運動資訊。在對具有整數亮度樣本和4亮度樣本MVD解析度的同一個CU進行RD檢查時，將存儲的運動資訊(取整後)用作進一步小範圍運動向量細化的起始點，從而使耗時的運動估計處理不會重複三次。

有條件地調用具有4亮度樣本MVD解析度的CU的RD檢查。對於CU，當整數亮度樣本MVD解析度的RD檢查成本遠大於四分之一亮度樣本MVD解析度的RD檢查成本時，將跳過對CU的4亮度樣本MVD解析度的RD檢查。

2.3.3 模式匹配運動向量推導

模式匹配運動向量推導(PMMVD)模式是基於畫面播放速率上轉換(FRUC)技術的特殊Merge模式。在這種模式下，塊的運動資訊不會被發信令，而是在解碼器側推導。

對於CU，當其Merge標誌為真時，對FRUC標誌發信令。當FRUC標誌為假時，對Merge索引發信令並且使用常規Merge模式。當FRUC標誌為真時，對另一個FRUC模式標誌發信令來指示將使用哪種模式(雙邊匹配或範本匹配)來推導該塊的運動資訊。

在編碼器側，基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。即通過使用RD成本選擇來檢查CU的兩個匹配模式(雙邊匹配和範本匹配)。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式，那麼對於CU，FRUC標誌設置為真，並且使用相關的匹配模式。

FRUC Merge模式中的運動推導過程有兩個步驟：首先執行CU級運動搜索，然後執行子CU級運動優化。在CU級，基於雙邊匹配或範本匹配，推導整個CU的初始運動向量。首先，生成一個MV候選列表，並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙邊匹配或範本匹配的局部搜索，並且將最小匹配成本的MV結果作為整個CU的MV值。接著，以推導的CU運動向量為起點，進一步在子CU級細化運動資訊。

例如，對於W×H CU運動資訊推導執行以下推導過程。在第一階段，推推導了整個W×H CU的MV。在第二階段，該CU進一步被分成M×M子CU。M的值按照等式(1)計算，D是預先定義的劃分深度，在JEM中默認設置為3。然後推導每個子CU的MV值。

如圖21所示，通過沿當前CU的運動軌跡在兩個不同的參考圖片中找到兩個塊之間最接近的匹配，使用雙邊匹配來推導當前CU的運動資訊。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0和MV1與當前圖片和兩個參考圖片之間的時間距離(例如，TD0和TD1成正比。作為特殊情況，當當前圖片暫時位於兩個參考圖片之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成為基於鏡像的雙向MV。

如圖22所示，通過在當前圖片中的範本(當前CU的頂部和/或左側相鄰塊)和參考圖片中的塊(與範本尺寸相同)之間找到最接近的匹配，使用範本匹配來推導當前CU的運動資訊。除了上述的FRUC Merge模式外，範本匹配也應用於AMVP模式。在JEM中，正如在HEVC中一樣，AMVP有兩個候選。利用範本匹配方法，推導了新的候選。如果由範本匹配新推導的候選與第一個現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表尺寸設置為2(即移除第二個現有AMVP候選)。當應用於AMVP模式時，僅應用CU級搜索。

2.3.3.1 CU級MV候選集

CU級的MV候選集包括：

(i)原始AMVP候選，如果當前CU處於AMVP模式，

(ii)所有Merge候選，

(iii)在第2.3.3.2節中介紹的插值MV場中的幾個MV。

(iv)頂部和左側相鄰運動向量

當使用雙邊匹配時，Merge候選的每個有效MV用作輸入，以生成假設為雙邊匹配的MV對。例如，Merge候選在參考列表A處的一個有效MV為(MVa，ref_a)。然後在另一個參考列表B中找到其配對的雙邊MV的參考圖片ref_b，以便ref_a和ref_b在時間上位於當前圖片的不同側。如果參考列表B中的參考ref_b不可用，則將參考ref_b確定為與參考ref_a不同的參考，並且其到當前圖片的時間距離是清單B中的最小距離。確定參考ref_b後，通過基於當前圖片和參考ref_a、參考ref_b之間的時間距離縮放MVa推導MVb。

還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)處插值的MV。

當在AMVP模式下應用FRUC時，原始的AMVP候選也添加到CU級的MV候選集。

在CU級，可以將AMVP CU的最多15個MV和Merge CU的最多13個MV添加到候選列表中。

2.3.3.2 子CU級MV候選集

在子CU級設置的MV候選包括：(i)從CU級搜索確定的MV，(ii)頂部、左側、左上方和右上方相鄰的MV，(iii)來自參考圖片的並置MV的縮放版本，(iv)最多4個ATMVP候選，(v)最多4個STMVP候選。

來自參考圖片的縮放MV推導如下。兩個清單中的所有參考圖片都被遍歷。參考圖片中子CU的並置位置處的MV被縮放為起始CU級MV的參考。

ATMVP和STMVP候選被限制為前四個。在子CU級，最多17個MV被添加到候選列表中。

2.3.3.3 插值MV場的生成

在對幀進行編解碼之前，基於單向ME生成整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。

首先，兩個參考清單中每個參考圖片的運動場在4×4的塊級別上被遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊(如圖23所示)，並且該塊沒有被分配任何內插運動，則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC中TMVP的MV縮放相同)，並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊，則在插值運動場中將塊的運動標記為不可用。

2.3.3.4 插補匹配成本

當運動向量指向分數採樣位置時，需要運動補償插值。為了降低複雜度，對雙邊匹配和範本匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。

匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本是雙邊匹配或範本匹配的絕對和差(SAD)。在確定起始MV後，雙邊匹配在子CU級搜索的匹配成本C計算如下：C=SAD+w．(|MV _x-MV _x ^s|+|MV _y-MV _y ^s|) 等式(2)

這裡，w是權重係數，被經驗地設置為4。MV和MV ^s分別指示當前MV和起始MV。仍然將SAD用作模式匹配在子CU級搜索的匹配成本。

在FRUC模式下，MV通過僅使用亮度樣本推導。推導的運動將用於亮度和色度的MC幀間預測。確定MV後，對亮度使用8抽頭(8-taps)插值濾波器並且對色度使用4抽頭(4-taps)插值濾波器執行最終MC。

2.3.3.5 MV細化

MV細化是基於模式的MV搜索，以雙邊成本或範本匹配成本為標準。在JEM中，支援兩種搜索模式-無限制中心偏置菱形搜索(UCBDS)和自我調整交叉搜索，分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化，都在四分之一亮度樣本精度下直接搜索MV，接著是八分之一亮度樣本MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8個亮度樣本。

2.3.3.6 範本匹配FRUC Merge模式下預測方向的選擇

在雙邊Merge模式下，總是應用雙向預測，因為CU的運動資訊是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。範本匹配Merge模式沒有這種限定。在範本匹配Merge模式下，編碼器可以從清單0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇基於如下的範本匹配成本：如果costBi<=factor*min(cost0,cost1)

則使用雙向預測；否則，如果cost0<=cost1

則使用列表0中的單向預測；否則，使用列表1中的單向預測；其中cost0是清單0範本匹配的SAD，cost1是清單2範本匹配的SAD，並且costBi是雙向預測範本匹配的SAD。factor的值等於1.25，意味著選擇處理朝雙向預測偏移。幀間預測方向選擇可以僅應用於CU級範本匹配處理。

2.3.4 解碼器側運動向量細化

在雙向預測操作中，對於一個塊區域的預測，將兩個分別由列表0的運動向量(MV)和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動向量細化(DMVR)方法中，通過雙邊範本匹配處理進一步細化雙向預測的兩個運動向量。解碼器中應用的雙邊範本匹配用於在雙邊範本和參考圖片中的重建樣本之間執行基於失真的搜索，以便在不傳輸附加運動資訊的情況下獲得細化的MV。

在DMVR中，雙邊範本被生成為兩個預測塊的加權組合(即平均)，其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1。範本匹配操作包括計算生成的範本與參考圖片中的樣本區域(在初始預測塊周圍)之間的成本度量。對於兩個參考圖片中的每一個，產生最小範本成本的MV被視為該列表的更新MV，以替換原始MV。在JEM中，為每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周邊MV，這八個周邊MV在水準或垂直方向上或兩者與原始MV具有一個亮度樣本的偏移。最後，使用圖24所示的兩個新的MV(即MV0′和MV1′)生成最終的雙向預測結果。絕對差異之和(SAD)被用作成本度量。

在不傳輸附加語法元素的情況下，將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，並且另一個MV來自未來的參考圖片。在JEM中，當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。

3.示例問題和實施例

關於當前的編解碼技術已經識別到一些問題。首先，對於不同的分割樹(如BT或TT)，父節點可能有兩個或三個子節點，例如一個塊被劃分為兩個或三個子塊。在當前設計中，兩個或三個子節點可以共用相同的運動資訊。在這種情況下，可能需要不必要的開銷來表示運動資訊。智慧編碼器不需要編解碼多個子節點，而是可以將塊作為一個整體進行編解碼，而無需進一步劃分以減少信令開銷。或者，子節點可以具有不同的運動資訊，以避免在位元流中的冗餘信令。

第二，MER被設計以覆蓋N x N區域，主要考慮HEVC中的方形CU或CTU設計。然而，在VVC中，可能會出現非方形CU或甚至非方形CTU。MER需要適應非方形CU/CTU。

第三，目前只有TMVP候選可以添加到Merge候選列表中。增加更多的時域Merge候選預計能提供額外的編解碼增益。

最後，組合的雙向預測Merge候選是生成某些虛擬Merge候選的唯一方式(例如，不直接從空間/時域相鄰塊複製/縮放)。希望開發不同的方法來生成虛擬Merge候選，這可能會帶來額外的好處。

下面的示例實施例說明了可以實現以解決上述問題的各種技術。

與MER相關的示例

示例A1：MER區域尺寸可能取決於當前圖片的分割類型(例如QT、BT或TT)和/或塊形狀(方形或非方形)和/或塊尺寸和/或時域層索引。

a.在一些實施例中，可以在位元流(例如，在序列參數集(SPS)、圖片參數集(PPS)、條帶標頭等)中對MER區域尺寸發信令。

示例A2：可以引入M×N(M不等於N)的非方形MER區域，以允許編碼器/解碼器進行並行編解碼。

a.在一個示例中，可以在位元流(例如，在序列參數集(SPS)、圖片參數集(PPS)、條帶標頭等)中傳輸指示MER區域的寬度和高度的兩個單獨的語法元素。

b.在另一個示例中，對於每個分割類型(例如，QT、BT、ABT或TT)和/或塊形狀(方形或非方形)，可以在位元流(例如，在序列參數集(SPS)、圖片參數集(PPS)、條帶標頭等)中傳輸MER區域的寬度和高度的單獨指示。

c.在一些實施例中，可以應用兩個語法元素的預測編解碼來節省MER區域寬度/高度指示的一些開銷。

d.在一些實施例中，可以對一個標誌發信令來指示兩個/多個語法元素是否共用相同的尺寸。

由於分割導致的運動資訊的限制相關的示例

示例B1：對於一種分割類型(例如，QT、BT、ABT或TT)，一個塊可以劃分為M個子塊(M>=2)。可施加限制，使的並非所有M子塊共用相同的運動資訊，包括參考圖片、運動向量、IC標誌、仿射標誌等。

a.如果前N個(例如，N=M-1)子塊使用相同的運動資訊編解碼，則其餘子塊(例如，最後一個子塊)不具有相同的運動資訊。

b.在一個示例中，如果其餘子塊(例如，最後一個子塊)使用相同的運動資訊，則可以避免以編解碼順序對其餘子塊的運動資訊的信令通知。

i.當子塊的第一子集(例如，前M-1個子塊)用相同的運動資訊編解碼時，如果子塊的其餘子集(例如，最後一個子塊)用Merge模式編解碼，則Merge索引不對應於由子塊的第一子集(例如，M-1個子塊)的任何一個覆蓋的空間相鄰塊的運動資訊。換言之，與子塊的第一子集(例如，M-1個子塊)的任何一個覆蓋的空間相鄰塊的運動資訊相對應的Merge索引在位元流中不發信令(例如，由於位元流一致性原因)。

ii.當子塊的第一子集(例如，前M-1個子塊)用相同的運動資訊編解碼時，如果子塊的其餘子集(例如，最後一個子塊)用Merge模式編解碼，則將從Merge候選列表中移除提供子塊的第一子集(例如，前M-1個子塊)的相同運動資訊的Merge候選。

iii.當子塊的第一子集(例如，前M-1個子塊)用相同的運動資訊編解碼時，如果子塊的其餘子集(例如，最後一個子塊)用AMVP模式編解碼、並且編解碼的參考圖片與子塊的第一子集(例如，前M-1個子塊)的參考圖片相同時，則解碼的AMVP MV預測候選索引不對應於由子塊的第一子集(例如，前M-1個子塊)的任何一個覆蓋的空間相鄰塊的運動資訊。換言之，如果MV預測候選索引中的任何一個可能產生相同的運動資訊，則信令被修改以跳過MV預測候選的指示。另外，如果只有兩個AMVP候選，則可以跳過對MV預測候選索引發信令。

iv.當子塊的第一子集(例如，前M-1個子塊)使用相同的運動資訊編解碼時，如果子塊的其餘子集(例如，最後一個子塊)使用DMVR模式編解碼，則與子塊的第一子集(例如，M-1個子塊)的成本計算相同的細化運動資訊的成本計算被跳過，並將該成本值視為最大值。

v.當子塊的第一子集(例如，前M-1個子塊)使用相同的運動資訊編解碼時，如果子塊的其餘子集(例如，最後一個子塊)使用FRUC模式編解碼，則與第一子集(例如，M-1個子塊)的成本計算相同的運動資訊的成本計算被跳過，並將成本值視為最大值。

示例B2：可以施加限制，使不能從可以與當前塊一起形成父節點的相鄰塊中獲得Merge候選。如上所述，在位於圖10所示位置中的候選中，最多可選擇四個Merge候選。位於父節點內的這些位置的子集可以標記為受限的或不允許的，以便基於父節點外的相鄰塊確定Merge候選。

a.在一個示例中，當為BT或ABT情況推導Merge候選清單時，父節點的第二個分割(例如，第二個子節點)不使用位於第一個BT或ABT分割(例如，第一個子節點)中的任何相鄰塊。圖26A至圖26B示出了一些示例。圖26A示出了根據所公開技術的一個或多個實施例的ABT分割結構下的父節點的第二個CU的示例。在圖26A的左側，使用ABT分割結構將父節點2601劃分為兩個CU。第一個CU中的相鄰塊2603被認為處於不允許的位置。因此，僅基於父節點2611的相鄰塊推導Merge候選，而不管CU是如何劃分的。也就是說，位於父節點外部的相鄰塊。在圖26A的右側部分，使用另一種ABT分割結構將父節點2611劃分為兩個CU。第一個CU中的相鄰塊2613是不被允許的，因此，僅基於父節點2611的相鄰塊推導Merge候選。圖26B示出了根據所公開技術的一個或多個實施例的TT分割結構下的CU的示例。在圖26B的左側部分中，第3個CU的相鄰塊(在第2個CU中)被認為處於不允許的位置。因此，僅基於父節點的相鄰塊推導Merge候選，而不考慮TT分割結構。同樣，在圖26B的右側部分，第2個CU的相鄰塊(位於第1個CU)被認為處於不允許的位置。因此，僅基於父節點的相鄰塊推導Merge候選，而不考慮分割結構。類似的限制也適用於其它分割結構(例如，QT)。

b.在一個示例中，當為TT情況推導Merge候選清單時，第二或第三分割(例如，第二或第三個子節點)不使用位於第一TT分割和/或第二TT分割中的任何相鄰塊。

c.可選地，另外，如果在不允許的位置有一些相鄰塊，則可以進一步訪問其它相鄰塊以推導Merge候選。

i.在一個示例中，訪問一個新位置，並將其視為不允許位置的替代。在這種情況下，從新位置推導的Merge候選將用作從不允許的位置推導的Merge候選的替代。

ii.或者，首先按順序檢查所有允許的位置，然後再檢查新位置。在這種情況下，只能在所有從允許位置推導的Merge候選之後添加來自新位置的推導的Merge候選。

iii.或者，可以定義特定的順序，以添加來自允許的位置和新位置的Merge候選。在這種情況下，對於不同的CU，可以使用不同的順序來添加從不同的位置推導的Merge候選。

示例B3：示例B1和B2中的上述限制也適用於AMVP候選推導過程。

與Merge候選相關的示例

示例C1：通過修改可用Merge候選的運動向量和/或參考圖片推導的虛擬Merge候選可以添加到Merge候選列表中。例如，可以通過將一個可用Merge候選的運動向量縮放到不同的參考圖片來推導虛擬Merge候選。

a.在一個示例中，預測方向從可用的Merge候選繼承，並且修改運動向量和參考圖片索引。

i.對於每個可用的參考圖片清單(來自L0或L1的預測方向)，相關運動向量可以縮放到同一參考圖片清單或其它參考圖片清單中的不同參考圖片。

ii.如果可用的Merge候選對應於雙向預測，則只需修改一個參考圖片清單的運動資訊即可推導一個虛擬Merge候選。在一個示例中，對於一個參考圖片清單，關聯的參考圖片(或參考圖片索引)和運動向量由虛擬Merge候選繼承，而對於另一個參考圖片清單，關聯的參考圖片(或參考圖片索引)和運動向量可以通過將運動向量縮放到相同參考圖片清單中的不同參考圖片來修改。

b.在一個示例中，如果可用的Merge候選對應於單向預測，則虛擬Merge候選的預測方向可以修改為雙向預測。

i.對於可用的參考圖片清單(對應於例如列表X的單向預測)，關聯的參考圖片(或參考圖片索引)和運動向量由虛擬Merge候選繼承，而對於列表(1-X)，可通過將來自列表X的運動向量縮放到其它參考圖片清單(清單(1-X))的參考圖片來推導運動向量，並且將參考圖片(或參考圖片索引)設置為運動向量縮放到的列表(1-X)中的參考圖片。

1.當清單(1-X)中的參考圖片與清單X中的參考圖片相同時，通過向列表X中的運動向量添加任意偏移量來推導列表(1-X)中的運動向量。例如，偏移量(-1，0)，(0，-1)，(1，0)，(0，1)等可以添加到運動向量中。

c.可以通過選擇一個可用的Merge候選來推導多個虛擬Merge候選，但多個虛擬Merge候選被縮放到多個參考圖片。

d.可以通過選擇多個可用Merge候選來推導多個虛擬Merge候選，但對於一個選定的可用Merge候選，只能推導一個虛擬Merge候選。

i.或者，對於一個選定的可用Merge候選，可以推導M(M>1)個虛擬Merge候選。

e.一個或多個可用的Merge候選的選擇可能取決於：

i.基於可用Merge候選的插入順序。在一個示例中，只有前N個候選可以用於推導虛擬Merge候選。

ii.基於一個可用的Merge候選是否對應於雙向預測。

iii.基於Merge候選的類型(空間Merge候選、時域Merge候選、組合雙向預測Merge候選、零運動向量Merge候選、子塊Merge候選)。在一個示例中，只能使用空間Merge候選來推導虛擬Merge候選。

iv.基於Merge候選的編解碼模式(仿射或非仿射運動、啟用或禁用照明補償(IC))。在一個示例中，只能使用非仿射和非IC Merge候選來推導虛擬Merge候選。

v.基於當前塊的尺寸和形狀。

vi.基於相鄰塊的編解碼模式。

f.運動向量將被縮放的一個或多個參考圖片的選擇取決於：

i.參考圖片索引。在一個示例中，選擇具有較小參考索引的參考圖片，例如，參考圖片索引等於0。

ii.一個參考圖片和與所選可用Merge候選圖片關聯的參考圖片之間的圖片順序計數(POC)差異。在一個示例中，選擇對每個參考圖片清單具有最小POC差異的參考圖片。

iii.一個參考圖片和與所選可用Merge候選圖片關聯的參考圖片之間的量化參數(QP)差異。在一個示例中，選擇對每個的參考圖片清單具有最小QP差異的參考圖片。

iv.參考圖片的時域層。在一個示例中，選擇具有最低時域層的參考圖片。

g.虛擬Merge候選可以添加到Merge候選列表中的特定位置，例如在TMVP之前、或者在TMVP之後但在組合雙向預測Merge候選之前、或者在組合雙向預測Merge候選之後。

i.當可以添加多個虛擬Merge候選時，與基於單向預測的Merge候選相比，基於雙向預測的Merge候選具有更高的優先順序，即雙向預測候選添加在單向預測候選之前。

ii.當可以使用多個參考圖片來縮放與選定的Merge候選關聯的運動向量時，參考圖片的順序可以如下所示：

1.基於參考圖片索引的昇冪。

2.清單0中的圖片在清單1中的圖片之前被檢查，反之亦然。

3.根據參考圖片索引，對清單0和清單1中的圖片進行交錯檢查。

4.在一個示例中，對於雙向預測，保持清單1的運動資訊不變，但根據參考圖片索引的昇冪迴圈清單0中的所有參考圖片；然後保持清單0的運動資訊，但根據參考圖片索引的昇冪迴圈清單1中的所有參考圖片。或者，保持清單0的運動資訊不變，但根據參考圖片索引的昇冪迴圈清單1中的所有參考圖片；然後保持清單1的運動資訊，但根據參考圖片索引的昇冪迴圈清單0中的所有參考圖片。或者，將運動資訊縮放到索引為0的兩個參考圖片，然後縮放到索引為1的兩個參考圖片，依此類推。

h.虛擬Merge候選可能有兩個以上的參考塊，即具有兩個以上參考的多假設。

示例C2：可以從由空間Merge候選的運動向量和當前塊與空間Merge候選來自的塊之間的相對位置識別的塊中獲得子塊運動候選。

a.圖25中描述了說明性示例，其中示出了源塊識別的說明性示例。

b.增加空間相鄰塊和當前塊之間的相對位置的概念也可應用於當前幀內的幀內塊複製(IBC)Merge或仿射Merge的子塊運動候選。在這種情況下，源圖片將與當前圖片相同。該概念也可以在與當前塊的當前圖片不同的圖片中應用於ATMVP。

示例C3：在TMVP推導過程中，可以通過非零運動向量識別並置塊，而不是選擇並置位置(零運動向量)。

a.非零運動向量可從空間Merge候選中推導。

b.在一個示例中，可以使用與ATMVP中使用的相同的方法，例如，如果需要，通過將運動向量縮放到並置圖片來推導第一個Merge候選。

c.或者，也可以修改並置圖片，例如設置為與一個空間Merge候選關聯的參考圖片。

示例C4：來自一個或多個並置圖片的多個塊可用於推導多個TMVP候選。

a.在一個示例中，多個塊可以位於並置塊中，其中並置塊是與當前塊具有相對於並置圖片的左上角相同的相對位置的塊，並且與當前塊具有相同的尺寸。

b.在一個示例中，多個塊可能位於並置CTB內，其中並置CTB是覆蓋並置塊的CTB。

c.在一個示例中，多個塊可能位於並置塊和/或並置CTB之外。

d.可選地，此外，在上述示例中，可以用不同的方式定義並置塊，即，通過從某個Merge候選塊推導的運動向量或從空間相鄰塊的運動資訊推導的運動向量來指出。圖26C示出了用於在並置塊之外(一些可能也在並置塊之外)的TMVP候選推導的多個塊的示例。圖26D示出了用於在並置編解碼樹單元(CTU)內的TMVP候選推導的多個塊的示例。圖26E示出了用於在並置塊之外(一些可能也在並置塊之外)的TMVP候選推導的多個塊的示例。

示例C5：對於新引進的候選，可以應用全域修剪或局部修剪。

a.對於全域修剪，應檢查一個新候選與所有其它可用候選(插入到新候選之前)以查看其中任何兩個是否相同。如果新候選與任意一個候選相同，則不會將新候選添加到候選列表中。

b.對於局部修剪，應檢查一個新候選與部分其它可用候選(插入到新候選之前)，以查看其中任何兩個是否相同。

另一個實施例如下給出。此具體實施例說明了可以對當前定義的HEVC編解碼標準進行的更改，以適應公開技術的某些實現。下面的章節號參考HEVC標準檔中相應的章節號。在文本中，帶底線的文本表示添加，並且刪除線表示刪除到當前標準。此外，符號“X”和“Y”被添加到變數名中，以指示為位元流定義的兩個新位欄位。

7.3.2.3 圖片參數集RBSP語法

7.3.2.3.1 通用圖片參數集RBSP語法

log2X_parallel_merge_level_minus2加2指定變數Log2XParMrgLevel的值，該變數用於第8.5.3.2.2條規定的Merge模式亮度運動向量的推導過程、以及第8.5.3.2.3條規定的空間Merge候選的推導過程。log2X_parallel_merge_level_minus2的值應在0到CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變數Log2ParMrgLevel推導如下：Log2XParMrgLevel=log2X_parallel_merge_level_minus2+2 (7-37)

log2Y_parallel_merge_level_minus2加2指定變數Log2YParMrgLevel的值，該變數用於第8.5.3.2.2條中規定的Merge模式的亮度運動向量的推導過程，以及第8.5.3.2.3條中規定的空間Merge候選的推導過程。log2Y_parallel_merge_level_minus2的值應在0到CtbLog2SizeY-2的範圍內，包括0和CtbLog2SizeY-2。

變數Log2YParMrgLevel推導如下：Log2YParMrgLevel=log2Y_parallel_merge_level_minus2+2 (7-37)

空間Merge候選的推導過程

該過程的輸入是：-當前亮度編解碼塊的左上方樣本相對於當前圖片左上方亮度樣本的亮度位置(xCb,yCb)，-指定當前亮度編解碼塊尺寸的變數nCbS，-指定當前亮度預測塊的左上樣本相對於當前圖片的左上亮度樣本的亮度位置(xPb,yPb)，-兩個變數nPbW和nPbH，指定亮度預測塊的寬度和高度， -指定當前編解碼單元內當前預測單元的索引的變數partIdx。

該過程的輸出如下，X為0或1：-相鄰預測單元的可用性標誌availableFlagA₀,availableFlagA₁,availableFlagB₀,availableFlagB₁，和availableFlagB₂，-相鄰預測單元的參考索引refIdxLXA₀,refIdxLXA₁,refIdxLXB₀,refIdxLXB₁，和refIdxLXB₂，-相鄰預測單元的預測清單使用標誌predFlagLXA₀,predFlagLXA₁,predFlagLXB₀,predFlagLXB₁，和predFlagLXB₂，-相鄰預測單元的運動向量mvLXA₀,mvLXA₁,mvLXB₀,mvLXB₁，和mvLXB₂。

對於availableFlagA₁,refIdxLXA₁,predFlagLXA₁，和mvLXA₁的推導，以下適用：

-相鄰亮度編解碼塊內的亮度位置(xNbA₁,yNbA₁)設置為等於(xPb-1,yPb+nPbH-1)。

-將亮度位置(xCb,yCb)、當前亮度編解碼塊尺寸nCbS、亮度預測塊位置(xPb,yPb)、亮度預測塊寬度nPbW、亮度預測塊高度nPbH、亮度位置(xNbA₁,yNbA₁)和分割索引partIdx作為輸入調用第6.4.2條中規定的預測塊的可用性推導過程，並將輸出分配給預測塊可用性標誌availableA₁。

-當下列一個或多個條件為真時，availableA₁設置為假：

-xPb>>Log2XParMrgLevel等於xNbA₁>>Log2XParMrgLevel且yPb>>Log2YParMrgLevel等於 yNbA₁>>Log2YParMrgLevel。

-當前預測單元的PartMode等於PART_Nx2N、PART_nLx2N、或PART_nRx2N且partIdx等於1。

-變數availableFlagA₁,refIdxLXA₁,predFlagLXA₁，和mvLXA₁推導如下：

...

對於availableFlagB₁,refIdxLXB₁,predFlagLXB₁，和mvLXB₁的推導，以下適用：

-相鄰亮度編解碼塊內的亮度位置(xNbB₁,yNbB₁)設置為等於(xPb+nPbW-1,yPb-1)。

-將亮度位置(xCb,yCb)、當前亮度編解碼塊尺寸nCbS、亮度預測塊位置(xPb,yPb)、亮度預測塊寬度nPbW、亮度預測塊高度nPbH、亮度位置(xNbB₁,yNbB₁)和分割索引partIdx作為輸入調用第6.4.2條中規定的預測塊的可用性推導過程，並將輸出分配給可用的預測塊可用性標誌availableB₁。

-當下列一個或多個條件為真時，AvailableB1設置為假：

-xPb>>Log2XParMrgLevel等於xNbB₁>>Log2XParMrgLevel且yPb>>Log2YParMrgLevel等於yNbB₁>>Log2YParMrgLevel.

-當前預測單元的PartMode等於PART_2NxN,PART_2NxnU，或PART_2NxnD，且partIdx等於1。

-變數availableFlagB₁,refIdxLXB₁,predFlagLXB₁，和mvLXB₁的推導如下：對於availableFlagB₀,refIdxLXB₀,predFlagLXB₀，和mvLXB₀的推導，以下適用：

-相鄰亮度編解碼塊內的亮度位置(xNbB₀,yNbB₀)設置為等於(xPb+nPbW,yPb-1)。

-將亮度位置(xCb,yCb)、當前亮度編解碼塊尺寸nCbS、亮度預測塊位置(xPb,yPb)、亮度預測塊寬度nPbW、亮度預測塊高度nPbH、亮度位置(xNbB₀,yNbB₀)和分割索引partIdx作為輸入調用第6.4.2條中規定的預測塊的可用性推導過程，並將輸出分配給可用的預測塊可用性標誌availableB₀。

-當xPb>>Log2XParMrgLevel等於xNbB₀>>Log2XParMrgLevel且yPb>>Log2YParMrgLevel等於yNbB₀>>Log2YParMrgLevel時，availableB₀設置為假。

-變數availableFlagB₀,refIdxLXB₀,predFlagLXB₀，和mvLXB₀的推導如下：對於availableFlagA₀,refIdxLXA₀,predFlagLXA₀，和mvLXA₀的推導，以下適用：

-相鄰亮度編解碼塊內的亮度位置(xNbA₀,yNbA₀)設置為等於(xPb-1,yPb+nPbH)。

-將亮度位置(xCb,yCb)、當前亮度編解碼塊尺寸nCbS、亮度預測塊位置(xPb,yPb)、亮度預測塊寬度nPbW、亮度預測塊高度nPbH、亮度位置(xNbA₀,yNbA₀)和分割索引partIdx作為輸入調用第6.4.2條中規定的預測塊的可用性推導過程，並將輸出分配給可用的預測塊可用性標誌availableA₀。

-當xPb>>Log2XParMrgLevel等於 xNbA₀>>Log2XParMrgLevel且yPb>>Log2YParMrgLevel等於yA₀>>Log2YParMrgLevel時，availableA₀設置為假。

-變數availableFlagA₀,refIdxLXA₀,predFlagLXA₀，和mvLXA₀的推導如下：對於availableFlagB₂,refIdxLXB₂,predFlagLXB₂，和mvLXB₂的推導，以下適用：

-相鄰亮度編解碼塊內的亮度位置(xNbB₂,yNbB₂)設置為等於(xPb-1,yPb-1)。

-將亮度位置(xCb,yCb)、當前亮度編解碼塊尺寸nCbs、亮度預測塊位置(xPb,yPb)、亮度預測塊寬度nPbW、亮度預測塊高度nPbH、亮度位置(xNbB₂,yNbB₂)和分割索引partIdx作為輸入調用第6.4.2條中規定的預測塊的可用性推導過程，並將輸出分配給可用的預測塊可用性標誌availableB₂。

-當xPb>>Log2XParMrgLevel等於xNbB₂>>Log2XParMrgLevel和yPb>>Log2YParMrgLevel等於yNbB₂>>Log2YParMrgLevel時，availableB₂設置為假。

-變數availableFlagB₂,refIdxLXB₂,predFlagLXB₂，和mvLXB₂推導如下：圖27是視頻處理裝置2700的框圖。裝置2700可用於實施本文所述的一種或多種方法。裝置2700可實施在智慧手機、平板電腦、電腦、物聯網(IoT)接收器等之中。裝置2700可包括一個或多個處理器2702、一個或多個記憶體2704和視頻處理硬體2706。處理器2702可以配置為實現本文中描述的一個或多個方法。記憶體(多個記憶體)2704可用於存儲用於實現本文所述方法和技術的資料和代碼。視頻處理硬體2706可用於在硬體電路中實現本文中描述的一些技術。

圖28是視頻解碼方法2800的流程圖。方法2800包括解碼(2802)視頻位元流，其中使用取決於視頻塊的編解碼特性的運動估計區域表示至少一個視頻塊；以及從解析中重建(2804)視頻塊的解碼版本，其中運動估計區域表示包含視頻塊的視頻幀，使得通過檢查候選塊是否位於該Merge估計區域，可以獨立地推導運動向量Merge候選列表。

在一些實施例中，視頻塊的編解碼特性可以包括其分割類型(例如，CU或PU)，也可以包括其形狀(例如，方形、高矩形或寬矩形)。在一些實施例中，視頻塊的編解碼特性包括視頻位元流中的位元欄位，其中位元欄位位於視頻位元流的序列參數集或圖片參數集或條帶標頭中。在視頻塊是矩形的的情況下，位元流可以為矩形視頻塊的水準和垂直維度包括兩個單獨的欄位。

在一些實施例中，視頻位元流可以包括由父節點指示的至少一個塊，該父節點被劃分成由子節點指示的M個子塊，其中每個子塊的模式資訊被單獨編解碼，並且M個子塊不被進一步劃分，並且M是大於1的整數，並且其中並非所有M個子塊共用相同的運動資訊。在本文中描述了其它實施例，例如，在示例部分3中。

圖29是示例視頻解碼方法2900的流程圖。方法2900包括根據第一規則為視頻位元流中的運動補償視頻塊生成(2902)Merge候選列表；使用第二規則從Merge候選清單中確定(2904)當前運動資訊；以及基於當前運動資訊重建(2906)視頻塊。

在一些實施例中，Merge候選列表包括至少一個虛擬Merge候選，並且其中所述方法還包括：通過將另一個Merge候選的運動向量縮放到不同的參考圖片來推導至少一個虛擬Merge候選。在一些實施例中，Merge候選列表包括多個虛擬Merge候選，並且然後該方法可以包括通過將其它Merge候選的運動向量縮放到不同的參考圖片來推導多個虛擬Merge候選。例如，虛擬Merge候選可以包括不直接基於空間或時域相鄰塊的候選和運動向量、但從其中推導出來的Merge候選。

如前面第3節所述，多個Merge候選的推導可能是Merge候選清單的一個函數。在一些實施例中，運動向量的縮放可以通過基於參考圖片索引確定縮放量來執行。可選地，另外，圖片品質(例如編解碼參考圖片的量化級別)可用於確定要使用的縮放量。例如，品質較低(例如，較高量化)的參考圖片可通過縮放來去加重。在一些實施例中，虛擬Merge候選可以按照在時域運動向量預測候選之前的順序添加到清單中。或者，虛擬Merge候選可以在時域Merge候選之後、但在雙向預測Merge候選之前添加。

圖30是視頻解碼方法3000的流程圖。方法3000包括根據第一條規則為視頻位元流中的視頻塊生成(3002)Merge候選列表；使用第二條規則將Merge候選清單擴展(3004)到包含附加Merge候選的Merge候選擴展列表；以及使用Merge候選擴展清單重建(3006)視頻塊。

在一些實施例中，Merge候選擴展列表包括從由空間Merge候選的運動向量識別的塊以及視頻塊和塊之間的相對位置獲得的子塊運動候選。在一些實施例中，Merge候選擴展清單包括包含視頻塊的當前視頻幀內的仿射Merge或幀內塊複製編解碼Merge的子塊Merge候選。

在一些實施例中，方法3000還可以包括使用來自一個或多個圖片的多個塊為Merge候選擴展列表推導多個時域運動向量預測候選。多個時域運動向量預測候選包括至少一個使用與視頻塊具有到並置塊的左上角相同的相對位置的塊的候選。例如，在圖26A至26E中示出了各種示例。

在一些實施例中，方法3000還可以包括對附加Merge候選應用全域修剪處理，其中全域修剪處理包括檢查新的附加Merge候選與Merge候選列表中的所有其它候選。在一些實施例中，方法3000還可以包括對附加Merge候選應用局部修剪處理，其中局部修剪處理包括檢查新的附加Merge候選與Merge候選列表中少於所有的候選。

本文的第3節進一步描述了方法2800、2900和3000的其它特徵和變型。

在一些實施例中，解碼視頻位元流的方法包括解析視頻位元流，以及從解析中重建視頻圖片。視頻位元流包括由父節點指示的至少一個塊，該父節點被劃分成子節點指示的M個子塊，其中每個子塊的模式資訊被單獨編解碼，並且M個子塊不被進一步劃分，M是大於1的整數，並且其中並非所有M個子塊共用相同的運動資訊。在本文中進一步描述了這種基於塊的視頻編解碼的視頻編解碼技術的應用。

在一些實施例中，上述方法可由視頻解碼器裝置(例如，裝置2700)實現。

在一些實施例中，視訊編碼器可以在視頻編碼處理的視頻重建或運動補償期間中實現上述功能。

在一些實施例中，上述方法可以實施在處理器可執行代碼中，並且存儲在電腦可讀程式介質上，例如一個或多個記憶體、光存放裝置或固態驅動器等。

圖31是根據所公開的技術的視頻編碼方法3100的流程圖表示。方法3100包括在操作3102中，根據分割結構將視頻資料塊劃分成M個子塊。M是大於1(M>1)的整數。方法3100包括在操作3104中，根據公共運動資訊對M子塊的第一子集進行編解碼。方法3100還包括在操作3106中，根據與第一個集的公共運動資訊不同的運動資訊對M個子塊的第二個集進行編解碼。

在一些實施例中，分割結構包括四叉樹分割結構，其中每個父塊包含四個子塊。在一些實施例中，分割結構包括二叉樹分割結構，其中每個父塊包含兩個對稱的子塊。在一些實施例中，分割結構包括非對稱二叉樹分割結構，其中每個父塊包含兩個不對稱的子塊。在一些實施例中，分割結構包括三叉樹分割結構，其中每個父塊包含三個子塊。在一些實施例中，M個子塊的子塊是不進一步劃分的葉節點，並且其中子塊被視為編解碼塊。

在一些實施例中，M個子塊的第一子集包括視頻資料塊中的前M-1個子塊。在一些實施例中，M子塊的第二子集包括視頻資料塊中的最後一個子塊。

在一些實施例中，M個子塊的第二子集用Merge模式編解碼。方法3100還包括，在確定Merge索引對應於視頻資料塊的相鄰塊的運動資訊時，避免在位元流中信令通知Merge模式的Merge索引。相鄰塊被M個子塊的第一子集中的一個或多個子塊覆蓋。

在一些實施例中，M子塊的第二子集用Merge模式編解碼。方法3100還包括從Merge模式的Merge候選清單中移除為M個子塊的第一子集提供公共運動資訊的Merge候選。

在一些實施例中，M個子塊的第二子集用高級運動向量預測(AMVP)模式編解碼。方法3100還包括在確定AMVP運動向量預測候選索引對應於視頻資料塊的相鄰塊的運動資訊時，避免在視頻位元流中信令通知AMVP運動向量預測候選索引，其中相鄰塊被M個子塊的第一子集中的一個或多個子塊覆蓋。

在一些實施例中，M個子塊的第二子集用解碼器側運動向量模式或畫面播放速率上轉換模式編解碼。方法3100還包括跳過對與M個子塊的第一子集的公共運動資訊相同的運動資訊的成本計算。在一些實施例中，方法3100還包括確定與成本計算相關聯的成本值為最大值。

圖32是根據所公開的技術的視頻解碼方法3200的流程圖表示。3200方法包括在3202操作中，解析視頻位元流。方法3200還包括在操作3204中，基於解析的視頻位元流重建視頻圖片。視頻位元流包括根據分割結構劃分成M個子塊的至少一個視頻資料塊，M是大於1(M>1)的整數。M個子塊的第一子集是根據公共運動資訊編解碼的，並且M個子塊的第二子集是根據不同於公共運動資訊的運動資訊編解碼的。

在一些實施例中，分割結構包括四叉樹分割結構，其中每個父塊包含四個子塊。在一些實施例中，分割結構包括二叉樹分割結構，其中每個父塊包含兩個對稱的子塊。在一些實施例中，分割結構包括非對稱二叉樹分割結構，其中每個父塊包含兩個不對稱的子塊。在一些實施例中，分割結構包括三叉樹分割結構，其中每個父塊包含三個子塊。在一些實施例中，M個子塊的子塊是不進一步劃分的葉節點，其中子塊被視為編解碼塊。

在一些實施例中，M個子塊的第一子集包括視頻資料塊中的前M-1個子塊。在一些實施例中，M個子塊的第二子集包括視頻資料塊中的最後一個子塊。

在一些實施例中，M個子塊的第二子集用Merge模式編解碼。跳過與視頻資料塊的相鄰塊的運動資訊相對應的Merge索引，並且相鄰塊被M個子塊的第一子集中的一個或多個子塊覆蓋。

在一些實施例中，M個子塊的第二子集用Merge模式編解碼。從Merge模式的Merge候選清單中移除為M子塊的第一子集提供公共運動資訊的Merge候選。

在一些實施例中，M個子塊的第二子集用高級運動向量預測(AMVP)模式編解碼。跳過與視頻資料塊的相鄰塊的運動資訊相對應的AMVP運動預測候選索引，並且相鄰塊被M個子塊的第一子集中的一個或多個子塊覆蓋。

在一些實施例中，M子塊的第二子集用解碼器側運動向量模式或畫面播放速率上轉換模式編解碼。確定與M個子塊的第一子集的公共運動資訊相同的運動資訊相關聯的成本值為最大值。

圖33是根據所公開的技術的視頻編碼或解碼方法3300的流程圖表示。方法3300包括在操作3302中，基於子節點的父節點的多個相鄰塊為子節點推導Merge候選列表。父節點表示視頻資料單元，並且根據分割結構劃分為多個子節點。多個子節點包括子節點和與子節點相鄰的至少一個子節點。方法3300還包括在操作3304中，在視頻資料單元和視頻位元流之間進行轉換。

在一些實施例中，分割結構包括二叉樹分割結構，其中每個父節點包含兩個對稱的子節點。在一些實施例中，分割結構包括非對稱二叉樹分割結構，其中每個父節點包含兩個不對稱的子節點。在一些實施例中，分割結構包括三叉樹分割結構，其中每個父節點包含三個子節點。在一些實施例中，分割結構包括四叉樹分割結構，其中每個父節點包含四個子節點。在一些實施例中，每個子節點都是被視為編解碼單元的葉節點。

在一些實施例中，通過排除父節點內的任何塊來選擇一組允許塊來確定多個相鄰塊。在一些實施例中，多個相鄰塊包括一個或多個替換塊以替換排除塊。在一些實施例中，推導Merge候選列表包括將一個或多個替換塊與一組允許塊組合以獲得多個相鄰塊。

圖34是根據所公開的技術的視頻處理方法3400的流程圖表示。該方法3400包括在操作3402中，基於視頻塊的編解碼特性確定運動估計區域的維度。方法3400包括在操作3404中，基於運動估計區域在視頻塊和的視頻位元流之間進行轉換。運動估計區域表示視頻幀的一部分，該視頻幀包括視頻塊，從而能通過檢查候選塊是否位於Merge運動估計區域中而獨立地推導運動向量候選。

在一些實施例中，視頻塊的編解碼特性包括分割類型。分割類型可以是二叉樹分割類型，其中每個父節點包含兩個子節點。分割類型可以是三叉樹分割類型，其中每個父節點包含三個子節點。分割類型也可以是四叉樹分割類型，其中每個父塊包含四個子塊。

在一些實施例中，視頻塊的編解碼特性包括視頻塊的維度。視頻塊的編解碼特性還可以包括視頻塊的形狀或表示與視頻塊相關聯的當前圖片的時域層的時域層索引。在一些實施例中，運動估計區域的寬度為M且高度為N，M不同於N。

在一些實施例中，運動估計區域的維度在位元流中編解碼。運動估計區域的維度可以在序列參數集、圖片參數集或條帶標頭中編解碼。在一些實現中，位元流包含兩個語法元素，以指示運動估計區域的寬度和高度。在一些實現中，位元流包括運動估計區域的寬度和高度的兩個單獨指示。在某些實現中，位元流包含指示兩個語法元素或兩個單獨的指示是否共用相同的值的標誌。

圖35是根據所公開的技術的視頻處理方法3500的流程圖表示。方法3500包括在操作3502中，基於與當前圖片臨時並置的一個或多個圖片中的多個塊，為當前圖片中的視頻塊推導多個時域運動向量預測(TMVP)候選。當前圖片從一個或多個圖片中排除。方法3500包括在操作3502中，將多個TMVP候選添加到與視頻塊關聯的運動候選列表中。方法3500還包括在操作3504中，在視頻塊和位元流之間進行轉換。

在一些實施例中，一個或多個圖片包括與當前圖片並置的單個圖片。在一些實施例中，多個塊位於與視頻塊臨時並置的第二塊內。第二塊與視頻塊尺寸相同，並且第二塊相對於一個或多個圖片的第二圖片的左上角的相對位置與視頻塊相對於當前圖片的左上角的相對位置相同。在一些實施例中，多個塊位於覆蓋與視頻塊臨時並置的第二個塊的編解碼樹塊內。在一些實施例中，多個塊位於與視頻塊臨時並置的第二個塊之外。在一些實施例中，多個塊位於覆蓋與視頻塊臨時並置的第二個塊的編解碼樹塊之外。

在一些實施例中，第二塊由非零運動向量識別。在一些實施例中，非零運動向量是從第二塊的空間Merge候選推導的。在一些實施例中，非零運動向量是通過基於一個或多個圖片中的一個圖片縮放運動向量推導的。

在一些實施例中，該方法還包括將一個或多個圖片中的一個調整為與空間Merge候選關聯的參考圖片。在一些實施例中，第二塊由從視頻塊的Merge候選推導出的運動向量識別。在一些實施例中，第二塊由從視頻塊的空間相鄰塊的運動資訊推導出的運動向量識別。

在一些實施例中，該方法還包括將新的TMVP候選與所有現有的TMVP候選進行比較，確定新的TMVP候選與現有的TMVP候選相同，並且避免將新的TMVP候選添加到多個TMVP候選中。或者，該方法包括將新的TMVP候選與現有TMVP候選的子集進行比較，確定新的TMVP候選與現有TMVP候選相同，並且避免將新的TMVP候選添加到多個TMVP候選中。

圖36是根據所公開的技術的視頻處理方法3600的流程圖表示。方法3600包括在操作3602中，為視頻圖片中的視頻塊和視頻塊的位元流表示之間的轉換生成視頻塊的Merge候選清單。Merge候選列表至少包括第一Merge候選，第一Merge候選是通過修改第二Merge候選的運動向量和/或參考圖片而推導出的虛擬Merge候選。方法3600包括在操作3604中，使用Merge候選清單在視頻塊和視頻位元流之間進行轉換。

在一些實施例中，虛擬Merge候選從第二Merge候選繼承預測方向。在一些實施例中，使用其中使用了兩個參考圖片清單的雙向預測來推導第二Merge候選，並且其中虛擬Merge候選是通過修改僅與兩個參考圖片清單中的一個相關聯的運動資訊推導出的。在一些實施例中，對於兩個參考圖片清單的第一參考圖片清單，虛擬Merge候選繼承第一參考圖片清單中的與第二Merge候選相關聯的第一參考圖片。在一些實施例中，對於兩個參考圖片清單的第二參考圖片清單，虛擬Merge候選是通過相對於第二參考圖片清單中的第二參考圖片縮放運動向量推導出的。在一些實施例中，第二Merge候選是使用其中僅使用一個參考圖片清單的單向預測推導出的，並且其中虛擬Merge候選使用其中使用兩個參考圖片清單的雙向預測。

在一些實施例中，Merge候選列表包括基於多個對應的Merge候選推導出的多個虛擬Merge候選。在一些實施例中，該方法包括基於第一標準，選擇用於推導虛擬Merge候選的一個或多個Merge候選。在一些實施例中，第一標準包括以下至少一個：一個或多個Merge候選在清單中的插入順序；Merge候選是否對應於雙向預測；Merge候選的類型，其中類型指示Merge候選是否是空間Merge候選、時域Merge候選、組合的雙向預測Merge候選、零運動向量Merge候選或子塊Merge候選；Merge候選的編解碼模式，其中編解碼模式指示Merge候選是否使用仿射運動、非仿射運動、照明補償或非照明補償進行編解碼；視頻塊的尺寸；視頻塊的形狀；或相鄰塊的編解碼模式。

在一些實施例中，該方法包括選擇用於推導虛擬Merge候選的一個或多個空間Merge候選。在一些實施例中，該方法包括選擇使用非仿射運動或非照明補償編解碼的用於推導虛擬Merge候選的一個或多個Merge候選。

在一些實施例中，該方法包括基於第二標準，選擇用於推導虛擬Merge候選的一個或多個參考圖片。在一些實施例中，第二標準包括以下至少一個：參考圖片索引；第一參考圖片和與第二Merge候選相關聯的第二參考圖片之間不同的圖片順序計數；第一參考圖片和與第二Merge候選相關聯的第二參考圖片之間不同的量化參數；或參考圖片的若干時域層。

在一些實施例中，虛擬Merge候選被放置在Merge候選列表中的第一位置。在一些實施例中，第一位置包括以下之一：在時域運動向量預測(TMVP)候選之前、在TMVP候選之後且在組合的雙向預測Merge候選之前，或在組合的雙向預測Merge候選之後。在一些實施例中，基於雙向預測的Merge候選比基於單向預測的Merge候選具有更高的優先順序。

在一些實施例中，虛擬Merge候選是基於多個參考圖片通過修改第二Merge候選的運動向量推導出的，並且多個參考圖片是按照第三標準排序的。在一些實施例中，第三標準包括以下至少一個：參考圖片索引的昇冪；檢查不同圖片清單中圖片的先後順序；檢查不同圖片清單中圖片的交錯順序；或其組合。

在一些實施例中，虛擬Merge候選包括兩個以上的參考塊。在一些實施例中，該方法包括將子塊運動候選與現有候選的至少一個子集進行比較，確定子塊運動候選與現有候選相同，並且避免將子塊運動候選添加到Merge候選列表中。

圖37是根據所公開的技術的視頻處理方法3700的流程圖表示。方法3700包括在操作3702中，基於由當前視頻塊的空間Merge候選的運動向量識別的第一塊、以及當前視頻塊和空間Merge候選來自的第二塊之間的相對位置為當前視頻塊的子塊確定的子塊運動候選。方法3700包括在操作3704中，使用子塊運動候選在當前視頻塊和視頻位元流之間進行轉換。

在一些實施例中，子塊候選用於可選時域運動向量預測，其中第一塊位於與當前視頻塊的當前圖片不同的圖片中。在一些實施例中，子塊運動候選用於幀內塊複製(IBC)Merge模式編解碼，其中第一塊位於當前視頻塊的當前幀內。在一些實施例中，子塊候選用於仿射Merge模式編解碼。

應當理解的是，本文公開了幾種額外的方法，通過這些方法可以在視頻編解碼中計算Merge候選。實施例可以在下述方面從這些技術中獲益：由於在編碼期間更準確地捕獲視頻圖片中的運動或變化、以及通過使用少量位元在位元流中傳輸資訊而導致的視頻的壓縮表示的品質的提高。

從上述來看，應當理解的是，為了便於說明，本發明公開的技術的具體實施例已經在本文中進行了描述，但是可以在不偏離本發明範圍的情況下進行各種修改。因此，除了的之外，本發明公開的技術不限於申請專利範圍的限定。

本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、固件或硬體中實現，包括本文中所公開的結構及其結構等效體，或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品，即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組，以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“資料處理裝置”包括用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多處理器或電腦組。除硬體外，該裝置還可以包括為電腦程式創建執行環境的代碼，例如，構成處理器固件的代碼、協定棧、資料庫管理系統、作業系統或其中一個或多個的組合。傳播信號是人為產生的信號，例如機器產生的電信號、光學信號或電磁信號，生成這些信號以對資訊進行編碼，以便傳輸到適當的接收裝置。

電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的程式設計語言(包括編譯語言或解釋語言)編寫，並且可以以任何形式部署，包括作為獨立程式或作為模組、元件、副程式或其他適合在計算環境中使用的單元。電腦程式不一定與檔案系統中的檔對應。程式可以存儲在保存其他程式或資料的檔的部分中(例如，存儲在標記語言文檔中的一個或多個腳本)、專用於該程式的單個檔中、或多個協調檔(例如，存儲一個或多個模組、副程式或部分代碼的檔)中。電腦程式可以部署在一台或多台電腦上來執行，這些電腦位於一個網站上或分佈在多個網站上，並通過通信網路互連。

本文中描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行，該處理器執行一個或多個電腦程式，通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行，並且裝置也可以實現為特殊用途的邏輯電路，例如，FPGA(現場可程式設計閘陣列)或ASIC(專用積體電路)。

例如，適於執行電腦程式的處理器包括通用和專用微處理器，以及任何類型數位電腦的任何一個或多個。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是執行指令的處理器和存儲指令和資料的一個或多個存放裝置。通常，電腦還將包括一個或多個用於存儲資料的大型存放區設備，例如，磁片、磁光碟或光碟，或通過操作耦合到一個或多個大型存放區設備來從其接收資料或將資料傳輸到一個或多個大型存放區設備，或兩者兼有。然而，電腦不一定具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光磁片；以及CDROM和DVD-ROM光碟。處理器和記憶體可以由專用邏輯電路來補充，或合併到專用邏輯電路中。

雖然本專利檔包含許多細節，但不應將其解釋為對任何發明或申請專利範圍的限制，而應解釋為對特定發明的特定實施例的特徵的描述。本專利檔在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實施。相反，在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施，或在任何合適的子組合中實施。此外，儘管上述特徵可以描述為在某些組合中起作用，甚至最初要求是這樣，但在某些情況下，可以從組合中刪除申請專利範圍組合中的一個或多個特徵，並且申請專利範圍的組合可以指向子組合或子組合的變體。

同樣，儘管圖紙中以特定順序描述了操作，但這不應理解為要獲得想要的結果必須按照所示的特定順序或循序執行此類操作，或執行所有說明的操作。此外，本專利檔所述實施例中各種系統元件的分離不應理解為在所有實施例中都需要這樣的分離。

僅描述了一些實現和示例，其他實現、增強和變體可以基於本專利檔中描述和說明的內容做出。

3600:視頻處理方法

3602、3604:步驟

Claims

一種視頻處理方法，包括：為視頻圖片中的視頻塊與所述視頻塊的位元流表示之間的轉換生成所述視頻塊的Merge候選清單，其中所述Merge候選列表包括至少第一Merge候選，所述第一Merge候選是通過將第二Merge候選的運動向量縮放到不同的參考圖片並修改所述第二Merge候選的參考圖片而推導出的虛擬Merge候選；使用所述Merge候選清單在所述視頻塊和所述視頻位元流之間進行轉換。
如申請專利範圍第1項所述的方法，其中所述虛擬Merge候選從所述第二Merge候選繼承預測方向。
如申請專利範圍第1項或第2項所述的方法，其中使用用了兩個參考圖片清單的雙向預測來推導所述第二Merge候選，並且其中所述虛擬Merge候選是通過修改僅與所述兩個參考圖片清單中的一個相關聯的運動資訊推導出的。
如申請專利範圍第3項所述的方法，其中，對於所述兩個參考圖片清單的第一參考圖片清單，所述虛擬Merge候選繼承所述第一參考圖片清單中的與所述第二Merge候選相關聯的第一參考圖片。
如申請專利範圍第3項所述的方法，其中，對於所述兩個參考圖片清單的第二參考圖片清單，所述虛擬Merge候選是通過相對於所述第二參考圖片清單中的第二參考圖片縮放運動向量推導出的。
如申請專利範圍第1項或第2項所述的方法，其中所述第二Merge候選是使用其中僅使用一個參考圖片清單的單向預測推導出的，並且其中所述虛擬Merge候選使用其中使用兩個參考圖片清單的雙向預測。
如申請專利範圍第1項或第2項所述的方法，其中所述Merge候選列表包括基於相對於多個對應的參考圖片的所述第二Merge候選推導出的多個虛擬Merge候選。
如申請專利範圍第1項或第2項所述的方法，其中所述Merge候選列表包括基於多個對應的Merge候選推導出的多個虛擬Merge候選。
如申請專利範圍第1項或第2項所述的方法，包括：基於第一標準，選擇用於推導所述虛擬Merge候選的一個或多個Merge候選。
如申請專利範圍第9項所述的方法，其中所述第一標準包括以下至少一個：所述一個或多個Merge候選在清單中的插入順序；Merge候選是否對應於雙向預測；Merge候選的類型，其中所述類型指示所述Merge候選是否是空間Merge候選、時域Merge候選、組合的雙向預測Merge候選、零運動向量Merge候選或子塊Merge候選； Merge候選的編解碼模式，其中所述編解碼模式指示所述Merge候選是否使用仿射運動、非仿射運動、照明補償或非照明補償進行編解碼；所述視頻塊的尺寸；所述視頻塊的形狀；或相鄰塊的編解碼模式。
如申請專利範圍第10項所述的方法，包括：選擇用於推導所述虛擬Merge候選的一個或多個空間Merge候選。
如申請專利範圍第10項所述的方法，包括：選擇使用非仿射運動或非照明補償編解碼的一個或多個Merge候選，用於推導所述虛擬Merge候選。
如申請專利範圍第1項或第2項所述的方法，包括：基於第二標準，選擇用於推導所述虛擬Merge候選的一個或多個參考圖片。
如申請專利範圍第13項所述的方法，其中所述第二標準包括以下至少一個：參考圖片的索引；第一參考圖片和與所述第二Merge候選相關聯的第二參考圖片之間不同的圖片順序計數；所述第一參考圖片和與所述第二Merge候選相關聯的所述第二參考圖片之間不同的量化參數；或參考圖片的若干時域層。
如申請專利範圍第1項或第2項所述的方法，其中所述虛擬Merge候選被放置在所述Merge候選列表中的第一位置。
如申請專利範圍第15項所述的方法，其中所述第一位置包括以下之一：在時域運動向量預測(TMVP)候選之前、在TMVP候選之後且在組合的雙向預測Merge候選之前、或在組合的雙向預測Merge候選之後。
如申請專利範圍第15項所述的方法，其中基於雙向預測的Merge候選比基於單向預測的Merge候選具有更高的優先順序。
如申請專利範圍第1項或第2項所述的方法，其中所述虛擬Merge候選是通過基於多個參考圖片修改所述第二Merge候選的所述運動向量推導出的，並且其中所述多個參考圖片是按照第三標準排序的。
如申請專利範圍第18項所述的方法，其中所述第三標準包括以下至少一個：參考圖片索引的昇冪；檢查不同圖片清單中圖片的先後順序；檢查不同圖片清單中圖片的交錯順序；或其組合。
如申請專利範圍第1項或第2項所述的方法，其中所述虛擬Merge候選包括兩個以上的參考塊。
如申請專利範圍第1項或第2項所述的方法，還包括：將子塊運動候選與現有候選的至少一個子集進行比較；確定所述子塊運動候選與現有候選相同；以及由於所述確定，避免將所述子塊運動候選添加到Merge候選列表中。
一種視頻處理方法，包括：基於由當前視頻塊的空間Merge候選的運動向量識別的第一塊、以及所述當前視頻塊和所述空間Merge候選來自的第二塊之間的相對位置，為所述當前視頻塊的子塊確定子塊運動候選；以及使用所述子塊運動候選在所述當前視頻塊和視頻位元流之間進行轉換。
如申請專利範圍第22項所述的方法，其中所述子塊候選用於可選時域運動向量預測，其中所述第一塊位於與所述當前視頻塊的當前圖片不同的圖片中。
如申請專利範圍第22項所述的方法，其中所述子塊運動候選用於幀內塊複製(IBC)Merge模式編解碼，其中所述第一塊位於所述當前視頻塊的當前幀內。
如申請專利範圍第22項所述的方法，其中所述子塊候選用於仿射Merge模式編解碼。
如申請專利範圍第1項或第2項所述的方法，其中所述轉換包括解碼所述視頻位元流以生成所述視頻塊。
如申請專利範圍第1項或第2項所述的方法，其中所述轉換包括編碼所述視頻塊以生成所述視頻位元流。
一種視頻編碼裝置，包括處理器，其被配置為實現申請專利範圍第1項至第27項的任一項所述的方法。
一種視頻解碼裝置，包括處理器，其被配置為實現申請專利範圍第1項至第27項的任一項所述的方法。
一種其上存儲了代碼的電腦可讀程式介質，所述代碼包括指令，當處理器執行所述指令時，使所述處理器實現申請專利範圍第1項至第27項的任一項所述的方法。