TW202007146A - 降低非相鄰ｍｅｒｇｅ設計的複雜度 - Google Patents

降低非相鄰ｍｅｒｇｅ設計的複雜度 Download PDF

Info

Publication number
TW202007146A
TW202007146A TW108123172A TW108123172A TW202007146A TW 202007146 A TW202007146 A TW 202007146A TW 108123172 A TW108123172 A TW 108123172A TW 108123172 A TW108123172 A TW 108123172A TW 202007146 A TW202007146 A TW 202007146A
Authority
TW
Taiwan
Prior art keywords
merge candidate
block
nax
adjacent
merge
Prior art date
Application number
TW108123172A
Other languages
English (en)
Other versions
TWI719524B (zh
Inventor
張莉
張凱
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202007146A publication Critical patent/TW202007146A/zh
Application granted granted Critical
Publication of TWI719524B publication Critical patent/TWI719524B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用於降低非相鄰Merge設計的複雜度的裝置、系統和方法。在代表性方面，視訊處理方法包含接收視訊資料的當前塊，基於規則選擇與當前塊不相鄰的第一非相鄰塊，構建包含第一Merge候選的Merge候選列表，第一Merge候選包含基於第一非相鄰塊的運動資訊，以及基於Merge候選列表處理當前塊。

Description

降低非相鄰Merge設計的複雜度
本申請文件總體直接涉及圖像和視頻編碼與解碼技術。
數位視訊在網際網路和其他數位通訊網絡上佔了最大的頻寬使用。隨著能夠接收和顯示視訊的連接用戶設備數量的增加，預計數位視訊使用的頻寬需求將繼續增長。
本發明描述了用於降低非相鄰Merge設計的複雜度的裝置、系統和方法。例如，當前公開的技術公開了用於選擇非相鄰Merge候選（Merge candidate）以將行緩衝器的尺寸保持在臨界值之下的規則。所描述的方法可以應用於現有的視訊編碼標準（例如，高效視訊編碼（HEVC））和未來的視訊編碼標準或視訊編解碼器。
在一個代表性方面，所公開的技術可以用於提供用於視訊處理的方法。該方法包含接收視訊資料的當前塊，基於規則選擇與當前塊不相鄰的第一非相鄰塊，構建包含第一Merge候選的Merge候選列表，第一Merge候選包含基於第一非相鄰塊的運動資訊，以及基於Merge候選列表處理當前塊。
在又一代表性方面，上述方法以處理器可執行代碼的形式實現並儲存在電腦可讀取程式媒介中。
在又一代表性方面，公開了一種配置或可操作以執行上述方法的設備。該設備可以包含被編程爲實現該方法的處理器。
在又一代表性方面，視訊解碼器裝置可實現如本文中所描述的方法。
在圖式、說明書和請求項中更詳細地描述了所公開技術的上述和其他方面和特徵。
由於對更高解析度視訊的日益增長的需求，視訊編碼方法和技術在現代技術中無處不在。視訊編解碼器通常包含壓縮或解壓縮數位視訊的電子電路或軟體，並且不斷被改進以提供更高的編碼效率。視訊編解碼器將未壓縮的視訊轉換爲壓縮格式，反之亦然。視訊品質、用於表示視訊的資料量（由位元率確定）、編碼和解碼算法的複雜性、對資料丟失和錯誤的敏感性、編輯的簡易性、隨機存取和端到端延遲（時間延遲）之間存在複雜的關係。壓縮格式通常符合標準視訊壓縮規範，例如，高效視訊編碼（HEVC）標準（也稱爲H.265或MPEG-H第2部分）、即將完成的通用視訊編碼標準、或其他當前和/或未來視訊編碼標準。
所公開的技術的實施例可以應用於現有視訊編碼標準（例如，HEVC、H.265）和未來標準以改進壓縮性能。在本發明說明中使用章節標題以提高描述的可讀性，並且不以任何方式將討論或實施例（和/或實現方式）限制於僅相應的章節。
1. 視訊編碼的示例實施例
圖1繪示了典型HEVC視訊編碼器和解碼器的示例方塊圖。産生符合HEVC的位元流的編碼算法通常如下進行。每個圖片被劃分爲塊狀區域，其中精確的塊分割被傳遞到解碼器。視訊序列的第一圖片（以及到視訊序列中的每個乾淨隨機存取點（clean random access point）處的第一圖片）僅使用（在同一圖片內使用區域到區域的空間上資料的一些預測，但不依賴於其他圖片）幀內預測而編碼。對於序列的所有其餘圖片或隨機存取點之間的圖片，幀間時間預測編碼模式通常用於大多數塊。用於幀間預測的編碼過程包含選擇包含選定的參考圖片和運動向量（MV）的運動資料，該參考圖片和運動向量（MV）將被應用於預測每個塊的樣本。編碼器和解碼器通過應用使用MV和模式判定資料的運動補償（MC）來產生相同的幀間預測信令，其作爲輔助被發送。
通過線性空間變換來變換幀內預測或幀間預測的殘差信號，其是初始塊與其預測之間的差異。變換係數然後被縮放、量化、熵編碼，並與預測資訊一起被發送。
編碼器複製解碼器處理環路（參見圖1中的灰色陰影框），使得兩者都將爲後續資料產生相同的預測。因此，量化的變換係數通過逆縮放而構造並且然後被逆變換以複製殘差信號的解碼的近似。然後將殘差添加到預測中，然後可以將該添加的結果饋送到一個或兩個環路濾波器中以平滑由逐塊處理和量化引起的僞像。最終圖片表示（即解碼器的輸出的副本）儲存在解碼圖片緩衝器中以用於後續圖片的預測。通常，圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序；需要區分解碼器的解碼順序（即位元流順序）和輸出順序（即顯示順序）。
通常期望通過HEVC編碼的視訊材料作爲逐行掃描圖像而輸入（由於源視訊源自該格式或者由編碼之前的去交錯産生）。HEVC設計中不存在明確的編碼特徵以支持隔行掃描的使用，因爲隔行掃描不再用於顯示器並且對於分發而言變得基本上不常見。然而，在HEVC中已經提供了元資料語法，以允許編碼器指示已經通過將隔行的視訊的每個場（即每個視訊幀的偶數或奇數行）編碼爲單獨的圖片傳送了隔行掃描視訊，或已經通過將每個隔行的幀編碼爲HEVC編碼圖片傳送了隔行掃描視訊。這提供了一種對隔行的視訊進行編碼的有效方法，其無需使解碼器需要支持針對其的特殊解碼過程。
1.1 H.264/AVC 中的劃分樹結構的示例
先前標準中的編碼層的核心是巨集區塊，其包含16×16的亮度（luma）樣本塊、以及在4：2：0顔色採樣的通常情況下的兩個對應的8×8的色度（chroma）樣本塊。
幀內編碼塊使用空間預測來利用像素之間的空間相關性。兩種劃分被定義爲：16x16和4x4。
幀間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以對於16x16巨集區塊或其如下任何子巨集區塊劃分獨立地估計運動：16x8、8x16、8x8、8x4、4x8、4x4（如圖2所示）。每子巨集區塊劃分僅允許一個運動向量（MV）。
1.2 HEVC 中的劃分樹結構的示例
在HEVC中，通過使用表示爲編碼樹的四元樹結構將編碼樹單元（CTU）劃分成編碼單元（CU），以適應各種局部特性。使用圖片間（時間）預測還是圖片內（空間）預測來對圖片區域編碼的決策是在CU級進行的。根據預測單元（PU）劃分類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送到解碼器。在通過基於PU劃分類型應用預測過程而獲得了殘差塊之後，可以根據類似於CU的編碼樹的另一個四元樹結構將CU劃分爲變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個劃分概念，包含CU、PU和TU。
使用HEVC的混合視訊編碼中涉及的一些特徵包含：
（1）編碼樹單元（CTU）和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇的尺寸並且可以大於傳統巨集區塊。CTU由亮度CTB和相應的色度CTB以及語法元素組成。亮度CTB的尺寸L×L可以被選擇爲L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支持使用樹結構和類似四元樹的信令來將CTB劃分爲更小的塊。
（2）編碼單元（CU）和編碼塊（CB）：CTU的四元樹語法指定其亮度CB和色度CB的尺寸和位置。四元樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分成亮度CB和色度CB是信令聯合的。一個亮度CB和通常兩個色度CB以及相關聯的語法一起形成編碼單元（CU）。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有相關聯的、向預測單元（PU）以及變換單元（TU）的樹的劃分。
（3）預測單元和預測塊（PB）：使用幀間圖片預測還是幀內圖片預測來對圖片區域編碼的決策是在CU級進行的。PU劃分結構的根在CU級。取決於基本預測類型決策，然後可以在尺寸上進一步劃分亮度CB和色度CB，並根據亮度和色度預測塊（PB）對其進行預測。HEVC支持從64×64到4×4樣本的可變PB尺寸。圖3繪示了對於M×M CU所允許的PB的示例。
（4）TU和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級。亮度CB殘差可以與亮度變換塊（TB）相同，或者可以被進一步劃分成更小的亮度TB。這同樣適用於色度TB。對於正方形TB尺寸4×4、8×8、16×16和32×32，定義類似於離散餘弦變換（DCT）的整數基函數。對於亮度幀內圖片預測殘差的4×4變換，可以替代地指定從離散正弦變換（DST）的形式導出的整數變換。
1.2.1 樹結構劃分爲 TB 和 TU 的示例
對於殘差編碼，可以將CB遞歸地劃分爲變換塊（TB）。由殘差四元樹信令通知劃分。僅指定正方形CB和TB劃分，其中塊可以被遞歸地劃分到象限（quadrant），如圖4A和圖4B所示。對於尺寸爲M×M的給定亮度CB，標誌（flag）表明是否將該CB劃分成四個尺寸爲M/2×M/2的塊。如果如序列參數集（SPS）中指示的殘差四元樹的最大深度所信令通知的，每個象限能夠進一步劃分，則爲每個象限分配標誌，該標誌指示是否將其劃分成四個象限。由殘差四元樹産生的葉節點塊是變換塊，通過變換編碼對其進一步處理。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，劃分是隱含的。當劃分將導致亮度TB尺寸小於所指示的最小值時，不劃分是隱含的。除了當亮度TB尺寸爲4×4時，色度TB尺寸在每個維度上是亮度TB尺寸的一半，在亮度TB尺寸爲4×4的情況下，單個4×4色度TB被用於由四個4×4亮度TB覆蓋的區域。在幀內預測的CU的情況下，最近鄰的TB（在CB內或在CB外）的解碼後樣本被用作用於幀內預測的參考資料。
與先前的標準相反，HEVC設計允許TB跨越多個PB以用於幀間預測的CU，以使四元樹結構的TB劃分的潛在編碼效率益處最大化。
1.2.2 父節點和子節點
根據四元樹結構對CTB進行劃分，其節點爲編碼單元。四元樹結構中的多個節點包含葉節點和非葉節點。葉節點在樹結構中沒有子節點（即，葉節點不會進一步劃分）。非葉節點包含樹結構的根節點。根節點對應於視訊資料的初始視訊塊（例如，CTB）。對於多個節點的每個各自的非根節點，各自的非根節點對應於視訊塊，該視訊塊是對應於各自非根節點的樹結構中的父節點的視訊塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。
1.3 JEM 中具有較大 CTU 的四元樹加二元樹塊結構的示例
在一些實施例中，使用稱爲聯合探索模型（JEM）的參考軟體來探索未來的視訊編碼技術。除二元樹結構外，JEM還描述了四元樹加二元樹（QTBT）和三元樹（TT）結構。
1.3.1 QTBT 塊劃分結構的示例
與HEVC不同，QTBT結構去除了多種劃分類型的概念，即，它去除了CU、PU和TU概念的分離，並且支持CU劃分形狀的更大靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖5A中所示，編碼樹單元（CTU）首先被四元樹結構劃分。四元樹葉節點被二元樹結構進一步劃分。在二元樹劃分中有兩種劃分類型：對稱水平劃分和對稱垂直劃分。二元樹葉節點被稱爲編碼單元（CU），並且該劃分被用於預測和變換處理而無需任何進一步的劃分。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顔色分量的編碼塊（CB）組成，例如，在4：2：0色度格式的P和B切片（slice）的情況下，一個CU包含一個亮度CB和兩個色度CB；並且CU有時由單個分量的CB組成，例如，在I切片的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。
爲QTBT劃分方案定義以下參數。
Figure 108123172-A0304-0001
在QTBT劃分結構的一個示例中，CTU尺寸被設置爲具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize 被設置爲16×16，MaxBTSize 被設置爲64×64，MinBTSize （寬度和高度）被設置爲4×4，並且MaxBTDepth 被設置爲4。首先將四元樹劃分應用於CTU以產生四元樹葉節點。四元樹葉節點可以具有從16×16（即，MinQTSize ）到128×128（即，CTU尺寸）的尺寸。如果葉四元樹節點是128×128，則由於該尺寸超過MaxBTSize （即，64×64），所以它不會被二元樹進一步劃分。否則，葉四元樹節點可以被二元樹進一步劃分。因此，四元樹葉節點也是二元樹的根節點，並且二元樹深度爲0。當二元樹深度達到MaxBTDepth （即，4）時，不考慮進一步的劃分。當二元樹節點的寬度等於MinBTSize （即，4）時，不考慮進一步的水平劃分。類似地，當二元樹節點的高度等於MinBTSize 時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二元樹的葉節點，而無需任何進一步的劃分。在JEM中，最大CTU尺寸爲256×256亮度樣本。
圖5A繪示了通過使用QTBT進行塊劃分的示例，圖5B繪示了對應的樹表示。實線表示四元樹劃分，虛線表示二元樹劃分。在二元樹的每個劃分（即，非葉）節點中，信令通知一個標誌以指示使用哪種劃分類型（即，水平或垂直），其中0表示水平劃分並且1表示垂直劃分。對於四元樹劃分，不需要指示劃分類型，因爲四元樹劃分總是水平地且垂直地劃分塊以産生具有相等尺寸的4個子塊。
另外，QTBT方案支持使亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B切片，一個CTU中的亮度CTB和色度CTB共享相同的QTBT結構。然而，對於I切片，通過QTBT結構將亮度CTB劃分爲CU，並且通過另一QTBT結構將色度CTB劃分爲色度CU。這意味著I切片中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P切片或B切片中的CU由所有三個顔色分量的編碼塊組成。
在HEVC中，小塊的幀間預測受限於減少運動補償的記憶體存取，使得對於4×8和8×4塊不支持雙向預測，並且對於4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被去除。
1.4 多功能視訊編碼（ VVC ）的三元樹（ TT ）
圖6A繪示了四元樹（QT）劃分的示例，並且圖6B和圖6C分別繪示了垂直和水平二元樹（BT）劃分的示例。在一些實施例中，除了四元樹和二元樹之外，還支持三元樹（TT）劃分，例如水平和垂直中心側三元樹（如圖6D和圖6E所示）。
在一些實現中，支持兩個層次的樹：區域樹（四元樹）和預測樹（二元樹或三元樹）。首先用區域樹（RT）對CTU進行劃分。可以進一步用預測樹（PT）劃分RT葉。也可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本的編碼單元。爲了方便起見，它仍然被稱爲CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個劃分結構被稱爲“多類型樹”。
1.5 可選視訊編碼技術中的劃分結構的示例
在一些實施例中，支持被稱爲多樹型（MTT）的樹結構，其是QTBT的廣義化。在QTBT中，如圖7所示，首先用四元樹結構對編碼樹單元（CTU）進行劃分。然後用二元樹結構對四元樹葉節點進行進一步劃分。
MTT的結構由兩種類型的樹節點組成：區域樹（RT）和預測樹（PT），支持九種類型的劃分，如圖8A至圖8I所示。區域樹可以遞歸地將CTU劃分爲方形塊，直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上，可以從三種樹類型中的一種形成預測樹：二元樹、三元樹和非對稱二元樹。在PT劃分中，禁止在預測樹的分支中進行四元樹劃分。和JEM一樣，亮度樹和色度樹在I切片中被分開。
2. HEVC/H.265 中的幀間預測的示例
多年來，視訊編碼標準已經顯著改進，並且現在部分地提供高編碼效率和對更高解析度的支持。諸如HEVC和H.265的最近的標準基於混合視訊編碼結構，其中利用時間預測加變換編碼。
2.1 預測模式的示例
每個幀間預測PU（預測單元）具有一個或兩個參考圖片列表的運動參數。在一些實施例中，運動參數包含運動向量和參考圖片索引。在其他實施例中，還可以使用inter_pred_idc 來信令通知兩個參考圖片列表中的一個的使用。在又一其他實施例中，可以將運動向量明確地編碼爲相對於預測器的增量。
當用跳過(skip)模式對編碼單元進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定Merge模式（Merge mode），從而從相鄰PU獲得當前PU的運動參數，包含空間和時間候選。Merge模式可以應用於任何幀間預測的PU，而不僅應用於跳過模式。Merge模式的替代是運動參數的顯式傳輸，其中，對於每個PU，明確地用信令通知運動向量、每個參考圖片列表的對應參考圖片索引和參考圖片列表使用。
當信令指示將使用兩個參考圖片列表中的一個時，從一個樣本塊産生PU。這被稱爲“單向預測（uni-prediction）”。單向預測可用於P切片和B切片兩者。
當信令指示將使用兩個參考圖片列表時，從兩個樣本塊産生PU。這被稱爲“雙向預測（bi-prediction）”。雙向預測僅適用於B切片。
2.1.1 構建 Merge 模式的候選的實施例
當使用Merge模式預測PU時，從位元流解析指向Merge 候選列表 中的條目的索引並將其用於檢索運動資訊。該列表的構建可以根據以下步驟順序進行概述：
Figure 108123172-A0304-0002
圖9繪示了基於上面概述的步驟序列構建Merge候選列表的示例。對於空間Merge候選推導，在位於五個不同位置的候選中最多選擇四個Merge候選。對於時間Merge候選推導，在兩個候選中最多選擇一個Merge候選。由於在解碼器處假設恆定數量的候選用於每個PU，因此當候選的數量未達到在切片報頭中用信令通知的最大Merge候選數量（MaxNumMergeCand）時，產生額外的候選。由於候選的數量是恆定的，因此使用截斷的一元二值化（Truncated Unary binarization，TU）來編碼最佳Merge候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共享單個Merge候選列表，其與2N×2N預測單元的Merge候選列表相同。
2.1.2 構建空間 Merge 候選
在空間Merge候選的推導中，在位於圖10描繪的位置的候選當中選擇最多四個Merge候選。推導的順序是A1 、B1 、B0 、A0 和B2 。僅當位置A1 、B1 、B0 、A0 的任何PU不可用（例如，因爲它屬另一切片或區塊）或者是幀內編碼時，才考慮位置B2 。在添加位置A1 處的候選之後，對剩餘候選的添加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在列表之外，使得編碼效率提高。
爲了降低計算複雜度，在所提到的冗餘檢查中並未考慮所有可能的候選對。相反，僅考慮圖11中用箭頭連接的對，並且僅在用於冗餘檢查的對應候選具有不一樣的運動資訊時，才將候選添加到列表。重複運動資訊的另一來源是與不同於2N×2N的分區相關聯的“第二PU”。作爲示例，圖12A和圖12B分別描繪了針對N×2N和2N×N的情況的第二PU。當當前PU被分區爲N×2N時，位置A1 處的候選不被考慮用於列表建構。在一些實施例中，通過添加該候選可能導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分區爲2N×N時，不考慮位置B1 。
2.1.3 構建時間 Merge 候選
在此步驟中，只有一個候選添加到列表中。特別地，在這個時間Merge候選的推導中，基於與給定參考圖片列表中當前圖片具有最小POC差異的共位的PU推導了縮放運動向量。用於推導共位的PU的參考圖片列表在切片報頭中顯式地發信令。
圖13繪示了針對時間Merge候選（如虛線）的縮放運動向量的推導的示例，時間，其使用POC距離tb和td從共位的PU的運動向量進行縮放，其中tb定義爲當前圖片的參考圖片和當前圖片之間的POC差異，並且td定義爲共位的圖片的參考圖片與共位的圖片之間的POC差異。時間Merge候選的參考圖片索引設置爲零。對於B切片，得到兩個運動向量（一個是對於參考圖片列表0，另一個是對於參考圖片列表1）並將其組合使其成爲雙向預測Merge候選。
在屬參考幀的共位的PU（Y）中，在候選C0 和C1 之間選擇時間候選的位置，如圖14所示。如果位置C0 處的PU不可用、內部編碼或在當前CTU之外，則使用位置C1 。否則，位置C0 被用於時間Merge候選的推導。
在該步驟中，只有一個候選被添加到列表中。具體地，在該時間Merge候選的推導中，基於共位的PU來推導縮放的運動向量，該共位的PU屬給定參考圖片列表內與當前圖片具有最小POC差的圖片。在切片報頭中明確地用信令通知要用於推導共位的PU的參考圖片列表。
圖13繪示了針對時間Merge候選推導縮放運動向量的示例（如虛線所示），其是使用POC距離tb和td從共位的PU的運動向量縮放的，其中tb被定義爲當前圖片的參考圖片與當前圖片之間的POC差，td被定義爲是共位的圖片的參考圖片與共位的圖片之間的POC差。時間Merge候選的參考圖片索引被設置爲等於零。對於B切片，獲得兩個運動向量，一個用於參考圖片列表0，另一個用於參考圖片列表1，並且結合該兩個運動向量以獲得雙向預測Merge候選。
在屬參考幀的共位的PU（Y）中，在候選C0 和C1 之間選擇時間候選的位置，如圖14所示。如果位置C0 處的PU不可用、是幀內編碼的、或者在當前CTU之外，則使用位置C1 。否則，位置C0 用於時間Merge候選的推導。
2.1.4 構建 Merge 候選的額外類型
除了空時Merge候選之外，還存在兩種額外類型的Merge候選：組合的雙向預測Merge候選和零Merge候選。通過利用空時Merge候選來產生組合的雙向預測Merge候選。組合的雙向預測Merge候選僅用於B切片。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數組合來產生組合的雙向預測候選。如果這兩個元組提供不同的運動假設，它們將形成一個新的雙向預測候選。
圖15繪示了該處理的示例，其中初始列表（1510，左側）中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選被用於創建添加到最終列表（1520，右側）的組合的雙向預測Merge候選。
插入零運動候選以填充Merge候選列表中的剩餘條目，從而達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量是1和2，分別用於單向和雙向預測。在一些實施例中，不對這些候選執行冗餘檢查。
2.1.5 並行處理的運動估計區域的示例
爲了加速編碼處理，可以並行執行運動估計，從而同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導Merge候選可能干擾並行處理，因爲一個預測單元直到其相關聯的運動估計完成時才能從相鄰PU推導運動參數。爲了減輕編碼效率和處理等待時間之間的折衷，可以定義運動估計區域（MER）。 MER的尺寸可以在圖片參數集（PPS）中使用“log2_parallel_merge_level_minus2”語法元素信令通知。當定義了MER時，落入同一區域的Merge候選被標記爲不可用，因此在列表建構中不予考慮。
表1中呈現了圖片參數集（PPS）初始字節序列有效載荷（RBSP）語法，其中log2_parallel_merge_level_minus2 加2指定變量Log2ParMrgLevel的值，該變量用於如現有視訊編碼標準中規定的Merge模式亮度運動向量的推導過程以及空間Merge候選的推導過程。log2_parallel_merge_level_minus2的值應在0到CtbLog2SizeY − 2的範圍內，包含0和CtbLog2SizeY − 2。
變量Log2ParMrgLevel推導如下：
Log2ParMrgLevel = log2_parallel_merge_level_minus2 + 2
注意Log2ParMrgLevel的值表示Merge候選列表的並行推導的內置能力。例如，當Log2ParMrgLevel等於6時，可以並行推導64×64塊中包含的所有預測單元（PU）和編碼單元（CU）的Merge候選列表。
Figure 108123172-A0304-0003
2.2 運動向量預測的實施例
運動向量預測利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。通過首先檢查左上方的時間相鄰的PU位置的可用性、移除冗餘的候選位置並且加上零向量以使候選列表長度恆定來構建運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳的預測器，並發送指示所選候選的對應索引。與Merge索引信令類似，最佳運動向量候選的索引使用截斷的一元進行編碼。
2.2.1 構建運動向量預測候選的示例
圖16概括了運動向量預測候選的推導過程，並且可以針對每個參考圖片列表以refidx作爲輸入實現。
在運動向量預測中，考慮了兩種類型的運動向量候選：空間運動向量候選和時間運動向量候選。對於空間運動向量候選的推導，基於位於圖10先前所示的五個不同位置的每個PU的運動向量最終推導兩個運動向量候選。
對於時間運動向量候選的推導，從兩個候選中選擇一個運動向量候選，這兩個候選是基於兩個不同的共位位置推導的。在作出第一個空時候選列表後，移除列表中重複的運動向量候選。如果潛在候選的數量大於二，則從列表中移除在相關聯的參考圖片列表中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二，則會在列表中添加額外的零運動向量候選。
2.2.2 構建空間運動向量候選
在推導空間運動向量候選時，在五個潛在候選中最多考慮兩個候選，這五個候選來自圖10先前所示位置上的PU，這些位置與運動Merge的位置相同。當前PU左側的推導順序定義爲A0 、A1 、和縮放的A0 、縮放的A1 。當前PU上方的推導順序定義爲B0 、B1 、B2 、縮放的B0 、縮放的B1 、縮放的B2 。因此，每側有四種情況可以用作運動向量候選，其中兩種情況不需要使用空間縮放，並且兩種情況使用空間縮放。四種不同的情況概括如下：
Figure 108123172-A0304-0004
首先檢查無空間縮放的情況，然後檢查允許空間縮放的情況。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時，考慮空間縮放，而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是幀內編碼，則允許對上述運動向量進行縮放，以幫助左側和上方MV候選的並行推導。否則，不允許對上述運動向量進行空間縮放。
如在圖17中的示例所示，對於空間縮放情況，相鄰PU的運動向量以與時間縮放相似的方式縮放。一個區別在於，給出了當前PU的參考圖片列表和索引作爲輸入，實際縮放處理與時間縮放處理相同。
2.2.3 構建時間運動向量候選
除了參考圖片索引的推導外，時間Merge候選的所有推導過程與空間運動向量候選的推導過程相同（如圖14中的示例所示）。在一些實施例中，將參考圖片索引用信令通知給解碼器。
2.2.4 AMVP 資訊的信令
對於AMVP模式，在位元流中可以信令通知四個部分，例如預測方向、參考索引、MVD和MV預測候選索引，其在表2和表3中所示的語法的上下文中描述。
Figure 108123172-A0304-0005
Figure 108123172-A0304-0006
3 聯合探索模型（ JEM ）中幀間預測方法的示例
在一些實施例中，使用稱爲聯合探索模型（JEM）的參考軟體來探索未來視訊編碼技術。在JEM中，在若干編碼工具中採用基於子塊的預測，諸如仿射預測、可選時間運動向量預測（ATMVP）、空時運動向量預測（STMVP）、雙向光流（BIO）、幀速率上轉換（FRUC）、局部自適應運動向量解析度（LAMVR）、重疊塊運動補償（OBMC）、局部照明補償（LIC）和解碼器側運動向量細化（DMVR）。
3.1 基於子 CU 的運動向量預測的示例
在具有四元樹加二元樹（QTBT）的JEM中，每個CU可以針對每個預測方向具有至多一組運動參數。在一些實施例中，通過將大CU劃分成子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級運動向量預測方法。可選時間運動向量預測（ATMVP）方法允許每個CU從比共位的參考圖片中的當前CU小的多個塊中提取多組運動資訊。在空時運動向量預測（STMVP）方法中，通過使用時間運動向量預測器和空間相鄰運動向量來遞歸地推導子CU的運動向量。在一些實施例中，爲了保留用於子CU運動預測的更準確的運動場，可以禁用參考幀的運動壓縮。
3.1.1 可選時間運動向量預測（ ATMVP ）的示例時間 在ATMVP方法中，時間運動向量預測（TMVP）方法通過從小於當前CU的塊中提取多組運動資訊（包含運動向量和參考索引）來修改。
圖18繪示了CU 1800的ATMVP運動預測處理的示例。ATMVP方法分兩步預測CU 1800內的子CU 1801的運動向量。第一步是用時間向量識別參考圖片1850中的對應塊1851。參考圖片1850還被稱爲運動源圖片。第二步是將當前CU 1800劃分成子CU1801，並從與每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引。
在第一步中，由當前CU 1800的空間相鄰塊的運動資訊確定參考圖片1850和對應塊。爲了避免相鄰塊的重複掃描過程，使用當前CU 1800的Merge候選列表中的第一Merge候選。第一可用運動向量及其相關聯的參考索引被設置爲時間向量和運動源圖片的索引。這樣，與TMVP相比，可以更準確地識別對應塊，其中對應塊（有時稱爲共位塊）總是相對於當前CU位於右下或中心位置。
在一個示例中，如果第一Merge候選來自左相鄰塊（即，圖19中的A1 ），則使用相關的MV和參考圖片來識別源塊和源圖片。
在第二步中，通過向當前CU的座標添加時間向量，通過運動源圖片1850中的時間向量來識別子CU 1851的對應塊。對於每個子CU，其對應塊（例如，覆蓋中心樣本的最小運動網格）的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將其轉換爲當前子CU的參考索引和運動向量，其中運動縮放和其他過程也適用。例如，解碼器檢查是否滿足低延遲條件（例如，當前圖片的所有參考圖片的POC小於當前圖片的POC）並且可能使用運動向量MVx （例如，對應於參考圖片列表X的運動向量）來預測每個子CU的運動向量MVy （例如，其中X等於0或1並且Y等於1-X）。
3.1.2 空時運動向量預測 (STMVP) 的示例
在STMVP方法中，子CU的運動向量是按照光柵掃描順序遞歸推導的。圖20繪示了一個具有四個子塊及相鄰塊的CU的示例。考慮一個8×8的 CU 2000，它包含四個4×4的子CU A（2001）、B（2002）、C（2003）和D（2004）。當前幀中相鄰的4×4的塊標記爲a（2011）、b（2012）、c（2013）和d（2014）。
子CU A的運動推導由識別其兩個空間鄰居開始。第一個鄰居是子CU A 1101上方的N×N塊（塊c 2013）。如果該塊c 2013不可用或者是幀內編碼的，則檢查子CU A（2001）上方的其它N×N塊（從左到右，從塊c 2013處開始）。第二個鄰居是子CU A 2001左側的塊（塊b 2012）。如果塊b（2012）不可用或者是幀內編碼的，則檢查子CU A 2001左側的其它塊（從上到下，從塊b 2012處開始）。每個列表從相鄰塊獲得的運動資訊被縮放到給定列表的第一個參考幀。接下來，按照與HEVC中規定的TMVP相同的程序，推導子塊A 2001的時間運動向量預測（TMVP）。提取塊D 2004處的共位塊的運動資訊並進行相應的縮放。最後，在檢索和縮放運動資訊後，對每個參考列表分別平均所有可用的運動向量。將平均的運動向量指定爲當前子CU的運動向量。
3.1.3 子 CU 運動預測模式信令的示例
在一些實施例中，子CU模式作爲額外的Merge候選模式啓用，並且不需要額外的語法元素來信令通知該模式。將另外兩個Merge候選添加到每個CU的Merge候選列表中，以表示ATMVP模式和STMVP模式。在其他實施例中，如果序列參數集指示啓用了ATMVP和STMVP，則最多可以使用七個Merge候選。額外Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同，這意味著對於P切片或B切片中的每個CU，可能需要對兩個額外Merge候選進行兩次額外的RD檢查。在一些實施例中，例如JEM，Merge索引的所有二進制位（bin）都由CABAC（基於上下文的自適應二進制算數編碼）進行上下文編碼。在其他實施例中，例如HEVC，只有第一個二進制位是上下文編碼的，並且其餘的二進制位是上下文旁路編碼的。
3.2 自適應運動向量差解析度的示例
在一些實施例中，當切片報頭中的use_integer_mv_flag等於0時，以四分之一亮度樣本爲單位信令通知（PU的運動向量和預測運動向量之間的）運動向量差（MVD）。在JEM中，引入了局部自適應運動向量解析度（LAMVR）。在JEM中，MVD可以以四分之一亮度樣本、整數亮度樣本或4亮度樣本爲單位進行編碼。在編碼單元（CU）級控制MVD解析度，並且對於具有至少一個非零MVD分量的每個CU有條件地信令通知MVD解析度標誌。
對於具有至少一個非零MVD分量的CU，信令通知第一標誌以指示在CU中是否使用四分之一亮度樣本MV精度。當第一標誌（等於1）指示不使用四分之一亮度樣本MV精度時，信令通知另一標誌以指示是使用整數亮度樣本MV精度還是4亮度樣本MV精度。
當CU的第一MVD解析度標誌爲零或未針對CU編碼（意味著CU中的所有MVD均爲零）時，對於CU使用四分之一亮度樣本MV解析度。當CU使用整數亮度樣本MV精度或4亮度樣本MV精度時，CU的AMVP候選列表中的MVP被取整到對應的精度。
在編碼器中，CU級RD檢查用於確定將哪個MVD解析度用於CU。即，對於每個MVD解析度，執行三次CU級RD檢查。爲了加快編碼器速度，在JEM中應用以下編碼方案。
--在具有正常四分之一亮度樣本MVD解析度的CU的RD檢查期間，儲存當前CU的運動資訊（整數亮度樣本準確度）。儲存的運動資訊（在取整之後）被用作在RD檢查期間針對具有整數亮度樣本和4亮度樣本MVD解析度的相同CU的進一步小範圍運動向量細化的起點，使得耗時的運動估計過程不重複三次。
--有條件地調用具有4亮度樣本MVD解析度的CU的RD檢查。對於CU，當RD成本整數亮度樣本MVD解析度遠大於四分之一亮度樣本MVD解析度時，跳過針對CU的4亮度樣本MVD解析度的RD檢查。
3.3 模式匹配運動向量推導（ PMMVD ）的示例
PMMVD模式是基於幀速率上轉換（FRUC）方法的特殊Merge模式。利用該模式，在解碼器側推導塊的運動資訊，而不是信令通知塊的運動資訊。
當CU的Merge標誌爲真時，可以向CU信令通知FRUC標誌。當FRUC標誌爲假時，可以信令通知Merge索引並使用常規Merge模式。當FRUC標誌爲真時，可以信令通知額外的FRUC模式標誌以指示將使用哪種方法（例如，雙邊匹配或模板匹配）來推導該塊的運動資訊。
在編碼器側，關於是否對CU使用FRUC Merge模式的決定是基於對正常Merge候選所做的RD成本選擇。例如，通過使用RD成本選擇來檢查CU的多種匹配模式（例如，雙邊匹配和模板匹配）兩者。引起最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置爲真，並且使用相關的匹配模式。
通常，FRUC Merge模式中的運動推導過程具有兩個步驟：首先執行CU級運動搜索，然後進行子CU級運動細化。在CU級，基於雙邊匹配或模板匹配，推導整個CU的初始運動向量。首先，產生MV候選列表，並且選擇引起最小匹配成本的候選作爲進一步CU級細化的起點。然後，在起點附近執行基於雙邊匹配或模板匹配的局部搜索。將最小匹配成本的MV結果作爲整個CU的MV。隨後，以推導的CU運動向量作爲起點，進一步在子CU級細化運動資訊。
例如，對於
Figure 02_image001
CU運動資訊推導執行以下推導過程。在第一階段，推導整個
Figure 02_image001
CU的MV。在第二階段，該CU進一步被劃分成
Figure 02_image003
個子CU。M的值的計算方法如等式（3）所示，
Figure 02_image005
是預定義的劃分深度，在JEM中預設設置爲3。然後推導每個子CU的MV。
Figure 02_image007
等式(3)
圖21繪示了在幀速率上轉換（FRUC）方法中使用的雙邊匹配的示例。通過沿當前CU的運動軌跡在兩個不同的參考圖片（2110、2111）中找到兩個塊之間最接近的匹配，使用雙邊匹配來推導當前CU（2100）的運動資訊。在連續運動軌跡假設下，指向兩個參考塊的運動向量MV0（2101）和MV1（2102）與當前圖片和兩個參考圖片之間的時間距離（例如，TD0（2103）和TD1（2104）成正比。在一些實施例中，當當前圖片2100暫時位於兩個參考圖片（2110、2111）之間並且當前圖片到兩個參考圖片的時間距離相同時，雙邊匹配成爲基於鏡像的雙向MV。
圖22繪示了在幀速率上轉換（FRUC）方法中使用的模板匹配的示例。通過在當前圖片中的模板（例如，當前CU的頂部和/或左側相鄰塊）和參考圖片2210中的塊（例如，與模板尺寸相同）之間找到最接近的匹配，使用模板匹配來推導當前CU 2200的運動資訊。除了上述的FRUC Merge模式外，模板匹配也可以應用於AMVP模式。在JEM和HEVC兩者中，AMVP有兩個候選。利用模板匹配方法，可以推導新的候選。如果由模板匹配新推導的候選與第一個現有AMVP候選不同，則將其插入AMVP候選列表的最開始處，並且然後將列表尺寸設置爲2（例如，通過移除第二個現有AMVP候選）。當應用於AMVP模式時，僅應用CU級搜索。
CU級的MV候選集可以包含以下：（1）初始AMVP候選，如果當前CU處於AMVP模式，（2）所有Merge候選，（3）插值MV場（稍後描述）中的幾個MV，以及頂部和左側相鄰運動向量。
當使用雙邊匹配時，Merge候選的每個有效MV可以用作輸入，以產生假設雙邊匹配的情況下的MV對。例如，在參考列表A中，Merge候選的一個有效MV是（MVa，refa ）。然後，在其他參考列表B中找到其配對的雙邊MV的參考圖片refb ，使得refa 和refb 在時間上位於當前圖片的不同側。如果這樣的refb 在參考列表B中不可用，則refb 被確定爲與refa 不同的參考，並且其到當前圖片的時間距離是列表B中的最小值。在確定refb 之後，通過基於當前圖片refa 和refb 之間的時間距離縮放MVa來推導MVb。
在一些實現中，還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地，添加當前CU的位置（0，0），（W/2，0），（0，H/2）和（W/2，H/2）處插值的MV。當在AMVP模式下應用FRUC時，初始的AMVP候選也添加到CU級的MV候選集。在一些實現中，在CU級，可以將AMVP CU的15個MV和Merge CU的13個MV添加到候選列表中。
子CU級設置的MV候選包含:（1）從CU級搜索確定的MV，（2）頂部、左側、左上方和右上方相鄰的MV，（3）來自參考圖片的共位的MV的縮放版本，（4）一個或多個ATMVP候選（例如，最多4個），以及（5）一個或多個STMVP候選（例如，最多4個）。來自參考圖片的縮放MV推導如下。兩個列表中的參考圖片被遍歷。參考圖片中子CU的共位位置處的MV被縮放爲起始CU級MV的參考。ATMVP和STMVP候選可以爲前四個。在子CU級，一個或多個MV（最多17個）被添加到候選列表中。
插值 MV 場的產生 。在對幀進行編碼之前，基於單向ME產生整個圖片的內插運動場。然後，該運動場可以隨後用作CU級或子CU級的MV候選。
在一些實施例中，兩個參考列表中每個參考圖片的運動場在4×4的塊級別上被遍歷。圖23繪示了FRUC方法中的單邊運動估計（ME）2300的示例。對於每個4×4塊，如果與塊相關聯的運動通過當前圖片中的4×4塊並且塊未被分配任何插值運動，則參考塊的運動根據時間距離TD0和TD1（以與HEVC中的TMVP的MV縮放的方式相同的方式）被縮放到當前圖片，並且將縮放的運動分配給當前幀中的塊。如果沒有縮放的MV被分配給4×4塊，則在插值運動場中將塊的運動標記爲不可用。
插值和匹配成本。 當運動向量指向分數樣本位置時，需要運動補償插值。爲了降低複雜度，替代常規8抽頭HEVC插值，可以將雙線性插值用於雙邊匹配和模板匹配。
匹配成本的計算在不同步驟處有點不同。當從CU級的候選集中選擇候選時，匹配成本可以是雙邊匹配或模板匹配的絕對和差（SAD）。在確定起始MV之後，子CU級搜索的雙邊匹配的匹配成本C計算如下：
Figure 02_image009
等式（4）
這裏，w是權重係數。在一些實施例中，w被經驗地設置爲4。MV和
Figure 02_image011
分別指示當前MV和起始MV。仍然可以將SAD用作子CU級搜索的模式匹配的匹配成本。
在FRUC模式中，僅通過使用亮度樣本來推導MV。推導的運動將用於MC幀間預測的亮度和色度兩者。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。
MV細化是基於模式的MV搜索，以雙邊匹配成本或模板匹配成本爲標準。在JEM中，支持兩種搜索模式—無限制中心偏置菱形搜索（UCBDS）和自適應交叉搜索，分別在CU級和子CU級進行MV細化。對於CU和子CU級MV細化兩者，以四分之一亮度樣本MV精度直接搜索MV，並且接著是八分之一亮度樣本MV細化。將用於CU和子CU步驟的MV細化的搜索範圍設置爲等於8個亮度樣本。
在雙邊匹配Merge模式中，應用雙向預測，因爲CU的運動資訊是基於在兩個不同的參考圖片中沿當前CU的運動軌跡的兩個塊之間的最近匹配推導的。在模板匹配Merge模式中，編碼器可以從列表0中的單向預測、列表1中的單向預測或雙向預測當中爲CU選擇。選擇可以基於如下的模板匹配成本：
Figure 108123172-A0304-0007
這裏，cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，並且costBi是雙向預測模板匹配的SAD。例如，當factor的值等於1.25，意味著選擇處理偏向於雙向預測。幀間預測方向選擇可以應用於CU級模板匹配處理。
3.4 解碼器側運動向量細化 (DMVR) 的示例
在雙向預測操作中，對於一個塊區域的預測，將分別使用list0的運動向量（MV）和list1的MV形成的兩個預測塊進行組合以形成單個預測信號。在解碼器側運動向量細化（DMVR）方法中，通過雙邊模板匹配處理進一步細化雙向預測的兩個運動向量。雙邊模板匹配應用在解碼器中，以在雙邊模板和參考圖片中的重建樣本之間執行基於失真的搜索，以便獲得細化的MV而無需傳輸附加的運動資訊。
在DMVR中，分別從列表0的初始MV0和列表1的MV1，將雙邊模板產生爲兩個預測塊的加權組合（即平均），如圖24所示。模板匹配操作包含計算所產生的模板與參考圖片中的（在初始預測塊周圍的）樣本區域之間的成本度量。對於兩個參考圖片中的每個，將産生最小模板成本的MV考慮爲該列表的更新MV以替換初始MV。在JEM中，對每個列表搜索九個MV候選。該九個MV候選包含初始MV和8個與初始MV在水平或垂直方向上或兩個方向上具有一個亮度樣本偏移的環繞的MV。最後，將兩個新的MV，即如圖24中所示的MV0’和MV1’，用於產生最終的雙向預測結果。將絕對差之和（SAD）用作成本度量。
將DMVR應用於雙向預測的Merge模式，其中一個MV來自過去的參考圖片，另一MV來自未來的參考圖片，而無需傳輸額外的語法元素。在JEM中，當對CU啓用LIC、仿射運動、FRUC或子CU Merge候選時，不應用DMVR。
3.5 具有雙邊匹配細化的合併 / 跳過模式的示例
首先如下構建Merge候選列表：利用冗餘檢查將空間相鄰和時間相鄰塊的運動向量和參考索引插入候選列表，直到可用候選的數量達到最大候選尺寸19。如HEVC（組合候選和零候選）中使用的，根據預定的插入順序，通過插入空間候選、時間候選、仿射候選、高級時間MVP（ATMVP）候選、空時MVP（STMVP）候選和額外的候選來構建Merge/跳過模式的Merge候選列表，並且在圖25中所示的編號的塊的上下文中：
Figure 108123172-A0304-0008
可以注意到，除了STMVP和仿射之外，IC標誌也從Merge候選繼承。此外，對於前四個空間候選，在單預測的候選之前插入雙預測候選。
3.5.1 非相鄰 Merge 候選
如果可用Merge候選的總數尚未達到最大允許Merge候選，則可以將非相鄰Merge候選添加到Merge候選列表。在現有實現中，可以將非相鄰Merge候選插入到Merge候選列表中TMVP Merge候選之後。添加非相鄰Merge候選的處理可以通過圖26所示的僞代碼來執行。
4 現有實現的示例
在現有實現中，使用從非相鄰塊獲得運動資訊的非相鄰Merge候選可能導致次優的性能。
在一個示例中，根據位於CTU行上方的非相鄰塊的運動資訊的預測可能顯著增加行緩衝器尺寸。
在另一示例中，根據非相鄰塊的運動資訊的預測可以以將所有運動資訊（通常在4×4級上）儲存到快取記憶體中爲成本（其顯著增加了硬體實現的複雜性）帶來額外的編碼增益。
5 用於構建非相鄰 Merge 候選的方法的示例
當前公開的技術的實施例克服了現有實現方式的缺點，從而提供具有較低記憶體和複雜度要求以及較高編碼效率的視訊編碼。基於所公開的技術選擇非相鄰Merge候選可以增強現有和未來的視訊編碼標準，其在以下針對各種實現方式所描述的示例中闡明。以下提供的所公開技術的示例解釋了一般概念，並不意味著被解釋爲限制。在示例中，除非明確地相反指示，否則可以組合這些示例中描述的各種特徵。
所公開的技術的實施例減少了非相鄰Merge候選以及用於進一步改進非相鄰Merge候選的編碼性能的方法所需的快取記憶體/行緩衝器尺寸。
對於下面討論的示例，假設當前塊的左上樣本座標爲（Cx，Cy），並且一個非相鄰塊中的左上樣本的座標爲（NAx，NAy），原點（0,0）是圖片/切片/片/ LCU行/ LCU的左上角的點。座標差（即，從當前塊的偏移）由（offsetX，offsetY）表示，其中offsetX = Cx-NAx並且offsetY = Cy-NAy。
示例1有利地至少提供了記憶體和緩衝器的減少。
示例 1 ： 在一個示例中，在構建Merge候選時，僅存取位於特定位置的非相鄰塊。
（a）在一個示例中，x和y應該滿足NAx％M = 0且NAy％N = 0，其中M和N是兩個非零整數，諸如M = N = 8或16。
（b）在一個示例中，如果一個非相鄰塊中的左上樣本不滿足給定條件，則跳過與該塊相關聯的運動資訊的檢查。因此，相關聯的運動資訊不能添加到Merge候選列表。
（c）可替代地，如果一個非相鄰塊中的左上樣本不滿足給定條件，則可以移位、截斷或取整該塊的位置以確保滿足條件。例如，（NAx，NAy）可以被修改爲（（NAx / M）* M，（NAy / N）* N），其中“/”是整數除法。
（d）可以預定義/用信令通知覆蓋所有非相鄰塊的受限區域尺寸。在這種情況下，當由給定偏移（OffsetX，OffsetY）計算的非相鄰塊在該區域之外時，它被標記爲不可用或被視爲幀內編碼模式。可以將相應的運動資訊添加到候選列表中作爲候選。圖27中描繪了一個示例。
（i）在一個示例中，區域尺寸被定義爲一個或多個CTB。
（ii）在一個示例中，區域尺寸定義爲W*H（例如，W = 64且H = 64）。可替代地，此外，具有座標（NAx，NAy）的所有非相鄰塊應當滿足以下條件中的至少一個：
NAx> =（（Cx / W）* W）
NAx >=（（Cx / W）* W）+ W.
NAy> =（（Cy / H）* H）
NAy >=（（Cy / H）* H）+ H.
其中，上述函數中的“> =”和/或“>=”可以用“>”和/或“>”代替，函數“/”表示整數除法運算，其中除法結果的小數部分被丟棄。
（iii）可替代地，覆蓋當前塊的LCU行上方的所有塊被標記爲不可用或被視爲幀內碼模式。可以將相應的運動資訊添加到候選列表中作爲候選。
（iv）可替代地，假設覆蓋當前塊的LCU的左上樣本座標爲（LX，LY）。（LX-NAx）、和/或abs（LX-NAx）、和/或（LY-NAy）、和/或abs（LY-NAy）應該在臨界值內。
（v）可以預定義一個或多個臨界值。它們可以進一步取決於CU高度的最小尺寸/寬度的最小尺寸/LCU尺寸等。例如，（LY-NAy）應當小於CU高度的最小尺寸，或（LY-NAy）應當小於CU高度的最小尺寸的兩倍。
（vi）可以在序列參數集（SPS）、圖片參數集（PPS）、視訊參數集（VPS）、切片報頭、片報頭等中用信令通知區域尺寸或臨界值。
（vii）在一個示例中，用於並行編碼的當前切片/片/其他種類的單元之外的所有非相鄰塊被標記爲不可用，並且對應的運動資訊不應當添加到候選列表作爲候選。
示例2有利地至少提供了降低的計算複雜度。
示例 2 ： 當插入新的非相鄰Merge候選時，可以對部分可用Merge候選應用修剪（pruning）。
（a）在一個示例中，新的非相鄰Merge候選不與其他插入的非相鄰Merge候選進行修剪。
（b）在一個示例中，新的非相鄰Merge候選不與諸如TMVP或ATMVP的時間Merge候選進行修剪。
（c）在一個示例中，新的非相鄰Merge候選與來自某些特定相鄰塊的一些Merge候選進行修剪，但不與來自某些其它特定相鄰塊的一些其他Merge候選進行修剪。
以上描述的示例可以並入下面描述的方法（例如，方法2800）的上下文中，該方法可以在視訊解碼器和/或視訊編碼器處實現。
圖28繪示了用於視訊編碼的示例性方法的流程圖，其可在視訊編碼器中實施。方法2800包含，在步驟2810，接收視訊資料的當前塊。
方法2800包含，在步驟2820，基於規則選擇與當前塊不相鄰的第一非相鄰塊。
在一些實施例中，並且如在示例1的上下文中所描述的，第一非相鄰塊是從多個非相鄰塊中選擇的，並且其中受限區域包含多個非相鄰塊中的每一個。在示例中，受限區域對應於當前塊旁邊的一個或多個編碼樹塊（CTB）。
在一些實施例中，圖片片段的左上樣本座標是（0,0），其中第一非相鄰塊的左上樣本座標是（NAx，NAy）。在第一示例中，規則指定（NAx％M = 0）且（NAy％N = 0），其中％表示取模函數，並且M和N是整數。在第二示例中，規則指定（NAx，NAy）可以被修改爲（（NAx / M）×M）和（（NAx / N）×N），其中/表示整數除法。在第三示例中，覆蓋當前塊的最大編碼單元（LCU）的左上樣本是（Lx，Ly），並且（Lx-NAx）、abs（Lx-NAx）、(Ly-NAy)和abs（Ly-NAy）中的至少一個小於預定臨界值，其中abs（）表示絕對值函數。
方法2800包含，在步驟2830，構建包含第一Merge候選的Merge候選列表，第一Merge候選包含基於第一非相鄰塊的運動資訊。
在一些實施例中，方法2800另包含將第一Merge候選插入到Merge候選列表中，並且如在示例3的上下文中所描述的，其可以與特定類型的Merge候選進行修剪或不進行修剪。在第一示例中，第一Merge候選不與從Merge候選列表中的其他非相鄰塊構建的其他Merge候選進行修剪。在第二示例中，第一Merge候選不與Merge候選列表中的時間Merge候選進行修剪。在第三示例中，第一Merge候選與來自第一組相鄰塊的其他候選進行修剪，並且第一Merge候選不與來自與第一組相鄰塊不同的第二組相鄰塊的候選進行修剪。
在一些實施例中，並且如在示例4的上下文中所描述的，第一非相鄰塊可以限於或可以不限於某些類型的編碼。例如，第一非相鄰塊是高級運動向量預測（AMVP）編碼的非相鄰塊。例如，未利用空間Merge候選對第一非相鄰塊進行編碼。例如，利用Merge模式和運動細化過程對第一非相鄰塊進行編碼。例如，未利用解碼器側運動向量細化（DMVR）對第一非相鄰塊進行編碼。
在一些實施例中，方法2800另包含選擇第二非相鄰塊。在示例中，第一非相鄰塊和第二非相鄰塊是當前塊的空間鄰居，第一非相鄰塊利用第一模式進行編碼，第二非相鄰塊利用第二模式進行編碼，並且在選擇第二非相鄰塊之前選擇第一非相鄰塊。
在一些實施例中，非相鄰塊的運動資訊用作高級運動向量預測（AMVP）模式中的預測器。
方法2800包含，在步驟2840，基於Merge候選列表處理當前塊。在一些實現中，通過修剪Merge候選列表並使用修剪之後的Merge候選列表來對當前塊進行解碼。
6 所公開的技術的示例實現
圖29是視訊處理裝置2900的方塊圖。裝置2900可用於實施本文所述的一種或多種方法。裝置2900可以在智能手機、平板電腦、電腦、物聯網（IoT）接收器等中實施。裝置2900可包含一個或多個處理器2902、一個或多個記憶體2904和視訊處理硬體2906。處理器2902可以配置爲實現本文中描述的一個或多個方法（包含但不限於方法2800）。一個或多個記憶體2904可用於儲存用於實現本文所述方法和技術的資料和代碼。視訊處理硬體2906可用於在硬體電路中實現本文中描述的一些技術。
在一些實施例中，視訊解碼器裝置可實現使用如本文中所描述的零單元的方法，以用於視訊解碼。該方法的各種特徵可以類似於上述方法2800。
在一些實施例中，視訊解碼方法可以使用在硬體平台上實現的解碼裝置來實現，如關於圖29所描述的。
下面使用基於條款的描述格式來描述上述方法/技術的附加特徵和實施例。
1. 一種視訊處理方法，包含：接收視訊資料的當前塊；基於規則選擇與所述當前塊不相鄰的第一非相鄰塊；構建包含第一Merge候選的Merge候選列表，所述第一Merge候選包含基於所述第一非相鄰塊的運動資訊；以及基於所述Merge候選列表處理所述當前塊。
2. 根據條款1所述的方法，其中，通過修剪所述Merge候選列表並使用所述修剪後的Merge候選列表來處理所述當前塊。
3. 根據條款1所述的方法，其中圖片片段的左上樣本座標是（0,0），其中所述第一非相鄰塊的左上樣本座標是（NAx，NAy），並且所述規則指定（NAx％M = 0）且（NAy％N = 0），其中％是取模函數，並且其中M和N是整數。
4. 根據條款1所述的方法，另包含確定所述第一非相鄰塊的左上樣本是否滿足所述規則，所述第一Merge候選包含與滿足所述規則的所述第一非相鄰塊相關聯的運動資訊。
5. 根據條款3所述的方法，其中，所述規則指定將左上樣本座標（NAx，NAy）修改爲（（NAx / M）×M）和（（NAx / N）×N），其中/是整數除法，其中M和N是整數。
6. 根據條款1所述的方法，其中，所述規則指定從多個非相鄰塊中選擇所述第一非相鄰塊，並且其中受限區域包含所述多個非相鄰塊中的每一個。
7. 根據條款1所述的方法，其中，受限區域的尺寸是預定義的或用信令通知的。
8. 根據條款5所述的方法，其中，所述受限區域對應於與所述當前塊相鄰的一個或多個編碼樹塊（CTB）。
9. 根據條款5所述的方法，其中，所述受限區域包含W樣本乘H樣本的矩形區域，或者其中具有座標（NAx，NAy）的非相鄰塊滿足以下條件之一：NAx> =（（Cx / W）* W），或NAx >=（（Cx / W）* W）+ W，或NAy> =（（Cy / H）* H），或NAy >=（（Cy / H）* H）+ H。
10. 根據條款5所述的方法，其中，所述受限區域包含W樣本乘H樣本的矩形區域，或者其中具有座標（NAx，NAy）的非相鄰塊滿足以下條件之一：NAx>（（Cx / W ）* W），或NAx >（（Cx / W）* W）+ W，或NAy>（（Cy / H）* H），或NAy >（（Cy / H）* H）+ H。
11. 根據條款9或10所述的方法，其中操作“/”指示整數除法運算，其中丟棄結果的小數部分。
12. 根據條款6所述的方法，其中覆蓋所述當前塊的最大編碼單元（LCU）的左上樣本是（Lx，Ly），並且其中（Lx-NAx）、abs（Lx-NAx）、（Ly-NAy）和abs（Ly-NAy）中的至少一個小於一個或多個臨界值。
13. 根據條款12所述的方法，其中，所述一個或多個臨界值基於編碼單元（CU）或LCU的高度的最小尺寸，或者CU或LCU的寬度的最小尺寸。
14. 根據條款12所述的方法，其中，在視訊參數集（VPS）、序列參數集（SPS）、圖片參數集（PPS）、切片報頭、片報頭、編碼樹單元（CTU）或CU中用信令通知所述受限區域的尺寸或所述一個或多個臨界值。
15. 根據條款1所述的方法，另包含：將所述第一Merge候選插入Merge候選列表。
16. 根據條款12所述的方法，其中，第一Merge候選不與Merge候選列表中從其他非相鄰塊構建的其他Merge候選進行修剪。
17. 根據條款15所述的方法，其中，第一Merge候選不與Merge候選列表中的時間Merge候選進行修剪，並且其中所述時間Merge候選包含時間運動向量預測（TMVP）或可選時間運動向量預測（ATMVP）。
18. 根據條款15所述的方法，其中，第一Merge候選與來自於第一組相鄰塊的候選進行修剪，並且其中所述第一Merge候選不與來自與所述第一組相鄰塊不同的第二組相鄰塊的候選進行修剪。
19. 一種裝置，包含處理器和其上具有指令的非暫時性記憶體，其中所述指令在由所述處理器執行時使所述處理器實現條款1至18中任一項所述的方法。
20. 一種儲存在非暫時性電腦可讀取媒介上的電腦程式産品，所述電腦程式産品包含用於執行條款1至18中的任一項所述的方法的程式代碼。
從前述內容可以理解，本文已經出於說明的目的描述了本公開技術的具體實施例，但是可以在不脫離本發明範圍的情況下進行各種修改。因此，本公開的技術除了所附請求項外不受限制。
本專利文件中描述的主題和功能操作的實現可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現，包含本說明書中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。本說明書中描述的主題的實現可以實現爲一個或多個電腦程式産品，即，在有形和非瞬時電腦可讀取媒介上編碼的一個或多個電腦程式指令模塊，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀取媒介可以是機器可讀取儲存設備、機器可讀取儲存基板、記憶體設備、影響機器可讀取傳播信號的物質組合、或者它們中的一個或多個的組合。術語“資料處理單元”或“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包含例如可編程處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包含爲所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協議疊、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。
電腦程式（也稱爲程式、軟體、軟體應用、脚本或代碼）可以用任何形式的編程語言編寫，包含編譯或解釋語言，並且可以以任何形式來部署電腦程式，包含獨立程式或適合在計算環境中使用的模塊、組件、子程式或其他單元。電腦程式並不必需對應於檔案系統中的檔案。程式可以儲存在檔案的保存其他程式或資料（例如，儲存在標記語言文件中的一個或多個脚本）的部分中，儲存在專用於所討論的程式的單個檔案中，或儲存在多個協調檔案中（例如，儲存一個或多個模塊、子程式或代碼部分的檔案）。可以部署電腦程式以在一個電腦上或在位於一個站點上或分布在多個站點上並通過通訊網絡互連的多個電腦上執行。
本說明書中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入資料進行操作並產生輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現爲專用邏輯電路，例如FPGA（現場可編程門陣列）或ASIC（專用積體電路）。
舉例來說，適合於執行電腦程式的處理器包含通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從只讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包含或可操作地耦合到用於儲存資料的一個或多個大容量儲存設備，例如磁碟、磁光碟或光碟，以從該一個或多個大容量儲存設備接收資料，或將資料傳輸到該一個或多個大容量儲存設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀取媒介包含所有形式的非揮發性記憶體、媒介和記憶體設備，包含例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備。處理器和記憶體可以由專用邏輯電路補充或並入專用邏輯電路中。
旨在將說明書與圖式一起僅視爲示例性的，其中示例性意味著示例。如這裏所使用的，除非上下文另有明確說明，單數形式“一”、“一個”和“該”旨在也包含複數形式。另外，除非上下文另有明確說明，否則“或”的使用旨在包含“和/或”。
雖然本專利文件包含許多細節，但這些細節不應被解釋爲對任何發明或可要求保護的範圍的限制，而是作爲特定於特定發明的特定實施例的特徵的描述。在本專利文件中，在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述爲以某些組合起作用並且甚至最初如此要求權利保護，但是在某些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在圖式中以特定順序描繪了操作，但是這不應該被理解爲要求以所示的特定順序或按順序執行這樣的操作，或者執行所有繪示的操作，以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統組件的分離不應被理解爲在所有實施例中都要求這種分離。
僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和繪示的內容來做出其他實現方式、增強和變型。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
1510‧‧‧初始列表 1520‧‧‧最終列表 1800、2000‧‧‧編碼單元（CU） 1801、1851、2001至2004‧‧‧子編碼單元（子CU） 1850、2110、2111、2210‧‧‧參考圖片 2011至2014‧‧‧塊 2100‧‧‧當前圖片 2101、2102、MV0、MV1、MV0’、MV1’‧‧‧運動向量 2103、2104、TD0、TD1‧‧‧時間距離 2200‧‧‧當前編碼單元（當前CU） 2300‧‧‧單邊運動估計 2800‧‧‧方法 2810至2840‧‧‧步驟 2900‧‧‧視訊處理裝置 2902‧‧‧處理器 2904‧‧‧記憶體 2906‧‧‧視訊處理硬體 A0、A1、B0、B1、B2、C0、C1‧‧‧位置；候選 tb、td‧‧‧POC距離
圖1繪示了典型高效視訊編碼（HEVC）視訊編碼器和解碼器的示例方塊圖。 圖2繪示了H.264/AVC中的巨集區塊劃分的示例。 圖3繪示了將編碼塊（CB）劃分爲預測塊（PB）的示例。 圖4A和圖4B分別繪示了將編碼樹塊（CTB）細分爲CB和轉換塊（TB）以及各個相應的四元樹的示例。 圖5A和圖5B繪示了用於最大編碼單元（LCU）的細分和對應的QTBT（四元樹加二元樹）的示例。 圖6A至圖6E繪示了劃分編碼塊的示例。 圖7繪示了基於QTBT的CB的示例細分。 圖8A至圖8I繪示了支持多樹類型（MTT）的CB的劃分的示例，其是QTBT的概括。 圖9繪示了構建Merge候選列表的示例。 圖10繪示了空間候選的位置的示例。 圖11繪示了經受空間Merge候選的冗餘檢查的候選對的示例。 圖12A和圖12B繪示了基於當前塊的尺寸和形狀的第二預測單元（PU）的位置的示例。 圖13繪示了用於時間Merge候選的運動向量縮放的示例。 圖14繪示了時間Merge候選的候選位置的示例。 圖15繪示了產生組合的雙向預測Merge候選的示例。 圖16繪示了構建運動向量預測候選的示例。 圖17繪示了用於空間運動向量候選的運動向量縮放的示例。 圖18繪示了使用可選時間運動向量預測（ATMVP）算法用於編碼單元（CU）的運動預測的示例。 圖19繪示了源塊和源圖片的識別的示例。 圖20繪示了具有由空時運動向量預測（STMVP）算法使用的子塊和相鄰塊的編碼單元（CU）的示例。 圖21繪示了模式匹配運動向量推導（PMMVD）模式中的雙邊匹配的示例，其是基於幀速率上轉換（FRUC）算法的特殊Merge模式。 圖22繪示了FRUC算法中的模板匹配的示例。 圖23繪示了FRUC算法中的單邊運動估計的示例。 圖24繪示了基於雙邊模板匹配的解碼器側運動向量細化（DMVR）算法的示例。 圖25繪示了用於推導空間Merge候選的空間相鄰塊的示例。 圖26繪示了用於添加非相鄰Merge候選的示例性僞代碼。 圖27繪示了非相鄰塊的受限區域的示例。 圖28繪示了根據當前公開的技術的用於視訊處理的示例方法的流程圖。 圖29是用於實現本發明說明中描述的視覺媒體解碼或視覺媒體編碼技術的硬體平台的示例的方塊圖。
2800‧‧‧方法
2810至2840‧‧‧步驟

Claims (20)

  1. 一種視訊處理方法，包含： 接收一視訊資料的一當前塊； 根據一規則選擇與該當前塊不相鄰的一第一非相鄰塊； 構建包含一第一Merge候選的一Merge候選列表，該第一Merge候選包含基於該第一非相鄰塊的運動資訊；以及 根據該Merge候選列表，處理該當前塊。
  2. 如請求項1所述的方法，其中該當前塊是藉由修剪該Merge候選列表並使用該修剪後的Merge候選列表而被處理。
  3. 如請求項1所述的方法，其中圖片片段的左上樣本座標是（0,0），其中該第一非相鄰塊的左上樣本座標是（NAx，NAy），並且該規則指定（NAx％M = 0）且（NAy％N = 0），其中％是取模函數，並且其中M和N是整數。
  4. 如請求項1所述的方法，另包含確定該第一非相鄰塊的左上樣本是否滿足該規則，該第一Merge候選包含與滿足該規則的該第一非相鄰塊相關聯的運動資訊。
  5. 如請求項3所述的方法，其中該規則指定將左上樣本座標（NAx，NAy）修改爲（（NAx / M）×M）和（（NAx / N）×N），其中/是整數除法，其中M和N是整數。
  6. 如請求項1所述的方法，其中該規則指定從多個非相鄰塊中選擇該第一非相鄰塊，並且其中一受限區域包含該多個非相鄰塊中的每一個。
  7. 如請求項1所述的方法，其中一受限區域的尺寸是預定義的或用信令通知的。
  8. 如請求項5所述的方法，其中該受限區域對應於與該當前塊相鄰的一個或多個編碼樹塊（CTB）。
  9. 如請求項5所述的方法，其中該受限區域包含W樣本乘H樣本的矩形區域，或者其中具有座標（NAx，NAy）的非相鄰塊滿足以下條件之一：NAx> =（（Cx / W）* W），或NAx >=（（Cx / W）* W）+ W，或NAy> =（（Cy / H）* H），或NAy >=（（Cy / H）* H）+ H。
  10. 如請求項5所述的方法，其中該受限區域包含W樣本乘H樣本的矩形區域，或者其中具有座標（NAx，NAy）的非相鄰塊滿足以下條件之一：NAx>（（Cx / W ）* W），或NAx >（（Cx / W）* W）+ W，或NAy>（（Cy / H）* H），或NAy >（（Cy / H）* H）+ H。
  11. 如請求項9或10所述的方法，其中操作“/”指示整數除法運算，其中丟棄結果的小數部分。
  12. 如請求項6所述的方法，其中覆蓋該當前塊的最大編碼單元（LCU）的左上樣本是（Lx，Ly），並且其中（Lx-NAx）、abs（Lx-NAx）、（Ly-NAy）和abs（Ly-NAy）中的至少一個小於一個或多個臨界值。
  13. 如請求項12所述的方法，其中該一個或多個臨界值基於編碼單元（CU）或最大編碼單元的高度的最小尺寸，或者編碼單元或最大編碼單元的寬度的最小尺寸。
  14. 如請求項12所述的方法，其中在視訊參數集（VPS）、序列參數集（SPS）、圖片參數集（PPS）、切片報頭、片報頭、編碼樹單元（CTU）或編碼單元中用信令通知該受限區域的尺寸或該一個或多個臨界值。
  15. 如請求項1所述的方法，另包含： 將該第一Merge候選插入該Merge候選列表。
  16. 如請求項12所述的方法，其中該第一Merge候選不與該Merge候選列表中從其他非相鄰塊構建的其他Merge候選進行修剪。
  17. 如請求項15所述的方法，其中該第一Merge候選不與該Merge候選列表中的時間Merge候選進行修剪，並且其中該時間Merge候選包含時間運動向量預測（TMVP）或可選時間運動向量預測（ATMVP）。
  18. 如請求項15所述的方法，其中該第一Merge候選與來自於一第一組相鄰塊的候選進行修剪，並且其中該第一Merge候選不與來自與該第一組相鄰塊不同的一第二組相鄰塊的候選進行修剪。
  19. 一種裝置，包含處理器和其上具有指令的非暫時性記憶體，其中該指令在由該處理器執行時使該處理器實現如請求項1至18中任一項所述的方法。
  20. 一種儲存在非暫時性電腦可讀取媒介上的電腦程式産品，該電腦程式産品包含用於執行如請求項1至18中任一項所述的方法的程式代碼。
TW108123172A 2018-07-01 2019-07-01 降低非相鄰Ｍerge設計的複雜度 TWI719524B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2018093944 2018-07-01
WOPCT/CN2018/104982 2018-09-11
CN2018104982 2018-09-11
WOPCT/CN2018/093944 2019-07-01

Publications (2)

Publication Number Publication Date
TW202007146A true TW202007146A (zh) 2020-02-01
TWI719524B TWI719524B (zh) 2021-02-21

Family

ID=67226319

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123172A TWI719524B (zh) 2018-07-01 2019-07-01 降低非相鄰Ｍerge設計的複雜度

Country Status (3)

Country Link
CN (1) CN110677650B (zh)
TW (1) TWI719524B (zh)
WO (1) WO2020008322A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115812306A (zh) * 2020-06-08 2023-03-17 抖音视界有限公司 使用非紧邻临近块的帧内块复制的约束

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105258B (zh) * 2010-10-08 2020-09-01 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
MX369711B (es) * 2011-08-29 2019-11-19 Ibex Pt Holdings Co Ltd Aparato para decodificar información de movimientos de modo de fusión.
US10681347B2 (en) * 2015-09-29 2020-06-09 Lg Electronics Inc. Method and apparatus of filtering image in image coding system
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction

Also Published As

Publication number Publication date
WO2020008322A1 (en) 2020-01-09
CN110677650A (zh) 2020-01-10
TWI719524B (zh) 2021-02-21
CN110677650B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
TWI723444B (zh) 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
TWI728390B (zh) 查找表尺寸
CN110677648B (zh) 处理视频数据的方法、装置及非暂时性存储介质
TWI744662B (zh) 更新查閱資料表（lut）的條件
TWI743506B (zh) 來自多個查找表（lut）的選擇
TW202015415A (zh) 擴展Merge預測
TW202021348A (zh) 虛擬Merge候選
TWI728389B (zh) 基於優先級的非相鄰merge設計
TWI719524B (zh) 降低非相鄰Ｍerge設計的複雜度