TW202025760A - 要檢查多少個hmvp候選 - Google Patents

要檢查多少個hmvp候選 Download PDF

Info

Publication number
TW202025760A
TW202025760A TW108133113A TW108133113A TW202025760A TW 202025760 A TW202025760 A TW 202025760A TW 108133113 A TW108133113 A TW 108133113A TW 108133113 A TW108133113 A TW 108133113A TW 202025760 A TW202025760 A TW 202025760A
Authority
TW
Taiwan
Prior art keywords
candidates
motion
candidate list
block
patent application
Prior art date
Application number
TW108133113A
Other languages
English (en)
Inventor
張莉
張凱
劉鴻彬
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202025760A publication Critical patent/TW202025760A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

一種視頻解碼方法,包括:維護一個或多個表,每個表包括與對應的運動信息相關聯的一個或多個運動候選;基於標準,決定一個或多個表中要檢查的最大運動候選數;在候選列表構建處理期間在一個或多個表中檢查直到最大運動候選數;以及基於在候選列表構建處理期間構建的候選列表,處理包括第一視頻塊的視頻數據的位元流表示。

Description

要檢查多少個HMVP候選
本申請文件涉及視頻編碼和解碼技術、設備和系統。 [相關申請案的交叉參考]
根據適用的《專利法》和/或《巴黎公約》的規定,本申請及時要求於2018年9月12日提交的國際專利申請號PCT/CN2018/105193的優先權和利益。根據美國法律,將國際專利申請號PCT/CN2018/105193的全部公開以引用方式併入本文,作為本申請公開的一部分。
儘管視頻壓縮有所進步,數位視頻在互聯網和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接用戶設備數量的增加,預計數位視頻使用的頻寬需求將繼續增長。
本文件公開了用於使用運動向量的Merge列表編碼和解碼數位視頻的方法、系統和設備。
在一個示例方面,公開了一種視頻解碼方法。該方法包括:維護一個或多個表,每個表包括與對應的運動信息相關聯的一個或多個運動候選;基於標準,決定一個或多個表中要檢查的的最大運動候選數;在候選列表構建處理期間在一個或多個表中檢查直到最大運動候選數;以及基於在候選列表構建處理期間構建的候選列表,處理包括第一視頻塊的視頻數據的位元流表示。
在另一個示例方面,公開了另一種視頻解碼方法。該方法包括:維護一個或多個表,每個表包括具有從先前編碼的塊導出的對應的運動信息的一個或多個基於歷史的運動向量預測(HMVP)候選;在構建候選列表的候選列表構建處理中檢查表直到最大HMVP候選數;以及基於構建的候選列表處理包含第一視頻塊的視頻數據的位元流表示。
在又一示例方面,公開了實現本文所述的視頻編碼方法的視頻編碼設備。
在又一典型的方面,本文所述的各種技術可以實施為儲存在非暫時性電腦可讀介質上的電腦程式產品。電腦程式產品包括用於執行本文所述方法的程式代碼。
在又一典型的方面,公開了實現本文所述的視頻解碼方法的視頻解碼裝置。
在附件、附圖和下面的描述中闡述了一個或多個實現的細節。其它特徵將從說明書和附圖以及申請專利範圍中顯而易見。
在本文中,使用章節標題用於提高可讀性,並且不將每個章節中描述的技術和實施例的範圍僅限於該章節。此外,雖然使用了來自各種現有視頻編解碼器標準的某些術語,但所公開的技術不僅限於這些視頻標準或其後續標準,並且適用於其他視頻編解碼器標準。此外,在某些情況下,使用對應的編碼步驟公開了技術,並且應當理解的是,將在解碼器上執行相反順序的對應解碼步驟。此外,編碼還可用於執行轉碼,其中視頻從一種編碼表示(例如,一種位元率)表示為另一種編碼表示(例如,不同的位元率)。
為了提高視頻的壓縮比,研究人員不斷尋找用於編碼視頻並對應地解碼視頻的編碼表示的新技術。
1.介紹
本文件涉及視頻編碼技術。具體地,涉及視頻編碼中的運動信息編碼(諸如Merge模式、AMVP模式,其中AMVP代表高級運動向量預測)。可應用於現有的視頻編碼標準,或待最終確定的標準多功能視頻編碼。也可能適用於未來的視頻編碼標準或視頻編解碼器。
2.簡要討論
視頻編碼標準主要是通過開發公知的ITU-T和ISO/IEC標準而發展起來的。ITU-T開發了H.261和H.263,ISO/IEC開發了MPEG-1和MPEG-4視覺,並且兩個組織聯合開發了H.262/MPEG-2視頻、H.264/MPEG-4高級視頻編碼(AVC)和H.265/HEVC標準。自H.262以來,視頻編碼標準基於混合視頻編碼結構,其中採用了時域預測加變換編碼。典型HEVC編碼器框架的示例如圖1所示。
2.1分割結構
2.1.1 H.264/AVC中的分割樹結構
先前標準中編碼層的核心是巨集塊,包含16×16的亮度樣點塊,並且在常規的4:2:0顏色採樣情況下,包含兩個對應的8×8的彩度樣點塊。
內部編碼塊使用空域預測來探索像素之間的空域相關性。定義了兩種分割:16x16和4x4。
幀間編碼塊通過估計圖片之間的運動來使用時域預測,而不是空域預測。可以單獨估計16x16巨集塊或其任何子巨集塊分割的運動:16x8、8x16、8x8、8x4、4x8、4x4(見圖2)。每個子巨集塊分割只允許一個運動向量(MV)。
2.1.2 HEVC中的分割樹結構
在HEVC中,通過使用四叉樹結構(表示為編碼樹)將CTU劃分成CU來適應各種局部特性。在CU級別決定是使用幀間(時域)預測還是幀內(空域)預測對圖片區域進行編碼。根據PU的分割類型,每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU中,應用相同的預測處理,並且相關信息以PU為基礎傳輸到解碼器。在基於PU分割類型通過應用預測處理獲得殘差塊後,可以根據與CU的編碼樹相似的另一個四叉樹結構將CU分割成變換單元(TU)。HEVC結構的一個重要特徵是它具有多個分割概念,包括CU、PU以及TU。
以下,使用HEVC的混合視頻編碼中涉及的各種特徵突出顯示如下。
1)編碼樹單元和編碼樹塊(CTB)結構:HEVC中的類似結構是編碼樹單元(CTU),其具有由編碼器選擇並且可以大於傳統的巨集塊的尺寸。CTU由亮度CTB和相應的彩度CTB以及語法元素組成。亮度CTB的尺寸L×L可以選擇為L=16、32或64個樣點,較大的尺寸通常能夠實現更好的壓縮。然後,HEVC支持使用樹結構和四叉樹式信令將CTB分割為更小的塊。
2)編碼單元(CU)和編碼塊(CB):CTU的四叉樹語法規定了其亮度和彩度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此,亮度CTB的尺寸是亮度CB支持的最大尺寸。CTU的亮度和彩度CB的劃分是聯合發信令的。一個亮度CB和通常兩個彩度CB以及相關的語法一起形成編碼單元(CU)。CTB可以只包含一個CU,也可以劃分形成多個CU,並且每個CU都有一個相關的劃分,分割成預測單元(PU)和轉換單元樹(TU)。
3)預測單元和預測塊(PB):在CU級別決定是使用幀間預測還是幀內預測對圖片區域進行編碼。PU分割結構的根位於CU級。取決於基本的預測類型決定,可以在尺寸上進一步劃分亮度和彩度CB,並從亮度和彩度預測塊(PB)中預測亮度和彩度CB。HEVC支持從64×64到4×4個樣點的可變PB尺寸。圖3示出了MxM CU的允許PB示例。
4)TU和變換塊:使用塊變換對預測殘差進行編碼。TU樹結構的根位於CU級。亮度CB殘差可能與亮度變換塊(TB)相同,或者也可能進一步劃分成更小的亮度TB。同樣適用於彩度TB。對於4×4、8×8、16×16和32×32的方形TB定義了與離散餘弦變換(DCT)相似的整數基函數。對於亮度幀內預測殘差的4×4變換,也可以指定從離散正弦變換(DST)形式推導的整數變換。
圖4示出了將CTB細分成CB(和轉換塊(TB))的示例。實線指示CB邊界,並且虛線指示TB邊界。(a)帶分割的CTB。(b)對應的四叉樹。
2.1.2.1分割成變換塊和單元的樹形結構劃分
對於殘差編碼,CB可以遞迴地分割為轉換塊(TB)。分割由殘差四叉樹發信令。只指定了方形CB和TB分割,其中塊可以遞迴地劃分為四象限,如圖4所示。對於尺寸為M×M的給定的亮度CB,標誌指示它是否被劃分成四個尺寸為M/2×M/2的塊。如果可以進一步劃分,如SPS中指示的殘差四叉樹的最大深度所指示的那樣,每個象限都會分配一個標誌,指示是否將其劃分為四個象限。由殘差四叉樹生成的葉節點塊是由變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時,則暗示劃分。當劃分將導致比指示的最小值更小的亮度TB尺寸時,則暗示不劃分。彩度TB尺寸在每個維度上是亮度TB尺寸的一半,但當亮度TB尺寸為4×4時除外,在這種情況下,被四個4×4亮度TB覆蓋的區域使用單個4×4彩度TB。在幀內預測的CU的情況下,最近相鄰TB(CB內或CB外)的解碼樣點用作幀內預測的參考數據。
與以前的標準不同,對於幀間預測的CU,HEVC設計允許TB跨越多個PB,以最大化得益於四叉樹結構的TB分割的潛在編碼效率。
2.1.2.2父節點和子節點
根據四叉樹結構對CTB進行劃分,其節點為編碼單元。四叉樹結構中的多個節點包括葉節點和非葉節點。葉節點在樹結構中沒有子節點(例如,葉節點不會進一步劃分)。非葉節點包括樹結構的根節點。根節點對應於視頻數據的初始視頻塊(例如,CTB)。對於多個節點的每個各自的非根節點,各自的非根節點對應於視頻塊,該視頻塊是對應於各自非根節點的樹結構中的父節點的視頻塊的子塊。多個非葉節點的每個各自的非葉節點在樹結構中具有一個或多個子節點。
2.1.3 JEM中具有較大CTU的四叉樹加二叉樹塊結構
為探索HEVC之外的未來視頻編碼技術,VCEG和MPEG於2015年共同成立了聯合視頻探索團隊(JVET)。從那時起,JVET採用了許多新的方法,並將其應用到了名為聯合探索模型(JEM)的參考軟體中。
2.1.3.1 QTBT塊分割結構
與HEVC不同,QTBT結構消除了多個分割類型的概念,即QTBT結構消除了CU、PU和TU概念的分離,並支持CU分割形狀的更多靈活性。在QTBT塊結構中,CU可以是方形或矩形。如圖5所示,首先用四叉樹結構對編碼樹單元(CTU)進行分割。四叉樹葉節點進一步被二叉樹結構分割。在二叉樹劃分中有兩種分割類型:對稱的水平劃分和對稱的垂直劃分。二叉樹葉節點被稱為編碼單元(CU),該劃分用於預測和轉換處理,而無需進一步分割。這意味著在QTBT編碼塊結構中CU、PU和TU具有相同的塊尺寸。在JEM中,CU有時由不同顏色分量的編碼塊(CB)組成,例如,在4:2:0彩度格式的P條帶和B條帶中,一個CU包含一個亮度CB和兩個彩度CB,並且CU有時由單個分量的CB組成,例如,在I條帶的情況下,一個CU僅包含一個亮度CB或僅包含兩個彩度CB。
為QTBT分割方案定義了以下參數。 –CTU尺寸:四叉樹的根節點尺寸,與HEVC中的概念相同。 –MiNQTSize :最小允許的四叉樹葉節點尺寸 –MaxBTSize :最大允許的二叉樹根節點尺寸 –MaxBTDePTh :最大允許的二叉樹深度 –MiNBTSize :最小允許的二叉樹葉節點尺寸
在QTBT分割結構的一個示例中,CTU尺寸被設置為具有兩個對應的64×64彩度樣點塊的128×128個亮度樣點,MiNQTSize 被設置為16×16,MaxBTSize 被設置為64×64,MiNBTSize (寬度和高度)被設置為4×4,MaxBTSize 被設置為4。四叉樹分割首先應用於CTU,以生成四叉樹葉節點。四叉樹葉節點的尺寸可以具有從16×16(即,MiNQTSize )到128×128(即,CTU尺寸)的尺寸。如果葉四叉樹節點是128×128,則其不會被二叉樹進一步劃分,因為其尺寸超過了MaxBTSize (例如,64×64)。否則,葉四叉樹節點可以被二叉樹進一步分割。因此,四叉樹葉節點也是二叉樹的根節點,並且其二叉樹深度為0。當二叉樹深度達到MaxBTDePTh (即,4)時,不考慮進一步劃分。當二叉樹節點的寬度等於MiNBTSize (即,4)時,不考慮進一步的水平劃分。同樣,當二叉樹節點的高度等於MiNBTSize 時,不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點,而不需要進一步的分割。在JEM中,最大CTU尺寸為256×256 個亮度樣點。
圖5(左側)圖示了通過使用QTBT進行塊分割的示例,圖5(右側)圖示了相應的樹表示。實線表示四叉樹分割,並且虛線表示二叉樹分割。在二叉樹的每個劃分(即,非葉)節點中,會對一個標誌發信令來指示使用哪種分割類型(即,水平或垂直),其中0表示水平劃分,1表示垂直劃分。對於四叉樹分割,不需要指明分割類型,因為四叉樹分割總是水平和垂直劃分一個塊,以生成尺寸相同的4個子塊。
此外,QTBT方案支持亮度和彩度具有單獨的QTBT結構的能力。目前,對於P條帶和B條帶,一個CTU中的亮度和彩度 CTB共享相同的QTBT結構。然而,對於I條帶,用QTBT結構將亮度CTB分割為CU,用另一個QTBT結構將彩度CTB分割為彩度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個彩度分量的編碼塊組成,P條帶或B條帶中的CU由所有三種顏色分量的編碼塊組成。
在HEVC中,為了減少運動補償的內存存取,限制小塊的幀間預測,使得4×8和8×4塊不支持雙向預測,並且4×4塊不支持幀間預測。在JEM的QTBT中,這些限制被移除。
2.1.4多功能視頻編碼(VVC)的三叉樹
在一些實施例中,支持四叉樹和二叉樹以外的樹類型。在實現中,還引入了另外兩個三叉樹(TT)劃分,即水平和垂直的中心側三叉樹,如圖6的(d)圖和(e)圖所示。
圖6示出了:(a)四叉樹劃分(b)垂直二叉樹劃分(c)水平二叉樹劃分(d)垂直中心側三叉樹劃分(e)水平中心側三叉樹劃分。
在一些實現中,有兩個層次的樹:區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先用區域樹(RT)對CTU進行劃分。可以進一步用預測樹(PT)劃分RT葉。也可以用PT進一步劃分PT葉,直到達到最大PT深度。PT葉是基本的編碼單元。為了方便起見,它仍然被稱為CU。CU不能進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構被稱為“多類型樹”。
2.1.5示例分割結構
此響應中使用的稱為多樹型(MTT)的樹結構是QTBT的廣義化。在QTBT中,如圖5所示,首先用四叉樹結構對編碼樹單元(CTU)進行分割。然後用二叉樹結構對四叉樹葉節點進行進一步分割。
MTT的基本結構由兩種類型的樹節點組成:區域樹(RT)和預測樹(PT),支持九種類型的劃分,如圖7所示。
圖7圖示了以下示例:(a)四叉樹分割,(b)垂直二叉樹分割,(c)水平二叉樹分割,(d)垂直三叉樹分割,(e)水平三叉樹分割,(f)水平向上非對稱二叉樹分割,(g)水平向下非對稱二叉樹分割,(h)垂直的左非對稱二叉樹分割,和(i)垂直的右非對稱二叉樹分割。
區域樹可以遞迴地將CTU劃分為方形塊,直至4x4尺寸的區域樹葉節點。在區域樹的每個節點上,可以從三種樹類型中的一種形成預測樹:二叉樹(BT)、三叉樹(TT)和/或非對稱二叉樹(ABT)。在PT劃分中,可能禁止在預測樹的分支中進行四叉樹分割。和JEM一樣,亮度樹和彩度樹在I條帶中被分開。RT和PT的信令方法如圖8所示。
2.2 HEVC/H.265中的幀間預測
每個幀間預測的PU具有一個或兩個參考圖片列表的運動參數。運動參數包括運動向量和參考圖片索引。對兩個參考圖片列表中的一個的使用也可以使用inter_pred_idc 發信令。運動向量可以相對於預測值顯式地編碼為增量,這種編碼模式稱為高級運動向量預測(AMVP)模式。
當CU採用跳躍模式編碼時,一個PU與CU相關聯,並且沒有顯著的殘差係數、沒有編碼的運動向量增量或參考圖片索引。指定了一種Merge模式,通過該模式,可以從相鄰的PU(包括空域和時域候選)中獲取當前PU的運動參數。Merge模式可以應用於任何幀間預測的PU,而不僅僅是跳躍模式。Merge模式的另一種選擇是運動參數的顯式傳輸,其中運動向量、每個參考圖片列表對應的參考圖片索引和參考圖片列表的使用都會在每個PU中顯式地發信令。
當信令指示要使用兩個參考圖片列表中的一個時,從一個樣點塊中生成PU。這被稱為“單向預測”。單向預測對P條帶和B條帶都可用。
當信令指示要使用兩個參考圖片列表時,從兩個樣點塊中生成PU。這被稱為“雙向預測”。雙向預測僅對B條帶可用。
下面文本提供了HEVC中規定的幀間預測模式的細節。描述將從Merge模式開始。
2.2.1 Merge模式
2.2.1.1Merge模式的候選的推導
當使用Merge模式預測PU時,從位元流分析指向Merge候選列表中條目的索引,並用於檢索運動信息。該列表的結構在HEVC標準中有規定,並且可以按照以下步驟順序進行概括:
步驟1:初始候選推導 步驟1.1:空域候選推導 步驟1.2:空域候選的冗餘檢查 步驟1.3:時域候選推導
步驟2:附加候選插入 步驟2.1:雙向預測候選的創建 步驟2.2:零運動候選的插入
在圖9中也示意性描述了這些步驟。對於空域Merge候選推導,在位於五個不同位置的候選中最多選擇四個Merge候選。對於時域Merge候選推導,在兩個候選中最多選擇一個Merge候選。由於在解碼器處假定每個PU的候選數為常量,因此當候選數未達到條帶標頭中發信令的最大Merge候選數(MaxNumMergeCand )時,生成附加的候選。由於候選數是恆定的,所以最佳Merge候選的索引使用截斷的一元二值化(TU)進行編碼。如果CU的大小等於8,則當前CU的所有PU都共享一個Merge候選列表,這與2N×2N預測單元的Merge候選列表相同。
下面詳細介紹與上述步驟相關的操作。
2.2.1.2空域候選推導
在空域Merge候選的推導中,在位於圖10所示位置的候選中最多選擇四個Merge候選。推導順序為A1 、B1 、B0 、A0 和B2 。只有當位置A1 、B1 、B0 、A0 的任何PU不可用(例如,因為它屬於另一個條帶或片)或是內部編碼時,才考慮位置B2 。在增加A1 位置的候選後,對其餘候選的增加進行冗餘檢查,其確保具有相同運動信息的候選被排除在列表之外,從而提高編碼效率。為了降低計算的複雜度,在所提到的冗餘檢查中並不考慮所有可能的候選對。相反,只有與圖11中的箭頭鏈接的對才會被考慮,並且只有當用於冗餘檢查的對應候選沒有相同的運動信息時,才將候選添加到列表中。複製運動信息的另一個來源是與2N×2N不同的分區相關的“第二PU”。例如,圖12分別描述了N×2N和2N×N情況下的第二PU。當當前的PU被劃分為N×2N時,對於列表構建不考慮A1 位置的候選。在一些實施例中,添加此候選可能導致兩個具有相同運動信息的預測單元,這對於在編碼單元中僅具有一個PU是冗餘的。同樣地,當當前PU被劃分為2N×N時,不考慮位置B1
2.2.1.3時域候選推導
在此步驟中,只有一個候選添加到列表中。特別地,在這個時域Merge候選的推導中,基於與給定參考圖片列表中當前圖片具有最小圖片順序計數POC差異的並置PU推導了縮放運動向量。用於推導並置PU的參考圖片列表在條帶標頭中顯式地發信令。圖13中的虛線示出了時域Merge候選的縮放運動向量的獲得,其使用POC距離tb和td從並置PU的運動向量進行縮放,其中tb定義為當前圖片的參考圖片和當前圖片之間的POC差異,並且td定義為並置圖片的參考圖片與並置圖片之間的POC差異。時域Merge候選的參考圖片索引設置為零。HEVC規範中描述了縮放處理的實際實現。對於B條帶,得到兩個運動向量(一個是對於參考圖片列表0,另一個是對於參考圖片列表1)並將其組合使其成為雙向預測Merge候選。時域Merge候選的運動向量縮放的說明。
在屬於參考幀的並置PU(Y)中,在候選C0和C1之間選擇時域候選的位置,如圖14所示。如果位置C0處的PU不可用、內部編碼或在當前CTU之外,則使用位置C1。否則,位置C0被用於時域Merge候選的推導。
2.2.1.4附加候選插入
除了空時Merge候選,還有兩種附加類型的Merge候選:組合雙向預測Merge候選和零Merge候選。組合雙向預測Merge候選是利用空時Merge候選生成的。組合雙向預測Merge候選僅用於B條帶。通過將初始候選的第一參考圖片列表運動參數與另一候選的第二參考圖片列表運動參數相結合,生成組合雙向預測候選。如果這兩個元組提供不同的運動假設,它們將形成新的雙向預測候選。圖15示出了原始列表中(在左側)的兩個候選被用於創建添加到最終列表(在右側)中的組合雙向預測Merge候選的情況,其具有MvL0和refIdxL0或MvL1和refIdxL1的兩個候選。有許多關於組合的規則需要考慮以生成這些附加Merge候選。
插入零運動候選以填充Merge候選列表中的其餘條目,從而達到MaxNumMergeCand的容量。這些候選具有零空域位移和從零開始並且每次將新的零運動候選添加到列表中時都會增加的參考圖片索引。這些候選使用的參考幀的數目對於單向預測和雙向預測分別是1幀和2幀。最後,對這些候選不執行冗餘檢查。
2.2.1.5並行處理的運動估計區域
為了加快編碼處理,可以並行執行運動估計,從而同時推導給定區域內所有預測單元的運動向量。從空域鄰域推導Merge候選可能會干擾並行處理,因為一個預測單元在完成相關運動估計之前無法從相鄰的PU推導運動參數。為了緩和編碼效率和處理延遲之間的平衡,HEVC定義了運動估計區域(MER)。可使用如下所述的語法元素“log2_parallel_merge_level_minus2”在圖片參數集中對MER的尺寸中發信令。當定義MER時,落入同一區域的Merge候選標記為不可用,並且因此在列表構建中不考慮。
7.3.2.3圖片參數設置原始字節序列有效載荷(RBSP)語法
7.3.2.3.1通用圖片參數集RBSP語法(表1) 表1
pic_paraMeter_set_rbsp( ) { 描述符
pps_pic_paraMeter_set_id ue(v)
pps_seq_paraMeter_set_id ue(v)
depeNdeNt_slice_segMeNts_eNabled_flag u(1)
 
   pps_scaliNg_list_data_preseNt_flag u(1)
    if( pps_scaliNg_list_data_preseNt_flag )  
       scaliNg_list_data( )  
   lists_ModificatioN_preseNt_flag u(1)
   log2_parallel_Merge_level_MiNus2 ue(v)
   slice_segMeNt_header_exteNsioN_preseNt_flag u(1)
pps_exteNsioN_preseNt_flag u(1)
 
    rbsp_trailiNg_bits( )  
}  
log2_parallel_Merge_level_MiNus2加2指定變量Log2ParMrgLevel的值,該變量用於第8.5.3.2.2條中規定的Merge模式亮度運動向量的推導過程,以及第8.5.3.2.3條中規定的空域Merge候選的推導過程。log2_parallel_Merge_level_MiNus2的值應在0到CtbLog2SizeY − 2的範圍內,包括0和CtbLog2SizeY − 2。
變量Log2ParMrgLevel推導如下: Log2ParMrgLevel = log2_parallel_Merge_level_MiNus2 + 2
注釋3–Log2ParMrgLevel的值表示Merge候選列表並行推導的內置功能。例如,當Log2ParMrgLevel等於6時,可以並行推導64x64塊中包含的所有預測單元(PU)和編碼單元(CU)的Merge候選列表。
2.2.2 AMVP模式中的運動向量預測
運動向量預測利用運動向量與相鄰的PU的空時相關性,其用於運動參數的顯式傳輸。首先通過檢查左上方的時域相鄰的PU位置的可用性、去掉多餘的候選位置並且加上零向量以使候選列表長度恆定來構建運動向量候選列表。然後,編碼器可以從候選列表中選擇最佳的預測值,並發送指示所選候選的對應索引。與Merge索引信令類似,最佳運動向量候選的索引使用截斷的一元進行編碼。在這種情況下要編碼的最大值是2(圖2至圖8)。在下面的章節中,將詳細介紹運動向量預測候選的推導過程。
2.2.2.1運動向量預測候選的推導
圖16概括了運動向量預測候選的推導過程。
在高級運動向量預測中,考慮了兩種類型的運動向量候選:空域運動向量候選和時域運動向量候選。對於空域運動向量候選的推導,基於位於圖11所示的五個不同位置的每個PU的運動向量最終推推導兩個運動向量候選。
對於時域運動向量候選的推導,從兩個候選中選擇一個運動向量候選,這兩個候選是基於兩個不同的並重置置推導的。在作出第一個空時候選列表後,移除列表中重複的運動向量候選。如果潛在候選的數量大於二,則從列表中移除相關聯的參考圖片列表中參考圖片索引大於1的運動向量候選。如果空時運動向量候選數小於二,則會在列表中添加附加的零運動向量候選。
2.2.2.2空域運動向量候選
在推導空域運動向量候選時,在五個潛在候選中最多考慮兩個候選,這五個候選來自圖11所描繪位置上的PU,這些位置與運動Merge的位置相同。當前PU左側的推導順序定義為A0 、A1 、以及縮放的A0 、縮放的A1 。當前PU上面的推導順序定義為B0 、B1 、B2 、縮放的B0 、縮放的B1 、縮放的B2 。因此,每側有四種情況可以用作運動向量候選,其中兩種情況不需要使用空域縮放,並且兩種情況使用空域縮放。四種不同的情況概括如下: --無空域縮放 (1)相同的參考圖片列表,並且相同的參考圖片索引(相同的POC) (2)不同的參考圖片列表,但是相同的參考圖片索引(相同的POC) --空域縮放 (3)相同的參考圖片列表,但是不同的參考圖片索引(不同的POC) (4)不同的參考圖片列表,並且不同的參考圖片索引(不同的POC)
首先檢查無空域縮放的情況,然後檢查空域縮放。當POC在相鄰PU的參考圖片與當前PU的參考圖片之間不同時,都會考慮空域縮放,而不考慮參考圖片列表。如果左側候選的所有PU都不可用或是內部編碼,則允許對上述運動向量進行縮放,以幫助左側和上方MV候選的平行推導。否則,不允許對上述運動向量進行空域縮放。
在空域縮放處理中,相鄰PU的運動向量以與時域縮放相似的方式縮放,如圖17所示。主要區別在於,給出了當前PU的參考圖片列表和索引作為輸入,實際縮放處理與時域縮放處理相同。
2.2.2.3時域運動向量候選
除了參考圖片索引的推導外,時域Merge候選的所有推導過程與空域運動向量候選的推導過程相同(圖2至圖6)。向解碼器發參考圖片索引的信令。
2.2.2.4 AMVP信息的信令
對於AMVP模式,可以在位元流對四個部分發信令,包括預測方向、參考索引、MVD和MV預測候選索引。
語法表(表2): 表2
predictioN_uNit( x0, y0, NPbW, NPbH ) { 描述符
    if( cu_skip_flag[ x0 ][ y0 ] ) {  
       if( MaxNuMMergeCaNd > 1 )  
          Merge_idx [ x0 ][ y0 ] ae(v)
    } else { /* MODE_INTER */  
      Merge_flag [ x0 ][ y0 ] ae(v)
       if( Merge_flag[ x0 ][ y0 ] ) {  
           if( MaxNuMMergeCaNd > 1 )  
              Merge_idx [ x0 ][ y0 ] ae(v)
       } else {  
           if( slice_type  = =  B )  
              iNter_pred_idc [ x0 ][ y0 ] ae(v)
           if( iNter_pred_idc[ x0 ][ y0 ]  !=  PRED_L1 ) {  
               if( NuM_ref_idx_l0_active_MiNus1 > 0 )  
                 ref_idx_l0 [ x0 ][ y0 ] ae(v)
               Mvd_codiNg( x0, y0, 0 )  
              Mvp_l0_flag [ x0 ][ y0 ] ae(v)
           }  
           if( iNter_pred_idc[ x0 ][ y0 ]  !=  PRED_L0 ) {  
               if( NuM_ref_idx_l1_active_MiNus1 > 0 )  
                 ref_idx_l1 [ x0 ][ y0 ] ae(v)
               if( Mvd_l1_zero_flag  &&  iNter_pred_idc[ x0 ][ y0 ]  = =  PRED_BI ) {  
                  MvdL1[ x0 ][ y0 ][ 0 ] = 0  
                  MvdL1[ x0 ][ y0 ][ 1 ] = 0  
               } else  
                  Mvd_codiNg( x0, y0, 1 )  
              Mvp_l1_flag [ x0 ][ y0 ] ae(v)
           }  
       }  
    }  
}  
7.3.8.9運動向量差語法(表3) 表3
Mvd_codiNg( x0, y0, refList ) { 描述符
   abs_Mvd_greater0_flag [ 0 ] ae(v)
   abs_Mvd_greater0_flag [ 1 ] ae(v)
    if( abs_Mvd_greater0_flag[ 0 ] )  
      abs_Mvd_greater1_flag [ 0 ] ae(v)
    if( abs_Mvd_greater0_flag[ 1 ] )  
      abs_Mvd_greater1_flag [ 1 ] ae(v)
    if( abs_Mvd_greater0_flag[ 0 ] ) {  
       if( abs_Mvd_greater1_flag[ 0 ] )  
          abs_Mvd_MiNus2 [ 0 ] ae(v)
      Mvd_sigN_flag [ 0 ] ae(v)
    }  
    if( abs_Mvd_greater0_flag[ 1 ] ) {  
       if( abs_Mvd_greater1_flag[ 1 ] )  
          abs_Mvd_MiNus2 [ 1 ] ae(v)
      Mvd_sigN_flag [ 1 ] ae(v)
    }  
}  
2.3聯合探索模型(JEM)中新的幀間預測方法
2.3.1基於子CU的運動向量預測
在具有QTBT的JEM中,每個CU對於每個預測方向最多可以具有一組運動參數。通過將大的CU分割成子CU並推導該大CU的所有子CU的運動信息,編碼器中考慮了兩種子CU級的運動向量預測方法。可選時域運動向量預測(ATMVP)方法允許每個CU從多個小於並置參考圖片中當前CU的塊中獲取多組運動信息。在空時運動向量預測(STMVP)方法中,通過利用時域運動向量預測值和空域鄰接運動向量遞迴地推導子CU的運動向量。
為了為子CU運動預測的保持更精確的運動場,當前禁用參考幀的運動壓縮。
2.3.1.1可選時域運動向量預測
在可選時域運動向量預測(ATMVP)方法中,運動向量時域運動向量預測(TMVP)是通過從小於當前CU的塊中提取多組運動信息(包括運動向量和參考索引)來修改的。如圖18所示,子CU為方形N×N塊(默認N設置為4)。
ATMVP分兩步預測CU內的子CU的運動向量。第一步是用所謂的時域向量識別參考圖中的對應塊。參考圖片稱為運動源圖片。第二步是將當前CU劃分成子CU,並從每個子CU對應的塊中獲取運動向量以及每個子CU的參考索引,如圖18所示。
在第一步中,參考圖片和對應的塊由當前CU的空域相鄰塊的運動信息確定。為了避免相鄰塊的重複掃描處理,使用當前CU的Merge候選列表中的第一個Merge候選。第一個可用的運動向量及其相關聯的參考索引被設置為時域向量和運動源圖片的索引。這樣,在ATMVP中,與TMVP相比,可以更準確地識別對應的塊,其中對應的塊(有時稱為並置塊)始終位於相對於當前CU的右下角或中心位置。在一個示例中,如果第一個Merge候選來自左相鄰塊(例如,圖19中的A1 ),則使用相關的MV和參考圖片來識別源塊和源圖片。
圖19示出了源塊和源圖片的識別的示例。
在第二步中,通過將時域向量添加到當前CU的坐標中,通過運動源圖片中的時域向量識別子CU的對應塊。對於每個子CU,使用其對應塊的運動信息(覆蓋中心樣點的最小運動網格)來推導子CU的運動信息。在識別出對應N×N塊的運動信息後,將其轉換為當前子CU的運動向量和參考索引,與HEVC的TMVP方法相同,其中應用運動縮放和其它處理。例如,解碼器檢查是否滿足低延遲條件(例如,當前圖片的所有參考圖片的POC都小於當前圖片的POC),並可能使用運動向量MVx(與參考圖片列表X對應的運動向量)來為每個子CU預測運動向量MVy(X等於0或1且Y等於1−X)。
2.3.1.2空時運動向量預測
在這種方法中,子CU的運動向量是按照光柵掃描順序遞迴推導的。圖20說明了該概念。我們來考慮一個8×8的 CU,它包含四個4×4的子CU A、B、C和D。當前幀中相鄰的4×4的塊標記為a、b、c和d。
子CU A的運動推導由識別其兩個空域鄰居開始。第一個鄰居是子CU A上方的N×N塊(塊c)。如果該塊c不可用或內部編碼,則檢查子CU A上方的其它N×N塊(從左到右,從塊c處開始)。第二個鄰居是子CU A左側的一個塊(塊b)。如果塊b不可用或是內部編碼,則檢查子CU A左側的其它塊(從上到下,從塊b處開始)。每個列表從相鄰塊獲得的運動信息被縮放到給定列表的第一個參考幀。接下來,按照HEVC中規定的與TMVP相同的程式,推導子塊A的時域運動向量預測(TMVP)。提取位置D處的並置塊的運動信息並進行對應的縮放。最後,在檢索和縮放運動信息後,對每個參考列表分別平均所有可用的運動向量(最多3個)。將平均運動向量指定為當前子CU的運動向量。
圖20示出了具有四個子塊(A至D)和相鄰塊(a至d)的一個CU的示例。
2.3.1.3子CU運動預測模式信令通知
子CU模式作為附加的Merge候選模式啟用,並且不需要附加的語法元素來對該模式發信令。將另外兩個Merge候選添加到每個CU的Merge候選列表中,以表示ATMVP模式和STMVP模式。如果序列參數集指示啟用了ATMVP和STMVP,則最多使用七個Merge候選。附加Merge候選的編碼邏輯與HM中的Merge候選的編碼邏輯相同,這意味著對於P條帶或B條帶中的每個CU,需要對兩個附加Merge候選進行兩次額外的RD檢查。
在JEM中,Merge索引的所有bin文件都由CABAC進行上下文編碼。然而在HEVC中,只有第一個bin文件是上下文編碼的,並且其餘的bin文件是上下文旁路編碼的。
2.3.2自適應運動向量差解析度
在HEVC中,當在條帶標頭中use_integer_mv_flag等於0時,運動向量差(MVD)(在PU的運動向量和預測運動向量之間)以四分之一亮度樣點為單位發信令。在JEM中,引入了局部自適應運動向量解析度(LAMVR)。在JEM中,MVD可以用四分之一亮度樣點、整數亮度樣點或四亮度樣點的單位進行編碼。MVD解析度控制在編碼單元(CU)級別,並且MVD解析度標誌有條件地為每個至少有一個非零MVD分量的CU發信令。
對於具有至少一個非零MVD分量的CU,第一個標誌將發信令以指示CU中是否使用四分之一亮度樣點MV精度。當第一個標誌(等於1)指示不使用四分之一亮度樣點MV精度時,另一個標誌發信令以指示是使用整數亮度樣點MV精度還是使用四亮度樣點MV精度。
當CU的第一個MVD解析度標誌為零或沒有為CU編碼(意味著CU中的所有MVD都為零)時,CU使用四分之一亮度樣點MV解析度。當一個CU使用整數亮度樣點MV精度或四亮度樣點MV精度時,該CU的AMVP候選列表中的MVP將取整到對應的精度。
在編碼器中,CU級別的RD檢查用於確定哪個MVD解析度將用於CU。也就是說,對每個MVD解析度執行三次CU級別的RD檢查。為了加快編碼器速度,在JEM中應用以下編碼方案。
在對具有正常四分之一亮度採樣MVD解析度的CU進行RD檢查期間,儲存當前CU(整數亮度採樣精度)的運動信息。在對具有整數亮度樣點和4 亮度樣點MVD解析度的同一個CU進行RD檢查時,將儲存的運動信息(取整後)用作進一步小範圍運動向量細化的起始點,從而使耗時的運動估計處理不會重複三次。
有條件地調用具有4亮度樣點MVD解析度的CU的RD檢查。對於CU,當整數亮度樣點MVD解析度的RD檢查成本遠大於四分之一亮度樣點MVD解析度的RD檢查成本時,將跳過對CU的4亮度樣點MVD解析度的RD檢查。
2.3.3模式匹配運動向量推導
模式匹配運動向量推導(PMMVD)模式是基於幀速率上轉換(FRUC)技術的特殊Merge模式。在這種模式下,塊的運動信息不會被發信令,而是在解碼器側推導。
對於CU,當其Merge標誌為真時,對FRUC標誌發信令。當FRUC標誌為假時,對Merge索引發信令並且使用常規Merge模式。當FRUC標誌為真時,對另一個FRUC模式標誌發信令來指示將使用哪種模式(雙邊匹配或模板匹配)來推導該塊的運動信息。
在編碼器側,基於對正常Merge候選所做的RD成本選擇決定是否對CU使用FRUC Merge模式。即通過使用RD成本選擇來檢查CU的兩個匹配模式(雙邊匹配和模板匹配)。導致最低成本的模式進一步與其它CU模式相比較。如果FRUC匹配模式是最有效的模式,那麼對於CU,FRUC標誌設置為真,並且使用相關的匹配模式。
FRUC Merge模式中的運動推導過程有兩個步驟:首先執行CU級運動搜索,然後執行子CU級運動優化。在CU級,基於雙邊匹配或模板匹配,推導整個CU的初始運動向量。首先,生成一個MV候選列表,並且選擇導致最低匹配成本的候選作為進一步優化CU級的起點。然後在起始點附近執行基於雙邊匹配或模板匹配的局部搜索,並且將最小匹配成本的MV結果作為整個CU的MV值。接著,以推導的CU運動向量為起點,進一步在子CU級細化運動信息。
例如,對於W×H CU運動信息推導執行以下推導過程。在第一階段,推推導了整個W×H CU的MV。在第二階段,該CU進一步被分成M×M子CU。M的值按照等式(1)計算,D是預先定義的劃分深度,在JEM中默認設置為3。然後推導每個子CU的MV值。
Figure 02_image001
等式(1)
如圖21所示,通過沿當前CU的運動軌跡在兩個不同的參考圖片中找到兩個塊之間最接近的匹配,使用雙邊匹配來推導當前CU的運動信息。在連續運動軌跡假設下,指向兩個參考塊的運動向量MV0和MV1與當前圖片和兩個參考圖片之間的時間距離(例如,TD0和TD1成正比。作為特殊情況,當當前圖片暫時位於兩個參考圖片之間並且當前圖片到兩個參考圖片的時間距離相同時,雙邊匹配成為基於鏡像的雙向MV。
如圖22所示,通過在當前圖片中的模板(當前CU的頂部和/或左側相鄰塊)和參考圖片中的塊(與模板尺寸相同)之間找到最接近的匹配,使用模板匹配來推導當前CU的運動信息。除了上述的FRUC Merge模式外,模板匹配也應用於AMVP模式。在JEM中,正如在HEVC中一樣,AMVP有兩個候選。利用模板匹配方法,推導了新的候選。如果由模板匹配新推導的候選與第一個現有AMVP候選不同,則將其插入AMVP候選列表的最開始處,並且然後將列表尺寸設置為2(即移除第二個現有AMVP候選)。當應用於AMVP模式時,僅應用CU級搜索。
2.3.3.1 CU級MV候選集
CU級的MV候選集包括: (i)原始AMVP候選,如果當前CU處於AMVP模式, (ii)所有Merge候選, (iii)在第2.3.3.2節中介紹的插值MV場中的幾個MV。 (iv)頂部和左側相鄰運動向量
當使用雙邊匹配時,Merge候選的每個有效MV用作輸入,以生成假設為雙邊匹配的MV對。例如,Merge候選在參考列表A處的一個有效MV為(MVa,refa)。然後在另一個參考列表B中找到其配對的雙邊MV的參考圖片refb,以便refa和refb在時間上位於當前圖片的不同側。如果參考列表B中的參考refb不可用,則將參考refb確定為與參考refa不同的參考,並且其到當前圖片的時間距離是列表B中的最小距離。確定參考refb後,通過基於當前圖片和參考refa、參考refb之間的時間距離縮放MVa推導MVb。
還將來自插值MV場中的四個MV添加到CU級候選列表中。更具體地,添加當前CU的位置(0,0),(W/2,0),(0,H/2)和(W/2,H/2)處插值的MV。
當在AMVP模式下應用FRUC時,原始的AMVP候選也添加到CU級的MV候選集。
在CU級,可以將AMVP CU的最多15個 MV和Merge CU的最多13個 MV添加到候選列表中。
2.3.3.2子CU級MV候選集
在子CU級設置的MV候選包括: (i)從CU級搜索確定的MV, (ii)頂部、左側、左上方和右上方相鄰的MV, (iii)來自參考圖片的並置MV的縮放版本, (iv)最多4個ATMVP候選, (v)最多4個STMVP候選。
來自參考圖片的縮放MV推導如下。兩個列表中的所有參考圖片都被遍歷。參考圖片中子CU的並重置置處的MV被縮放為起始CU級MV的參考。
ATMVP和STMVP候選被限制為前四個。
在子CU級,最多17個MV被添加到候選列表中。
2.3.3.3插值MV場的生成
在對幀進行編碼之前,基於單向ME生成整個圖片的內插運動場。然後,該運動場可以隨後用作CU級或子CU級的MV候選。
首先,兩個參考列表中每個參考圖片的運動場在4×4的塊級別上被遍歷。對於每個4×4塊,如果與塊相關聯的運動通過當前圖片中的4×4塊(如圖23所示),並且該塊沒有被分配任何內插運動,則根據時間距離TD0和TD1將參考塊的運動縮放到當前圖片(與HEVC中TMVP的MV縮放相同),並且在當前幀中將該縮放運動指定給該塊。如果沒有縮放的MV指定給4×4塊,則在插值運動場中將塊的運動標記為不可用。
2.3.3.4插值和匹配成本
當運動向量指向分數採樣位置時,需要運動補償插值。為了降低複雜度,對雙邊匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。
匹配成本的計算在不同的步驟處有點不同。當從CU級的候選集中選擇候選時,匹配成本是雙邊匹配或模板匹配的絕對和差(SAD)。在確定起始MV後,雙邊匹配在子CU級搜索的匹配成本C計算如下:
Figure 02_image003
等式(2)
這裡,w是權重係數,被經驗地設置為4。MV和
Figure 02_image005
分別指示當前MV和起始MV。仍然將SAD用作模式匹配在子CU級搜索的匹配成本。
在FRUC模式下,MV通過僅使用亮度樣點推導。推導的運動將用於亮度和彩度的MC幀間預測。確定MV後,對亮度使用8抽頭(8-taps)插值濾波器並且對彩度使用4抽頭(4-taps)插值濾波器執行最終MC。
2.3.3.5 MV細化
MV細化是基於模式的MV搜索,以雙邊成本或模板匹配成本為標準。在JEM中,支持兩種搜索模式—無限制中心偏置菱形搜索(UCBDS)和自適應交叉搜索,分別在CU級別和子CU級別進行MV細化。對於CU級和子CU級的MV細化,都在四分之一亮度樣點精度下直接搜索MV,接著是八分之一亮度樣點MV細化。將CU和子CU步驟的MV細化的搜索範圍設置為8 個亮度樣點。
2.3.3.6模板匹配FRUC Merge模式下預測方向的選擇
在雙邊Merge模式下,總是應用雙向預測,因為CU的運動信息是在兩個不同的參考圖片中基於當前CU運動軌跡上兩個塊之間的最近匹配得出的。模板匹配Merge模式沒有這種限定。在模板匹配Merge模式下,編碼器可以從列表0的單向預測、列表1的單向預測或者雙向預測中為CU做出選擇。該選擇基於如下的模板匹配成本: 如果costBi>=factor*min(cost0,cost1) 則使用雙向預測; 否則,如果cost0>=cost1 則使用列表0中的單向預測; 否則, 使用列表1中的單向預測; 其中cost0是列表0模板匹配的SAD,cost1是列表2模板匹配的SAD,並且costBi是雙向預測模板匹配的SAD。factor的值等於1.25,意味著選擇處理朝雙向預測偏移。
幀間預測方向選擇可以僅應用於CU級模板匹配處理。
2.3.4解碼器側運動向量細化
在雙向預測操作中,對於一個塊區域的預測,將兩個分別由列表0的運動向量(MV)和列表1的MV形成的預測塊組合形成單個預測信號。在解碼器側運動向量細化(DMVR)方法中,通過雙邊模板匹配處理進一步細化雙向預測的兩個運動向量。解碼器中應用的雙邊模板匹配用於在雙邊模板和參考圖片中的重建樣點之間執行基於失真的搜索,以便在不傳輸附加運動信息的情況下獲得細化的MV。
在DMVR中,雙邊模板被生成為兩個預測塊的加權組合(即平均),其中兩個預測塊分別來自列表0的初始MV0和列表1的MV1。模板匹配操作包括計算生成的模板與參考圖片中的樣點區域(在初始預測塊周圍)之間的成本度量。對於兩個參考圖片中的每一個,產生最小模板成本的MV被視為該列表的更新MV,以替換原始MV。在JEM中,為每個列表搜索九個MV候選。九個MV候選包括原始MV和8個周邊MV,這八個周邊MV在水平或垂直方向上或兩者與原始MV具有一個亮度樣點的偏移。最後,使用圖24所示的兩個新的MV(即MV0'和MV1')生成最終的雙向預測結果。絕對差之和(SAD)被用作成本度量。
在不傳輸附加語法元素的情況下,將DMVR應用於雙向預測的Merge模式,其中一個MV來自過去的參考圖片,並且另一個MV來自未來的參考圖片。在JEM中,當為CU啟用LIC、仿射運動、FRUC或子CU Merge候選時,不應用DMVR。
2.3.5 具有雙邊匹配細化的Merge/跳躍模式
首先構建Merge候選列表,通過將空域相鄰塊和時域相鄰塊的運動向量和參考索引插入候選列表,並進行冗餘檢查,直到可用候選數目達到最大候選數目19。Merge/跳過模式的Merge候選列表是通過根據預先定義的插入順序插入空域候選(圖11)、時域候選、仿射候選、高級時域MVP(ATMVP)候選、空時MVP(STMVP)候選和HEVC中使用的附加候選(組合候選和零候選)來構建的: -塊1-4的空域候選。 -塊1-4的外推仿射候選。 - ATMVP。 - STMVP。 -虛擬仿射候選。 -空域候選(塊5)(僅當可用候選數小於6時使用)。 -外推仿射候選(塊5)。 -時域候選(如HEVC中推導的)。 -後接外推仿射候選的非相鄰的空域候選(塊6至塊49,如圖25所示)。 -組合候選。 -零候選。
值得注意的是,除了STMVP和仿射之外,IC標誌也繼承自Merge候選。此外,對於前四個空域候選,在單向預測候選之前插入雙向預測候選。
在一些實現中,可以存取未與當前塊連接的塊。如果使用非內部模式對非相鄰塊進行編碼,則相關的運動信息可以作為附加Merge候選添加。
3. 本文公開的實施例所解決的問題的示例
當前的HEVC設計可以將當前塊與其相鄰塊(與當前塊相鄰)的相關性用於更好地編碼運動信息。然而,相鄰塊可能對應於具有不同運動軌跡的不同對象。在這種情況下,從相鄰塊進行預測不是有效的。
從非相鄰塊的運動信息預測可以帶來額外的編碼效益,代價是將所有運動信息(通常在4x4級別)儲存到快取中,這顯著地增加硬體實現的複雜性。
4. 一些示例
為了克服現有實現的缺點,可以在各種實施例中實現基於LUT的運動向量預測技術,以提供具有更高編碼效率的視頻編碼,基於LUT的運動向量預測技術使用儲存至少一個運動候選以預測塊的運動信息的一個或多個查找表。每個LUT可以包括一個或多個運動候選,每個運動候選與對應的運動信息關聯。運動候選的運動信息可以包括預測方向、參考索引/圖片、運動向量、LIC標誌、仿射標誌、運動向量推導(MVD)精度和/或MVD值的部分或全部。運動信息還可以包括塊位置信息,以指示運動信息來自何處。
在下面對各種實現描述的示例中說明了基於所公開的技術的基於LUT的運動向量預測,其可以增強現有和未來的視頻編碼標準。由於LUT允許基於歷史數據(例如,已處理的塊)執行編碼/解碼處理,因此基於LUT的運動向量預測也可以稱為基於歷史的運動向量預測(HMVP)方法。在基於LUT的運動向量預測方法中,在編碼/解碼處理中保持一個或多個表,其運動信息導出自先前的編碼塊。在塊的編碼/解碼期間,可以將LUT中的相關運動信息添加到運動候選列表中(例如,AMVP/Merge列表),並且可以在編碼/解碼該塊後更新LUT。然後,更新的LUT被用於編碼後續塊。也就是說,基於塊的編碼/解碼順序更新LUT中的運動候選。下面的示例應該視為解釋一般概念的示例。這些示例不應該被狹隘地理解。此外,這些示例可以以任何方式組合。
一些實施例可以使用儲存了至少一個運動候選的一個或多個查找表來預測塊的運動信息。實施例可以使用運動候選來指示儲存在查找表中的一組運動信息。對於傳統的AMVP或Merge模式,實施例可以使用AMVP或Merge候選,用於儲存運動信息。
下面的示例說明了一般概念。
查找表和候選列表的示例實施例的列表
示例1:每個查找表可以包含一個或多個運動候選,其中每個候選與其運動信息關聯。
a. 這裡,候選運動的運動信息可能包括預測方向、參考索引/圖片、運動向量、LIC標誌、仿射標誌、MVD精度、MVD值的部分或全部。
b. 運動信息還可以包括塊位置信息和/或塊形狀,以指示運動信息來自何處。
c. 可為每個查找表進一步分配計數器。 i. 在對圖片/條帶/LCU(CTU)行/片進行編碼/解碼的開始處,可以將計數器初始化為零。 ii. 在一個示例中,可以在編碼/解碼CTU/CTB/CU/CB/PU/特定區域尺寸(例如,8x8或16x16)後更新計數器。 iii. 在一個示例中,每次將一個候選添加到查找表中,計數器增加1。 iv. 在一個示例中,計數器不應大於表的尺寸(允許的運動候選的數目)。 v. 或者,計數器可用於指示已嘗試將多少運動候選添加到查找表中(它們中的一些在查找表中,但稍後可能從表中移除)。在這種情況下,計數器可能大於表的尺寸。
d. 表的尺寸(允許的運動候選數目)和/或表的數目可以是固定的或自適應的。所有表的表尺寸可能相同,或者不同表的表尺寸可能不同。 i. 或者,不同的查找表可能使用不同的尺寸(例如,1或2)。 ii. 在一個示例中,可以預先定義表的尺寸和/或表的數目。 iii.在一個示例中,表的尺寸和/或表的數目可以在視頻參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)、編碼單元(CU)或預測單元(PU)、覆蓋多個CTU/CTB/CU/PU的區域中進行信號通知。 iv. 表的尺寸和/或表的數目可能進一步取決於條帶類型、圖片的時域層索引、一個條帶和最近的幀內條帶之間的圖片順序計數(POC)距離。
e. 假設有N個表用於編碼線程,則可能需要N*P個表來編碼條帶,其中P表示LCU行數或片數。 i. 或者,編碼條帶只需要P個表,其中P表示LCU行數,其中每個LCU行只使用一個查找表,即使當片被禁用時N可能大於1。
表的選擇的示例實施例
示例2:對於編碼塊,可以按順序檢查來自一個查找表中的部分或全部運動候選。在編碼塊期間檢查一個運動候選時,可以將其添加到運動候選列表(例如,AMVP、Merge候選列表)。
a. 或者,可以按順序檢查來自多個查找表的運動候選。
b. 查找表索引可在CTU、CTB、CU或PU、或覆蓋多個CTU/CTB/CU/PU的區域中信號通知。
示例3:查找表的選擇可能取決於塊的位置。
a. 可能取決於覆蓋該塊的CTU地址。這裡,我們以兩個查找表(雙重查找表,DLUT)為例來說明這個理念: i. 如果塊位於CTU行中的前M個 CTU之一,則可以使用第一個查找表對塊進行編碼,而對於位於CTU行中其餘CTU中的塊,可以使用第二個查找表。 ii. 如果塊位於CTU行中的前M個CTU之一,則可以首先檢查第一個查找表的運動候選對塊進行編碼,如果第一個表中沒有足夠的候選,則可以進一步使用第二個查找表。而對於位於CTU行中其餘CTU中的塊,可以使用第二個查找表。 iii. 或者,對於位於CTU行中其餘CTU中的塊,可以首先檢查第二個查找表的運動候選對塊進行編碼,如果第二個表中沒有足夠的候選,則可以進一步使用第一個查找表。
b. 可能取決於塊的位置和與一個或多個查找表中一個運動候選相關聯的位置之間的距離。 i. 在一個示例中,如果一個運動候選與要編碼的塊之間較小的距離相關聯,則其可以比另一個運動候選更早地進行檢查。
查找表的使用的示例實施例
示例4:要檢查的查找表中的運動候選總數可以預先定義。
a. 可能進一步取決於編碼信息、塊尺寸、塊形狀等。例如,對於AMVP模式,可能只檢查m個運動候選,而對於Merge模式,可能檢查n個運動候選(例如,m=2,n=44)。
b. 在一個示例中,要檢查的運動候選總數可以在視頻參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)、編碼單元(CU)或預測單元(PU)、覆蓋多個CTU/CTB/CU/PU的區域中信號通知。
示例5:查找表中包含的運動候選可以直接由塊繼承。
a. 它們可用於Merge模式編碼,即可以在Merge候選列表推導處理中檢查運動候選。
b. 它們可用於仿射Merge模式編碼。 i. 如果查找表中的運動候選的仿射標誌是1,則可以將其添加為仿射Merge候選。
c. 可啟用查找表中的運動候選的檢查,當: i. 插入TMVP候選後,Merge候選列表未滿; ii. 為空域Merge候選推導檢查某個空域相鄰塊後,Merge候選列表未滿; iii. 所有空域Merge候選後,Merge候選列表未滿; iv. 組合雙向預測Merge候選後,Merge候選列表未滿; v. 當已經從其他編碼方法(例如,HEVC設計或JEM設計的Merge推導處理)放入Merge候選列表的空域或時域(例如,包括相鄰空域和非相鄰空域、TMVP、STMVP、ATMVP等)Merge候選小於最大允許的Merge候選減去給定閾值時。 1. 在一個示例中,閾值被設置為1或0。 2. 或者,可以在SPS/PPS/序列、圖片、條帶標頭/片中信令通知或預先定義閾值。 3. 或者,可以從塊到塊自適應地改變閾值。例如,它可以取決於編碼塊信息,如塊尺寸/塊形狀/條帶類型,和/或取決於可用空域或時域Merge候選的數目。 4. 在另一示例中,當已經放入Merge候選列表中的某種Merge候選的數目小於最大允許的Merge候選減去給定閾值時。“某種Merge候選”可以是HEVC中的空域候選或非相鄰Merge候選。 vi. 在將運動候選添加到Merge候選列表之前,可以應用修剪。 1. 在一個示例中,可以將Merge候選列表中來自其他編碼方法的運動候選修剪到可用空域或時域(例如,包括相鄰的空域和非相鄰空域、TMVP、STMVP、ATMVP等)Merge候選的全部或部分。 2. 可以不將運動候選修剪到基於子塊的運動候選,例如ATMVP、STMVP。 3. 在一個示例中,可以將當前運動候選修剪到Merge候選列表中的可用運動候選(在當前運動候選之前插入的)的所有或部分。 4. 與運動候選相關的修剪操作的次數(即,運動候選需要與Merge列表中的其他候選比較多少次)可取決於可用空域或時域Merge候選的數目。例如,當檢查新運動候選時,如果在Merge列表中有M個候選可用,則可以僅將新運動候選與前K個(K >= M)個候選進行比較。如果修剪函數返回否(false)(例如,與前K個候選中的任何一個都不相同),則認為新運動候選與所有M個候選不同,並且可以將其添加到Merge候選列表。 5. 在一個示例中,僅將新附加的運動候選與Merge候選列表中的前N個候選進行比較。例如,N = 3、4或5。可以從編碼器向解碼器信令通知N。 6. 在一個示例中,僅將要檢查的新運動候選與Merge候選列表中的最後N個候選進行比較。例如,N = 3、4或5。可以從編碼器向解碼器信令通知N。
示例6:查找表中包含的運動候選可用作編碼塊的運動信息的預測值。
a. 它們可用於AMVP模式編碼,即可在AMVP候選列表推導處理中檢查運動候選。
b.可啟用查找表中的運動候選的檢查,當: i. 插入TMVP候選後,AMVP候選列表未滿; ii. 在插入TMVP候選之前,從空域鄰居中選擇並修剪後AMVP候選列表未滿; iii. 當沒有來自上方相鄰塊的不帶縮放的AMVP候選時和/或當沒有來自左側相鄰塊的不帶縮放的AMVP候選時。 iv. 在將運動候選添加到AMVP候選列表中之前,可以應用修剪。 v. 如示例5項中提及的類似規則可應用於AMVP模式。
c. 檢查與當前參考圖片具有相同參考圖片的運動候選。 i. 可選地,此外,還檢查與當前參考圖片具有不同參考圖片的運動候選(帶縮放的MV)。 ii. 或者,首先檢查與當前參考圖片具有相同參考圖片的所有運動候選,然後檢查與當前參考圖片具有不同參考圖片的運動候選。 iii. 或者,與Merge中相同的方式來檢查運動候選。
示例7:查找表中運動候選的檢查順序定義如下(假設允許檢查K(K>=1)個運動候選):
a. 查找表中的最後K個運動候選,例如,按LUT的條目索引的降序順序。
b. 前K%L個候選,其中L是K>=L時的查找表尺寸,例如,按LUT的條目索引的降序順序。
c.當K>=L時,基於順序的查找表中所有候選(L個候選)。在一個示例中,按LUT的條目索引的降序順序檢查表中的前K%L個候選,並且然後按條目索引的降序順序檢查最後(L-K%L)個候選。
d. 或者,此外,基於運動候選索引的降序順序。
e. 或者,根據候選信息(例如與運動候選相關的位置和當前塊的距離)選擇K個運動候選。 i. 在一個示例中,選擇最近的K個運動候選。 ii. 在一個示例中,當計算距離時候選信息還考慮塊形狀。
f. 從查找表中選擇多少運動候選以及如何選擇運動候選可以取決於編碼信息,如塊尺寸/塊形狀。 i. 在一個示例中,對於較小的塊尺寸,可以選擇其他的K個運動候選(不是從最後一個開始的),而不是選擇最後的K個運動候選。
g. 在一個示例中,查找表中的要檢查的(即,可以添加到Merge/AMVP候選列表中的)運動候選的最大數目(又稱為HMVP候選的最大數目)可以取決於查找表中的可用運動候選的數目(表示為NavaiMCinLUT )(又稱為HMVP候選的最大數目)、和/或LUT中要添加到候選列表的最大允許的運動候選(表示為NUMmaxMC )(又稱為要添加到候選列表的HMVP候選的最大數目)(其可以是預先定義的或信令通知的)、和/或從查找表檢查候選之前的候選列表中的可用候選的數目(表示為NavaiC )。 i. 在一個示例中,要檢查的查找表中的運動候選的最大數目被設置為(NavaiMCinLUT ,NUMmaxMC ,NavaiC )的最小值。 ii. 或者,要檢查的查找表中的運動候選的最大數目被設置為(NavaiMCinLUT ,NUMmaxMC - NavaiC )的最小值。 iii. 在一個示例中,NavaiC 表示從空域或時域(相鄰的和/或不相鄰的)臨近塊中導出的插入候選的數目。或者,此外,子塊候選(如AMTVP、STMVP)的數目不計算在NavaiC 中。 iv. NUMmaxMC 可以取決於編碼模式,例如,對於Merge模式和AMVP模式,NUMmaxMC 可以被設置不同的值。在一個示例中,對於Merge模式,NUMmaxMC 可以被設置為4、6、8、10等。對於AMVP模式,NUMmaxMC 可以被設置為1、2/4等。 v. 或者,NUMmaxMC 可以取決於其它編碼信息,如塊尺寸、塊形狀、條帶類型等。
h. 不同查找表的檢查順序在下一小節查找表的使用中定義。
i. 一旦Merge/AMVP候選列表達到最大允許的候選數目,檢查處理將終止。
j. 一旦Merge/AMVP候選列表達到最大允許的候選數減去閾值(Th),則檢查處理將終止。在一個示例中,Th可以預先定義為正整數值,例如1、2或3。或者,Th可以從塊到塊自適應地改變。或者,可以在SPS/PPS/條帶標頭等中信令通知Th。可選地,Th還可取決於塊形狀/塊尺寸/編碼模式等。可選地,Th可取決於在從LUT添加運動候選之前有多少可用候選。
k. 或者,一旦增加的候選運動數目達到最大允許的運動候選數目,檢查處理將終止。最大允許的運動候選數可以信令通知或預先定義。或者,最大允許的運動候選數還可以取決於塊形狀/塊尺寸/編碼模式等。
l. 在SPS、PPS、條帶標頭、片標頭中可以信號通知指示允許表的尺寸和允許檢查的運動候選的數目(即K=L)的一個語法元素。
示例8:可以在SPS、PPS、條帶標頭、片標頭、CTU、CTB、CU或PU、覆蓋多個CTU/CTB/CU/PU的區域中信號通知對塊的運動信息編碼啟用/禁用查找表的使用。
示例9:是否從查找表中應用預測可能進一步取決於編碼信息。當推斷不應用於塊時,跳過指示預測的附加信令。或者,當推斷不應用於塊時,不需要存取查找表中的運動候選,並且省略了對相關運動候選的檢查。
a. 是否從查找表應用預測可能取決於塊尺寸/塊形狀。在一個示例中,對於較小的塊(如4x4、8x4或4x8塊),不允許從查找表執行預測。
b. 是否從查找表應用預測可能取決於塊是用AMVP編碼的還是用Merge模式編碼的。在一個示例中,對於AMVP模式,不允許從查找表執行預測。
c. 是否從查找表應用預測可能取決於塊是用仿射運動還是其他運動(如平移運動)編碼的。在一個示例中,對於仿射模式,不允許從查找表執行預測。
示例10:先前編碼的幀/條帶/片中的查找表的運動候選可用於預測不同幀/條帶/片中塊的運動信息。
a. 在一個示例中,只能將與當前塊的參考圖片相關聯的查找表用於編碼當前塊。
b. 在一個示例中,只能將與當前塊具有相同條帶類型和/或相同量化參數的圖片相關聯的查找表用於編碼當前塊。
查找表的更新的示例
例11:在使用運動信息對塊進行編碼之後(即,幀內編碼模式、幀間編碼模式),可以更新一個或多個查找表。
a. 在一個示例中,是否更新查找表可以重用用於選擇查找表的規則,例如,當可以選擇查找表來對當前塊進行編碼時,在對塊進行編碼/解碼之後,可以進一步更新所選擇的查找表。
b.可以基於編碼信息、和/或塊/LCU的位置來選擇要更新的查找表。
c.如果用直接信令通知的運動信息(例如,AMVP模式)對塊進行編碼,則可以將塊的運動信息添加到查找表中。 i. 或者,如果用直接從未經任何細化的空域相鄰塊(例如,未經細化的空域Merge候選)繼承的運動信息對塊進行編碼,則不應將塊的運動信息添加到查找表中。 ii. 或者,如果用直接從經細化的空域相鄰塊(例如,DMVR、FRUC)繼承的運動信息對塊進行編碼,則不應將塊的運動信息添加到任何查找表中。 iii. 或者,如果用直接從儲存在查找表中的運動候選繼承的的運動信息對塊進行編碼,則不應將塊的運動信息添加到任何查找表中。
d. 選擇代表塊內位置的M(M>=1),並使用與該代表相關聯的運動信息來更新查找表。 i. 在一個示例中,代表位置被定義為塊內的四個角位置中的一個(例如,圖26中的C0-C3)。 ii. 在一個示例中,代表位置被定義為塊內的中心位置(例如,圖26中的Ca–Cd)。 iii. 當不允許對塊進行子塊預測時,M設為1。 iv.當允許對塊進行子塊預測時,M可以被設置為1或子塊的總數或在[1,子塊的數目]之間的任何其他值,不包括1和子塊的數目。 v. 或者,當允許對塊進行子塊預測時,M可以設置為1,並且代表子塊的選擇基於 1. 使用的運動信息的頻率, 2. 其是否為雙向預測塊 3. 基於參考圖片索引/參考圖片 4. 與其他運動向量相比的運動向量差(例如,選擇最大MV差) 5. 其他編碼信息。
e. 當選擇M(M>=1)組代表位置來更新查找表時,在將它們作為附加運動候選添加到查找表之前,可以檢查其它條件。 i. 修剪可應用於查找表中現有運動候選的新的運動信息集。 ii. 在一個示例中,新的運動信息集不應與查找表中的現有運動候選的任何或部分相同。 iii. 或者,對於來自新的運動信息集和一個現有運動候選的相同參考圖片,MV差應不小於一個/多個閾值。例如,MV差的水平和/或垂直分量應大於1像素距離。 iv. 或者,當K>L以允許重新激活舊的運動候選時,僅對新的運動信息集的最後K個候選或前K%L個現有運動候選進行修剪。 v. 或者,不應用修剪。
f. 如果使用M個運動信息集來更新查找表,則對應的計數器應增加M。
g. 假設在對當前塊進行編碼之前要更新的查找表的計數器用K表示,在對塊進行編碼之後,對於一個選定的運動信息集(使用上述方法),將其添加為索引等於K%L的附加運動候選(其中L是查找表尺寸)。 i. 或者,將其添加為索引等於min(K+1,L-1)的附加運動候選。或者,另外,如果K>=L,則從查找表中移除第一運動候選(索引等於0),並且將後面的K個候選索引減小1。 ii. 對於上述兩種方法(將新的運動候選添加到等於K%L的條目索引或將其添加到等於min(K+1,L-1)的索引),它們試圖保留來自先前編碼的塊的最新的運動信息集,而不管是否存在相同/相似的運動候選。 iii. 或者,當將新的運動信息集作為運動候選添加到LUT時,首先應用冗餘檢查。在這種情況下,LUT將保留來自先前編碼的塊的最新的運動信息集,然而,可以從LUT中移除冗餘的候選。這種方法稱為基於冗餘移除的LUT更新方法。 1. 如果LUT中存在冗餘運動候選,則與LUT相關聯的計數器可以不增加或減少。 2. 冗余檢查可以定義為Merge候選列表構建處理中的修剪處理,例如,檢查參考圖片/參考圖片索引是否相同,以及運動向量差是否在一個範圍內或相同。 3. 如果在LUT中發現冗餘運動候選,則將冗餘運動候選從其當前位置移動到LUT的最後一個位置。 a.類似地,如果在LUT中發現冗餘運動候選,則從LUT中移除該冗餘運動候選。此外,在冗餘運動候選之後插入LUT的所有運動候選向前移動以重新填充冗餘運動候選的移除條目。移位之後,新的候選運動被添加到LUT中。 b. 在這種情況下,計數器保持不變。 c. 一旦在LUT中識別出冗餘運動候選,則終止冗餘檢查處理。 4. 可以識別多個冗餘運動候選。在這種情況下,從LUT中移除他們所有。此外,所有剩餘的候選都可以按順序向前移動。 a. 在這種情況下,計數器減少(冗餘運動候選數減1)。 b. 在識別出maxR個冗餘運動候選(maxR是正整數變量)之後,終止冗餘檢查處理。 5. 冗餘檢查處理可以從第一個運動候選開始到最後一個運動候選(即,按照添加到LUT的順序,按照運動信息來自的塊的解碼處理的順序)。 6. 或者,當LUT中存在冗余運動候選時,可以從冗餘運動候選中導出虛擬運動候選並使用虛擬運動候選來替代冗餘運動候選,而不是從LUT中移除一個或多個冗餘運動候選。 a. 可以通過向一個或多個運動向量的水平和/或垂直分量添加偏移量從冗餘運動候選中導出虛擬運動候選;或者如果指向同一參考圖片,則可以從兩個運動向量的平均值中導出虛擬運動候選。或者,可以從以查找表中的運動向量作為輸入的任何函數中導出虛擬運動候選。示例性函數是:將兩個或多個運動向量相加到一起;平均兩個或多個運動向量。運動向量在被輸入到函數之前可以被縮放。 b. 虛擬運動候選可以添加到與冗餘運動候選相同的位置。 c. 虛擬運動候選可以添加到所有其他運動候選之前(例如,從最小的條目索引開始,如0)。 d. 在一個示例中,其僅在某些條件下應用,例如當當前LUT未滿時。 7. 基於冗餘移除的LUT更新方法可以在某些條件下被調用,例如 a. 當前塊使用Merge模式編碼, b. 當前塊使用AMVP模式編碼,但MV差的至少一個分量非零; c. 當前塊使用或未使用基於子塊的運動預測/運動補償方法進行編碼(例如,未使用仿射模式編碼)。
h. 在對一個幀內限制塊進行編碼之後,可以清空查找表。 i. 如果將運動信息的條目添加到查找表中,則還可以通過從運動信息導出將更多的運動信息條目添加到查找表中。在這種情況下,與查找表相關聯的計數器可以增加超過1。 i. 在一個示例中,將運動信息的條目的MV縮放並放入表中; ii. 在一個示例中,將運動信息的條目的MV增加(dx,dy)並放入表中; iii. 在一個示例中,計算兩個或多個運動信息的條目的MV的平均值並放入表中。
示例12:如果一個塊位於圖片/條帶/片邊界,則可以始終不允許更新查找表。
示例13:可以禁用上方的LCU行的運動信息來對當前LCU行進行編碼。
a. 在這種情況下,在新的條帶/片/LCU行的開始處,可用的候選運動的數目可以重置為0。
示例14:在編碼具有新的時域層索引的條帶/片開始時,可用的運動候選的數目可以重置為0。
示例15:可以用具有相同時域層索引的一個條帶/片/LCU行連續更新查找表。
a. 或者,僅在對每S個(S>=1)) CTU/CTB/CU/CB進行編碼/解碼之後,或者在對某個區域(例如,尺寸等於8x8或16x16)進行編碼/解碼之後,才可以更新查找表。
b. 或者,僅在對特定模式的每S個(S>=1)塊(例如,CU/CB)進行編碼/解碼之後(例如,S個幀間編碼塊),才可以更新查找表。或者,僅在對未使用基於子塊的運動預測/運動補償方法編碼(例如,未使用仿射和/或ATMVP模式編碼)的每S個(S>=1)幀間編碼塊(例如,CU/CB)進行編碼/解碼之後,才可以更新查找表。
c. 或者,僅當編碼/解碼塊的左上坐標滿足某些條件時,才可以更新查找表。例如,僅當(x&M==0)&&(y&M==0)時才更新查找表,其中(x,y)是編碼/解碼塊的左上坐標。M是整數,如2、4、8、16、32或64。
d. 或者,一旦一個查找表達到最大允許的計數器,其可以停止更新。
e. 在一個示例中,計數器可以預先定義。或者,其可以在視頻參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、片標頭、編碼樹單元(CTU)、編碼樹塊(CTB)、編碼單元(CU)或預測單元(PU)、覆蓋多個CTU/CTB/CU/PU的區域中信令通知。
附加的示例實施例
提出了一種基於歷史的MVP(MVP)方法,其中HMVP候選被定義為先前編碼塊的運動信息。在編碼/解碼處理期間維護具有多個HMVP候選的表。當遇到新的條帶時,表將被清空。當存在幀間編碼塊時,相關聯的運動信息被添加到表的最後一個條目中作為新的HMVP候選。整體編碼流程如圖29所示。
在一個示例中,表的尺寸被設置為L(例如,L=16或6,或44),這表示可以向表中添加多達L個HMVP候選。
在一個實施例中(對應於示例11.g.i),如果來自先前編碼塊的HMVP候選多於L,則應用先進先出(FIFO)規則,使得表始終包含最新的先前編碼的L個運動候選。圖30描述了一個示例,其中應用FIFO規則在所提出的方法中使用的表中來移除HMVP候選並添加新的候選。
在另一個實施例中(對應於實施例11.g.iii),每當添加新的運動候選時(例如,當前塊是幀間編碼的並且是非仿射模式),首先應用冗餘檢查處理來識別LUT中是否存在相同或相似的運動候選。
一些示例描述如下:
圖31示出了在添加新的運動候選之前LUT已滿的示例。
圖32示出了在添加新的運動候選之前LUT未滿的示例。
圖31和32一起示出了基於冗餘移除的LUT更新方法的示例(移除一個冗餘運動候選)的示例。
圖33和34示出了基於冗餘移除的LUT更新方法的兩種情況的示例性實現(移除多個冗餘運動候選,圖中是2個候選)的示例。
圖33示出了在添加新的運動候選之前LUT已滿的示例。
圖34示出了在添加新的運動候選之前LUT未滿的示例。
HMVP候選可以用於Merge候選列表構建處理。表中從最後一個條目到第一個條目(或最後K0個HMVP,例如K0等於16或6)的所有HMVP候選都插入到TMVP候選之後。對HMVP候選應用修剪。一旦可用Merge候選的總數達到信令通知的最大允許的Merge候選,則終止Merge候選列表構建處理。或者,一旦添加的運動候選的總數達到給定值,則終止從LUT取出運動候選。
類似地,HMVP候選也可以在AMVP候選列表構建處理中使用。將表中最後K1個 HMVP候選的運動向量插入TMVP候選之後。只使用與AMVP目標參考圖片具有相同的參考圖片的HMVP候選來構建AMVP候選列表。對HMVP候選應用修剪。在一個示例中,K1設置為4。
圖28是視頻處理裝置2800的方塊圖。裝置2800可用於實現本文所述的一種或多種方法。裝置2800可實施在智能手機、平板電腦、電腦、物聯網(IoT)接收器等中。裝置2800可以包括一個或多個處理器2802、一個或多個記憶體2804和視頻處理硬體2806。處理器2802可以被配置為實現本文中描述的一個或多個方法。記憶體2804可用於儲存用於實現本文所述的方法和技術的數據和代碼。視頻處理硬體2806可用於在硬體電路中實現本文中描述的一些技術。
圖26是視頻解碼方法2600的示例的流程圖。方法2600包括:維護(2602)一個或多個表(例如,查找表),每個表包括與對應的運動信息相關聯的一個或多個運動候選;基於標準,決定(2604)一個或多個表中要檢查的最大運動候選數;在候選列表構建處理期間在一個或多個表中檢查(2606)直到最大運動候選數;以及基於在候選列表構建處理期間構建的候選列表,處理(2608)包括第一視頻塊的視頻數據的位元流表示。
在一些實施例中,使用包括第一視頻塊的當前圖片中的參考樣本對第一視頻塊進行幀間編碼。
在一些實施例中,使用與當前圖片不同的圖片中的參考樣本對第一視頻塊進行幀間編碼。
在一些實施例中,候選列表包括Merge候選列表。
在一些實施例中,候選列表包括高級運動向量預測(AMVP)候選列表。
在一些實施例中,基於表中的可用運動候選數來確定標準。
在一些實施例中,基於要添加到候選列表的最大允許的運動候選數來確定標準。
在一些實施例中,基於第一視頻塊的編碼信息來確定要添加到候選列表的最大允許的運動候選數。
在一些實施例中,基於第一視頻塊的編碼模式來確定要添加到候選列表的最大允許的運動候選數。
在一些實施例中,編碼模式包括Merge模式或高級運動向量預測(AMVP)模式中的至少一個。
在一些實施例中,編碼模式包括幀間模式或非幀間模式。
在一些實施例中,編碼模式包括幀內塊複製(IBC)模式或非IBC模式。
在一些實施例中,要添加到表中的最大允許的運動候選數設置為N,其中N是非負整數值。
在一些實施例中,在編碼模式是Merge模式的情況下,N是4、5、6、8或10中的一個。
在一些實施例中,在編碼模式是AMVP模式的情況下,N是1、2或4中的一個。
在一些實施例中,編碼信息包括:第一視頻塊的尺寸、第一視頻塊的形狀、或包含第一視頻塊的條帶的條帶類型中的至少一個。
在一些實施例中,對於具有不同編碼信息的兩個視頻塊,將要添加到表中的最大允許的運動候選數設置為N和M,其中N和M是非負整數值,並且N和M不同。
在一些實施例中,在位元流表示中預先定義或信令通知要添加到候選列表的最大允許的運動候選數。
在一些實施例中,基於檢查表中的運動候選之前候選列表中的可用候選數來確定標準。
在一些實施例中,基於從空域或時域相鄰塊導出的插入候選數來確定要檢查的表中的最大候選數。
在一些實施例中,要檢查的表中的最大運動候選數設置為以下中的最小值:表中的可用運動候選數;要添加到候選列表的最大允許的運動候選數;以及檢查表中的運動候選之前候選列表中的可用候選數。
在一些實施例中,要檢查的表中的最大運動候選數設置為以下中的最小值:表中的可用運動候選數;以及要添加到候選列表的最大允許的運動候選數減去檢查表中的運動候選之前候選列表中的可用候選數。
在一些實施例中,要檢查的表中的最大運動候選數設置為以下中的最小值:表中的可用運動候選數;要添加到候選列表的最大允許的運動候選數;以及從空域或時域相鄰塊導出的插入候選數。
在一些實施例中,要檢查的表中的最大運動候選數設置為以下中的最小值:表中的可用運動候選數;以及要添加到候選列表的最大允許的運動候選數減去從空域或時域相鄰塊導出的插入候選數。
在一些實施例中,子塊候選數不計入從空域或時域相鄰塊導出的插入候選數。
在一些實施例中,子塊候選數包括:可選時域運動向量預測(AMTVP)候選或空時運動向量預測(STMVP)候選中的至少一個。
在一些實施例中,運動信息包括預測方向、參考圖片索引、運動向量值,強度補償標誌、仿射標誌、運動向量差精度和運動向量差值中的至少一個。
在一些實施例中,在視頻參數集、序列參數集、圖片參數集、條帶標頭或片標頭的一個或多個中包含的位元欄中信令通知表的索引。
在一些實施例中,在對應於編碼樹單元、或編碼樹塊單元、或編碼單元、或預測單元的一個或多個的位元欄中信令通知表的索引。
在一些實施例中,對於表,在處理期間檢查從運動候選集中選擇的多個運動候選。
在一些實施例中,繼承至少一個表中的運動候選集中的至少一些條目。
在一些實施例中,處理包括:選擇性地使用運動候選集中的至少一些來執行Merge列表推導處理。
在一些實施例中,在候選列表構建處理期間檢查時域運動向量預測器之後Merge候選列表未滿的情況下,處理選擇性地使用來自一個或多個表的運動候選。
在一些實施例中,在候選列表構建處理期間檢查空域Merge候選之後Merge候選列表未滿的情況下,處理選擇性地使用來自一個或多個表的運動候選。
在一些實施例中,處理包括:選擇性地使用運動候選集中的至少一些來執行高級運動向量預測(AMVP)推導處理。
在一些實施例中,在AMVP推導處理期間檢查時域運動向量預測器之後AMVP候選列表未滿的情況下,AMVP處理使用來自一個或多個表的運動候選。
在一些實施例中,在AMVP推導處理期間檢查所有空域AMVP候選之後AMVP候選列表未滿的情況下,AMVP處理使用來自一個或多個表的運動候選者。
在一些實施例中,處理包括:使用包含具有與視頻塊的當前參考圖片相同的參考圖片的運動候選的表。
圖27是視頻解碼方法2700的示例的流程圖。方法2700包括:維護(2702)一個或多個表(例如,查找表),每個表包括具有從先前編碼的塊導出的對應的運動信息的一個或多個基於歷史的運動向量預測(HMVP)候選;在構建候選列表的候選列表構建處理中檢查(2704)表直到最大HMVP候選數;以及基於構建的候選列表處理(2706)包含第一視頻塊的視頻數據的位元流表示。
在一些實施例中,一個或多個HMVP候選與運動信息相關聯,所述運動信息包括預測方向、參考圖片索引、運動向量值、強度補償標誌、仿射標誌,運動向量差精度、或運動向量差值中的至少一個。
在一些實施例中,使用包括第一視頻塊的當前圖片中的或與當前圖片不同的圖片中的參考樣本對第一視頻塊進行幀間編碼。
在一些實施例中,候選列表包括Merge候選列表。
在一些實施例中,候選列表包括高級運動向量預測(AMVP)候選列表。
在一些實施例中,要檢查的最大HMVP候選數取決於第一視頻塊的編碼信息。
在一些實施例中,方法還包括:在檢查HMVP候選之前檢查從空域相鄰塊或時域相鄰塊導出的候選。
在一些實施例中,要檢查的最大HMVP候選數取決於:一個或多個表中的HMVP候選數、要檢查的允許HMVP候選數、或檢查HMVP候選之前候選列表中的可用候選數種的至少一個。
在一些實施例中,使用定義被檢查的候選的終止標準的規則來執行檢查。
在一些實施例中,規則包括在達到Merge或AMVP候選列表的最大允許數目減去閾值時終止。
在一些實施例中,在位元流表示中預先信令通知最大允許數目。
在一些實施例中,在已經放入Merge候選列表的空域或時域Merge候選的數目小於最大允許的Merge候選數減去給定閾值的情況下,檢查HMVP候選。
在一些實施例中,閾值為1,或者其中位元流中信令通知閾值,或者在位元流標頭中預先定義閾值。
在一些實施例中,在逐塊的基礎上適應性地改變閾值。
在一些實施例中,當與閾值比較時,僅使用特定種類的Merge候選。
在一些實施例中,方法還包括:基於更新的表在視頻的後續視頻塊和視頻的位元流表示之間執行轉換。
在一些實施例中,方法還包括:在執行轉換之後基於第一視頻塊的運動信息更新一個或多個表。
包括上述(i)至(v)項的示例C4(g)項提供了方法2600和2700的附加示例和變型。
在一些實施例中,視頻解碼裝置,其包括實現本文所述的方法的處理器。
在一些實施例中,編碼裝置,其包括實現本文所述的候選列表構建處理的處理器。
在一些實施例中,可儲存代碼的電腦可讀程式介質,其包括指令,當指令由處理器執行時,使處理器實現本文所述的方法。
圖35是示出其中可以實施本文公開的各種技術的示例視頻處理系統1900的方塊圖。各種實現可能包括系統1900的部分或全部組件。系統1900可包括用於接收視頻內容的輸入1902。視頻內容可以原始或未壓縮格式接收,例如8位元或10位元多分量像素值,或者可以壓縮或編碼格式接收。輸入1902可以表示網路介面、外圍匯流排介面或儲存介面。網路介面的示例包括諸如以太網、無源光網路(PON)等的有線介面,以及諸如Wi-Fi或蜂窩介面的無線介面。
系統1900可包括可實現本文中所描述的各種編碼或編碼方法的編碼組件1904。編碼組件1904可以降低從輸入1902到編碼組件1904的輸出的視頻的平均位元率,以產生視頻的編碼表示。因此,編碼技術有時被稱為視頻壓縮或視頻轉碼技術。編碼組件1904的輸出可以被儲存,也可以通過連接的通信進行傳輸,如組件1906所示。輸入1902處接收的視頻的儲存或通信位元流(或編碼)表示可由組件1908用於生成像素值或發送到顯示介面1910的可顯示視頻。從位元流表示生成用戶可觀看視頻的處理有時稱為視頻解壓縮。此外,儘管某些視頻處理操作被稱為“編碼”操作或工具,但應當理解的是,編碼工具或操作被用於編碼器處,並且逆向編碼結果的相應的解碼工具或操作將由解碼器執行。
外圍匯流排介面或顯示介面的示例可以包括通用串行匯流排(USB)或高清晰度多媒體介面(HDMI)或顯示端口等。儲存介面的示例包括SATA(串行高級技術附件)、PCI、IDE介面等。本文中所述的技術可實施在各種電子設備中,例如移動電話、筆記本電腦、智能手機或其他能夠執行數位數據處理和/或視頻顯示的設備。
從上述來看,應當理解的是,為了便於說明,本發明公開的技術的具體實施例已經在本文中進行了描述,但是可以在不偏離本發明範圍的情況下進行各種修改。因此,除了的之外,本發明公開的技術不限於申請專利範圍的限定。
本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現,包括本文中所公開的結構及其結構等效體,或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品,即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組,以供數據處理裝置執行或控制數據處理裝置的操作。電腦可讀介質可以是機器可讀儲存設備、機器可讀儲存基板、儲存設備、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“數據處理裝置”包括用於處理數據的所有裝置、設備和機器,包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外,該裝置還可以包括為電腦程式創建執行環境的代碼,例如,構成處理器韌體的代碼、協議疊、數據庫管理系統、操作系統或其中一個或多個的組合。傳播信號是人為產生的信號,例如機器產生的電信號、光學信號或電磁信號,生成這些信號以對信息進行編碼,以便傳輸到適當的接收裝置。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的編程語言(包括編譯語言或解釋語言)編寫,並且可以以任何形式部署,包括作為獨立程式或作為模組、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以儲存在保存其他程式或數據的文件的部分中(例如,儲存在標記語言文文件中的一個或多個腳本)、專用於該程式的單個文件中、或多個協調文件(例如,儲存一個或多個模組、子程式或部分代碼的文件)中。電腦程式可以部署在一台或多台電腦上來執行,這些電腦位於一個站點上或分佈在多個站點上,並通過通信網路互連。
本文中描述的處理和邏輯流可以通過一個或多個可編程處理器執行,該處理器執行一個或多個電腦程式,通過在輸入數據上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行,並且裝置也可以實現為特殊用途的邏輯電路,例如,FPGA(現場可成是閘陣列)或ASIC(專用積體電路)。
例如,適於執行電腦程式的處理器包括通用和專用微處理器,以及任何類型數位電腦的任何一個或多個。通常,處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和數據。電腦的基本元件是執行指令的處理器和儲存指令和數據的一個或多個儲存設備。通常,電腦還將包括一個或多個用於儲存數據的大容量儲存設備,例如,磁盤、磁光盤或光盤,或通過操作耦合到一個或多個大容量儲存設備來從其接收數據或將數據傳輸到一個或多個大容量儲存設備,或兩者兼有。然而,電腦不一定具有這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括所有形式的非揮發性記憶體、介質和記憶體設備,包括例如半導體記憶體設備,例如EPROM、EEPROM和快閃記憶體;磁盤,例如內部硬盤或可移動磁盤;磁光磁盤;以及CDROM和DVD-ROM光盤。處理器和記憶體可以由專用邏輯電路來補充,或合併到專用邏輯電路中。
雖然本專利文件包含許多細節,但不應將其解釋為對任何發明或申請專利範圍的限制,而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的一些特徵也可以在單個實施例中組合實施。相反,在單個實施例的上下文中描述的各種功能也可以在多個實施例中單獨實施,或在任何合適的子組合中實施。此外,儘管上述特徵可以描述為在一些組合中起作用,甚至最初要求是這樣,但在一些情況下,可以從組合中移除申請專利範圍組合中的一個或多個特徵,並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣,儘管圖紙中以特定順序描述了操作,但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作,或執行所有說明的操作。此外,本專利文件所述實施例中各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例,其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
1900:系統 1902:輸入 1904:編碼組件 1906、1908:組件 1910:顯示介面 2600、2700:方法 2602、2604、2606、2608、2702、2704、2706:步驟 2800:裝置 2802:處理器 2804:記憶體 2806:視頻處理硬體 a、b、c、d:塊 A、B、C、D:子CU A0、A1、B0、B1、B2、C0、C1:位置 CL-1、HMVP0、HMVP1、HMVP2、HMVP3、HMVP4、HMVPm、HMVPL-2、HMVPL-1:運動候選 MV0、MV0'、MV1、MV1':運動向量 Ref0、Ref1:參考圖片 tb、td:POC距離 TD0、TD1:時間距離 (a):四叉樹劃分/四叉樹分割/N×2N的第二個PU (b):垂直二叉樹劃分/垂直二叉樹分割/2N×N的第二個PU (c):水平二叉樹劃分/水平二叉樹分割 (d):垂直中心側三叉樹劃分/垂直三叉樹分割 (e):水平中心側三叉樹劃分/水平三叉樹分割 (f):水平向上非對稱二叉樹分割 (g):水平向下非對稱二叉樹分割 (h):垂直的左非對稱二叉樹分割 (i):垂直的右非對稱二叉樹分割
圖1是示出視頻編碼器實現的示例的方塊圖。 圖2圖示了H.264視頻編碼標準中的巨集塊分割。 圖3圖示了將編碼塊(CB)劃分成預測塊(PB)的示例。 圖4圖示了將編碼樹塊(CTB)細分成CB和轉換塊(TB)的示例實現。實線表示CB邊界,且虛線表示TB邊界,包括帶分割的示例CTB和對應的四叉樹。 圖5示出了用於分割視頻數據的四叉樹二叉樹(QTBT)結構的示例。 圖6示出了視頻塊分割的示例。 圖7示出了四叉樹分割的示例。 圖8示出了樹型信令的示例。 圖9示出了Merge候選列表構建的推導過程的示例。 圖10示出了空域Merge候選的示例位置。 圖11示出了考慮到空域Merge候選的冗餘檢查的候選對的示例。 圖12示出了Nx2N和2NxN分割的第二個PU的位置的示例。 圖13圖示了時域Merge候選的運動向量縮放。 圖14示出了時域Merge候選的候選位置以及它們的並置圖片。 圖15示出了組合雙向預測Merge候選的示例。 圖16示出了運動向量預測候選的推導過程的示例。 圖17示出了空域運動向量候選的運動向量縮放的示例。 圖18示出了編碼單元(CU)的運動預測的示例可選時域運動向量預測(ATMVP)。 圖19圖示地描繪了源塊和源圖片的識別的示例。 圖20示出了具有四個子塊和相鄰塊的一個CU的示例。 圖21圖示了雙邊匹配的示例。 圖22圖示了模板匹配的示例。 圖23描繪了幀速率上轉換(FRUC)中的單邊運動估計(ME)的示例。 圖24示出了基於雙邊模板匹配的解碼器側運動向量細化(DMVR)的示例。 圖25示出了用於推導空域Merge候選的空域相鄰塊的示例。 圖26是一種視頻處理方法的流程圖。 圖27是另一種視頻處理方法的流程圖。 圖28是用於實現本文中所述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺示例的方塊圖。 圖29示出了使用提出的HMVP方法解碼的流程圖的示例。 圖30示出了使用提出的HMVP方法更新表的示例。 圖31和圖32示出了基於冗餘移除的LUT更新方法(移除一個冗餘運動候選)的示例。 圖33和圖34示出了基於冗餘移除的LUT更新方法(移除多個冗餘運動候選)的示例。 圖35是可以實現所公開的技術的示例視頻處理系統的方塊圖。
2700:方法
2702、2704、2706:步驟

Claims (40)

  1. 一種方法,包括: 維護一個或多個表,每個表包括與對應的運動信息相關聯的一個或多個運動候選; 基於標準,決定所述一個或多個表中要檢查的最大運動候選數; 在候選列表構建處理期間在所述一個或多個表中檢查直到所述最大運動候選數;以及 基於在所述候選列表構建處理期間構建的候選列表,處理包括第一視頻塊的視頻數據的位元流表示。
  2. 一種視頻處理方法,包括: 維護一個或多個表,每個表包括具有從一個或多個先前的塊導出的對應的運動信息的一個或多個基於歷史的運動向量預測候選; 在構建候選列表的候選列表構建處理中在所述一個或多個表中檢查直到最大基於歷史的運動向量預測候選數;以及 基於構建的所述候選列表處理包括第一視頻塊的視頻數據的位元流表示。
  3. 如申請專利範圍第1或2項所述的方法,其中使用包括所述第一視頻塊的所述當前圖片中的參考樣本對所述第一視頻塊進行幀間編碼。
  4. 如申請專利範圍第1或2項所述的方法,其中使用與所述當前圖片不同的圖片中的參考樣本對所述第一視頻塊進行幀間編碼。
  5. 如申請專利範圍第1或2項所述的方法,其中所述候選列表包括Merge候選列表。
  6. 如申請專利範圍第1或2項所述的方法,其中所述候選列表包括高級運動向量預測候選列表。
  7. 如申請專利範圍第1至5項中任一項所述的方法,其中基於所述表中的可用運動候選數來確定所述標準。
  8. 如申請專利範圍第1至5項中任一項所述的方法,其中基於要添加到所述候選列表的最大允許的運動候選數來確定所述標準。
  9. 如申請專利範圍第8項所述的方法,其中基於所述第一視頻塊的編碼信息來確定要添加到所述候選列表的所述最大允許的運動候選數。
  10. 如申請專利範圍第9項所述的方法,其中基於所述第一視頻塊的編碼模式來確定要添加到所述候選列表的所述最大允許的運動候選數。
  11. 如申請專利範圍第10項所述的方法,其中所述編碼模式包括Merge模式或高級運動向量預測模式中的至少一個。
  12. 如申請專利範圍第10項所述的方法,其中所述編碼模式包括幀間模式或非幀間模式。
  13. 如申請專利範圍第10項所述的方法,其中所述編碼模式包括幀內塊複製模式或非幀內塊複製模式。
  14. 如申請專利範圍第10項所述的方法,其中要添加到表中的所述最大允許的運動候選數設置為N,其中N是非負整數值。
  15. 如申請專利範圍第14項所述的方法,其中在所述編碼模式是所述Merge模式的情況下,N是4、5、6、8或10中的一個。
  16. 如申請專利範圍第14項所述的方法,其中在所述編碼模式是所述高級運動向量預測模式的情況下,N是1、2或4中的一個。
  17. 如申請專利範圍第9項所述的方法,所述編碼信息包括:所述第一視頻塊的尺寸、所述第一視頻塊的形狀、或包含所述第一視頻塊的條帶的條帶類型中的至少一個。
  18. 如申請專利範圍第9項所述的方法,其中對於具有不同編碼信息的兩個視頻塊,將要添加到所述候選列表中的所述最大允許的運動候選數設置為N和M,其中N和M是非負整數值,並且N和M不同。
  19. 如申請專利範圍第8項所述的方法,其中在所述位元流表示中預先定義或信令通知要添加到所述候選列表中的所述最大允許的運動候選數。
  20. 如申請專利範圍第1至5項中任一項所述的方法,其中基於檢查所述表中的運動候選之前候選列表中的可用候選數來確定所述標準。
  21. 如申請專利範圍第20項所述的方法,其中基於從空域或時域臨近塊導出的插入候選數來確定要檢查的表中的所述最大候選數。
  22. 如申請專利範圍第1至21項中任一項所述的方法,其中要檢查的表中的所述最大運動候選數設置為以下中的最小值:所述表中的所述可用運動候選數;要添加到所述候選列表的所述最大允許的運動候選數;以及檢查所述表中的運動候選之前所述候選列表中的所述可用候選數。
  23. 如申請專利範圍第1至21項中任一項所述的方法,其中要檢查的表中的所述最大運動候選數設置為以下中的最小值:所述表中的所述可用運動候選數;以及要添加到所述運動候選列表的所述最大允許的運動候選數減去檢查所述表中的運動候選之前所述候選列表中的所述可用候選數。
  24. 如申請專利範圍第1至21項中任一項所述的方法,其中要檢查的表中的所述最大運動候選數設置為以下中的最小值:所述表中的所述可用運動候選數;要添加到所述候選列表的所述最大允許的運動候選數;以及從空域或時域臨近塊導出的所述插入候選數。
  25. 如申請專利範圍第1至21項中任一項所述的方法,其中要檢查的表中的所述最大運動候選數設置為以下中的最小值:所述表中的所述可用運動候選數;以及要添加到所述運動候選列表的所述最大允許的運動候選數減去從空域或時域臨近塊導出的所述插入候選數。
  26. 如申請專利範圍第21至25項中任一項所述的方法,其中子塊候選數不計入從空域或時域臨近塊導出的所述插入候選數。
  27. 如申請專利範圍第26項所述的方法,其中所述子塊候選數包括:可選時域運動向量預測候選或空時運動向量預測候選中的至少一個。
  28. 如申請專利範圍第1至27項中任一項所述的方法,其中所述運動信息包括預測方向、參考圖片索引、運動向量值,強度補償標誌、仿射標誌、運動向量差精度和運動向量差值中的至少一個。
  29. 如申請專利範圍第28項所述的方法,其中在視頻參數集、序列參數集、圖片參數集、條帶標頭或片標頭的一個或多個中包含的位元欄中信令通知所述表的索引。
  30. 如申請專利範圍第28項所述的方法,其中在對應於編碼樹單元、或編碼樹塊單元、或編碼單元、或預測單元的一個或多個的位元欄中信令通知所述表的索引。
  31. 如申請專利範圍第1或2項所述的方法,其中對於表,在所述處理期間檢查從所述運動候選集中選擇的多個運動候選。
  32. 如申請專利範圍第1至31項中任一項所述的方法,其中繼承至少一個表中的運動候選集中的至少一些條目。
  33. 如申請專利範圍第1至32項中任一項所述的方法,其中所述處理包括:選擇性地使用運動候選集中的至少一些來執行Merge列表推導處理。
  34. 如申請專利範圍第33項所述的方法,其中在所述候選列表構建處理期間檢查時域或空域Merge候選之後Merge候選列表未滿的情況下,所述處理選擇性地使用來自一個或多個表的運動候選。
  35. 如申請專利範圍第1至33項中任一項所述的方法,其中所述處理包括:選擇性地使用所述運動候選集中的至少一些來執行高級運動向量預測推導處理。
  36. 如申請專利範圍第34項所述的方法,在所述高級運動向量預測推導處理期間檢查時域或空域運動向量預測器之後高級運動向量預測候選列表未滿的情況下,所述高級運動向量預測處理使用來自一個或多個表的運動候選。
  37. 如申請專利範圍第1或2項所述的方法,其中所述處理包括:使用包含具有與所述視頻塊的當前參考圖片相同的參考圖片的運動候選的表。
  38. 一種視頻解碼裝置,包括處理器,其被配置為實現申請專利範圍第1至37項的一項或多項中所述的方法。
  39. 一種視頻編碼裝置,包括處理器,其被配置為實現申請專利範圍第1至37項的一項或多項中所述的方法。
  40. 一種其上儲存了代碼的電腦可讀程式介質,所述代碼包括指令,當處理器執行所述指令時,使所述處理器實現申請專利範圍第1至37項的一項或多項中所述的方法。
TW108133113A 2018-09-12 2019-09-12 要檢查多少個hmvp候選 TW202025760A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/105193 2018-09-12
CN2018105193 2018-09-12

Publications (1)

Publication Number Publication Date
TW202025760A true TW202025760A (zh) 2020-07-01

Family

ID=68242777

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108133112A TWI820211B (zh) 2018-09-12 2019-09-12 取決於總數減去k的開始檢查hmvp候選的條件
TW108133113A TW202025760A (zh) 2018-09-12 2019-09-12 要檢查多少個hmvp候選

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108133112A TWI820211B (zh) 2018-09-12 2019-09-12 取決於總數減去k的開始檢查hmvp候選的條件

Country Status (5)

Country Link
US (2) US11159787B2 (zh)
CN (2) CN111064961B (zh)
GB (1) GB2590310B (zh)
TW (2) TWI820211B (zh)
WO (2) WO2020053798A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
EP4325860A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
WO2020106189A1 (en) * 2018-11-20 2020-05-28 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for merge mode
RU2770863C1 (ru) * 2018-12-28 2022-04-22 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования кадров, способ кодирования кадров, устройство декодирования кадров и способ декодирования кадров
KR102443965B1 (ko) * 2019-01-01 2022-09-19 엘지전자 주식회사 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Lut更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
US10869050B2 (en) * 2019-02-09 2020-12-15 Tencent America LLC Method and apparatus for video coding
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020244569A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
WO2020244571A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
KR20220016840A (ko) 2019-06-06 2022-02-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 움직임 후보 리스트 구성
KR20220030995A (ko) 2019-07-14 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 변환 블록 크기 제한
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN112004099B (zh) * 2020-07-30 2021-08-03 浙江大华技术股份有限公司 一种帧内块复制预测方法、装置及计算机可读存储介质
CN117581539A (zh) * 2021-04-10 2024-02-20 抖音视界有限公司 Gpm运动细化
WO2023179783A1 (en) * 2022-03-25 2023-09-28 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023200255A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 Amvp(advanced motion vector prediction)-merge 모드에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Family Cites Families (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100545892C (zh) 2003-12-18 2009-09-30 汤姆森特许公司 生成视频图像场中的查找表的方法和装置
US20070025444A1 (en) 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
CN100539693C (zh) 2005-08-30 2009-09-09 深圳清华大学研究院 快速运动估计方法
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8228990B2 (en) 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
WO2009094349A1 (en) 2008-01-22 2009-07-30 Dolby Laboratories Licensing Corporation Adaptive motion information cost estimation with dynamic look-up table updating
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
LT3809703T (lt) 2009-06-18 2023-12-11 Kabushiki Kaisha Toshiba Vaizdo kodavimas
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
CN105007491B (zh) 2009-10-01 2018-02-06 Sk电信有限公司 视频解码装置
KR101600818B1 (ko) 2009-11-06 2016-03-09 삼성디스플레이 주식회사 3차원 광학 모듈 및 이를 포함하는 디스플레이 장치
WO2011095259A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Selecting predicted motion vector candidates
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
ES2394872T3 (es) 2010-07-15 2013-02-06 Siemens Schweiz Ag Detección de obstrucciones e interrupciones de un detector de humo aspirado (ASD)
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012074344A2 (ko) 2010-12-03 2012-06-07 엘지전자 주식회사 움직임 정보 리스트 인덱싱 방법 및 이러한 방법을 사용하는 장치
CN106851304B (zh) 2010-12-14 2019-08-30 M&K控股株式会社 用于解码运动画面的设备
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
GB2492778A (en) 2011-07-11 2013-01-16 Canon Kk Motion compensated image coding by combining motion information predictors
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
CN107181954B (zh) 2011-02-09 2020-11-06 Lg 电子株式会社 一种通过编解码装置进行的帧间预测方法和数字信息存储介质
EP2490448A1 (de) 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
US9066110B2 (en) 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
GB2501835B (en) 2011-03-09 2014-09-03 Canon Kk Video encoding and decoding
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
DK2717573T3 (en) 2011-05-24 2018-06-14 Velos Media Int Ltd Image coding method, image coding apparatus, image decoding method, image decoding apparatus and image coding / decoding apparatus
PL2717579T3 (pl) 2011-05-31 2020-07-27 Sun Patent Trust Sposób dekodowania obrazu i urządzenie do dekodowania obrazu
HUE053187T2 (hu) 2011-05-31 2021-06-28 Jvc Kenwood Corp Mozgókép dekódoló készülék, mozgókép dekódoló eljárás és mozgókép dekódoló program
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2012173315A1 (ko) 2011-06-17 2012-12-20 엘지전자 주식회사 인트라 예측 모드 부호화/복호화 방법 및 장치
US9131239B2 (en) 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
KR102200578B1 (ko) * 2011-06-30 2021-01-11 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
BR112013029425B1 (pt) 2011-06-30 2022-03-29 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem, dispositivo de codificação de imagem, e dispositivo de codifica ção/decodificação de imagem
EP3419289B1 (en) 2011-06-30 2020-12-23 JVC KENWOOD Corporation Image decoding device, image decoding method, and image decoding program
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CN107277548B (zh) 2011-08-29 2019-12-06 苗太平洋控股有限公司 以合并模式对图像编码的方法
CN107197303B (zh) 2011-09-09 2020-03-06 Lg 电子株式会社 帧间预测方法及其装置
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
CN108632608B (zh) 2011-09-29 2022-07-29 夏普株式会社 图像解码装置、图像解码方法、图像编码装置及图像编码方法
AU2012323631B2 (en) 2011-10-11 2015-09-17 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3D video coding and HEVC
CN104378637B (zh) 2011-10-18 2017-11-21 株式会社Kt 视频信号解码方法
US9838692B2 (en) 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
WO2013056656A1 (en) 2011-10-19 2013-04-25 Mediatek Inc. Method and apparatus for derivation of motion vector predictor candidate set
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
JP5379933B2 (ja) 2011-10-28 2013-12-25 パナソニック株式会社 動きベクトル導出方法および動きベクトル導出装置
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
KR20130050407A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
RU2566956C2 (ru) * 2011-11-08 2015-10-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для определения вектора движения в кодировании или декодировании видео
EP2777267B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate and update
WO2013081365A1 (ko) * 2011-11-28 2013-06-06 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
BR122020008353B1 (pt) 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de foto em movimento e método de codificação de foto em movimento
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN108055550B (zh) 2012-01-19 2021-10-01 韩国电子通信研究院 用于图像编码/解码的方法和设备
KR20230038817A (ko) 2012-01-20 2023-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
SI3512197T1 (sl) 2012-01-20 2020-12-31 Dolby Laboratories Licensing Corporation Postopek preslikave v načinu notranjega napovedovanja
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
WO2013140807A1 (ja) 2012-03-23 2013-09-26 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
US9338451B2 (en) 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
US20130272412A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Common motion information candidate list construction process
BR112014024294B1 (pt) 2012-04-12 2020-02-11 JVC Kenwood Corporation Dispositivo de decodificação de imagem em movimento e método de decodificação de imagem em movimento
JP6039793B2 (ja) 2012-05-10 2016-12-07 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9258562B2 (en) 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130343459A1 (en) 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
AU2013285749B2 (en) 2012-07-02 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for predicting motion vector for coding video or decoding video
CN104769949B (zh) 2012-09-19 2018-03-13 高通股份有限公司 用于视差向量导出的图片的选择的方法和装置
WO2014049196A1 (en) 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
US10178410B2 (en) 2012-10-03 2019-01-08 Mediatek Inc. Method and apparatus of motion information management in video coding
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9854234B2 (en) 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
TWI652936B (zh) 2013-04-02 2019-03-01 Vid衡器股份有限公司 針對可縮放視訊編碼的增強型時間運動向量預測
CN105324996B (zh) * 2013-04-10 2018-12-21 寰发股份有限公司 三维视频编码的视图间候选推导的方法及其装置
CN104125463A (zh) 2013-04-26 2014-10-29 华为技术有限公司 一种图像预测编码方法及图像编码器
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015006920A1 (en) 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An adaptive disparity vector derivation method
CN105556943B (zh) 2013-09-20 2019-03-29 Vid拓展公司 提供3d查找表编码以用于色域可伸缩性的系统和方法
GB2519514A (en) 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
EP3059970B1 (en) 2013-10-18 2020-01-08 LG Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
CA2934699A1 (en) 2014-01-03 2015-07-09 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
WO2015122549A1 (ko) 2014-02-12 2015-08-20 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
US10187657B2 (en) 2014-03-14 2019-01-22 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US10666968B2 (en) 2014-05-06 2020-05-26 Hfi Innovation Inc. Method of block vector prediction for intra block copy mode coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
WO2015192780A1 (en) 2014-06-19 2015-12-23 Mediatek Singapore Pte. Ltd. Method and apparatus of candidate generation for single sample mode in video coding
WO2015196322A1 (en) 2014-06-23 2015-12-30 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
CN104079944B (zh) 2014-06-30 2017-12-01 华为技术有限公司 视频编码的运动矢量列表构建方法和系统
WO2016008161A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Temporal derived bi-directional motion vector predictor
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
KR102276854B1 (ko) 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN107079161B (zh) 2014-09-01 2020-11-20 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
CN111988606B (zh) 2014-09-15 2022-09-20 寰发股份有限公司 去区块滤波方法、相应地编码装置和存储介质
JP6472877B2 (ja) 2014-10-09 2019-02-20 寰發股▲ふん▼有限公司HFI Innovation Inc. 視点合成予測を含む3dまたは多視点映像符号化の方法
KR20220162877A (ko) * 2014-10-31 2022-12-08 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
KR102466902B1 (ko) 2014-10-31 2022-11-14 삼성전자주식회사 움직임 벡터 부복호화 방법 및 장치
CN107113424B (zh) 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法
CN107113446A (zh) 2014-12-09 2017-08-29 联发科技股份有限公司 视频编码中的运动矢量预测子或合并候选的推导方法
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
CN104915966B (zh) 2015-05-08 2018-02-09 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10271064B2 (en) 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
US9918102B1 (en) 2015-06-22 2018-03-13 Ambarella, Inc. Inter-prediction candidate selection in a mode decision
WO2017043734A1 (ko) 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170094288A1 (en) * 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
WO2017086746A1 (ko) 2015-11-19 2017-05-26 한국전자통신연구원 화면내 예측 모드 부호화/복호화 방법 및 장치
CN105681807B (zh) 2016-01-06 2018-11-02 福州瑞芯微电子股份有限公司 一种基于h264协议的分像素运动矢量计算方法和装置
EP3417617A4 (en) 2016-02-17 2019-02-27 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
CN113438477A (zh) 2016-04-06 2021-09-24 株式会社Kt 对视频进行编码、解码的方法及存储压缩视频数据的设备
CN116546207A (zh) 2016-04-08 2023-08-04 韩国电子通信研究院 用于导出运动预测信息的方法和装置
CN114189678A (zh) 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
US10142652B2 (en) 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US10834404B2 (en) 2016-05-24 2020-11-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium for same
CN116708783A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116614640A (zh) 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
KR102322437B1 (ko) 2016-09-30 2021-11-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터 프레임 예측을 위한 이미지 코딩 및 디코딩을 위한 방법 및 디바이스
KR102448635B1 (ko) 2016-09-30 2022-09-27 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 방법, 비디오 디코딩 방법, 및 단말
EP3301919A1 (en) * 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN117528109A (zh) 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
ES2927560T3 (es) 2016-12-05 2022-11-08 Lg Electronics Inc Aparato de decodificación de vídeo, aparato de codificación de vídeo, medio de almacenamiento y método para la trasmisión
WO2018117706A1 (ko) 2016-12-22 2018-06-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180074000A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
CN106851046A (zh) 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
CN117395407A (zh) 2017-04-28 2024-01-12 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
US20180332312A1 (en) 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Devices And Methods For Video Processing
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US10523934B2 (en) 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
EP3637772A4 (en) 2017-06-09 2020-12-09 Electronics and Telecommunications Research Institute VIDEO ENCODING / DECODING METHOD AND DEVICE AND RECORDING MEDIUM FOR STORING BITSTREAM
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10757420B2 (en) 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10911769B2 (en) 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
EP3422716A1 (en) 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
US10687077B2 (en) 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
CN107295348A (zh) 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
KR102427789B1 (ko) 2017-10-10 2022-08-02 한국전자통신연구원 인터 예측 정보를 사용하는 방법 및 장치
CN111279695A (zh) 2017-10-26 2020-06-12 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
WO2019107916A1 (ko) 2017-11-30 2019-06-06 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor
US10986343B2 (en) 2018-04-15 2021-04-20 Arris Enterprises Llc Reducing overhead for multiple-hypothesis temporal prediction
US11895291B2 (en) 2018-05-23 2024-02-06 Hfi Innovation Inc. Method and apparatus of video coding using bi-directional CU weight
EP4325860A3 (en) 2018-06-29 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
EP3791587A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Resetting of look up table per slice/tile/lcu row
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
CN112369030B (zh) 2018-07-06 2023-11-10 寰发股份有限公司 解码器的视频解码方法及装置
US10491902B1 (en) 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
US11381833B2 (en) 2018-07-19 2022-07-05 Tencent America LLC Method and apparatus for video coding
US10958934B2 (en) * 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10362330B1 (en) 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
CN112806003B (zh) 2018-09-06 2024-02-13 Lg 电子株式会社 使用mpm列表的基于帧内预测的图像编码方法及其装置
US11212550B2 (en) 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
US20200112715A1 (en) 2018-10-05 2020-04-09 Qualcomm Incorporated History-based motion vector prediction for inter prediction coding
US11051034B2 (en) 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US11284066B2 (en) 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
US11184633B2 (en) 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互

Also Published As

Publication number Publication date
WO2020053798A1 (en) 2020-03-19
TWI820211B (zh) 2023-11-01
GB2590310A (en) 2021-06-23
US20200413044A1 (en) 2020-12-31
US20210297659A1 (en) 2021-09-23
GB202101813D0 (en) 2021-03-24
GB2590310B (en) 2023-03-22
TW202025773A (zh) 2020-07-01
CN111064959B (zh) 2023-09-01
WO2020053800A1 (en) 2020-03-19
CN111064961A (zh) 2020-04-24
US11159787B2 (en) 2021-10-26
CN111064961B (zh) 2023-06-09
CN111064959A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111064961B (zh) 视频处理方法和装置
CN113383554B (zh) LUT和共享Merge列表之间的交互
TWI743506B (zh) 來自多個查找表(lut)的選擇
CN110662063B (zh) 视频处理方法、装置和计算机可读存储介质
TWI752331B (zh) 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
TWI747000B (zh) 虛擬Merge候選
TWI719525B (zh) Lut與amvp之間的交互
TWI723445B (zh) 查找表的更新:fifo、約束的fifo
TW202037170A (zh) 簡化的基於歷史的運動矢量預測
CN114885173A (zh) Lut中的运动候选的检查顺序
CN113273186A (zh) Lut更新的调用
CN110662030B (zh) 一种视频处理方法和装置
TW202032991A (zh) 用時間資訊擴展基於查閱資料表的運動向量預測