TWI731361B - 依賴形狀的幀內編碼 - Google Patents

依賴形狀的幀內編碼 Download PDF

Info

Publication number
TWI731361B
TWI731361B TW108123166A TW108123166A TWI731361B TW I731361 B TWI731361 B TW I731361B TW 108123166 A TW108123166 A TW 108123166A TW 108123166 A TW108123166 A TW 108123166A TW I731361 B TWI731361 B TW I731361B
Authority
TW
Taiwan
Prior art keywords
video block
intra
list
mode
block
Prior art date
Application number
TW108123166A
Other languages
English (en)
Other versions
TW202007153A (zh
Inventor
劉鴻彬
張莉
張凱
王悅
Original Assignee
大陸商北京字節跳動網絡技術有限公司
美商字節跳動有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京字節跳動網絡技術有限公司, 美商字節跳動有限公司 filed Critical 大陸商北京字節跳動網絡技術有限公司
Publication of TW202007153A publication Critical patent/TW202007153A/zh
Application granted granted Critical
Publication of TWI731361B publication Critical patent/TWI731361B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊位元流處理方法，該方法包含：對於至少部分幀內編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生幀內模式候選的列表，以及使用幀內模式候選的列表重建視訊塊的解碼表示。形狀依賴性規則還可以擴展到合併候選列表或高級運動向量預測候選列表的幀間編碼情況。

Description

依賴形狀的幀內編碼
本專利文件涉及視頻編碼技術。根據適用的專利法和/或依據巴黎公約的規則，本申請及時要求於2018年7月1日提交的美國臨時專利申請No.62/692,805的優先權和權益。出於根據美國法律的所有目的，美國臨時專利申請No.62/692,805的全部公開內容通過引用併入作為本申請的公開內容的一部分。
數位視訊佔網際網路和其他數位通訊網絡上最大的頻寬使用。隨著能夠接收和顯示視訊的所連接的用戶裝置的數量增加，預計數位視訊使用的頻寬需求將繼續增長。
所公開的技術可以由視訊解碼器或編碼器實施例使用，其中使用依賴塊形狀的編碼技術來改進視訊塊的幀內編碼的編碼性能。
在一個示例方面，公開了一種視訊位元流處理方法。該方法包含：對於至少部分幀內編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生幀內模式候選的列表，以及使用幀內模式候選的列表重建視訊塊的解碼表示。
在另一示例方面，上述方法可以由包含處理器的視訊解碼器裝置實 現。
在另一示例方面，上述方法可以由視訊編碼器裝置來實現，該視訊編碼器裝置包含用於在視訊編碼過程期間解碼已編碼的視訊的處理器。
在又一示例方面，這些方法可以以處理器可執行的指令的形式實現並儲存在電腦可讀取程式媒介上。
在本文件中進一步描述了這些和其他方面。
2000、2200:方法
2002:處理器
2004:記憶體
2006:視訊處理硬體
2202至2204:步驟
A、B、C、D:子編碼單元(子CU)
A0、A1、B0、B1、B2、C0、C1:位置
a、b、c、d:塊
tb、td:POC距離
AL、TL:左上方
AR、TR:右上方
BL:左下方
BR:右下方
CR:中心
L:左側
圖1是四元樹二元樹(QTBT)結構的圖示。
圖2繪示了用於合併候選列表構造的示例推導過程。
圖3繪示了空間合併候選的示例位置。
圖4繪示了考慮用於空間合併候選的冗餘檢查的候選對的示例。
圖5繪示了用於N×2N和2N×N劃分的第二預測單元(PU)的位置的示例。
圖6是用於時域(temporal)合併候選的運動向量縮放的圖示。
圖7繪示了用於時域合併候選C0和C1的示例候選位置。
圖8繪示了組合的雙向預測合併候選的示例。
圖9繪示了用於運動向量預測候選的推導過程的示例。
圖10是空間運動向量候選的運動向量縮放的圖示。
圖11繪示了用於編碼單元(CU)的高級時域運動向量預測(ATMVP)運動預測的示例。
圖12繪示了具有四個子塊(A-D)的一個CU以及它的鄰近塊(a-d)的示例。
圖13繪示了在J0021中提出的非相鄰合併候選。
圖14繪示了在J0058中提出的非相鄰合併候選。
圖15繪示了在J0059中提出的非相鄰合併候選。
圖16繪示了提出的67幀內預測模式。
圖17繪示了用於最可能模式(MPM)推導的鄰近塊的示例。
圖18繪示了I切片中的色度CB的對應的子塊的示例。
圖19A和圖19B繪示了用於MPM列表的附加塊的示例。
圖20是視訊處理裝置的示例的方塊圖。
圖21繪示了視訊編碼器的示例實現方式的方塊圖。
圖22是視訊位元流處理方法的示例的流程圖。
本專利文件提供了可以由視訊位元流的解碼器使用以改進解壓縮或解碼的數位視訊的品質的各種技術。此外，視訊編碼器還可以在編碼的過程期間實現這些技術，以便重建解碼幀用於進一步編碼。在以下描述中，術語視訊塊用於表示像素的邏輯分組，並且不同的實施例可以利用不同尺寸的視訊塊工作。此外，視訊塊可以對應於一個色度或亮度分量，或者可以包含另一個分量表示，諸如RGB表示。
為了便於理解，在本文件中使用章節標題，並且實施例和技術不限於對應的章節。這樣，來自一個章節的實施例可以與來自其他章節的實施例組合。
1、概述
該專利文件中描述的技術涉及視訊編碼技術。具體地，該專利文件中描述的技術涉及視訊編碼中的幀內/幀間模式編碼。它可以應用於像高效視訊編碼(HEVC)之類的現有的視訊編碼標準或者待最終確定的標準(通用視訊編碼)。它也可以適用於未來的視訊編碼標準或視訊編解碼器。
2、背景
視訊編碼標準主要是通過衆所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T製作了H.261和H.263標準，ISO/IEC製作了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合制作了H.262/MPEG-2視訊標準和H.264/MPEG-4高級視訊編碼(Advanced Video Coding，AVC)標準和H.265/HEVC標準。從H.262開始，視訊編碼標準基於混合視訊編碼結構，其中利用時域預測加變換編碼。為了探索HEVC之外的未來視訊編碼技術，由VCEG和MPEG於2015年聯合成立聯合視訊探索團隊(JVET)。從那時起，JVET採用了許多新方法並將其納入名為聯合勘探模型(JEM)的參考軟體。在2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之間的聯合視訊專家組(JVET)被創建用於VVC標準，目標是與HEVC相比降低50%的位元率。
圖21繪示了視訊編碼器的示例的實現方式的方塊圖。
2.1 具有更大編碼樹單元(CTU)的四元樹加二元樹(QTBT)塊結構
在HEVC中，通過使用表示為編碼樹的四元樹結構將CTU劃分成CU，以適應各種局部特性。在CU級別進行使用圖片間(時域)預測還是圖片內(空間)預測來對圖片區域編碼的決定。根據PU劃分類型，每個CU可以進一步劃分成一個、兩個或四個預測單元(PU)。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送到解碼器。在通過基於PU劃分類型應用預測過程而獲得了殘差塊之後，可以根據類似於CU的編碼樹的另一個四元樹結構將CU分割為變換單元(TU)。HEVC結構的關鍵特徵之一是它具有多個分割概念，包含CU、PU和TU。
QTBT結構去除了多種分割類型的概念，即，它去除了CU、PU和TU概念的分離，並且支持CU分割形狀的更大靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖1中所示，CTU首先被四元樹結構分割。四元樹葉節點被二元樹結構進一步分割。在二元樹劃分中有兩種劃分類型：對稱水平劃分和對稱垂直劃分。二元樹葉節點被稱為編碼單元(CU)，並且該劃分被用於預測和變換處理而無需任何進一步的分割。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊(CB)組成，例如，在4：2：0色度格式的P和B切片的情況下，一個CU包含一個亮度CB和兩個色度CB；並且CU有時由單個分量的CB組成，例如，在I切片的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。
為QTBT分割方案定義以下參數：- CTU尺寸：四元樹的根節點尺寸，與HEVC中的概念相同；- MinQTSize：最小允許的四元樹葉節點尺寸；- MaxBTSize：最大允許的二元樹根節點尺寸；- MaxBTDepth：最大允許的二元樹深度；- MinBTSize：最小允許的二元樹葉節點尺寸；在QTBT分割結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize(寬度和高度)被設置為4×4，並且MaxBTDepth被設置為4。首先將四元樹分割應用於CTU以產生四元樹葉節點。四元樹葉節點可以具有從16×16(即，MinQTSize)到128×128(即，CTU尺寸)的尺寸。如果葉四元樹節點是128×128，則由於該尺寸超過MaxBTSize(即，64×64)，所以它不會被二元樹進一步劃分。否則，葉四元樹節點可以被二元樹進一步分割。因此， 四元樹葉節點也是二元樹的根節點，並且二元樹深度為0。當二元樹深度達到MaxBTDepth(即，4)時，不考慮進一步的劃分。當二元樹節點的寬度等於MinBTSize(即，4)時，不考慮進一步的水平劃分。類似地，當二元樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二元樹的葉節點，而無需任何進一步的劃分。在JEM中，最大CTU尺寸為256×256亮度樣本。
圖1繪示了通過使用QTBT進行塊分割的示例，圖1(右)繪示了對應的樹表示。實線表示四元樹劃分，虛線表示二元樹劃分。在二元樹的每個劃分(即，非葉)節點中，信令通知一個標誌以指示使用哪種劃分類型(即，水平或垂直)，其中0表示水平劃分並且1表示垂直劃分。對於四元樹劃分，不需要指示劃分類型，因為四元樹劃分總是水平地且垂直地劃分塊以產生具有相等尺寸的4個子塊。
另外，QTBT方案支持使亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B切片，一個CTU中的亮度CTB和色度CTB共享相同的QTBT結構。然而，對於I切片，通過QTBT結構將亮度CTB分割為CU，並且通過另一QTBT結構將色度CTB分割為色度CU。這意味著I切片中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P切片或B切片中的CU由所有三個顏色分量的編碼塊組成。
在HEVC中，限制小塊的幀間預測以減少運動補償的記憶體存取，使得對於4×8和8×4塊不支持雙向預測，並且對於4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被去除。
2.2 HEVC/H.265中的幀間預測
每個幀間預測的PU具有一個或兩個參考圖片列表的運動參數。運動參數包 含運動向量和參考圖片索引。也可以使用inter_pred_idc信令通知兩個參考圖片列表中的一個的使用。可以將運動向量明確地編碼為相對於預測值的變化量。
當用跳過模式(skip mode)對CU進行編碼時，一個PU與CU相關聯，並且不存在顯著的殘差係數，沒有編碼的運動向量變化量或參考圖片索引。指定合併模式，由此從鄰近的多個PU獲得當前PU的運動參數，包含空間和時域候選。合併模式可以應用於任何幀間預測的PU，而不僅僅應用於跳過模式。合併模式的可選模式是運動參數的顯式傳輸，其中按照每個PU，明確地信令通知運動向量(更準確地說，與運動向量預測值相比的運動向量差)、每個參考圖片列表的對應的參考圖片索引和參考圖片列表的使用。在本公開中，這樣的模式被稱為高級運動向量預測(AMVP)。
當信令指示要使用兩個參考圖片列表中的一個時，從一個樣本塊產生PU。這被稱為“單向預測”。單向預測可用於P切片和B切片。
當信令指示要使用兩個參考圖片列表時，從兩個樣本塊產生PU。這被稱為“雙向預測”。雙向預測僅可用於B切片。
以下文本提供關於HEVC中指定的幀間預測模式的細節。描述將從合併模式開始。
2.2.1 合併模式
2.2.1.1 合併模式的候選的推導
當使用合併模式預測PU時，從位元流解析指向合併候選列表中的條目的索引，並用其檢索運動資訊。該列表的構造在HEVC標準中規定，並且可以根據以下步驟順序進行總結：
‧步驟1：初始候選推導
⊙步驟1.1：空間候選推導
⊙步驟1.2：空間候選的冗餘檢查
⊙步驟1.3：時域候選推導
‧步驟2：附加候選插入
⊙步驟2.1：雙向預測候選的創建
⊙步驟2.2：零運動候選的插入
這些步驟也在圖2中示意性地描繪。對於空間合併候選推導，在位於五個不同位置的候選中選擇最多四個合併候選。對於時域合併候選推導，在兩個候選中選擇最多一個合併候選。由於在解碼器處假設每個PU的恆定數量的候選，因此當從步驟1獲得的候選的數量未達到在切片報頭中信令通知的最大數量的合併候選(MaxNumMergeCand)時，產生附加候選。由於候選的數量是恆定的，因此使用截斷一元碼二值化(TU)來編碼最佳合併候選的索引。如果CU的尺寸等於8，則當前CU的所有PU共享單個合併候選列表，其與2N×2N預測單元的合併候選列表相同。
在下文中，詳細描述了與前述步驟相關聯的操作。
2.2.1.2 空間候選推導
在空間合併候選的推導中，在位於圖3中描繪的位置中的候選中選擇最多四個合併候選。推導的順序是A1、B1、B0、A0和B2。僅當位置A1、B1、B0、A0的任何PU不可用(例如，因為它屬另一個切片或片)或者是幀內編碼時，才考慮位置B2。在添加位置A1處的候選之後，對剩餘候選的添加進行冗餘檢查，其確保具有相同運動資訊的候選被排除在列表之外，從而提高編碼效率。為了降低計算複雜度，在所提到的冗餘檢查中並未考慮所有可能的候選對。相反，如果用於冗餘檢查的對應的候選具有相同的運動資訊，則僅考慮與圖4中的箭頭鏈接的 對，並且僅將候選添加到列表中。重複運動資訊的另一個來源是與不同於2Nx2N的劃分相關聯的“第二PU”。作為示例，圖5描繪了分別用於N×2N和2N×N的情況的第二PU。當當前PU被分割為N×2N時，位置A1處的候選不被考慮用於列表構造。實際上，通過添加該候選將導致具有相同運動資訊的兩個預測單元，這對於在編碼單元中僅具有一個PU是多餘的。類似地，當當前PU被分割為2N×N時，不考慮位置B1。
2.2.1.3 時域候選推導
在該步驟中，僅將一個候選添加到列表。具體地，在該時域合併候選的導出中，基於屬與給定參考圖片列表內的當前圖片具有最小POC差異的圖片的共位的(co-located)PU來導出縮放的運動向量。在切片報頭中明確地信令通知要用於導出共位的PU的參考圖片列表。獲得用於時域合併候選的縮放的運動向量，如圖6中的虛線所示，該縮放的運動向量是使用POC距離tb和td從共位的PU的運動向量縮放的，其中tb被定義為當前圖片的參考圖片與當前圖片之間的POC差異，並且td被定義為是共位的圖片的參考圖片與共位的圖片之間的POC差異。時域合併候選的參考圖片索引被設置為等於零。HEVC規範[1]中描述了縮放過程的實際實現。對於B切片，獲得兩個運動向量，一個用於參考圖片列表0，另一個用於參考圖片列表1，組合該兩個運動向量以得到雙向預測合併候選。
圖6是用於時域合併候選的運動向量縮放的圖示。
在屬參考幀的共位的PU(Y)中，在候選C0和C1之間選擇時域候選的位置，如圖7中所示。如果位置C0處的PU不可用，是幀內編碼，或者在當前CTU行之外，則使用位置C1。否則，位置C0用於時域合併候選的推導。
2.2.1.4 附加候選插入
除了空間和時域合併候選之外，存在兩種附加類型的合併候選：組合的雙向預測合併候選和零合併候選。通過利用空間和時域合併候選來產生組合的雙向預測合併候選。組合的雙向預測合併候選僅用於B切片。通過將初始候選的第一參考圖片列表運動參數與另一個的第二參考圖片列表運動參數組合來產生組合的雙向預測候選。如果這兩個元組(tuple)提供不同的運動假設，則它們將形成新的雙向預測候選。作為示例，圖8描繪了當原始列表(左側)中具有mvL0和refIdxL0或mvL1和refIdxL1的兩個候選用於創建添加到最終列表(右側)的組合的雙向預測合併候選時的情況。關於被認為產生這些附加的合併候選的組合有許多規則，在[1]中定義。
插入零運動候選以填充合併候選列表中的剩餘條目，並因此達到MaxNumMergeCand容量。這些候選具有零空間位移和參考圖片索引，該參考圖片索引從零開始並且每當新的零運動候選被添加到列表時增加。這些候選使用的參考幀的數量對於單向和雙向預測分別是1和2。最後，不對這些候選執行冗餘檢查。
2.2.1.5 用於並行處理的運動估計區域
為了加速編碼處理，可以並行執行運動估計，由此同時推導給定區域內的所有預測單元的運動向量。從空間鄰域推導合併候選可能干擾並行處理，因為一個預測單元不能從相鄰的PU推導運動參數，直到其相關聯的運動估計完成為止。為了減輕編碼效率和處理等待時間之間的折衷，HEVC定義運動估計區域(MER)，其尺寸在圖片參數集合中使用“log2_parallel_merge_level_minus2”語法元素信令通知。當定義MER時，屬同一區域中的合併候選被標記為不可用，因此在列表構造中不予考慮。
2.2.2 AMVP
AMVP利用運動向量與相鄰的PU的空時相關性，其用於運動參數的顯式傳輸。對於每個參考圖片列表，通過首先檢查左側、上方時域鄰近的PU位置的可用性，移除冗餘候選並添加零向量以使候選列表為恆定長度來構造運動向量候選列表。然後，編碼器可以從候選列表中選擇最佳預測值，並發送指示所選擇的候選的對應的索引。與合併索引信令類似，使用截斷一元碼(truncated unary)來編碼最佳運動向量候選的索引。在這種情況下要編碼的最大值是2(參見圖9)。在以下章節中，提供了關於運動向量預測候選的推導過程的細節。
2.2.2.1 AMVP候選的推導
圖9總結了運動向量預測候選的推導過程。
在運動向量預測中，考慮兩種類型的運動向量候選：空間運動向量候選和時域運動向量候選。對於空間運動向量候選推導，最終基於位於五個不同位置的每個PU的運動向量推導兩個運動向量候選，如圖3所示。
對於時域運動向量候選推導，從兩個候選中選擇一個運動向量候選，其是基於兩個不同的共位的位置推導的。在製作空時候選的第一列表之後，移除列表中的重複運動向量候選。如果潛在候選的數量大於2，則從列表中移除相關聯的參考圖片列表內的參考圖片索引大於1的運動向量候選。如果空時運動向量候選的數量小於2，則將附加的零運動向量候選添加到列表中。
2.2.2.2 空間運動向量候選
在空間運動向量候選的推導中，在五個潛在候選中考慮最多兩個候選，其從位於如圖3中所示的位置的PU推導出，這些位置與運動合併的位置相同。當前PU的左側的推導順序被定義為A0、A1，以及縮放的A0、縮放的A1。當前PU的上 側的推導順序被定義為B0、B1、B2、縮放的B0、縮放的B1、縮放的B2。因此，對於每一側，存在四種可用作運動向量候選的情況，其中兩種情況不需要使用空間縮放，以及兩種情況使用空間縮放。四種不同的情況總結如下。
‧無空間縮放
(1)相同的參考圖片列表，以及相同的參考圖片索引(相同的POC)
(2)不同的參考圖片列表，但相同的參考圖片(相同的POC)
‧空間縮放
(3)相同的參考圖片列表，但不同的參考圖片(不同的POC)
(4)不同的參考圖片列表，以及不同的參考圖片(不同的POC)
首先檢查無空間縮放情況，然後檢查空間縮放。當POC在鄰近的PU的參考圖片與當前PU的參考圖片之間不同而不管參考圖片列表時，考慮空間縮放。如果左側候選的所有PU都不可用或者是幀內編碼的，則允許對上述運動向量進行縮放以幫助在MV候選的左側和上方的並行推導。否則，上述運動向量不允許空間縮放。
圖10是空間運動向量候選的運動向量縮放的圖示。
在空間縮放過程中，以與時域縮放類似的方式縮放鄰近的PU的運動向量，如圖10所示。主要區別在於參考圖片列表和當前PU的索引作為輸入給出；實際縮放過程與時域縮放過程相同。
2.2.2.3 時域運動向量候選
除了參考圖片索引推導之外，用於推導時域合併候選的所有過程與用於推導空間運動向量候選的所有過程相同(參見圖7)。將參考圖片索引信令通知給 解碼器。
2.3 JEM中的新的幀間合併候選
2.3.1 基於子CU的運動向量預測
在具有QTBT的JEM中，每個CU可以具有用於每個預測方向的至多一個運動參數集合。通過將大CU劃分成子CU並且推導大CU的所有子CU的運動資訊，在編碼器中考慮兩個子CU級運動向量預測方法。可選時域運動向量預測(ATMVP)方法允許每個CU從比並置參考圖片中的當前CU小的多個塊中提取多個運動資訊集合。在空時運動向量預測(STMVP)方法中，通過使用時域運動向量預測值和空間鄰近運動向量來遞歸地(recursively)推導子CU的運動向量。
為了保留用於子CU運動預測的更準確的運動場，當前禁用參考幀的運動壓縮。
2.3.1.1 可選時域運動向量預測
在可選時域運動向量預測(ATMVP)方法中，通過從小於當前CU的塊中提取多個運動資訊的集合(包含運動向量和參考索引)來修改運動向量時域運動向量預測(TMVP)。如圖11中所示，子CU是正方形N×N塊(預設地將N設置為4)。
ATMVP以兩個步驟預測CU內的子CU的運動向量。第一步驟是利用所謂的時域向量識別參考圖片中的對應的塊。參考圖片稱為運動源圖片。第二步驟是將當前CU分成子CU，並從對應於每個子CU的塊中獲得運動向量以及每個子CU的參考索引，如圖11所示。
在第一步驟中，參考圖片和對應的塊由當前CU的空間鄰近塊的運動資訊確定。為了避免鄰近塊的重複掃描過程，使用當前CU的合併候選列表中的第一合併候選。第一可用運動向量以及其相關聯的參考索引被設置為 時域向量 和運動源圖片的索引。這樣，在ATMVP中，與TMVP相比，可以更準確地識別對應的塊，其中對應的塊(有時稱為並置塊)總是相對於當前CU位於右下或中心位置。
在第二步驟中，通過向當前CU的座標添加時域向量，通過運動源圖片中的時域向量來識別子CU的對應的塊。對於每個子CU，其對應的塊(覆蓋中心樣本的最小運動網格)的運動資訊用於推導子CU的運動資訊。在識別出對應的N×N塊的運動資訊之後，以與HEVC的TMVP相同的方式將該運動資訊轉換為當前子CU的運動向量和參考索引，其中運動縮放和其他過程適用。例如，解碼器檢查是否滿足低延遲條件(即，當前圖片的所有參考圖片的POC小於當前圖片的POC)並且可能使用運動向量MVx(對應於參考圖片列表X的運動向量)以預測每個子CU的運動向量MVy(其中X等於0或1並且Y等於1-X)。
2.3.1.2 空時運動向量預測
在該方法中，按照光柵掃描順序遞歸地推導子CU的運動向量。圖12繪示了這個概念。讓我們考慮含有四個4×4子CU A、B、C和D的8×8 CU。當前幀中的鄰近4×4塊標記為a、b、c和d。
子CU A的運動推導通過識別其兩個空間鄰域開始。第一鄰域是子CU A上方的N×N塊(塊c)。如果該塊c不可用或者是幀內編碼的，則檢查子CU A上方的其他N×N塊(從左到右，在塊c開始)。第二鄰域是子CU A左側的塊(塊b)。如果塊b不可用或者是幀內編碼的，則檢查子CU A左側的其他塊(從上到下，在塊b開始)。從每個列表的鄰近塊獲得的運動資訊被縮放到給定列表的第一參考幀。接下來，通過遵循與HEVC中指定的TMVP推導相同的過程來推導子塊A的時域運動向量預測值(TMVP)。提取位置D處的並置塊的運動資訊並相應地縮放。最後，在檢索和縮放運動資訊之後，對於每個參考列表，所有可用的運動 向量(最多3個)被單獨平均。平均運動向量被指定為當前子CU的運動向量。
2.3.1.3 子CU運動預測模式信令
子CU模式被啟用作為附加的合併候選，並且不需要附加的語法元素來信令通知模式。將兩個附加的合併候選添加到每個CU的合併候選列表以表示ATMVP模式和STMVP模式。如果序列參數集合指示啟用了ATMVP和STMVP，則至多使用七個合併候選。附加合併候選的編碼邏輯與HM中的合併候選相同，這意味著，對於P或B切片中的每個CU，兩個附加的合併候選需要另外兩個RD檢查。
在JEM中，合併索引的所有二進制位通過上下文自適應二進制算術編碼(CABAC)進行上下文編碼。而在HEVC中，僅第一個二進制位是上下文編碼的，而剩餘的二進制位是上下文旁路編碼的。
2.3.2 非相鄰的合併候選
在J0021中，Qualcomm提出從非相鄰的鄰近位置推導附加的空間合併候選，其被標記為6到49，如圖13中所示。在合併候選列表中的TMVP候選之後添加推導的候選。
在J0058中，Tencent提出從外部參考區域中的位置推導附加的空間合併候選，該外部參考區域具有對當前塊的偏移(-96，-96)。
如圖14中所示，位置標記為A(i，j)、B(i，j)、C(i，j)、D(i，j)和E(i，j)。與其先前的B或C候選相比，每個候選B(i，j)或C(i，j)在垂直方向上具有16的偏移。與其先前的A或D候選相比，每個候選A(i，j)或D(i，j)在水平方向上具有16的偏移。與其先前的E候選相比，每個E(i，j)在水平方向和垂直方向上具有16的偏移。從內到外檢查候選。候選的順序是A(i，j)、B(i，j)、C(i，j)、D(i，j)和E(i，j)。進一步研究合併候選的數量是否可 以進一步減少。在合併候選列表中的TMVP候選之後添加候選。
在J0059中，在時域候選之後根據它們的數位順序檢查如圖15中的從6到27的擴展空間位置。為了節省MV行緩衝區，所有空間候選都被限制在兩個CTU行內。
2.4 在JEM中的幀內預測
2.4.1 具有67個幀內預測模式的幀內模式編碼
為了捕獲在自然視訊中呈現的任意邊緣方向，定向幀內模式的數量從在HEVC中使用的33擴展到65。附加的定向模式在圖16中被描繪為紅色虛線箭頭，並且平面模式和DC模式保持不變。這些更密集的定向幀內預測模式適用於所有塊尺寸以及亮度和色度幀內預測。
2.4.2 Luma幀內模式編碼
為了適應增加數量的定向幀內模式，使用具有6種最可能模式(MPM)的幀內模式編碼方法。涉及兩個主要技術方面：1)6個MPM的推導，以及2)6個MPM和非MPM模式的熵編碼。
在JEM中，包含在MPM列表中的模式被分類為三組：
‧鄰域幀內模式
‧推導的幀內模式
‧預設幀內模式
使用五個鄰近的幀內預測模式來形成MPM列表。5個鄰近塊的那些位置與合併模式中使用的那些位置相同，即左側(L)、上方(A)、左下方(BL)、右上方(AR)和左上方(AL)，如圖17所示。通過將5個鄰域幀內模式以及平面 模式和DC模式插入MPM列表來形成初始MPM列表。修剪過程用於移除重複模式，以便只有唯一模式可以包含在MPM列表中。包含初始模式的順序是：左側、上方、平面、DC、左下方、右上方，然後左上方。
圖17繪示了用於MPM推導的鄰近塊的示例。
如果MPM列表未滿(即，列表中少於6個MPM候選)，則添加推導的模式；通過將-1或+1加到已包含在MPM列表中的角度模式(angular mode)來獲得這些幀內模式。這樣的附加的推導的模式不是從非角度模式(DC或平面)產生的。
最後，如果MPM列表仍未完成，則按以下順序添加預設模式：垂直、水平、模式2和對角線模式。作為該過程的結果，產生6個MPM模式的唯一列表。
對於使用6個MPM的所選擇的模式的熵編碼，使用截斷一元碼二值化。前三個二進制位(bin)使用上下文編碼，該上下文取決於與當前信令通知的二進制位相關的MPM模式。MPM模式分類為三類：(a)主要為水平的模式(即，MPM模式數量小於或等於對角線方向的模式數量),(b)主要為垂直的模式(即，MPM模式大於對角線方向的模式數量，以及(c)非角度(DC和平面)類。因此，基於該分類，使用三個上下文來信令通知MPM索引。
用於選擇剩餘的61個非MPM的編碼如下完成。61個非MPM首先劃分為兩個集合：所選擇的模式集合和未選擇的模式集合。所選擇的模式集合含有16個模式，其餘模式(45個模式)分配給未選擇的模式集合。當前模式所屬的模式集合在具有標誌的位元流中指示。如果要指示的模式在所選擇的模式集合內，則使用4位固定長度代碼信令通知所選擇的模式，並且如果要指示的模式來自未選擇的集合，則使用截斷二進制碼(truncated binary code)信令通知。所選擇的模式集合是通過對61個非MPM模式進行子採樣產生的，如下所示：所選擇的模式集合={0,4,8,12,16,20...60}
未選擇的模式集合={1,2,3,5,6,7,9,10...59}
在編碼器側，使用HM的類似的兩階段幀內模式決定過程。在第一階段，即幀內模式預選階段，使用較低複雜度的絕對變換差和(SATD)成本來從所有可用的幀內模式中預選N個幀內預測模式。在第二階段，進一步應用更高複雜度的R-D成本選擇以從N個候選中選擇一個幀內預測模式。然而，當應用67個幀內預測模式時，由於可用的模式的總數大致加倍，如果直接使用HM的相同編碼器模式決定過程，則幀內模式預選階段的複雜度也將增加。為了最小化編碼器複雜度增加，執行兩步驟幀內模式預選過程。在第一步驟，基於絕對變換差和(SATD)測量，從原始的35個幀內預測模式(在圖16中用黑色實線箭頭表示)中選擇N個(N取決於幀內預測塊尺寸)模式；在第二步驟，通過SATD進一步檢查所選擇的N個模式的直接鄰域(如圖16中的虛線箭頭所示的附加幀內預測方向)，並且更新所選擇的N個模式的列表。最後，如果尚未包含，則將前M個MPM添加到N個模式，並且為第二階段R-D成本檢驗產生候選幀內預測模式的最終列表，其以與HM相同的方式完成。基於HM中的原始設置，M的值增加1，並且如表1中所示，N略微減小。
Figure 108123166-A0305-02-0020-1
2.4.3 色度幀內模式編碼
在JEM中，允許總共11個幀內模式用於色度CB編碼。這些模式包含5個傳統 的幀內模式和6個跨組件線性模型模式。色度模式候選的列表包含以下三個部分：
‧CCLM模式
‧DM模式，從覆蓋當前色度塊的幷置的五個位置的亮度CB推導的幀內預測模式
⊙要按順序檢查的五個位置是：在用於I切片的當前色度塊的對應的亮度塊內的中心(CR)、左上方(TL)、右上方(TR)、左下方(BL)和右下方(BR)4×4塊。對於P和B切片，僅檢查這五個子塊中的一個，因為它們具有相同的模式索引。圖18中繪示了五個並置的亮度位置的示例。
‧來自空間鄰近的塊的色度預測模式：
⊙5個色度預測模式：來自左側、上方、左下方、右上方、和左上方空間鄰近的塊
⊙平面和DC模式
⊙添加推導的模式，通過將-1或+1添加到已包含在列表中的角度模式來獲得這些幀內模式
⊙垂直、水平、模式2
每當將新的色度幀內模式添加到候選列表時，就應用修剪過程。然後將非CCLM色度幀內模式候選列表尺寸修整為5。對於模式信令，首先用信令通知標誌以指示是使用CCLM模式中的一個還是使用傳統色度幀內預測模式中的一個。然後可以跟隨再多幾個標誌以指定用於當前色度CB的精確色度預測模式。
3.由實施例解決的問題的示例
使用QTBT，存在完全不同的CU形狀，例如4×32和32×4等。對於不同的CU形狀，它們可以與鄰近的塊具有不同的相關性。然而，在幀內模式和幀間模式編碼中，合併列表、AMVP列表或MPM列表以相同的方式用於所有CU形狀的構造，這是不合理的。
同時，用於MPM列表構造的預設幀內模式總是垂直(VER)、水平(HOR)、模式2以及對角線模式(DIG)，這是不合理的。
4.實施例的示例
為了解決本專利文件中描述的技術問題，並提供其他益處，提出了依賴形狀的幀內/幀間模式編碼，其中可以構造不同的合併列表、AMVP列表或MPM列表。
以下詳細示例應被視為解釋一般概念的示例。不應以狹義的方式解釋這些示例性特徵。此外，這些示例性特徵可以以任何方式組合。
1.提出了MPM列表中的幀內模式候選的插入取決於當前的編碼塊形狀(例如，編碼塊是CU)。
a.在一個示例中，對於具有寬度>N*高度的CU形狀，在從左側鄰近的塊提取的幀內預測模式之前，插入從上方鄰近的塊提取的幀內預測模式，其中N等於1、2、3或其他值。
i.可選地，另外，在從左下方鄰近的塊提取的幀內預測模式之前，插入從右上方鄰近的塊提取的幀內預測模式。
ii.可選地，另外，在從左下方鄰近的塊提取的幀內預測模式之前，插入從左上方鄰近的塊提取的幀內預測模式。
iii.可選地，另外，在從當前塊的左側的鄰近的塊提取的幀 內預測模式之前，插入從當前塊上方的鄰近的塊提取的所有幀內預測模式。
b.在一個示例中，對於具有寬度>N*高度的CU形狀，提出插入從上方的塊提取的更多幀內預測模式，如圖19A所示的上中的塊。
c.示例中，對於具有高度>N*寬度的CU形狀，提出插入從左側的塊提取的更多幀內預測模式，如圖19B中所示的左中的塊。
d.可選地，此外，MPM列表之外的剩餘幀內預測模式可以基於塊形狀被重新排序。也就是說，用於編碼剩餘幀內預測模式的碼字長度或編碼上下文可以取決於塊形狀。
2.提出了用於構造MPM列表的預設幀內模式取決於當前的CU形狀。
a.在一個示例中，對於寬度>M*高度的CU形狀，垂直對角線(VDIG)模式用於替代模式2(水平對角線)，其中M等於1、2或其他值。
b.在一個示例中，對於寬度>N*高度的CU形狀，插入模式HOR -/+ k替代模式2或/和對角線模式，其中k等於1、2、3、...、8。
c.在一個示例中，對於寬度>N*高度的CU形狀，在VER模式之前插入HOR模式。
d.在一個示例中，對於高度>N*高度的CU形狀，插入模式VER -/+ k替代模式2或/和對角線模式。
3.替代地，另外，提出了在構造MPM列表之後，MPM列表還取決於當前的CU形狀被重新排序。
a.在一個示例中，對於具有寬度>N*高度的CU形狀，與靠近垂直方向的其他模式相比，優選更靠近水平方向的幀內預測模 式。
i.從開始部分掃描MPM列表，當遇到更靠近垂直方向的幀內預測模式時，檢查其隨後的模式，如果發現更靠近水平方向的模式，則將上述兩個模式交換。重複這樣的過程直到處理了整個列表。
ii.可選地，這樣的交換不應用於模式VER -/+ k，即使它們更靠近垂直方向，其中k等於1、2、3或其他值。
b.在一個示例中，對於具有高度>N*高度的CU，與更靠近水平方向的其他模式相比，優選更靠近垂直方向的幀內預測模式。
i.從開始部分掃描MPM列表，當遇到更靠近水平方向的幀內預測模式時，檢查其隨後的模式，如果發現更靠近垂直方向的模式，則將上述兩個模式交換。重複這樣的過程直到處理了整個列表。
ii.可選地，這樣的交換不應用於模式HOR -/+ k，即使它們更靠近水平方向。
4.上述項目符號(bullet)中的術語“塊形狀”可以表示：
a.正方形的塊或非正方形的塊
b.當前編碼塊的寬度和高度的比率
c.由塊的寬度和高度定義。
5.所提出的方法可以應用於某些模式、塊尺寸/形狀和/或某些子塊尺寸。
a.所提出的方法可以應用於某些模式，例如傳統的平移運動(即，禁用仿射模式)。
b.所提出的方法可以應用於某些塊尺寸。
i.在一個示例中，所提出的方法僅應用於具有w×h>=T的塊，其中w和h是當前塊的寬度和高度。
ii.在另一個示例中，所提出的方法僅應用於具有w>=T && h>=T的塊。
6.所提出的方法可以應用在所有顏色組件上。替代地，所提出的方法可以僅應用於一些顏色組件。例如，所提出的方法可能僅應用在亮度組件上。
圖20是視訊處理裝置2000的方塊圖。裝置2000可以用於實現本文描述的一個或多個方法。裝置2000可以實現在智能手機、平板電腦、電腦、物聯網(IoT)接收器等中。裝置2000可以包含一個或多個處理器2002、一個或多個記憶體2004和視訊處理硬體2006。(多個)處理器2002可以被配置為實現本專利文件中描述的一個或多個方法，諸如參照方法2200描述的方法。記憶體(多個記憶體)2004可以用於儲存用於實現本文描述的方法和技術的資料和代碼，諸如參照方法2200描述的方法。視訊處理硬體2006可以是用於以硬體電路實現在本專利文件中描述的一些方法。在各種實現方式中，記憶體2004和/或視訊處理硬體2006可以部分地或全部地並入到處理器2002本身。
圖22是視訊位元流處理的方法2200的流程圖。方法2200包含：對於至少部分幀內編碼的視訊塊，根據取決於視訊塊的形狀的第一形狀依賴性規則產生(步驟2202)幀內模式候選的列表，並且使用幀內模式候選的列表重建(步驟2204)視訊塊的解碼表示。
參照方法2200，在一些實施例中，幀內模式候選的列表是最可能模式(MPM)候選列表的列表。參照方法2200，在一些實施例中，第一形狀依賴性規則指定順序，以該順序檢查鄰近的塊以用於插入幀內模式候選的列表中。參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的寬度大 於視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，在來自相對於視訊塊的左側鄰近的塊的幀內預測模式之前，首先通過使用來自相對於視訊塊的上方鄰近的塊的幀內預測模式來產生幀內模式候選的列表。
參照方法2200，在一些實施例中，在來自相對於視訊塊的左下方鄰近的塊的幀內預測模式之前，將來自相對於視訊塊的右上方鄰近的塊的幀內預測模式添加到幀內模式候選的列表，或者在來自相對於視訊塊的左下方鄰近的塊的幀內預測模式之前，將來自相對於視訊塊的左上方鄰近的塊的幀內預測模式添加到幀內模式候選的列表。
參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，幀內模式候選的列表包含來自相對於視訊塊的上方鄰近的塊的幀內預測模式。參照方法2200，在一些實施例中，上方鄰近的塊是中間塊。
參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的高度大於視訊塊的寬度的N倍的情況下，其中N是大於或等於1的整數，幀內模式候選的列表包含來自相對於視訊塊的左側鄰近的塊的幀內預測模式。參照方法2200，在一些實施例中，左側鄰近的塊是中間塊。參照方法2200，在一些實施例中，視訊位元流處理包含使用碼字編碼的視訊塊的壓縮表示，使用第二形狀依賴性規則分配該碼字。
參照方法2200，在一些實施例中，第一形狀依賴性規則指定用於構造幀內模式候選的列表的預設幀內模式。參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，預設幀內模式對應於垂直對角線模式。參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的寬度大於視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，將模式HOR -/+ k用作預設幀內 模式，其中k=1、2、3、...、或8。參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的高度大於視訊塊寬度的N倍的情況下，其中N是大於或等於1的整數，將模式VER -/+ k插入幀內模式候選的列表中，其中k=1、2、3、...、或8。參照方法2200，在一些實施例中，第一形狀依賴性規則指定在視訊塊的高度大於視訊塊的寬度的N倍的情況下，其中N是大於或等於1的整數，幀內模式候選的列表包含VER模式之前的HOR模式。
參照方法2200，在一些實施例中，第一形狀依賴性規則指定取決於視訊塊的形狀的幀內模式候選的列表的順序。參照方法2200，在一些實施例中，第一依賴性規則指定在視訊塊的寬度大於視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，使用更接近水平方向的幀內預測模式而不是更接近垂直方向的其他模式。參照方法2200，在一些實施例中，該方法另包含通過以下步驟重新排序幀內模式候選的列表：從幀內模式候選的列表的開始部分掃描幀內模式候選的列表；以及在發現更接近垂直方向的幀內預測模式條目的情況下，將該條碼與更接近水平方向的後續條目的條目交換。
參照方法2200，在一些實施例中，第一依賴性規則指定在視訊塊的高度大於視訊塊的寬度的N倍的情況下，其中N是大於或等於1的整數，使用更接近垂直方向的幀內預測模式而不是更接近水平方向的其他模式。參照方法2200，在一些實施例中，該方法另包含通過以下步驟重新排序幀內模式候選的列表：從幀內模式候選列表的開始部分掃描幀內模式候選列表；以及在發現更接近水平方向的幀內預測模式條目的情況下，將該條碼與更接近垂直方向的後續條目的條目交換。
參照方法2200，在一些實施例中，視訊塊包含編碼單元(CU)。參照方法2200，在一些實施例中，視訊塊的形狀是正方形或矩形中的一個。參照方法2200，在一些實施例中，視訊塊的形狀對應於寬度和高度的比率。參照方 法2200，在一些實施例中，第一形狀依賴性規則基於視訊塊的編碼條件選擇性地應用兩個不同的依賴性規則。參照方法2200，在一些實施例中，編碼條件包含視訊塊中的多個像素或視訊塊的高度或視訊塊的寬度是否大於或等於臨界值。參照方法2200，在一些實施例中，該方法應用於視訊塊的亮度分量或色度分量中的一個或多個。
視訊解碼裝置包含處理器，該處理器可以被配置為實現參照方法2200所述的方法。視訊編碼裝置包含處理器，該處理器可以被配置為實現參照方法2200所述的方法。其上儲存有電腦代碼的電腦程式產品，該代碼在由處理器執行時使處理器實現參照方法2200描述的方法。
參照方法2200，視訊塊可以表示壓縮視訊位元流的CU。視訊塊的形狀可以取決於高寬比、或高度和寬度的實際值、或高度和寬度的相對值。在各種實施例中，可以隱式地或顯式地產生各種候選的列表(例如，通過將列表儲存在記憶體中)。
參照方法2200，鄰近的塊的一些示例及其使用在本文件的第4章中描述。例如，如第4章中所述，在視訊塊的不同形狀下，可以優選頂部鄰近的塊或左側鄰近的塊。在一些實施例中，頂部或左側的中心或中間塊(或子塊)可以是優選的塊，使用來自該優選的塊的候選添加到列表。
參照方法2200，可以使用基於碼字的技術(例如，上下文自適應二進制算術編碼或可變長度編碼)在視訊位元流中對視訊塊進行編碼，在該技術中可以通過使用還取決於視訊塊的形狀的位元流產生規則來實現位元效率。
參照方法2200，編碼視訊塊的形狀可以用於決定哪些塊用於候選，或者決定將候選放置在候選的列表中的順序，或者兩者。
應當理解，所公開的技術可以實現在視訊編碼器或解碼器中，以在被壓縮的編碼單元具有與傳統正方形形狀的塊或矩形塊顯著不同的形狀時提高 壓縮效率。例如，使用諸如4×32或32×4尺寸的單元的長的或高的編碼單元的新編碼工具可得益於所公開的技術。
本文件中描述的公開和其他技術方案、示例、實施例、模塊和功能操作可以以數位電子電路實現，或者以電腦軟體、固件或硬體實現，包含本文件中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀取媒介上編碼的一個或多個電腦程式指令模塊，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀取媒介可以是機器可讀取儲存設備、機器可讀取儲存基板、記憶體設備、影響機器可讀取傳播信號的物質組合、或者它們中的一個或多個的組合。術語“資料處理裝置”包含用於處理資料的所有設備、裝置和機器，包含例如可編程處理器、電腦或多個處理器或電腦。除了硬體，該設備可以包含代碼，該代碼創建用於討論中的電腦程式的執行環境，例如，構成處理器固件、協議疊、資料庫管理系統、作業系統、或它們的一個或多個的組合的代碼。傳播信號是人工產生的信號，例如機器產生的電信號、光信號或電磁信號，其被產生以對資訊進行編碼以便傳輸到合適的接收器裝置。
電腦程式(也稱為程式、軟體、軟體應用、脚本或代碼)可以用任何形式的編程語言編寫，包含編譯或解釋語言，並且可以以任何形式來部署電腦程式，包含獨立程式或適合在計算環境中使用的模塊、組件、子程式或其他單元。電腦程式並不必需對應於檔案系統中的檔案。程式可以儲存在檔案的保存其他程式或資料(例如，儲存在標記語言文件中的一個或多個脚本)的部分中，儲存在專用於所討論的程式的單個檔案中，或儲存在多個協調檔案中(例如，儲存一個或多個模塊、子程式或代碼部分的檔案)。可以部署電腦程式以在一個電腦上或在位於一個站點上或分布在多個站點上並通過通訊網絡互連的多個電腦上執行。
本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入資料進行操作並產生輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA(現場可編程門陣列)或ASIC(專用積體電路)。
舉例來說，適合於執行電腦程式的處理器包含通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從只讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包含或可操作地耦合到用於儲存資料的一個或多個大容量儲存設備，例如磁碟、磁光碟或光碟，以從該一個或多個大容量儲存設備接收資料，或將資料傳輸到該一個或多個大容量儲存設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀取媒介包含所有形式的非揮發性記憶體、媒介和記憶體設備，包含例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁碟，例如內部硬碟或可移動磁碟；磁光碟；以及CD ROM和DVD-ROM磁碟。處理器和記憶體可以由專用邏輯電路補充或並入專用邏輯電路中。雖然本文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。
雖然本文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本文件中，在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求權利保護，但是在某些情況下， 可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在圖式中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按順序執行這樣的操作，或者執行所有繪示的操作，以實現期望的結果。此外，在本文件中描述的實施例中的各種系統組件的分離不應被理解為在所有實施例中都要求這種分離。
僅描述了幾個實現方式和示例，並且可以基於本文件中描述和繪示的內容來做出其他實現方式、增強和變型。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
2200:方法
2202至2204:步驟

Claims (27)

  1. 一種視訊位元流處理方法，該方法包含：對於至少部分幀內編碼的一視訊塊，根據取決於該視訊塊的形狀的一第一形狀依賴性規則，產生一幀內模式候選的列表；以及使用該幀內模式候選的列表來重建該視訊塊的解碼表示；其中該第一形狀依賴性規則指定取決於該視訊塊的形狀的該幀內模式候選的列表的順序；並且其中該視訊位元流處理包含使用一碼字編碼的該視訊塊的壓縮表示，使用一第二形狀依賴性規則分配該碼字。
  2. 如請求項1所述的方法，其中該幀內模式候選的列表是最可能模式(MPM)候選列表的列表。
  3. 如請求項1所述的方法，其中該第一形狀依賴性規則還指定一順序，以該順序檢查鄰近的塊，以用於插入該幀內模式候選的列表中。
  4. 如請求項3所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的寬度大於該視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，在來自相對於該視訊塊的左側鄰近的塊的幀內預測模式之前，首先通過使用來自相對於視訊塊的上方鄰近的塊的幀內預測模式來產生該幀內模式候選的列表。
  5. 如請求項4所述的方法，其中：在來自相對於該視訊塊的左下方鄰近的塊的幀內預測模式之前，將來自相對於該視訊塊的右上方鄰近的塊的幀內預測模式添加到該幀內模式候選的列表；或者在來自相對於該視訊塊的左下方鄰近的塊的幀內預測模式之前，將來自相對於該視訊塊的左上方鄰近的塊的幀內預測模式添加到該幀內模式候選 的列表。
  6. 如請求項1所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的寬度大於該視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，該幀內模式候選的列表包含來自相對於該視訊塊的上方鄰近的塊的幀內預測模式。
  7. 如請求項6所述的方法，其中該上方鄰近的塊是中間塊。
  8. 如請求項1所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的高度大於該視訊塊的寬度的N倍的情況下，其中N是大於或等於1的整數，該幀內模式候選的列表包含來自相對於該視訊塊的左側鄰近的塊的幀內預測模式。
  9. 如請求項8所述的方法，其中該左側鄰近的塊是中間塊。
  10. 如請求項1所述的方法，其中該第一形狀依賴性規則還指定用於構造該幀內模式候選的列表的一預設幀內模式。
  11. 如請求項10所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的寬度大於該視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，該預設幀內模式對應於垂直對角線模式。
  12. 如請求項10所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的寬度大於該視訊塊的高度的M倍的情況下，其中M是大於或等於1的整數，將模式HOR -/+ k用作該預設幀內模式，其中k=1、2、3、4、5、6、7、或8。
  13. 如請求項10所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的高度大於該視訊塊寬度的N倍的情況下，其中N是大於或等於1的整數，將模式VER -/+ k插入在該幀內模式候選的列表中，其中k=1、2、3、4、5、6、7、或8。
  14. 如請求項10所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的高度大於該視訊塊的寬度的N倍的情況下，其中N是大於或等於1的整數，該幀內模式候選的列表包含VER模式之前的HOR模式。
  15. 如請求項1所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的寬度大於該視訊塊的高度的N倍的情況下，其中N是大於或等於1的整數，使用更接近水平方向的幀內預測模式而不是更接近垂直方向的其他模式。
  16. 如請求項1所述的方法，其中該方法另包含通過以下步驟重新排序該幀內模式候選的列表：從該幀內模式候選的列表的開始部分掃描該幀內模式候選的列表；以及在發現更接近垂直方向的幀內預測模式條目的情況下，將該條目與更接近水平方向的後續條目交換。
  17. 如請求項1所述的方法，其中該第一形狀依賴性規則還指定在該視訊塊的高度大於該視訊塊的寬度的N倍的情況下，其中N是大於或等於1的整數，使用更接近垂直方向的幀內預測模式而不是更接近水平方向的其他模式。
  18. 如請求項1所述的方法，其中該方法另包含通過以下步驟重新排序該幀內模式候選的列表：從該幀內模式候選的列表的開始部分掃描該幀內模式候選的列表；以及在發現更接近水平方向的幀內預測模式條目的情況下，將該條目與更接近垂直方向的後續條目交換。
  19. 如請求項1至18中任一項所述的方法，其中該視訊塊包含編碼單元(CU)。
  20. 如請求項1至18任一項所述的方法，其中該視訊塊的形狀是正方形或 矩形中的一個。
  21. 如請求項1至18中任一項所述的方法，其中該視訊塊的形狀對應於該視訊塊的寬度和高度的比率。
  22. 如請求項1至18中任一項所述的方法，其中該第一形狀依賴性規則還基於該視訊塊的編碼條件選擇性地應用兩個不同的依賴性規則。
  23. 如請求項22所述的方法，其中該編碼條件包含該視訊塊中的像素的數量或該視訊塊的高度或該視訊塊的寬度是否大於或等於臨界值。
  24. 如請求項1至18中任一項所述的方法，其中該方法應用於該視訊塊的亮度分量或色度分量中的一個或多個。
  25. 一種視訊解碼裝置，該視訊解碼裝置包含：處理器，其被配置為實現如請求項1至24中的一項或多項所述的方法。
  26. 一種視訊編碼裝置，該視訊編碼裝置包含：處理器，其被配置為實現如請求項1至24中的一項或多項所述的方法。
  27. 一種電腦程式產品，其上儲存有電腦代碼，該電腦代碼在由處理器執行時使該處理器實現如請求項1至24中任一項所述的方法。
TW108123166A 2018-07-01 2019-07-01 依賴形狀的幀內編碼 TWI731361B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862692805P 2018-07-01 2018-07-01
US62/692,805 2018-07-01

Publications (2)

Publication Number Publication Date
TW202007153A TW202007153A (zh) 2020-02-01
TWI731361B true TWI731361B (zh) 2021-06-21

Family

ID=67253941

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108123166A TWI731361B (zh) 2018-07-01 2019-07-01 依賴形狀的幀內編碼
TW108123175A TW202021344A (zh) 2018-07-01 2019-07-01 依賴形狀的幀內編碼

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108123175A TW202021344A (zh) 2018-07-01 2019-07-01 依賴形狀的幀內編碼

Country Status (3)

Country Link
CN (2) CN110677679B (zh)
TW (2) TWI731361B (zh)
WO (2) WO2020008328A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
JP7322290B2 (ja) 2019-10-02 2023-08-07 北京字節跳動網絡技術有限公司 ビデオビットストリームにおけるサブピクチャシグナリングのための構文
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
EP4074038A4 (en) * 2020-01-12 2023-01-25 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON VIDEO ENCODING AND DECODING
WO2024022145A1 (en) * 2022-07-28 2024-02-01 Mediatek Inc. Method and apparatus of amvp with merge mode for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332084A1 (en) * 2016-05-13 2017-11-16 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法
US20180098064A1 (en) * 2016-10-04 2018-04-05 Qualcomm Incorporated Variable number of intra modes for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
WO2013023518A1 (en) * 2011-08-17 2013-02-21 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction using non-square blocks
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
WO2013105622A1 (ja) * 2012-01-13 2013-07-18 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
US20170310988A1 (en) * 2014-12-09 2017-10-26 Mediatek Inc. Method of Motion Vector Predictor or Merge Candidate Derivation in Video Coding
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332084A1 (en) * 2016-05-13 2017-11-16 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法
US20180098064A1 (en) * 2016-10-04 2018-04-05 Qualcomm Incorporated Variable number of intra modes for video coding

Also Published As

Publication number Publication date
WO2020008328A1 (en) 2020-01-09
TW202021344A (zh) 2020-06-01
CN110677679B (zh) 2022-07-26
WO2020008324A1 (en) 2020-01-09
CN110677678A (zh) 2020-01-10
CN110677679A (zh) 2020-01-10
CN110677678B (zh) 2022-09-23
TW202007153A (zh) 2020-02-01

Similar Documents

Publication Publication Date Title
TWI724442B (zh) 用於查找表更新的編碼的運動信息的選擇
US10623774B2 (en) Constrained block-level optimization and signaling for video coding tools
CN109804626B (zh) 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
CN109076216B (zh) 使用画面划分信息对视频进行编码和解码的方法和设备
CN110719470B (zh) 视频编码的块尺寸限制
TWI731361B (zh) 依賴形狀的幀內編碼
US11350083B2 (en) Intra block copy merging data syntax for video coding
KR20190046704A (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
KR20220162701A (ko) 비디오 코딩에서의 일반 제약 정보 신택스
US11240507B2 (en) Simplified palette predictor update for video coding
CN110839160B (zh) 扩展四叉树分割的强制边界分割
US20220201281A1 (en) Decoder side intra mode derivation for most probable mode list construction in video coding
WO2020164480A1 (en) Condition dependent video block partition
TW202143734A (zh) 視訊譯碼中的低頻不可分離變換索引信號傳遞
KR20230123943A (ko) 비디오 코딩에서 최고 확률 모드 리스트 구성을 위한 디코더측 인트라 모드 도출
KR20230003061A (ko) 모션 정밀 신택스을 위한 엔트로피 코딩
TWI719524B (zh) 降低非相鄰Ｍerge設計的複雜度
TWI722486B (zh) 取決於形狀的插值順序
CN114747218A (zh) Hmvp表的更新
KR20230162604A (ko) 비-인접 후보들을 갖는 템플릿 매칭-기반 진보된 모션 벡터 예측자 (amvp) 후보 리스트 구성 및 amvp 인덱스 시그널링
KR20240122241A (ko) 영상 부호화/복호화 방법 및 장치