TW202344058A - 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置 - Google Patents

視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置 Download PDF

Info

Publication number
TW202344058A
TW202344058A TW112113834A TW112113834A TW202344058A TW 202344058 A TW202344058 A TW 202344058A TW 112113834 A TW112113834 A TW 112113834A TW 112113834 A TW112113834 A TW 112113834A TW 202344058 A TW202344058 A TW 202344058A
Authority
TW
Taiwan
Prior art keywords
current block
intra prediction
mode
dimd
intra
Prior art date
Application number
TW112113834A
Other languages
English (en)
Inventor
蔡佳銘
陳俊嘉
江嫚書
林郁晟
莊子德
徐志瑋
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202344058A publication Critical patent/TW202344058A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了用於視頻編解碼的方法和裝置。根據一種方法，對應於初始角度幀內預測模式集合的子集的所選角度幀內預測候選模式集合被用於導出DIMD候選者。在另一種方法中，用信號通知或解析最終幀內預測模式和DIMD導出模式之間的增量角。在又一種方法中，通過使用包括將梯度過濾結果的梯度幅度與閾值進行比較的過程來確定DIMD候選模式。

Description

視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置
本發明涉及視頻編解碼系統中的幀內預測。特別地，本發明涉及解碼器側幀內模式推導(DIMD)編解碼工具的計算複雜度降低和/或性能改進。
通用視頻編碼(VVC)是由ITU-T視頻編碼專家組(VCEG)的聯合視頻專家組(JVET)和ISO/IEC運動圖像專家組(MPEG)共同製定的最新國際視頻編碼標準,該標準已作為 ISO 標準發布：ISO/IEC 23090-3:2021，信息技術 - 沉浸式媒體的編碼表示-第3部分：通用視頻編碼，2021年2月發布。VVC是在其前身 HEVC（High Efficiency Video Coding）通過添加更多的編解碼工具來提高編解碼效率，還可以處理各種類型的視頻源，包括3維（3D）視頻信號。
第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對於幀內預測，預測資料是根據當前圖片中先前編碼的視頻資料導出的。對於幀間預測112，在編碼器側執行運動估計(ME)並且基於ME的結果執行運動補償(MC)以提供從其他圖片和運動資料導出的預測資料。開關114選擇幀內預測110或幀間預測112並且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差然後由變換(T)118和隨後的量化(Q)120處理。變換和量化的殘差然後由熵編碼器122編碼以包括在對應於壓縮視頻資料的視頻位元流中。 與變換係數相關聯的位元流然後與輔助信息（例如與幀內預測和幀間預測相關聯的運動和編碼模式）以及其他信息（例如與應用於底層圖像區域的環路過濾器相關聯的參數）一起打包。與幀內預測110、幀間預測112和環內過濾器130相關聯的輔助信息被提供給熵編碼器122，如第1A圖所示。當使用幀間預測模式時，也必須在編碼器端重建一個或多個參考圖片。因此，經變換和量化的殘差由逆量化（IQ）124和逆變換（IT）126處理以恢復殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視頻資料。重建的視頻資料可以存儲在參考圖片緩衝器134中並用於預測其他幀。
如第1A圖所示，輸入的視頻資料在編碼系統中經過一系列處理。由於一系列處理，來自REC128的重建視頻資料可能會受到各種損害。因此，環路過濾器130經常在重構視頻資料被存儲在參考圖片緩衝器134中之前應用於重構視頻資料以提高視頻質量。例如，可以使用去塊過濾器（DF）、樣本自適應偏移（SAO）和自適應環路過濾器（ALF）。可能需要將環路過濾器信息合併到位元流中，以便解碼器可以正確地恢復所需的信息。因此，環路過濾器信息也被提供給熵編碼器122以合併到位元流中。第1A圖中，環路過濾器130在重構樣本被存儲在參考圖片緩衝器134中之前被應用於重構視頻。第1A圖中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應於高效視頻編碼 (HEVC) 系統、VP8、VP9、H.264 或 VVC。
如第1B圖所示，解碼器可以使用與編碼器相似或相同的功能塊，除了變換118和量化120之外，因為解碼器只需要逆量化124和逆變換126。替代熵編碼器122，解碼器使用熵解碼器140將視頻位元流解碼為量化的變換係數和所需的編碼信息(例如ILPF信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反，解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外，對於幀間預測，解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償（MC152）而無需運動估計。
在本發明中，公開了用於提高解碼器側幀內模式推導（DIMD)編碼工具的性能或降低計算複雜度的技術。
公開了一種用於視頻編碼的方法和裝置。 根據該方法，在編碼器側接收與當前塊相關聯的像素資料或在解碼器側與待解碼的當前塊相關聯的編碼資料。為當前塊確定對應於初始角度幀內預測模式集合的子集的所選角度幀內預測候選模式集合，其中所選角度幀內預測候選模式集合取決於當前塊的塊大小或當前塊的相鄰塊的預測模式。基於使用從當前塊的模板導出的角度場的統計或直方圖的DIMD過程，從當前塊的所選角度幀內預測候選模式集合中確定的一個或多個目標DIMD候選。基於包括所述一個或多個目標DIMD候選的信息生成最終幀內預測子。使用最終幀內預測子對當前塊進行編碼或解碼。
在一個實施例中，對於當前塊的較小塊尺寸，所選擇的角度幀內預測候選模式集合中的角度幀內預測候選模式的數量被確定為較少。當前塊的塊大小可以對應於當前塊的塊寬度和塊高度之和。
在一個實施例中，所選擇的一組角度幀内預測候選模式對應於用於當前塊的一組預定義的角度幀内預測模式。
在一個實施例中，所選擇的一組角度幀內預測候選模式對應於受限候選集。受限候選集可以對應於包括偶數幀內預測模式、奇數幀內預測模式、角度幀內預測模式初始集合的前半部分集合、或角度幀內預測模式初始集合的後半部分集合的集合中的成員。在一個實施例中，用信號發送或解析語法以指示與當前塊的受限候選集相對應的集合中的成員。在另一個實施例中，從PPS（圖片參數集）、SPS（序列參數集）、圖片頭、切片頭或CTU級語法用信號通知或解析與受限候選集相關的語法。
在一個實施例中，與受限候選集相關的語法是基於其他語法隱式導出的。在另一個實施例中，總是使用受限候選集。
在一個實施例中，如果頂部相鄰CU在跳過模式中被幀間編碼，則所選擇的角度幀內預測候選模式集合排除模式編號大於對角幀內角度模式的角度幀內預測候選模式。在另一實施例中，如果左相鄰CU以跳過模式幀間編碼，則所選擇的角度幀內預測候選模式集合排除模式編號小於對角幀內角度模式的角度幀內預測候選模式。
根據另一實施例，初始幀內預測模式使用DIMD導出。與增量角相關聯的一種或多種語法在位元流中用信號發送或從位元流中解析。使用最終幀內預測模式對當前塊進行編碼或解碼，其中增量角對應於最終幀內預測模式與初始幀內預測模式之間的差異。
在一個實施例中，所述一個或多個語法包括與增量角的大小相關聯的第一語法和與增量角的符號相關聯的第二語法。
根據另一實施例，將一個或多個梯度過濾器應用於當前塊的模板以生成梯度過濾結果。通過將梯度過濾結果的梯度幅度與閾值進行比較來確定DIMD候選模式。基於包括DIMD候選模式的信息生成最終幀內預測子。使用最終幀內預測子對當前塊進行編碼或解碼。
在一個實施例中，閾值取決於當前塊的塊大小。在一個實施例中，如果所有梯度幅度都小於閾值，則DIMD候選模式被設置為平面模式。在另一實施例中，將DIMD中具有最大梯度幅度的目標候選幀內角度模式設置為當前幀內預測模式。
將容易理解的是，如本文附圖中大體描述和圖示的本發明的組件可以以多種不同的配置來佈置和設計。因此，以下對如圖所示的本發明的系統和方法的實施例的更詳細描述並不旨在限制所要求保護的本發明的範圍，而僅代表本發明的選定實施例 . 貫穿本說明書對“一個實施例”、“一個實施例”或類似語言的引用意味著結合該實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的短語“在一個實施例中”或“在一個實施例中”不一定都指代相同的實施例。
此外，所描述的特徵、結構或特性可以以任何合適的方式組合在一個或多個實施例中。然而，相關領域的技術人員將認識到，本發明可以在沒有一個或多個特定細節的情況下，或使用其他方法、組件等來實踐。在其他情況下，未顯示或未顯示眾所周知的結構或操作 詳細描述以避免模糊本發明的方面。 參考附圖將最好地理解本發明的所示實施例，其中相同的部分自始至終由相同的數字表示。下面的描述僅旨在作為示例，並且簡單地說明與如本文要求保護的本發明一致的設備和方法的某些選定實施例。
根據VVC，類似於HEVC，輸入圖片被劃分為稱為CTU(編碼樹單元）的非重疊方形塊區域。每個CTU都可以劃分為一個或多個較小尺寸的編碼單元(CU)。生成的CU分區可以是正方形或矩形。此外，VVC將CTU劃分為預測單元(PU)，作為應用預測過程的單元，例如幀間預測、幀內預測等。
VVC標準合併了各種新的編碼工具以進一步提高超過HEVC標準的編碼效率。在各種新的編碼工具中，與本發明相關的一些編碼工具綜述如下。
使用樹結構劃分 CTU
在HEVC中，通過使用表示為編碼樹的四叉樹(QT)結構將CTU分成CU以適應各種局部特性。使用圖片間（時間）或圖片內（空間）預測對圖片區域進行編碼的決定是在葉CU級別做出的。每個葉CU可以根據PU分割類型進一步分割成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並將相關信息以PU為基礎傳輸到解碼器。在通過應用基於PU分割類型的預測過程獲得殘差塊之後，葉CU可以根據類似於CU的編碼樹的另一種四叉樹結構被劃分為變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個分區概念，包括CU、PU和TU。
在VVC中，使用二元和三元分割結構的具有嵌套多類型樹的四叉樹取代了多分割單元類型的概念，即它除了對於具有對於最大變換長度來說尺寸太大的CU來説，去除了CU、PU和TU概念的分離，並且支持更靈活的CU分區形狀。在編碼樹結構中，CU可以是正方形或長方形。編碼樹單元(CTU)首先按四叉樹(quaternary tree)（也稱為quadtree）結構進行分區。然後四叉樹葉節點可以進一步劃分為多類型樹結構。如第2圖所示，多類型樹結構中有四種分割類型，垂直二元分割（SPLIT_BT_VER 210），水平二元分割（SPLIT_BT_HOR 220），垂直三元分割（SPLIT_TT_VER 230），水平三元分割（SPLIT_TT_HOR 240）。多類型樹葉節點稱為編碼單元(CU)，除非CU對於最大變換長度來說太大，否則此分段將用於預測和變換處理，而無需進一步劃分。這意味著，在大多數情況下，CU、PU和TU在具有嵌套多類型樹編碼塊結構的四叉樹中具有相同的塊大小。當支持的最大變換長度小於CU顏色分量的寬度或高度時會發生異常。
第3圖示出了具有嵌套多類型樹編碼樹結構的四叉樹中的分區分割信息的信令機制。編碼樹單元（CTU）被視為四叉樹的根，並且首先由四叉樹結構劃分。每個四叉樹葉節點（當足夠大以允許它時）然後由多類型樹結構進一步劃分。在多類型樹結構中，發送第一標誌(mtt_split_cu_flag)以指示節點是否被進一步劃分；當一個節點被進一步劃分時，第二個標誌（mtt_split_cu_vertical_flag）被發送以指示分割方向，然後第三個標誌（mtt_split_cu_binary_flag）被發送以指示分割是二元分割還是三元分割。根據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推導出一個CU的多類型樹分割模式（MttSplitMode），如表1所示。 表1 – 基於多類型樹語法元素導出MttSplitMode
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
第4圖示出了CTU被劃分為具有四叉樹和嵌套多類型樹編碼塊結構的多個CU，其中粗體塊邊緣表示四叉樹分區，其餘邊緣表示多類型樹分區。具有嵌套多類型樹分區的四叉樹提供了由CU組成的內容自適應編碼樹結構。CU的大小可以與CTU一樣大，也可以以亮度樣本為單位小至 4×4。對於4:2:0色度格式，最大色度CB大小為64×64，最小色度CB大小由16個色度樣本組成。
在VVC中，支持的最大亮度變換大小為64×64，支持的最大色度變換大小為32×32。當CB的寬度或高度大於最大變換寬度或高度時，CB會自動在水平和/或垂直方向上拆分以滿足該方向上的變換大小限制。
以下參數由用於具有嵌套多類型樹編碼樹方案的四叉樹的SPS語法元素定義和指定。 –CTU 尺寸：四叉樹的根節點大小 – MinQTSize：允許的最小四叉樹葉節點大小 – MaxBtSize：允許的最大二叉樹根節點大小 – MaxTtSize：最大允許的三叉樹根節點大小 – MaxMttDepth：從四叉樹葉節點分割出的多類型樹的最大允許深度 – MinBtSize：允許的最小二叉樹葉節點大小 – MinTtSize：允許的最小三叉樹葉節點大小
在具有嵌套多類型樹編碼樹結構的四叉樹的一個示例中，CTU大小被設置為128×128亮度樣本和兩個對應的64×64塊的4:2:0色度樣本， MinQTSize被設置為16×16， MaxBtSize設置為128×128， MaxTtSize設置為64×64， MinBtSize和 MinTtSize（寬度和高度）設置為4×4，MaxMttDepth設置為4。樹劃分首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點的大小可以從16×16（即 MinQTSize）到128×128（即CTU大小）。如果葉QT節點為128×128，由於大小超過了 MaxBtSize和 MaxTtSize（即64×64），二叉樹將不再進一步分割。否則，四叉樹葉節點可能會被多類型樹進一步劃分。因此，四叉樹葉節點也是多元樹的根節點，其多元樹深度（ mttDepth）為0。當多元樹深度達到 MaxMttDepth（即4）時，被認為不再進一步分割。當多類型樹節點的寬度等於 MinBtSize且小於或等於2 * MinTtSize時，不再考慮進一步水平分割。類似地，當多類型樹節點的高度等於 MinBtSize且小於或等於2 * MinTtSize時，不考慮進一步的垂直分割。
為了在VVC硬件解碼器中允許64×64亮度塊和32×32色度塊流水線設計，當亮度編碼塊的寬度或高度大於64時禁止TT分割，如第5圖所示，其中塊500對應於128x128亮度CU。可以使用垂直二叉樹分割（510）或水平二叉樹分割（520）來拆分CU。將塊拆分成4個CU，每個CU大小為64x64，CU可以進一步使用包括TT在內的分區進行分割。例如，左上角的64x64CU使用垂直三元分割(530)或水平三元分割(540)進行分區。當色度編碼塊的寬度或高度大於32時，也禁止TT拆分。
在VVC中，編碼樹方案支持亮度和色度具有單獨的塊樹結構的能力。對於P和B切片，一個CTU中的亮度和色度CTB必須共享相同的編碼樹結構。然而，對於I切片，亮度和色度可以具有單獨的塊樹結構。當應用分別的塊樹模式時，亮度CTB被一種編碼樹結構分割成CU，色度CTB被另一種編碼樹結構分割成色度CU。這意味著I切片中的CU可能由亮度分量的編碼塊或兩個色度分量的編碼塊組成，而P或B切片中的CU總是由所有三種顏色分量的編碼塊組成，除非視頻是單色。
虛擬管道資料單元（ Virtual Pipeline Data Units ， VPDU)
虛擬流水線資料單元(VPDU)被定義為畫面中的非重疊單元。在硬件解碼器中，連續的VPDU由多個流水線級同時處理。在大多數流水線階段，VPDU大小與緩衝區大小大致成正比，因此保持VPDU大小較小很重要。在大多數硬件解碼器中，VPDU大小可以設置為最大變換塊(TB)大小。然而，在VVC中，三叉樹(TT)和二叉樹(BT)分區可能會導致VPDU大小增加。
為了將VPDU大小保持為64x64亮度樣本，在VTM中應用以下規範分區限制（具有語法信令修改），如第6圖所示： – 對於寬度或高度或寬度和高度均等於128的CU，不允許進行TT拆分（如第6圖中的“X”所示）。 –對於N≤64的128xNCU（即寬度等於128且高度小於128），不允許水平BT。
對於N≤64(即高度等於128且寬度小於128)的Nx128 CU，不允許垂直BT。在第6圖中，亮度塊大小為128x128。虛線表示塊大小為64x64。根據上述約束條件，不允許分區的示例用“X”表示，如第6圖中的各種示例（610-680）所示。
具有 67 種幀內預測 模式的幀內模式編碼
為了捕獲自然視頻中呈現的任意邊緣方向，VVC中的方向幀內模式的數量從HEVC中使用的33個擴展到65個。HEVC中沒有的新方向模式在第7圖中被描繪為虛線箭頭、平面和DC模式保持不變。這些更密集的方向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。
在VVC中，針對非正方形塊，幾種傳統的角度幀內預測模式被自適應地替換為廣角(wide-angle)幀內預測模式。
在HEVC中，每個幀內編碼塊具有正方形形狀並且其每條邊的長度是2的冪。因此，不需要除法運算來使用DC模式生成幀內預測子。在VVC中，塊可以具有矩形形狀，這在一般情況下需要對每個塊使用除法運算。為了避免DC預測的除法操作，只有較長的邊用於計算非方形塊的平均值。
為了保持最可能模式(MPM)列表生成的複雜度較低，通過考慮兩個可用的相鄰幀內模式，使用具有6個MPM的幀內模式編碼方法。構建MPM列表考慮以下三個方面： – 默認幀內模式 – 相鄰幀內模式 – 導出的幀內模式。
統一的6-MPM列表用於幀內塊，而不管是否應用MRL和ISP編碼工具。MPM列表是基於左側和上方相鄰塊的幀內模式構建的。假設左邊的模式記為Left，上方塊的模式記為Above，則統一的MPM列表構造如下： – 當相鄰塊不可用時，其幀內模式默認設置為平面。 – 如果Left和Above兩種模式都是非角度模式： – MPM 列表  à{平面, DC, V, H, V − 4, V + 4} – 如果Left和Above模式之一是角度模式，另一個是非角度模式： – 將模式Max設置為Left和Above中的較大模式 –MPM列表à{平面, Max, DC, Max − 1, Max + 1, Max − 2} – 如果Left和Above都是有角度的並且它們不同： – 將模式Max設置為Left和Above中的較大模式 – 如果模式Left和Above的差異在2到62的範圍內，包括 •MPM列表à{平面, Left, Above, DC, Max − 1, Max + 1} -     否則 •MPM列表à{平面, Left, Above, DC, Max − 2, Max + 2} – 如果 Left 和 Above 都是有角度的並且它們是相同的： –MPM列表à{平面, Left, Left − 1, Left + 1, DC, Left − 2}
此外，MPM索引碼字的第一個二進制碼（bin）是CABAC上下文編碼的。總共使用了三個上下文，對應於當前幀內塊是啟用MRL、啟用ISP還是正常幀內塊。
在6 MPM列表生成過程中，修剪用於去除重複的模式，使得只有獨特的模式可以被包括到MPM列表中。對於61種非MPM模式的熵編碼，使用截斷二進制代碼(Truncated Binary Code， TBC)。
非方形塊的廣角度幀内預測
常規角度幀內預測方向被定義為順時針方向從45度到-135度。在VVC中，幾種傳統的角度幀內預測模式被自適應地替換為非方形塊的廣角度幀内預測模式。替換的模式使用原始模式索引發出信號，原始模式索引在解析後重新映射到廣角模式的索引。幀內預測模式總數不變，即67，幀內模式編碼方式不變。
為了支持這些預測方向，分別如第8A圖和第8B圖所示定義了長度為2W+1的頂部參考和長度為2H+1的左側參考。
廣角方向模式中替換模式的數量取決於塊的縱橫比。替換的幀內預測模式如表 2 所示。 表 2 – 被廣角模式取代的幀內預測模式
縱橫比 替代的幀内預測模式
W / H == 16 模式 12, 13,14,15
W / H == 8 模式 12, 13
W / H == 4 模式 2,3,4,5,6,7,8,9,10,11
W / H == 2 模式 2,3,4,5,6,7,
W / H == 1 無
W / H == 1/2 模式 61,62,63,64,65,66
W / H == 1/4 模式 57,58,59,60,61,62,63,64,65,66
W / H == 1/8 模式 55, 56
W / H == 1/16 模式 53, 54, 55, 56
在VVC中，支持4:2:2、4:4:4以及4:2:0色度格式。4:2:2 色度格式的色度導出模式(derived mode，DM)推導表最初是從HEVC移植的，將條目數從35擴展到67，以與幀內預測模式的擴展保持一致。由於HEVC規範不支持-135∘以下和45∘以上的預測角度，亮度幀內預測模式從2到5映射到2。因此，4:2:2色度格式的色度DM推導表更新方式是替換映射表條目的一些值，以更精確地轉換色度塊的預測角度。
解碼器端幀內模式推導 (DIMD)
當應用DIMD時，兩個幀內模式從重建的相鄰樣本中導出，並且這兩個預測與平面模式預測結合，權重從梯度中導出。DIMD模式用作替代預測模式，並始終在高複雜度RDO模式下進行檢查。
為了隱式導出塊的幀內預測模式，在編碼器和解碼器側都執行紋理梯度分析(texture gradient analysis)。此過程從具有65個條目的空梯度直方圖(HoG)開始，對應於65個角度模式。這些條目的幅度在紋理梯度分析期間確定。
在第一步中，DIMD從當前塊的左側和上方分別選取一個T=3列和行的模板（template）。該區域用作基於梯度的幀內預測模式推導的參考。
在第二步中，水平和垂直Sobel過濾器應用於所有3×3窗口位置，以模板中線的像素為中心。在每個窗口位置，索貝爾過濾器計算純水平和垂直方向的強度分別為 和 。 然後，窗口的紋理角度計算為： (1)
可以轉換為 65 種角度幀內預測模式之一。一旦當前窗口的幀內預測模式索引被導出為 idx，其在HoG[ idx]中的條目的幅度通過添加更新： (2)
第9A-C圖顯示了在對模板中的所有像素位置應用上述操作之後計算的HoG的示例。第9A圖圖示了為當前塊910選擇的模板920的示例。模板920包括當前塊上方的T行和當前塊左側的T列。對於當前塊的幀內預測，當前塊上方和左側的區域930對應於重構區域，而塊下方和右側的區域940對應於不可用區域。第9B圖圖示了T＝3的示例並且HoG是針對中間行中的像素960和中間列中的像素962計算的。例如，對於像素952，使用3x3窗口950。第9C圖圖示了對於如從等式(1)確定的角度幀內預測模式，基於等式(2)計算的幅度(Ampl)的示例。
一旦計算出HoG，就選擇具有兩個最高直方圖條的索引作為塊的兩個隱式導出的幀內預測模式，並進一步與平面模式組合作為DIMD模式的預測。預測融合被應用為上述三個預測變量的加權平均。為此，平面的權重固定為21/64（~1/3）。剩餘的43/64(~2/3)權重然後在兩個HoG IPM之間共享，與它們的HoG條的幅度成比例。第10圖說明了混合過程的示例。如第10圖所示，根據具有直方圖條1010的兩個最高條的索引選擇兩個幀內模式（M 11012和M 21014）。三個預測子（ Pred 1 1040、 Pred 2 1042和 Pred 3 1044）用於形成混合預測。三個預測子對應於將M 1、M 2和平面幀內模式（分別為1020、1022和1024）應用到參考像素1030以形成相應的預測子。三個預測變量由相應的加權因子（ ）1050加權。使用加法器1052對加權預測變量求和以生成混合預測變量1060。
此外，將兩個隱式導出的幀內模式包含在MPM列表中，以便在構造MPM列表之前執行DIMD過程。DIMD塊的主要導出幀內模式與塊一起存儲，並用於相鄰塊的MPM列表構造。
如前所述，DIMD是提高編解碼效率的有用編解碼工具。在本發明中，公開了提高DIMD預測精度或編碼性能的方法。
在一個實施例中，當前塊的最終幀內預測通過組合兩個或更多個幀內預測來產生。兩個或更多個幀內預測可以來自幀內角度預測、幀內DC預測、幀內平面預測或其他幀內預測工具。在一個實施例中，“兩個或多個幀內預測”之一（表示為P1）可以是幀內角度模式，它由相鄰重建樣本的梯度（例如，通過DIMD）隱式導出，並具有最高的梯度直方圖條。“兩個或多個幀內預測”中的另一個（表示為P2）可以通過模板匹配（例如，通過TIMD）、最常選擇的相鄰4x4塊的幀內預測模式、排除高紋理區域後選擇的幀內模式、顯式發出信號的角度模式而隱式導出，或明確發出信號並從其中一個MPM導出。在另一個實施例中，“兩個或多個幀內預測”的P1可以是幀內角度模式，它由相鄰重建樣本的梯度隱式導出（例如，通過 DIMD）並且幀內模式角度大於或等於對角線內角（例如，模式34在67個模式內角，模式66在131個模式內角）。“多於幀內預測”的P2可以通過DIMD隱式導出，幀內模式角度小於對角線幀內角度。在又一個實施例中，“兩個或多個幀內預測”的P1可以是幀內角度模式，其由DIMD隱式導出。“兩個或更多個幀內預測”的P2可以從相鄰塊隱含地導出。
第11A圖圖示了P2預測推導的示例，其中用於當前塊1110的區域1120（如斜綫填充區域所示）的P2預測是，根據相鄰4x4塊（顯示為正方形，其中箭頭對應於相鄰4x4塊的各個幀內預測模式）的幀内預測模式導出的。
在另一個實施例中，“兩個或多個幀內預測”的P1可以是由DIMD隱式導出的幀內角度模式，“兩個或多個幀內預測”的P2可以是參考任何平滑幀內預測(smooth intra prediction)方法的平面預測(planar prediction),其中平滑幀內預測是在當前塊的角落使用多個參考樣本的方法，例如 HEVC/VVC 中定義的平面預測，平面預測的其他修改或更改形式。
當前塊的最終幀內預測可以由 權重1 × P1 + 權重2 × P2, (P1 + P2 + 1) ＞＞ 1, 或者 最大值(P1, P2) = (P1 + P2 + 絕對值(P1 – P2)) ＞＞ 1.
第11B圖圖示了結合本發明的實施例的另一示例，其中當前塊1130的相鄰窗口位置被劃分成多個組（例如，Gl、G2、G3和G4)。每組將選擇一個角度幀内模式，最終的幀內預測是這些選定的角度內預測與權重的融合（即混合）。
第11C圖圖示了結合本發明的實施例的另一個示例，其中最終幀內預測被劃分成多個區域並且每個區域的幀內預測取決於相鄰窗口位置。例如，當前塊1140的R1區域的幀內預測由G2和G3導出的幀內預測融合，R2區域的幀內預測由G1和G3導出的幀內預測融合，R3區域的幀內預測由來自G2和G4的導出的幀內預測融合，和/或R4區域的幀內預測與來自G1和G4的導出幀內預測融合。
在另一個實施例中，當應用Sobel過濾器之後的梯度幅度小於閾值時，所有導出的DIMD模式被設置為平面模式，或者當前預測被設置為平面預測。在一個實施例中，允許閾值隨塊大小而變化。在又一個實施例中，當應用Sobel過濾器之後的梯度幅度大於閾值或者應用Sobel過濾器之後第一DIMD模式的梯度幅度大於閾值（其隨著塊大小而變化），當前幀內預測被設置為來自第一個DIMD模式的預測（即，不與平面預測混合）。在一個實施例中，允許閾值隨塊大小而變化。
在另一實施例中，在DIMD過程中，在導出最終角度幀内模式預測時進一步考慮候選角度幀内模式預測和相鄰重建樣本之間的邊界平滑度。例如，頂部/左側預測樣本與每個幀內模式候選的相應相鄰樣本之間的SAD在搜索最終角度幀内模式預測時被考慮，如第12圖所示。在第12圖中，當前塊1210內的頂部和左側邊界區域1220中的預測樣本（對應於候選角度幀内模式預測）由斜線指示。頂部區域1230和左側區域1232中的相鄰重建樣本被示為點填充區域。
在另一個實施例中，為了改進DIMD的編碼性能，增量角被用信號通知給解碼器側。最終的角度幀内模式是由DIMD加上增量角(delta)導出的角度幀内模式。在一個實施例中，編碼器側可以使用原始樣本來估計最佳角度幀内模式。為了減少模式信令開銷，應用DIMD隱式導出角度幀内模式，然後將最佳角度幀内模式和DIMD導出的幀內模式之間的增量角用信號發送給解碼器端。增量角可以包含增量角大小的語法和增量角符號的語法。解碼器端的最終角度幀内模式是DIMD導出的角度幀内模式加上增量角。請注意，用於發送增量角的幅度和符號所需的編碼二進制字符串小於用於發送最終角度幀内模式信號所需的編碼二進制字符串（例如，H.266/VVC中的intra_luma_mpm_remainder語法或H.265/HEVC中的rem_intra_luma_pred_mode 語法）。
為了簡化DIMD過程，HoG計算來自部分選擇的相鄰窗口位置以減少所需的計算。對於一個實施例，它可以選擇中上、右上、左中、左下相鄰窗口位置來應用Sobel過濾器來構建HoG。或者，它可以選擇偶數或奇數相鄰窗口位置來應用Sobel過濾器來構建HoG。對於另一個實施例，角度模式是通過將Sobel過濾器應用於上面選擇的窗口位置（例如，上面的相鄰窗口位置覆蓋 0，...，2×當前塊寬度，或0，...，當前塊寬度+當前塊高度），另一種角度模式是通過將Sobel過濾器應用於左側選擇的窗口位置（例如，左側相鄰位置覆蓋0，...，2×當前塊高度，或0，...，當前塊寬度+當前塊高度)，則不需要HoG計算。
在另一個實施例中，為了提高DIMD的編解碼性能，將DIMD預測應用於色度CU以隱含地推導幀角度幀内模式。在一個實施例中，如果候選幀內色度模式是DC、垂直、水平、平面和DM，則應用DIMD預測來導出最終幀內角度模式。在另一實施例中，標誌用於指示DIMD是否用於導出最終角度幀内模式。如果該標誌為真，則DIMD隱式導出最終角度幀内模式，並排除候選幀內模式列表中的DC、垂直、水平、平面和DM模式。
在另一個實施例中，在通過DIMD導出角度幀内模式之後，可以圍繞導出的角度幀内模式執行精細搜索。在一個實施例中，DIMD從模式0到66導出角度幀内模式。假設導出角度幀内模式k，編碼器側可以在(k-1)和(k+1)之間插入更多的角度幀内模式用於搜索，並且用信號指示最終幀內預測角度模式的增量值。
在另一個實施例中，當通過DIMD導出角度幀内模式時，可以在計算梯度直方圖時排除或減小相鄰幀間編碼位置的梯度，或者增加幀間編碼模板的預測和重建之間的成本。
為了減少DIMD中所需的比較，DIMD中的候選角度幀内模式可以取決於相鄰塊的塊大小或預測模式。在一個實施例中，DIMD中用於小CU的候選角度幀内模式的數量(例如，CU寬度+高度或CU面積小於閾值)小於用於大CU的DIMD中的候選角度幀内模式的數量。例如，DIMD中用於小CU的角度幀内模式候選數是34，DIMD中用於大CU的角度幀内模式候選數是67。在又一個實施例中，DIMD中的候選角度幀内模式可以被進一步約束或減少到預先定義的範圍。例如，如果當前的角度幀内模式可以支持多達67種模式（即0、1、2、3、...、66），它可以將DIMD中的候選角度幀内模式限制為這67種模式的子集（即 , 候選模式編號＜67)。受限候選可以是{0, 1, 2, 4, 6, 8, …, 66}、{0, 1, 3, 5, 7, 9, …, 65}、{0, 1, 2, 3, 4, 5, …, 34}、{34, 35, 36, 37, 38, …, 66}。這種約束條件（例如，哪些子集被選中）可以在PPS（圖片參數集）、SPS（序列參數集）、圖片頭、切片頭、CTU級語法中用信號表示，或根據其他語法隱式導出，或總是應用。對於又一示例，如果用信號通知約束條件，則用DIMD編碼的CU僅使用較少的候選角度幀内模式來導出最終角度幀内模式。在另一個實施例中，DIMD中的候選角度幀内模式可以進一步受到相鄰塊的預測模式的約束。例如，如果頂部相鄰CU在跳過模式下進行幀間編碼，則角度幀内模式大於對角線角度幀内模式（例如，在131個角度幀内模式的模式66，在67個角度幀内模式的模式34，在34個角度幀内模式的模式18）被排除在DIMD的候選角度幀内模式之外。如果左相鄰CU在跳過模式中進行幀間編碼，則角度幀内模式小於對角線角度幀内模式（例如，131角度幀内模式中的模式66，67角度幀内模式中的模式34，34角度幀内模式中的模式18）被排除在DIMD的候選角度幀内模式之外。
在DIMD中計算HoG的相鄰行的數量可以在PPS、SPS、圖片頭、切片頭、CTU級語法中用信號通知，或者根據其他語法隱式導出。例如，當當前塊大小小於或大於閾值時，它可以使用更多的相鄰行來計算DIMD中的HoG。
在通過DIMD生成角度幀内模式預測後，幀內預測通過相鄰重建樣本的梯度進一步細化。在一個實施例中，幀內預測通過相鄰重建樣本的梯度來細化。例如，如第13圖 所示，對於當前塊1310，如果當前幀內預測來自左側相鄰重建樣本1330，則(x, y)處的當前預測通過左-上角樣本（例如， R -1,-1）和當前左相鄰樣本（例如， R -1, y）之間的梯度進一步細化。然後，在(x, y)處的細化預測是( w 1× ( R x, -1+ ( R -1,-1- R -1, y)) + w 2× pred(x, y)) / ( w 1+ w 2)。對於又一個示例，如果當前幀內預測來自上側相鄰重建樣本1320，則(x, y)處的當前預測通過左上角樣本（例如， R -1,-1) 和當前上方的相鄰樣本（例如， R x, - 1）之間的梯度進一步細化。然後，在(x, y)處的細化預測是 w 1× ( R -1, y+ ( R -1,-1- R x, -1)) + w 2× pred(x, y)) / ( w 1+ w 2)。
當當前塊為窄塊（如寬度＜＜高度）或寬塊（如寬度＞＞高度）時，水平和垂直的Sobel過濾器分別替換為如下兩個矩陣進行映射以支持廣角幀内模式。 ,或 。
如果映射的角度幀内模式大於135（例如，模式66）或小於-45（例如，模式2），則映射的角度幀内模式轉換為另一側的幀内模式。例如，如果映射幀內角度模式大於模式66，則轉換後的幀內預測模式等於（映射幀內角度模式-65）。又例如，如果映射的幀內角度模式小於模式2，則轉換後的幀內預測模式等於（映射的幀內角度模式+67）。
可以在編碼器和/或解碼器中實現任何前述提出的改進的DIMD方法。例如，任何提出的改進DIMD方法都可以在編碼器的幀內預測模塊（例如第1A圖中的幀內預測110）和/或幀內預測模塊（例如第1B圖中的解碼器的幀內預測150）中實現。然而，編碼器或解碼器也可以使用額外的處理單元來實現所需的處理。或者，所提出的任何方法都可以實現為耦合到編碼器的幀間/幀內/預測模塊和/或解碼器的幀間/幀內/預測模塊的電路，以便提供幀間/幀內/預測模塊所需的信息。
第14圖圖示了根據本發明的實施例的使用角度幀內預測模式的子集導出DIMD（解碼器端幀內模式導出）候選者的示例性視頻編碼系統的流程圖。根據該方法，在步驟1410中，在編碼器側接收與當前塊相關聯的像素資料或在解碼器側與要解碼的當前塊相關聯的編碼資料。在步驟1420中，决定一選擇的角度幀內預測候選模式集合，對應於當前塊的初始角度幀內預測模式的集合的子集，其中所選擇的一組角度幀內預測候選模式取決於當前塊的塊大小或當前塊的相鄰塊的預測模式。在步驟1430中，基於使用從當前塊的模板導出的角度場的統計或直方圖的DIMD過程，從當前塊的所選角度幀內預測候選模式集合中確定的一個或多個目標DIMD候選。在步驟1440中，基於包括所述一個或多個目標DIMD候選的信息生成最終幀內預測子。在步驟1450中使用最終幀內預測子編碼或解碼當前塊。
第15圖圖示了根據本發明的實施例導出DIMD候選的示例性視頻編解碼系統的流程圖，其中最終幀內預測模式和DIMD導出模式之間的增量角被發出信號或被解析。根據該方法，在步驟1510中在編碼器側接收與當前塊相關聯的像素資料或在解碼器側與要解碼的當前塊相關聯的編碼資料。在步驟1520中，確定使用DIMD導出的初始幀內預測模式。在步驟1530中，與增量角相關聯的一個或多個語法從位元流中用信號發送或解析。在步驟1540中使用最終幀內預測模式對當前塊進行編碼或解碼，其中增量角對應於最終幀內預測模式和初始幀內預測模式之間的差異。
第16圖圖示了根據本發明的實施例的示例性視頻編解碼系統的流程圖，該視頻編解碼系統使用包括將梯度過濾結果的梯度幅度與閾值進行比較的過程來導出DIMD候選。根據該方法，在步驟1610中，在編碼器側接收與當前塊相關聯的像素資料或在解碼器側與要解碼的當前塊相關聯的編碼資料。步驟1620中，將一個或多個梯度過濾器應用於當前塊的模板，以生成梯度過濾結果。在步驟1630中通過將梯度過濾結果的梯度幅度與閾值進行比較來確定DIMD候選模式。在步驟1640中，基於包含DIMD候選模式的信息生成最終幀內預測子。在步驟1650中使用最終幀內預測子對當前塊進行編碼或解碼。
所示流程圖旨在說明根據本發明的視頻編碼的示例。在不脫離本發明的精神的情況下，本領域的技術人員可以修改每個步驟、重新安排步驟、拆分步驟或組合步驟來實施本發明。在本公開中，已經使用特定語法和語義來說明示例以實現本發明的實施例。在不脫離本發明的精神的情況下，技術人員可以通過用等同的語法和語義替換語法和語義來實施本發明。
提供以上描述是為了使本領域普通技術人員能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域技術人員而言將是顯而易見的，並且本文定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是符合與本文公開的原理和新穎特徵一致的最寬範圍。在以上詳細描述中，舉例說明了各種具體細節以提供對本發明的透徹理解。然而，本領域的技術人員將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬件、軟件代碼或兩者的組合來實現。例如，本發明的一個實施例可以是集成到視頻壓縮芯片中的一個或多個電路電路或者集成到視頻壓縮軟件中的程序代碼以執行這裡描述的處理。 本發明的實施例還可以是要在數字信號處理器(DSP)上執行以執行這裡描述的處理的程序代碼。本發明還可以涉及由計算機處理器、數字信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義由本發明體現的特定方法的機器可讀軟件代碼或固件代碼來執行根據本發明的特定任務。軟件代碼或固件代碼可以以不同的編程語言和不同的格式或風格來開發。也可以為不同的目標平台編譯軟件代碼。然而，軟件代碼的不同代碼格式、風格和語言以及配置代碼以執行根據本發明的任務的其他方式都不會脫離本發明的精神和範圍。
本發明可以在不脫離其精神或基本特徵的情況下以其他特定形式體現。所描述的示例在所有方面都應被視為說明性而非限制性的。 因此，本發明的範圍由所附請求項而不是由前述描述來指示。落入請求項等同物的含義和範圍內的所有變化都應包含在其範圍內。
112:幀間預測 114:開關 110、150:幀內預測 116:加法器 118:變換(T) 120:量化(Q) 122:熵編碼器 130:環內過濾器 124:逆量化（IQ） 126:逆變換（IT） 128:重建(REC) 136:預測資料 134:參考圖片緩衝器 140:熵解碼器 152:MC 210、510:垂直二元分割（SPLIT_BT_VER） 220、520:水平二元分割（SPLIT_BT_HOR） 230、530:垂直三元分割（SPLIT_TT_VER） 240、540:水平三元分割（SPLIT_TT_HOR） 500:塊 610-680 :不允許分區 920:模板 910、1110、1130、1140、1210、1310:當前塊 930:重構區域 960、962、952、950、960、962:像素 1010:直方圖條 1020、1022、1024、1040、1042、1044預測子 1030:參考像素 1052:加法器 1050:加權因子 1060:混合預測變量 1120:區域 1220:頂部和左側邊界區域 1230:頂部區域 1232:左側區域 1330:左側相鄰重建樣本 1320:上側相鄰重建樣本 1410-1450、1510-1540、1610-1650:步驟
第1A圖說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。 第1B圖圖示了第1A圖中的編碼器的相應解碼器。 第2圖示出了對應於垂直二元分裂(SPLIT_BT_VER)、水平二元分裂(SPLIT_BT_HOR)、垂直三元分裂(SPLIT_TT_VER)和水平三元分裂(SPLIT_TT_HOR)的多類型樹結構的示例。 第3圖示出了具有嵌套多類型樹編碼樹結構的四叉樹中的分區分割信息的信令機制的示例。 第4圖示出了CTU被劃分成具有四叉樹和嵌套的多類型樹編碼塊結構的多個CU的示例，其中粗體塊邊緣表示四叉樹分區，其餘邊緣表示多類型樹分區。 第5圖示出了當亮度編碼塊的寬度或高度大於64時禁止TT分割的示例。 第6圖示出了當亮度編碼塊的寬度或高度大於64時禁止TT分割的一些示例。 第7圖示出了VVC視頻編碼標准採用的幀內預測模式。 第8A-B圖圖示了寬度大於高度的塊（第8A圖）和高度大於寬度的塊（第8B圖）的廣角度幀内預測的示例。 第9A圖示出了為當前塊選擇的模板的示例，其中該模板包括當前塊上方的T行和當前塊左側的T列。 第9B圖示出了T=3的示例，並且針對中間行中的像素和中間列中的像素計算了HoG（梯度直方圖）。 第9C圖圖示了角度幀內預測模式的振幅(ampl)的示例。 第10圖圖示了混合過程的示例，其中根據具有直方圖條的兩個最高條的索引選擇兩個幀內模式（Ml和M2)和平面模式。 第11A圖圖示了P2預測值推導的示例，其中根據相鄰4x4塊的幀內預測模式推導用於由斜線填充區域指示的當前塊的區域的P2預測值。 第11B圖圖示了結合本發明的實施例的另一個示例，其中當前塊的相鄰窗口位置被劃分成多個集合（例如，Gl、G2、G3和G4)。 第11C圖圖示了結合本發明的實施例的另一個示例，其中最終幀內預測被劃分成多個區域並且每個區域的幀內預測取決於相鄰窗口位置。 第12圖圖示其中在當前塊內的頂部和左側邊界區域中的預測樣本（對應於候選角度幀内模式預測）由斜線指示的示例。 第13圖說明了一個示例，其中如果當前幀內預測來自左側相鄰重建樣本，則(x,y)處的當前預測通過左上角樣本（例如, R -1,-1)和當前左相鄰樣本（例如， R -1, y）。 第14圖圖示了根據本發明的實施例的使用角度幀內預測模式的子集導出DIMD候選者的示例性視頻編碼系統的流程圖。 第15圖圖示了根據本發明的實施例導出DIMD候選者的示例性視頻編碼系統的流程圖，其中最終幀內預測模式與DIMD導出模式之間的增量角被發出信號或被解析。 第16圖圖示了根據本發明的實施例的示例性視頻編碼系統的流程圖，該視頻編碼系統使用包括將梯度過濾結果的梯度幅度與閾值進行比較的過程來導出DIMD(解碼器側幀內模式導出)候選者。
1410-1450:步驟

Claims (21)

  1. 一種視頻編解碼方法，該方法包括： 在編碼端接收與當前塊相關聯的像素資料或在解碼端接收與當前待解碼塊相關聯的編碼資料； 確定對應於所述當前塊的初始角度幀內預測模式集合的子集的所選角度幀內預測候選模式集合，其中所述所選角度幀內預測候選模式集合取決於所述當前塊的塊大小或所述當前塊的相鄰塊的預測模式； 基於使用從所述當前塊的模板導出的角度場的統計或直方圖的解碼器端幀內模式導出(DIMD)過程，為所述當前塊從所述選定的角度幀內預測候選模式集合中確定一個或多個目標DIMD候選； 基於包括所述一個或多個目標DIMD候選的信息生成最終幀內預測子； 以及 使用最終幀內預測子對所述當前塊進行編碼或解碼。
  2. 如請求項1所述的方法，其中，對於所述當前塊的較小塊大小，所選的角度幀內預測候選模式集合中的角度幀內預測候選模式的數量被確定為較少。
  3. 如請求項1所述的方法，其中，所述當前塊的塊大小對應於所述當前塊的塊寬度和塊高度之和。
  4. 如請求項1所述的方法，其中所選的角度幀內預測候選模式集合對應於用於所述當前塊的預定義角度幀內預測模式集合。
  5. 如請求項1所述的方法，其中，所選的角度幀內預測候選模式集合對應於受限候選集。
  6. 如請求項5所述的方法，其中，所述受限候選集對應於包括偶數幀內預測模式、奇數幀內預測模式、角度幀內預測模式初始集合的前半部分集合，或者角度幀內預測模式初始集合的後半部分集合中的成員。
  7. 如請求項6所述的方法，用信號發送或解析語法以指示與當前塊的受限候選集相對應的集合中的成員。
  8. 如請求項5所述的方法，其中，從圖片參數集(PPS)、序列參數集(SPS)、圖片頭、切片頭或CTU級語法用信號通知或解析與受限候選集相關的語法。
  9. 如請求項5所述的方法，其中，與受限候選集相關的語法是基於其他語法隱式導出的。
  10. 如請求項5所述的方法，其中總是使用受限候選集。
  11. 如請求項1所述的方法，其中如果頂部相鄰編解碼單元(CU)以跳過模式幀間編碼，則所選的角度幀內預測候選模式集合排除模式編號大於對角幀內角度模式的角度幀內預測候選模式。
  12. 如請求項1所述的方法，其中如果左相鄰CU以跳過模式幀間編碼，則所選的角度幀內預測候選模式集合排除模式編號小於對角幀內角度模式的角度幀內預測候選模式。
  13. 一種用於視頻編解碼的設備，該設備包括一個或多個電子設備或處理器，被佈置成： 在編碼端接收與當前塊相關聯的像素資料或在解碼端接收與當前待解碼塊相關聯的編碼資料； 確定對應於所述當前塊的初始角度幀內預測模式集合的子集的所選角度幀內預測候選模式集合，其中所述所選角度幀內預測候選模式集合取決於所述當前塊的塊大小或所述當前塊的相鄰塊的預測模式； 基於使用從所述當前塊的模板導出的角度場的統計或直方圖的DIMD過程，從所述當前塊的所選角度幀內預測候選模式集合中確定一個或多個目標DIMD候選； 基於包含所述一個或多個目標DIMD候選者的信息生成最終幀內預測子；以及 使用最終幀內預測子對所述當前塊進行編碼或解碼。
  14. 一種視頻編解碼方法，該方法包括： 在編碼端接收與當前塊相關聯的像素資料或在解碼端接收與當前待解碼塊相關聯的編碼資料； 確定使用DIMD導出的初始幀內預測模式； 在位元流中用信號通知與增量角相關聯的一或多個語法，或者從位元流中解析與增量角相關聯的所述一或多個語法；以及 使用最終幀內預測模式對當前塊進行編碼或解碼，其中所述增量角對應於所述最終幀內預測模式與所述初始幀內預測模式之間的差異。
  15. 如請求項14所述的方法，其中所述一個或多個語法包括與所述增量角的大小相關聯的第一語法和與所述增量角的符號相關聯的第二語法。
  16. 一種用於視頻編解碼的設備，該設備包括一個或多個電子設備或處理器，被佈置成： 在編碼端接收與當前塊相關聯的像素資料或在解碼端接收與所述當前待解碼塊相關聯的編碼資料； 確定使用DIMD導出的初始幀內預測模式； 在位元流中用信號通知與增量角相關聯的一個或多個語法，或者從位元流中解析與所述增量角相關聯的所述一個或多個語法； 和 使用最終幀內預測模式對所述當前塊進行編碼或解碼，其中所述增量角對應於所述最終幀內預測模式與所述初始幀內預測模式之間的差異。
  17. 一種視頻編解碼方法，該方法包括： 在編碼端接收與當前塊相關聯的像素資料或在解碼端接收與當前待解碼塊相關聯的編碼資料； 將一個或多個梯度過濾器應用於所述當前塊的模板以生成梯度過濾結果； 使用包括將梯度過濾結果的梯度幅度與閾值進行比較的過程來確定DIMD候選模式； 基於包含DIMD候選模式的信息生成最終幀內預測子；以及 使用最終幀內預測子對所述當前塊進行編碼或解碼。
  18. 如請求項17所述的方法，其中，所述閾值取決於所述當前塊的塊大小。
  19. 如請求項17所述的方法，其中如果所有的梯度幅度都小於閾值，則DIMD候選模式被設置為平面模式。
  20. 如請求項17所述的方法，其中將在DIMD中具有最大梯度幅度的目標候選幀內角度模式設置為當前幀內預測模式。
  21. 一種用於視頻編碼的設備，該設備包括一個或多個電子設備或處理器，被佈置成： 在編碼端接收與當前塊相關聯的像素資料或在解碼端接收與當前待解碼塊相關聯的編碼資料； 將一個或多個梯度過濾器應用於所述當前塊的模板以生成梯度過濾結果； 使用包括將梯度過濾結果的梯度幅度與閾值進行比較的過程來確定DIMD候選模式； 基於包含DIMD候選模式的信息生成最終幀內預測子；以及 使用最終幀內預測子對所述當前塊進行編碼或解碼。
TW112113834A 2022-04-15 2023-04-13 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置 TW202344058A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263331347P 2022-04-15 2022-04-15
US63/331,347 2022-04-15
WOPCT/CN2023/087852 2023-04-12
PCT/CN2023/087852 WO2023198112A1 (en) 2022-04-15 2023-04-12 Method and apparatus of improvement for decoder-derived intra prediction in video coding system

Publications (1)

Publication Number Publication Date
TW202344058A true TW202344058A (zh) 2023-11-01

Family

ID=88328998

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112113834A TW202344058A (zh) 2022-04-15 2023-04-13 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置

Country Status (2)

Country Link
TW (1) TW202344058A (zh)
WO (1) WO2023198112A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019519972A (ja) * 2016-05-05 2019-07-11 ヴィド スケール インコーポレイテッド イントラコーディングのための制御点ベースのイントラ方向表現
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CN109845254B (zh) * 2016-10-14 2024-01-26 世宗大学校产学协力团 影像编码/解码方法及装置
KR20210027486A (ko) * 2018-08-27 2021-03-10 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 장치
US11290736B1 (en) * 2021-01-13 2022-03-29 Lemon Inc. Techniques for decoding or coding images based on multiple intra-prediction modes

Also Published As

Publication number Publication date
WO2023198112A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
TWI720584B (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
TWI741589B (zh) 視頻編解碼之亮度mpm列表導出的方法及裝置
US20230308647A1 (en) Method and apparatus for encoding/decoding image by using boundary processing, and recording medium for storing bitstream
CN110999295B (zh) 边界强制分区的改进
US11936890B2 (en) Video coding using intra sub-partition coding mode
US11991378B2 (en) Method and device for video coding using various transform techniques
TW202029761A (zh) 在區塊分割中條件式編碼或解碼視訊區塊的方法和裝置
CN113632479B (zh) 越界节点视频数据的处理方法及装置
CN113906743A (zh) 量化矩阵编码/解码方法和装置、以及存储比特流的记录介质
KR20200083337A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
CN110730349A (zh) 用于微块的约束
US20220239933A1 (en) Image encoding/decoding method and apparatus, and recording medium storing bitstream
US20230007263A1 (en) Image encoding/decoding method and apparatus, and recording medium storing bitstream
TW202344058A (zh) 視頻編解碼系統中解碼器導出幀內預測的改進方法和裝置
TWI720470B (zh) 用於視訊編解碼中的獨立編碼樹的語法交錯方法和裝置
TW202344053A (zh) 使用梯度和模板改進幀內模式推導和預測的方法和裝置
US20240187623A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
TW202341730A (zh) 在視頻編解碼系統中使用基於彎曲或基於擴展角的幀內預測模式的方法和裝置
TWI752488B (zh) 視訊編解碼之方法和裝置
TWI821112B (zh) 視頻編解碼系統中跨分量線性模型預測的方法和裝置
TW202349956A (zh) 在視訊編解碼系統中使用解碼器導出的幀內預測的方法和裝置
TW202329688A (zh) 視訊編解碼方法及相關裝置
US20230269372A1 (en) Method and device for encoding/decoding image, and recording medium having stored bitstream
TW202406342A (zh) 使用交叉分量預測對彩色圖片進行視訊編解碼的方法和裝置