TW202349957A - 基於模板的幀內模式推導和預測 - Google Patents

基於模板的幀內模式推導和預測 Download PDF

Info

Publication number
TW202349957A
TW202349957A TW112114071A TW112114071A TW202349957A TW 202349957 A TW202349957 A TW 202349957A TW 112114071 A TW112114071 A TW 112114071A TW 112114071 A TW112114071 A TW 112114071A TW 202349957 A TW202349957 A TW 202349957A
Authority
TW
Taiwan
Prior art keywords
intra prediction
current block
prediction modes
intra
modes
Prior art date
Application number
TW112114071A
Other languages
English (en)
Inventor
蔡佳銘
陳俊嘉
江嫚書
林郁晟
莊子德
徐志瑋
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202349957A publication Critical patent/TW202349957A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種利用增強的候選幀內預測模式來執行基於模板的幀內模式推導（TIMD）的方法。 視訊編解碼器基於用於對當前塊的鄰近塊進行編解碼的幀內預測模式來確定用於對當前塊進行幀內編解碼的最可能模式(MPM)集合。 視訊編解碼器在與當前塊鄰近的已重建像素之中確定當前塊的模板。 視訊編解碼器確定一組候選幀內預測模式以包括(i)該組MPM以及(ii)與該組MPM中的MPM鄰近的一個或多個幀內預測模式。 視訊編解碼器基於所確定的模板和該組候選幀內預測模式從候選幀內預測模式集合導出幀內預測模式。 視訊編碼器通過使用導出的幀內預測模式生成幀內預測以對當前塊進行編碼或解碼。

Description

基於模板的幀內模式推導和預測
本發明有關於視訊編解碼。更具體而言，本發明有關於像素塊的幀內模式編解碼。
除非本文另外指出，本節中描述的方法不是後面列出的申請專利范圍的先前技術並且不被承認為包含在本節中的先前技術。
高效視訊編解碼（High-Efficiency Video Coding，簡寫為HEVC)是由視訊編解碼聯合協作組（JCT-VC)開發的國際視訊編解碼標準。HEVC 基於混合的基於塊的運動補償的類 DCT 變換編解碼架構。壓縮的基本單元稱為編解碼單元 (CU)，是一個 2Nx2N 的像素方形塊，每個 CU 可以遞歸地分割為四個較小的 CU，直到達到預定義的最小尺寸。每個 CU 包含一個或多個預測單元 (PU)。
通用視訊編解碼(versatile video coding，簡寫為VVC)是由ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(JVET)制定的最新國際視訊編解碼標準。輸入視訊信號是根據重建的信號預測的，重建的信號是從編碼的圖像區域導出的。通過塊變換來處理預測殘差信號。變換係數與位元流中的其他輔助資訊（side  infomation）一起被量化和熵編碼。重建的信號是根據預測信號和對去量化變換係數進行逆變換之後的重建的殘差信號生成的。通過環路濾波進一步處理重建的信號以消除編解碼偽影。解碼後的圖片存儲在幀緩衝器中，用於預測輸入視訊信號中的未來圖片。
在VVC中，編碼圖片被劃分為由相關聯的編解碼樹單元（CTU)表示的非重疊方形塊區域。編解碼樹的葉節點對應於編解碼單元（CU）。編碼圖片可以由片的集合來表示，每個片包含整數個CTU。切片中的各個 CTU 按光柵掃描順序進行處理。可以使用幀內預測或具有至多兩個運動向量和參考索引的幀間預測來對雙向預測（bi-predictive，簡寫為B）切片進行解碼，以預測每個塊的樣本值。使用幀內預測或具有至多一個運動向量和參考索引的幀間預測對預測（predictive，簡寫為P）切片進行解碼，以預測每個塊的樣本值。僅使用幀內預測對幀內 (intra，簡寫為I) 切片進行解碼。
可以使用具有嵌套多類型樹（MTT)結構的四叉樹（QT)將CTU劃分為一個或多個非重疊編解碼單元（CU)，以適應各種局部運動和紋理特性。可以使用五種分割類型之一將CU進一步分割成更小的CU：四叉樹分割、垂直二叉樹分割、水平二叉樹分割、垂直中心側三叉樹分割、水平中心側三叉樹分割。
每個CU包含一個或多個預測單元(PU)。預測單元與相關聯的 CU 語法一起用作用於傳訊預測子資訊的基本單元。採用指定的預測過程來預測 PU 內相關像素樣本的值。每個CU可以包含一個或多個用於表示預測殘差塊的變換單元(TU)。變換單元（TU）由亮度樣本的變換塊（TB）和色度樣本的兩個相應的變換塊組成，並且每個TB對應於來自一種顏色分量的樣本的一個殘差塊。將整數變換應用於變換塊。量化係數的級別值（level value）與其他輔助資訊一起在位元流中進行熵編解碼。術語編解碼樹塊 (CTB)、編解碼塊 (CB)、預測塊 (PB) 和變換塊 (TB) 被定義為指定分別與 CTU、CU、PU和TU相關聯的一種顏色分量的 2-D 樣本數組。因此，一個 CTU 由一個亮度 CTB、兩個色度 CTB 以及關聯的語法元素組成。類似的關係對於 CU、PU 和 TU 也有效。
對於每個幀間預測的CU，由運動向量、參考圖片索引和參考圖片列表使用索引組成的運動參數以及附加資訊被用於幀間預測的樣本生成。可以以顯式或隱式方式傳訊運動參數。當使用跳躍（skip）模式對CU進行編解碼時，該CU與一個PU相關聯並且沒有顯著的殘差係數（significant residual coefficient）、沒有編解碼的運動矢量增量或參考圖片索引。指定合併模式，由此從相鄰 CU 獲得當前 CU 的運動參數，包括空間和時間候選以及 VVC 中引入的附加調度。合併模式可以應用於任何幀間預測的CU。合併模式的替代方案是運動參數的顯式傳輸，其中運動矢量、每個參考圖片列表的相應參考圖片索引和參考圖片列表使用標記以及其他所需資訊是針對每個CU顯式地傳訊的。
以下概述僅是說明性的並且不旨在以任何方式進行限制。即，提供以下概述來介紹本文描述的新穎且非顯而易見的技術的概念、亮點、益處和優點。下面在詳細描述中進一步描述選擇的而非所有的實現方式。因此，以下概述並不旨在識別所要求保護的主題的基本特徵，也不旨在用於確定所要求保護的主題的範圍。
本公開的一些實施例提供了一種用於利用增強的候選幀內預測模式來執行基於模板的幀內模式推導（TIMD)的方法。 視訊編解碼器基於用於對當前塊的鄰近塊進行編解碼的幀內預測模式來確定用於對當前塊進行幀內編解碼的最可能模式(MPM)集合。 視訊編解碼器在與當前塊鄰近的已重建像素之中確定當前塊的模板。 視訊編解碼器確定一組候選幀內預測模式以包括(i)該組MPM以及(ii)與該組MPM中的MPM相鄰的一個或多個幀內預測模式。 視訊編解碼器基於所確定的模板和候選幀內預測模式集合來導出幀內預測模式。 視訊編碼器通過使用導出的幀內預測模式生成幀內預測以對當前塊進行編碼或解碼。
在一些實施例中，視訊基於MPM集合的統計變化是否大於閾值來隱式地確定是否執行TIMD以導出幀內預測。 在一些實施例中，如果MPM的統計變化小於閾值，則視訊編解碼器將不執行TIMD。
在一些實施例中，當當前塊大於閾值大小時，與MPM鄰近的一個或多個幀內預測模式被包括在候選幀內預測模式集合中。 在一些實施例中，當當前塊小於閾值大小時，與MPM鄰近的一個或多個幀內預測模式不包括在候選幀內預測模式集合中。 在一些實施例中，當該組MPM的統計變化小於閾值時，將與MPM鄰近的一個或多個幀內預測模式包括在該組候選幀內預測模式中。 在一些實施例中，視訊編解碼器執行DIMD作為預處理來識別TIMD的候選幀內預測模式。
在一些實施例中，候選幀內預測模式集合被約束為基於當前塊的鄰近塊的預測模式排除一個或多個幀內預測模式。 在一些實施例中，候選幀內預測模式的集合被限制在預定義的範圍內。
幀內預測可以針對亮度或色度分量。 在一些實施例中，視訊編解碼器細化所導出的幀內預測模式並使用細化的幀內預測模式來生成幀內預測。 在一些實施例中，視訊編解碼器根據與當前塊相鄰的重建樣本的梯度來細化所生成的幀內預測。
在下面的詳細描述中，通過示例闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化、派生和/或擴展都在本公開的保護範圍內。在一些情況下，與本文公開的一個或多個示例實現相關的眾所周知的方法、過程、組件和/或電路可以在相對高的水平上描述而沒有細節，以避免不必要地模糊本公開的教導的各方面 。 I. 幀內預測
幀內預測方法利用與當前預測單元（PU)相鄰的一個參考層（reference tier）和一種幀內預測模式來生成當前PU的預測子。幀內預測方向可以在包含多個預測方向的模式集中選擇。對於通過幀內預測編解碼的每個PU，將使用一個索引並對其進行編碼以選擇幀內預測模式之一。將生成相應的預測，然後可以導出和變換殘差。
第1圖示出了不同方向的幀內預測模式。這些幀內預測模式稱為方向模式，不包括 DC 模式或平面模式（Planar mode）。如圖所示，共有 33 種方向模式（V：垂直方向；H：水平方向），因此使用H、H+1~H+8、H-1~H-7、V、V+1~V+8、V-1~V-8。一般來說，方向模式可以表示為 H+k 或 V+k 模式，其中 k=±1、±2、...、±8。這樣的幀內預測模式中的每一個也可以被稱為幀內預測角度。為了捕捉自然視訊中呈現的任意邊緣方向，方向（directional）幀內模式的數量可以從HEVC中使用的33個方向模式擴展到65個方向模式，使得k的範圍從±1到±16。這些更密集的方向幀內預測模式適用於所有塊大小以及亮度和色度幀內預測。通過包括 DC和平面模式，幀內預測模式的數量為35（或67）。
在35（或67）個幀內預測模式中，一些模式（例如，3或5個模式）被識別是當前預測塊中幀內預測模式的一組最可能模式（most probable modes，簡寫為MPM）。編碼器可以通過傳訊選擇 MPM 之一的索引而不是選擇 35（或 67）種幀內預測模式之一的索引來降低位元率。例如，在左預測塊中使用的幀內預測模式和在上方預測塊中使用的幀內預測模式被用作MPM。當兩個相鄰塊的幀內預測模式使用相同的幀內預測模式時，該幀內預測模式可以用作MPM。當兩個相鄰塊中只有一個可用並且以方向模式編解碼時，緊鄰該方向模式的兩個相鄰方向可以用作MPM。DC模式和平面模式也被視為 MPM，以填充 MPM 集中的可用點，特別是如果上方或頂部相鄰塊不可用或未使用幀內預測編解碼，或者如果相鄰塊中的幀內預測模式不是方向模式。如果當前預測塊的幀內預測模式是MPM集中的模式之一，則使用1或2位元來傳訊它是哪一種。否則，當前塊的幀內預測模式與MPM集合中的任何條目（entry）都不相同，並且當前塊將被編解碼為非MPM（non-MPM）模式。總共有 32 種這樣的非 MPM 模式，並且應用（5 位元）固定長度編解碼方法來傳訊該模式。
MPM列表是基於左側和上方相鄰塊的幀內模式構建的。 假設左側相鄰塊的模式表示為 Left，上方相鄰塊的模式表示為 Above，則統一的MPM列表可以構造如下： – 當相鄰塊不可用時，其幀內模式默認設置為 Planar。 – 如果“Left”和“Above”模式都是非角度模式： § MPM 列表à {Planar, DC, V, H, V − 4, V + 4} – 如果“Left”和“Above”模式之一是角度模式，而另一個是非角度模式： § 將模式Max設置為Left和Above中較大的模式 § MPM 列表à {Planar, Max, Max − 1, Max + 1, Max –– 2, Max + 2} – 如果“Left”和“Above”模式都是角度模式並且二者模式不相同: § 將模式Max設置為Left和Above中較大的模式 § 將模式Min設置為Left和Above中較小的模式 § 如果Max – Min等於1: – MPM列表à {Planar, Left, Above, Min – 1, Max + 1, Min – 2} § 否則，如果Max – Min 大於等於62: – MPM 列表 à {Planar, Left, Above, Min + 1, Max – 1, Min + 2} § 否則，如果Max – Min 等於2: – MPM列表à {Planar, Left, Above, Min + 1, Min – 1, Max + 1} § 否則: – MPM列表 à {Planar, Left, Above, Min – 1, Min + 1, Max – 1} – 如果“Left”和“Above”模式都是角度模式並且二者模式相同 § MPM列表 à {Planar, Left, Left − 1, Left + 1, Left – 2, Left + 2} II. 解碼器端幀內模式導出 (Decoder-Side Intra Mode Derivation ，簡寫為 DIMD)
解碼器端幀內模式導出 (DIMD) 是一種從塊的重建的相鄰樣本（模板）導出出兩個幀內預測模式/角度/方向的技術，並且這兩個預測子與具有從梯度導出的權重的平面模式預測子相結合。DIMD 模式用作替代預測模式，並且始終在高複雜性 RDO 模式下進行檢查。為了隱式導出塊的幀內預測模式，在編碼器和解碼器側都執行紋理梯度分析。該過程從具有 65 個條目的空梯度直方圖 (Histogram of Gradient，簡寫為HoG) 開始，對應於 65 個角度/方向幀內預測模式。這些條目的幅度是在紋理梯度分析期間確定的。
執行DIMD的視訊編解碼器執行以下步驟：在第一步中，視訊編解碼器分別從當前塊的左側和上方挑選T=3列和行的模板。該區域用作基於梯度的幀內預測模式導出的參考。第二步，將水平和垂直 Sobel 濾波器應用於所有 3×3 窗口位置，以模板中線的像素為中心。在每個窗口位置，Sobel 濾波器將純水平和垂直方向的強度分別計算為 和 。然後，窗口的紋理角度計算如下：
其可以被轉換成65種角度幀內預測模式之一。一旦當前窗口的幀內預測模式索引被導出為 idx，HoG[ idx] 中其條目的幅度將通過加法更新：
第2圖示出了使用解碼器側幀內模式導出（DIMD）來隱式導出當前塊的幀內預測模式。該圖示出了示例梯度直方圖(HoG)210，其是在對當前塊200周圍的模板215中的所有像素位置應用上述操作之後計算的。一旦計算出HoG，兩個最高直方圖條的索引(M 1和M 2)被選擇為該塊的兩個隱式導出的幀內預測模式（intra prediction mode，簡寫為IPM）。兩個IPM的預測進一步與平面模式結合作為DIMD模式的預測。預測融合應用為上述三個預測子（M 1預測、M 2預測和平面模式預測）的加權平均值。為此，平面的權重可以設置為 21/64 (~1/3)。然後，剩餘的權重 43/64 (~2/3) 在兩個 HoG IPM 之間分配，與其 HoG 條的幅度成比例。DIMD 的預測融合（prediction fusion）或組合的預測（combined prediction）可以是： Pred DIMD= (43*(w1* pred M1+ w2* pred M2) + 21* pred planar) ＞＞6 w1 = amp M1/ (amp M1+amp M2) w2 = amp M2/ (amp M1+amp M2)
另外，將兩種隱式導出的幀內預測模式添加到最可能模式（MPM)列表中，因此在構建MPM列表之前執行DIMD過程。DIMD 塊的主要導出的幀內模式（primary derived intra mode）與塊一起存儲，並用於鄰近塊的 MPM 列表構建。 III. 基於模板的 幀內模式導出 ( Template-based Intra Mode Derivation ，簡寫為 TIMD)
基於模板的幀內模式導出（TIMD)是一種編解碼方法，其中通過使用編碼器和解碼器處的鄰近模板來隱式導出CU的幀內預測模式，而不是編碼器給解碼器傳訊準確的幀內預測模式。
第3圖示出了使用基於模板的幀內模式導出(TIMD)來隱式地導出當前塊300的幀內預測模式。如圖所示，當前塊300的鄰域像素被用作模板310。對於每個候選模式，使用位於模板310上方和左側的參考區域320中的參考樣本來生成模板310的預測樣本。基於模板的預測樣本和重建樣本之間的差(例如，SATD)來計算成本。選擇成本最小的幀內預測模式（與DIMD模式一樣）用於CU的幀內預測。候選模式可以包括67種幀內預測模式（如在VVC中）或者擴展到131種幀內預測模式。MPM可以用於指示CU的方向資訊。因此，為了減少幀內模式搜索空間並利用CU的特性，幀內預測模式是從MPM列表隱式導出的。
在一些實施例中，對於MPM列表中的每個幀內預測模式，計算模板的預測樣本和重建樣本之間的SATD。選擇具有最小SATD的前兩種幀內預測模式作為TIMD模式。這兩種TIMD模式在應用PDPC過程後與權重融合，並且這種加權的幀內預測用於對當前CU進行編解碼。位置相關幀內預測組合 (Position dependent intra prediction combination，簡寫為PDPC) 包含在 TIMD 模式的導出中。
將兩個選定模式（模式1和模式2)的成本與閾值進行比較，在測試中，按如下方式應用成本因子2: costMode2 ＜ 2*costMode1
如果該條件為真，則應用預測融合，否則僅使用模式1。模式的權重根據其 SATD 成本計算如下： weight1 = costMode2/(costMode1+ costMode2) weight2 = 1 - weight1 IV. 改進的幀內模式導出
一些實施例提供用於改進的成本計算和信令TIMD語法的方法。 在一些實施例中，將亮度預測和重建模板(從重建的像素構造的模板)之間的SATD成本以及色度預測和重建模板之間的SATD成本加在一起作為用於導出TIMD 的幀內模式的最終成本。
A. TIMD 的附加候選幀內預測模式
如所提及的，TIMD過程可以基於當前塊的模板來檢查候選幀內預測模式的有限集合(例如，當前塊的MPM)。 (模板可以是與當前塊相鄰的重建樣本的區域。)在一些實施例中，除了MPM模式本身之外，TIMD過程還可以自適應地從MPM模式的相鄰幀內模式(例如，MPM+ k中的模式，或 MPM – k 中的模式，其中 k ＞ 0)中進行選擇。
第4圖概念性地示出了自適應地從MPM模式的相鄰幀內模式中進行選擇的TIMD過程。 如圖所示，視訊編解碼器最初生成/識別當前塊400的一組MPM模式410，其相鄰重建像素被視為當前塊的模板420。 MPM模式集合410包括平面模式和若干幀內預測角度模式10、50、9、11和49。TIMD過程405將MPM模式集合410視為候選幀內預測模式。 除了集合410中的MPM模式之外，TIMD過程405還可以檢查或考慮MPM模式的相鄰模式作為候選幀內預測模式。 例如，當將幀內預測角度模式 50 視為 TIMD 候選時，TIMD 過程還將幀內預測角度模式 48、49、51 和 52（假設 k = 2）視為 TIMD 候選，因為這些附加模式是 MPM幀內預測模式50的鄰近/相鄰模式。
TIMD過程405基於來自模板區域420的模板和來自參考區域430的一組參考樣本來計算每個候選幀內預測模式（包括MPM模式的鄰近/相鄰模式）的成本。基於計算的成本，TIMD過程405可以導出一種（或多種）最終幀內預測模式，並基於所識別的最終幀內預測模式來生成當前塊400的TIMD預測子450（其是幀內預測）。
在一些實施例中，可供選擇的相鄰幀內模式的數量k可以取決於當前CU大小。 例如，如果TIMD應用於小尺寸CU（例如，CU寬度+高度或CU面積小於閾值），則僅MPM列表中的模式被視為TIMD的候選幀內預測模式。 另一方面，如果TIMD應用於大尺寸CU（例如，CU寬度+高度或CU面積大於閾值），則MPM列表中的模式的相鄰幀內模式也被視為TIMD的候選幀內預測模式。
B. 隱式 TIMD
在一些實施例中，TIMD被隱式地應用於當前塊。 在一些實施例中，如果TIMD過程檢查或考慮的候選幀內模式(例如，MPM)非常相似(例如，MPM的統計變化＜閾值)，則隱式禁用TIMD。 另一方面，如果TIMD過程檢查或考慮的候選幀內模式(例如，MPM)不相似(例如，MPM的統計變化＞閾值)，則隱式應用TIMD來識別幀內預測模式。
在一些實施例中，TIMD預測或過程被應用於色度CU以隱式導出色度CU的幀內角度模式。 在一些實施例中，如果TIMD過程考慮的候選幀內色度模式包括DC、垂直、水平、平面和DM，則應用TIMD過程來導出最終幀內角度模式以確定當前塊的預測子。 在一些實施例中，使用標誌來指示是否使用TIMD來導出最終的幀內角度模式。 在一些實施例中，如果標誌為真，則使用TIMD過程來導出最終的幀內角度模式，並且DC、垂直、水平、平面和DM模式被排除在TIMD過程的候選幀內模式之外。
在一些實施例中，在通過TIMD導出幀內角度模式之後，視訊編解碼器可以圍繞導出的幀內角度模式執行精細搜索（fine search）以細化導出的幀內角度模式。 例如，TIMD過程可以導出作為幀內定向模式（intra directional mode）0至67之一的幀內角度模式k，並且編碼器可以在(k-1)和(k+1)之間搜索附加幀內模式(即，細化)。然後編碼器可以傳訊增量值（delta value）以指示最終幀內預測角度模式。
C. TIMD 的候選幀內模式的約束
在一些實施例中，當執行TIMD或DIMD時，視訊編解碼器可以在計算梯度直方圖時排除或降低鄰近幀間編解碼位置的梯度，或者可以增加幀間編解碼模板的預測和重建之間的成本。
用於TIMD過程的候選幀內角度模式可以進一步受到鄰近塊的預測模式的約束。 例如，在一些實施例中，如果上方或頂部鄰近CU以跳過（skip）模式進行幀間編解碼，則大於對角線內角度模式的幀內角度模式(例如，131個幀內角度模式中的模式66，或67個幀內角度模式中的模式34，或 34 個幀內角度模式中的模式 18）被排除在 TIMD 的候選幀內角度模式之外。 又例如，在一些實施例中，如果左側鄰近CU以跳過模式進行幀間編解碼，則小於對角線內角度模式的幀內角度模式(例如，131個幀內角度模式中的模式66，67個幀內角度模式中的模式34，或34 個角度內模式中的模式 18）被排除在 TIMD 的候選角度內模式之外。
在一些實施例中，TIMD的候選內角度模式可以被進一步約束或減小到預定義範圍。 具體地，如果候選幀內角度模式可以從67個幀內角度模式（即，0、1、2、3、…、67）中提取，則視訊編解碼器可以將TIMD的有效幀內角度模式候選約束為這 67 種模式的子集（即候選 ＜ 67 種模式）。 換句話說，受約束的候選可能是 {0, 1, 2, 4, 6, 8, …, 66}、{0, 1, 3, 5, 7, 9, …, 65}、{0, 1, 2, 3, 4, 5, …, 34}、{34, 35, 36, 37, 38, …, 67}等。該約束條件可以在PPS、SPS、圖片頭、切片頭、CTU級別語法中傳訊，或依賴於其他語法隱式導出，或始終應用。 又例如，如果傳訊該約束條件，則利用DIMD/TIMD過程編解碼的CU可以檢查較少的候選幀內角度模式來導出用於對當前塊進行編解碼的最終幀內角度模式。
D. 細化 TIMD 幀內預測
在一些實施例中，在通過TIMD基於幀內角度模式產生幀內預測之後，由TIMD導出的幀內預測通過鄰近重建樣本的梯度進一步細化。
第5圖概念性地示出了通過鄰近重建樣本的梯度來細化TIMD幀內預測。 如圖所示，對於當前塊500，如果當前幀內預測來自左側相鄰重建樣本，則(x，y)處的當前預測通過左上角樣本 (例如， R -1,-1）和當前左側鄰近樣本（例如， R -1, y）之間的梯度來細化。 則，(x, y) 處的細化的預測為 ( w 1× ( R x, -1+ ( R -1,-1- R -1, y)) + w 2× pred(x, y)) / ( w 1+ w 2).
對於又一示例，如果當前幀內預測來自於上側鄰近重建樣本，則通過左上角樣本(例如， R -1,-1) 和當前上方鄰近樣本（例如， R x, -1）之間的梯度進一步細化(x，y)處的當前預測。則，(x, y) 處的細化的預測為 ( w 1× ( R -1, y+ ( R -1,-1- R x, -1)) + w 2× pred(x, y)) / ( w 1+ w 2).
E. 使用 DIMD 作為 TIMD 的預處理
在一些實施例中，DIMD和TIMD預測過程被組合以導出用於對當前塊進行編解碼的最終幀內角度模式。 在一些實施例中，當前塊的鄰近窗口位置被劃分為多個組，並且執行DIMD過程以選擇一組。 然後執行 TIMD 過程，從 DIMD 選擇的組（鄰近窗口位置）中選擇最終的幀內角度模式。 更一般地，在一些實施例中，執行DIMD過程以導出一些可能的幀內預測模式，然後執行TIMD過程以從DIMD選擇的幀內預測模式或DIMD選擇的幀內預測模式的鄰近模式中選擇最終幀內角度模式。 換句話說，DIMD用於預處理當前塊的鄰近重建樣本以加速TIMD過程。
F. TIMD 的模板尺寸減小
為了減少TIMD中所需的模板緩衝器大小，鄰近線（neighboring line）(即，用於產生模板的當前塊周圍的樣本線)可以與當前塊中的樣本數量（例如塊大小、塊形狀）相關，或者基於當前塊中的樣本數量（例如塊大小、塊形狀）來確定。在一些實施例中，鄰近線的數量是基於當前塊大小或當前塊的邊長來確定的。 例如，如果當前塊大小小於或等於 k，則鄰近線的數量為n。 再例如，如果當前塊是矩形塊（即塊寬不等於塊高），則當前塊長邊的鄰近線為 s，短邊的鄰近線為 t，並且 s不等於 t。 在一些實施例中，鄰近線的數量取決於頂部/左側鄰近重建像素的像素平滑度。 例如，如果當前塊的第一側的鄰近重建像素的方差（variance）高於當前塊的第二側的鄰近重建像素的方差，則第一模板在第一側的鄰近線的數量 可以大於第二模板在第二側的鄰近線的數量。
在一些實施例中，為了減小TIMD的模板大小，不使用模板的參考樣本(例如，在第3圖中的參考區域320中)。 為了計算 TIMD 的候選幀內模式的成本，視訊編解碼器使用預測角度來計算模板的內部鄰近線和模板的外部鄰近線之間的失真/差異。
第6A-B圖示出了使用模板的不同行來計算TIMD的候選幀內模式的成本的示例。 通過將內部線樣本與外部線的插值樣本（interpolated sample）進行比較來計算每個候選幀內模式的成本，其中插值樣本是通過候選幀內角度模式獲得的。
如第6A圖所示，如果候選幀內模式A大於或等於34並且上方模板有3條鄰近線，則成本為第1條線中的插值樣本(根據候選幀內模式A插值的樣本) 以及第 0 條線中的相應樣本之間的SAD，以及第 2 條線中的插值樣本與第 1 條線中的相應樣本之間的 SAD之和。
如第6B圖所示，如果候選幀內模式B小於34並且左側板有3個鄰近線，則成本為第1條線中的插值樣本(根據候選幀內模式B插值的樣本)與第0條線中的對應樣本的SAD，以及第 2 條線中的插值樣本與第 1 條線中的對應樣本之間的 SAD之和。
任何前述提出的方法可以在編碼器和/或解碼器中實現。例如，任何所提出的方法可以在編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組中實現。或者，任何所提出的方法可以被實現為耦合到編碼器的幀間/幀內/預測模組和/或解碼器的幀間/幀內/預測模組的電路，以便提供幀間/幀內/預測模組所需的資訊。 V. 示例的視訊編碼器
第7圖示出了支持TIMD幀內預測的示例視訊編碼器700。如圖所示，視訊編碼器 700 從視訊源 705 接收輸入視訊信號並將該信號編碼為位元流 795。視訊編碼器 700 具有用於對來自視訊源 705 的信號進行編碼的若干組件或模組，至少包括選自以下的一些組件：變換模組710、量化模組711、逆量化模組714、逆變換模組715、圖片內估計模組720、幀內預測模組725、運動補償模組730、運動估計模組735、環路濾波器 745、重建圖片緩衝器 750、MV 緩衝器 765、MV 預測模組 775 和熵編碼器 790。運動補償模組 730 和運動估計模組 735 是幀間預測模組 740 的一部分。
在一些實施例中，模組710-790是由計算設備或電子設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組710-790是由電子裝置的一個或多個集體電路(IC)實現的硬體電路模組。儘管模組710-790被示為單獨的模組，但是一些模組可以組合成單個模組。
視訊源705提供原始視訊信號，該原始視訊信號在沒有壓縮的情況下呈現每個視訊幀的像素資料。減法器 708 計算視訊源 705 的原始視訊像素資料與來自運動補償模組 730 或幀內預測模組 725 的預測的像素資料 713 之間的差異作為預測殘差709。變換模組 710 將差異（或殘差像素資料或殘差信號708)轉換成變換係數(例如，通過執行離散餘弦變換，或DCT)。量化模組711將變換係數量化為量化的資料（或量化的係數）712，其由熵編碼器790編碼為位元流795。
逆量化模組714對量化的資料(或量化的係數)712進行逆量化以獲得變換係數，逆變換模組715對變換係數進行逆變換以產生重建的殘差719。將重建的殘差719與預測的像素資料713相加，一起生成重建的像素資料717。在一些實施例中，重建的像素資料717被臨時存儲在行緩衝器（未示出）中用於幀內預測和空間MV預測。重建的像素由環路濾波器745濾波並存儲在重建圖片緩衝器750中。在一些實施例中，重建圖片緩衝器750是視訊編碼器700外部的記憶體。在一些實施例中，重建圖片緩衝器750是視訊編碼器700的內部記憶體。
圖片內估計模組720基於重建的像素資料717執行幀內預測以產生幀內預測資料。幀內預測資料被提供給熵編碼器790以被編碼成位元流795。幀內預測資料也被幀內預測模組725用來產生預測的像素資料713。
運動估計模組735通過產生MV以參考存儲在重建圖片緩衝器750中的先前解碼幀的像素資料來執行幀間預測。這些MV被提供給運動補償模組730以產生預測的像素資料。
視訊編碼器700不是在位元流中編碼完整的實際MV，而是使用MV預測來生成預測的MV，並且用於運動補償的MV與預測的MV之間的差異被編碼為殘差運動資料並存儲在位元流 795中。
MV預測模組775基於為編碼先前視訊幀而生成的參考MV，即用於執行運動補償的運動補償MV，生成預測的MV。MV預測模組775從MV緩衝器765中擷取來自先前視訊幀的參考MV。視訊編碼器700將為當前視訊幀生成的MV存儲在MV緩衝器765中作為用於生成預測的MV的參考MV。
MV預測模組775使用參考MV來創建預測的MV。預測的 MV 可以通過空間 MV 預測或時間 MV 預測來計算。熵編碼器790將當前幀的預測的MV和運動補償MV(MC MV)之間的差異(殘差運動資料)編碼到位元流795中。
熵編碼器790通過使用諸如上下文自適應二進制算術編解碼(CABAC)或霍夫曼編碼的熵編解碼技術將各種參數和資料編碼到位元流795中。熵編碼器 790 將各種報頭元素、標誌連同量化的變換係數 712 和殘差運動資料作為句法元素編碼到位元流 795 中。位元流 795 又存儲在存儲設備中或通過諸如網路的通信媒介傳輸到解碼器。
環路濾波器745對重建的像素資料717執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移（SAO）。在一些實施例中，濾波操作包括自適應環路濾波（ALF）。
第8圖示出了視訊編碼器700的利用候選幀內預測模式的增強列表來實現TIMD的部分。 具體地，該圖示出了視訊編碼器700的幀內預測模組725的組件。如圖所示，幀內預測模組725包括模板匹配模組810、TIMD候選識別模組820、幀內模式歷史緩衝器830和幀內預測生成模組840。幀內預測模組725可以使用這些模組來對亮度和色度分量兩者執行TIMD幀內預測。
如圖所示，模板匹配模組810基於由編碼圖片緩衝器750提供的模板樣本來構造當前塊的模板(例如，模板區域420)。該模板與由編碼圖片緩衝器750在不同候選幀內預測模式825提供的參考樣本(例如，參考區域430)相匹配。(在一些實施例中，內部模板樣本與不同候選幀內預測模式下的外部模板樣本進行匹配。)模板匹配模組810將基於模板和參考樣本計算每個候選幀內預測模式的匹配成本，然後識別用於TIMD過程的一個或多個最終幀內預測模式815。
候選幀內預測模式825由TIMD候選識別模組820指定，TIMD候選識別模組820可以基於鄰近塊使用的幀內預測模式（其可以存儲在幀內模式歷史緩衝器830中）來識別一組MPM 。 在一些實施例中，TIMD候選識別模組820可以執行DIMD過程來識別候選幀內預測模式825中的至少一些(例如，基於不同幀內模式的DIMD直方圖)。TIMD候選識別模組820還可以將額外的幀內預測模式(例如，MPM模式的相鄰模式)添加到候選幀內預測模式825。TIMD候選識別模組820還可以約束候選幀內預測模式，例如通過限制候選幀內預測模式825為某些方向/角度範圍或排除某些幀內預測模式。 在一些實施例中，TIMD候選識別模組820還可以檢查候選幀內預測模式825的方差以確定是否啟用模板匹配模組810。
TIMD過程的最終幀內預測模式815由幀內預測生成模組840使用來生成要用作當前塊的預測像素資料713的TIMD幀內預測845(基於重建圖片緩衝器750的內容)。幀內預測生成模組840可以在使用最終幀內預測模式815生成預測像素資料713之前細化最終幀內預測模式815。幀內預測生成模組840還可以基於鄰近塊的梯度細化所生成的TIMD幀內預測845。 幀內預測生成模組840可以將基於多個最終幀內預測模式的多個預測/預測子混合/融合為當前塊的一個TIMD幀內預測845。
第9圖概念性地示出了用於利用候選幀內預測模式的增強列表來執行TIMD的過程900。 在一些實施例中，實現編碼器700的計算設備的一個或多個處理單元(例如，處理器)通過執行存儲在計算機可讀介質中的指令來執行過程900。 在一些實施例中，實現編碼器700的電子裝置執行過程900。
編碼器（在步驟910)接收要被編碼為視訊的當前圖片中的當前像素塊的資料。
編碼器(在步驟920)基於用於對當前塊的鄰近塊(例如，上方和左側)進行編解碼的幀內預測模式來確定用於對當前塊進行幀內編解碼的最可能模式(MPM)集合。 編碼器（在步驟930）在與當前塊相鄰的已重建像素之中確定當前塊的模板。
在一些實施例中，視訊基於MPM集合的統計變化是否大於閾值來隱式地確定是否執行TIMD以導出幀內預測。 在一些實施例中，如果MPM的統計變化小於閾值，則編碼器將不執行TIMD（從而結束過程900）。
編碼器(在步驟940)確定一組候選幀內預測模式以包括(i)該組MPM和(ii)與該組MPM中的MPM鄰近的一個或多個幀內預測模式。 在一些實施例中，當當前塊大於閾值大小時，與MPM鄰近的一個或多個幀內預測模式被包括在候選幀內預測模式集合中。 在一些實施例中，當當前塊小於閾值大小時，與MPM鄰近的一個或多個幀內預測模式不包括在候選幀內預測模式集合中。 在一些實施例中，當該組MPM的統計變化小於閾值時，與MPM鄰近的多個幀內預測模式中的一個包括在該組候選幀內預測模式中。 在一些實施例中，編碼器基於沿著與當前塊鄰近的重建像素的不同像素位置處的梯度幅度來導出針對不同幀內預測角度的梯度直方圖，並且候選幀內預測模式集合包括通過使用導出的直方圖來識別的模式。 （換句話說，視訊編碼器執行 DIMD 作為預處理來識別 TIMD 的候選幀內預測模式。）
在一些實施例中，候選幀內預測模式集合被約束為基於當前塊的鄰近塊的預測模式排除一個或多個幀內預測模式。 在一些實施例中，候選幀內預測模式的集合被限制在預定義的範圍內。
編碼器（在步驟950)基於所確定的模板和指定幀內預測方向的候選幀內預測模式集合來導出幀內預測模式。
編碼器（在步驟960）通過使用導出的幀內預測模式來對當前塊進行編碼以生成幀內預測。 幀內預測可以針對亮度或色度分量。 在一些實施例中，視訊編碼器細化導出的幀內預測模式並使用細化的幀內預測模式來生成幀內預測。 在一些實施例中，視訊編碼器根據與當前塊鄰近的重建樣本的梯度來細化所生成的幀內預測。 VI. 示例的視訊解碼器
在一些實施例中，編碼器可以傳訊（或生成）位元流中的一個或多個句法元素，使得解碼器可以從位元流解析所述一個或多個句法元素。
第10圖圖示了支持TIMD幀內預測的示例視訊解碼器1000。如圖所示，視訊解碼器1000是圖像解碼或視訊解碼電路，其接收位元流1095並將位元流的內容解碼成視訊幀的像素資料以供顯示。視訊解碼器1000具有用於解碼位元流1095的若干組件或模組，包括選自逆量化模組1011、逆變換模組1010、幀內預測模組1025、運動補償模組1030、環路濾波器1045、解碼圖片緩衝器1050、MV緩衝器1065、MV預測模組1075和解析器1090的一些組件。運動補償模組1030是幀間預測模組1040的一部分。
在一些實施例中，模組1010-1090是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令模組。在一些實施例中，模組1010-1090是由電子裝置的一個或多個IC實現的硬體電路模組。儘管模組1010-1090被圖示為單獨的模組，但是一些模組可以組合成單個模組。
解析器1090(或熵解碼器)接收位元流1095並根據由視訊編解碼或圖像編解碼標准定義的句法執行初始解析。解析的句法元素包括各種報頭元素、標誌以及量化的資料（或量化的係數）1012。解析器1090通過使用諸如上下文自適應二進制算法（CABAC）或霍夫曼編解碼的熵編解碼技術解析出各種句法元素。
逆量化模組1011對量化的資料(或量化的係數)1012進行去量化以獲得變換係數，並且逆變換模組1010對變換係數1016執行逆變換以產生重建的殘差信號1019。重建的殘差信號1019與來自幀內預測模組1025或運動補償模組1030的預測像素資料1013相加以產生解碼的像素資料1017。解碼的像素資料由環路濾波器1045濾波並存儲在解碼圖片緩衝器1050中。在一些實施例中，解碼圖片緩衝器1050是視訊解碼器1000外部的存儲組件。在一些實施例中，解碼圖片緩衝器1050是視訊解碼器1000內部的組件。
幀內預測模組1025從位元流1095接收幀內預測資料，並據此從解碼圖片緩衝器1050中存儲的解碼的像素資料1017產生預測的像素資料1013。在一些實施例中，解碼的像素資料1017也存儲在行緩衝器（未示出）中用於圖片內預測和空間MV預測。
在一些實施例中，解碼圖片緩衝器1050的內容用於顯示。顯示設備1055或者擷取解碼圖片緩衝器1050的內容以直接顯示，或者擷取解碼圖片緩衝器的內容到顯示緩衝器。在一些實施例中，顯示設備通過像素傳輸從解碼圖片緩衝器1050接收像素值。
運動補償模組1030根據運動補償MV (MC MV)從存儲在解碼圖片緩衝器1050中的解碼的像素資料1017產生預測的像素資料1013。通過將從位元流1095接收的殘差運動資料與從MV預測模組1075接收的預測MV相加來解碼這些運動補償MV。
MV預測模組1075基於為解碼先前視訊幀而生成的參考MV生成預測的MV，例如，用於執行運動補償的運動補償MV。MV預測模組1075從MV緩衝器1065中擷取先前視訊幀的參考MV。視訊解碼器1000將為解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器1065中作為用於產生預測的MV的參考MV。
環路濾波器1045對解碼的像素資料1017執行濾波或平滑操作以減少編解碼的偽影，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移（SAO）。在一些實施例中，濾波操作包括自適應環路濾波（ALF）。
第11圖示出了視訊解碼器1000的利用候選幀內預測模式的增強列表來實現TIMD的部分。 具體地，該圖示出了視訊解碼器1000的幀內預測模組1025的組件。如圖所示，幀內預測模組1025包括模板匹配模組1110、TIMD候選識別模組1120、幀內模式歷史緩衝器1130和幀內預測生成模組1140。幀內預測模組1025可以使用這些模組來對亮度和色度分量兩者執行TIMD幀內預測。
如圖所示，模板匹配模組1110基於由解碼圖片緩衝器1050提供的模板樣本來構造當前塊的模板(例如，模板區域420)。該模板與由解碼圖片緩衝器1050在不同候選幀內預測模式1125提供的參考樣本(例如，參考區域430)相匹配。(在一些實施例中，內部模板樣本與不同候選幀內預測模式下的外部模板樣本進行匹配。)模板匹配模組1110將基於模板和參考樣本計算每個候選幀內預測模式的匹配成本，然後識別用於TIMD過程的一個或多個最終幀內預測模式1115。
候選幀內預測模式1125由TIMD候選識別模組1120指定，TIMD候選識別模組1120可以基於鄰近塊使用的幀內預測模式（其可以存儲在幀內模式歷史緩衝器1130中）來識別一組MPM 。 在一些實施例中，TIMD候選識別模組1120可以執行DIMD過程來識別候選幀內預測模式1125中的至少一些(例如，基於不同幀內模式的DIMD直方圖)。TIMD候選識別模組1120還可以將額外的幀內預測模式(例如，MPM模式的相鄰模式)添加到候選幀內預測模式1125。TIMD候選識別模組1120還可以約束候選幀內預測模式，例如通過限制候選幀內預測模式1125為某些方向/角度範圍或排除某些幀內預測模式。 在一些實施例中，TIMD候選識別模組1120還可以檢查候選幀內預測模式1125的方差以確定是否啟用模板匹配模組1110。
TIMD過程的最終幀內預測模式1115由幀內預測生成模組1140使用來生成要用作當前塊的預測像素資料1013的TIMD幀內預測1145(基於重建圖片緩衝器1050的內容)。幀內預測生成模組1140可以在使用最終幀內預測模式1115生成預測像素資料1013之前細化最終幀內預測模式1115。幀內預測生成模組1140還可以基於鄰近塊的梯度細化所生成的TIMD幀內預測1145。 幀內預測生成模組1140可以將基於多個最終幀內預測模式的多個預測/預測子混合/融合為當前塊的一個TIMD幀內預測1145。
第12圖概念性地示出了用於利用候選幀內預測模式的增強列表來執行TIMD的過程1200。 在一些實施例中，實現解碼器1000的計算設備的一個或多個處理單元(例如，處理器)通過執行存儲在計算機可讀介質中的指令來執行過程1200。 在一些實施例中，實現解碼器700的電子裝置執行過程1200。
解碼器（在步驟1210) 接收要解碼為視訊的當前圖片中的當前像素塊的資料。
解碼器(在步驟1220) 基於用於對當前塊的鄰近塊(例如，上方和左側)進行編解碼的幀內預測模式來確定用於對當前塊進行幀內編解碼的最可能模式(MPM)集合。解碼器(在步驟1230)在與當前塊相鄰的已重建像素之中確定當前塊的模板。
在一些實施例中，視訊基於MPM集合的統計變化是否大於閾值來隱式地確定是否執行TIMD以導出幀內預測。 在一些實施例中，如果MPM的統計變化小於閾值，則解碼器將不執行TIMD（從而結束過程1200）。
解碼器(在步驟1240)確定一組候選幀內預測模式以包括(i)該組MPM和(ii)與該組MPM中的MPM鄰近的一個或多個幀內預測模式。 在一些實施例中，當當前塊大於閾值大小時，與MPM鄰近的一個或多個幀內預測模式被包括在候選幀內預測模式集合中。 在一些實施例中，當當前塊小於閾值大小時，與MPM鄰近的一個或多個幀內預測模式不包括在候選幀內預測模式集合中。 在一些實施例中，當該組MPM的統計變化小於閾值時，與MPM鄰近的多個幀內預測模式中的一個包括在該組候選幀內預測模式中。 在一些實施例中，解碼器基於沿著與當前塊鄰近的重建像素的不同像素位置處的梯度幅度來導出針對不同幀內預測角度的梯度直方圖，並且候選幀內預測模式集合包括通過使用導出的直方圖來識別的模式。 （換句話說，視訊解碼器執行 DIMD 作為預處理來識別 TIMD 的候選幀內預測模式。）
在一些實施例中，候選幀內預測模式集合被約束為基於當前塊的鄰近塊的預測模式排除一個或多個幀內預測模式。 在一些實施例中，候選幀內預測模式的集合被限制在預定義的範圍內。
解碼器（在步驟1250)基於所確定的模板和指定幀內預測方向的候選幀內預測模式集合來導出幀內預測模式。
解碼器（在步驟1260處）通過使用導出的幀內預測模式來生成幀內預測以對當前塊進行重建。 幀內預測可以針對亮度或色度分量。 在一些實施例中，視訊解碼器細化導出的幀內預測模式並使用細化的幀內預測模式來生成幀內預測。 在一些實施例中，視訊解碼器根據與當前塊鄰近的重建樣本的梯度來細化所生成的幀內預測。解碼器然後可以提供重建的當前塊以作為重建的當前圖片的一部分進行顯示。 VII. 示例的電子系統
許多上述特徵和應用被實現為軟體過程，這些軟體過程被指定為記錄在計算機可讀存儲介質（也稱為計算機可讀介質）上的一組指令。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器、處理器核心或其他處理單元）執行時，它們會導致處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於 CD-ROM、閃存驅動器、隨機存取記憶體 (RAM) 晶片、硬盤驅動器、可擦除可程式化只讀記憶體 (EPROM)、電可擦除可程式化只讀記憶體 (EEPROM) ）等。計算機可讀介質不包括無線或通過有線連接傳遞的載波和電子信號。
在本說明書中，術語“軟體”意味著包括駐留在只讀記憶體中的韌體或存儲在磁記憶體中的應用程式，其可以讀入記憶體以供處理器處理。此外，在一些實施例中，多個軟體發明可以作為較大程式的子部分來實現，同時保留不同的軟體發明。在一些實施例中，多個軟體發明也可以被實現為單獨的程式。最後，一起實現這裡描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施例中，當軟體程式被安裝以在一個或多個電子系統上運行時，定義了一個或多個執行和執行軟體程式的操作的特定機器實現。
第13圖概念性地圖示了實現本公開的一些實施例的電子系統1300。電子系統1300可以是計算機(例如台式計算機、個人計算機、平板計算機等)、電話、PDA或任何其他種類的電子設備。這樣的電子系統包括各種類型的計算機可讀介質和用於各種其他類型的計算機可讀介質的介面。電子系統1300包括匯流排1305、處理單元1310、圖形處理單元(GPU)1315、系統記憶體1320、網路1325、只讀記憶體1330、永久存儲設備1335、輸入設備1340 , 和輸出設備 1345。
匯流排 1305 共同表示通信連接電子系統 1300 的眾多內部設備的所有系統、外圍設備和晶片組匯流排。例如，匯流排 1305 通信連接處理單元 1310 與 GPU 1315、只讀記憶體1330、系統記憶體1320和永久存儲設備1335。
從這些不同的記憶體單元，處理單元1310擷取要執行的指令和要處理的資料以便執行本公開的過程。在不同的實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到 GPU 1315 並由其執行。GPU 1315 可以卸載各種計算或補充由處理單元 1310 提供的圖像處理。
只讀記憶體(ROM)1330存儲由處理單元1310和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存儲設備1335是讀寫存儲設備。該設備是即使在電子系統1300關閉時也存儲指令和資料的非易失性存儲單元。本公開的一些實施例使用大容量存儲設備（例如磁盤或光碟及其相應的磁盤驅動器）作為永久存儲設備1335。
其他實施例使用可移動存儲設備(例如軟盤、閃存設備等，及其對應的磁盤驅動器)作為永久存儲設備。與永久存儲設備1335一樣，系統記憶體1320是讀寫存儲設備。然而，與存儲設備1335不同，系統記憶體1320是易失性讀寫記憶體，例如隨機存取記憶體。系統記憶體1320存儲處理器在運行時使用的一些指令和資料。在一些實施例中，根據本公開的過程存儲在系統記憶體1320、永久存儲設備1335和/或只讀記憶體1330中。例如，各種記憶體單元包括用於處理多媒體剪輯的指令與一些實施例。從這些不同的記憶體單元，處理單元1310擷取要執行的指令和要處理的資料以便執行一些實施例的過程。
匯流排 1305 還連接到輸入和輸出設備 1340 和 1345。輸入設備 1340 使用戶能夠向電子系統傳送資訊和選擇命令。輸入設備 1340 包括字母數位鍵盤和定點設備（也稱為“滑鼠控制設備”）、相機（例如，網路攝像頭）、麥克風或用於接收語音命令的類似設備等。輸出設備 1345 顯示由電子系統生成的圖像或否則輸出資料。輸出設備1345包括打印機和顯示設備，例如陰極射線管(CRT)或液晶顯示器(LCD)，以及揚聲器或類似的音頻輸出設備。一些實施例包括同時用作輸入和輸出設備的設備，例如觸摸屏。
最後，如第13圖所示，匯流排1305還通過網路適配器(未示出)將電子系統1300耦合到網路1325。以這種方式，計算機可以是計算機網路的一部分（例如局域網（“LAN”）、廣域網（“WAN”）或內聯網，或網路網。例如電子系統1300的任何或所有組件可結合本公開使用。
一些實施例包括電子組件，例如微處理器、存儲裝置和記憶體，其將計算機程式指令存儲在機器可讀或計算機可讀介質（或者稱為計算機可讀存儲介質、機器可讀介質或機器可讀存儲介質）中。此類計算機可讀介質的一些示例包括 RAM、ROM、只讀光碟 (CD-ROM)、可記錄光碟 (CD-R)、可重寫光碟 (CD-RW)、只讀數位多功能光碟（例如, DVD-ROM, 雙層 DVD-ROM)、各種可刻錄/可重寫 DVD (例如, DVD-RAM, DVD-RW, DVD+RW, 等等), 閃存(例如, SD 卡, mini-SD卡、微型 SD 卡等）、磁性和/或固態硬盤驅動器、只讀和可刻錄 Blu-Ray® 光碟、超密度光碟、任何其他光學或磁性介質以及軟盤。計算機可讀介質可以存儲可由至少一個處理單元執行並且包括用於執行各種操作的指令集的計算機程式。計算機程式或計算機代碼的示例包括機器代碼，例如由編譯器生成的機器代碼，以及包括由計算機、電子組件或使用解釋器的微處理器執行的高級代碼的文件。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用是由一個或多個集體電路執行的，例如專用集體電路（ASIC)或現場可程式化門陣列 (FPGA)。在一些實施例中，這樣的集體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式化邏輯設備(PLD)、ROM或RAM設備中的軟體。
如在本說明書和本申請的任何申請專利範圍中所使用的，術語“計算機”、“服務器”、“處理器”和“記憶體”均指電子或其他技術設備。這些術語不包括人或人群。出於說明書的目的，術語顯示或顯示表示在電子設備上顯示。如本說明書和本申請的任何申請專利範圍中所使用，術語“計算機可讀介質”、“計算機可讀存儲介質”和“機器可讀介質”完全限於以可讀形式存儲資訊的有形實體對象。這些術語不包括任何無線信號、有線下載信號和任何其他臨時信號。
雖然本公開已經參考許多具體細節進行了描述，但是所屬領域具有通常知識者將認識到，在不脫離本公開的精神的情況下，本公開可以以其他具體形式實施。此外，多個附圖(包括第9圖和第12圖)概念性地說明了過程。這些過程的特定操作可能不會按照所示和描述的確切順序執行。具體操作可以不在一個連續的系列操作中執行，並且可以在不同的實施例中執行不同的具體操作。此外，該過程可以使用多個子過程或作為更大的宏過程的一部分來實現。因此，所屬領域具有通常知識者將理解本公開不受前述說明性細節的限制，而是由所附申請專利範圍限定。
本文描述的主題有時說明不同的組件包含在不同的其他組件內或與不同的其他組件連接。應當理解，這樣描繪的架構僅僅是示例，並且實際上可以實現實現相同功能的許多其他架構。從概念上講，實現相同功能的組件的任何佈置都被有效地“關聯”，從而實現了所需的功能。因此，此處組合以實現特定功能的任何兩個組件可以被視為彼此“相關聯”以使得實現期望的功能，而不管架構或中間組件如何。同樣，如此關聯的任何兩個組件也可被視為彼此“可操作地連接”或“可操作地耦合”以實現期望的功能，並且能夠如此關聯的任何兩個組件也可被視為“可操作地連接”耦合”，彼此實現所需的功能。可操作地耦合的具體示例包括但不限於實體上可配合和/或實體上交互的組件和/或無線上可交互和/或無線上交互的組件和/或邏輯上交互和/或邏輯上可交互的組件。
此外，關於本文中基本上任何復數和/或單數術語的使用，所屬領域具有通常知識者可以根據上下文從復數翻譯成單數和/或從單數翻譯成複數和/或申請。為了清楚起見，可以在本文中明確地闡述各種單數/複數排列。
此外，所屬領域具有通常知識者將理解，一般而言，本文使用的術語，尤其是所附申請專利範圍中使用的術語，例如所附申請專利範圍的主體，通常意在作為“開放”術語，例如， “包括”一詞應解釋為“包括但不限於”，“有”一詞應解釋為“至少有”，“包括”一詞應解釋為“包括但不限於”，等。所屬領域具有通常知識者將進一步理解，如果意圖引入特定數量的申請專利範圍陳述，則該意圖將在申請專利範圍中明確地陳述，並且在沒有該陳述的情況下不存在該意圖。例如，為了幫助理解，以下所附申請專利範圍可能包含使用介紹性短語“至少一個”和“一個或多個”來介紹申請專利範圍的敘述。然而，使用此類短語不應被解釋為暗示通過不定冠詞“a”或“an”引入的申請專利範圍將包含此類引入的申請專利範圍的任何特定申請專利範圍限制為僅包含一個此類陳述的實現，即使當同一申請專利範圍包括介紹性短語“一個或多個”或“至少一個”和不定冠詞如“一個(a)”或“一個(an)”，例如，“一個(a)”和/或“一個(an)”應解釋為“至少”一個或“一個或多個”;這同樣適用於使用定冠詞來引入索賠陳述。此外，即使明確引用了引入的申請專利範圍記載的具體數目，所屬領域具有通常知識者將認識到，這種記載應被解釋為至少表示引用的數目，例如，“兩次引用（recitation）”，而不包含其他修飾語，表示至少兩次引用，或者兩次或更多次引用。此外，在那些約定類似於“A、B 和 C 等中的至少一個”的情況下，一般來說，這樣的結構意在所屬領域具有通常知識者會理解約定的意義上，例如，“具有A、B和C中的至少一個的系統”將包括但不限於這樣的系統單獨有 A，單獨有 B，單獨有 C，A 和 B 在一起，A 和 C 在一起，B 和 C 在一起，和/或 A、B 和 C 在一起，等等。在那些類似於“至少一個” 被使用的約定的情況下，通常這樣的結構意在所屬領域具有通常知識者理解約定的意義上，例如，“具有A、B或C中的至少一個的系統”將包括但不限於系統具有單獨的 A、單獨的 B、單獨的 C、A 和 B 在一起、A 和 C 在一起、B 和 C 在一起和/或 A、B 和 C 在一起等。所屬領域具有通常知識者將進一步理解實際上無論是在說明書、申請專利範圍書還是附圖中，任何出現兩個或更多替代術語的分離詞和/或短語都應該被理解為考慮包括一個術語、一個術語或兩個術語的可能性。例如，短語“A 或 B”將被理解為包括“A”或“B”或“A 和 B”的可能性。
從上文中可以理解，為了說明的目的，本文已經描述了本公開的各種實施方式，並且各種在不脫離本公開的範圍和精神的情況下可以進行修改。因此，本文公開的各種實施方式並非旨在限制，真正的範圍和精神由所附申請專利範圍指示。
200、300、400:當前塊 210:梯度直方圖 215、310:模板 320:參考樣本 405:TIMD過程 410:MPM模式集合 420:模板 430:參考區域 450:TIMD預測子 700:視訊編碼器 705:視訊源 795、1095:位元流 710:變換模組 711:量化模組 712、1012:量化的係數 713:預測的像素資料 714、1011:逆量化模組 715、1010:逆變換模組 716、1016:變換係數 717:重構的像素資料 719:殘差 720:圖片內估計模組 725、1025:幀內預測模組 730、1030:運動補償模組 735:運動估計模組 740、1040:幀間預測模組 745、1045:環路濾波器 750:重構圖片緩衝器 765、1065:MV 緩衝器 775、1075:MV 預測模組 790:熵編碼器 810:模板匹配模組 815、1115:最終幀內預測模式 820、1120:TIMD候選識別模組 825、1125:候選幀內預測模式 830、1130:幀內模式歷史緩衝器 840、1140:幀內預測生成模組 845、1145:TIMD幀內預測 900、1200:過程 910~960、1210~1260:步驟 1000:視訊解碼器 1050:解碼圖片緩衝器 1090:解析器 1013:預測像素資料 1017:解碼的像素資料 1300:電子系統 1305:匯流排 1310:處理單元 1315:圖形處理單元 1320:系統記憶體 1325:網路 1330:只讀記憶體 1335:永久存儲設備 1340:輸入設備 1345:輸出設備
附圖被包括以提供對本公開的進一步理解，並且被併入並構成本公開的一部分。附圖示出了本公開的實施方式，並且與說明書一起用於解釋本公開的原理。應當理解的是，附圖不一定按比例繪製，因為為了清楚地說明本公開的概念，一些部件可能被示出為與實際實施中的尺寸不成比例。 第1圖示出了不同方向的幀內預測模式。 第2圖示出了使用解碼器側幀內模式導出（DIMD）來隱式導出當前塊的幀內預測模式。 第3圖示出了使用基於模板的幀內模式導出（TIMD）來隱式地導出當前塊的幀內預測模式。 第4圖概念性地示出了自適應地從最可能模式(MPM)的相鄰幀內模式中進行選擇的TIMD過程。 第5圖概念性地示出了通過鄰近重建樣本的梯度來細化TIMD幀內預測。 第6A-B圖示出了使用模板的不同線來計算TIMD的候選幀內模式的成本的示例。 第7圖示出了支持TIMD幀內預測的示例視訊編碼器。 第8圖示出了利用候選幀內預測模式的增強列表來實現TIMD的視訊編碼器的部分。 第9圖概念性地示出了用於利用候選幀內預測模式的增強列表來執行TIMD的過程。 第10圖示出了支持TIMD幀內預測的示例視訊解碼器。 第11圖示出了利用候選幀內預測模式的增強列表來實現TIMD的視訊解碼器的部分。 第12圖概念性地示出了用於利用候選幀內預測模式的增強列表來執行TIMD的過程。 第13圖概念性地示出了用於實現本公開的一些實施例的電子系統。
1200:過程
1210~1260:步驟

Claims (14)

  1. 一種視訊編解碼方法， 包括： 接收要編碼或解碼為視訊的當前圖片的當前塊的像素塊的資料； 基於用於對該當前塊的鄰近塊進行編解碼的幀內預測模式，確定用於對該當前塊進行幀內編解碼的最可能模式(MPM)集合； 在與該當前塊鄰近的已經重建的像素中確定該當前塊的模板； 確定一組候選幀內預測模式以包括(i)該MPM集合和(ii)與該MPM集合中的一MPM鄰近的一個或多個幀內預測模式； 基於所確定的模板和該組候選幀內預測模式導出幀內預測模式；以及 使用導出的該幀內預測模式生成幀內預測以對該當前塊進行編碼或解碼。
  2. 如請求項1所述之視訊編解碼方法，還包括基於該MPM集合的統計變化是否大於閾值來確定是否使用該模板來導出該幀內預測模式。
  3. 如請求項1所述之視訊編解碼方法，其中，當該當前塊大於閾值大小時，與一MPM鄰近的該一個或多個幀內預測模式被包括在該組候選幀內預測模式中。
  4. 如請求項3所述之視訊編解碼方法，其中，當該當前塊小於該閾值大小時，與一MPM鄰近的該一個或多個幀內預測模式不包括在該組候選幀內預測模式中。
  5. 如請求項1所述之視訊編解碼方法，其中當該組MPM的統計變化小於閾值時，與一MPM鄰近的該一個或多個幀內預測模式 包括在該組候選幀內預測模式中。
  6. 如請求項1所述之視訊編解碼方法，還包括基於沿著與該當前塊鄰近的重建像素的不同像素位置處的梯度幅度來導出不同幀內預測角度的梯度直方圖，其中該組候選幀內預測模式包括通過使用導出的直方圖所確定的模式。
  7. 如請求項1所述之視訊編解碼方法，其中該當前塊是色度樣本塊。
  8. 如請求項1所述之視訊編解碼方法，還包括細化所導出的該幀內預測模式，並使用細化的該幀內預測模式來生成幀內預測以對該當前塊進行編碼或解碼。
  9. 如請求項1所述之視訊編解碼方法，其中，該組候選幀內預測模式被限制為基於該當前塊的鄰近塊的預測模式排除一個或多個幀內預測模式。
  10. 如請求項1所述之視訊編解碼方法，其中該組候選幀內預測模式被限制在預定義範圍內。
  11. 如請求項1所述之視訊編解碼方法，還包括根據與該當前塊鄰近的重建樣本的梯度來細化所生成的幀內預測。
  12. 一種電子裝置，包括： 視訊編解碼器電路，被配置為執行包括以下操作的操作： 接收要編碼或解碼為視訊的當前圖片的當前塊的像素塊的資料； 基於用於對該當前塊的鄰近塊進行編解碼的幀內預測模式，確定用於對該當前塊進行幀內編解碼的最可能模式(MPM)集合； 在與該當前塊鄰近的已經重建的像素中確定該當前塊的模板； 確定一組候選幀內預測模式以包括(i)該MPM集合和(ii)與該MPM集合中的一MPM鄰近的一個或多個幀內預測模式； 基於所確定的模板和該組候選幀內預測模式導出幀內預測模式；以及 使用導出的該幀內預測模式生成幀內預測以對該當前塊進行編碼或解碼。
  13. 一種視訊解碼方法，包括： 接收要解碼為視訊的當前圖片的當前塊的像素塊的資料； 基於用於對該當前塊的鄰近塊進行編解碼的幀內預測模式，確定用於對該當前塊進行幀內編解碼的最可能模式(MPM)集合； 在與該當前塊鄰近的已經重建的像素中確定該當前塊的模板； 確定一組候選幀內預測模式以包括(i)該MPM集合和(ii)與該MPM集合中的一MPM鄰近的一個或多個幀內預測模式； 基於所確定的模板和該組候選幀內預測模式導出幀內預測模式；以及 使用導出的該幀內預測模式生成幀內預測以重建該當前塊。
  14. 一種視訊編碼方法，包括： 接收要編碼為視訊的當前圖片的當前塊的像素塊的資料； 基於用於對該當前塊的鄰近塊進行編解碼的幀內預測模式，確定用於對該當前塊進行幀內編解碼的最可能模式(MPM)集合； 在與該當前塊鄰近的已經重建的像素中確定該當前塊的模板； 確定一組候選幀內預測模式以包括(i)該MPM集合和(ii)與該MPM集合中的一MPM鄰近的一個或多個幀內預測模式； 基於所確定的模板和該組候選幀內預測模式導出幀內預測模式；以及 使用導出的該幀內預測模式生成幀內預測以對該當前塊進行編碼。
TW112114071A 2022-04-15 2023-04-14 基於模板的幀內模式推導和預測 TW202349957A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263331349P 2022-04-15 2022-04-15
US63/331,349 2022-04-15
PCT/CN2023/088365 WO2023198187A1 (en) 2022-04-15 2023-04-14 Template-based intra mode derivation and prediction
WOPCT/CN2023/088365 2023-04-14

Publications (1)

Publication Number Publication Date
TW202349957A true TW202349957A (zh) 2023-12-16

Family

ID=88329038

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112114071A TW202349957A (zh) 2022-04-15 2023-04-14 基於模板的幀內模式推導和預測

Country Status (2)

Country Link
TW (1) TW202349957A (zh)
WO (1) WO2023198187A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109328461B (zh) * 2016-04-29 2023-09-05 世宗大学校产学协力团 视频信号编码/解码方法和设备
WO2018062788A1 (ko) * 2016-09-30 2018-04-05 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3777164A4 (en) * 2018-03-29 2021-03-17 Huawei Technologies Co., Ltd. IMAGE ENCODING AND DECODING, IMAGE ENCODER AND IMAGE DECODER
WO2020013480A1 (ko) * 2018-07-11 2020-01-16 엘지전자 주식회사 인트라 예측 모드를 코딩하는 방법 및 그 장치

Also Published As

Publication number Publication date
WO2023198187A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
TWI737201B (zh) 用於發信合併工具的方法及裝置
US11284077B2 (en) Signaling of subpicture structures
US11350131B2 (en) Signaling coding of transform-skipped blocks
US11303898B2 (en) Coding transform coefficients with throughput constraints
US11936890B2 (en) Video coding using intra sub-partition coding mode
TW202139697A (zh) 量化相關參數之傳訊技術
TWI692972B (zh) 一種編碼/解碼的方法及電子裝置
TW202349957A (zh) 基於模板的幀內模式推導和預測
TWI832602B (zh) 轉換係數符號的熵編碼
WO2023241347A1 (en) Adaptive regions for decoder-side intra mode derivation and prediction
WO2023208063A1 (en) Linear model derivation for cross-component prediction by multiple reference lines
TWI826079B (zh) 視訊編解碼方法及裝置
WO2023198105A1 (en) Region-based implicit intra mode derivation and prediction
TWI750802B (zh) 視訊編解碼方法及裝置
TW202415075A (zh) 基於區域的隱式幀內模式推導和預測
WO2023193769A1 (en) Implicit multi-pass decoder-side motion vector refinement
WO2023197998A1 (en) Extended block partition types for video coding
WO2023131299A1 (en) Signaling for transform coding
WO2024016955A1 (en) Out-of-boundary check in video coding
WO2023143173A1 (en) Multi-pass decoder-side motion vector refinement
TW202404354A (zh) 利用卷積模型的預測改進
TW202349954A (zh) 自適應編解碼的圖像以及視訊資料
US20240195998A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
US20240187623A1 (en) Video Coding Using Intra Sub-Partition Coding Mode
WO2023174426A1 (en) Geometric partitioning mode and merge candidate reordering