TWI635743B - 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 - Google Patents

用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 Download PDF

Info

Publication number
TWI635743B
TWI635743B TW106118395A TW106118395A TWI635743B TW I635743 B TWI635743 B TW I635743B TW 106118395 A TW106118395 A TW 106118395A TW 106118395 A TW106118395 A TW 106118395A TW I635743 B TWI635743 B TW I635743B
Authority
TW
Taiwan
Prior art keywords
template
intra
frame
height
mode
Prior art date
Application number
TW106118395A
Other languages
English (en)
Other versions
TW201804805A (zh
Inventor
杉 劉
夜静
許曉中
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201804805A publication Critical patent/TW201804805A/zh
Application granted granted Critical
Publication of TWI635743B publication Critical patent/TWI635743B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了一種使用基於模板的圖框內預測的視訊編碼的方法和裝置。根據一種方法，其中確定是否應用基於模板的圖框內預測或與基於模板的圖框內預測相關聯的一個或複數個參數取決於當前塊大小。根據另一種方法，使用四叉樹和二叉樹(QTBT)結構將圖像或當前圖像的一個或複數個區域分割成複數個塊。如果基於模板的圖框內預測用於當前塊並且當前塊是非正方形的，根據當前塊的寬度和高度來確定則L形參考像素線的寬度和高度。L形參考像素線包括在上方模板之上的上方參考像素段和與左側模板的左側相鄰的左側參考像素段。

Description

用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 【相關申請的交叉引用】
本發明要求於2016年6月3日提交的申請號為62/345,074的美國臨時案，2016年6月24日提交的申請號為62/354,140的美國臨時案，2016年7月22日提交的申請號為62/365,403的美國臨時案，以及於2016年8月12日提交的申請號為62/374,039的美國臨時案的優先權。在此合併參考這些美國臨時申請案的申請標的。
本發明有關於視訊編碼中的基於模板的(template-based)圖框內預測(也稱為解碼器側圖框內模式導出(decoder side intra mode derivation，DIMD))。特別地，本發明公開了與基於模板的圖框內預測相關聯的降低複雜度或提高編碼效率的多種技術。
高效率視訊編碼(High Efficiency Video Coding，HEVC)標準是在ITU-T視訊編碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC運動圖像專家組(Moving Picture Experts Group，MPEG)標準化組織的聯合視訊項目下開發的，這個合作關係被特別的稱為視訊編碼聯合協作小組(JCT-VC)。 在HEVC中，將一個切片劃分為複數個編碼樹單元(coding tree unit，CTU)。在主配置文件中，CTU的最小和最大大小由序列參數集(sequence parameter set，SPS)中的語法元素來指定。允許的CTU大小可以是8x8，16x16，32x32，或64x64。對於每個切片，根據光柵掃描順序來處理切片內的CTU。
CTU進一步被劃分成複數個編碼單元(coding unit，CU)以適應各種局部特性。被稱為編碼樹的四叉樹被用於將CTU分割成複數個CU。使CTU大小為MxM，其中M是64，32或16中的一個值。CTU可以是單個的編碼單元(即，不分割)或者可以被分割成四個相同大小的較小單元(smaller unit)(即，每個為M/2xM/2)，其對應於編碼樹的節點。如果單元是編碼樹的葉節點(leaf node)，則單位變為CU。否則，可以重複四叉樹分割過程，直到節點的大小達到SPS(序列參數集)中規定的最小允許CU大小。
此外，根據HEVC，每個CU可以被劃分成一個或複數個預測單元(prediction unit，PU)。與CU一起，PU作為共享預測信息的基本代表區塊。在每個PU內部，應用相同的預測處理，並且以PU為基礎將相關信息發送到解碼器。根據PU分割類型(splitting type)，CU可以分為一個，兩個或四個PU。HEVC定義了將CU分割為PU的八種形狀，包括2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N分區類型(partition type)。與CU不同的是，PU只能根據HEVC分割一次。第二列(second row)中顯示的分區對應於非對稱分區，其中兩個分區部分具有不同的大小。
HEVC編碼包括圖框間預測和圖框內預測。對於圖框內預測，圖框內預測的產生包括三個部分：圖框內平滑濾波(Intra smoothing filter)，圖框內預測和圖框內梯度濾波(Intra gradient filter)。首先，在計算預測之前，對參考樣本應用平滑處理作為預處理步驟。該平滑處理對應於將具有低通特性的濾波器權重[1，2，1]>>2的有限衝激響應濾波器(FIR-filter)應用於屬於當前TU(轉換單元)的左行和上一列的樣本。每個TU的圖框內預測由相鄰TU的重構樣本(reconstructed sample)產生。在第1圖中為涉及圖框內平滑的樣本，其中區塊100對應於當前區塊，線110對應於水平邊界，線120對應於垂直邊界。是否使用該平滑處理由TU大小和圖框內預測模式來決定。其次，從具有一特定圖框內預測模式的相鄰參考樣本來推導出當前區塊的圖框內預測，並且通過編碼器從DC模式，平面模式和33個定向模式(33 directional modes)中選擇圖框內預測模式，並在比特流中發信號。第三，如果圖框內預測模式是直流，水平或垂直模式，則將圖框內梯度濾波器進一步應用於當前TU的左側和上方邊界處的樣本。
在HEVC中的所有35種圖框內預測模式中，三種模式被認為是用於預測當前預測區塊中的圖框內預測模式的最可能模式(most probable mode，MPM)。例如，左側預測區塊和上方預測區塊中使用的圖框內預測模式可以用作MPM集合的候選。在兩個相鄰區塊中的圖框內預測模式相同並且均為定向模式的情況下，或者在兩個相鄰區塊中的僅一個是可用的、並在圖框內預測中被編碼、並且同時該圖框內預測模式是定向 模式的情況下，緊接著該方向的兩個相鄰方向也用於MPM。在MPM集合中也考慮了DC模式和平面模式，以填充MPM中的可用點(available spot)，特別是如果上方或上方相鄰區塊不可用或不在圖框內預測中編碼，或者相鄰區塊中的圖框內預測模式不是定向的。如果當前預測區塊的圖框內預測模式是MPM集合中的模式之一，則使用1或2個碼元(bin)來發信表示它是其中的哪一個。否則，它與MPM集合中的任何條目都不相同，它將被編碼為非MPM模式。共有32個這樣的非MPM模式並且(5位)固定長度編碼方法來用於發信該模式。33個方向如第2圖所示。在第2圖中，共有33個定向模式，即H，H+1，...，H+8，H-1，...，H-7，V，V+1，...，V+8，V-1，...，V-8。該系統可以擴展到一般情況，其中水平模式和垂直模式分別表示為H模式和V模式。對於其他定向模式，它們可以表示為H+k或V+k模式，其中k=±1,±2等。例如，如果使用如第3圖所示的65個定向模式，則k可以為從±1到±16範圍。
在除了HEVC之外的一些近期的發展中，在現有的33個定向模式之間使用額外的32個定向模式，如第3圖所示。在這種情況下，共有65個模式，包括定向模式以及一些非定向模式。
在HEVC中，一旦沿著預測方向確定了定向模式，則當前區塊中的所有像素將使用相同的預測器值(predictor value)。如果預測器(predictor)落在兩個重構的參考樣本之間，則將使用雙線性濾波器(bi-linear filter)來計算作為兩個相鄰像素的加權平均值的預測器。例如，預測信號P可以根據 P=[P1*a+P2*(32-a)]/32來導出，其中P1和P2是兩個相鄰重構樣本，整數a是預測器P到P2的包含在範圍0~32之間的距離。
圖框內梯度濾波的概念是利用沿著圖框內預測方向的梯度信息來提高圖框內預測的質量。對於如第2圖所示的垂直/水平方向(v/h)到垂直/水平+8方向(v+8/h+8)的圖框內預測模式，左側行/上方列相鄰樣本可以定位沿著從上方列/左側行的圖框內預測方向的相應參考。使用相鄰樣本計算的梯度可以用於改善圖框內預測。在第4A圖中為垂直定向模式的示例，其中Pij表示在列i和行j處的預測器。AL表示當前區塊的左上角的重構樣本，而Li表示當前區塊的左側行中的重構樣本。新的預測器計算如下：P'ij=Pij+α．(Li-AL), (1)其中α是從0到1的分數，並且根據j來選擇，例如對於j=0，則α=1/2；對於j=1，則α=1/4。P'ij被用作最終預測器。對於水平定向模式，最終預測器P'ij計算如下：P'ij=Pij+α．(Aj-AL), (2)
在上述等式中，Aj是上方列中的重構樣本，如第4A圖所示。對於定向模式v+1，...，v+8和h+1，...，h+8，Li或Aj首先沿著圖框內預測的方向獲得其對應的參考樣本RLi或RAj。當RLi或RAj不位於整數像素的位置時，它們通過對當前區塊的上方列或左側行中的整數像素進行插值而產生。v+1，...，v+8定向模式的例子如第4B圖所示。最終預測值P'ij計算如下：P'ij=Pij+α．(Li-RLi), (3)
與垂直定向模式類似，α是從0到1的分數，並且 根據圖框內預測的方向和j來選擇。對於h+1，...，h+8定向模式，最終預測器P'ij計算如下：P'ij=Pij+α．(Aj-RAj), (4)其中α是從0到1的分數，並且根據圖框內預測的方向和i來選擇。
圖框內梯度濾波可以應用於HEVC中的所有定向模式，即v+1，...，v+8和h+1，...，h+8。然而，只有當圖框內預測模式為DC，水平或垂直模式時，才使用圖框內梯度濾波。如果圖框內預測是DC模式，則通過圖框內梯度濾波器來對第一列和第一行的樣本進行濾波。如果圖框內預測是水平模式，則通過圖框內梯度濾波器來對第一列的樣本進行濾波。如果圖框內預測是垂直模式，則通過圖框內梯度濾波器來對第一行的樣本進一步濾波。
除了圖框內梯度濾之外，還提出了另一種稱為雙向圖框內預測(bi-directional Intra prediction)的方法來提高JCT-VC會議中圖框內預測的質量。對於斜線(diagonal)圖框內預測模式，即v+1，...，v+8和h+1，...，h+8，上方列的重構樣本和沿著該方向的左側行的重構樣本的加權和(weighted sum)用來作為圖框內預測器。例如，對於v+1，...，v+8定向模式，如第5圖所示，來自上方列的相鄰樣本的Pij在沿著預測方向的左側行中具有對應的參考樣本Fij。如果Fij不位於整數像素位置，則可以通過在左側行插入整數像素來產生。然後將最終預測器P'ij計算為Pij和Fij的加權和：P'ij=α．Pij+(1-α)．Fij, (5)
其中α是從0到1的分數，並且根據圖框內預測的方向與j(對於v+1，...，v+8定向模式)或i(對於h+1，...，h+8定向模式)來選擇。
在產生圖框內預測器之後，通過轉換(transform)和量化進一步處理預測誤差，並通過熵編碼進行編碼。對於熵編碼，首先將量化係數分為複數個4×4係數組。根據圖框內預測模式和轉換大小選擇不同係數組的編碼順序和在一個係數組中的係數掃描順序。如果轉換大小小於或等於8×8，則圖框內模式依賴掃描(Intra-mode-dependent scan)會用於不同係數組的編碼順序和一個係數組中的係數掃描順序。否則，斜線掃描將用於不同係數組的編碼順序和一個係數組中的係數掃描順序。
此外，可以用若干預測器的加權和來產生用於圖框內預測(即，多參數圖框內預測(multiple parameter Intra prediction)或MPI)的最終預測信號。位置(i，j)的最終預測器PMPI[i，j]定義如下：P MPI [i,j]=(αP HEVC [i,j]+βP MPI [i-1,j]+γP MPI [i,j-1]+δP MPI [i-1,j-1]+4)>>3，其中如第6圖所示，在區塊PMPI[i，j]的外部等於重構信號，P MPI [i,j]=REC[i,j],if i<0∥j<0。
第6圖為多參數圖框內預測(multiple parameter Intra prediction，MPI)處理的示例，其中輸入區塊由任意方向圖框內(Arbitrary Directional Intra，ADI)610處理，緊接著被MPI 620處理。該後處理(即，參數α+β+γ+δ=8)的強度被 控制在編碼單元級(CU level)並用高達2位的來發信。
在ITU-I文獻C1046(A.Said等，“Position dependent Intra prediction combination”，ITU-T SG16 COM 16-C1046-E，2015年10月)中，提出了一種使用濾波和未濾波的參考樣本的組合以形成第7圖所示的未濾波(710)和濾波(720)情況的最終預測器p[x，y]。
信號r和s用於表示具有濾波和未濾波的參考的序列。新的預測器p[x，y]將邊界元素r[ ]和q[x，y](即，從濾波樣本s[ ]導出的預測器)的加權值組合如下： 其中 , , , 是存儲的預測參數，對於大小為16×16的區塊大小，d=1，以及對於較大區塊，d=2，以及 (≫)，是標準化因子。
在文獻JVET-C-0061(X.Xiu等，“Decoder-side Intra Mode derivation”，JVET-C0061，2016年5月)中，公開了使用平面模式進行圖框內預測的插值。根據JVET-C-0061，使用相應的左側參考樣本和上方參考樣本的線性平均值來發信或估計右下角當前預測區塊的樣本。因此，如第8圖所示，使用上方/底部-右側樣本組合和左則/底部-右側樣本組合(810)來雙線性內插最右側行和底部列中的樣本。使用類似的雙線性 內插(820)來預測預測區塊中的剩餘像素，如第8圖所示。
基於模板的圖框內預測
在文獻JVET-C-0061中，提出了解碼器側圖框內預測模式導出方法，其中當前區塊的相鄰重構樣本被用作模板。將模板中的重構像素與相同對應位置中的預測像素進行比較。使用作為模板周圍的相鄰重構像素的參考像素來產生預測像素。對於每個可能的圖框內預測模式，編碼器和解碼器嘗試以類似於HEVC中的模板中的位置的方式來產生預測像素。將預測像素與模板中的複數個重構像素之間的失真進行比較和記錄。選擇具有最小失真的圖框內預測模式作為導出的圖框內預測模式(derived Intra prediction mode)。在模板匹配搜索期間，可用的圖框內預測模式(從67種)增加到129種，參考樣本的內插濾波(從1/32像素)增加到1/64像素。第9圖為解碼器側圖框內模式導出(decoder side Intra mode derivation，DIMD)的示例，其中L是當前區塊(即，在第9圖中所示的目標區塊)的上方的像素的模板的高度和當前區塊的左側的像素的模板的寬度。
四叉樹和二叉樹(Quadtree Plus Binary Tree，QTBT)結構
在文獻m37524/COM16-C966(J.An等，“Block partitioning structure for next generation video coding”，MPEG文件m37524和ITU-T SG16文件COM16-C966，2015年10月)中，公開了四叉樹和二叉樹(QTBT)區塊劃分結構。根據QTBT，編碼樹區塊(coding tree block，CTB)首先被四叉 樹結構劃分。四叉樹葉節點(quadtree leaf node)進一步被二叉樹結構劃分。二叉樹葉節點，即編碼區塊(coding block，CB)，用於預測和轉換，無需進行任何進一步的劃分。對於P和B切片，一個編碼樹單元(CTU)中的亮度和色度CTB共享相同的QTBT結構。對於I切片，通過QTBT結構將亮度CTB劃分為CB，並且通過另一個QTBT結構將兩個色度CTB劃分成色度CB。
作為四叉樹的根節點(root node)的CTU(或I切片的CTB)，首先被四叉樹劃分，其中可以重複一個節點的四叉樹劃分，直到節點達到最小允許四叉樹葉節點大小(MinQTSize)。如果四叉樹葉節點大小不大於最大允許二叉樹根節點大小(MaxBTSize)，則可以通過二叉樹進一步劃分。可以重複一個節點的二叉樹劃分，直到節點達到最小允許二叉樹葉節點大小(MinBTSize)或最大允許二叉樹深度(MaxBTDepth)。二叉樹葉節點，即CU(或I切片的CB)，將用於預測(例如，圖像內或圖像間預測)和轉換，而無需進行任何進一步的劃分。二叉樹分割中有兩種分割類型：對稱水平分割和對稱垂直分割。
第10圖的區塊劃分1010和相應的QTBT結構1020為使用QTBT進行區塊劃分的示例。實線表示四叉樹分割，虛線表示二叉樹分割。在二叉樹的每個分割(即，非葉)節點中，用一個標誌來發信，以指示使用哪種分割類型(即，水平或垂直)，其中0表示水平分割，而1表示垂直分割。對於四叉樹分割，不需要指示分割類型，因為它總是將區塊水平和垂直分割 成相等大小的4個子區塊。
在上述公開中，JVET(聯合視訊開發團隊)是指由ITU-T VCEG和ISO/IEC MPEG共同建立的國際組織，以研究下一代視訊編碼技術。基於HEVC參考軟體(HM)構建了稱為JEM(聯合開發模型)的參考軟體。一些新的視訊編碼方法，包括QTBT和65中圖框內預測方向，都包含在JEM軟體中。
為了降低與DIMD相關聯的複雜度和/或增加與DIMD相關聯的編碼效率，公開了各種技術。
本發明公開了一種使用基於模板的圖框內預測的視訊編碼的方法和裝置。根據一種方法，是否將基於模板的圖框內預測應用於當前塊，或者是否將與基於模板的圖框內預測相關聯的參數應用於當前塊，是根據與當前塊相關聯的塊大小來確定的。如果基於模板的圖框內預測用於當前塊，則使用基於模板的圖框內預測從當前塊的模板匹配候選集合導出目標圖框內模式或圖框內模式候選集合，並且使用圖框內預測對該當前塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框模式。
在上述方法中，可以從包括基於模板的圖框內預測搜索的圖框內模式集合，與圖框內模式集合相關聯的集合大小，以及應用基於模板的圖框內預測的重複次數的總數的一組中，選擇與基於模板的圖框內預測相關聯的參數。
在一個實施例中，如果塊大小大於最小塊大小， 則可以將基於模板的圖框內預測應用於當前塊。例如，如果當前塊是4×4塊，則可以對當前塊禁用基於模板的圖框內預測。塊尺寸可以被測量為當前塊的長邊，短邊或面積。
在另一個實施例中，如果當前塊是4×4塊，則可以對當前塊應用總共11個模式的基於模板的圖框內預測。在另一個實施例中，當當前塊是具有N大於或等於8的整數的4×N或N×4塊時，並且基於模板的圖框內預測被應用於當前塊；其中如果根據基於模板的圖框內預測導出的最佳圖框內模式落在當前塊的較短邊中，則僅將一輪基於模板的圖框內預測應用於當前塊。在另一個實施例中，基於模板的圖框內預測搜索的圖框內模式的總數取決於塊大小，其中塊大小被測量為當前塊的較長邊，較短邊或面積。
在另一實施例中，根據塊長度(其被測量為當前塊的寬度，高度，寬度和高度的最大值，寬度和高度的最小值)，通過基於模板的圖框內預測搜索不同的圖框內模式集合。例如，對於塊長度分別為4，8，64和其他塊長度，通過基於模板的圖框內預測搜索的與不同的圖框內模式集相關聯的集合大小可以為9，33，9和131。
在另一個實施例中，基於模板的圖框內預測導出由N個模式間候選者組成的圖框內模式候選集合，並且其中N個圖框內模式候選對應於通過該基於模板的圖框內預測搜索的圖框內模式集合中的N個最低成本的圖框內模式。可以通過顯式信令或解析對應於最終圖框內模式的語法，從該N個圖框內模式候選中為該當前塊選擇該最終圖框內模式。
在另一個實施例中，發信或解析初始圖框內模式，並且該基於模板的圖框內預測通過在該初始圖框內模式周圍搜索一組圖框內模式來導出該當前塊的最終圖框內模式。在另一個實施例中，該當前塊的所有可用的圖框內模式被劃分成複數個組，並且發信或解析索引以選擇其中的一組以作為圖框內模式集合，以及通過使用該基於模板的圖框內預測來搜索該圖框內模式集合，以從該圖框內模式集合中確定最終圖框內模式。
根據另一種方法，用於當前塊的N個模板匹配候選是從包括一個或複數個相鄰塊的第一圖框內模式，一個或複數個導出的最可能模式(MPM)，一個或複數個先前編碼的圖框內模式，或其組合的一組中確定的，其中N為正整數。模板匹配圖框內預測應用於N個模板匹配候選，以選擇具有最低成本的一個圖框內模式作為最終圖框內模式。使用圖框內預測對該當前塊進行編碼或解碼，該圖框內預測具有從包括該最終圖框內模式的圖框內模式組中選擇的當前圖框模式。
根據另一種方法，使用四叉樹和二叉樹(QTBT)結構將圖像或當前圖像的一個或複數個區域分割成塊。如果基於模板的圖框內預測用於當前塊並且當前塊是非正方形的，則L形參考像素線的寬度和高度根據當前塊的寬度和高度來確定。L形參考像素線包括在上方模板之上的上方參考像素段和與左側模板的左側相鄰的左側參考像素段。
100‧‧‧區塊
110、120‧‧‧線
610‧‧‧任意方向圖框內
620‧‧‧多參數圖框內預測
710‧‧‧未濾波
720‧‧‧濾波
810‧‧‧左則/底部-右側樣本組合
820‧‧‧雙線性內插
1010‧‧‧區塊劃分
1020‧‧‧QTBT結構
2210、2220、2230、2240、2250‧‧‧步驟
2310、2320、2330、2340、2350、2360、2370‧‧‧步驟
第1圖為根據高效視訊編碼(HEVC)應用於轉換單元(TU)的圖框內平滑所涉及的樣本。
第2圖為根據高效率視訊編碼的圖框內預測的33個方向，其中方向被指定為H，H+1，...，H+8，H-1，...，H-7，V，V+1，...，V+8，V-1，...，V-8。
第3圖為通過在現有的33個定向模式之間增加32個定向模式的圖框內預測的65個方向的示例。
第4A圖為用於圖框內預測的垂直定向模式的示例。
第4B圖為根據高效視訊編碼的從(v+1)到(v+8)的圖框內預測模式的圖框內梯度濾波的示例。
第5圖為根據高效視訊編碼的從(v+1)到(v+8)的圖框內預測模式的雙向預測濾波的示例。
第6圖為多參數圖框內預測(MPI)處理的示例。
第7圖為未濾波和濾波情況的4×4區塊中的圖框內預測的示例。
第8圖為最右側行和底部列(左側)的雙線性插值以及其餘樣本(右側)的雙線性插值的示例。
第9圖為解碼器側圖框內模式導出(DIMD)的示例，其中模板對應於當前區塊的上方和當前區塊的左側的像素。
第10圖為通過使用QTBT的區塊劃分的示例，其中區塊劃分在左側示出，並且相應的QTBT結構在右側示出。
第11圖為為不可用的相鄰圖框內模式產生圖框內模式的示例，其中通過將模式(K+2)加上180度得到模式(K+2)’來替代不可用的圖框內模式(K+2)。
第12A圖為根據本發明的實施例的當塊的寬度小於塊的高度時，高度的更多模式(與JEM相比)的示例。
第12B圖為根據本發明的實施例的當塊的高度小於塊的寬度時，寬度的更多模式(與JEM相比)的示例。
第13A圖為根據本發明的實施例的當塊的寬度小於塊的高度時，高度的更多模式的示例，其中該高度的圖框內模式的數量是該寬度的圖框內模式的兩倍。
第13B圖為根據本發明的實施例的當塊的高度小於塊的寬度時，寬度的更多模式的示例，其中該寬度的圖框內模式的數量是該高度的圖框內模式的兩倍。
第14圖為在水平方向(即，模式10)，模式2(即，對角線方向)和模式18(即，對角線方向)上具有更精細的預測(finer prediction)的高度上的非均勻模式分佈(un-even mode distribution)的示例，其中塊大小為M×N，M等於(2 * N)。
第15A圖為在寬度方面的均勻模式分佈的示例，其中包括在高度側(即，較短側)中的2個圖框內模式和在寬度側(即，較長側)中的33個圖框內模式。
第15B圖為在寬度方面的均勻模式分佈的示例，其中包括在高度側(即，較短側)中的2個圖框內模式和在寬度側(即，較長側)中的25個圖框內模式。
第16圖為模板使用的參考像素的示例，其中在上方模板之上的參考像素被Height_b個像素延伸，並且在左側模板的左側的參考像素被Width_b個像素延伸。
第17圖為模板使用的參考像素的示例，其中在上方模板之上的參考像素被(Height_b+L)個像素延伸，並且在左模板的左側的參考像素被(Width_b+L)個像素延伸。
第18圖為模板使用的參考像素的示例，其中在上方模板之上的參考像素被Width_b個像素延伸，並且在左模板的左側的參考像素被Height_b個像素延伸。
第19圖為模板使用的參考像素的示例，其中在上方模板之上的參考像素被(Width_b+L)個像素延伸，並且在左模板的左側的參考像素被(Height_b+L)個像素延伸。
第20圖為第一輪DIMD(解碼器側圖框內模式導出)的圖框內模式的示例。
第21圖為具有用於DIMD(解碼器側圖框內模式導出)的17個角度圖框內模式(angular Intra mode)的圖框內模式的示例。
第22圖為根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中是否應用基於模板的圖框內預測或與基於模板的圖框內預測相關聯的一個或複數個參數，取決於當前的塊大小。
第23圖為根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中使用四叉樹和二叉樹(QTBT)結構來分割圖像，以及當當前塊的寬度和高度不相等時，基於當前塊的寬度和高度來確定L形參考線的寬度和高度。
以下描述係本發明實施的較佳實施例。以下實施例僅用來例舉闡釋本發明之技術特徵，並非用來限制本發明的範疇。本發明保護範圍當視後附的申請專利範圍所界定為準。
在以下方法中，定義了模板，即來自當前區塊的相鄰像素的一組重構像素。對於該模板中的每個像素，使用來自模板的相鄰像素的參考像素，來產生相應的預測像素，該相應的預測像素使用可用的圖框內預測模式(角度或非角度(angular or non-angular))之一。對於給定的圖框內預測模式，定義成本函數以比較模板中的重構像素和模板中的預測像素之間的失真。模板匹配搜索(template matching search)是指評估模板匹配候選集合中的不同圖框內預測模式之間的成本函數。
A：使用模板匹配的圖框內預測
在該方法的第一變型中，設置整數N，使得在模板匹配搜索期間選擇具有最低成本的前N個(first N)圖框內預測模式。將使用顯式信令(explicit signaling)從這N個模式中選擇當前塊的最終圖框內預測模式。特別地，如果N可以由2 ^ M(M是另一個整數)來表示，則可以通過使用M個碼元(bin)來完成圖框內預測模式的發信。注意，N應該小於或等於可用的圖框內預測模式的總數量。
在第二變型中，選擇在模板匹配搜索期間具有最低成本的圖框內預測模式(稱為目標模式K)。設置整數N，將使用顯式信令從這N個模式中選擇當前塊的最終圖框內預測模式。特別地，如果N可以由2 ^ M(M是另一個整數)來表示， 則可以通過使用M個二進制位來完成圖框內預測模式的發信。注意，N應該小於或等於可用的圖框內預測模式的總數量。以下是構建這N個模式的規則。
‧如果目標模式(例如模式K)是角度模式(angular mode)，則還會選擇諸如DC和平面模式之類的基於非角度的模式(non-angular based mode)。如果這些模式的總數達不到N，則還會選擇其他接近該模式的角度模式。例如，模式K+1，K+2...K-1，K-2等是其相鄰模式。如果這些模式中的任何一個都不是可用的圖框內預測模式，則通過將原始模式朝相反的方向延伸(即，原始模式的方向加180度)來替換該模式。例如，在第11圖中，模式(K+2)被模式(K+2)’代替，模式(K+2)’對應於旋轉了180度的模式(K+2)。這個操作在這裡被稱為圖框內預測模式的延伸表達式(extended expression)。N個候選模式列表中的排序可以改變。例如，順序可以是：模式K，模式K+1，模式K-1，DC，平面，模式K+2，模式K-2等。
‧如果目標模式(模式K)是基於非角度的模式，則也可以選擇其他非角度模式。除此之外，還可以選擇一些通常使用的角度模式，例如垂直，水平，對角線(即45和135度)模式，以及它們的相鄰模式(使用上述類似的延伸表達式)。N個候選模式列表中的排序可以改變。
在第三變型中，設置整數N，使得在模板匹配搜索期間選擇具有最低成本的前N個圖框內預測模式。在圖框內預測模式編碼期間，這N個模式被用作MPM集合的一部分。將移 除由MPM列表構造導出的冗餘模式，以使MPM中的每個模式都是唯一的(unique)。
在第四變型中，所有角度模式被分為幾個區域。使用索引來發信角度模式的區域，其中將執行模板匹配搜索。對於給定區域，在該區域中對所有角度模式執行模板匹配搜索。具有最低成本的最佳模式被選擇為最終的圖框內預測模式。在一個實施例中，相同的係數掃描順序(即，垂直，水平，對角線掃描，曲折等)應用於相同區域中的所有角度模式。因此，掃描順序與模板匹配搜索的結果之間沒有依賴關係。
在所有上述變型中，整數N可以是固定數，或設置在高級語法，例如在序列級(SPS)，圖像級(PPS)或切片級(切片標頭)或基於區域的(例如每個CTU或CTU列)。
B：通過模板匹配搜索的圖框內預測模式的數量
當啟用模板匹配，使用QTBT結構來分割視訊資料時，根據本發明的一種方法可以使用(即，搜索)不同數量的圖框內模式。下面公開的方法也適用於使用其他編碼單元(CU)結構來分割視訊資料。圖框內模式可以基於JVET-C0061中公開的模式。
在第一變型中，建議對所有模板匹配圖框內編碼塊使用相同的初始圖框內模式Num(即，19個，35個(HEVC)，67個(JEM)，131個(JVET-C0061))。
在第二變型中，所使用的圖框內預測模式的數量取決於當前塊的大小。一般來說，較大的塊將具有更多的圖框內預測模式以進行搜索。在以下示例中，定義了一些變量size1， size2，size3和size4，其中size1<size2<size3<size4。
‧在一個實施例中，塊大小由塊的寬度來測量。換句話說，塊的寬度被用作塊大小。例如，當當前塊的寬度大於或等於size1且小於size2時，通過調色板匹配圖框內預測為當前塊搜索Num1(即，35個)初始模式。當當前塊的寬度大於等於size2且小於size3時，為當前塊搜索Num2(即，67個)初始模式。當當前塊的寬度大於等於size3且小於size4時，為當前塊搜索Num3(即，131個)初始模式。
‧在第二實施例中，塊大小由塊的高度來測量。換句話說，塊的高度被用作塊大小。當當前塊的高度大於或等於size1且小於size2時，通過調色板匹配圖框內預測來為當前塊搜索Num1(即，35個)初始模式。當當前塊的高度大於等於size2且小於size3時，通過調色板匹配圖框內預測來為當前塊搜索Num2(即，67個)初始模式。當當前塊的高度大於等於size3且小於size4時，通過調色板匹配圖框內預測來為當前塊搜索Num3(即，131個)初始模式。
‧在第三實施例中，塊大小由塊中的像素數量來測量。
‧在第四實施例中，塊大小由當前塊的(寬度+高度)來測量。例如，當當前塊的(寬度+高度)大於或等於size1且小於size2時，通過調色板匹配圖框內預測來為當前塊搜索Num1(即，35個)初始模式。當當前塊的(寬度+高度)大於或等於size2且小於size3時，通過調色板匹配圖框內預測來為當前塊搜索Num2(即，67個)初始模式。當當前塊的(寬度+高度)大於或等於size3且小於size4時，通過調 色板匹配圖框內預測來為當前塊搜索Num3(即，131個)初始模式。
‧在第五實施例中，當當前塊的寬度小於size1時，通過調色板匹配圖框內預測來為當前塊搜索Num1(即，35個)初始模式。當當前塊的寬度大於size1時，通過調色板匹配圖框內預測來為當前塊搜索Num2(即，67個)初始模式。
‧在第六實施例中，當當前塊的高度小於size1時，通過調色板匹配圖框內預測來為當前塊搜索Num1(即，35個)初始模式。當當前塊的高度大於size1時，通過調色板匹配圖框內預測來為當前塊搜索Num2(即，67個)初始模式。
‧在第七實施例中，當當前塊的寬度+高度小於size1時，通過調色板匹配圖框內預測來為當前塊搜索Num1(即，35個)初始模式。當當前塊的寬度+高度大於size1時，通過調色板匹配圖框內預測來為當前塊搜索Num2(即，67個)初始模式。
F：非正方形塊(Non-Square Block)的圖框內預測模式分配
當當前塊是非正方形塊時，對於當前塊的兩側，圖框內角度模式的數量可以是不同的。通常，非正方形塊的長邊應該具有比短邊更多的圖框內預測方向(精度更高)。例如，當前塊是M×N塊，其中M=kN，M，N和k是整數，其中M>N且k>1。Num_M表示M側中的方向的數量，Num_N表示N側中的方向的數量。根據本發明的方法，Num_M和Num_N之間的關係被表達為Num_M=Num_N * f(M,N)，其中f(M,N)是M 和N的函數，如果M>N，則f(M,N)的值大於1。對於N>M的情況，可以導出Num_M和Num_N之間的類似關係。對於MxN塊，M表示寬度，N表示高度。M側中的方向的數量是指垂直方向或靠近垂直方向上的圖框內模式。例如，圖2中的圖框內模式(v-8)至(v+8)被稱為“M側中的圖框內模式方向”。類似地，圖框內模式(h+8)至(h-7)被稱為“N側中的圖框內模式方向”。
在一個變型中，確定f(M,N)的固定比率。在一個實施例中，當M>N，f(M,N)=3時，這意味著多兩倍數量的模式被分配給較長的一側。在另一個實施例中，當M>N，f(M,N)=2時，這意味著多一倍數量的模式被分配給較長的一側。
在另一個變型中，M和N兩側的兩個相鄰模式之間的角度差(即角度精度)保持不變。在這種情況下，如果M=kN，則Num_M=Num_N * k。
以下是更詳細地描述上述方法的幾個示例。在一個實施例中，非正方形塊的圖框內模式的總數量將與正方形塊相同。然而，當寬度>高度(與JEM相比)時，建議在寬度側具有較多數量的模式，而在高度側具有較少數量的模式。當寬度<高度(與JEM相比)時，建議在高度側具有較多數量的模式，以及在寬度側具有較少數量的模式。第12A圖和第12B圖分別為當高度>寬度和寬度>高度時的兩個示例。兩個示例中，圖框內模式的總數量均為67個(65個角度模式)。在這兩個例子中，較長側分配多兩倍數量的模式。
在另一個實施例中，非正方形塊的圖框內模式的 總數量可以不同於正方形塊。在寬度>高度時，建議在高度側有較少數量的模式，並且在寬度側具有與JEM相同數量的模式(與JEM相比)。在寬度<高度時，建議在寬度側具有較少的模式，以及在高度側具有與JEM相同數量的模式(與JEM相比)。第13A圖和第13B圖分別為當高度>寬度和寬度>高度時的兩個示例。兩個示例中，圖框內模式的總數量為50個(48個角度模式)。在這兩個示例中，較長側分配多一倍數量的模式。
在另一個實施例中，非正方形塊的圖框內模式的總數量可以與正方形塊不同。在兩側的兩個相鄰角度模式之間的角度差異是相同的。第13A圖和第13B圖分別為當高度=2 *寬度和寬度=2 *高度時的兩個例子。兩個示例中圖框內模式的總數為50。在這兩個示例中，較長側分配多一倍數量的模式。
在另一個實施例中，每一側的模式分佈可以是非均勻的。有些角度比別的更精細。在一個實施例中，在水平方向(即，模式10)，模式2(即對角線方向)和模式18(即，對角線方向)附近的預測方向可以具有更精細的預測(finer prediction)。其他方向可以較粗略(coarser)。具有M等於(2 * N)的M×N塊的示例在第14圖中示出。
在第14圖中，水平方向和對角線方向附近的模式具有更精細的預測。在另一個實施例中，在垂直方向，模式34(即，對角線方向)附近的的模式可以更精確。在模式的總數量等於67的情況下，對角線模式34變為模式66。
在另一種方法中，對於較短側可具有Num1個模式 以及對於較長側可具有Num2個模式，其中Num1<Num2。(Num1+Num2)應小於模式的總數量。
在一個實施例中，模式的分佈可以是均勻的。在第15A圖中為Num1等於2且Num2等於33的情況的示例。在另一個實施例中，模式的分佈可以是非均勻的。在第15B圖中為Num1等於2且Num2等於25的示例。
I：使用模板匹配的圖框內預測模式推導
在該方法的第一變型中，設置整數N，使得在模板匹配搜索期間選擇具有最低成本的前N個圖框內預測模式。將使用顯式信令從這N個模式中選擇當前塊的最終圖框內預測模式。特別地，可變長度編碼被應用於這N個模式。對於這N個模式中具有較低成本的模式，分配較短的碼字。注意，N應該小於或等於可用的圖框內預測模式的總數量。
在第二變型中，根據模板匹配搜索結果而使用的方法(方法A，方法B或兩者)對於所有塊大小是相同的。但是，需限定可以使用模板匹配搜索的最小塊尺寸。
‧在一個實施例中，圖框內預測模式推導僅取決於塊的較短側。例如，只有當塊的寬度和高度中較小的一個大於或等於最小塊大小MIN_BLOCK_SIZE時，才啟用模板匹配搜索(方法A或B)，其可以在SPS，PPS或切片級，或基於區域(例如每個CTU)來發信。編碼器和解碼器也可以假設MIN_BLOCK_SIZE，因此就不需要顯式信令。也可以使用LOG2_MIN_BLOCK_SIZE以log-base-2的方式來發信MIN_BLOCK_SIZE。因此，當塊的寬度和高度大於或等於 最小塊大小(即2 ^ LOG2_MIN_BLOCK_SIZE)時，模板匹配才啟用。
‧在另一個實施例中，圖框內預測模式推導僅取決於塊的周長。例如，塊的寬度和高度的總和用於表示其周長。在其他表達式中，也可以使用(寬度+高度)/2。僅當塊的(寬度+高度)大於或等於MIN_BLOCK_SIZE時，模板匹配搜索(方法A或B)才啟用。MIN_BLOCK_SIZE可以在SPS，PPS或切片級或基於區域(例如每個CTU)來發信。編碼器和解碼器都可以假設MIN_BLOCK_SIZE。也可以使用LOG2_MIN_BLOCK_SIZE以log-base-2的方式來發信MIN_BLOCK_SIZE。因此，當塊的(寬度+高度)大於或等於最小塊大小(即2 ^ LOG2_MIN_BLOCK_SIZE)時，模板匹配才啟用。
‧在第三實施例中，圖框內預測模式推導僅取決於塊的面積。塊的(寬度*高度)需要滿足最小要求。例如，僅當塊的(寬度*高度)大於或等於MIN_BLOCK_AREA時，才啟用模板匹配搜索。MIN_BLOCK_AREA可以在SPS，PPS或切片級或基於區域(例如每個CTU)來發信。編碼器和解碼器都可以假設MIN_BLOCK_AREA。MIN_BLOCK_SIZE也可以使用LOG2_MIN_BLOCK_SIZE以log-base-2的方式來發信。因此，當(寬度*高度)大於或等於(2 ^ LOG2_MIN_BLOCK_AREA)時，才啟用模板匹配。換句話說，當(Log2(width)+Log2(height))大於或等於最小塊面積(即LOG2_MIN_BLOCK_AREA)時，才啟用模板匹 配。
‧在所有上述實施例中，在模板匹配搜索中檢查的圖框內預測模式的數量對於所有塊大小是相同的。
在第三變型中，是否使用方法A或使用方法B由當前預測塊的塊大小來確定。
‧在一個實施例中，塊大小由塊的面積來測量，即當前塊的(寬度*高度)。當當前塊的(寬度*高度)大於或等於BLOCK_AREA_0時，應用方法A。當當前塊的(寬度*高度)小於BLOCK_AREA_1時，應用方法B。當當前塊的(寬度*高度)小於BLOCK_AREA_2時，不應用方法A或方法B。
‧在另一個實施例中，方法A和方法B的使用與上述實施例類似。但是，方法A和方法B的選擇。當當前塊的(寬度*高度)大於或等於BLOCK_AREA_0時，應用方法B。當當前塊的(寬度*高度)小於BLOCK_AREA_1時，應用方法A。當當前塊的(寬度*高度)小於BLOCK_AREA_2時，不應用方法A或方法B。
‧在第三實施例中，塊大小對應於塊的較短邊。當當前塊的寬度或高度中較小的一個大於或等於BLOCK_SIZE_0時，應用方法A。當當前塊的寬度或高度中較小的一個小於BLOCK_SIZE_1時，應用方法B。當當前塊的寬度或高度中較小的一個小於BLOCK_SIZE_2時，方法A和方法B都不應用。
‧在第四實施例中，塊大小對應於塊的較短邊。當當前塊的寬度或高度中較小的一個大於或等於BLOCK_SIZE_0時， 應用方法B。當當前塊的寬度或高度中較小的一個小於BLOCK_SIZE_1時，應用方法A。當當前塊的寬度或高度中較小的一個小於BLOCK_SIZE_2時，方法A和方法B都不應用。
‧在第五實施例中，塊大小對應於塊的周長。周長可以被測量為塊的(寬度+高度)，2 *(寬度+高度)或(寬度+高度)/2。在下文中，(寬度+高度)用作模板匹配的圖框內模式推導的示例。當當前塊的(寬度+高度)大於或等於BLOCK_SIZE_0時，應用方法A。當當前塊的(寬度+高度)小於BLOCK_SIZE_1時，應用方法B。當當前塊的(寬度+高度)小於BLOCK_SIZE_2時，方法A和方法B都不應用。
‧在第六實施例中，塊大小對應於塊的周長。周長可以被測量為塊的(寬度+高度)，2 *(寬度+高度)或(寬度+高度)/2。在下文中，(寬度+高度)用作模板匹配的圖框內模式推導的示例。當當前塊的(寬度+高度)大於或等於BLOCK_SIZE_0時，應用方法B。當當前塊的(寬度+高度)小於BLOCK_SIZE_1時，應用方法A。當當前塊的(寬度+高度)小於BLOCK_SIZE_2時，方法A和方法B都不應用。
在所有上述實施例中，BLOCK_AREA_0，BLOCK_AREA_1和BLOCK_AREA_2，BLOCK_SIZE_0，BLOCK_SIZE_1，BLOCK_SIZE_2可以在SPS，PPS或切片級或基於區域(例如每個CTU)來發信。編碼器和解碼器都可以假設這些參數。它們也可以是log-base-2的方式，類似於前面的方法。
在所有上述實施例中，在模板匹配搜索中檢查的圖框內預測模式的數量對於所有塊大小是相同的。
在所有上述實施例中，在一些特殊情況下(例如，設置某些BLOCK_AREA_X或BLOCK_SIZE_X值，X=0,1或2)，上述方法A或方法B中只有一種方法適用於所有塊大小，具有最小塊大小要求以啟用模板匹配搜索。
在第四變型中，所有上述方法中的方法A可以被擴展為第一節中公開的方法中那樣，其中不是直接使用模板匹配搜索的最佳模式，而是在模板匹配搜索期間，從前N個圖框內預測模式中選擇具有最低成本的，發信最終的圖框內預測模式。
在第五變型中，可以推廣所有上述方法中的方法B，使得取代將模板匹配搜索的最佳模式放到MPM集合中，而將模板匹配搜索的最佳M個模式放到當前塊的MPM集合中。這裡M是小於或等於模板匹配搜索的可用模式數量的整數。
在第六變型中，可以推廣所有上述方法中的方法B，使得除了模板匹配搜索的最佳模式(稱為目標模式K)之外，接近模式K的一些相鄰模式也被放到當前塊的MPM集合中。在一個實施例中，如果模式K是角度模式，則模式K+1，模式K-1，模式K+2，模式K-2...模式K+M，模式K-M也被放到MPM集合中，其中M是正整數。這裡的所有附加模式來自模板匹配搜索中使用的一組預定義的圖框內預測方向。在一個實施例中，當模板匹配搜索中使用127個方向時，所有模式都來自這127個方向。在另一個實施例中，當模式K+M或模式K-M小於45度時， 使用對應於該模式的角度加上180度的模式。當模式K+M或模式K-M大於225度時，使用對應於該模式的角度減去180度的模式。
J：具有QTBT結構的DIMD的參考像素
當將DIMD應用於QTBT時，應根據本發明的一種方法修改上方和左側參考像素的長度。
在該方法的第一變型中，當上方參考和左側參考都可用時，參考的長度計算如下：Width_reference=Width_b+Height_b+template size+1，以及Height_reference=Height_b+Width_b+template size+1。
在上述等式中，Width_reference表示上方參考的寬度，Height_reference表示模板的左側參考的高度，Width_b和Height_b表示當前塊的寬度和高度，並且template size(模板大小)對應於L。第16圖為所涉及的參考像素的示例。
在第二變型中，當上方參考和左側參考都可用時，參考的長度計算如下：Width_reference=Width_b+Height_b+template size*2+1，以及Height_reference=Height_b+Width_b+template size*2+1。
第17圖為所涉及的參考像素的示例。
在第三變型中，當上方參考和左側參考都可用時，參考的長度計算如下：Width_reference=2*(Width_b+template size)+1，以及Height_reference=2*(Height_b+template size)+1。
第18圖為所涉及的參考像素的示例。
在第四變型中，當上方參考和左側參考都可用時，參考的長度計算如下：Width_reference=2*(Width_b)+template size+1，以及Height_reference=2*(Height_b)+template size+1。
第19圖為所涉及的參考像素的示例。
當只有模板的上方參考或只有左側參考可用時，根據以下一個實施例來計算上方和左側參考的長度：Width_reference=Width_b+Height_b+1，以及Height_reference=Width_b+Height_b+1。
不可用的左側樣品或上方樣品將用一些值來填充。
K：具有QTBT結構的DIMD的預測器產生
為了產生DC預測器，平面預測器和角度預測器，模板將使用具有QTBT的JEM 2.0(即，COM16-C966)中的圖框內模式的類似方法。
L：DIMD發信
建議在每個CU/PU/TU處發信DIMD_flag以指示是否使用該模式。當DIMD_flag為0時，表示不使用此模式。當DIMD_flag為1時，表示使用此模式。
DIMD模式改進
本文公開了一些方法來提高效率或降低DIMD搜索的複雜性。
考慮塊大小和塊寬度/高度以決定DIMD搜索中的模式數量。通常，對於較大塊，其被測量為塊面積，塊的長邊 長度或短邊長度，在DIMD搜索中檢查更多的角度模式。對於較小的塊，在DIMD搜索中檢查較少的角度模式。
以下是確定塊大小的方法：
‧塊的面積(通過塊的寬度*高度來計算)，可以是16 * N個樣本，其中N=1，2等。
‧塊的較長邊(通過塊的max(width,height)來計算)，可以是2 ^ N個樣本，其中N=1，2等。
‧塊的較短邊(通過塊的min(width,height)來計算)，可以是2 ^ N個樣本，其中N=1，2等。
以下是用於執行DIMD搜索的候選模式集合(ModeSetX)，其中X是變量：
‧ModeSet0：無角度模式
‧ModeSet9：9個角度模式(如第20圖)
‧ModeSet17：17個角度模式(如第21圖)
‧ModeSet33：33個角度模式(如圖2)
‧ModeSet65：65個角度模式(如圖3)
‧ModeSet129：129個角度模式(例如，在65個模式的集合 中每兩個現有角度方向之間增加一個角度方向)
‧ModeSet257：257個角度模式(例如，在129個模式的集合中每兩個現有角度方向之間增加一個角度方向)
‧...
在一種方法中，根據當前塊的塊大小，選擇適當的模式集合來執行DIMD搜索。當前塊的塊大小由塊面積，塊寬度和高度的最大值，塊寬度和高度的最小值等來決定。
‧在一個實施例中，使用以下模式分配：○如果塊面積小於或等於Area_1，則ModeSet0中的角度模式用於DIMD；○如果塊面積大於Area_1且小於或等於Area_2，則ModeSet9中的角度模式用於DIMD；○如果塊面積大於Area_2且小於或等於Area_3，則ModeSet17中的角度模式用於DIMD；○如果塊面積大於Area_3且小於等於Area_4，則ModeSet33中的角度模式用於DIMD；○如果塊面積大於Area_4且小於或等於Area_5，則ModeSet65中的角度模式用於DIMD；○如果塊面積大於Area_5，則ModeSet129中的角度模式用於DIMD。
在上面的列表中，Area_1，Area_2，Area_3，Area_4和Area_5可以等於16×N個樣本，其中N是正整數。在上述模式分配結構中，一些通常使用的面積參數如下所示：
上述組合的子集可以形成一組新的圖框內模式。一些例子列出如下。
‧示例1. 進行以下模式分配：○如果塊面積小於或等於Area_1，則ModeSet9中的角度模式用於DIMD；○如果塊面積大於Area_1且小於或等於Area_2，則ModeSet17中的角度模式用於DIMD；以及○如果塊面積大於Area_2，則ModeSet65中的角度模式用於DIMD。
‧示例2. 進行以下模式分配：○如果塊面積小於或等於Area_1，則ModeSet9中的角度模式用於DIMD；以及○如果塊面積大於Area_1，則ModeSet65中的角度模式用於DIMD。
‧示例3. 進行以下模式分配：○如果塊面積小於或等於Area_1，則ModeSet9中的角度模式用於DIMD；○如果塊面積大於Area_1且小於或等於Area_2，則ModeSet33中的角度模式用於DIMD；以及○如果塊面積大於Area_2，則ModeSet65中的角度模式用於DIMD。
‧示例4. 進行以下模式分配：○如果塊面積小於或等於Area_1，則ModeSet9中的角度模式用於DIMD；○如果塊面積大於Area_1且小於或等於Area_2，則ModeSet17中的角度模式用於DIMD；○如果塊面積大於Area_2且小於或等於Area_3，則ModeSet33中的角度模式用於DIMD；以及 ○如果塊面積大於Area_3，則ModeSet65中的角度模式用於DIMD。
在上述實施例中，塊面積可以被當前塊的長邊(即，max(width,height))或短邊(即，min(width,height))的長度所代替。
以下是幾個例子。當塊大小標準是塊的長邊長度時，進行以下模式分配：○如果塊的長邊小於或等於Length_1，則ModeSet0中的角度模式用於DIMD；○如果塊的長邊大於Length_1且小於或等於Length_2，則ModeSet9中的角度模式用於DIMD；○如果塊的長邊大於Length_2且小於或等於Length_3，則ModeSet17中的角度模式用於DIMD；○如果塊的長邊大於Length_3且小於或等於Length_4，則ModeSet33中的角度模式用於DIMD；○如果塊的長邊大於Length_4且小於或等於Length_5，則ModeSet65中的角度模式用於DIMD；以及○如果塊的長邊大於Length_5，則ModeSet129中的角度模式用於DIMD。
在上述示例中，Length_1，Length_2，Length_3，Length_4Length_5可以等於4×N個樣本，其中N是正整數。
在上述模式分配結構中，幾個通常使用的面積參數列出如下：
上述組合的子集可以形成一組新的圖框內模式。一些例子如下：
‧示例1. 進行以下模式分配：○如果塊的長邊小於或等於Length_1，則ModeSet9中的角度模式用於DIMD；○如果塊的長邊大於Length_1且小於或等於Length_2，則ModeSet17中的角度模式用於DIMD；以及○如果塊的長邊大於Length_2，則ModeSet65中的角度模式用於DIMD。
‧示例2. 進行以下模式分配：○如果塊的長邊小於或等於Length_1，則ModeSet9中的角度模式用於DIMD；○如果塊的長邊大於Length_1且小於或等於Length_2，則ModeSet17中的角度模式用於DIMD；○如果塊的長邊大於Length_2且小於或等於Length_3，則ModeSet33中的角度模式用於DIMD；以及○如果塊的長邊大於Length_3，則ModeSet65中的角度模式用於DIMD。
‧示例3. 進行以下模式分配： ○如果塊的長邊小於或等於Length_1，則ModeSet9中的角度模式用於DIMD；○如果塊的長邊大於Length_1且小於或等於Length_2，則ModeSet33中的角度模式用於DIMD；以及○如果塊的長邊大於Length_2，則ModeSet65中的角度模式用於DIMD。
在上述示例中，Length_1，Length_2，Length_3，Length_4和Length_5可以等於4×N個樣本，其中N是正整數。
在另一示例中，當塊大小標準是塊的短邊的長度時，進行以下模式分配：○如果塊的短邊小於或等於Length_1，則ModeSet0中的角度模式用於DIMD；○如果塊的短邊大於Length_1且小於或等於Length_2，則ModeSet9中的角度模式用於DIMD；○如果塊的短邊大於Length_2且小於或等於Length_3，則ModeSet17中的角度模式用於DIMD；○如果塊的短邊大於Length_3且小於或等於Length_4，則ModeSet33中的角度模式用於DIMD；○如果塊的短邊大於Length_4且小於或等於Length_5，則ModeSet65中的角度模式用於DIMD；以及○如果塊的短邊大於Length_5，則ModeSet129中的角度模式用於DIMD。
在上述示例中，Length_1，Length_2，Length_3，Length_4和Length_5可以等於4×N個樣本，其中N是正整數。
在上述模式分配結構中，幾個通常使用的區域參數如下列出：
上述組合的子集可以形成一組新的圖框內模式。一些例子如下：
‧示例1. 進行以下模式分配：○如果塊的短邊小於或等於Length_1，則ModeSet9中的角度模式用於DIMD；○如果塊的短邊大於Length_1且小於或等於Length_2，則ModeSet17中的角度模式用於DIMD；以及○如果塊的短邊大於Length_2，則ModeSet65中的角度模式用於DIMD。
‧示例2. 進行以下模式分配：○如果塊的短邊小於或等於Length_1，則ModeSet9中的角度模式用於DIMD；○如果塊的短邊大於Length_1且小於或等於Length_2，則ModeSet17中的角度模式用於DIMD；○如果塊的短邊大於Length_2且小於或等於Length_3，則ModeSet33中的角度模式用於DIMD；以及○如果塊的短邊大於Length_3，則ModeSet65中的角度模式用於 DIMD。
‧示例3. 進行以下模式分配：○如果塊的短邊小於或等於Length_1，則ModeSet9中的角度模式用於DIMD；○如果塊的短邊大於Length_1且小於或等於Length_2，則ModeSet33中的角度模式用於DIMD；以及○如果塊的短邊大於Length_2，則ModeSet65中的角度模式用於DIMD。
注意，上述模式數量是指可以在DIMD搜索中覆蓋的全部可能模式集合。在某些情況下，某些模式將在搜索中跳過。例如，3輪(3 rounds)搜索之後可能不會檢查(Best_1+6)模式。此外，在以下方法中，當當前塊是非正方形塊時，可以在塊的較長或較短側使用不同數量的模式來執行DIMD搜索。在下面的例子中，當在DIMD搜索中塊的一側將使用N個模式時，這意味著當用於整個平面(兩側)的模式的總數量為N時在這一側的候選模式與用於常規圖框內預測的那些模式相匹配。例如，如果對於8x4塊，長邊將使用65個模式，而在短邊使用9個模式。因此，對於長度為4的一側，使用9個角度模式的圖框內預測的左側的模式將被檢查(例如第20圖)，並且對於長度為8的一側，使用65個角度模式的圖框內預測的上方的模式將被檢查(例如第3圖)。在上面的例子中，對於8x4塊，用於DIMD搜索的整個塊的總模式是32(較長邊)+1(中間的對角線模式)+4(較短側)側)=37種模式。
DIMD搜索可以是分層(hierarchical)結構，其中 第一輪搜索覆蓋比所選擇的角度模式集合加上其他非角度模式更小的角度模式集合(例如9個模式)。如果存在下一輪搜索(即，所選擇的集合大於在第一輪中搜索的模式集合)，則在下一輪中將選擇較大的角度模式集合以進行檢查。當當前搜索覆蓋了該塊大小的所選模式集合時，DIMD搜索終止。
在另一個實施例中，如果第一輪具有9個角度模式和兩個非角度模式，則在進行第二輪搜索時，圖框內模式搜索的集合如下：
‧如果DIMD中使用的角度模式的總數量為129，則編碼器和解碼器在第二輪可以搜索{Best_1+2，Best_1-2，Best_1+4，Best_1-4，Best_1+6，Best_1-6，Best_1+8，Best_1-8}。如果需要第三輪搜索，則第三輪檢查的模式可以是{Best_2+1，Best_2-1}。或者，在第二輪中可以搜索{Best_1+4，Best_1-4，Best_1+8，Best_1-8}，在第三輪中可以搜索{Best_2+2，Best_2-2}。在第一輪和第二輪搜索後，Best_1和Best_2指定最佳模式。
‧如果DIMD中使用的角度模式的總數量為65，則編碼器和解碼器在第二輪可以搜索{Best_1+1，Best_1-1，Best_1+2，Best_1-2，Best_1+3，Best_1-3，Best_1+4，Best_-4}，並且不需要第三輪搜索。或者，在第二輪中可以搜索{Best_1+2，Best_1-2，Best_1+4，Best_1-4}，在第三輪中可以搜索{Best_2+1，Best_2-1}。在第一輪和第二輪搜索後，Best_1和Best_2指定最佳模式。
‧如果DIMD中使用的模式的總數量為17個模式，則在第二輪中可以搜索{Best_1+1，Best_1-1}，並且不需要進行第三輪搜索。
‧如果DIMD中使用的模式的總數量為33個模式，則可以在第二輪搜索{Best_1-1，Best_1+1，Best_1-2，Best_1+2}，並且不需要進行第三輪搜索。 或者，在第二輪中可以搜索{Best_1-2，Best_1+2}，在第三輪中可以搜索{Best_2-1，Best_2+1}。在第一輪和第二輪搜索後，Best_1和Best_2指定最佳模式。
在從最後一輪搜索來搜索最佳模式(例如Best_X+1，Best_X-1等)的上述方法中，當在DIMD搜索中使用的模式的總數量被確定時，Best_X+1和Best_X-1表示Best_X模式旁邊最接近的兩個角度模式，X=1，2，3等等。例如，如果所使用的角度模式的總數量為17(例如第21圖)，並且如果Best_X模式為模式# 6(即水平模式)，則Best_X-1模式是模式# 5，而Best_X+1模式是模式# 7。在另一示例中，如果使用的角度模式的總數量為33(例如圖2)，並且如果Best_X模式是模式H(水平模式)，則Best_X-1模式是模式H-1，並且Best_X+1模式是模式H+1。
在另一種方法中，對於塊的每一側，取決於該側上的長度，可以將不同的角模式集合分配給該側。一般來說，在DIMD搜索中，較長側會檢查更多的模式。
當前一輪DIMD搜索選擇的最佳模式落入塊的一側(上方側或左側)時，如果前一輪搜索的模式數量等於下一輪搜索該側的模式數量，則可以根據在該側使用的模式的數量，跳過下一輪搜索。
‧在一個示例中，當塊面積為16個樣本(例如4×4塊)或塊的較長邊為4時，DIMD搜索中的角度模式的數量設置為0。當塊面積大於16時，DIMD搜索中的角度模式的數量可設置為65。這相當於在4x4塊上禁用DIMD模式。這裡，假設長度為4是塊的寬度或高度的最小長度。
‧在另一個示例中，對於大於或等於8的邊長，DIMD搜索中使用65個模式的集合。對於小於8的邊長，使用9個模式的集合。根據該實施例的一些示例如下所示：
○對於8xN或Nx8(N>=8)塊，為DIMD執行兩輪搜索。
○對於4x4塊，僅為DIMD執行一輪搜索。
○對於4xN或Nx4(N>=8)塊，當第一輪搜索的最佳模式落在長度為4的一側時，由於第一輪搜索已經檢查了9種模式，因此沒有第二輪搜索。圖框內模式落在高度側，或高度是指圖框內模式指向高度側的情況。例如，圖框內模式2，3，4，5和6落在高度側。類似地，圖框內模式7，8，9和10落在寬度側。當第一輪搜索的最佳模式落在長度為8的一側時，執行第二輪搜索。當第一輪搜索的最佳模式是對角線模式(例如，第20圖中的135度，模式#6)時，將檢查沿著長度為8的一側的第二輪搜索中的候選，而跳過沿著長度為4的一側的那些。
‧在另一個示例中，進行以下模式分配：○ModeSet0中的角度模式用於長度小於或等於Length_1的一側；○ModeSet9中的角度模式用於長度大於Length_1且小於或等於Length_2的一側；○ModeSet17中的角度模式用於長度大於Length_2且小於或等於 Length_3的一側；○ModeSet33中的角度模式用於長度大於Length_3且小於或等於Length_4的邊；○ModeSet65中的角度模式用於長度大於Length_4且小於或等於Length_5的一側；以及○ModeSet129中的角度模式用於長度大於Length_5的邊。
上述組合的子集可以形成一組新的圖框內模式。一些例子如下：
‧示例1. 進行以下模式分配：○ModeSet9中的角度模式用於長度小於或等於Length_1的一側；○ModeSet17中的角度模式用於其長度大於Length_1且小於或等於Length_2的一側；以及○ModeSet65中的角度模式用於其長度大於Length_2的一側。
‧示例2. 進行以下模式分配：○ModeSet9中的角度模式用於長度小於或等於Length_1的一側；○ModeSet17中的角度模式用於其長度大於Length_1且小於或等於Length_2的一側；○ModeSet33中的角度模式用於其長度大於Length_2且小於或等於Length_3的一側；以及○ModeSet65中的角度模式用於長度大於Length_3的一側。
‧示例3. 進行以下模式分配：○ModeSet9中的角度模式用於長度小於或等於Length_1的一側；○ModeSet33中的角度模式用於其長度大於Length_1且小於或等於 Length_2的一側；以及○ModeSet65中的角度模式用於其長度大於Length_2的一側。
在上述示例中，Length_1，Length_2，Length_3，Length_4和Length_5可以等於4×N個樣本，其中N是正整數。對於上述實施例，可以使用分層搜索結構來實現。
在上述公開的方法和實施例中，當沒有使用角度模式用於DIMD搜索時，非角度模式(例如，DC和平面模式)可以用於或可以不用於DIMD搜索。在可以使用非角度模式的情況下，在一個實施例中，根據一個實施例將總是使用非角度模式。在另一個實施例中，1位元(1-bit)標誌用於指示在DIMD搜索中是否使用非角度模式，即使不使用角度模式。
在上述方法中，通過塊面積，塊寬度/高度，或寬度和高度中的最大或最小的一個來測量的較大塊將在DIMD搜索中使用更多的角模式。在另一種方法中，當塊較大時，用於DIMD搜索的較小數量的角度模式可用於較大的塊。下表列出了ModeSetX(X=0，9，17等)與使用的角度模式的數量之間的映射的一些示例。
在上述方法中，在DIMD搜索期間，當檢查在Best_X模式附近的相鄰模式時，某些模式可能不是可用的圖框內預測模式。如果任何模式不可用，則通過將原始模式朝向相反方向延伸(即，原始模式的角度加180度)來替換該模式。例如，如第11圖所示，可以用模式(K+2)’代替模式(K+2)，模式(K+2)’為模式(K+2)旋轉180度。這個操作在這裡被稱為圖框內預測模式的延伸表達式。在另一個例子中，如果Best_X模式是H+8(即225度)，則Best_X+1模式是模式H+7。但是，Best_X-1模式不可用。在這種情況下，Best_X-1模式被模式V+7替代。
上面公開的發明可以以各種形式併入各種視訊編碼或解碼系統中。例如，可以使用基於硬體的方法來實現本發明，例如專用集體電路(IC)，現場可編程邏輯陣列(FPGA)，數位信號處理器(DSP)，中央處理單元(CPU)等。本發明也可以使用在諸如智能電話的計算機，膝上型計算機或移動設備上執行的軟體代碼或韌體代碼來實現。此外，軟體代碼或韌體代碼可以在諸如具有專用處理器(例如視訊編碼引擎或協處理器)的CPU的混合型平臺上執行。
第22圖為根據本發明的實施例的具有啟用了基於模板的圖框內預測的示例性編碼系統的流程圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可以被實現為在編碼器側和/或解碼器側的一個或複數個處理器(例如，一個或複數個CPU)上可執行的程序代碼。流程圖中所示的步驟也可以是基於硬體，例如被佈置為執行流程圖中的步驟的一個或複數 個電子設備或處理器。根據該方法，在步驟2210中，接收與當前圖像中的當前塊相關聯的輸入資料。在編碼器側，輸入資料可對應於要編碼的視訊資料。在解碼器側，輸入資料可對應於要解碼的壓縮視訊資料。在步驟2220中，對於當前塊，根據當前塊大小來確定是否應用基於模板的圖框內預測或與基於模板的圖框內預測相關聯的一個或複數個參數。當與基於模板的圖框內預測相關聯的一個或複數個參數被確定時，它暗示了基於模板的圖框內預測用於當前塊。在步驟2230中，確定是否將基於模板的圖框內預測應用於當前塊。如果將基於模板的圖框內預測應用於當前塊(即，來自步驟2230的“是”路徑)，則執行步驟2240和2250。如果基於模板的圖框內預測不應用於當前塊(即，從步驟2230的“否”路徑)，則跳過步驟2240和2250。在步驟2240中，使用基於模板的圖框內預測，從當前塊的模板匹配候選集合導出目標圖框內模式或圖框內模式候選集合。在步驟2250中，使用圖框內預測來對當前塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
第23圖為根據本發明的實施例的啟用了基於模板的圖框內預測的示例性編碼系統的流程圖，其中使用四叉樹和二叉樹(QTBT)結構來分割圖像，以及當當前塊的寬度和高度不相等時，基於當前塊的寬度和高度來確定L形參考線的寬度和高度。根據該方法，在步驟2310中，接收與當前圖像相關聯的輸入資料，其中對當前圖像啟用基於模板的圖框內預測。在步驟2320中，使用四叉樹和二叉樹(QTBT)結構將當前圖 像或當前圖像的一個或複數個區域分割成複數個塊。當前圖像的區域可以對應於切片，圖像塊(tile)，LCU列或LCU。在步驟2330中，檢查基於模板的圖框內預測是否用於當前塊，以及當前塊是否為具有塊寬度Width_b和塊高度Height_b(其中Width_b不等於Height_b)的非正方形。如果結果為“是”，則執行步驟2340到2370。如果結果為“否”，則跳過步驟2340至2370。在步驟2340中，確定包括當前塊上方的上方模板和與當前塊的左側相鄰的左側模板的模板區域。在步驟2350中，確定包括在上方模板之上的上方參考像素段和與左側模板的左側相鄰的左側參考像素段的L形參考像素線(L-shaped reference pixel line)，其中根據具有不等值的Height_b和Width_b確定指定為Width_reference的上方參考像素段的寬度和指定為Height_reference的左側參考像素段的高度。在步驟2360中，基於模板區域和L形參考像素線，使用基於模板的圖框內預測，導出當前塊的目標圖框內模式或圖框內模式候選集合。在步驟2370中，使用圖框內預測來對當前塊進行編碼或解碼，該圖框內預測具有從包括目標圖框內模式或圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
所示的流程圖旨在說明根據本發明的視訊編碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟，重新排列步驟，拆分步驟或組合步驟來實施本發明。在本公開中，已經使用具體的語法和語義來說明實現本發明的實施例的示例。所屬領域中具有習知技術者可以用等同的語法和語義來代替語法和語義來實踐本發明，而 不脫離本發明的精神。
以上的描述是使所屬領域中具有習知技術者在本文提供的特定應用和需求下能夠實踐本發明。所屬領域中具有習知技術者將容易地觀察到，在不脫離本發明的精神和範圍內，可以進行多種修改和變動。因此，本發明並非限定在所示和描述的特定的實施例上，而本發明公開是為了符合原則和新穎性的最廣泛的範圍。在上述詳細的描述中，各種具體的細節，用以提供對本發明的透徹的瞭解。儘管如此，將被所屬領域中具有習知技術者理解的是，本發明能夠被實踐。
如上述所述的本發明的實施例，可以使用硬體、軟體或其組合來實現。例如，本發明的一實施例可以是集成到視訊壓縮芯片中的電路或集成到視訊壓縮軟體中的程序代碼，以執行所描述的處理。本發明的實施例也可以是將在數位信號處理器上執行的程序代碼來執行所描述的處理。本發明還涉及一系列的由計算機處理器、數位信號處理器、微處理器和現場可編程門陣列(FPGA)執行的功能。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或韌體代碼來實現。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或樣式來開發。軟體代碼也可以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不脫離本發明之精神和範圍。
本發明可以以其它具體形式實施而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不 是限制性。本發明的範圍因此由所附申請專利範圍為准而不是由前面的描述所界定。因此，各種修改、改編以及所描述的實施例的各種特徵的組合可以在不脫離本發明的範圍如申請專利範圍書中闡述的情況下實施。

Claims (22)

  1. 一種視訊編碼和解碼方法，分別由視訊編碼系統和視訊解碼系統使用，所述方法包括：接收與當前圖像中的當前塊相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測；對該當前塊，根據與該當前塊相關聯的塊大小，確定是否應用基於模板的圖框內預測或與該基於模板的圖框內預測相關聯的一個或複數個參數；以及如果將該基於模板的圖框內預測使用於該當前塊：使用該基於模板的圖框內預測，從該當前塊的模板匹配候選集合中導出目標圖框內模式或圖框內模式候選集合；以及使用圖框內預測對該當前塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框模式。
  2. 如申請專利範圍第1項所述之方法，其中從包括基於模板的圖框內預測搜索的圖框內模式集合，與該圖框內模式集合相關聯的集合大小，以及應用該基於模板的圖框內預測的重複次數的總數的組中，選擇出與該基於模板的圖框內預測相關聯的該一個或複數個參數。
  3. 如申請專利範圍第1項所述之方法，其中如果該塊大小大於最小塊大小，則將該基於模板的圖框內預測應用於該當前塊。
  4. 如申請專利範圍第3項所述之方法，其中，所述塊大小被測 量為所述當前塊的長邊，短邊或面積。
  5. 如申請專利範圍第3項所述之方法，其中如果該當前塊是4×4塊，則對於該當前塊禁用該基於模板的圖框內預測。
  6. 如申請專利範圍第1項所述之方法，其中如果該當前塊是4×4塊，則將具有總共11個圖框內模式的該基於模板的圖框內預測應用於該當前塊。
  7. 如申請專利範圍第1項所述之方法，其中該當前塊是4×N或N×4塊，其中N是大於或等於8的整數，並且該基於模板的圖框內預測應用於該當前塊；以及如果根據該基於模板的圖框內預測導出的最佳圖框內模式落在該當前塊的較短邊中，則僅將一輪該基於模板的圖框內預測應用於該當前塊。
  8. 如申請專利範圍第1項所述之方法，其中，通過該基於模板的圖框內預測搜索的圖框內模式的總數量取決於塊大小，並且該塊大小被測量為該當前塊的較長邊，較短邊或面積。
  9. 如申請專利範圍第1項所述之方法，其中，根據塊長度(其被測量為該當前塊的寬度，高度，寬度和高度的最大值，寬度和高度的最小值)，通過該基於模板的圖框內預測，來搜索不同的圖框內模式集合。
  10. 如申請專利範圍第9項所述之方法，其中，對於塊長度分別為4，8，64和其它塊長度，與通過該基於模板的圖框內預測搜索的該不同的圖框內模式集合相關聯的集合大小分別為9，33，9和131。
  11. 如申請專利範圍第1項所述之方法，其中，根據該基於模板 的圖框內預測導出包括N個圖框內模式候選的該圖框內模式候選集合，並且其中該N個圖框內模式候選對應於通過該基於模板的圖框內預測搜索的圖框內模式集合中的N個最低成本的圖框內模式。
  12. 如申請專利範圍第11項所述之方法，其中通過顯式信令或解析對應於最終圖框內模式的語法，從該N個圖框內模式候選中為該當前塊選擇該最終圖框內模式。
  13. 如申請專利範圍第1項所述之方法，其中，發信或解析初始圖框內模式，並且該基於模板的圖框內預測通過在該初始圖框內模式周圍搜索一組圖框內模式來導出該當前塊的最終圖框內模式。
  14. 如申請專利範圍第1項所述之方法，其中該當前塊的所有可用的圖框內模式被劃分成複數個組，並且發信或解析索引以選擇其中的一組以作為圖框內模式集合，以及通過使用該基於模板的圖框內預測來搜索該圖框內模式集合，以從該圖框內模式集合中確定最終圖框內模式。
  15. 一種視訊編碼和解碼裝置，分別由視訊編碼系統和視訊解碼系統使用，所述裝置包括一個或複數個電子電路或處理器，用於執行以下步驟：接收與當前圖像中的當前塊相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測；對該當前塊，根據與該當前塊相關聯的塊大小，確定是否應用基於模板的圖框內預測或與該基於模板的圖框內預測相關聯的一個或複數個參數；以及 如果將該基於模板的圖框內預測使用於該當前塊：使用該基於模板的圖框內預測，從該當前塊的模板匹配候選集合中導出目標圖框內模式或圖框內模式候選集合；以及使用圖框內預測對該當前塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框模式。
  16. 一種視訊編碼和解碼方法，分別由視訊編碼系統和視訊解碼系統使用，所述方法包括：接收與當前圖像相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測；使用四叉樹和二叉樹結構將該當前圖像或該當前圖像的一個或複數個區域分割成複數個塊；如果該基於模板的圖框內預測用於當前塊，並且該當前塊是具有塊寬度Width_b和塊高度Height_b的非正方形，其中Width_b不等於Height_b：確定包括該當前塊上方的上方模板和與當前塊的左側相鄰的左側模板的模板區域；確定L形參考像素線，其包括該上方模板之上的上方參考像素段和與該左側模板的左側相鄰的左側參考像素段，其中根據具有不等值的Height_b和Width_b確定指定為Width_reference的該上方參考像素段的寬度和指定為Height_reference的該左側參考像素段的高度；基於該模板區域和該L形參考像素線，使用該基於模板的圖 框內預測來導出該當前塊的目標圖框內模式或圖框內模式候選集合；以及使用圖框內預測對該當前塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
  17. 如申請專利範圍第16項所述之方法，其中根據以下確定Width_reference和Height_reference：Width_reference=Width_b+Height_b+template_size+1，Height_reference=Height_b+Width_b+template_size+1，以及其中，template_size對應於該上方模板的高度和該左側模板的寬度。
  18. 如申請專利範圍第16項所述之方法，其中根據以下確定Width_reference和Height_reference：Width_reference=Width_b+Height_b+template_size * 2+1，Height_reference=Height_b+Width_b+template_size * 2+1，以及其中，template_size對應於該上方模板的高度和該左側模板的寬度。
  19. 如申請專利範圍第16項所述之方法，其中根據以下來確定Width_reference和Height_reference：Width_reference=2 *(Width_b+template_size)+1， Height_reference=2 *(Height_b+template_size)+1，以及其中，template_size對應於該上方模板的高度和該左側模板的寬度。
  20. 如申請專利範圍第16項所述之方法，其中根據以下方式確定Width_reference和Height_reference：Width_reference=2 *(Width_b)+template_size+1，Height_reference=2 *(Height_b)+template_size+1，以及其中，template_size對應於該上方模板的高度和該左側模板的寬度。
  21. 如申請專利範圍第16項所述之方法，其中根據以下方式確定Width_reference和Height_reference：Width_reference=Width_b+Height_b+1，Height_reference=Width_b+Height_b+1，以及其中，template_size對應於該上方模板的高度和該左側模板的寬度。
  22. 一種視訊編碼和解碼裝置，分別由視訊編碼系統和視訊解碼系統使用，所述裝置包括一個或複數個電子電路或處理器，用於執行以下步驟：接收與當前圖像相關聯的輸入資料，其中對該當前圖像啟用基於模板的圖框內預測；使用四叉樹和二叉樹結構將該當前圖像或該當前圖像的一個或複數個區域分割成複數個塊； 如果該基於模板的圖框內預測用於當前塊，並且該當前塊是具有塊寬度Width_b和塊高度Height_b的非正方形，其中Width_b不等於Height_b：確定包括該當前塊上方的上方模板和與當前塊的左側相鄰的左側模板的模板區域；確定L形參考像素線，其包括該上方模板之上的上方參考像素段和與該左側模板的左側相鄰的左側參考像素段，其中根據具有不等值的Height_b和Width_b確定指定為Width_reference的該上方參考像素段的寬度和指定為Height_reference的該左側參考像素段的高度；基於該模板區域和該L形參考像素線，使用該基於模板的圖框內預測來導出該當前塊的目標圖框內模式或圖框內模式候選集合；以及使用圖框內預測對該當前塊進行編碼或解碼，該圖框內預測具有從包括該目標圖框內模式或該圖框內模式候選集合的圖框內模式組中選擇的當前圖框內模式。
TW106118395A 2016-06-03 2017-06-03 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置 TWI635743B (zh)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201662345074P 2016-06-03 2016-06-03
US62/345,074 2016-06-03
US201662354140P 2016-06-24 2016-06-24
US62/354,140 2016-06-24
US201662365403P 2016-07-22 2016-07-22
US62/365,403 2016-07-22
US201662374039P 2016-08-12 2016-08-12
US62/374,039 2016-08-12
US15/611,841 US10230961B2 (en) 2016-06-03 2017-06-02 Method and apparatus for template-based intra prediction in image and video coding
US15/611,841 2017-06-02

Publications (2)

Publication Number Publication Date
TW201804805A TW201804805A (zh) 2018-02-01
TWI635743B true TWI635743B (zh) 2018-09-11

Family

ID=60483588

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118395A TWI635743B (zh) 2016-06-03 2017-06-03 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置

Country Status (2)

Country Link
US (1) US10230961B2 (zh)
TW (1) TWI635743B (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
SI3499884T1 (sl) * 2016-08-08 2023-04-28 Lg Electronics Inc. Postopki kodiranja videa na podlagi načina notranjega napovedovanja ter pripadajoča naprava za obdelavo videa
EP3910954A1 (en) * 2016-08-26 2021-11-17 SHARP Kabushiki Kaisha Image decoding apparatus, image coding apparatus
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US11064205B2 (en) * 2017-03-21 2021-07-13 Lg Electronics Inc. Image decoding method and device according to intra prediction in image coding system
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
EP3410722A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
US10582195B2 (en) 2017-06-02 2020-03-03 Futurewei Technologies, Inc. Intra prediction using unequal weight planar prediction
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
US10477237B2 (en) 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
EP3643062A1 (en) * 2017-07-04 2020-04-29 Huawei Technologies Co., Ltd. Decoder side intra mode derivation (dimd) tool computational complexity reduction
US11019339B2 (en) 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
US10666943B2 (en) 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
US10841794B2 (en) 2017-09-18 2020-11-17 Futurewei Technologies, Inc. Adaptive motion vector resolution
US10595019B2 (en) 2017-09-20 2020-03-17 Futurewei Technologies, Inc. Noise suppression filter parameter estimation for video coding
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
US10965941B2 (en) * 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
PL3677031T3 (pl) 2017-10-16 2024-01-29 Huawei Technologies Co., Ltd. Transformacje zmienne przestrzennie dla kodowania wideo
GB2567861A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
EP3487177A1 (en) * 2017-11-21 2019-05-22 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
EP3496401A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing Method and apparatus for video encoding and decoding based on block shape
US10623746B2 (en) 2017-12-07 2020-04-14 Tencent America LLC Method and apparatus for video coding
WO2019125093A1 (ko) * 2017-12-22 2019-06-27 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US10924733B2 (en) 2017-12-29 2021-02-16 FG Innovation Company Limited Device and method for coding video data based on mode list including different mode groups
EP3738306A1 (en) * 2018-01-11 2020-11-18 Telefonaktiebolaget LM Ericsson (publ) Multiple boundary filtering
US10841578B2 (en) 2018-02-12 2020-11-17 Tencent America LLC Method and apparatus for using an intra prediction coding tool for intra prediction of non-square blocks in video compression
US10432929B2 (en) 2018-02-12 2019-10-01 Tencent America LLC Method and apparatus for multiple line intra prediction in video compression
CN117640963A (zh) 2018-02-23 2024-03-01 英迪股份有限公司 对图像进行解码或编码的方法和传输图像的数据的方法
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
US10652534B2 (en) * 2018-03-08 2020-05-12 Tencent America LLC Methods and apparatus for directional intra prediction in video compression
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
KR102203528B1 (ko) 2018-03-19 2021-01-14 이화여자대학교 산학협력단 방향의 대칭성을 이용한 영상 코딩 장치의 신호 처리 방법
CN116866565A (zh) * 2018-03-21 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质以及图像数据的传输方法
EP4216550A1 (en) 2018-03-28 2023-07-26 FG Innovation Company Limited Device and method for coding video data in multiple reference line prediction
US10419754B1 (en) 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
US10728542B2 (en) 2018-04-09 2020-07-28 Tencent America LLC Methods and apparatuses for sub-block motion vector prediction
CN112042190B (zh) * 2018-04-24 2024-01-23 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
KR20210158432A (ko) * 2018-05-12 2021-12-30 주식회사 윌러스표준기술연구소 참조 샘플을 이용하는 비디오 신호 처리 방법 및 장치
US10778971B2 (en) 2018-06-01 2020-09-15 Tencent America LLC Method and apparatus for video coding
WO2019245340A1 (ko) 2018-06-21 2019-12-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3800883A4 (en) * 2018-06-25 2021-07-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. INTRAFRAME PREDICTION PROCESS AND DEVICE
CA3102546A1 (en) * 2018-06-27 2020-01-02 Kt Corporation Method and apparatus for processing video signal
US11509889B2 (en) * 2018-06-27 2022-11-22 Kt Corporation Method and apparatus for processing video signal
US10893285B2 (en) * 2018-06-29 2021-01-12 FG Innovation Company Limited Device and method for coding video data based on one or more reference lines
WO2020017987A1 (en) 2018-06-29 2020-01-23 Huawei Technologies Co., Ltd Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10567752B2 (en) * 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10382772B1 (en) 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US10404980B1 (en) 2018-07-10 2019-09-03 Tencent America LLC Intra prediction with wide angle mode in video coding
US10638161B2 (en) 2018-07-13 2020-04-28 Tencent America LLC Methods and apparatus for most probable mode derivation
US20210329233A1 (en) * 2018-07-14 2021-10-21 Mediatek Inc. Methods and Apparatuses of Processing Video Pictures with Partition Constraints in a Video Coding System
US10834393B2 (en) * 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
EP3709644A1 (en) * 2019-03-12 2020-09-16 Ateme Method for image processing and apparatus for implementing the same
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
US11095885B2 (en) * 2018-10-05 2021-08-17 Tencent America LLC Mode list generation for multi-line intra prediction
US11303885B2 (en) * 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
CN110401838B (zh) 2019-03-12 2021-08-31 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
MX2022002617A (es) * 2019-09-12 2022-03-25 Bytedance Inc Uso de predictor de paleta en codificacion de video.
US11671592B2 (en) * 2019-12-09 2023-06-06 Qualcomm Incorporated Position-dependent intra-prediction combination for angular intra-prediction modes for video coding
CN111246221B (zh) * 2020-01-22 2022-03-25 中山大学 一种avs3帧内快速划分方法、系统及存储介质
US11523112B2 (en) * 2020-04-09 2022-12-06 Tencent America LLC Intra coding with L-type partitioning tree
KR20230002433A (ko) 2020-04-18 2023-01-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차 성분 비디오 코딩 시그널링 신택스
WO2021253373A1 (en) * 2020-06-19 2021-12-23 Alibaba Group Holding Limited Probabilistic geometric partitioning in video coding
CN111784717B (zh) * 2020-06-28 2024-01-16 中国计量大学 一种智慧台灯及基于该台灯的自动阅卷方法
US20220109863A1 (en) * 2020-10-02 2022-04-07 Tencent America LLC Method and apparatus for video coding
US11863774B2 (en) * 2021-01-15 2024-01-02 Tencent America LLC Method and apparatus for video coding
US12015765B2 (en) * 2021-04-26 2024-06-18 Tencent America LLC Template matching based intra prediction
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023198112A1 (en) * 2022-04-15 2023-10-19 Mediatek Inc. Method and apparatus of improvement for decoder-derived intra prediction in video coding system
WO2024007158A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 一种候选列表构建方法、视频编解码方法、装置和系统
CN114938449B (zh) * 2022-07-20 2023-10-27 浙江大华技术股份有限公司 帧内预测方法、图像编码方法、图像解码方法及装置
US20240187620A1 (en) * 2022-10-20 2024-06-06 Tencent America LLC Transform selection through block matching

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201110709A (en) * 2009-05-15 2011-03-16 Sony Corp Image processing device, method, and program
US20110261882A1 (en) * 2008-04-11 2011-10-27 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110261882A1 (en) * 2008-04-11 2011-10-27 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
TW201110709A (en) * 2009-05-15 2011-03-16 Sony Corp Image processing device, method, and program

Also Published As

Publication number Publication date
TW201804805A (zh) 2018-02-01
US20170353730A1 (en) 2017-12-07
US10230961B2 (en) 2019-03-12

Similar Documents

Publication Publication Date Title
TWI635743B (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
TWI665907B (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
KR102487618B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102549022B1 (ko) 영상 부호화/복호화 방법
KR102595070B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102551731B1 (ko) 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR102410424B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102391235B1 (ko) 영상 신호 부호화/복호화 방법 및 장치
CN107005718B (zh) 使用二叉树块分区的视频编码的方法
KR20230113257A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
KR20240065222A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20190013666A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200033195A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102619133B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200002697A (ko) 처리율 향상을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200033194A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI725328B (zh) 圖片編碼的裝置和方法
CN113273188B (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
KR20200033211A (ko) 경계 처리를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200007671A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20210035067A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200119744A (ko) 화면 내 예측에서 예측 모드 관련 신호를 시그널링하는 방법 및 장치
KR20200145758A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200033760A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20210046804A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees