TW202038624A - 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置 - Google Patents

視訊編碼中用於畫面內分區之轉換類型分配方法和裝置 Download PDF

Info

Publication number
TW202038624A
TW202038624A TW109102600A TW109102600A TW202038624A TW 202038624 A TW202038624 A TW 202038624A TW 109102600 A TW109102600 A TW 109102600A TW 109102600 A TW109102600 A TW 109102600A TW 202038624 A TW202038624 A TW 202038624A
Authority
TW
Taiwan
Prior art keywords
block
intra
transformation
mode
target
Prior art date
Application number
TW109102600A
Other languages
English (en)
Other versions
TWI737141B (zh
Inventor
江嫚書
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202038624A publication Critical patent/TW202038624A/zh
Application granted granted Critical
Publication of TWI737141B publication Critical patent/TWI737141B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種用於視訊編解碼的預測的方法和裝置。 根據該方法，當將幀內子分區（ISP）模式應用於塊時，該塊被水平或垂直地劃分為多個子塊。 根據屬於包括統一設置和塊設置的設置組的目標設置，從候選變換集合中為多個子塊中的每個子塊確定目標水平變換和目標垂直變換。 然後，將所選擇的目標水平變換和目標垂直變換應用於多個子塊中的每個子塊。 根據另一種方法，根據統一設置從不具有變換索引的候選變換集中確定用於當前塊的目標水平和垂直變換，其中統一設置包括兩個或更多個幀內模式或幀內相關模式。

Description

視訊編碼中用於畫面內分區之轉換類型分配方法和裝置
本發明涉及使用ISP（Intra Sub-Partition，畫面（亦稱幀）內子分區）模式的視訊編解碼的預測。 特別地，本發明公開了用於ISP模式的變換類型選擇，以提高編解碼性能或簡化編解碼過程。
高效視訊編解碼（HEVC）是由視訊編解碼聯合合作團隊（JCT-VC）開發的新的國際視訊編解碼標準。 HEVC基於混合的，基於塊的運動補償的，類似於DCT的（hybrid block-based motion-compensated DCT-like）變換編解碼架構。壓縮的基本單位稱為編解碼單位（CU），是2Nx2N的正方形塊，每個CU可以遞歸地分為四個較小的CU，直到達到預定義的最小大小。每個CU包含一個或多個預測單元（PU）。
為了在HEVC中實現混合編解碼架構的最佳編解碼效率，每個PU有兩種預測模式（幀內預測和幀間預測）。對於幀內預測模式，空間相鄰的重構像素可用於生成方向預測。 HEVC中最多有35個方向。對於幀間預測模式，時間重構參考幀可用於生成運動補償的預測。共有三種不同的模式，包括跳過、合併和幀間高級運動向量預測（AMVP）模式
當在幀間AMVP模式下對PU進行編解碼時，利用傳輸的運動向量差（MVD）執行對運動補償的預測，該運動向量差可與運動向量預測子（MVP）一起用於推導運動向量（MV）。為了在幀間AMVP模式下確定MVP，高級運動向量預測（AMVP）方案用於在包括兩個空間MVP和一個時間MVP的AMVP候選集中選擇運動向量預測子。因此，在AMVP模式下，需要對MVP的MVP索引和相應的MVD進行編碼和傳輸。另外，在列表0（即L0）和列表1（即L1）的雙向預測和單向預測中，指定幀間預測方向的幀間預測方向還應附帶每個列表的參考幀索引被編碼和傳輸。
當以跳過或合併模式對PU進行編解碼時，跳過和合併模式利用運動推斷方法，除了所選擇的候選的合併索引，不發送運動資訊。由於在跳過和合併模式下運動向量差（MVD）為零，因此跳過或合併編解碼塊的MV與運動向量預測子（MVP）相同（即MV = MVP + MVD = MVP） 。因此，跳過或合併編解碼塊從位於同一位置的圖片(co-located picture)中的空間相鄰塊（空間候選）或時間塊（時間候選）獲得運動資訊。位於同一位置的圖片是列表0或列表1中的第一個參考圖片，在切片標頭中發信。在跳過PU的情況下，殘差信號也被省略。為了確定跳過和合併模式的合併索引，使用合併方案在包含四個空間MVP和一個時間MVP的合併候選集中選擇運動向量預測子。
第1圖示出了用於為AMVP和合併方案兩者導出空間和時間MVP的相鄰PU。在AMVP中，左側的MVP是A0 、A1 中的第一個可用的，頂部的MVP是B0 、B1 、B2 中的第一個可用的，而時間MVP是TBR 或TCTR 中的第一個可用的（首先使用TBR ，如果TBR 不可用，則使用TCTR ）。如果左MVP不可用，並且頂部MVP不是按比例縮放的MVP，則在B0 ，B1 和B2 之間存在按比例縮放的MVP時，可以導出第二個頂部MVP。AMVP的MVP的列表大小為2。因此，在兩個空間MVP和一個時間MVP的推導過程之後，只有前兩個MVP可以包含在MVP列表中。如果在刪除冗餘後可用MVP的數量少於兩個，則將零向量候選添加到候選列表。
對於跳過和合併模式，如第1圖所示，從A0 、A1 、B0 和B1 導出最多四個空間合併索引，並且從TBR 或TCTR 導出一個時間合併索引（首先使用TBR ，如果TBR 不可用，則使用TCTR ）。注意，如果四個空間合併索引中的任何一個都不可用，則位置B2 然後用於導出合併索引作為替換。在四個空間合併索引和一個時間合併索引的推導過程之後，應用去除冗餘來去除冗餘合併索引。如果在刪除冗餘後可用的合併索引數小於五個，則將導出三種類型的附加候選並將其添加到候選列表中。
通過使用原始合併候選來創建其他雙向預測合併候選。其他候選分為三種候選類型： 1.合併的雙向預測合併候選（候選類型1） 2.按比例縮放的雙向預測合併候選（候選類型2） 3.零向量合併/ AMVP候選（候選類型3）
在候選類型1中，通過組合原始合併候選來創建組合的雙向預測合併候選。尤其是原始候選中的兩個候選，具有mvL0（列表0中的運動向量）和refIdxL0（列表0中的參考圖片索引）或mvL1（列表1中的運動向量）和refIdxL1（列表1中的參考圖片索引），用於創建雙向預測合併候選。第2圖示出了用於組合的雙向預測合併候選的導出過程的示例。候選列表210對應於原始候選列表，其包括L0中的mvL0_A，ref0（231）和L1中的mvL1_B，ref（232）。可以通過組合L0和L1中的候選來形成雙向預測MVP 233。
在候選類型2中，通過縮放原始合併候選來創建縮放的雙向預測合併候選。特別地，原始候選中的一個候選（具有mvLX（列表X中的運動向量）和refIdxLX（列表X中的參考圖片索引），X可以為0或1）用於創建雙向預測合併候選。例如，一個候選A是具有mvL0_A和ref0的列表0單向預測，首先將ref0複製到列表1中的參考索引ref0’。此後，通過使用ref0和ref0’縮放mvL0_A來計算mvL0’_A。然後，創建在列表0中具有mvL0_A和ref0以及在列表1中具有mvL0’_A和ref0’的雙向預測合併候選，並將其添加到合併候選列表中。縮放的雙向預測合併候選的推導過程的示例在第3圖中示出，其中候選列表310對應於原始候選列表，並且候選列表320對應於包括兩個生成的雙向預測MVP的擴展候選列表。
在候選類型3中，通過組合零向量和參考索引來創建零向量合併/ AMVP候選。第4A圖示出了用於添加零向量合併候選的示例，其中候選列表410對應於原始合併候選列表，而候選列表420通過添加零候選而對應於擴展的合併候選列表。第4B圖示出了用於添加零向量AMVP候選的示例，其中候選列表430（L0）和432（L1）對應於原始AMVP候選列表，並且通過添加零候選候選列表440（L0）和442（L1）對應於擴展的AMVP候選。如果零向量候選不重複，則將其添加到合併/ AMVP候選列表。
當以幀內模式對PU進行編解碼時，幀內預測方法僅利用與當前預測單元（PU）相鄰的一個參考層（或線）和幀內預測模式之一來生成當前PU的預測子。與當前預測單元（PU）相鄰的參考層是指用於幀內預測的參考L形重構樣本。對於幀內預測模式，空間相鄰的重構像素可用於生成方向預測。 HEVC中最多有35個方向。在HEVC中的全部35種幀內預測模式中，有3種模式被認為是用於在當前預測塊中預測幀內預測模式的最可能模式（MPM）。選擇了三種模式作為MPM集合。例如，MPM集合包括在左預測塊和上方預測塊中使用的幀內預測模式。如果兩個相鄰塊中的幀內預測模式是相同的並且都是定向的，或者兩個相鄰塊中只有一個可用並且在幀內預測中進行了編解碼，並且同時此幀內預測模式是定向的，則緊鄰該方向的兩個相鄰方向也用於MPM中。在MPM集合中還考慮了DC模式和平面模式以填充MPM中的可用點，尤其是在上方或頂部相鄰塊不可用或未在幀內預測中編解碼，或者相鄰塊中的幀內預測模式並非定向的時。如果用於當前預測塊的幀內預測模式是MPM集合中的模式之一，則使用1或2個位元子（bin）來表示是哪個。否則，它與MPM集合中的任何條目都不相同，它將被編解碼為非MPM模式。總共有32個這樣的非MPM模式，並且使用（5位元）固定長度編解碼方法來發信該模式。 33個方向如第5圖所示。在第5圖中，總共有33種定向模式（directional mode），因此使用H、H + 1〜H + 8、H-1〜H-7、V、V + 1〜V + 8、V-1〜V-8。該系統可以擴展到一般情況，其中水平和垂直模式表示為H和V模式。對於其他定向模式，它們可以表示為H + k或V + k模式，其中k =±1，±2等。例如，如果使用65個定向模式，則k的範圍可以從±1到± 16。
關於信令，在聯合勘探測試模型（Joint Exploration Test Model，簡寫為JEM）（J. Chen等人，“Algorithm Description of Joint Exploration Test Model 7 (JEM 7) ”，ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11，第7次會議：意大利都靈，2017年7月，文檔：JVET-G1001）中，以下方法用於編碼亮度分量的幀內預測模式。 •MPM模式的編解碼：從相鄰模式中生成6種最可能模式（Most Probable Mode，簡寫為MPM）的列表。 如果預測模式是MPM列表中的模式之一，則使用截斷的一進制編解碼。 •非MPM模式的編解碼：如果最佳預測模式不屬於MPM列表，則使用固定長度代碼或截斷的二值化方法。
在 JEM 測試模型中生成 MPM 列表
在JEM中，包含在MPM列表中的模式分為三類： •相鄰塊的幀內模式（即，相鄰幀內模式） •推導的幀內模式 •默認幀內模式
使用五個相鄰的幀內預測模式來形成MPM列表。 第6圖顯示了5個相鄰模式的位置，即左（L）、上（A）、左下（BL）、右上（AR）和左上（AL）。 通過在MPM列表中插入5個相鄰的幀內模式（Intra mode）、平面模式和DC模式形成列表。 修剪過程用於刪除重複的模式，以便MPM列表中只能包含唯一的模式。 包括初始模式的順序為：左、上、平面、DC、左下、右上，然後左上。
如果MPM列表不完整（即列表中少於6個MPM候選），則添加派生模式（derived mode）。通過將-1或+1加到MPM列表中已包括的角度模式中，可以獲得派生模式。這樣的附加導出模式不是從非角度模式（non-angular mode）（即，DC或平面模式）生成的。
最後，如果MPM列表仍然不完整，則將默認模式按以下順序添加到列表中：垂直、水平、模式2和對角線模式。作為此過程的結果，將生成6個MPM模式的唯一列表。
用於選擇殘差的61個非MPM的編解碼如下進行。首先將61個非MPM分為兩組：選定模式集和未選定模式集。所選模式組包含16個模式，其餘模式（即45個模式）分配給未選擇模式組。當前模式所屬的模式集在位元流中用標誌指示。如果要指示的模式在所選模式集中，則將以4位元固定長度代碼發信所選模式。如果要指示的模式來自未選擇的集合，則用截斷的二進制代碼來發信選擇的模式。選定的模式集是通過對61種非MPM模式進行子採樣生成的，如下所示： 選定的模式集={{0，4，8，12，12，20…60}，以及 未選定的模式集={{1,2,3,5,6,7,9,10…59}。
為了改善變換，在JCTVC-B024（C. Yeo等人，“Mode-Dependent Fast Separable KLT for Block-based Intra Coding ”， ITU-T SG16 WP3和ISO / IEC JTC1 / SC29 / WG11的視訊編解碼聯合協作小組（JCT-VC），第2次會議：瑞士日內瓦，2010年7月21日至28日，文檔：JCTVC-B024）、JCTVC-C108（A.Saxena等人，“Jointly optimal intra prediction and adaptive primary transform ”，ITU-T SG16 WP3和ISO / IEC JTC1 / SC29 / WG11的視訊編解碼聯合協作小組（JCT-VC），第3次會議：中國廣州，2010年10月7日至15日，文件：JCTVC-C108）、JCTVC-E125（A.Saxena等人，“CE7: Mode-dependent DCT/DST without 4*4 full matrix multiplication for intra prediction ”，ITU-T SG16 WP3和ISO / IEC JTC1 / SC29 / WG11的視訊編解碼聯合協作小組（JCT-VC），第5次會議：日內瓦，瑞士，2011年3月16-23日，文件：JCTVC-E125）中，引入了離散正弦變換（DST）來與DCT可替換地用於斜的幀內模式（oblique Intra mode）。對於幀間預測的殘差，DCT-II是當前HEVC中使用的唯一變換。
然而，DCT-II並不是對於所有情況的最佳變換。在JCTVC-G281（J. An等人，“Non-CE7: Boundary-Dependent Transform for Inter-Predicted Residue ”，ITU-T SG16 WP3和ISO / IEC JTC1/ SC29 / WG11的視訊編解碼聯合協作小組（JCT-VC），第7次會議：瑞士日內瓦，2011年11月21-30日，文檔：JCTVC-G281）中，VII型離散正弦變換（DST-VII）和IV型離散餘弦變換（DCT-IV） ）被建議在某些情況下代替DCT-II。在JVET-D1001中（J. Chen等人，“Algorithm Description of Joint Exploration Test Model 4 ”，ITU-T SG16 WP3和ISO / IEC JTC1 / SC29 / WG11的聯合視訊探索小組（JVET），第四次會議：2016年10月15日至21日，中國成都，文件：JVET-D1001），還提出了自適應多變換（AMT）方案用於幀內和幀間編解碼塊的殘差編解碼。除了HEVC中的當前變換外，它還利用了DCT / DST系列中的多個選定變換。新引入的變換矩陣是DST-VII、DCT-VIII、DST-I和/或DCT-V。對於幀內殘差編解碼，由於不同幀內預測模式的殘差統計不同，因此使用依賴於模式的變換候選選擇過程。如表1所示，定義了三個變換子集，並根據幀內預測模式選擇了變換子集，如表2所示。表 1 ：三個預定義的變換候選集
變換集 變換候選
0 DST-VII, DCT-VIII
1 DST-VII, DST-I
2 DST-VII, DCT-VIII
表2：為每個幀內預測模式選擇的（H）水平和（V）垂直變換集
幀內 模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
V 2 1 0 1 0 1 0 1 0 1 0 1 0 1 0 0 0 0
H 2 1 0 1 0 1 0 1 0 1 0 1 0 1 2 2 2 2
幀內 模式 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34  
V 0 0 0 0 0 1 0 1 0 1 0 1 0 1 0 1 0  
H 2 2 2 2 2 1 0 1 0 1 0 1 0 1 0 1 0  
幀內 模式 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
V 1 0 1 0 1 0 1 0 1 0 1 2 2 2 2 2 2 2
H 1 0 1 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0
幀內 模式 53 54 55 56 57 58 59 60 61 62 63 64 65 66        
V 2 2 1 0 1 0 1 0 1 0 1 0 1 0        
H 0 0 1 0 1 0 1 0 1 0 1 0 1 0        
幀 內子分區（ ISP ）模式
在JVET-M0102（S. De-Luxán-Hernández等人，“CE3: Intra Sub- Partition s Coding Mode (Tests 1.1.1 and 1.1.2) ”， ITU-T SG16 WP3和ISO / IEC JTC1 / SC29 / WG11，第2次會議：Marrakech, MA，2019年1月，文檔：JVET-M0102）中，幀內子分區（ISP）編解碼模式是基於行的（Line-Based）幀內（Line-Based Intra，簡寫為LIP）編解碼的更新版本，可糾正算法先前設計中與硬體有關的問題。 ISP工具根據塊大小尺寸將亮度幀內預測的塊垂直或水平劃分為2或4個子分區，如表3所示。第7A圖和第7B圖顯示了這兩種可能性的示例。在第7A圖中，HxW塊710被劃分為兩個H /2xW塊720（即，水平分區）或兩個HxW/2塊730（即，垂直分區）。例如，該塊可以是4×8塊或8×4塊。在第7B圖中，除了4x8、8x4和4x4塊之外，HxW塊710被劃分為四個H/4xW塊740（即，水平分區）或四個HxW/4塊750（即，垂直分區）。所有子分區均滿足具有至少16個樣本的條件。Table 3: 取決於塊大小的子分區數
塊大小 子分區數
4×4 未劃分
4×8 及 8×4 2
其他情況 4
對於這些子分區中的每個，通過對由編解碼器發送的係數進行熵解碼，然後對其進行逆量化和逆變換，來生成殘差信號。然後，對子分區進行幀內預測，最後通過將殘差信號與預測信號相加來獲得相應的重構樣本。因此，每個子分區的重構值將可用於生成下一個分區的預測，該下一分區將重複該過程，依此類推。所有子分區共享相同的幀內模式
基於幀內模式和所利用的分割，使用兩種不同類別的處理順序，其被稱為正常順序和反向順序。按照正常順序，要處理的第一個子分區是包含CU左上角樣本，然後繼續向下（水平拆分）或向右（垂直拆分）的子分區。結果，用於生成子分區預測信號的參考樣本僅位於線的左側和上方。另一方面，反向處理順序要么從包含CU左下角樣本的子分區開始，然後繼續向上，要么從包含CU右上角樣本的子分區開始，然後向左繼續。
在JVET-M0102中可以找到該算法的更詳細的說明。
在開發VVC軟體中，用於已縮放變換係數(scaled transform coefficients)的變換過程可以描述如下。
該過程的輸入是： –亮度位置（xTbY，yTbY），指定相對於當前圖片的左上角亮度採樣的當前亮度變換塊的左上角採樣， –變量nTbW，指定當前變換塊的寬度， –變量nTbH，指定當前變換塊的高度， –變量cIdx，指定當前塊的顏色分量， –縮放的變換係數（nTbW）x（nTbH）數組d [x] [y]，其中x = 0..nTbW − 1，y = 0..nTbH − 1。
該過程的輸出是殘差樣本的(nTbW)x(nTbH)數組r [x] [y]，其中x = 0..nTbW-1，y = 0..nTbH-1。
變量implicitMtsEnabled的導出如下：（當啟用多重變換選擇（表示為MTS）時，implicitMtsEnabled等於0表示用發信的變換索引確定變換類型，而implicitMtsEnabled等於1表示利用隱式變換設置（例如類型設置、塊設置、模式設置或以上設置的任意組合）確定變換類型。在某些情況下，ImplicitMtsEnabled設置為1。以下是一個示例。 •如果sps_mts_enabled_flag等於1（這意味著啟用了多個變換選擇），並且滿足以下條件之一，則將implicitMtsEnabled設置為等於1： – IntraSubPartitionsSplitType不等於ISP_NO_SPLIT（這意味著使用 ISP模式） – cu_sbt_flag等於1，並且Max（nTbW，nTbH）小於或等於32 – sps_explicit_mts_intra_enabled_flag 和/或sps_explicit_mts_inter_enabled_flag等於0， 並且CuPredMode [xTbY] [yTbY]等於MODE_INTRA， 並且不使用低頻不可分變換 （low frequency non-separable transform，簡寫為LFNST）和/或基於矩陣 的幀內預測（matrixed-based intra prediction，簡寫為MIP）。 •否則，implicitMtsEnabled設置為等於0。
implicitMtsEnable的條件可以是上述條件的任何子集。
指定水平變換內核的變量trTypeHor和指定垂直變換內核的變量trTypeVer如下得出： trTypeHor或trTypeVer的值等於0表示默認的變換類型，例如DCT-II。 trTypeHor 或trTypeVer的值大於0表示從MTS選擇的變換類型。例如， trTypeHor或trTypeVer 的值等於1表示DST-VII， trTypeHor或trTypeVer的值等於2表示DCT-VIII。 •如果cIdx大於0（當前TB是色度TB），則trTypeHor和trTypeVer設置為等於0。 •如果IntraSubPartitionsSplitType 不等於ISP_NO_SPLIT並且lfnst_idx不等於0，則trTypeHor和trTypeVer設置為等於0。 •否則，如果implicitMtsEnabled等於1，則可以使用不同的方法來確定trTypeHor或trTypeVer。 以下是一個示例。 –如果IntraSubPartitionsSplitType 不等於ISP_NO_SPLIT，則根據intraPredMode 在表6中指定trTypeHor和trTypeVer。 –否則，如果cu_sbt_flag等於1，則根據cu_sbt_horizo​​ntal_flag和cu_sbt_pos_flag 在表5中指定trTypeHor和trTypeVer。 –否則，（sps_explicit_mts_intra_enabled_flag和 sps_explicit_mts_inter_enabled_flag 等於0），trTypeHor和trTypeVer的得出如下： trTypeHor = ( nTbW >= 4 && nTbW >= 16 && nTbW >= nTbH ) ? 1 : 0   (1) trTypeVer = ( nTbH >= 4 && nTbH >= 16 && nTbH >= nTbW ) ? 1 : 0     (2) –       否則，根據tu_mts_idx[ xTbY ][ yTbY ]在表4中指定 trTypeHor 和trTypeVer. 表 4 –根據 tu_mts_idx[ x ][ y ] 指定trTypeHor 和 trTypeVer
tu_mts_idx[ x0 ][ y0 ] 0 1 2 3 4
trTypeHor 0 1 2 1 2
trTypeVer 0 1 1 2 2
表 5 –根據cu_sbt_horizontal_flag 和cu_sbt_pos_flag指定trTypeHor 和trTypeVer
cu_sbt_horizontal_flag cu_sbt_pos_flag trTypeHor trTypeVer
0 0 2 1
0 1 1 1
1 0 1 2
1 1 1 1
表 6 –根據predModeIntra指定trTypeHor 和trTypeVer
predModeIntra trTypeHor trTypeVer
INTRA_PLANAR, INTRA_ANGULAR31, INTRA_ANGULAR32, INTRA_ANGULAR34, INTRA_ANGULAR36, INTRA_ANGULAR37 ( nTbW >= 4  &&  nTbW >= 16 )  ?  1  :  0 ( nTbH >= 4  &&  nTbH >= 16 )  ?  1  :  0
INTRA_ANGULAR33, INTRA_ANGULAR35 0 0
INTRA_ANGULAR2, INTRA_ANGULAR4,…,INTRA_ANGULAR28, INTRA_ANGULAR30, INTRA_ANGULAR39, INTRA_ANGULAR41,…,INTRA_ANGULAR63, INTRA_ANGULAR65 ( nTbW >= 4  &&  nTbW >= 16 )  ?  1  :  0 0
INTRA_ANGULAR3, INTRA_ANGULAR5,…, INTRA_ANGULAR27, INTRA_ANGULAR29, INTRA_ANGULAR38, INTRA_ANGULAR40,…,INTRA_ANGULAR64, INTRA_ANGULAR66 0 ( nTbH >= 4  &&  nTbH >= 16 )  ?  1  :  0
當開發新的編解碼工具並將其用於變換時，可以選擇多種變換類型，例如DCT-II、DST-VII或DST-VIII，以提高編解碼效率。 對於水平和垂直變換，不是將DCT-II設置為默認變換模式（與其他變換模式相比，它用最短的碼字指示），而是可以使用一些標準為水平變換和垂直變換選擇默認變換類型，以用於幀間或幀內塊。
在VTM中，當以合併模式對CU進行編解碼時，並且如果CU包含至少64個亮度樣本（即CU寬度乘以CU高度等於或大於64），則發信附加標誌，以指示是否將組合幀間/幀內預測（combined Inter/Intra prediction，簡寫為CIIP）模式應用於當前CU。為了形成CIIP預測，首先從兩個附加語法元素中得出幀內預測模式。最多可以使用四種幀內預測模式DC、平面、水平或垂直。然後，使用常規幀內和幀間解碼過程導出幀間預測和幀內預測信號。最後，對幀間和幀內預測信號進行加權平均以獲得CIIP預測。可以在JVET-L0100中找到該算法的更詳細說明（M.-S. Chiang等人， “CE10.1.1: Multi-hypothesis prediction for improving AMVP mode, skip or merge mode, and Intra mode”， ITU-T SG 16 WP 3和ISO / IEC JTC 1 / SC 29 / WG 11，第12次會議：中國澳門，2018年10月，文件：JVET-L0100）。
公開了一種用於視訊編解碼的預測的方法和裝置。根據該方法，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。如果當前塊使用幀內子分區（ISP）模式，則執行以下步驟：將當前塊水平或垂直劃分為多個子塊；根據包括統一設置或塊設置的設置組，從候選變換集合中為多個子塊中的每一個子塊確定目標水平變換和目標垂直變換，其中，所述統一設置適用於特定的編解碼模式、普通幀內模式或其他幀內相關模式，塊設置會基於當前塊的塊寬度、塊高度、塊比率、塊大小或其任意組合；將目標水平變換和目標垂直變換應用於多個子塊中的每一個子塊。
還公開了用於視訊編解碼的另一種變換方法和裝置。根據該方法，當不需要將/已被發信變換索引來選擇目標水平變換和目標垂直變換時，根據統一設置，，從候選變換集中確定針對當前塊的目標水平變換和目標垂直變換，其中，統一設置包括兩個或更多個幀內模式或幀內相關模式。然後將目標水平變換和目標垂直變換應用於當前塊。
在一個實施例中，目標水平變換和目標垂直變換屬於包括DCT-II、DST-VII、DCT-VIII和翻轉（flipped）DST-VII的任意組合的子集。例如，代表（目標水平變換，目標垂直變換）的一對對應於（DCT-II，DCT-II），（DST-VII，DCT-II），（DCT-II，DST-VII）或（DST-VII，DST-VII）。
在一個實施例中，基於當前塊的塊寬度、塊高度、塊比率、塊大小或其任意組合來確定目標水平變換和目標垂直變換。例如，當塊寬度小於或等於塊高度時，目標水平變換從DCT-II更改為另一種變換類型。在另一個示例中，當塊寬度在[4，16]範圍內，塊寬度小於或等於塊高度或兩個塊寬度都在 [4，16] 範圍內並且塊寬度小於或等於塊高度時，目標水平變換從DCT-II更改為DST-VII。在又一個示例中，當塊高度在[4，16]內，塊高度小於或等於塊寬度或兩個塊高度都在[4，16]之內，並且塊高度小於或等於塊寬度時，目標垂直變換從DCT-II更改為DST-VII。
在一個實施例中，統一設置包括正常的幀內模式。候選變換集可以與用於普通幀內模式的普通變換集相同。對於目標水平變換和目標垂直變換，可以將候選變換集中的候選變換的最短碼字設置為DST-VII。在另一個實施例中，ISP模式使用與普通幀內模式相同的幀內預測模式列表。在另一個實施例中，ISP模式使用普通幀內預測模式列表的子集作為其普通幀內模式列表。在又一實施例中，根據塊寬度、塊高度或塊大小禁用ISP模式。
在一個實施例中，隱式地確定目標設置。在另一個實施例中，以CU（編解碼單元）、CTU（編解碼樹單元）、切片、圖塊、圖塊組、SPS（序列參數集）或PPS（圖片參數集）級別發信目標設置。
在一個實施例中，設置組還包括模式設置，並且該模式設置是基於當前塊所選的幀內預測模式。例如，所選擇的幀內預測模式為一定向模式應且滿足（定向模式％2 == 1）。在另一示例中，所選擇的幀內預測模式為一定向模式應且滿足（定向模式％2 == 0）。
以下描述是實施本發明的最佳構想模式。 進行該描述是為了說明本發明的一般原理，而不應被認為是限制性的。 本發明的範圍最好通過參考所附的申請專利範圍來確定。
在本發明中公開了改善或簡化包含普通幀內模式和ISP的幀內模式、包含CIIP的幀內相關模式或三角預測單元模式（TPM）的不同方法。
普通幀內模式是指通過使用DC、平面或由33或65個方向組成的定向模式之一，並參考與當前塊緊鄰或不緊鄰的相鄰塊中的重構樣本，來生成當前塊的幀內預測。
ISP將基於子分區在子分區上應用幀內預測。對該子分區進行幀內預測，最後，通過將殘差信號與預測信號相加來計算相應的重構樣本。在一實施例中，用於ISP模式的候選變換集與用於普通幀內模式的候選變換集相同。在另一實施例中，可以用候選變換集合中的最短碼字表示的第一候選變換與普通幀內模式的不同。在另一個實施例中，對於垂直和水平變換類型，可以用候選變換集合中最短的碼字表示的第一候選變換被設置為DST-VII。在另一個實施例中，當應用ISP時，幀內預測模式列表與普通幀內模式的幀內預測模式列表相同。在另一個實施例中，當應用ISP時，根據預定義規則，幀內預測模式列表是普通幀內模式的幀內預測模式列表的子集。例如，預定規則是從普通幀內模式的幀內預測模式列表中刪除DC或平面模式。在另一示例中，預定規則是根據塊寬度、塊高度或塊大小來減少幀內預測模式列表中幀內預測模式的數量。
在另一個實施例中，可以根據塊寬度、塊高度或塊大小來禁用或限制ISP模式。禁用ISP時，不需要ISP信令，可以略過ISP的發信。當ISP受約束時，將減少ISP模式的組合，並且還可以減少用於發信ISP模式的編解碼位元子。例如，當塊大小大於或小於閾值（例如， 64、128、256、512、1024、2048或標準中指定的最小/最大變換塊大小的平方）時，將禁用或限制ISP模式。在另一個示例中，當塊寬度或高度大於或小於閾值（例如， 64、128、256、512、1024或標準中指定的最小/最大變換塊大小）時，將禁用ISP模式。在另一個示例中，當塊的寬度或高度大於或小於閾值（例如， 64、128、256、512、1024或標準中指定的最小/最大變換塊大小）時，將禁用具有垂直或水平分區的ISP模式。在另一示例中，當塊的長邊大於塊的短邊乘以閾值（例如64、128、256、512或1024）時，禁用ISP模式。在另一示例中，當塊的長邊大於塊的短邊乘以閾值（例如64、128、256、512或1024）時，將禁用具有垂直或水平分區的ISP模式。
在開發名為VVC（通用視訊編解碼）的新興新編解碼標準時，應用了不同的設置來確定特定塊長寬比或某些新工具（例如ISP）的變換模式。在本發明中，公開了用於提高編解碼效率的更有效的規則。此外，通過將現有規則擴展到一般情況來公開了一種擴展的規則，以簡化為水平變換和垂直變換選擇默認變換類型的過程。該規則可以取決於類型設置、模式設置、塊設置、統一設置或以上任意組合。這些設置的含義將在後面詳細說明。如果沒有此規則，則使用DCT-II分配用於水平變換和垂直變換的默認變換類型。
該規則的目的是允許更多的變換類型，用於在應用默認變換模式時增加多樣性。它可以幫助加速編解碼器處理。例如，在某些快速算法中，可以將應用默認變換模式的RD（速率失真）成本用於提前終止多個變換模式的跟隨模式決策。當使用默認變換模式的成本有所改善時，不再需要嘗試其他一些變換模式。在一個實施例中，除了DCT-II之外，該規則中使用的變換類型已經被支持，或者可以容易地從現有變換類型的內核中導出。因此，不需要額外的緩衝區來存儲該規則中使用的變換模式的係數。
類型設置是指該規則中使用的變換類型。在一個實施例中，可以從{DCT-II，DST-VII，DCT-VIII，翻轉的DST-VII}的任何子集中選擇默認變換類型，並且水平變換和垂直變換的變換類型可以是所選擇的子集範圍內的任何組合。例如，表示為（hor，ver）的組合可以是（DCT-II，DCT-II），（DST-VII，DCT-II），（DCT-II，DST-VII）或（DST- VII，DST-VII）。在另一實施例中，當在不需要將/已被發信的變換索引的情況下去選擇目標水平或目標垂直變換時，使用類型設置。
塊設置意味著該規則根據當前塊的塊寬度、塊高度、塊比率或塊大小來確定默認變換的變換類型。在一個實施例中，如果塊寬度小於或等於塊高度，則將水平變換的變換類型改變為其他變換類型，例如DST-VII、DCT-VIII或翻轉的DST-VII；否則，將水平變換的變換類型設置為DCT-II。在另一個實施例中，如果塊高度小於或等於塊寬度，則將垂直變換的變換類型改變為其他變換類型，例如DST-VII、DCT-VIII或翻轉的DST-VII；否則，將垂直變換的變換類型設置為DCT-II。在另一個實施例中，當在不需要將/已被發信的變換索引的情況下去選擇目標水平或目標垂直變換時，使用塊設置。
在另一個實施例中，如果塊寬度的長度在預定間隔內，則將水平變換的變換類型改變為其他變換類型，例如DST-VII、DCT-VIII或翻轉的DST-VII；否則，將水平變換的變換類型設置為DCT-II。在另一個實施例中，如果塊高度的長度在預定間隔內，則將垂直變換的變換類型改變為其他變換類型，例如DST-VII、DCT-VIII或翻轉的DST-VII；否則，將垂直變換的變換類型設置為DCT-II。可以任意組合以上建議的塊設置方法。在另一個實施例中，可以將塊設置應用於幀內和/或幀間塊。在下面，顯示了兩個塊設置示例，它們分別顯示了間隔[4，16]中的塊寬度或高度。請注意，可以將[4，16]更改為[4，8]或[4，32]。
示例1.當塊寬度在間隔[4，16]內和/或塊寬度小於或等於塊高度時，將用於水平變換的變換類型更改為DST-VII。
示例2.當塊高度在間隔[4，16]內和/或塊高度小於或等於塊寬度時，將垂直變換的變換類型更改為DST-VII。
模式設置意味著該規則根據所選模式來確定默認的變換類型。在一個實施例中，該規則可以取決於幀內預測模式。例如，在預定的定向模式間隔中，將{定向模式％2 == 1}設置為一個組合，並將{定向模式％2 == 0}設置為另一組合。在另一實施例中，用於幀內預測模式（非角度的幀內預測模式，諸如平面或DC等幀內預測模式）的默認變換模式可以固定為一個定義的組合，例如（DCT-II，DCT-II）、（DST-VII，DST -VII）、（FDST-VII，FDST-VII）或（DCT-VIII，DCT-VIII）。在另一個實施例中，可以使用諸如塊設置的其他設置來切換用於幀內預測模式的默認變換模式，該默認變換模式不是諸如平面或DC的定向模式。表7中顯示了一個示例。
在CIIP的另一示例中，如果選擇了水平或與水平相關的幀內預測模式，則當塊寬度在[4、16]和/或塊寬度小於或等於塊高度時，將用於水平變換的變換類型改變為DST-VII； 如果選擇垂直或垂直相關的幀內預測模式，則當塊高度在[4，16]內和/或塊高度小於或等於塊寬度時，將垂直變換的變換類型更改為DST-VII；如果選擇了非角度幀內預測模式，則在以下示例中將展示變換類型選擇。
示例1.當塊寬度在[4，16]內和/或塊寬度小於或等於塊高度時，將用於水平變換的變換類型更改為DST-VII。
示例2.當塊高度在[4，16]內和/或塊高度小於或等於塊寬度時，將垂直變換的變換類型更改為DST-VII。表 7. 水平變換和垂直變換的默認變換類型的示例。
predModeIntra trTypeHor trTypeVer
INTRA_PLANAR, INTRA_ANGULAR31, INTRA_ANGULAR32, INTRA_ANGULAR34, INTRA_ANGULAR36, INTRA_ANGULAR37 ( nTbW >= 4  &&  nTbW >= 16 )  ?  1  :  0 ( nTbH >= 4  &&  nTbH >= 16 )  ?  1  :  0
INTRA_DC INTRA_ANGULAR33, INTRA_ANGULAR35 0 0
INTRA_ANGULAR2, INTRA_ANGULAR4,…,INTRA_ANGULAR28, INTRA_ANGULAR30, INTRA_ANGULAR39, INTRA_ANGULAR41,…,INTRA_ANGULAR63, INTRA_ANGULAR65 ( nTbW >= 4  &&  nTbW >= 16 )  ?  1  :  0 0
INTRA_ANGULAR3, INTRA_ANGULAR5,…, INTRA_ANGULAR27, INTRA_ANGULAR29, INTRA_ANGULAR38, INTRA_ANGULAR40,…,INTRA_ANGULAR64, INTRA_ANGULAR66 0 ( nTbH >= 4  &&  nTbH >= 16 )  ?  1  :  0
統一設置是將提議的變換設置應用於一種特定模式或一般情況。一般情況可以包括幀內塊和/或幀內相關塊，例如CIIP塊。在一個實施例中，ISP當前使用的表7也可以應用於其他幀內模式，並且替換了其他幀內模式的現有變換設置。例如，當當前塊是幀內編解碼時，默認的變換類型是根據表7而不是現有的變換設置來確定的。在另一個實施例中，可以將任何建議的變換設置（例如，用於塊設置的示例（1）或（2））應用於ISP模式，並且替換ISP的現有變換設置。例如，當當前塊用ISP編解碼時，默認變換類型是根據任何提議的變換設置（例如，用於塊設置的示例（1）或（2））而不是表7確定的。在另一個實施例中，任何提議的變換設置（例如，用於塊設置的示例（1）或（2））也可以應用於CIIP塊）。在另一個實施例中，可以將兩種現有的變換設置進行組合以建立用於分配默認變換模式的新規則。例如，塊設置（例如，示例（1）或（2））可以與模式設置（例如，表7和表8）組合使用。此新規則可以應用於ISP和/或其他幀內模式。在另一個實施例中，表7可以被用來確定CIIP塊的變換模式。在另一個實施例中，表8可以被用來確定CIIP塊的變換模式。表 8. 水平變換和垂直變換的默認變換類型的又一示例。
predModeIntra trTypeHor trTypeVer
INTRA_PLANAR, INTRA_ANGULAR31, INTRA_ANGULAR32, INTRA_ANGULAR34, INTRA_ANGULAR36, INTRA_ANGULAR37 ( nTbW >= 4  &&  nTbW >= 16  && nTbW >= nTbH)  ?  1  :  0 ( nTbH >= 4  &&  nTbH >= 16 && nTbH >= nTbW )  ?  1  :  0
INTRA_DC INTRA_ANGULAR33, INTRA_ANGULAR35 0 0
INTRA_ANGULAR2, INTRA_ANGULAR4,…,INTRA_ANGULAR28, INTRA_ANGULAR30, INTRA_ANGULAR39, INTRA_ANGULAR41,…,INTRA_ANGULAR63, INTRA_ANGULAR65 ( nTbW >= 4  &&  nTbW >= 16 && nTbW >= nTbH )  ?  1  :  0 0
INTRA_ANGULAR3, INTRA_ANGULAR5,…, INTRA_ANGULAR27, INTRA_ANGULAR29, INTRA_ANGULAR38, INTRA_ANGULAR40,…,INTRA_ANGULAR64, INTRA_ANGULAR66 0 ( nTbH >= 4  &&  nTbH >= 16 && nTbH >= nTbW)  ?  1  :  0
可以根據隱式規則或顯式規則來確定以上的任何方法或任何組合。隱式規則可以取決於塊的寬度、高度、面積、塊大小的長寬比、顏色分量或圖片類型。可以通過在CU、CTU、切片、圖塊、圖塊組、圖片、SPS（序列參數集）、PPS（圖片參數集）級別等發信標記來指示顯式規則。上述任何方法或任何組合都可以適用於幀內或幀間或CIIP模式。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如，可以在編碼器的變換模塊和/或解碼器的變換模塊中實現任何所提出的方法。可替代地，任何提出的方法可以被實現為耦合到編碼器的變換模塊和/或解碼器的變換模塊的電路，以便提供變換模塊所需的資訊。例如，所提出的方法可以在編碼器的幀間預測模塊和/或解碼器的幀間預測模塊中實現。例如，所提出的方法可以在編碼器的幀內預測模塊和/或解碼器的幀內預測模塊中實現。
上面的任何組合可以應用於諸如幀內模式、幀內相關模式、CIIP或TPM的任何工具。
第8圖示出了根據本發明實施例的用於視訊編解碼的示例性預測的流程圖，其中，根據目標設置從候選變換集合為多個子塊中的每一個子塊確定目標水平變換和目標垂直變換。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或多個處理器（例如，一個或多個CPU）上執行的程式代碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟810中，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟820中確定是否將幀內子分區（ISP）模式用於當前塊。如果將ISP模式用於當前塊（即，來自步驟820的“是”路徑），則執行步驟830和850。執行。否則（即，來自步驟820的“否”路徑），跳過步驟830和850。在步驟830，將當前塊水平或垂直地分區為多個子塊。在步驟840中，根據包括統一設置或塊設置的設置組，從候選變換集合中為多個子塊中的每一個子塊確定目標水平變換和目標垂直變換，其中該統一設置適用於特定的編解碼模式、普通幀內模式或其他幀內相關模式，並且塊設置對應於當前塊的塊寬度、塊高度、塊比率、塊大小或其任意組合。在步驟850中，將目標水平變換和目標垂直變換應用於多個子塊中的每一個子塊。
第9圖示出了根據本發明實施例的用於視訊編解碼的另一示例性預測的流程圖，其中，當統一設置包括兩個或更多個幀內模式或幀內相關模式時，當不需要將/已被發信的變換索引來選擇目標水平變換和目標垂直變換時，根據統一設置，從候選變換集中確定針對當前塊的目標水平變換和目標垂直變換。根據該方法，在步驟910中，在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括當前圖片中的當前塊的壓縮資料相對應的視訊位元流。在步驟920中，當不需要將/已被發信的變換索引來選擇目標水平變換和目標垂直變換時，根據統一設置，從候選變換集中確定針對當前塊的目標水平變換和目標垂直變換，其中，統一設置包括兩個或更多個幀內模式或幀內相關模式。在步驟930中，將目標水平變換和目標垂直變換應用於當前塊。
所示的流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者可以在不脫離本發明的精神的情況下修改每個步驟、重新佈置步驟、拆分步驟或組合步驟以實施本發明。在本公開中，已經使用特定的語法和語義來示出用於實現本發明的實施例的示例。技術人員可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。
呈現以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是與與本文所公開的原理和新穎特徵相一致的最廣範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體編解碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文所述的處理的可程式化編解碼。本發明的實施例還可以是將在數位信號處理器（DSP）上執行以執行本文描述的處理的可程式化編解碼。本發明還可涉及由計算機處理器、數位信號處理器、微處理器或現場可編程門陣列（FPGA）執行的許多功能。通過執行定義本發明所體現的特定方法的機器可讀軟體編解碼或韌體編解碼，可以將這些處理器配置為執行根據本發明的特定任務。可以以不同的程式語言和不同的格式或樣式來開發軟體編解碼解碼或韌體編解碼解碼。也可以針對不同的目標平台來編譯軟體編解碼。但是，不同的編解碼格式、軟體編解碼的樣式和語言以及配置編解碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式來體現。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。
210、220、310、320、410、420、430、432、440、442:候選列表 231:mvL0_A，ref0 232:mvL1_B，ref 233:雙向預測MVP 710、720、730、740、750:塊 810~850、910~930:步驟
第1圖示出了用於為AMVP和合併方案兩者導出空間和時間MVP的相鄰PU。 第2圖示出了用於組合的雙向預測合併候選的推導過程的示例。 第3圖示出了縮放的雙向預測合併候選的推導過程的示例，其中左側的候選列表對應於原始候選列表，而右側的候選列表對應於擴展的候選列表，其包括生成的兩個雙向預測MVP。 第4A圖示出了添加零向量合併候選的示例，其中左側的候選列表與原始合併候選列表相對應，而右側的候選列表通過添加零候選與擴展的合併候選列表相對應。 第4B圖示出了用於添加零向量AMVP候選的示例，其中頂部的候選列表對應於原始AMVP候選列表（左側的L0和右側的L1），底部的候選列表通過添加零候選對應於擴展的AMVP候選列表（左側的L0和右側的L1）。 第5圖示了HEVC（高效視訊編解碼）標準所使用的33方向幀內預測模式。 第6圖示出了基於五個相鄰幀內預測模式推導MPM（最可能模式）列表的示例，其中五個相鄰模式的位置包括左（L）、上（A）、左下（ BL）、右上方（AR）和左上方（AL）。 第7A圖示出了ISP（幀內子分區）的示例，其中HxW塊被劃分為兩個H / 2xW塊（即，水平分區）或兩個HxW / 2塊（即，垂直分區）。 第7B圖示出了ISP（幀內子分區）的示例，其中HxW塊被劃分為四個H / 4xW塊（即，水平分區）或四個HxW / 4塊（即，垂直分區），除了4x8、8x4和4x4塊。 第8圖示出了根據本發明實施例的用於視訊編解碼的示例性預測的流程圖，其中根據目標設置確定藉由ISP（幀內子分區）劃分的每個子塊的水平和垂直變換，目標設置屬於包括統一設置和/或塊設置的設置組。 第9圖示出了根據本發明實施例的用於視訊編解碼的另一示例性預測的流程圖，其中，當統一設置包括兩個或多個幀內模式或幀內相關模式時，當不需要將/被發信的變換索引來決定目標水平變換和目標垂直變換時，根據統一設置，從候選變換集中確定針對當前塊的目標水平變換和目標垂直變換。
810~850:步驟

Claims (20)

  1. 一種用於視頻編解碼的預測方法，該方法包括： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 如果該當前塊使用幀內子分區模式： 將該當前塊水平或垂直分區為多個子塊； 根據包括統一設置或塊設置的設置組，從候選變換集合中為該多個子塊中的每一個子塊確定目標水平變換和目標垂直變換，其中，該統一設置適用於特定的編解碼模式、普通幀內模式或其他幀內相關模式，該塊設置對應於該當前塊的塊寬度、塊高度、塊比率、塊大小或其任意組合；以及 將該目標水平變換和該目標垂直變換應用於該多個子塊中的每一個子塊。
  2. 如申請專利範圍第1項所述之方法，其中，該目標水平變換和該目標垂直變換屬於包括DCT-II、DST-VII、DCT-VIII和翻轉的DST-VII的任意組合的子集。
  3. 如申請專利範圍第2項所述之方法，其中，代表（該目標水平變換，該目標垂直變換）的一對對應於（DCT-II，DCT-II）、（DST-VII，DCT-II）、（DCT-II， DST-VII）或（DST-VII，DST-VII）。
  4. 如申請專利範圍第1項所述之方法，其中，該目標水平變換和該目標垂直變換是基於該當前塊的該塊寬度、該塊高度、該塊比率、該塊大小或其任意組合來確定的。
  5. 如申請專利範圍第4項所述之方法，其中，當該塊寬度小於或等於該塊高度時，將該目標水平變換從DCT-II改變為另一變換類型。
  6. 如申請專利範圍第4項所述之方法，其中，當該塊寬度在[4、16]之內，或該塊寬度小於或等於該塊高度，或該塊寬度在[4、16]之內且該塊寬度小於或等於該塊高度時，將該目標水平變換從DCT-II改變為DST-VII。
  7. 如申請專利範圍第4項所述之方法，其中，當該塊高度在[4、16]之內，或該塊高度小於或等於該塊寬度，或該塊高度在[4、16]之內且該塊高度小於或等於該塊寬度時，該目標垂直變換從DCT-II改變為DST-VII。
  8. 如申請專利範圍第1項所述之方法，其中，該候選變換集與用於該普通幀內模式的變換集相同。
  9. 如申請專利範圍第8項所述之方法，其中針對該目標水平變換和該目標垂直變換兩者，將該候選變換集中的用於候選變換的最短碼字設置為DST-VII。
  10. 如申請專利範圍第1項所述之方法，其中，該幀內子分區模式使用的幀內預測模式列表與該普通幀內模式使用的幀內預測模式列表相同。
  11. 如申請專利範圍第10項所述之方法，其中，該幀內子分區模式使用的幀內預測模式列表是該普通幀內模式使用的幀內預測模式列表的子集。
  12. 如申請專利範圍第1項所述之方法，其中，根據與該塊寬度、該塊高度或該塊大小有關的至少一個閾值來禁用該幀內子分區模式。
  13. 如申請專利範圍第1項所述之方法，其中，該統一設置或該塊設置是隱式確定的。
  14. 如申請專利範圍第1項所述之方法，其中，在編解碼單元、編解碼樹單元、切片、圖塊、圖塊組、序列參數集或圖片參數集級別處發信用於該統一設置或該塊設置的決定。
  15. 如申請專利範圍第1項所述之方法，其中，該設置組還包括模式設置，並且該模式設置是基於該當前塊所選擇的幀內預測模式。
  16. 如申請專利範圍第15項所述之方法，其中，所選擇的幀內預測模式為一定向模式且滿足（定向模式％2 == 1）。
  17. 如申請專利範圍第15項所述之方法，其中，所選擇的幀內預測模式為一定向模式且滿足（定向模式％2 == 0）。
  18. 一種視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器，用於： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 如果該當前塊使用幀內子分區模式： 將該當前塊水平或垂直分區為多個子塊； 根據包括統一設置或塊設置的設置組，從候選變換集合中為該多個子塊中的每一個子塊確定目標水平變換和目標垂直變換，其中，該統一設置適用於特定的編解碼模式、普通幀內模式或其他幀內相關模式，該塊設置對應於該當前塊的塊寬度、塊高度、塊比率、塊大小或其任意組合；以及 將該目標水平變換和該目標垂直變換應用於該多個子塊中的每一個子塊。
  19. 一種用於視訊編解碼的預測方法，該方法包括： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 當不需要將/已被發信的變換索引來選擇目標水平變換和目標垂直變換時，根據統一設置，從候選變換集中確定用於該當前塊的目標水平變換和目標垂直變換，其中，該統一設置包括兩個或多個幀內模式或幀內相關模式；以及 將該目標水平變換和該目標垂直變換應用於該當前塊。
  20. 一種視訊編解碼裝置，該裝置包括一個或多個電子電路或處理器，該電子電路或處理器被佈置為： 在視訊編碼器側接收與當前圖片中的當前塊有關的輸入資料，或者在視訊解碼器側接收與包括該當前圖片中的該當前塊的壓縮資料相對應的視訊位元流； 當不需要將/已被發信的變換索引來選擇目標水平變換和目標垂直變換時，根據統一設置，從候選變換集中確定用於該當前塊的目標水平變換和目標垂直變換，其中，該統一設置包括兩個或多個幀內模式或幀內相關模式；以及 將該目標水平變換和該目標垂直變換應用於該當前塊。
TW109102600A 2019-01-31 2020-01-22 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置 TWI737141B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962799127P 2019-01-31 2019-01-31
US62/799,127 2019-01-31
US201962813810P 2019-03-05 2019-03-05
US62/813,810 2019-03-05
WOPCT/CN2020/073845 2020-01-22
PCT/CN2020/073845 WO2020156454A1 (en) 2019-01-31 2020-01-22 Method and apparatus of transform type assignment for intra sub-partition in video coding

Publications (2)

Publication Number Publication Date
TW202038624A true TW202038624A (zh) 2020-10-16
TWI737141B TWI737141B (zh) 2021-08-21

Family

ID=71840906

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109102600A TWI737141B (zh) 2019-01-31 2020-01-22 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置

Country Status (5)

Country Link
US (1) US11425378B2 (zh)
EP (1) EP3915264A4 (zh)
CN (1) CN114208198A (zh)
TW (1) TWI737141B (zh)
WO (1) WO2020156454A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12034915B2 (en) * 2019-06-20 2024-07-09 Electronics And Telecommunications Research Institute Method and apparatus for image encoding and image decoding using prediction based on block type
WO2024174828A1 (en) * 2023-02-24 2024-08-29 Mediatek Inc. Method and apparatus of transform selection depending on intra prediction mode in video coding system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
EP3101897B1 (en) 2010-04-09 2021-10-20 Xylene Holding S.A. Moving image encoding device and method, moving image decoding device and method, bitstream
CN101888549B (zh) 2010-06-18 2012-05-02 浙江大学 基于变换域信息的帧内4×4预测模式选择方法
JP2012023597A (ja) 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
KR101712156B1 (ko) 2010-12-06 2017-03-06 에스케이 텔레콤주식회사 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
US9532058B2 (en) 2011-06-03 2016-12-27 Qualcomm Incorporated Intra prediction mode coding with directional partitions
TWI556629B (zh) 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
CN102740077B (zh) * 2012-07-04 2014-10-01 西安电子科技大学 基于h.264/avc标准的帧内预测模式选择方法
JPWO2014054267A1 (ja) * 2012-10-01 2016-08-25 パナソニックＩｐマネジメント株式会社 画像符号化装置及び画像符号化方法
WO2015006884A1 (en) 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
US9706221B2 (en) 2013-10-29 2017-07-11 Vixs Systems Inc. Motion search with scaled and unscaled pictures
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20170058838A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
CN117834921A (zh) * 2018-01-17 2024-04-05 英迪股份有限公司 对视频进行解码或编码的方法和用于发送比特流的方法
GB2587982B (en) * 2018-06-08 2023-01-04 Kt Corp Method and apparatus for processing video signal
AU2018204786A1 (en) * 2018-06-29 2020-01-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
TWI764015B (zh) * 2018-07-13 2022-05-11 弗勞恩霍夫爾協會 分區框內寫碼技術
KR102657248B1 (ko) * 2019-01-12 2024-04-25 (주)휴맥스 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
CN112514384A (zh) * 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置

Also Published As

Publication number Publication date
EP3915264A1 (en) 2021-12-01
EP3915264A4 (en) 2022-11-02
WO2020156454A1 (en) 2020-08-06
CN114208198A (zh) 2022-03-18
TWI737141B (zh) 2021-08-21
US11425378B2 (en) 2022-08-23
US20220046240A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP7436597B2 (ja) ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
US20230106821A1 (en) Method and device for image encoding/decoding on basis of asymmetric sub-block
TWI734212B (zh) 視訊編解碼中共享合併候選列表區域的方法和裝置
CN113796077B (zh) 视频编解码之亮度mpm列表导出的方法及装置
KR101639334B1 (ko) 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
TWI737142B (zh) 視訊編碼中結合畫面間和畫面內預測之方法和裝置
KR20190040476A (ko) 인터 예측 정보를 사용하는 방법 및 장치
CN113261286B (zh) 用于推导帧内预测模式的方法和设备
EP3989548A1 (en) Intra prediction mode, and entropy encoding/decoding method and device
TWI731361B (zh) 依賴形狀的幀內編碼
CN113574875A (zh) 基于帧内块复制的编/解码方法和装置及比特流存储介质
EP3855737A1 (en) Image encoding/decoding method and device, and recording medium in which bitstream is stored
TW202015404A (zh) 用於視訊編解碼的簡化的合併候選列表的方法和裝置
KR20200083316A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
TWI718079B (zh) 用於視訊編解碼的簡化子模式的方法和裝置
TWI737141B (zh) 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置
KR20200144070A (ko) 서브 블록 분할 기반 영상 부호화/복호화 방법 및 장치
CN113906743A (zh) 量化矩阵编码/解码方法和装置、以及存储比特流的记录介质
TWI720470B (zh) 用於視訊編解碼中的獨立編碼樹的語法交錯方法和裝置
CN112740669A (zh) 用于图像编码/解码的方法和设备、以及存储比特流的记录介质
KR20230146483A (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化