TW202408233A - 暗示子塊變換編解碼的方法和裝置 - Google Patents

暗示子塊變換編解碼的方法和裝置 Download PDF

Info

Publication number
TW202408233A
TW202408233A TW112123495A TW112123495A TW202408233A TW 202408233 A TW202408233 A TW 202408233A TW 112123495 A TW112123495 A TW 112123495A TW 112123495 A TW112123495 A TW 112123495A TW 202408233 A TW202408233 A TW 202408233A
Authority
TW
Taiwan
Prior art keywords
sbt
current block
block
candidate sub
samples
Prior art date
Application number
TW112123495A
Other languages
English (en)
Inventor
蔡佳銘
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202408233A publication Critical patent/TW202408233A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

暗示推導SBT位置的方法。依據該方法，對於解碼器端，決定該當前塊的候選子部分塊集中的SBT位置。其中，SBT位置是暗示決定的，無需從位元流中解析SBT位置。或者，從候選子部分塊集暗示推導出的候選子部分塊的部分集中選擇SBT位置。從當前塊相關的編碼資料中推導出當前塊的變換後的殘差資料。透過使用包含SBT位置的SBT資訊，應用SBT於當前塊的變換後的殘差資料，以恢復當前塊的重建的殘差資料。本發明還公開了編碼器端的相應方法。

Description

暗示子塊變換編解碼的方法和裝置
本發明涉及視頻編解碼系統中用於畫面間預測編解碼塊的子塊變換（Subblock Transform, SBT）過程，特別是涉及透過暗示推導SBT相關的資訊節省位元。
多功能視頻編解碼（Versatile Video Coding, VVC）是由ITU-T視頻編解碼專家組（Video Coding Experts Group, VCEG）和ISO/IEC移動圖片專家組（Moving Picture Experts Group, MPEG）的聯合視頻專家團隊（Joint Video Experts Team, JVET）制定的最新國際視頻編解碼標準。該標準已作為ISO標準發佈：ISO/IEC 23090-3:2021，資訊技術-沉浸式媒體的編解碼表示-第3部分：多功能視頻編解碼，2021年2月發佈。VVC基於其前身HEVC（High Efficiency Video Coding，高效視頻編解碼）開發，透過增加更多的編解碼工具以提高編解碼效率和處理包括三維（3-dimensional, 3D）視訊訊號的各種類型的視頻源。
第1A圖描述了一種示例性結合環路處理的自我調整畫面間（inter）/畫面內（intra）視頻編碼系統。對於畫面內預測，基於當前圖片中先前編解碼的視頻資料推導預測資料。對於畫面間預測112，在編碼器端執行運動估計（Motion Estimation, ME），並依據ME的結果執行運動補償（Motion Compensation, MC）以提供來源於其他圖片和運動資料的預測資料。開關114選擇畫面內預測110或畫面間預測112，選定的預測資料被提供給加法器116以形成預測誤差，也稱為殘差（residues）。然後，該預測誤差先後由變換（Transform, T） 118和量化（Quantization, Q） 120處理。變換和量化後的殘差再由熵編碼器122編解碼，以使其包含在對應壓縮的視頻資料的視頻位元流中。變換係數相關的該位元流隨後與端資訊（如，畫面內預測和畫面間預測相關的運動和編解碼模式）和其他資訊（如，應用於底層圖像區域的環路濾波器相關的參數）一起打包。如第1A圖所示，與畫面內預測110，畫面間預測112和環內濾波器130相關的端資訊被提供給熵編碼器122。使用畫面間預測模式時，還必須在編碼器端重建參考圖片。因此，變換和量化後的殘差要經過反量化（Inverse Quantization, IQ） 124和反變換（Inverse Transformation, IT） 126處理，以恢復殘差。然後，在重建（Reconstruction, REC） 128將殘差加回到預測資料136以重建視頻資料。重建的視頻資料可存儲在參考圖片暫存器134中，並用於預測其他幀。
如第1A圖所示，進入的視頻資料在編碼系統中會經過一系列處理。來自REC 128的重建的視頻資料可能會由於一系列處理而遭受各種損傷。因此，為了提高視頻品質，在重建的視頻資料被存儲到參考圖片暫存器134之前，重建的視頻資料通常會應用環內濾波器130。例如，可以使用去塊濾波器（deblocking filter, DF）、採樣自我調整偏移（Sample Adaptive Offset, SAO）和自我調整環路濾波器（Adaptive Loop Filter, ALF）。環路濾波器資訊可能需要引入位元流中，從而解碼器能適當恢復所需資訊。因此，環路濾波器資訊也被提供給熵編碼器122以引入到位元流中。在第1A圖中，環路濾波器130在重建樣本存儲到參考圖片暫存器134之前應用於重建的視頻。第1A圖中的系統旨在描述典型視訊轉碼器的示例性結構。該系統可對應於HEVC系統、VP8、VP9、H.264或VVC。
如第1B圖所示，解碼器可以使用與編碼器類似或部分相同的功能塊，但變換118和量化120除外，因為解碼器只需要反量化124和反變換126。解碼器不使用熵編碼器122，而是使用熵解碼器140將視頻位元流解碼為量化變換係數和所需編解碼資訊（如環內濾波器（in-loop filter, ILPF）資訊、畫面內預測資訊和畫面間預測資訊）。解碼器端的畫面內預測150不需要執行模式搜索。相反，解碼器只需依據從熵解碼器140接收到的畫面內預測資訊生成畫面內預測。此外，對於畫面間預測，解碼器只需依據從熵解碼器140接收到的畫面間預測資訊執行運動補償（MC 152），而不執行運動估計。
本發明公開了為了提高編解碼效率，依據邊界匹配成本暗示推導子塊變換資訊的方法和裝置。
本發明公開了視頻編解碼的方法和裝置。依據解碼器端的方法，接收待解碼當前塊相關的編碼資料，其中使用子塊變換（Subblock Transform, SBT）模式編解碼該當前塊。決定該當前塊的候選子部分塊集中的SBT位置，其中，該SBT位置是暗示決定的，無需從位元流中解析該SBT位置；或者從該候選子部分塊集暗示推導出的候選子部分塊的部分集選擇該SBT位置。從該當前塊相關的該編碼資料中推導出該當前塊的變換後的殘差資料。透過使用包括該SBT位置的SBT資訊，應用SBT於該當前塊的該變換後的殘差資料，以恢復該當前塊的重建的殘差資料。
在一個實施例中，依據由當前塊的一個或複數個相鄰樣本和當前塊的一個或複數個相應邊界樣本推導出該候選子部分塊集的邊界匹配成本決定該SIB位置。例如，可推導出該候選子部分塊集的邊界匹配成本，其中，依據由該當前塊的該一個或複數個相應邊界樣本的預測樣本和該當前塊的該一個或複數個相鄰樣本的重建樣本推導出的差為每個候選子部分塊決定一邊界匹配成本。在這種情況下，SBT位置可以依據該候選子部分塊集的該邊界匹配成本中邊界匹配成本最大的目標候選子部分塊決定。
在一個實施例中，推導出該候選子部分塊集的邊界匹配成本，其中，對於有殘差的每個候選子部分塊，依據由該當前塊的該一個或複數個相應邊界樣本的重建樣本和該當前塊的該一個或複數個相鄰樣本的重建樣本推導出的第一差值，對於無殘差的每個候選子部分塊，依據由該當前塊的該一個或複數個相應邊界樣本的預測樣本和該當前塊的該一個或複數個相鄰樣本的該重建樣本推導出的第二差值，為該每個候選子部分塊決定一邊界匹配成本，該當前塊的該一個或複數個相應邊界樣本的該重建樣本透過將該當前塊的重建的殘差樣本加到該每個候選子部分塊的預測樣本生成。在這種情況下，可以依據該候選子部分塊集的該邊界匹配成本中邊界匹配成本最小的目標候選子部分塊決定該SBT位置。
在一個實施例中，該當前塊的該一個或複數個相鄰樣本包括該當前塊的頂部相鄰樣本，該當前塊的左側相鄰樣本或兩者均包括。
在一個實施例中，該候選子部分塊集包括使用具有二叉樹（binary tree, BT）分裂的垂直SBT（SBT-vertical, SBT-V）、具有BT分裂的水平SBT（SBT-horizontal, SBT-H）、具有不對稱二叉樹（asymmetric binary tree, ABT）分裂的SBT-V、具有ABT分裂的SBT-H、具有三叉樹（ternary tree, TT）分裂的SBT-V、具有TT分裂的SBT-H或它們的組合生成的子部分塊。
在一個實施例中，SBT分區方向是暗示決定的。例如，可以透過比較翻轉、旋轉或剪切/粘貼該當前塊的殘差塊的內容所產生的假設位置相關的邊界匹配成本暗示決定該SBT分區方向。
在一個實施例中，SBT分區類型是暗示決定的。
在一個實施例中，該候選子部分塊部分集對應該候選子部分塊集的N個假設位置中邊界匹配成本最大的前k個假設位置，k和N均為正整數，N大於k。此外，可以從該位元流中解析出索引，該索引指示該前k個假設位置中的該SBT位置。
本發明還公開了編碼器端的對應方法。在解編碼器端，接收與待編碼當前塊相關的圖元資料，其中，使用子塊變換（Subblock Transform, SBT）模式編解碼該當前塊。透過應用畫面間預測於該當前塊，推導出該當前塊的殘差資料。推導出該當前塊的候選子部分塊集中的SBT位置，其中，該SBT位置是暗示決定的，無需在位元流中發出該SBT位置訊號；或者從該候選子部分塊集暗示推導出的候選子部分塊的部分集中選擇該SBT位置。透過使用包含該SBT位置的SBT資訊，應用SBT於該當前塊的該殘差資料，以產生該當前塊的變換後的殘差資料。
容易理解的是，如本文圖中通常所描述和說明，可以在各種不同的配置中佈置和設計本發明的元件。因此，如圖中所表示的以下對本發明的系統和方法的實施例的更詳細的描述並不旨在限制所要求的本發明的範圍，而只是表示本發明的選定實施例。貫穿本說明書提到的「一個實施例」或類似的用語是指聯繫實施例描述的特定特徵、結構或特性可包括在本發明的至少一個實施例中。因此，貫穿本說明書各處出現的「在一個實施例中」的短語並不一定均指同一實施例。
此外，所描述的特徵、結構或特性可以在一個或複數個實施例中以任何合適的方式組合。然而，相關領域的通常知識者將會認識到本發明可以在沒有一個或複數個具體細節的情況下實踐，或者利用其他方法、元件等實踐。在其他例子中，本發明沒有圖示或詳細描述眾所周知的結構或操作以避免混淆本發明的方面。參照圖式可以更好地理解本發明所描述的實施例，其中類似的部件通篇用類似的數字表示。以下描述僅為舉例，僅描述與本文所要求的發明一致的裝置和方法的某些選定實施例。
依據VVC，類似HEVC，輸入圖片被分割為非重疊的方形塊區域，稱為CTU（編解碼樹單元，Coding Tree Units）。每個CTU可以被分割為一個或複數個更小尺寸的編解碼單元（Coding Units，CU）。所產生的CU分區可以是正方形或矩形。此外，VVC還將CTU劃分為預測單元（prediction units, PU），作為應用預測過程的單元，如畫面間預測、畫面內預測等。
相比HEVC標準，VVC標準引入了各種新編解碼工具以進一步提高編解碼效率。在各種新編解碼工具中，關於本發明的一些編解碼工具綜述如下。
使用樹形結構的CTU的分割
在HEVC中，透過使用四叉樹（quaternary-tree或quadtree, QT）結構（稱為編解碼樹）將CTU分裂為CU以適應各種局部特性。葉CU層決定利用圖片間（時間）還是圖片內（空間）預測對圖片區域進行編解碼。依據PU分裂類型，每個葉CU可進一步被分裂成一個、兩個或四個PU。在一個PU內，應用相同的預測過程，基於PU將相關資訊傳輸給解碼器。透過應用基於PU劃分類型的預測過程獲得殘差塊後，可依據與CU的編解碼樹類似的另一四叉樹結構將葉CU分割成變換單元（transform unit，TU）。HEVC結構的關鍵特徵之一是具有複數個分區概念，包括CU、PU和TU。
在VVC中，具有嵌套的多類型樹的四叉樹用二元和三元分裂分割結構取代了複數個分區單元類型的概念，即，取消了CU、PU和TU概念的分離，而相對最大變換長度尺寸過大的CU除外，並支持CU分區形狀的更靈活性。在編解碼樹結構中，CU可以是正方形或長方形。編解碼樹單元（CTU）首先由四叉樹結構分割。然後，四叉樹葉節點（leaf nodes）可進一步由多類型樹結構分割。如第2圖所示，多類型樹結構(multi-type tree structure)中有四種分裂類型，即垂直二元分裂（SPLIT_BT_VER 210）、水平二元分裂（SPLIT_BT_HOR 220）、垂直三元分裂（SPLIT_TT_VER 230）和水平三元分裂（SPLIT_TT_HOR 240）。多類型樹葉節點被稱為編解碼單元（CU），除非CU對於最大變換長度來說過大，否則這種分割無需任何進一步分割即用於預測和變換處理。這意味著，在大多數情況下，CU、PU和TU在具有嵌套的多類型樹的四叉樹編解碼塊結構中具有相同的塊尺寸。例外發生在支持的最大變換長度小於CU的顏色分量（component）的寬度或高度時。
第3圖是描述分區分裂資訊在具有嵌套的多類型樹的四叉樹編解碼樹結構內的訊號機制。編解碼樹單元（CTU）被視為四叉樹的根（root），首先被四叉樹結構分割。然後，每個四叉樹葉節點（在允許其充分大時）被多類型樹結構進一步分割。在多類型樹結構中，發出第一標誌（mtt_split_cu_flag）訊號以指示節點是否被進一步分割。當節點被進一步分割時，發出第二標誌（mtt_split_cu_vertical_flag）訊號以指示分裂方向，然後發出第三標誌（mtt_split_cu_binary_flag）訊號以指示該分裂是二元分裂還是三元分裂。依據mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，可以推導出CU的多類型樹分裂模式（multi-type tree slitting mode, MttSplitMode），如表1所示。 表1–基於多類型樹語法元素的MttSplitMode推導
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
第4圖顯示利用四叉樹和嵌套的多類型樹編解碼塊結構將CTU劃分為複數個CU，其中，粗體塊邊緣表示四叉樹分割，其餘邊緣表示多類型樹分割。具有嵌套的(nested)多類型樹的四叉樹分區提供了由CU組成的內容自我調整編解碼樹結構。CU的尺寸可以與CTU一樣大，也可以與亮度樣本的單元中4×4一樣小。對於4:2:0色度（chroma）格式的情況，最大色度CB尺寸是64×64，最小尺寸色度CB由16個色度樣本組成。
在VVC中，支持的最大亮度變換尺寸是64×64，支持的最大色度變換尺寸是32×32。當CB的寬度或高度大於最大變換寬度或高度時，CB會在水平和/或垂直方向上被自動分裂以滿足在該方向上的變換尺寸限制。
SPS（Sequence Parameter Set，序列參數集）語法元素為具有嵌套的多類型樹的四叉樹編解碼樹方案定義並指定了以下參數。 -CTU尺寸：四叉樹的根節點尺寸 - MinQTSize：最小允許四叉樹葉節點尺寸 - MaxBtSize：最大允許二叉樹根節點尺寸 - MaxTtSize：最大允許三元樹根節點尺寸 - MaxMttDepth：從四元樹葉分裂出的多類型樹的最大允許層次深度 - MinBtSize：最小允許二叉樹葉節點尺寸 - MinTtSize：最小允許三元樹葉節點尺寸
在具有嵌套的多類型樹的四叉樹編解碼樹結構的一個示例中，CTU尺寸設置為128×128亮度樣本以及兩個對應的64×64塊的4:2:0色度樣本。 MinQTSize設置為16×16， MaxBtSize設置為128×128， MaxTtSize設置為64×64， MinBtSize和 MinTtSize（寬度和高度）設置為4×4， MaxMttDepth設置為4。首先四叉樹分割被應用於CTU，生成四叉樹葉節點。四叉樹葉節點的尺寸可介於16×16（即 MinQTSize）到128×128（即CTU尺寸）之間。如果葉QT節點為128×128，由於其大小超過了 MaxBtSize和 MaxTtSize（即64×64），其將不會進一步被二叉樹分裂。否則，葉四叉樹節點可以被多類型樹進一步分割。因此，四叉樹葉節點也是多類型樹的根節點，它的多類型樹深度（multi-type tree depth, mttDepth）為0。當多類型樹深度達到 MaxMttDepth（即4）時，不再考慮進一步分裂。當多類型樹節點的寬度等於 MinBtSize且小於或等於2* MinTtSize時，不再考慮進一步的水平分裂。同樣，當多類型樹節點的高度等於 MinBtSize且小於或等於2* MinTtSize時，不再考慮垂直分裂。
在VVC中，編解碼樹方案支援亮度和色度具有單獨的塊樹結構的能力。對於P和B切片，一個CTU中的亮度和色度CTB必須共用相同的編解碼樹結構。然而，對於I切片，亮度和色度可以有單獨的塊樹結構。應用單獨塊樹模式時，亮度CTB被一個編解碼樹結構分割成複數個CU，而色度CTB則被另一編解碼樹結構劃分為色度CU。這意味著，I切片中的CU可能由一個亮度分量的編解碼塊或兩個色度分量的編解碼塊組成，而P或B切片中的CU始終由所有三個顏色分量的編解碼塊組成，除非視頻是單色的。
畫面間預測
對於每個畫面間預測的CU，運動參數由運動向量、參考圖片索引和參考圖片清單使用索引，以及用於畫面間預測的樣本生成的VVC的新編解碼特徵所需的附加資訊組成。運動參數可以透過明示或暗示的方式發出訊號。利用跳過模式編解碼CU時，CU與PU關聯，沒有重要的殘差係數，也沒有編解碼的運動向量delta或參考圖片索引。合併模式指定為當前CU的運動參數從相鄰的CU，包括空間和時間候選，以及VVC中引入的附加時間表中獲取。合併模式可應用於任何畫面間預測的CU，而不僅是跳過模式。合併模式的替代方式是運動參數的明示傳輸，為每個CU明示地發出運動向量、每個參考圖片清單的相應參考圖片索引、參考圖片清單使用標誌和其他所需資訊的訊號。
高頻清零(High-Frequency Zeroing)的大塊尺寸變換
在VVC中，尺寸上高達64×64的大塊尺寸變換被啟用。大尺寸變換主要有助於較高解析度視頻，如1080p和4K序列。對於尺寸（寬度或高度，或寬度和高度）等於64的變換塊，高頻變換係數被清零，從而只有較低頻係數被保留。例如，對於M×N變換塊，M為塊寬，N為塊高，當M等於64時，只有左側32列的變換係數被保留。同樣，當N等於64時，只有頂部32行的變換係數被保留。當變換跳過模式用於大塊時，整個塊都會被使用，不清零任何值。此外，變換移位（shift）在變換跳過模式中被去除。VTM（VVC Test Model, VVC測試模型）還支援在SPS中可配置的最大變換尺寸，從而編碼器可依靠具體實施的需要靈活選擇最大32長度或64長度的變換尺寸。
子塊變換（SBT）
在VVC中，為畫面間預測的CU引入了子塊變換。在SBT中，僅對CU的殘差塊的子部分進行編解碼。當畫面間預測的CU具有的cu_coded_flag等於1時，可發出cu_sbt_flag訊號以指示是對整個殘差塊還是殘差塊的子部分透過變換過程進行編解碼。在前一種情況下，畫面間MTS（Multi Transform Selection, 多重變換選擇）資訊被進一步解析以決定CU的變換類型。在後一種情況下，利用端（即分裂端）推斷出的變換類型對殘差塊的一部分進行自我調整編解碼，而殘差塊的其餘部分被清零。
當SBT用於畫面間編解碼的CU時，在位元流中發出SBT類型和SBT位置資訊的訊號。SBT類型資訊指示TU分裂類型（如，類似二叉樹分裂或不對稱二叉樹分裂的分裂）和分裂方向（如水平分裂或垂直分裂），相應的語義名稱是VVC中的cu_sbt_quad_flag和cu_sbt_horizontal_flag。SBT位置資訊指示哪個TU有非零殘差，相應的語義名稱是VVC中的cu_sbt_pos_flag。例如，第5圖描述了兩種SBT類型和兩種SBT位置。對於SBT-V（510和520），TU寬度可能等於CU寬度的一半或CU寬度的四分之一，形成2:2分裂或1:3/3:1分裂。同樣，對於SBT-H（530和540），TU高度可等於CU高度的一半或CU高度的四分之一，形成2:2分裂或1:3/3:1分裂。2:2分裂就像二叉樹（binary tree, BT）分裂，而1:3/3:1分裂類似不對稱二叉樹（asymmetric binary tree, ABT）分裂。在ABT分裂中，只有小區域包含非零殘差。如果CU尺寸的一個維度（寬度或高度）是8亮度樣本，則不允許沿該維度進行1:3/3:1分裂。一個CU至多有8種SBT模式。
位置依賴的變換核心選擇(position-dependent transform core selection)應用於SBT-V和SBT-H中的亮度變換塊。另一方面，色度TB始終使用DCT-2。SBT-H和SBT-V的兩個位置與不同的核心變換有關。更具體地說，每個SBT位置的水平和垂直變換在圖5中具體化。例如，SBT-V位置0的水平和垂直變換分別為DCT-8和DST-7。當殘差TU的一邊大於32時，兩個維度的變換均設置為DCT-2。因此，子塊變換共同指定了殘差塊的TU平鋪、cbf以及水平和垂直核心變換類型。注意，SBT在VVC中不應用於利用組合的畫面內-畫面間模式編解碼的CU。
為了減少編碼器執行時間，已經在SBT的RDO（Rate-Distortion Optimization， 速率失真優化）中開發了一些快速演算法： 演算法1：對於每種SBT模式，RD（Rate-Distortion， 速率失真）成本依據殘差跳過部分的平方差之和（Sum of Squared Differences, SSD）來估計。如果SBT模式的估計的RD成本大於最佳模式的實際RD成本，則在RDO中跳過該SBT模式。此外，在RDO中只嘗試就估計的RD成本而言最佳的4個SBT模式。 演算法2：應用變換模式保存和載入（在JVET-K0358中提出的模式基礎上進行了改進）。PU的殘差能量（即SSD）和最佳變換模式（利用DCT-2的整塊變換、利用畫面間MTS的整塊變換、子塊變換之一）將作為歷史資訊保存。當PU的殘差能量與先前的情況匹配時，嘗試與該殘差能量相關的最佳變換模式，而其他變換模式則被跳過。這種快速演算法減少了SBT和畫面間MTS的編解碼時間。 演算法3：如果被DCT-2變換的整個殘差塊的RD成本遠低於當前最佳RD成本，則跳過SBT。 演算法4：如果被DCT-2變換的整個殘差塊的RD成本足夠小，則跳過SBT。
下面公開幾種節省SBT的信令開銷(signalling overhead)或提高編解碼效率的方法。
依據本發明的實施例，SBT中殘差塊的子部分(sub-part)的最終位置（例如VVC中的cu_sbt_pos_flag）可以被暗示推導。在一個實施例中，該最終位置可以依據邊界匹配暗示推導，即檢查每個子部分TU的當前預測樣本和相鄰重建樣本之間的邊界匹配成本。如果一個子部分TU在所有子部分TU中具有最大的邊界匹配差，則暗示推斷出該子部分TU具有非零殘差，應進一步應用變換或逆變換過程，而其他子部分TU則被設置為殘差全部為零。
例如，如果當前SBT類型是具有BT分裂的SBT-H（即，第6A圖中的分裂610），則TU 「C」的邊界匹配差是 ，其中 是「e」的相鄰重建樣本， 是「f」的預測樣本。同樣，TU 「D」的邊界匹配差為 ，其中， 是「g」的相鄰重建樣本， 是「h」的預測樣本。如果 ，則TU 「C」是具有非零殘差的子部分。否則，如果 ，則TU 「D」是具有非零殘差的子部分。
再例如，如果當前SBT類型是具有BT分裂的SBT-V（即第6C圖中的分裂630），則TU 「A」的邊界匹配差是 ，其中 是「a」的相鄰重建樣本， 是「b」的預測樣本。同樣，TU 「B」的邊界匹配差為 ，其中， 是「c」的相鄰重建樣本， 是「d」的預測樣本。如果 ，則TU 「A」是具有非零殘差的子部分。否則，如果 ，則TU 「B」是具有非零殘差的子部分。
再例如，如果當前SBT類型是具有ABT分裂的SBT-H（即第6B圖中的分裂620），則TU 「E」的邊界匹配差是 ，其中 是「i」的相鄰重建樣本， 是「j」的預測樣本。同樣，TU 「F」的邊界匹配差為 ，其中， 是「o」的相鄰重建樣本， 是「p」的預測樣本。如果 ，則TU 「E」是具有非零殘差的子部分。否則，如果 ，則TU 「F」是具有非零殘差的子部分。還是同樣的例子，如果 ，則TU 「F」是具有非零殘差的子部分。如果 ，則TU 「E」是具有非零殘差的子部分，其中 是「k」的相鄰重建樣本， 是「l」的預測樣本， 是「m」的相鄰重建樣本， 是「n」的預測樣本。
再例如，如果當前SBT類型是具有ABT分裂的SBT-V（即第6D圖中的分裂640和642），則TU 「G」的邊界匹配差是 ，其中， 是「q」的相鄰重建樣本， 是「r」的預測樣本。同樣，TU 「H」的邊界匹配差為 ，其中， 是「w」的相鄰重建樣本， 是「x」的預測樣本。如果 ，則TU 「G」是具有非零殘差的子部分。否則，如果 ，則TU 「H」是具有非零殘差的子部分。還是同樣的例子，如果 ，則TU 「H」是具有非零殘差的子部分。如果 ，則TU 「G」是具有非零殘差的子部分，其中 是「s」的相鄰重建樣本， 是「t」的預測樣本， 是「u」的相鄰重建樣本， 是「v」的預測樣本。
更詳細地說，在進行邊界匹配時，候選模式的邊界匹配差是指如第7圖中所示的對當前塊710的當前預測（即當前塊內的預測樣本）與相鄰重建（即一個或複數個相鄰塊內的重建樣本）之間的不連續性測量（例如，包括頂部邊界匹配和/或左側邊界匹配）。頂部邊界匹配是指當前頂部預測樣本與相鄰頂部重建樣本之間的對比，左側邊界匹配是指當前左側預測樣本與相鄰左側重建樣本之間的對比。
在一個實施例中，當前預測的預定義子集用於計算邊界匹配差。使用當前塊內頂部邊界的N條線和/或當前塊內左邊界的M條線。此外，M和N可以進一步依靠當前塊尺寸決定。例如，具有第7圖所描述的樣本的邊界匹配差可用公式表示為：
在以上的公式中，權重（a，b，c，d，e，f，g，h，i，j，k，l）可以是任何正整數，或等於0。例如，下面列出了權重的多種可能實施例： –    a = 2, b = 1, c = 1, d = 2, e = 1, f = 1, g = 2, h = 1, i = 1, j = 2, k = 1, l = 1. –    a = 2, b = 1, c = 1, d = 0, e = 0, f = 0, g = 2, h = 1, i = 1, j = 0, k = 0, l = 0. –    a = 0, b = 0, c = 0, d = 2, e = 1, f = 1, g = 0, h = 0, i = 0, j = 2, k = 1, l = 1. –    a = 1, b = 0, c = 1, d = 0, e = 0, f = 0, g = 1, h = 0, i = 1, j = 0, k = 0, l = 0. –    a = 2, b = 1, c = 1, d = 2, e = 1, f = 1, g = 1, h = 0, i = 1, j = 0, k = 0, l = 0. –    a = 1, b = 0, c = 1, d = 0, e = 0, f = 0, g = 2, h = 1, i = 1, j = 2, k = 1, l = 1.
如果SBT-H和SBT-V類型被允許更多假設位置（如，第8圖所示的1:4:3，1:2:1，或3:4:1 TT類分裂），其中只有TU 「B」具有非零殘差，則透過不僅檢查每個子部分TU的當前預測樣本和相鄰重建樣本之間的邊界匹配差，還檢查沿當前塊的畫面間TU邊界的當前預測樣本差值，以暗示推導最終位置。在第8圖中顯示了具有TT分裂的1:2:1（810）、3:4:1（820）和1:4:3（830）SBT-V，以及具有TT分裂的1:2:1（840）、1:4:3（850）和3:4:1（860）SBT-H。對於第8圖中的位置示例，如果當前塊使用SBT-V，則殘差可被加到每個假設位置的TU 「B」。然後，計算沿TU「B」邊界的差值，並且選擇具有最小差值的假設位置作為具有殘差的子部分TU的最終位置。更詳細地說，以第9圖為例，其中只有TU 「B」具有非零殘差。TU 「B」的差值可透過 推導出，其中 是「b」的重建樣本。 ， ， ， 分別是「a」，「c」，「d」，「e」，「f」的預測樣本。對於具有複數個假設位置的給定SBT分裂類型， 的計算被應用於每個假設位置，然後具有最小差值的假設位置是具有殘差的子部分TU的最終位置。注意，提出的方法並不限於1:1、1:3、3:1、1:4:3、1:2:1或3:4:1的分裂。相反，可以應用其他SBT類型。
SBT中的分區方向（如，VVC中的cu_sbt_horizontal_flag）可透過翻轉、旋轉或剪切/粘貼殘差塊和檢查每個候選SBT編解碼模式的當前預測樣本與相鄰重建樣本之間的邊界匹配差進行暗示推導。第10A-C圖描述了以上發明的示例。在第10A圖中，暗示分區方向透過旋轉殘差塊（1010和1020）決定。在第10B圖中，暗示分區方向透過翻轉殘差塊（1030和1040）決定。在第10C圖中，暗示分區方向透過剪切/粘貼殘差塊（1050和1060）決定。例如，如果當前的SBT編解碼塊使用BT分裂，則當前的SBT編解碼塊可以有如第5圖所示的四種候選SBT編解碼模式。假設當前變換塊尺寸與「SBT-V位置0」的灰色區域相同，則邊界匹配差值可透過上述方法計算，邊界差值最大的候選SBT編解碼模式為最終的SBT編解碼模式。在另一個例子中，剪切/粘貼可用於SBT-H的區域「A」的殘差塊，如第10C圖中的示例。
如果當前SBT編解碼塊使用BT分割，則初始假定變換寬度可為max（塊寬度，塊高度）(也就是，塊寬度與塊高度的最大值)，且變換高度假定為min（塊寬度，塊高度）/2(也就是，塊寬度與塊高度的最小值除以二)。在另一個實施例中，初始假定變換寬度為max（塊寬度，塊高度）/2(也就是，塊寬度與塊高度的最小值除以二)，變換高度假定為min（塊寬度，塊高度）(也就是，塊寬度與塊高度的最小值)。如果當前SBT編解碼塊使用1:3/3:1 ABT分裂，則初始假定變換寬度為max（塊寬度，塊高度）(也就是，塊寬度與塊高度的最大值)，變換高度假定為min（塊寬度，塊高度）/4(也就是，塊寬度與塊高度的最小值除以四)。在另一個實施例中，初始假定變換寬度為max（塊寬度，塊高度）/4(塊寬度與塊高度的最大值除以四)，變換高度假定為min（塊寬度，塊高度）(也就是塊寬度與塊高度的最小值)。
在另一個實施例中，每個假設位置（假定假設位置總數為N）的邊界匹配成本可透過當前預測樣本和相鄰重建樣本計算，並從N個假設位置中選出邊界匹配差最大的前k個假設位置，其中N和k均為正整數，且N＞k。然後，透過位元流中的訊號索引從這K個假設位置（k可以是2、3、4、......或N-1）進一步決定最終假設位置和SBT類型。
在本發明的另一個實施例中，如果當前塊透過SBT編解碼，當前塊內具有非零殘差的子部分塊的位置（如，VVC中的cu_sbt_pos_flag）可被暗示推導。依據這個實施例，位置可透過邊界匹配暗示推導，即依靠非零殘差子部分塊的假設位置將重建的殘差加到當前預測樣本，檢查每個具有相鄰L型重建樣本的假設位置的邊界匹配成本。邊界匹配成本可以是當前塊的當前邊界重建樣本與相鄰重建樣本之間的差值。如果一個假設位置比其他假設位置具有最佳的邊界匹配成本（如最小差值），則該假設位置的非零殘差子部分塊位置被暗示推斷為當前塊內具有非零殘差子部分塊的最終位置，而其他子部分TU的殘差全部為零。
例如，如果當前SBT類型是具有BT分裂的SBT-H（如，第11A圖中的分裂1110），則非零殘差子部分塊的假設位置是「C」和「D」。對於假設位置「C」，殘差被加到「C」中的預測樣本，邊界匹配成本為 ，其中， 、 和 分別是「g」，「i」和「j」中的相鄰重建樣本。 、 和 分別是「h」，「k」和「l」的預測樣本。 和 分別是「h」和「k」的预测殘差樣本。同樣，對於假設位置「D」，殘差被加到「D」中的預測樣本，邊界匹配成本為 ，其中， 是「l」的预测殘差樣本。如果 ，則TU 「C」是非零殘差的子部分。否則（即 ），TU 「D」是非零殘差的子部分。如以上邊界匹配成本計算所示，當計算位置「C」的成本時，「C」中的邊界區域「h」和「k」利用重建的樣本值（即分別為 和 ），而非「C」（稱為「C」的剩餘子塊）邊界區域「l」則使用預測樣本。類似的規則也適用於位置「D」，其中「D」的邊界區域使用重建的樣本值，而非「D」的邊界區域（稱為「D」的剩餘子塊）使用預測重建的樣本值。
例如，如果當前SBT類型為具有ABT分裂的SBT-H（如，第11B圖中的分裂1120和分裂1122），則非零殘差子部分塊的假設位置為「E」和「F」。對於假設位置「E」，殘差被添加到「E」中的預測樣本，邊界匹配成本為 ,其中， 、 和 分別是「m」、「o」和「p」中的相鄰重建樣本。 、 和 分別是「n」、「q」和「r」的預測樣本。 和 分別是「n」和「q」的殘差预测樣本。同樣，對於假設位置「F」，殘差被加到「F」的預測樣本中，邊界匹配成本為 ，其中 是「x」的预测殘差樣本。如果 ，則TU 「E」為具有非零殘差的子部分。否則（即 ），則TU 「F」為具有非零殘差的子部分。
例如，如果當前SBT類型為具有BT分裂的SBT-V（如，第11C圖中的分裂1130），則非零殘差子部分塊的假設位置為「A」和「B」。對於假設位置「A」，殘差被加到「A」中的預測樣本，邊界匹配成本為 ,其中， 、 和 分別是「a」、「e」和「b」中的相鄰重建樣本。 、 和 分別是「c」、「f」和「d」的預測樣本。 和 分別是「c」和「f」的预测殘差樣本。同樣，對於假設位置「B」，殘差被加到「B」中的預測樣本中，邊界匹配成本為 ，其中 是「d」的预测殘差樣本。如果 ，則TU 「A」為具有非零殘差的子部分。否則（即 ），則TU 「B」為具有非零殘差的子部分。
例如，如果當前SBT類型為具有ABT分裂的SBT-V（如，第11D圖中的分裂1140和分裂1142），則非零殘差子部分塊的假設位置為「G」和「H」。對於假設位置「G」，殘差被添加到「G」中的預測樣本，邊界匹配成本為 ，其中， 、 和 分別是「aa」、「ee」和「bb」中的相鄰重建樣本。 、 和 分別是「cc」、「ff」和「dd」的預測樣本。 和 分別是「cc」和「ff」的预测殘差樣本。同樣，對於假設位置「H」，殘差被加到「H」的預測樣本中，邊界匹配成本為 ，其中 是「jj」的预测殘差樣本。如果 ，則TU 「G」為具有非零殘差的子部分。否則（即 ），則TU 「H」為具有非零殘差的子部分。
更詳細地說，在依據以上方法進行邊界匹配時，候選模式的邊界匹配成本是指相鄰重建（如，一個或複數個相鄰塊內的重建樣本）與有或無殘差（如，取決於假設位置）的當前預測之間的不連續性測量（如，包括頂部邊界匹配和/或左側邊界匹配）。頂部邊界匹配是指相鄰頂部重建樣本和有或無殘差的當前頂部預測樣本之間的比較。左側邊界匹配是指相鄰左側重建樣本和有或無殘差的當前左側預測樣本之間的比較。
在一個實施例中，當前預測的預定義子集用於計算邊界匹配成本。利用當前塊內頂部邊界的N條線和/或當前塊內左邊界的M條線。此外，M和N可以進一步依靠當前塊尺寸決定。例如，具有第12圖所描述的樣本的邊界匹配成本可用公式表示為：
在以上的公式中，權重（a，b，c，d，e，f，g，h，i，j，k，l）可以是任何正整數，或等於0。例如，（a，b，c，d，e，f，g，h，i，j，k，l）可以利用前面提到的示例值。
如果SBT-H和SBT-V類型被允許更多假設位置（如，第8圖所示的1:4:3，1:2:1，或3:4:1 TT類分裂），則位置可透過邊界匹配暗示推導。在一個實施例中，依靠非零殘差子部分塊的假設位置，將重建的殘差加到當前預測樣本中，並檢查具有相鄰L型重建樣本的每個假設位置的邊界匹配成本。如果一個假設位置比其他假設位置具有最佳的邊界匹配成本（如最小差值），則該假設位置的非零殘差子部分塊位置被暗示推斷為當前塊內非零殘差子部分塊的最終位置，而其他子部分TU則被設置為殘差全部為零。
在另一個實施例中，可以透過不僅檢查每個子部分TU的當前預測樣本和相鄰重建樣本之間的邊界匹配成本，還檢查當前預測樣本和具有殘差樣本的當前預測樣本之間的邊界匹配成本暗示推導具有殘差的子部分TU的最終位置。在第9圖的位置示例中，假定只有TU 「B」具有非零殘差，如果當前塊使用SBT-V，則可將殘差加到每個候選的TU 「B」。然後，計算沿 TU「B」邊界的邊界匹配成本，並選擇成本最小的假設位置作為具有殘差的子部分TU的最終位置。更詳細地說，以第8圖為例，TU 「B」的邊界匹配成本可由 推導，其中 是「b」的重建樣本。 、 、 、 、 分別是「a」，「c」，「d」，「e」，「f」的預測樣本。 、 、 分別是「a」，「d」，「e」的（重建）殘差樣本。
在另一個實施例中，可以依據假設位置透過特定的水平和垂直變換暗示推導具有殘差的子部分TU的最終位置。例如，如第5圖所示，位置0和位置1使用不同的水平和垂直變換。為了暗示推導具有殘差的子部分TU的最終位置，依據假設位置將重建係數輸入反變換（例如，SBT-V位置0的水平和垂直變換為DCT-8和DST-7，SBT-V位置1為DST-7和DST-7），然後將重建的殘差加到相應的預測樣本中，並檢查具有相鄰L形重建樣本的每個假設位置的邊界匹配成本。在另一個實施例中，如果SBT-H和SBT-V類型被允許更多假設位置（如第8圖所示的1:4:3，1:2:1，或3:4:1 TT類分裂），則可以為每個假設位置設計更多的水平和垂直變換組合，並依據假設位置將重建係數輸入到相應的變換組合中，然後檢查具有相鄰L形重建樣本的每個假設位置的邊界匹配成本。
在另一個實施例中，SBT類型相同的N個假設位置可以共用相同的水平和垂直變換設置，並從N個假設位置中選擇具有較佳邊界匹配成本的前k個假設位置。然後，在位元流中發出這k個假設位置（例如，k可以是2、3、4、......或N-1）中的最終假設位置的訊號。
在另一個實施例中，重建變換係數可依據每個假設位置（假定假設位置總數為J），被應用於假定的變換尺寸和反變換組合，並從J個假設位置中選出邊界匹配成本較佳的前i個假設位置。然後，透過位元流中的訊號索引，從這i個假設位置（例如，i可以是2、3、4、......或J-1）進一步決定最終的假設位置和SBT類型。
上述所提出的任何方法都可以在編碼器和/或解碼器中實施。例如，提出的任何方法可以實施於編碼器的畫面間/畫面內/預測/變換模組，和/或解碼器的反變換/畫面間/畫面內/預測模組。或者，所提出的任何方法都可以實施為耦接於編碼器的反變換/畫面間/畫面內/預測模組，和/或解碼器的畫面間/畫面內/預測/變換模組的電路，從而提供畫面間/畫面內/預測/變換模組所需的資訊。
上述任何子塊變換（SBT）編解碼可以實施於編碼器和/或解碼器。例如，所提出的任何方法可以實施於編碼器的變換模組（如第1A圖的「T」 118）和/或解碼器的反變換模組（如第1B圖中的「IT」 126）。然而，編碼器或解碼器也可以使用附加的處理單元來實施所需的處理。或者，所提出的任何方法可以實施為耦接於編碼器的畫面間/畫面內/預測模組，和/或解碼器的畫面間/畫面內/預測模組的電路，從而提供畫面間/畫面內/預測模組所需的資訊。此外，關於所提出方法的信令使用編碼器中的熵編碼器122或解碼器中的熵解碼器140實施。
第13圖是描述依據本發明的一實施例的示例性視頻解碼系統暗示推導SBT位置的流程圖。流程圖中所示的步驟可實施為在編碼器端的一個或複數個處理器（例如一個或複數個CPU）上可執行的程式碼。流程圖中所示的步驟也可以基於硬體，如設置為執行流程圖中的步驟的一個或複數個電子設備或處理器，實施。依據該方法，在步驟1310中，在解碼器端接收待解碼當前塊相關的編碼資料，其中，使用子塊變換（Subblock Transform, SBT）模式編解碼該當前塊。在步驟1320中，決定該當前塊的候選子部分塊集中的SBT位置，其中，該SBT位置是暗示決定的，無需從位元流中解析該SBT位置；或者從由該候選子部分塊集暗示推導出的候選子部分塊的部分集中選擇該SBT位置。在步驟1330中，從該當前塊相關的該編碼資料中推導出該當前塊的變換後的殘差資料。在步驟1340中，透過使用包括該SBT位置的SBT資訊，應用SBT於該當前塊的該變換後的殘差資料，以恢復該當前塊的重建的殘差資料。
第14圖是描述依據本發明的一實施例的示例性視頻編解碼系統暗示推導SBT位置的流程圖。依據該方法，在步驟1410中，在編碼器端接收與待編碼當前塊相關的圖元資料，其中，使用子塊變換（Subblock Transform, SBT）模式編解碼該當前塊。在步驟1420中，透過應用畫面間預測於該當前塊，推導出該當前塊的殘差資料。在步驟1430中，推導出該當前塊的候選子部分塊集中的SBT位置，其中，該SBT位置是暗示決定的，無需在位元流中發出該SBT位置訊號；或者從由該候選子部分塊集暗示推導出的候選子部分塊的部分集中選擇該SBT位置。在步驟1440中，透過使用包含該SBT位置的SBT資訊，應用SBT於該當前塊的該殘差資料，以產生該當前塊的變換後的殘差資料。
所示流程圖旨在描述依據本發明的視頻編解碼的示例。本領域技術人員可以在不脫離本發明精神的情況下修改每個步驟、重排步驟、分裂單個步驟或組合步驟以實踐本發明。在公開的內容中，特定的語法和語義已被用於描述實施本發明的實施例的示例。通常知識者可以在不脫離本發明精神的前提下，透過利用等效的語法和語義代替這些語法和語義以實踐本發明。
上述描述旨在使本領域普通通常知識者能夠依據特定應用及其要求實踐本發明。對於本領域的通常知識者來說，對所描述的實施例進行各種修改是顯而易見的，本文所定義的通常原則可應用於其他實施例。因此，本發明不旨在限於所圖示和所描述的特定實施例，而是賦予與所公開的原則和新穎特徵一致的最廣泛的範圍。在上述詳細描述中，描述各種具體細節是為了提供對本發明的透徹理解。儘管如此，本領域通常知識者可以理解本發明可以被實踐。
上述本發明的實施例可以透過各種硬體、軟體代碼或兩者的組合來實施。例如，本發明的一個實施例可以是集成在視訊壓縮晶片中的一個或複數個電路，或者是集成在視訊壓縮軟體中的程式碼，以執行本文所描述的處理。本發明的一個實施例也可以是在數位訊號處理器（Digital Signal Processor, DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可能涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（field programmable gate array, FPGA）執行的一些功能。透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼，這些處理器可用於執行本發明的特定任務。軟體代碼或固件代碼可以開發不同的程式設計語言和不同的格式或風格。軟體代碼也可以針對不同的目標平臺進行編譯。然而，軟體代碼的不同代碼格式、風格和語言以及配置代碼執行依據本發明的任務的其他方式將不會脫離本發明的精神和範圍。
在不脫離本發明精神或必要特性的情況下，本發明可以以其他具體形式體現。所描述的示例在所有方面考慮僅是說明性的而非限制性的。因此，本發明的範圍是由所附的發明申請專利範圍而不是上述描述指示。在發明申請專利範圍的等同的含義和範圍內發生的所有改變都應包含在發明申請專利範圍的範圍內。
110,150:畫面內預測 112:畫面間預測 114:開關 118,T:變換 120,Q:量化 116:加法器 122:熵編碼器 130,ILPF:環內濾波器 124,IQ:反量化 126,IT:反變換 128,REC:重建 134:參考圖片暫存器 136:預測資料 140:熵解碼器 152,MC:運動補償 第3圖中1,0:值 710,1210:當前塊 610,620,630,640,622,642,810,820,830,840,850,860,1110,1120,1112,1130,1140,1142:分裂 1010,1020,1130,1140,1050,1060:殘差塊 1310-1340:步驟 1410-1440:步驟 510,520,SBT-V:垂直子塊變換 530,540,SBT-H:水平子塊變換 CTU:編解碼樹單元 A-H:區域 DCT-8,DST-7:變換 TT:三叉樹 BT:二叉樹 SPLIT_BT_VER,210:垂直二元分裂 SPLIT_BT_HOR,220:水平二元分裂 SPLIT_TT_VER,230:垂直三元分裂 SPLIT_TT_HOR,240:水平三元分裂 ½ w,¼ w,w,w1,w-w1:寬度 ½h,¼h,h,h1,h-h1:高度 pred 0,0- pred 3,3:預測樣本 reco -2,3-reco 3,-2:重建樣本 resi 0,0-resi 3,3:殘差樣本 （ pred 0,0+ resi 0,0）-（ pred 3,3+ resi 3,3）:重建的樣本 mtt_split_flag, qt_split_flag, mtt_split_vertical_flag,mtt_split_binay_flag,mtt_split_binary_flag:標誌 第8圖中1-4:比例數值 a-x,aa-gg:邊界區域
第1A圖是描述示例性結合環路處理的自我調整畫面間/畫面內視頻編解碼系統的示意圖。 第1B圖是描述第1A圖中編碼器的對應解碼器的示意圖。 第2圖是描述對應垂直二元分裂（vertical binary splitting, SPLIT_BT_VER），水平二元分裂（vertical binary splitting, SPLIT_BT_HOR），垂直三元分裂（vertical ternary splitting, SPLIT_TT_VER）和水平三元分裂（horizontal ternary splitting, SPLIT_TT_HOR）的多類型樹結構的示例的示意圖。 第3圖是描述分區分裂資訊在具有嵌套的多類型樹的四叉樹編解碼樹結構內的訊號機制的示例的示意圖。 第4圖顯示利用四叉樹和嵌套的多類型樹編解碼塊結構將編解碼樹單元（Coding Tree Units, CTU）劃分為複數個編解碼單元（coding units, CU）的示例；其中，粗體塊邊緣表示四叉樹分割，其餘邊緣表示多類型樹分割。 第5圖顯示當亮度（luma）編解碼塊的寬度或高度大於64時三叉樹（ternary tree, TT）分裂禁止的一些示例。 第6A-D圖是描述依據本發明的一實施例的用於不同SBT的邊界匹配計算的區域的示例的示意圖。 第7圖是描述依據本發明一實施例的邊界匹配成本計算中涉及的樣本的示例的示意圖。 第8圖是描述分裂包括具有TT分裂的SBT-V的1:2:1，3:4:1和1:4:3和具有TT分裂的SBT-H的1:2:1，1:4:3和3:4:1的示例的示意圖；其中，只有變換單元（Transform Unit, TU） 「B」具有非零殘差。 第9圖是描述依據本發明的一實施例用於計算TU 「B」差值的區域（即a~f）的示例的示意圖；其中 只有TU 「B」具有非零殘差。 第10A-C圖是描述使用旋轉（第10A圖）、翻轉（第10B圖）和剪切/粘貼（第10C圖）暗示推導SBT內分區方向的示例的示意圖。 第11A-D圖是描述依據本發明的一實施例的用於不同SBT的邊界匹配計算的區域的示例的示意圖。 第12圖是描述依據本發明另一實施例的邊界匹配成本計算中涉及的樣本的示例的示意圖。 第13圖 是描述依據本發明的一實施例的示例性視頻解碼系統暗示推導SBT位置的流程圖。 第14圖是描述依據本發明的一實施例的示例性視頻編解碼系統暗示推導SBT位置的流程圖。
1310-1340:步驟

Claims (14)

  1. 一種視頻解碼方法，包括： 在解碼器端接收待解碼當前塊相關的編碼資料，其中，使用子塊變換（Subblock Transform, SBT）模式編解碼該當前塊； 決定該當前塊的候選子部分塊集中的SBT位置，其中，該SBT位置是暗示決定的，無需從位元流中解析該SBT位置；或者從由該候選子部分塊集暗示推導出的候選子部分塊的部分集中選擇該SBT位置； 從該當前塊相關的該編碼資料中推導出該當前塊的變換後的殘差資料；以及 透過使用包括該SBT位置的SBT資訊，應用SBT於該當前塊的該變換後的殘差資料，以恢復該當前塊的重建的殘差資料。
  2. 如請求項1所述之方法，其中，依據由當前塊的一個或複數個相鄰樣本和當前塊的一個或複數個相應邊界樣本推導出的該候選子部分塊集的邊界匹配成本決定該SBT位置。
  3. 如請求項2所述之方法，其中，推導出該候選子部分塊集的邊界匹配成本，並且，其中，依據由該當前塊的該一個或複數個相應邊界樣本的預測樣本和該當前塊的該一個或複數個相鄰樣本的重建樣本推導出的差為每個候選子部分塊決定一邊界匹配成本。
  4. 如請求項3所述之方法，其中，該SBT位置是依據該候選子部分塊集的該邊界匹配成本中邊界匹配成本最大的目標候選子部分塊而決定的。
  5. 如請求項2所述之方法，其中，推導出該候選子部分塊集的邊界匹配成本，並且，對於有殘差的每個候選子部分塊，依據由該當前塊的該一個或複數個相應邊界樣本的重建樣本和該當前塊的該一個或複數個相鄰樣本的重建樣本推導出的第一差值，對於無殘差的每個候選子部分塊，依據由該當前塊的該一個或複數個相應邊界樣本的預測樣本和該當前塊的該一個或複數個相鄰樣本的該重建樣本推導出的第二差值，為該每個候選子部分塊決定一邊界匹配成本，該當前塊的該一個或複數個相應邊界樣本的該重建樣本透過將該當前塊的重建的殘差樣本加到該每個候選子部分塊的預測樣本生成。
  6. 如請求項5所述之方法，其中，依據該候選子部分塊集的該邊界匹配成本中邊界匹配成本最小的目標候選子部分塊決定該SBT位置。
  7. 如請求項2所述之方法，其中，該當前塊的該一個或複數個相鄰樣本包括該當前塊的頂部相鄰樣本，該當前塊的左側相鄰樣本或包括兩者。
  8. 如請求項1所述之方法，其中，該候選子部分塊集包括使用具有二叉樹（binary tree, BT）分裂的垂直SBT（SBT-vertical, SBT-V）、具有BT分裂的水平SBT（SBT-horizontal, SBT-H）、具有不對稱二叉樹（asymmetric binary tree, ABT）分裂的SBT-V、具有ABT分裂的SBT-H、具有三叉樹（ternary tree, TT）分裂的SBT-V、具有TT分裂的SBT-H或它們的組合生成的子部分塊。
  9. 如請求項1所述之方法，其中，SBT分區方向是暗示決定的。
  10. 如請求項9所述之方法，其中，透過比較翻轉、旋轉或剪切/粘貼該當前塊的殘差塊的內容所產生的假設位置相關的邊界匹配成本暗示決定該SBT分區方向。
  11. 如請求項1所述之方法，其中，SBT分區類型是暗示決定的。
  12. 如請求項1所述之方法，其中，該候選子部分塊的部分集對應該候選子部分塊集的N個假設位置中邊界匹配成本最大的前k個假設位置，k和N均為正整數，N大於k。
  13. 如請求項12所述之方法，其中，從該位元流中解析出索引，該索引指示該前k個假設位置中的該SBT位置。
  14. 一種視頻編解碼方法，包括： 在編碼器端接收與待編碼當前塊相關的圖元資料，其中，使用子塊變換（Subblock Transform, SBT）模式編解碼該當前塊； 透過應用畫面間預測於該當前塊，推導出該當前塊的殘差資料； 推導出該當前塊的候選子部分塊集中的SBT位置，其中，該SBT位置是暗示決定的，無需在位元流中發出該SBT位置訊號；或者從由該候選子部分塊集暗示推導出的候選子部分塊的部分集中選擇該SBT位置； 透過使用包含該SBT位置的SBT資訊，應用SBT於該當前塊的該殘差資料，以產生該當前塊的變換後的殘差資料。
TW112123495A 2022-06-22 2023-06-21 暗示子塊變換編解碼的方法和裝置 TW202408233A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263354376P 2022-06-22 2022-06-22
US202263354380P 2022-06-22 2022-06-22
US63/354,380 2022-06-22
US63/354,376 2022-06-22
WOPCT/CN2023/101842 2023-06-21
PCT/CN2023/101842 WO2023246901A1 (en) 2022-06-22 2023-06-21 Methods and apparatus for implicit sub-block transform coding

Publications (1)

Publication Number Publication Date
TW202408233A true TW202408233A (zh) 2024-02-16

Family

ID=89379197

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112123495A TW202408233A (zh) 2022-06-22 2023-06-21 暗示子塊變換編解碼的方法和裝置

Country Status (2)

Country Link
TW (1) TW202408233A (zh)
WO (1) WO2023246901A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297348B2 (en) * 2018-04-13 2022-04-05 Mediatek Inc. Implicit transform settings for coding a block of pixels
EP4029271A4 (en) * 2019-10-05 2022-11-16 Huawei Technologies Co., Ltd. REMOVAL OF BLOCKING ARTIFACTS IN A PREDICTED CODING UNIT BY INTRA-BLOCK COPY
CN114762352A (zh) * 2019-11-27 2022-07-15 北京达佳互联信息技术有限公司 用于视频编解码的去块滤波

Also Published As

Publication number Publication date
WO2023246901A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
TWI812694B (zh) 以角度模式延伸之位置相關框內預測組合
CN110719479B (zh) 跨分量编码信息导出
EP3202150B1 (en) Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CA3105383A1 (en) Position dependent intra prediction combination with wide angle intra prediction
KR20170067766A (ko) 병렬 프로세싱을 위한 인트라 블록 복사 예측 제한들
US11659174B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
US20180035123A1 (en) Encoding and Decoding of Inter Pictures in a Video
US11418808B2 (en) Method and device for encoding or decoding image on basis of inter mode
CN114467116A (zh) 视频译码中的图像头指示
JP7428808B2 (ja) 高レベルシンタックス指示のシグナリング
US20220345703A1 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
KR20210105980A (ko) 비디오 인코더, 비디오 디코더 및 상응하는 방법들
CN114097246A (zh) 跨光栅扫描切片的自适应环路滤波
US20240040119A1 (en) Interaction of multiple partitions
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
US20230156211A1 (en) Method for apparatus for deriving maximum sub-block transform size
CN110730349A (zh) 用于微块的约束
TW202408233A (zh) 暗示子塊變換編解碼的方法和裝置
JP6793778B2 (ja) 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
WO2022171071A1 (en) Video decoder initialization information signaling
TW202329688A (zh) 視訊編解碼方法及相關裝置
CN117296319A (zh) 基于邻居的分割约束
CN117121481A (zh) 单独树编解码限制
TW202344053A (zh) 使用梯度和模板改進幀內模式推導和預測的方法和裝置
KR20130070215A (ko) 적응적 깊이 정보 선택 및 수행에 대한 디블록킹 필터링 방법 및 장치