TW202215847A - 具有最壞情況複雜度處理的擴展低頻不可分離變換（ｌｆｎｓｔ）設計 - Google Patents

具有最壞情況複雜度處理的擴展低頻不可分離變換（ｌｆｎｓｔ）設計

Info

Publication number
TW202215847A
TW202215847A TW110136197A TW110136197A TW202215847A TW 202215847 A TW202215847 A TW 202215847A TW 110136197 A TW110136197 A TW 110136197A TW 110136197 A TW110136197 A TW 110136197A TW 202215847 A TW202215847 A TW 202215847A
Authority
TW
Taiwan
Prior art keywords
coefficients
block
subset
dequantized
video data
Prior art date
Application number
TW110136197A
Other languages
English (en)
Inventor
希勒米艾內斯 艾吉爾梅茲
瓦迪姆 賽萊金
瑪塔 卡克基維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202215847A publication Critical patent/TW202215847A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊解碼器可以被配置為：基於視訊資料區塊的大小，決定針對該區塊的允許的非零係數的數量；獲得針對該區塊的解量化係數集合，其中該解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的數量等於針對該視訊資料區塊的該允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的區塊。

Description

具有最壞情況複雜度處理的擴展低頻不可分離變換（LFNST）設計
本專利申請案主張享受於2020年10月2日提出申請的美國臨時專利申請案第63/086,888的權益，以引用方式將上述申請案的完整內容併入本文。
本案內容係關於視訊編碼和視訊解碼。
數位視訊能力可以被合併到各種各樣的設備中，包括數位電視機、數位直播系統、無線廣播系統、個人數位助理（PDA）、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄設備、數位媒體播放機、視訊遊戲設備、視訊遊戲控制台、蜂巢或衛星無線電電話（所謂的「智慧型電話」）、視訊電話會議設備、視訊串流設備等。數位視訊設備實現視訊譯碼技術（諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4（第10部分，高級視訊譯碼（AVC））、ITU-T H.265/高效率視訊譯碼（HEVC）所定義的標準以及此類標準的擴展中描述的彼等技術）。經由實現此種視訊譯碼技術，視訊設備可以更加高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊譯碼技術包括空間（圖片內（intra-picture））預測及/或時間（圖片間（inter-picture））預測以減少或去除在視訊序列中固有的冗餘。對於基於區塊的視訊譯碼，視訊切片（例如，視訊圖片或視訊圖片的一部分）可以被分割為視訊區塊，視訊區塊亦可以被稱為譯碼樹單元（CTU）、譯碼單元（CU）及/或譯碼節點。圖片的經訊框內譯碼（I）的切片中的視訊區塊是使用相對於同一圖片中的相鄰區塊中的參考取樣的空間預測來編碼的。圖片的經訊框間譯碼（P或B）的切片中的視訊區塊可以使用相對於同一圖片中的相鄰區塊中的參考取樣的空間預測，或者相對於其他參考圖片中的參考取樣的時間預測。圖片可以被稱為訊框，並且參考圖片可以被稱為參考訊框。
本案內容的技術係關於變換譯碼。更具體地，本案內容描述了可以提高通用視訊譯碼（VVC/H.266）中的譯碼效率的各種低頻不可分離變換（LFNST）設計。本案內容的技術亦可用於其他改進的視訊轉碼器，包括HEVC的擴展以及下一代視訊譯碼標準。
對於硬體實現，最壞情況的乘法數量（每個變換的係數）可以是重要的複雜度標準。減少最壞情況乘法數量的一種簡單技術是：規範地（normatively）將一些變換係數歸零（zero-out），並且具有最大數量的非零變換係數。在該背景下，經歸零的變換係數必須設置為等於零。相反，允許的非零變換係數可以是零或非零。就該點而言，允許的非零變換係數的數量可以表示非零變換係數的最大可能數量，並且非零變換係數的實際數量可以小於最大值。相反，經歸零的變換係數的數量可以表示等於零的變換係數的最小數量，並且等於零的變換係數的實際數量可以大於最小值。
歸零程序可能會降低譯碼品質，並且因此除非需要滿足某個最壞情況的乘法數量，否則此舉可能是不期望的。在VVC中，該等標準針對TU大小是硬接線的，在某些譯碼場景中，此舉會導致將比用於滿足最壞情況的乘法數量標準所需的更多的變換係數歸零。為了解決該缺點，本案內容描述了用於根據變換維度和變換矩陣的維度（包括「支援取樣」的數量）來決定允許的非零變換係數的數量的技術。經由基於視訊資料區塊的大小來決定針對該區塊的允許的非零係數的數量，根據本案內容的技術操作的視訊解碼器可以避免在不需要時不必要地將係數歸零，同時仍符合最壞情況乘法標準。
根據一個實例，一種對視訊資料進行解碼的方法包括以下步驟：基於視訊資料區塊的大小，決定針對區塊的允許的非零係數的數量；獲得針對視訊資料區塊的解量化係數集合，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，第一解量化係數子集包括非零解量化係數，第二解量化係數子集包括全零係數，其中第一解量化係數子集中的係數的數量等於針對視訊資料區塊的允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊。
根據另一實例，一種用於對視訊資料進行解碼的設備包括：記憶體，其被配置為儲存視訊資料；及一或多個處理器，其在電路系統中實現並且被配置為：基於視訊資料區塊的大小，決定針對區塊的允許的非零係數的數量；獲得針對視訊資料區塊的解量化係數集合，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，第一解量化係數子集包括非零解量化係數，第二解量化係數子集包括全零係數，其中第一解量化係數子集中的係數的數量等於針對視訊資料區塊的允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊。
根據另一實例，一種儲存有指令的電腦可讀取儲存媒體，當其由一或多個處理器執行時該等指令使該一或多個處理器：基於視訊資料區塊的大小，決定針對區塊的允許的非零係數的數量；獲得針對視訊資料區塊的解量化係數集合，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，第一解量化係數子集包括非零解量化係數，第二解量化係數子集包括全零係數，其中第一解量化係數子集中的係數的數量等於針對視訊資料區塊的允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊。
根據另一實例，一種用於對視訊資料進行解碼的設備包括：用於基於視訊資料區塊的大小，決定針對區塊的允許的非零係數的數量的構件；用於獲得針對視訊資料區塊的解量化係數集合的構件，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，第一解量化係數子集包括非零解量化係數，第二解量化係數子集包括全零係數，其中第一解量化係數子集中的係數的數量等於針對視訊資料區塊的允許的非零係數的數量；用於將逆低頻不可分離變換（LFNST）應用於第一解量化係數子集以決定第一係數中間子集的構件；及用於將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊的構件。
在附圖和以下描述中闡述了一或多個實例的細節。根據說明書、附圖和請求項，其他特徵、目的和優點將是顯而易見的。
視訊譯碼（例如，視訊編碼及/或視訊解碼）通常涉及從同一圖片中經譯碼的視訊資料區塊（例如，訊框內預測）或不同圖片中經譯碼的視訊資料區塊（例如，訊框間預測）預測視訊資料區塊。在某些情況下，視訊編碼器亦經由將預測區塊與原始區塊進行比較來計算殘差資料。因此，殘差資料表示在預測區塊和原始區塊之間的差異。為了減少用信號通知殘差資料所需的位元數量，視訊編碼器對殘差資料進行變換和量化，並在編碼位元串流中用信號通知經變換和量化的殘差資料。經由變換和量化程序實現的壓縮可能是有損耗的，此舉意味著變換和量化程序可能會在解碼視訊資料中引入失真。
視訊解碼器對殘差資料進行解碼並將其添加到預測區塊中，以產生重構的視訊區塊，該重構的視訊區塊比單獨的預測區塊更接近原始視訊區塊。由於由對殘差資料的變換和量化所引入的損耗，第一重構區塊可能具有失真或偽影。一種常見類型的偽影或失真被稱為區塊狀效應，其中用於對視訊資料進行譯碼的區塊的邊界是可見的。
為了進一步提高解碼視訊的品質，視訊解碼器可以對重構的視訊區塊執行一或多個濾波操作。該等濾波操作的實例包括解區塊濾波、取樣自我調整偏移（SAO）濾波以及自我調整迴路濾波（ALF）。用於該等濾波操作的參數可以由視訊編碼器決定並在編碼視訊位元串流中顯式地用信號通知，或者可以由視訊解碼器隱式決定而無需在編碼視訊位元串流中顯式地用信號通知參數。
本案內容的技術係關於變換譯碼。更具體地，本案內容描述了可以提高通用視訊譯碼（VVC/H.266）中的譯碼效率的各種低頻不可分離變換（LFNST）設計。本案內容的技術亦可用於其他高級視訊轉碼器，包括HEVC的擴展以及下一代視訊譯碼標準。
在實施LFNST時，視訊解碼器執行係數解碼步驟，以獲得2維解量化係數列表。解碼器應用逆LFNST來重構係數子集。隨後，視訊解碼器使用逆可分離變換（例如，DCT-2）來重構二維區塊/陣列中的殘差。在一些實例中，視訊解碼器可以使用更大的變換矩陣（增加支援取樣的數量），並且相應地，使用更大數量的變換集合和候選以允許針對更多訊框內預測模式來最佳化的矩陣。
對於硬體實現，最壞情況的乘法數量（每個變換的係數）可以是重要的複雜度標準。減少最壞情況乘法數量的一種簡單技術是：規範地將一些變換係數歸零，並且具有最大數量的非零變換係數。在該背景下，經歸零的變換係數必須設置為等於零。相反，允許的非零變換係數可以是零或非零。就該點而言，允許的非零變換係數的數量可以表示非零變換係數的最大可能數量，並且非零變換係數的實際數量可以小於最大值。相反，經歸零的變換係數的數量可以表示等於零的變換係數的最小數量，並且等於零的變換係數的實際數量可以大於最小值。
歸零程序可能會降低譯碼品質，並且因此除非需要滿足某個最壞情況的乘法數量，否則此舉可能是不期望的。在VVC中，該等標準針對TU大小是硬接線的，在某些譯碼場景中，此舉會導致將比用於滿足最壞情況的乘法數量標準所需的更多的變換係數歸零。為了解決該缺點，本案內容描述了用於根據變換維度和變換矩陣的維度（包括「支援取樣」的數量）來決定允許的非零變換係數的數量的技術。經由基於視訊資料區塊的大小來決定針對該區塊的允許的非零係數的數量，根據本案內容的技術操作的視訊解碼器可以避免在不需要時不必要地將係數歸零，同時仍符合最壞情況乘法標準。
圖1是圖示可以執行本案內容的技術的示例性視訊編碼和解碼系統100的方塊圖。概括而言，本案內容的技術涉及對視訊資料進行譯碼（編碼及/或解碼）。通常，視訊資料包括用於處理視訊的任何資料。因此，視訊資料可以包括原始的未經編碼的視訊、經編碼的視訊、經解碼（例如，經重構）的視訊，以及視訊中繼資料（例如，信號傳遞資料）。
如圖1所示，在該實例中，系統100包括源設備102，源設備102提供要被目的地設備116解碼和顯示的、經編碼的視訊資料。具體地，源設備102經由電腦可讀取媒體110來將視訊資料提供給目的地設備116。源設備102和目的地設備116中的每一者可以是各種各樣的設備中的任何一或多個，包括桌上型電腦、筆記本（亦即，膝上型）電腦、行動設備、平板電腦、機上盒、諸如智慧型電話之類的電話手機、電視機、相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊串流設備、廣播接收器設備等。在一些情況下，源設備102和目的地設備116可以被配備用於無線通訊，並且因此可以被稱為無線通訊設備。
在圖1的實例中，源設備102包括視訊源104、記憶體106、視訊編碼器200以及輸出介面108。目的地設備116包括輸入介面122、視訊解碼器300、記憶體120以及顯示設備118。根據本案內容，源設備102的視訊編碼器200和目的地設備116的視訊解碼器300可以被配置為應用本文描述的LFNST技術。因此，源設備102表示視訊編碼設備的實例，而目的地設備116表示視訊解碼設備的實例。在其他實例中，源設備和目的地設備可以包括其他元件或佈置。例如，源設備102可以從諸如外部相機之類的外部視訊源接收視訊資料。同樣，目的地設備116可以與外部顯示設備對接，而不是包括整合顯示設備。
如圖1所示的系統100僅是一個實例。通常，任何數位視訊編碼及/或解碼設備可以執行本文描述的LFNST技術。源設備102和目的地設備116僅是此種譯碼設備的實例，其中源設備102產生經譯碼的視訊資料以用於傳輸給目的地設備116。本案內容將「譯碼」設備代表為執行對資料的譯碼（例如，編碼及/或解碼）的設備。因此，視訊編碼器200和視訊解碼器300分別表示譯碼設備（具體地，視訊編碼器和視訊解碼器）的實例。在一些實例中，源設備102和目的地設備116可以以基本上對稱的方式進行操作，使得源設備102和目的地設備116中的每一者皆包括視訊編碼和解碼用元件。因此，系統100可以支援在源設備102和目的地設備116之間的單向或雙向視訊傳輸，例如，以用於視訊串流、視訊重播、視訊廣播或視訊電話。
通常，視訊源104表示視訊資料（亦即，原始的未經編碼的視訊資料）的源，並且將視訊資料的順序的一系列圖片（亦被稱為「訊框」）提供給視訊編碼器200，視訊編碼器200對用於圖片的資料進行編碼。源設備102的視訊源104可以包括視訊擷取設備，諸如攝像機、包含先前擷取的原始視訊的視訊存檔單元，及/或用於從視訊內容提供方接收視訊的視訊饋送介面。作為另外的替代方式，視訊源104可以產生基於電腦圖形的資料作為源視訊，或者產生即時視訊、被存檔的視訊和電腦產生的視訊的組合。在每種情況下，視訊編碼器200可以對被擷取的、預擷取的或電腦產生的視訊資料進行編碼。視訊編碼器200可以將圖片從所接收的次序（有時被稱為「顯示次序」）重新排列為用於譯碼的譯碼次序。視訊編碼器200可以產生包括經編碼的視訊資料的位元串流。隨後，源設備102可以經由輸出介面108將經編碼的視訊資料輸出到電腦可讀取媒體110上，以便由例如目的地設備116的輸入介面122接收及/或取得。
源設備102的記憶體106和目的地設備116的記憶體120表示通用記憶體。在一些實例中，記憶體106、120可以儲存原始視訊資料，例如，來自視訊源104的原始視訊以及來自視訊解碼器300的原始的經解碼的視訊資料。另外或替代地，記憶體106、120可以儲存可由例如視訊編碼器200和視訊解碼器300分別執行的軟體指令。儘管在該實例中記憶體106和記憶體120被示為與視訊編碼器200和視訊解碼器300分開，但是應當理解的是，視訊編碼器200和視訊解碼器300亦可以包括用於在功能上類似或等效目的的內部記憶體。此外，記憶體106、120可以儲存例如從視訊編碼器200輸出並且輸入到視訊解碼器300的經編碼的視訊資料。在一些實例中，記憶體106、120的部分可以被分配為一或多個視訊緩衝器，例如，以儲存原始的經解碼及/或經編碼的視訊資料。
電腦可讀取媒體110可以表示能夠將經編碼的視訊資料從源設備102輸送到目的地設備116的任何類型的媒體或設備。在一個實例中，電腦可讀取媒體110表示通訊媒體，以使得源設備102能夠例如經由射頻網路或基於電腦的網路，來即時地向目的地設備116直接傳輸經編碼的視訊資料。輸出介面108可以根據諸如無線通訊協定之類的通訊標準來對包括經編碼的視訊資料的傳輸信號進行調制，並且輸入介面122可以根據諸如無線通訊標準之類的通訊標準來對所接收的傳輸信號進行解調。通訊媒體可以包括任何無線或有線通訊媒體，例如，射頻（RF）頻譜或一或多條實體傳輸線。通訊媒體可以形成諸如以下各項的基於封包的網路的一部分：區域網路、廣域網路，或諸如網際網路之類的全球網路。通訊媒體可以包括路由器、交換機、基地站，或對於促進從源設備102到目的地設備116的通訊而言可以有用的任何其他設備。
在一些實例中，源設備102可以將經編碼的資料從輸出介面108輸出到儲存設備112。類似地，目的地設備116可以經由輸入介面122從儲存設備112存取經編碼的資料。儲存設備112可以包括各種分散式或本端存取的資料儲存媒體中的任何一種，諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼的視訊資料的任何其他適當的數位儲存媒體。
在一些實例中，源設備102可以將經編碼的視訊資料輸出到檔案伺服器114或者到可以儲存由源設備102產生的經編碼的視訊的另一中間儲存設備。目的地設備116可以經由串流或下載來從檔案伺服器114存取被儲存的視訊資料。
檔案伺服器114可以是能夠儲存經編碼視訊資料並將該經編碼視訊資料傳輸到目的地設備116的任何類型的伺服器設備。檔案伺服器114可以表示網頁伺服器（例如，用於網站）、被配置為提供檔案傳輸通訊協定服務（例如檔案傳輸通訊協定（FTP）或基於單向傳輸協定的檔案遞送（FLUTE）協定）的伺服器、內容遞送網路（CDN）設備、超文字傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器及/或網路附加儲存（NAS）設備。檔案伺服器114可以附加地或替代地實現一或多個HTTP串流協定，例如基於HTTP的動態自我調整串流（DASH）、HTTP即時串流（HLS）、即時串流協定（RTSP）、HTTP動態串流，等等。
目的地設備116可以經由包括網際網路連接的任何標準資料連接來存取來自檔案伺服器114的編碼視訊資料。該連接可以包括適合存取儲存在檔案伺服器114上的編碼視訊資料的無線通道（例如，Wi-Fi連接）、有線連接（例如，數位用戶線路（DSL）、纜線數據機等）或該二者的組合。輸入介面122可以被配置為：根據上文論述的用於從檔案伺服器114取得或接收媒體資料的各種協定或者用於取得媒體資料的其他此類協定中的任何一或多個協定進行操作。
輸出介面108和輸入介面122可以表示無線傳輸器/接收器、數據機、有線聯網元件（例如，乙太網路卡）、根據各種IEEE 802.11標準中的任何一種標準進行操作的無線通訊元件，或其他實體元件。在其中輸出介面108和輸入介面122包括無線元件的實例中，輸出介面108和輸入介面122可以被配置為根據蜂巢通訊標準（諸如4G、4G-LTE（長期進化）、改進的LTE、5G等）來傳輸資料（諸如經編碼的視訊資料）。在其中輸出介面108包括無線傳輸器的一些實例中，輸出介面108和輸入介面122可以被配置為根據其他無線標準（諸如IEEE 802.11規範、IEEE 802.15規範（例如，ZigBee TM）、Bluetooth TM標準等）來傳輸資料（諸如經編碼的視訊資料）。在一些實例中，源設備102及/或目的地設備116可以包括相應的晶片上系統（SoC）元件。例如，源設備102可以包括用於執行被賦予視訊編碼器200及/或輸出介面108的功能的SoC元件，並且目的地設備116可以包括用於執行被賦予視訊解碼器300及/或輸入介面122的功能的SoC元件。
本案內容的技術可以應用於視訊譯碼，以支援各種多媒體應用中的任何一種，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸（諸如基於HTTP的動態自我調整串流（DASH））、被編碼到資料儲存媒體上的數位視訊、對被儲存在資料儲存媒體上的數位視訊的解碼，或其他應用。
目的地設備116的輸入介面122從電腦可讀取媒體110（例如，通訊媒體、儲存設備112、檔案伺服器114等）接收經編碼的視訊位元串流。經編碼的視訊位元串流可以包括由視訊編碼器200定義的、亦被視訊解碼器300使用的信號傳遞資訊，諸如具有用於描述視訊區塊或其他譯碼單元（例如，切片、圖片、圖片群組、序列等）的特性及/或處理的值的語法元素。顯示設備118將經解碼的視訊資料的經解碼的圖片顯示給使用者。顯示設備118可以表示各種顯示設備中的任何一種，諸如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器，或另一種類型的顯示設備。
儘管在圖1中未圖示，但是在一些實例中，視訊編碼器200和視訊解碼器300可以各自與音訊編碼器及/或音訊解碼器整合，並且可以包括適當的MUX-DEMUX單元或其他硬體及/或軟體，以處理包括共用資料串流中的音訊和視訊兩者的經多工的串流。若適用，MUX-DEMUX單元可以遵循ITU H.223多工器協定或其他協定（諸如使用者資料包通訊協定（UDP））。
視訊編碼器200和視訊解碼器300各自可以被實現為各種適當的編碼器及/或解碼器電路系統中的任何一種，諸如一或多個微處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）、個別邏輯、軟體、硬體、韌體，或其任何組合。當該等技術部分地用軟體實現時，設備可以將用於軟體的指令儲存在適當的非暫時性電腦可讀取媒體中，並且使用一或多個處理器，用硬體來執行指令以執行本案內容的技術。視訊編碼器200和視訊解碼器300中的每一者可以被包括在一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視訊編碼器200及/或視訊解碼器300的設備可以包括積體電路、微處理器，及/或無線通訊設備（諸如蜂巢式電話）。
視訊編碼器200和視訊解碼器300可以根據視訊譯碼標準（諸如ITU-T H.265（亦被稱為高效率視訊譯碼（HEVC）標準）或對其的擴展（諸如多視圖及/或可伸縮視訊譯碼擴展））進行操作。或者，視訊編碼器200和視訊解碼器300可以根據其他專有或行業標準（諸如ITU-T H.266標準，亦被稱為通用視訊譯碼（VVC））進行操作。在Bross等人的「Versatile Video Coding (Draft 10)」，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組（JVET），第18次會議，遠端會議，2020年6月22日-7月1日，JVET-S2001-v17（以下簡稱「VVC草案10」）中描述了VVC標準的草案。然而，本案內容的技術不限於任何特定的譯碼標準。
通常，視訊編碼器200和視訊解碼器300可以執行對圖片的基於區塊的譯碼。術語「區塊」通常代表包括要被處理的（例如，在編碼及/或解碼程序中要被編碼、被解碼或以其他方式使用的）資料的結構。例如，區塊可以包括亮度及/或色度資料的取樣的二維矩陣。通常，視訊編碼器200和視訊解碼器300可以對以YUV（例如，Y、Cb、Cr）格式表示的視訊資料進行譯碼。亦即，並不是對用於圖片的取樣的紅色、綠色和藍色（RGB）資料進行譯碼，視訊編碼器200和視訊解碼器300可以對亮度和色度分量進行譯碼，其中色度分量可以包括紅色色相和藍色色相色度分量兩者。在一些實例中，視訊編碼器200在進行編碼之前將所接收的經RGB格式化的資料轉換為YUV表示，並且視訊解碼器300將YUV表示轉換為RGB格式。或者，預處理單元和後處理單元（未圖示）可以執行該等轉換。
概括而言，本案內容可以關於對圖片的譯碼（例如，編碼和解碼）以包括對圖片的資料進行編碼或解碼的程序。類似地，本案內容可以涉及對圖片的區塊的譯碼以包括對用於區塊的資料進行編碼或解碼（例如，預測及/或殘差譯碼）的程序。經編碼的視訊位元串流通常包括用於表示譯碼決策（例如，譯碼模式）以及將圖片分割為區塊的語法元素的一系列值。因此，關於對圖片或區塊進行譯碼的引用通常應當被理解為對用於形成圖片或區塊的語法元素的值進行譯碼。
HEVC定義了各種區塊，包括譯碼單元（CU）、預測單元（PU）和變換單元（TU）。根據HEVC，視訊譯碼器（諸如視訊編碼器200）根據四叉樹結構來將譯碼樹單元（CTU）分割為CU。亦即，視訊譯碼器將CTU和CU分割為四個相等的、不重疊的正方形，並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為「葉節點」，並且此種葉節點的CU可以包括一或多個PU及/或一或多個TU。視訊譯碼器可以進一步分割PU和TU。例如，在HEVC中，殘差四叉樹（RQT）表示對TU的分割。在HEVC中，PU表示訊框間預測資料，而TU表示殘差資料。經訊框內預測的CU包括訊框內預測資訊，諸如訊框內模式指示。
作為另一實例，視訊編碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC，視訊譯碼器（諸如視訊編碼器200）將圖片分割為複數個譯碼樹單元（CTU）。視訊編碼器200可以根據樹結構（諸如四叉樹-二叉樹（QTBT）結構或多類型樹（MTT）結構）分割CTU。QTBT結構去除了多種分割類型的概念，諸如在HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別：根據四叉樹分割而被分割的第一級別，以及根據二叉樹分割而被分割的第二級別。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元（CU）。
在MTT分割結構中，可以使用四叉樹（QT）分割、二叉樹（BT）分割以及一或多個類型的三叉樹（TT）（亦被稱為三元樹（TT））分割來對區塊進行分割。三叉或三元樹分割是其中區塊被分離為三個子區塊的分割。在一些實例中，三叉或三元樹分割將區塊劃分為三個子區塊，而不經由中心劃分原始區塊。MTT中的分割類型（例如，QT、BT和TT）可以是對稱的或不對稱的。
在一些實例中，視訊編碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量中的每一者，而在其他實例中，視訊編碼器200和視訊解碼器300可以使用兩個或更多個QTBT或MTT結構，諸如用於亮度分量的一個QTBT/MTT結構以及用於兩個色度分量的另一個QTBT/MTT結構（或者用於相應色度分量的兩個QTBT/MTT結構）。
視訊編碼器200和視訊解碼器300可以被配置為使用每HEVC的四叉樹分割、QTBT分割、MTT分割，或其他分割結構。為了解釋的目的，關於QTBT分割提供了本案內容的技術的描述。然而，應當理解的是，本案內容的技術亦可以應用於被配置為使用四叉樹分割或者亦使用其他類型的分割的視訊譯碼器。
在一些實例中，CTU包括亮度取樣的譯碼樹區塊（CTB）、具有三個取樣陣列的圖片的色度取樣的兩個相應CTB，或者單色圖片或使用三個分離的顏色平面和用於對取樣譯碼的語法結構來譯碼的圖片的取樣的CTB。CTB可以是針對某個N值的NxN取樣區塊，使得將分量劃分為CTB是分割。分量是來自以4:2:0、4:2:2或4:4:4顏色格式組成圖片的三個陣列（亮度和兩個色度）中的一個陣列的陣列或單個取樣，或者是組成單色格式圖片的陣列或陣列的單個取樣。在一些實例中，譯碼區塊是針對某個M和N值的MxN取樣區塊，使得將CTB劃分為譯碼區塊是分割。
可以用各種方式將區塊（例如，CTU或CU）分類在圖片中。作為一個實例，磚塊（brick）可以指圖片中特定瓦片（tile）之內的CTU行的矩形區域。瓦片可以是圖片中特定瓦片列和特定瓦片行之內的CTU的矩形區域。瓦片列是指CTU的矩形區域，其具有等於圖片高度的高度和由語法元素指定的寬度（例如，如在圖片參數集中指定的）。瓦片行是指CTU的矩形區域，其具有由語法元素指定的高度（例如，諸如在圖片參數集中）以及與圖片寬度相等的寬度。
在一些實例中，可以將瓦片分割成多個磚塊，每個磚塊可以包括瓦片內的一或多個CTU行。沒有被分割為多個磚塊的瓦片亦可以被稱為磚塊。但是，作為瓦片的真實子集的磚塊不能被稱為瓦片。
圖片中的磚塊亦可以佈置為切片。切片可以是圖片的整數個磚塊，其可以被排他地包含在單個網路抽象層（NAL）單元中。在一些實例中，切片包括數個完整瓦片或僅一個瓦片的連續的完整磚塊序列。
本案內容可以互換地使用「NxN」和「N乘N」來代表區塊（諸如CU或其他視訊區塊）在垂直和水平維度態樣的取樣維度，例如，16x16個取樣或16乘16個取樣。通常，16x16 CU在垂直方向上將具有16個取樣（y=16），並且在水平方向上將具有16個取樣（x=16）。同樣地，NxN CU通常在垂直方向上具有N個取樣，並且在水平方向上具有N個取樣，其中N表示非負整數值。CU中的取樣可以按行和列來排列。此外，CU不一定需要在水平方向上具有與在垂直方向上相同的數量的取樣。例如，CU可以包括NxM個取樣，其中M不一定等於N。
視訊編碼器200對用於CU的表示預測及/或殘差資訊以及其他資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成針對CU的預測區塊。殘差資訊通常表示在編碼之前的CU的取樣與預測區塊之間的逐取樣的差異。
為了預測CU，視訊編碼器200通常可以經由訊框間預測或訊框內預測來形成針對CU的預測區塊。訊框間預測通常代表根據先前譯碼的圖片的資料來預測CU，而訊框內預測通常代表根據同一圖片的先前譯碼的資料來預測CU。為了執行訊框間預測，視訊編碼器200可以使用一或多個運動向量來產生預測區塊。視訊編碼器200通常可以執行運動搜尋，以辨識例如在CU與參考區塊之間的差異態樣與CU緊密匹配的參考區塊。視訊編碼器200可以使用以下各項來計算差度量，以決定參考區塊是否與當前CU緊密匹配：絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD），或其他此種差計算。在一些實例中，視訊編碼器200可以使用單向預測或雙向預測來預測當前CU。
VVC的一些實例亦提供仿射運動補償模式，其可以被認為是訊框間預測模式。在仿射運動補償模式下，視訊編碼器200可以決定用於表示非平移運動（諸如放大或縮小、旋轉、透視運動或其他不規則的運動類型）的兩個或更多個運動向量。
為了執行訊框內預測，視訊編碼器200可以選擇訊框內預測模式來產生預測區塊。VVC的一些實例提供六十七種訊框內預測模式，包括各種方向性模式，以及平面模式和DC模式。通常，視訊編碼器200選擇訊框內預測模式，該訊框內預測模式描述要根據其來預測當前區塊（例如，CU的區塊）的取樣的、當前區塊的相鄰取樣。假設視訊編碼器200以光柵掃瞄次序（從左到右、從上到下）對CTU和CU進行譯碼，則此種取樣通常可以是在與當前區塊相同的圖片中在當前區塊的上方、左上方或左側。
視訊編碼器200對表示用於當前區塊的預測模式的資料進行編碼。例如，對於訊框間預測模式，視訊編碼器200可以對用於表示使用各種可用訊框間預測模式中的何種的資料，以及針對對應模式的運動資訊進行編碼。對於單向或雙向訊框間預測，例如，視訊編碼器200可以使用高級運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視訊編碼器200可以使用類似的模式來對用於仿射運動補償模式的運動向量進行編碼。
在諸如對區塊的訊框內預測或訊框間預測之類的預測之後，視訊編碼器200可以計算用於該區塊的殘差資料。殘差資料（諸如殘差區塊）表示在區塊與用於該區塊的預測區塊之間的逐取樣的差異，該預測區塊是使用對應的預測模式來形成的。視訊編碼器200可以將一或多個變換應用於殘差區塊，以在變換域中而非在取樣域中產生經變換的資料。例如，視訊編碼器200可以將離散餘弦變換（DCT）、整數變換、小波變換或概念上類似的變換應用於殘差視訊資料。另外，視訊編碼器200可以在第一變換之後應用二次變換，諸如模式相關的不可分離二次變換（MDNSST）、信號相關變換、Karhunen-Loeve變換（KLT）等。視訊編碼器200在應用一或多個變換之後產生變換係數。
如前述，在任何變換以產生變換係數之後，視訊編碼器200可以執行對變換係數的量化。量化通常代表如下的程序：在該程序中，對變換係數進行量化以可能減少用於表示變換係數的資料量，從而提供進一步的壓縮。經由執行量化程序，視訊編碼器200可以減小與一些或所有變換係數相關聯的位元深度。例如，視訊編碼器200可以在量化期間將 n位元的值向下捨入為 m位元的值，其中 n大於 m。在一些實例中，為了執行量化，視訊編碼器200可以執行對要被量化的值的按位元右移。
在量化之後，視訊編碼器200可以掃瞄變換係數，從而從包括經量化的變換係數的二維矩陣產生一維向量。可以將掃瞄設計為將較高能量（並且因此較低頻率）的變換係數放在向量的前面，並且將較低能量（並且因此較高頻率）的變換係數放在向量的後面。在一些實例中，視訊編碼器200可以利用預定義的掃瞄次序來掃瞄經量化的變換係數以產生經序列化的向量，並且隨後對向量的經量化的變換係數進行熵編碼。在其他實例中，視訊編碼器200可以執行自我調整掃瞄。在掃瞄經量化的變換係數以形成一維向量之後，視訊編碼器200可以例如根據上下文自我調整二進位算術譯碼（CABAC）來對一維向量進行熵編碼。視訊編碼器200亦可以對用於描述與經編碼的視訊資料相關聯的中繼資料的語法元素的值進行熵編碼，以供視訊解碼器300在對視訊資料進行解碼時使用。
為了執行CABAC，視訊編碼器200可以將上下文模型內的上下文分配給要被傳輸的符號。上下文可以關於例如符號的相鄰值是否為零值。概率決定可以是基於被分配給符號的上下文的。
視訊編碼器200亦可以例如在圖片標頭、區塊標頭、切片標頭中產生到視訊解碼器300的語法資料（諸如基於區塊的語法資料、基於圖片的語法資料和基於序列的語法資料），或其他語法資料（諸如序列參數集（SPS）、圖片參數集（PPS）或視訊參數集（VPS））。同樣地，視訊解碼器300可以對此種語法資料進行解碼以決定如何解碼對應的視訊資料。
以此種方式，視訊編碼器200可以產生位元串流，其包括經編碼的視訊資料，例如，用於描述將圖片分割為區塊（例如，CU）以及針對該等區塊的預測及/或殘差資訊的語法元素。最終，視訊解碼器300可以接收位元串流並且對經編碼的視訊資料進行解碼。
通常，視訊解碼器300執行與由視訊編碼器200執行的程序相反的程序，以對位元串流的經編碼的視訊資料進行解碼。例如，視訊解碼器300可以使用CABAC，以與視訊編碼器200的CABAC編碼程序基本上類似的、但是相反的方式，來對用於位元串流的語法元素的值進行解碼。語法元素可以定義用於將圖片分割為CTU，以及根據對應的分割結構（諸如QTBT結構）對每個CTU進行分割以定義CTU的CU的分割資訊。語法元素亦可以定義用於視訊資料的區塊（例如，CU）的預測和殘差資訊。
殘差資訊可以由例如經量化的變換係數來表示。視訊解碼器300可以對區塊的經量化的變換係數進行逆量化和逆變換，以重現用於該區塊的殘差區塊。視訊解碼器300使用經信號通知的預測模式（訊框內預測或訊框間預測）和相關的預測資訊（例如，用於訊框間預測的運動資訊）來形成用於該區塊的預測區塊。視訊解碼器300隨後可以對預測區塊和殘差區塊（在逐個取樣的基礎上）進行組合以重現原始區塊。視訊解碼器300可以執行額外處理，諸如執行去區塊程序以減少沿著區塊的邊界的視覺偽影。
概括而言，本案內容可能涉及「用信號通知」某些資訊（諸如語法元素）。術語「用信號通知」通常可以代表對用於語法元素的值及/或用於對經編碼的視訊資料進行解碼的其他資料的傳送。亦即，視訊編碼器200可以在位元串流中用信號通知用於語法元素的值。通常，用信號通知代表產生在位元串流中的值。如前述，源設備102可以基本上即時地或不是即時地（諸如可能在將語法元素儲存到儲存設備112以供目的地設備116稍後取得時發生）將位元串流傳輸到目的地設備116。
圖2A和圖2B是圖示示例性四叉樹二叉樹（QTBT）結構130以及對應的譯碼樹單元（CTU）132的概念圖。實線表示四叉樹分離，並且虛線指示二叉樹分離。在二叉樹的每個分離（亦即非葉）節點中，用信號通知一個標誌以指示使用何種分離類型（亦即，水平或垂直），其中在該實例中，0指示水平分離，並且1指示垂直分離。對於四叉樹分離，由於四叉樹節點將區塊水平地並且垂直地分離為具有相等大小的4個子區塊，因此無需指示分離類型。因此，視訊編碼器200可以對以下各項進行編碼，並且視訊解碼器300可以對以下各項進行解碼：用於QTBT結構130的區域樹級別（亦即，實線）的語法元素（諸如分離資訊），以及用於QTBT結構130的預測樹級別（亦即虛線）的語法元素（諸如分離資訊）。視訊編碼器200可以對用於由QTBT結構130的終端葉節點表示的CU的視訊資料（諸如預測和變換資料）進行編碼，並且視訊解碼器300可以對視訊資料進行解碼。
通常，圖2B的CTU 132可以與用於定義與QTBT結構130的處於第一和第二級別的節點相對應的區塊的大小的參數相關聯。該等參數可以包括CTU大小（表示取樣中的CTU 132的大小）、最小四叉樹大小（MinQTSize，其表示最小允許四叉樹葉節點大小）、最大二叉樹大小（MaxBTSize，其表示最大允許二叉樹根節點大小）、最大二叉樹深度（MaxBTDepth，其表示最大允許二叉樹深度），以及最小二叉樹大小（MinBTSize，其表示最小允許二叉樹葉節點大小）。
QTBT結構的與CTU相對應的根節點可以在QTBT結構的第一級別處具有四個子節點，每個子節點可以是根據四叉樹分割來分割的。亦即，第一級別的節點是葉節點（沒有子節點）或者具有四個子節點。QTBT結構130的實例將此種節點表示為包括父節點和具有實線分支的子節點。若第一級別的節點不大於最大允許二叉樹根節點大小（MaxBTSize），則隨後可以經由相應的二叉樹進一步對節點進行分割。可以對一個節點的二叉樹分離進行反覆運算，直到從分離產生的節點達到最小允許二叉樹葉節點大小（MinBTSize）或最大允許二叉樹深度（MaxBTDepth）。QTBT結構130的實例將此種節點表示為具有用於分支的虛線。二叉樹葉節點被稱為譯碼單元（CU），其用於預測（例如，圖片內或圖片間預測）和變換，而不進行任何進一步分割。如上所論述的，CU亦可以被稱為「視訊區塊」或「區塊」。
在QTBT分割結構的一個實例中，CTU大小被設置為128x128（亮度取樣和兩個對應的64x64色度取樣），MinQTSize被設置為16x16，MaxBTSize被設置為64x64，MinBTSize（對於寬度和高度兩者）被設置為4，並且MaxBTDepth被設置為4。首先對CTU應用四叉樹分割以產生四叉樹葉節點。四叉樹葉節點可以具有從16x16（亦即MinQTSize）到128x128（亦即CTU大小）的大小。若四叉樹葉節點為128x128，則由於該大小超過MaxBTSize（亦即，在該實例中為64x64），因此葉四叉樹節點將不被二叉樹進一步分離。否則，四叉樹葉節點將被二叉樹進一步分割。因此，四叉樹葉節點亦是用於二叉樹的根節點，並且具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth（在該實例中為4）時，不允許進一步分離。具有等於MinBTSize（在該實例中為4）的寬度的二叉樹節點，意味著不允許針對該二叉樹節點進行進一步的垂直分離（亦即，對寬度的劃分）。類似地，具有等於MinBTSize的高度的二叉樹節點意味著不允許針對該二叉樹節點進行進一步的水平分離（亦即，對高度的劃分）。如前述，二叉樹的葉節點被稱為CU，並且根據預測和變換而被進一步處理，而無需進一步分割。
在HEVC之前的示例性視訊譯碼標準中，僅使用固定的可分離變換，其中垂直和水平地使用DCT-2。在HEVC中，除了DCT-2之外，DST-7亦用於4x4區塊，作為固定的可分離變換。
美國專利公開案2016-0219290-A1、美國專利公開案2018-0020218-A1以及美國專利公開案2019-0373261-A1描述了用於多變換選擇（MTS）的技術。MTS亦可以被稱為自我調整多變換（AMT）。2019-0373261-A1中的MTS實例已在ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊專家組（JVET），JEM軟體，https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0（JEM 7.0）中被採用，並且後來在VVC草案10中採用了MTS的簡化版本。
圖3是由視訊編碼器和視訊解碼器（例如，視訊編碼器200和視訊解碼器300）執行的示例性LFNST的圖示，其中LFNST的使用在轉碼器中的可分離變換和量化之間引入了新階段。如圖3所示，在編碼器側（例如，視訊編碼器200），變換處理單元206可以首先對變換區塊應用可分離變換500以獲得變換係數。變換處理單元206隨後可以將LFNST 502應用於變換區塊的變換係數的一部分（例如，LFNST區域）。如前述，變換處理單元206可以結合LFNST來應用歸零程序。量化單元208隨後可以在熵編碼之前對所得變換係數進行量化。針對圖12更詳細地描述了變換處理單元206和量化單元208。
在解碼器側（例如，視訊解碼器300），逆量化單元306首先對變換區塊中經熵解碼的變換係數進行逆量化。隨後視訊解碼器300的逆變換處理單元308將逆LFNST 504應用於變換區塊的LFSNT區域。隨後逆變換處理單元308將逆可分離變換506應用於逆LFNST的結果，以產生殘差區塊。針對圖13更詳細地描述了逆量化單元306和逆變換處理單元308。
如圖3所示，LFNST用於JEM-7.0以進一步提高MTS的譯碼效率，其中LFNST的實現基於在美國專利公開案2017-0238013-A1中描述的HyGT。美國專利公開案2017-0094313-A1、美國專利公開案2017-0238014-A1、美國臨時專利申請案62/668,105（於2018年5月提出申請）以及美國專利公開案2019-0297351-A1亦描述了額外的設計和進一步細節。LFNST已在VVC草案10中被採用，並在JVET-N0193，Reduced Secondary Transform (RST) (CE6-3.1)，第14次會議：瑞士，日內瓦，2019年3月19-27日，中進行了描述。LFNST亦可以被稱為不可分離二次變換（NSST）或二次變換。
圖3圖示LFNST變換的圖示，其可以由視訊編碼器和視訊解碼器執行，其中LFNST在轉碼器中的可分離變換和量化之間引入了新階段。
現在將描述用於LFNST的解碼程序。利用LFNST的逆變換涉及圖4所示的以下主要步驟： 1）經由首先經由預定義的掃瞄/排序將2維區塊轉換為1維係數列表（或向量），經解碼的變換係數（參見圖4中的子區塊315）被用作對逆LFNST的輸入； 2）逆LFNST被應用於輸入係數的1維列表，並且輸出係數經由預定義的掃瞄/排序被重組為2維區塊（參見圖4中的子區塊317）； 3）經逆變換的LFNST係數用作可分離逆DCT-2的輸入，以獲得重構的殘差。
圖4圖示在使用LFNST時的逆變換程序的圖示。
在VVC草案10中，LFNST可以應用於4x4和8x8子區塊。在該兩種情況下，4x4子區塊中的16個經解碼係數（其中一些可能被規範地歸零）被輸入到逆LFNST： l 對於4x4的情況，使用16x16的逆LFNST以便在可分離的逆DCT-2之前構造16個中間係數，如圖5所示。 l 對於8x8的情況，使用16x48的逆LFNST以便在可分離的逆DCT-2之前構造48個中間係數，如圖6所示。應當注意，48個中間係數被重組為L形模式。 l 可以基於（i）變換（亦即，LFNST）矩陣和（ii）針對中間係數的重組模式/掃瞄，來完全定義逆LFNST程序。 l VVC草案10中歸零程序的細節在於2020年5月13日提出申請的美國專利申請案15/931,271中有所描述。
圖5圖示用於從16個輸入係數的列表重構16個中間係數的4x4逆LFNST的圖示。
對於4x4 LFNST，根據訊框內模式使用以下兩種模式/掃瞄： const int g_lfnstRGScan4x4    [16] = {  // 0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15 }; const int g_lfnstRGTranScan4x4[16] = {  // 0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15 0,  4,  8, 12,  1,  5,  9, 13,  2,  6, 10, 14,  3,  7, 11, 15 }; 其中上述兩個模式/掃瞄指示對中間係數的重新排序。例如，g_lfnstRGScan4x4不會改變係數的行優先重新排序。然而，lfnstRGTranScan4x4經由對係數的次序進行轉置來重新排序（例如，1、2、3、6、7和11處的係數分別與4、8、12、9、13和14處的係數交換）。
對於4x4 LFNST，VVC草案10中存在八個16x16矩陣。該等在JVET-O2001的第8.7.4.3節中列出。
圖6圖示用於從16個輸入係數的列表重構48個中間係數的8x8逆LFNST的圖示。中間係數被重組為L形模式。
對於8x8 LFNST，根據訊框內模式使用以下兩種模式/掃瞄： const int g_lfnstRGScan8x8    [48] = {  // 0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34  35  36  37  38  39  40  41  42  43  44  45  46  47 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 40, 41, 42, 43, 48, 49, 50, 51, 56, 57, 58, 59 }; const int g_lfnstRGTranScan8x8[48] = {  // 0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  17  18  19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34  35  36  37  38  39  40  41  42  43  44  45  46  47 0,  8, 16, 24, 32, 40, 48, 56,  1,  9, 17, 25, 33, 41, 49, 57,  2, 10, 18, 26, 34, 42, 50, 58,  3, 11, 19, 27, 35, 43, 51, 59,  4, 12, 20, 28,  5, 13, 21, 29,  6, 14, 22, 30,  7, 15, 23, 31 }; 其中上述兩個模式/掃瞄指示對中間係數的重新排序。具體而言，g_lfnstRGScan8x8以L形模式對48個中間係數進行重組（例如，第48個係數被映射到圖6中的位置59）。掃瞄lfnstRGTranScan4x4經由對係數進行轉置（例如，第48個係數被映射到圖6中的位置31）來對L形模式進行重新排序。
對於8x8 LFNST，VVC草案10中存在八個16x48矩陣。該等在JVET-O2001的第8.7.4.3節中列出。
對於VVC草案10中的4x4和8x8 LFNST二者，8個LFNST矩陣被分為4組LFNST矩陣，其中每組由2個LFNST候選組成。用於解碼的變換矩陣經由用信號通知LFNST索引來決定，該LFNST索引辨識在給定變換集合中的2個LFNST候選之間使用的變換矩陣。在VVC草案10中，變換集合是基於訊框內模式推導出的。具體而言，其是根據下表推導出的 用於VVC草案10中四個LFNST集合的映射規則
predModeIntra lfnstTrSetIdx
predModeIntra ＜ 0 1
0 ＜= predModeIntra ＜= 1 0
2 ＜= predModeIntra ＜= 12 1
13 ＜= predModeIntra ＜= 23 2
24 ＜= predModeIntra ＜= 44 3
45 ＜= predModeIntra ＜= 55 2
56 ＜= predModeIntra ＜= 80 1
本案內容描述了用於擴展VVC草案10的LFNST設計的技術。所提出的技術意欲經由引入額外的變換集合和候選來改良LFNST設計，並提供用於處理在乘法數量（亦即，每個係數的乘法）態樣的最壞情況複雜度的技術。
本發明亦描述了LFNST解碼程序的態樣。在（基於係數解碼步驟）獲得2維解量化係數列表之後，解碼器（例如，視訊解碼器300）可以應用逆低頻不可分離變換（LFNST）來重構係數子集。隨後，使用逆可分離變換（例如，DCT-2）來重構2維區塊/陣列中的殘差（參見例如圖4）。
可以基於以下內容指定LFNST解碼程序： - 重組模式 / 掃瞄，其用於定義如何組織LFNST輸入和輸出係數。 - 變換矩陣，其定義用於解碼係數子集的不可分離變換。
在LFNST中，可以組織解碼係數的2維區塊/陣列，以便使矩陣的條目和輸入對準。如圖7所示，此舉可以經由以下方式實現： i）從係數的2維陣列構造係數 M的1維列表，隨後 ii）對1維列表應用（大小為 MxN的）逆LFNST，以重構 N個LFNST係數，並且 iii）在2維區塊/陣列中對輸出係數進行重組，該等輸出係數被輸入到用於重構殘差區塊的可分離變換（逆DCT-2）。
在VVC草案10中，LFNST設計允許最多 M=16個非零係數（位於左上角4x4子區塊），而其餘係數被規範地設置為零，如圖7所示。然而，本案內容中的思想可應用於允許所有係數為非零的設計。一個實例可以是 M=N的情況。在另一實例中，沒有係數被規範地歸零。
圖7圖示逆LFNST程序的圖示。 輸入重組： -例如，可以在光柵掃瞄（亦被稱為行優先排序，如圖8所示）中進行重組。 -作為另一個實例，重組可以按列優先排序來進行。 -重組亦可以取決於區塊大小和訊框內模式。 -若轉碼器（例如，視訊編碼器200或視訊解碼器）規範地將輸入係數的子集設置為歸零，則針對LFNST的輸入係數列表可以不包括彼等歸零係數。重組步驟僅允許可以為非零的係數（亦即，未被規範地歸零的係數）。
圖8圖示基於具有16個解碼係數的光柵掃瞄的輸入重組的實例。圖9圖示基於具有64個解碼係數的光柵掃瞄的輸入重組的實例。 變換矩陣： -變換（LFNST）矩陣可以具有大小 MxN，其中 ¡ M表示基向量的數量，並且亦表示行數 ¡ N表示在應用變換後經重構的LFNST係數的數量（亦被稱為變換的支援取樣的數量）。 -變換矩陣條目可以處於8位元、9位元或10位元精度。 -可以對變換矩陣的行中所有條目的符號進行翻轉。換言之，變換矩陣中的行向量可以乘以-1。 ¡ 變換矩陣中的所有行可以乘以-1。 ¡ 變換矩陣中行的子集可以乘以1，而其他條目不變。 輸出重組模式/掃瞄： - N個輸出LFNST係數的1維列表可以基於陣列（定義模式/掃瞄）來重組，其中陣列之每一者值對應於2維區塊中的方位/位置。 -陣列中的值（用於重組）可以以任何預定義的次序表示2維區塊的索引。 ¡ 在一個實例中，索引值可以對應於2維區塊中的位置。給定索引值 v，2維區塊中的相應位置可以計算為： l 行索引： r=floor(v/w)l 列索引： c=mod(v, w)其中 w表示LFNST子區塊的寬度（在VVC草案10中， w可以是4或8）。基於此公式，以下針對重組模式的陣列對應於針對4x4區塊的光柵次序： const int raster_order    [16]= {  // 0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15 }; 以便將1維係數列表中的第i個元素映射到2維區塊中的行和列位置，如針對i=0,1,......,15： l r[i]= floor(raster_order [i]/w) l c[i]= mod(raster_order [i], w)
在上文的實例中，N與MxN中的值相同，並且亦等於解碼器側重構係數的數量。M是與MxN矩陣的M行相關聯的輸入係數的數量。
N：輸出/重構係數的數量，其等於矩陣中的列數（亦即，N）。
本案內容亦描述了用於在有/沒有歸零的情況下擴展8x8 LFNST支援的技術。VVC草案10中的8x8 LFNST設計可以被擴展為對重構的LFNST係數提供更大的支援。
在一個實例中，經由將允許係數的數量保持為 M=16，支援取樣的數量可以從48擴展到64，如圖10所示。注意，在該設計中，視訊解碼器300和視訊編碼器200皆可以被配置為使得僅有最多16個係數可以是非零的，如圖8中所示，其中輸入區塊具有16個取樣。
圖9圖示用於從16個輸入係數重構64個中間係數的8x8逆LFNST的圖示。中間係數被重組為8x8的正方形模式。
在另一實例中，經由進一步將允許係數的數量擴展為 M=64，支援取樣的數量可以從48擴展到64，如圖11所示。注意，該設計不允許係數的任何規範歸零（亦即，視訊編碼器200和視訊解碼器300二者皆可以被配置為使得在正方形區塊的任何位置可以存在非零係數）。
圖11圖示用於從64個輸入係數重構64個中間係數的8x8逆LFNST的示例性圖示。中間係數被重組為8x8的正方形模式。
對於 M=16或 64個解碼係數，可以在如圖8所示的光柵掃瞄中進行輸入重組，並且在陣列g_lfnstRGScan8x8和g_lfnstRGTranScan8x8中指定輸出重組模式/掃瞄，其中根據訊框內模式使用該等陣列中的一個陣列。在一個實例中，lfnstRGScan用於索引為0,1,2,3…34的訊框內模式，並且lfnstRGTranScan用於35,36，...... const int g_lfnstRGScan8x8    [64]= { 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63 }; const int g_lfnstRGTranScan8x8[64]= { 0,  8, 16, 24, 32, 40, 48, 56,  1,  9, 17, 25, 33, 41, 49, 57,  2, 10, 18, 26, 34, 42, 50, 58,  3, 11, 19, 27, 35, 43, 51, 59,  4, 12, 20, 28, 36, 44, 52, 60,  5, 13, 21, 29, 37, 45, 53, 61,  6, 14, 22, 30, 38, 46, 54, 62,  7, 15, 23, 31, 39, 47, 55, 63 }; 其中具體而言，上述掃瞄對應於光柵掃瞄和轉置次序。
本案內容亦描述了用於擴展LFNST候選的數量的技術。
LFNST集合的數量（ S）和候選的數量（ C）可以擴展到 S=35和 C=3，並且可以根據以下映射表推導出用於給定訊框內模式的LFNST集合（lfnstTrSetIdx）。 用於四個LFNST集合和擴展的LFNST設計的映射規則
predModeIntra lfnstTrSetIdx
predModeIntra ＜ 0 2
0 0
1 1
2 2
3 3
4 4
5 5
6 6
7 7
8 8
9 9
10 10
11 11
12 12
13 13
14 14
15 15
16 16
17 17
18 18
19 19
20 20
21 21
22 22
23 23
24 24
25 25
26 26
27 27
28 28
29 29
30 30
31 31
32 32
33 33
34 34
35 33
36 32
37 31
38 30
39 29
40 28
41 27
42 26
43 25
44 24
45 23
46 22
47 21
48 20
49 19
50 18
51 17
52 16
53 15
54 14
55 13
56 12
57 11
58 10
59 9
60 8
61 7
62 6
63 5
64 4
65 3
66 2
對於 S=35和 C=3，105個LFNST矩陣g_lfnst4x4和g_lfnst8x8的集合可以是各種不同的矩陣。
本案內容亦描述了用於改良最壞情況矩陣乘法處理的技術。
對於硬體實現，最壞情況的乘法數量（每次變換係數）是重要的複雜度標準。減少最壞情況乘法數量的一種示例性技術是將一些變換係數規範地歸零。然而，除非需要滿足某個最壞情況的乘法數量，否則歸零程序是不期望的。
在VVC草案10中，以下規則集合用於保持8次乘法的最壞情況複雜度： -若使用LFNST並且TU大小為4x4或8x8，則最多允許8個非零係數，並且其餘係數被規範地歸零。 -否則，若使用LFNST，則最多允許16個非零係數，並且其餘係數被規範地歸零。 在標準文字中，此情形被反映為： nonZeroSize = ( ( nTbW = = 4  &&  nTbH  = = 4 )  | |  ( nTbW = = 8  &&  nTbH  = = 8 ) )  ?  8 :  16
讓 WCM表示所需的最壞情況乘法數量。用於決定允許的非零係數數量（亦即，歸零水平）的通用公式為： NZ= floor( ( WCMx nTbW x nTbH)/( Nx N) ) 其中nTbH和nTbW表示TU的高度和寬度，並且 N是如前述的變換維度。該通用公式可以反映在標準文字中，如下所示： nonZeroSize = ( nTbW = = nTbH )  ? NZ: (2x NZ)， 其中當TU為正方形時，允許的係數的數量等於 NZ，否則等於2乘以 NZ。
若區塊寬度和高度相等，則允許的非零係數的數量可以等於NZ。否則，允許的非零係數的數量可以等於2乘以NZ（例如，2xNZ）。
為了實現上述技術，視訊編碼器200和視訊解碼器300可以被配置為：基於視訊資料區塊的大小，決定針對該區塊的允許的非零係數的數量，以及獲得針對視訊資料區塊的解量化係數集合，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數。第一解量化係數子集中的係數的數量可以等於針對視訊資料區塊的所允許的非零係數的數量。視訊編碼器200和視訊解碼器300隨後可以將逆LFNST應用於第一解量化係數子集以決定第一係數中間子集，並且將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊。
圖12是圖示可以執行本案內容的技術的示例性視訊編碼器200的方塊圖。提供圖12是為了解釋的目的，並且不應被認為是對本案內容中廣泛例示和描述的技術的限制。為了說明的目的，本案內容描述了根據VVC（正在開發的ITU-T H.266）和HEVC（ITU-T H.265）的技術的視訊編碼器200。然而，本案內容的技術可以由被配置為其他視訊譯碼標準的視訊編碼設備來執行。
在圖12的實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、解碼圖片緩衝器（DPB）218和熵編碼單元220。視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一者或全部可以在一或多個處理器中或者在處理電路系統中實現。例如，視訊編碼器200的單元可以被實現為一或多個電路或邏輯元件，作為硬體電路系統的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視訊編碼器200可以包括額外或替代的處理器或處理電路系統以執行該等和其他功能。
視訊資料記憶體230可以儲存要由視訊編碼器200的元件來編碼的視訊資料。視訊編碼器200可以從例如視訊源104（圖1）接收被儲存在視訊資料記憶體230中的視訊資料。DPB 218可以充當參考圖片記憶體，其儲存參考視訊資料，以在由視訊編碼器200對後續視訊資料進行預測時使用。視訊資料記憶體230和DPB 218可以由各種記憶體設備中的任何一種形成，諸如動態隨機存取記憶體（DRAM）（包括同步DRAM（SDRAM））、磁阻RAM（MRAM）、電阻性RAM（RRAM），或其他類型的記憶體設備。視訊資料記憶體230和DPB 218可以由相同的記憶體設備或分別的記憶體設備來提供。在各個實例中，視訊資料記憶體230可以與視訊編碼器200的其他元件在晶片上（如圖所示），或者相對於彼等元件在晶片外。
在本案內容中，對視訊資料記憶體230的引用不應當被解釋為限於在視訊編碼器200內部的記憶體（除非如此具體地描述），或者不限於在視訊編碼器200外部的記憶體（除非如此具體地描述）。確切而言，對視訊資料記憶體230的引用應當被理解為儲存視訊編碼器200接收以用於編碼的視訊資料（例如，用於要被編碼的當前區塊的視訊資料）的參考記憶體。圖1的記憶體106亦可以提供對來自視訊編碼器200的各個單元的輸出的臨時儲存。
圖示圖12的各個單元以幫助理解由視訊編碼器200執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路，或其組合。固定功能電路代表提供特定功能並且關於可以執行的操作而預先設置的電路。可程式設計電路代表可以被程式設計以執行各種任務並且以可以執行的操作來提供靈活功能的電路。例如，可程式設計電路可以執行軟體或韌體，該軟體或韌體使得可程式設計電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作類型通常是不可變的。在一些實例中，該等單元中的一或多個單元可以是不同的電路區塊（固定功能或可程式設計），並且在一些實例中，單元中的一或多個單元可以是積體電路。
視訊編碼器200可以包括由可程式設計電路形成的算術邏輯單位（ALU）、基本功能單元（EFU）、數位電路、類比電路及/或可程式設計核。在其中使用由可程式設計電路執行的軟體來執行視訊編碼器200的操作的實例中，記憶體106（圖1）可以儲存視訊編碼器200接收並且執行的軟體的指令（例如，目標代碼），或者視訊編碼器200內的另一記憶體（未圖示）可以儲存此種指令。
視訊資料記憶體230被配置為儲存所接收的視訊資料。視訊編碼器200可以從視訊資料記憶體230取得視訊資料的圖片，並且將視訊資料提供給殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是要被編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和訊框內預測單元226。模式選擇單元202可以包括額外功能單元，以根據其他預測模式來執行視訊預測。作為實例，模式選擇單元202可以包括調色板單元、區塊內複製單元（其可以是運動估計單元222及/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元等。
模式選擇單元202通常協調多個編碼通路（pass），以測試編碼參數的組合以及針對此種組合所得到的率失真值。編碼參數可以包括將CTU分割為CU、用於CU的預測模式、用於CU的殘差資料的變換類型、用於CU的殘差資料的量化參數等。模式選擇單元202可以最終選擇編碼參數的具有比其他測試的組合更佳的率失真值的組合。
視訊編碼器200可以將從視訊資料記憶體230取得的圖片分割為一系列CTU，並且將一或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（諸如上述HEVC的QTBT結構或四叉樹結構）來分割圖片的CTU。如前述，視訊編碼器200可以經由根據樹結構來分割CTU，從而形成一或多個CU。此種CU通常亦可以被稱為「視訊區塊」或「區塊」。
通常，模式選擇單元202亦控制其元件（例如，運動估計單元222、運動補償單元224和訊框內預測單元226）以產生用於當前區塊（例如，當前CU，或者在HEVC中為PU和TU的重疊部分）的預測區塊。為了對當前區塊進行訊框間預測，運動估計單元222可以執行運動搜尋以辨識在一或多個參考圖片（例如，被儲存在DPB 218中的一或多個先前譯碼的圖片）中的一或多個緊密匹配的參考區塊。具體地，運動估計單元222可以例如根據絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）等，來計算用於表示潛在參考區塊將與當前區塊的類似程度的值。運動估計單元222通常可以使用在當前區塊與所考慮的參考區塊之間的逐取樣的差，來執行該等計算。運動估計單元222可以辨識從該等計算所得到的具有最低值的參考區塊，其指示與當前區塊最緊密匹配的參考區塊。
運動估計單元222可以形成一或多個運動向量（MV），該等運動向量限定相對於當前區塊在當前圖片中的位置而言，參考區塊在參考圖片中的位置。隨後，運動估計單元222可以將運動向量提供給運動補償單元224。例如，對於單向訊框間預測，運動估計單元222可以提供單個運動向量，而對於雙向訊框間預測，運動估計單元222可以提供兩個運動向量。隨後，運動補償單元224可以使用運動向量來產生預測區塊。例如，運動補償單元224可以使用運動向量來取得參考區塊的資料。作為另一實例，若運動向量具有分數取樣精度，則運動補償單元224可以根據一或多個內插濾波器來對用於預測區塊的值進行內插。此外，對於雙向訊框間預測，運動補償單元224可以取得用於由相應的運動向量辨識的兩個參考區塊的資料，並且例如經由逐取樣平均或加權平均，來將所取得的資料進行組合。
作為另一實例，對於訊框內預測或訊框內預測譯碼，訊框內預測單元226可以根據與當前區塊相鄰的取樣來產生預測區塊。例如，對於方向性模式，訊框內預測單元226通常可以在數學上將相鄰取樣的值進行組合，並且跨當前區塊在所定義的方向上填充該等計算出的值以產生預測區塊。作為另一實例，對於DC模式，訊框內預測單元226可以計算當前區塊的相鄰取樣的平均值，並且產生預測區塊以包括該得到的針對預測區塊的每個取樣的平均值。
模式選擇單元202將預測區塊提供給殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前區塊的原始的未經編碼的版本，並且從模式選擇單元202接收預測區塊。殘差產生單元204計算在當前區塊與預測區塊之間的逐取樣的差。所得到的逐取樣的差定義了用於當前區塊的殘差區塊。在一些實例中，殘差產生單元204亦可以決定在殘差區塊中的取樣值之間的差，以使用殘差差分脈衝譯碼調制（RDPCM）來產生殘差區塊。在一些實例中，可以使用執行二進位減法的一或多個減法器電路來形成殘差產生單元204。
在其中模式選擇單元202將CU分割為PU的實例中，每個PU可以與亮度預測單元和對應的色度預測單元相關聯。視訊編碼器200和視訊解碼器300可以支援具有各種大小的PU。如上所指出的，CU的大小可以代表CU的亮度譯碼區塊的大小，並且PU的大小可以代表PU的亮度預測單元的大小。假設特定CU的大小為2Nx2N，則視訊編碼器200可以支援用於訊框內預測的2Nx2N或NxN的PU大小，以及用於訊框間預測的2Nx2N、2NxN、Nx2N、NxN或類似的對稱的PU大小。視訊編碼器200和視訊解碼器300亦可以支援針對用於訊框間預測的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非對稱分割。
在其中模式選擇單元202不將CU進一步分割為PU的實例中，每個CU可以與亮度譯碼區塊和對應的色度譯碼區塊相關聯。如前述，CU的大小可以代表CU的亮度譯碼區塊的大小。視訊編碼器200和視訊解碼器300可以支援2Nx2N、2NxN或Nx2N的CU大小。
對於其他視訊譯碼技術（舉幾個實例，諸如區塊內複製模式譯碼、仿射模式譯碼和線性模型（LM）模式譯碼），模式選擇單元202經由與譯碼技術相關聯的相應單元來產生用於正被編碼的當前區塊的預測區塊。在一些實例中（諸如調色板模式譯碼），模式選擇單元202可以不產生預測區塊，而是替代地產生用於指示基於所選擇的調色板來重構區塊的方式的語法元素。在此種模式下，模式選擇單元202可以將該等語法元素提供給熵編碼單元220以進行編碼。
如前述，殘差產生單元204接收用於當前區塊和對應的預測區塊的視訊資料。隨後，殘差產生單元204為當前區塊產生殘差區塊。為了產生殘差區塊，殘差產生單元204計算在預測區塊與當前區塊之間的逐取樣的差。
變換處理單元206將一或多個變換應用於殘差區塊，以產生變換係數的區塊（本文中被稱為「變換係數區塊」）。變換處理單元206可以將各種變換應用於殘差區塊，以形成變換係數區塊。例如，變換處理單元206可以將離散餘弦變換（DCT）、方向變換、Karhunen-Loeve變換（KLT），或概念上類似的變換應用於殘差區塊。在一些實例中，變換處理單元206可以對殘差區塊執行多種變換，例如，初級變換和二次變換（諸如旋轉變換）。變換處理單元206可以例如以本案內容中描述的方式來應用LFNST和可分離變換。根據本案內容的技術，變換處理單元206可以例如，基於視訊資料區塊的大小來決定針對視訊資料區塊的允許的非零係數的數量，並且作為應用LFNST和可分離變換的一部分，基於所決定的允許的非零係數的數量來執行歸零程序。在一些實例中，變換處理單元206不對殘差區塊應用變換。
量化單元208可以對變換係數區塊中的變換係數進行量化，以產生經量化的變換係數區塊。量化單元208可以根據與當前區塊相關聯的量化參數（QP）值來對變換係數區塊的變換係數進行量化。視訊編碼器200（例如，經由模式選擇單元202）可以經由調整與CU相關聯的QP值，來調整被應用於與當前區塊相關聯的變換係數區塊的量化程度。量化可能引起資訊損失，並且因此，經量化的變換係數可能具有比由變換處理單元206所產生的原始變換係數更低的精度。
逆量化單元210和逆變換處理單元212可以將逆量化和逆變換分別應用於經量化的變換係數區塊，以從變換係數區塊重構殘差區塊。逆變換處理單元212可以例如以本案內容中描述的方式來應用逆LFNST和逆可分離變換。根據本案內容的技術，逆變換處理單元212可以例如，基於視訊資料區塊的大小來決定針對該區塊的允許的非零係數的數量，並且作為應用逆LFNST和逆可分離變換的一部分，基於所決定的允許的非零係數的數量來執行歸零程序。
重構單元214可以基於經重構的殘差區塊和由模式選擇單元202產生的預測區塊，來產生與當前區塊相對應的重構區塊（儘管潛在地具有某種程度的失真）。例如，重構單元214可以將經重構的殘差區塊的取樣與來自由模式選擇單元202所產生的預測區塊的對應取樣相加，以產生經重構的區塊。
濾波器單元216可以對經重構的區塊執行一或多個濾波器操作。例如，濾波器單元216可以執行去區塊操作以減少沿著CU的邊緣的區塊效應偽影。在一些實例中，可以跳過濾波器單元216的操作。
視訊編碼器200將經重構的區塊儲存在DPB 218中。例如，在其中不執行濾波器單元216的操作的實例中，重構單元214可以將經重構的區塊儲存到DPB 218中。在其中執行濾波器單元216的操作的實例中，濾波器單元216可以將經濾波的重構區塊儲存到DPB 218中。運動估計單元222和運動補償單元224可以從DPB 218取得根據經重構的（並且潛在地經濾波的）區塊形成的參考圖片，以對後續編碼的圖片的區塊進行訊框間預測。另外，訊框內預測單元226可以使用在DPB 218中的當前圖片的經重構的區塊，來對當前圖片中的其他區塊進行訊框內預測。
通常，熵編碼單元220可以對從視訊編碼器200的其他功能元件接收的語法元素進行熵編碼。例如，熵編碼單元220可以對來自量化單元208的經量化的變換係數區塊進行熵編碼。作為另一實例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於訊框間預測的運動資訊或用於訊框內預測的訊框內模式資訊）進行熵編碼。熵編碼單元220可以對作為視訊資料的另一實例的語法元素執行一或多個熵編碼操作，以產生經熵編碼的資料。例如，熵編碼單元220可以執行上下文自我調整可變長度譯碼（CAVLC）操作、CABAC操作、可變到可變（V2V）長度譯碼操作、基於語法的上下文自我調整二進位算術譯碼（SBAC）操作、概率區間分割熵（PIPE）譯碼操作、指數哥倫布編碼操作，或對資料的另一種類型的熵編碼操作。在一些實例中，熵編碼單元220可以在其中語法元素未被熵編碼的旁路模式下操作。
視訊編碼器200可以輸出位元串流，其包括用於重構切片或圖片的區塊所需要的經熵編碼的語法元素。具體地，熵編碼單元220可以輸出位元串流。
關於區塊描述了上述操作。此種描述應當被理解為用於亮度譯碼區塊及/或色度譯碼區塊的操作。如前述，在一些實例中，亮度譯碼區塊和色度譯碼區塊是CU的亮度分量和色度分量。在一些實例中，亮度譯碼區塊和色度譯碼區塊是PU的亮度分量和色度分量。
在一些實例中，不需要針對色度譯碼區塊重複關於亮度譯碼區塊執行的操作。作為一個實例，不需要重複用於辨識用於亮度譯碼區塊的運動向量（MV）和參考圖片的操作來辨識用於色度區塊的MV和參考圖片。而是，可以對用於亮度譯碼區塊的MV進行縮放以決定用於色度區塊的MV，並且參考圖片可以是相同的。作為另一實例，對於亮度譯碼區塊和色度譯碼區塊，訊框內預測程序可以是相同的。
圖13是圖示可以執行本案內容的技術的示例性視訊解碼器300的方塊圖。圖13是出於解釋的目的而提供的，並且不對在本案內容中泛泛地舉例說明和描述的技術進行限制。出於解釋的目的，本案內容根據VVC（正在開發的ITU-T H.266）和HEVC（ITU-T H.265）的技術描述了視訊解碼器300。然而，本案內容的技術可以由被配置用於其他視訊譯碼標準的視訊譯碼設備來執行。
在圖13的實例中，視訊解碼器300包括譯碼圖片緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和解碼圖片緩衝器（DPB）314。CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 314中的任何一者或全部可以在一或多個處理器中或者在處理電路系統中實現。例如，視訊解碼器300的單元可以被實現為一或多個電路或邏輯元件，作為硬體電路系統的一部分，或者作為處理器、ASIC或FPGA的一部分。此外，視訊解碼器300可以包括額外或替代的處理器或處理電路系統以執行該等和其他功能。
預測處理單元304包括運動補償單元316和訊框內預測單元318。預測處理單元304可以包括附加單元，其根據其他預測模式來執行預測。作為實例，預測處理單元304可以包括調色板單元、區塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元等。在其他實例中，視訊解碼器300可以包括更多、更少或不同的功能元件。
CPB記憶體320可以儲存要由視訊解碼器300的元件解碼的視訊資料，諸如經編碼的視訊位元串流。例如，可以從電腦可讀取媒體110（圖1）獲得被儲存在CPB記憶體320中的視訊資料。CPB記憶體320可以包括儲存來自經編碼的視訊位元串流的經編碼的視訊資料（例如，語法元素）的CPB。此外，CPB記憶體320可以儲存除了經譯碼的圖片的語法元素之外的視訊資料，諸如用於表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼的圖片，視訊解碼器300可以輸出經解碼的圖片，及/或在解碼經編碼的視訊位元串流的後續資料或圖片時使用經解碼的圖片作為參考視訊資料。CPB記憶體320和DPB 314可以由各種記憶體設備中的任何一種形成，諸如DRAM（包括SDRAM）、MRAM、RRAM或其他類型的記憶體設備。CPB記憶體320和DPB 314可以由相同的記憶體設備或分別的記憶體設備來提供。在各個實例中，CPB記憶體320可以與視訊解碼器300的其他元件在晶片上，或者相對於彼等元件在晶片外。
另外或替代地，在一些實例中，視訊解碼器300可以從記憶體120（圖1）取得經譯碼的視訊資料。亦即，記憶體120可以如上文所論述地利用CPB記憶體320來儲存資料。同樣，當視訊解碼器300的一些或全部功能是用要被視訊解碼器300的處理電路系統執行的軟體來實現時，記憶體120可以儲存要被視訊解碼器300執行的指令。
圖示圖13中圖示的各個單元以幫助理解由視訊解碼器300執行的操作。該等單元可以被實現為固定功能電路、可程式設計電路，或其組合。類似於圖12，固定功能電路代表提供特定功能並且關於可以執行的操作而預先設置的電路。可程式設計電路代表可以被程式設計以執行各種任務並且以可以執行的操作來提供靈活功能的電路。例如，可程式設計電路可以執行軟體或韌體，該軟體或韌體使得可程式設計電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作的類型通常是不可變的。在一些實例中，該等單元中的一或多個單元可以是不同的電路區塊（固定功能或可程式設計），並且在一些實例中，單元中的一或多個單元可以是積體電路。
視訊解碼器300可以包括由可程式設計電路形成的ALU、EFU、數位電路、類比電路及/或可程式設計核。在其中由在可程式設計電路上執行的軟體執行視訊解碼器300的操作的實例中，晶片上或晶片外記憶體可以儲存視訊解碼器300接收並且執行的軟體的指令（例如，目標代碼）。
熵解碼單元302可以從CPB接收經編碼的視訊資料，並且對視訊資料進行熵解碼以重現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來產生經解碼的視訊資料。
通常，視訊解碼器300在逐區塊的基礎上重構圖片。視訊解碼器300可以單獨地對每個區塊執行重構操作（其中當前正在被重構（亦即，被解碼）的區塊可以被稱為「當前區塊」）。
熵解碼單元302可以對用於定義經量化的變換係數區塊的經量化的變換係數的語法元素，以及諸如量化參數（QP）及/或變換模式指示之類的變換資訊進行熵解碼。逆量化單元306可以使用與經量化的變換係數區塊相關聯的QP來決定量化程度，並且同樣地，決定供逆量化單元306應用的逆量化程度。逆量化單元306可以例如執行按位元左移操作，以對經量化的變換係數進行逆量化。逆量化單元306從而可以形成包括變換係數的變換係數區塊。
在逆量化單元306形成變換係數區塊之後，逆變換處理單元308可以將一或多個逆變換應用於變換係數區塊，以產生與當前區塊相關聯的殘差區塊。例如，逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換（KLT）、逆旋轉變換、逆方向變換或另一逆變換應用於變換係數區塊。逆變換處理單元308可以以本案內容中描述的方式來應用逆LFNST和逆可分離變換。根據本案內容的技術，逆變換處理單元308可以例如，基於視訊資料區塊的大小來決定針對該區塊的允許的非零係數的數量，並且作為應用逆LFNST和逆可分離變換的一部分，基於所決定的允許的非零係數的數量來執行歸零程序。
此外，預測處理單元304根據由熵解碼單元302進行熵解碼的預測資訊語法元素來產生預測區塊。例如，若預測資訊語法元素指示當前區塊是經訊框間預測的，則運動補償單元316可以產生預測區塊。在此種情況下，預測資訊語法元素可以指示在DPB 314中的要從其取得參考區塊的參考圖片，以及用於辨識相對於當前區塊在當前圖片中的位置而言參考區塊在參考圖片中的位置的運動向量。運動補償單元316通常可以以與關於運動補償單元224（圖12）所描述的方式基本類似的方式來執行訊框間預測程序。
作為另一實例，若預測資訊語法元素指示當前區塊是經訊框內預測的，則訊框內預測單元318可以根據由預測資訊語法元素指示的訊框內預測模式來產生預測區塊。再次，訊框內預測單元318通常可以以與關於訊框內預測單元226（圖12）所描述的方式基本上類似的方式來執行訊框內預測程序。訊框內預測單元318可以從DPB 314取得當前區塊的相鄰取樣的資料。
重構單元310可以使用預測區塊和殘差區塊來重構當前區塊。例如，重構單元310可以將殘差區塊的取樣與預測區塊的對應取樣相加來重構當前區塊。
濾波器單元312可以對經重構的區塊執行一或多個濾波器操作。例如，濾波器單元312可以執行去區塊操作以減少沿著經重構的區塊的邊緣的區塊效應偽影。不一定在所有實例中皆執行濾波器單元312的操作。
視訊解碼器300可以將經重構的區塊儲存在DPB 314中。例如，在不執行濾波器單元312的操作的實例中，重構單元310可以將重構區塊儲存到DPB 314。在執行濾波器單元312的操作的實例中，濾波器單元312可以將經濾波的重構區塊儲存到DPB 314。如上所論述的，DPB 314可以將參考資訊（諸如用於訊框內預測的當前圖片以及用於後續運動補償的先前解碼的圖片的取樣）提供給預測處理單元304。此外，視訊解碼器300可以從DPB 314輸出經解碼的圖片（例如，經解碼的視訊），以用於在諸如圖1的顯示設備118之類的顯示設備上的後續呈現。
圖14是圖示根據本案內容的技術的、用於對當前區塊進行編碼的一種示例性程序的流程圖。當前區塊可以包括當前CU。儘管針對視訊編碼器200（圖1和圖12）進行了描述，但應該理解的是：其他設備可以被配置為執行與圖14類似的程序。
在該實例中，視訊編碼器200最初預測當前區塊（350）。舉例而言，視訊編碼器200可形成針對當前區塊的預測區塊。視訊編碼器200隨後可以計算針對當前區塊的殘差區塊（352）。為了計算殘差區塊，視訊編碼器200可計算在原始的、未編碼區塊與針對當前區塊的預測區塊之間的差。視訊編碼器200隨後可以對殘差區塊進行變換並對殘差區塊的變換係數進行量化（354）。接下來，視訊編碼器200可以對殘差區塊的經量化的變換係數進行掃瞄（356）。在掃瞄期間或在掃瞄之後，視訊編碼器200可對變換係數進行熵編碼（358）。例如，視訊編碼器200可以使用CAVLC或CABAC對變換係數進行編碼。視訊編碼器200隨後可以輸出區塊的熵編碼資料（360）。
圖15是圖示根據本案內容的技術的、用於對視訊資料的當前區塊進行解碼的一種示例性程序的流程圖。當前區塊可以包括當前CU。儘管針對視訊解碼器300（圖1和圖13）進行了描述，但應該理解的是：其他設備可以被配置為執行與圖15類似的程序。
視訊解碼器300可以接收針對當前區塊的熵編碼資料，例如，熵編碼預測資訊和針對與當前區塊相對應的殘差區塊的變換係數的熵編碼資料（370）。視訊解碼器300可以對熵編碼資料進行熵解碼，以決定針對當前區塊的預測資訊並再現殘差區塊的變換係數（372）。視訊解碼器300可以例如使用由針對當前區塊的預測資訊所指示的訊框內預測模式或訊框間預測模式，來預測當前區塊（374），以計算針對當前區塊的預測區塊。視訊解碼器300隨後可以對再現的變換係數進行逆掃瞄（376），以建立經量化的變換係數的區塊。隨後，視訊解碼器300可以對變換係數進行逆量化，並將逆變換應用於變換係數以產生殘差區塊（378）。作為應用逆變換的一部分，視訊解碼器300可以例如，獲得針對視訊資料區塊的解量化係數集合，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數。視訊解碼器300可以將逆LFNST應用於第一解量化係數子集以決定第一係數中間子集，並且將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊。視訊解碼器300可以經由對預測區塊和殘差區塊進行組合來最終對當前區塊進行解碼（380）。
圖16是圖示根據本案內容的技術的、用於對視訊資料的當前區塊進行解碼的一種示例性程序的流程圖。當前區塊可以包括當前CU。儘管針對視訊解碼器300（圖1和圖13）進行了描述，但應該理解的是：其他設備可以被配置為執行與圖16類似的程序。例如，由視訊編碼器200執行的視訊編碼程序的視訊解碼循環亦可以執行圖16的技術。
視訊解碼器300可以基於視訊資料區塊的大小來決定針對該區塊的允許的非零係數的數量（400）。視訊解碼器300可以根據公式NZ=floor((WCMxnTbWxnTbH)/(NxN))來決定所允許的非零係數的數量，其中nTbH表示重構值的區塊的高度，nTbW表示重構值的區塊的寬度，NZ等於所允許的非零係數的數量，以及WCM表示常數值。第一解量化係數子集例如可以具有NZ個係數。在一些實例中，M可以等於2xNZ，並且N可以等於64。
視訊解碼器300獲得針對視訊資料區塊的解量化係數集合，其中解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數（402）。第一解量化係數子集中的係數的數量可以等於針對視訊資料區塊的所允許的非零係數的數量。
視訊解碼器300將逆LFNST應用於第一解量化係數子集以決定第一係數中間子集（404）。視訊解碼器300可以例如，決定針對視訊資料區塊的訊框內預測模式；基於訊框內預測模式，從複數個集合中決定逆LFNST候選的集合；及從所決定的逆LFNST候選集合中選擇逆LFNST。逆LFNST候選集合可以例如包括3個候選，並且可以是從包括35個集合的複數個集合中決定的。第一解量化係數子集可以包括M個解量化係數，並且第一係數中間子集可以包括N個係數，其中M和N是整數值。如上文所論述的，在一些實例中，M可以等於16，以及N等於64。在其他實例中，M可以等於64，以及N等於64。
視訊解碼器300將逆可分離變換應用於第一係數中間子集以及第二係數子集的至少一部分，以決定重構的殘差值的區塊（406）。視訊解碼器300可以將重構殘差值的區塊與預測區塊相加以形成重構區塊；對重構區塊應用一或多個濾波器以決定經濾波的重構區塊；及輸出包括經濾波的重構區塊的解碼視訊資料。
以下條款表示上述技術和設備的實施方式。
條款1、一種對視訊資料進行解碼的方法，該方法包括以下步驟：獲得針對視訊資料區塊的解量化係數集合，其中該解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數；將逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集，以決定第一係數中間子集；及將逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的區塊。
條款2、根據條款1之方法，其中該第一解量化係數子集包括M個解量化係數，並且其中第一係數中間子集包括N個係數，其中M和N是整數值。
條款3、根據條款2之方法，其中M＝16並且N＝64。
條款4、根據條款2之方法，其中M＝64並且N＝64。
條款5、根據條款1-4中任意條款之方法，亦包括以下步驟：決定針對該視訊資料區塊的訊框內預測模式；基於該訊框內預測模式，從複數個集合中決定逆LFNST候選集合；及從所決定的逆LFNST候選集合中選擇該逆LFNST。
條款6、根據條款5之方法，其中該逆LFNST候選集合包括3個候選。
條款7、根據條款5或條款6之方法，其中該複數個集合包括35個集合。
條款8、根據條款2-7中任意條款之方法，亦包括以下步驟：根據公式NZ=floor((WCMxnTbWxnTbH)/(NxN))來決定該允許的非零係數的最小數量，其中nTbH表示重構值的區塊的高度，nTbW表示重構值的區塊的寬度，NZ等於允許的非零係數的最小數量，並且WCM表示常數值。
條款9、根據條款8之方法，其中該第一解量化係數子集具有NZ個係數。
條款10、根據條款2和8或者條款2和9之方法，其中M=2xNZ並且N=64。
條款11、一種用於對視訊資料進行譯碼的設備，該設備包括用於執行根據條款1-10中任意條款之方法的一或多個構件。
條款12、根據條款11之設備，其中該一或多個構件包括電路系統中實現的一或多個處理器。
條款13、根據條款11和12中任意條款之設備，亦包括用於儲存該視訊資料的記憶體。
條款14、根據條款11-13中任意條款之設備，亦包括顯示器，其被配置為顯示解碼視訊資料。
條款15、根據條款11-14中任意條款之設備，其中該設備包括下列中的一項或多項：照相機、電腦、行動設備、廣播接收器設備或機上盒。
條款16、根據條款11-15中任意條款之設備，其中該設備包括視訊解碼器。
條款17、根據條款11-16中任意條款之設備，其中該設備包括視訊編碼器。
條款18、一種具有儲存在其上的指令的電腦可讀取儲存媒體，當被執行時，該等指令使得一或多個處理器執行根據條款1-10中任意條款之方法。
條款19、一種對視訊資料進行解碼的方法，該方法包括以下步驟：基於視訊資料區塊的大小，決定針對該區塊的允許的非零係數的數量；獲得針對該視訊資料區塊的解量化係數集合，其中該解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的數量等於針對該視訊資料區塊的該允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的區塊。
條款20、根據條款19之方法，亦包括以下步驟：決定針對該視訊資料區塊的訊框內預測模式；基於該訊框內預測模式，從複數個集合中決定逆LFNST候選集合；及從所決定的逆LFNST候選集合中選擇該逆LFNST。
條款21、根據條款20之方法，其中該逆LFNST候選集合包括3個候選。
條款22、根據條款20或條款21之方法，其中該複數個集合包括35個集合。
條款23、根據條款19-22中任意條款之方法，其中該第一解量化係數子集包括M個解量化係數，並且其中第一係數中間子集包括N個係數，其中M和N是整數值。
條款24、根據條款23之方法，其中M＝16並且N＝64。
條款25、根據條款23之方法，其中M＝64並且N＝64。
條款26、根據條款23-25中任意條款之方法，亦包括以下步驟：根據公式NZ=floor((WCMxnTbWxnTbH)/(NxN))來決定該允許的非零係數的數量，其中nTbH表示重構值的區塊的高度，nTbW表示重構值的區塊的寬度，NZ等於該允許的非零係數的數量，並且WCM表示常數值。
條款27、根據條款26之方法，其中該第一解量化係數子集具有NZ個係數。
條款28、根據條款26或27之方法，其中M=2xNZ並且N＝64。
條款29、根據條款19-28中任意條款之方法，亦包括以下步驟：將重構殘差值的區塊與預測區塊相加，以形成重構區塊；對該重構區塊應用一或多個濾波器，以決定經濾波的重構區塊；及輸出包括該經濾波的重構區塊的解碼視訊資料。
條款30、根據條款19-29中任意條款之方法，其中該方法是作為視訊編碼程序的一部分執行的。
條款31、一種用於對視訊資料進行解碼的設備，該設備包括：記憶體，其被配置為儲存視訊資料；一或多個處理器，其在電路系統中實現並且被配置為：基於視訊資料區塊的大小，決定針對該區塊的允許的非零係數的數量；獲得針對該視訊資料區塊的解量化係數集合，其中該解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的數量等於針對該視訊資料區塊的該允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的區塊。
條款32、根據條款31之設備，其中該一或多個處理器亦被配置為：決定針對該視訊資料區塊的訊框內預測模式；基於該訊框內預測模式，從複數個集合中決定逆LFNST候選集合；及從所決定的逆LFNST候選集合中選擇該逆LFNST。
條款33、根據條款32之設備，其中該逆LFNST候選集合包括3個候選。
條款34、根據條款32之設備，其中該複數個集合包括35個集合。
條款35、根據條款31-34中任意條款之設備，其中該第一解量化係數子集包括M個解量化係數，並且其中第一係數中間子集包括N個係數，其中M和N是整數值。
條款36、根據條款35之設備，其中M＝16並且N＝64。
條款37、根據條款35之設備，其中M＝64並且N＝64。
條款38、根據條款35-37中任意條款之設備，其中該一或多個處理器亦被配置為：根據公式NZ=floor((WCMxnTbWxnTbH)/(NxN))來決定該允許的非零係數的數量，其中nTbH表示重構值的區塊的高度，nTbW表示重構值的區塊的寬度，NZ等於該允許的非零係數的數量，並且WCM表示常數值。
條款39、根據條款35之設備，其中該第一解量化係數子集具有NZ個係數。
條款40、根據條款35或36之設備，其中M=2xNZ並且N＝64。
條款41、根據條款31-41中任意條款之設備，其中該一或多個處理器亦被配置為：將重構殘差值的區塊與預測區塊相加，以形成重構區塊；對該重構區塊應用一或多個濾波器，以決定經濾波的重構區塊；及輸出包括該經濾波的重構區塊的解碼視訊資料。
條款42、根據條款31-41中任意條款之設備，其中該設備包括無線通訊設備，亦包括：接收器，其被配置為：接收編碼視訊資料。
條款43、根據條款42之設備，其中該無線通訊設備包括手持電話，並且其中該接收器被配置為：根據無線通訊標準來對包括該編碼視訊資料的信號進行解調。
條款44、根據條款31-43中任意條款之設備，亦包括：顯示器，其被配置為顯示解碼視訊資料。
條款45、根據條款31-44中任意條款之設備，其中該設備包括下列中的一項或多項：照相機、電腦、行動設備、廣播接收器設備或機上盒。
條款46、根據條款31-45中任意條款之設備，亦包括：照相機，其被配置為擷取視訊資料。
條款47、根據條款31-46中任意條款之設備，其中該設備包括無線通訊設備，亦包括：傳輸器，其被配置為：傳輸編碼視訊資料。
條款48、根據條款47之設備，其中該無線通訊設備包括手持電話，並且其中該傳輸器被配置為：根據無線通訊標準來對包括該編碼視訊資料的信號進行調制。
條款49、一種儲存有指令的電腦可讀取儲存媒體，其中當由一或多個處理器執行時該等指令使該一或多個處理器：基於視訊資料區塊的大小，決定針對該區塊的允許的非零係數的數量；獲得針對該視訊資料區塊的解量化係數集合，其中該解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的數量等於針對該視訊資料區塊的該允許的非零係數的數量；將逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定第一係數中間子集；及將逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的區塊。
條款50、一種用於對視訊資料進行解碼的設備，該設備包括：用於基於視訊資料區塊的大小，決定針對該區塊的允許的非零係數的數量的構件；用於獲得針對該視訊資料區塊的解量化係數集合的構件，其中該解量化係數集合包括第一解量化係數子集和第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的數量等於針對該視訊資料區塊的該允許的非零係數的數量；用於將逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定第一係數中間子集的構件；及用於將逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的區塊的構件。
要認識到的是，根據實例，本文描述的任何技術的某些動作或事件可以以不同的順序執行，可以被添加、合併或完全省略（例如，並非所有描述的動作或事件是對於實施該等技術皆是必要的）。此外，在某些實例中，動作或事件可以例如經由多執行緒處理、中斷處理或多個處理器併發地而不是順序地執行。
在一或多個實例中，所描述的功能可以用硬體、軟體、韌體或其任何組合來實現。若用軟體來實現，則該等功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或者經由其進行傳輸並且由基於硬體的處理單元執行。電腦可讀取媒體可以包括電腦可讀取儲存媒體，其對應於諸如資料儲存媒體之類的有形媒體或者通訊媒體，該等通訊媒體包括例如根據通訊協定來促進電腦程式從一個地方傳送到另一個地方的任何媒體。以此種方式，電腦可讀取媒體通常可以對應於（1）非暫時性的有形電腦可讀取儲存媒體，或者（2）諸如信號或載波之類的通訊媒體。資料儲存媒體可以是可以由一或多個電腦或者一或多個處理器存取以取得用於實現在本案內容中描述的技術的指令、代碼及/或資料結構的任何可用的媒體。電腦程式產品可以包括電腦可讀取媒體。
舉例而言而非進行限制，此種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備、快閃記憶體，或者能夠用於以指令或資料結構形式儲存期望的程式碼以及能夠由電腦存取的任何其他媒體。此外，任何連接被適當地稱為電腦可讀取媒體。例如，若使用同軸電纜、光纖光纜、雙絞線、數位用戶線路（DSL）或者無線技術（例如，紅外線、無線電和微波）從網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖光纜、雙絞線、DSL或者無線技術（例如，紅外線、無線電和微波）被包括在媒體的定義中。然而，應當理解的是，電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是替代地針對非暫時性的有形儲存媒體。如本文所使用的，磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟利用鐳射來光學地複製資料。上述各項的組合亦應當被包括在電腦可讀取媒體的範疇之內。
指令可以由一或多個處理器來執行，諸如一或多個DSP、通用微處理器、ASIC、FPGA，或其他等效的整合或個別邏輯電路系統。因此，如本文所使用的術語「處理器」和「處理電路系統」可以代表前述結構中的任何一者或者適於實現本文描述的技術的任何其他結構。另外，在一些態樣中，本文描述的功能可以在被配置用於編碼和解碼的專用硬體及/或軟體模組內提供，或者被併入經組合的轉碼器中。此外，該等技術可以完全在一或多個電路或邏輯元件中實現。
本案內容的技術可以在多種多樣的設備或裝置中實現，包括無線手機、積體電路（IC）或一組IC（例如，晶片組）。在本案內容中描述了各種元件、模組或單元以強調被配置為執行所揭示的技術的設備的功能性態樣，但是不一定需要經由不同的硬體單元來實現。確切而言，如前述，各種單元可以被組合在轉碼器硬體單元中，或者由可交互操作的硬體單元的集合（包括如前述的一或多個處理器）結合適當的軟體及/或韌體來提供。
已經描述了各個實例。該等和其他實例在所附的請求項的範疇內。
100:視訊編碼和解碼系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀取媒體 112:儲存設備 114:檔案伺服器 116:目的地設備 118:顯示設備 120:記憶體 122:輸入介面 130:四叉樹二叉樹（QTBT）結構 132:譯碼樹單元（CTU） 200:視訊編碼器 202:模式選擇單元 204:殘差產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:解碼圖片緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:訊框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:解碼圖片緩衝器（DPB） 315:子區塊 316:運動補償單元 317:子區塊 318:訊框內預測單元 320:CPB記憶體 350:步驟 352:步驟 354:步驟 356:步驟 358:步驟 360:步驟 370:步驟 372:步驟 374:步驟 376:步驟 378:步驟 380:步驟 400:步驟 402:步驟 404:步驟 406:步驟 500:可分離變換 502:LFNST 504:逆LFNST 506:逆可分離變換
圖1是圖示可以執行本案內容的技術的示例性視訊編碼和解碼系統的方塊圖。
圖2A和圖2B是圖示示例性四叉樹二叉樹（QTBT）結構以及對應的譯碼樹單元（CTU）的概念圖。
圖3是圖示編碼器和解碼器處的示例性低頻不可分離變換（LFNST）的方塊圖。
圖4是圖示當使用LFNST時的逆變換程序的概念圖。
圖5是圖示用於從16個輸入係數的列表重構16個中間係數的4x4逆LFNST的概念圖。
圖6圖示用於從16個輸入係數的列表重構48個中間係數的8x8逆LFNST的圖示。
圖7圖示逆LFNST程序的圖示。
圖8圖示基於具有16個解碼係數的光柵掃瞄的輸入重組的實例。
圖9圖示基於具有64個解碼係數的光柵掃瞄的輸入重組的實例。
圖10圖示用於從16個輸入係數重構64個中間係數的8x8逆LFNST的圖示。
圖11圖示用於從64個輸入係數重構64個中間係數的8x8逆LFNST的示例性圖示。
圖12是圖示可以執行本案內容的技術的示例性視訊編碼器的方塊圖。
圖13是圖示可以執行本案內容的技術的示例性視訊解碼器的方塊圖。
圖14是圖示根據本案內容的技術的、用於對當前區塊進行編碼的一種示例性程序的流程圖。
圖15是圖示根據本案內容的技術的、用於對當前區塊進行解碼的一種示例性程序的流程圖。
圖16是圖示根據本案內容的技術的、用於對當前區塊進行解碼的一種示例性程序的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
400:步驟
402:步驟
404:步驟
406:步驟

Claims (32)

  1. 一種對視訊資料進行解碼的方法，該方法包括以下步驟： 基於一視訊資料區塊的一大小，決定針對該區塊的允許的非零係數的一數量； 獲得針對該視訊資料區塊的一解量化係數集合，其中該解量化係數集合包括一第一解量化係數子集和一第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的一數量等於針對該視訊資料區塊的該允許的非零係數的數量； 將一逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定一第一係數中間子集；及 將一逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的一區塊。
  2. 根據請求項1之方法，亦包括以下步驟： 決定針對該視訊資料區塊的一訊框內預測模式； 基於該訊框內預測模式，從複數個集合中決定一逆LFNST候選集合；及 從所決定的該逆LFNST候選集合中選擇該逆LFNST。
  3. 根據請求項2之方法，其中該逆LFNST候選集合包括3個候選。
  4. 根據請求項2之方法，其中該複數個集合包括35個集合。
  5. 根據請求項1之方法，其中該第一解量化係數子集包括M個解量化係數，並且其中第一係數中間子集包括N個係數，其中M和N是整數值。
  6. 根據請求項5之方法，其中M＝16並且N＝64。
  7. 根據請求項5之方法，其中M＝64並且N＝64。
  8. 根據請求項5之方法，亦包括以下步驟： 根據公式NZ=floor((WCMxnTbWxnTbH)/(NxN))來決定該允許的非零係數的數量，其中nTbH表示重構值的該區塊的一高度，nTbW表示重構值的該區塊的一寬度，NZ等於該允許的非零係數的數量，並且WCM表示一常數值。
  9. 根據請求項8之方法，其中該第一解量化係數子集具有NZ個係數。
  10. 根據請求項8之方法，其中M=2xNZ並且N=64。
  11. 根據請求項1之方法，亦包括以下步驟： 將重構殘差值的該區塊與一預測區塊相加，以形成一重構區塊； 對該重構區塊應用一或多個濾波器，以決定一經濾波的重構區塊；及 輸出包括該經濾波的重構區塊的解碼視訊資料。
  12. 根據請求項1之方法，其中該方法是作為一視訊編碼程序的一部分執行的。
  13. 一種用於對視訊資料進行解碼的設備，該設備包括： 一記憶體，其被配置為儲存視訊資料； 一或多個處理器，其在電路系統中實現並且被配置為： 基於一視訊資料區塊的一大小，決定針對該區塊的允許的非零係數的一數量； 獲得針對該視訊資料區塊的一解量化係數集合，其中該解量化係數集合包括一第一解量化係數子集和一第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的一數量等於針對該視訊資料區塊的該允許的非零係數的數量； 將一逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定一第一係數中間子集；及 將一逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的一區塊。
  14. 根據請求項13之設備，其中該一或多個處理器亦被配置為： 決定針對該視訊資料區塊的一訊框內預測模式； 基於該訊框內預測模式，從複數個集合中決定一逆LFNST候選集合；及 從所決定的該逆LFNST候選集合中選擇該逆LFNST。
  15. 根據請求項14之設備，其中該逆LFNST候選集合包括3個候選。
  16. 根據請求項14之設備，其中該複數個集合包括35個集合。
  17. 根據請求項13之設備，其中該第一解量化係數子集包括M個解量化係數，並且其中第一係數中間子集包括N個係數，其中M和N是整數值。
  18. 根據請求項17之設備，其中M＝16並且N＝64。
  19. 根據請求項17之設備，其中M＝64並且N＝64。
  20. 根據請求項17之設備，其中該一或多個處理器亦被配置為： 根據公式NZ=floor((WCMxnTbWxnTbH)/(NxN))來決定該允許的非零係數的數量，其中nTbH表示重構值的該區塊的一高度，nTbW表示重構值的該區塊的一寬度，NZ等於該允許的非零係數的數量，並且WCM表示一常數值。
  21. 根據請求項17之設備，其中該第一解量化係數子集具有NZ個係數。
  22. 根據請求項17之設備，其中M＝2xNZ並且N＝64。
  23. 根據請求項13之設備，其中該一或多個處理器亦被配置為： 將重構殘差值的該區塊與一預測區塊相加，以形成一重構區塊； 對該重構區塊應用一或多個濾波器，以決定一經濾波的重構區塊；及 輸出包括該經濾波的重構區塊的解碼視訊資料。
  24. 根據請求項13之設備，其中該設備包括一無線通訊設備，亦包括：一接收器，其被配置為：接收編碼視訊資料。
  25. 根據請求項24之設備，其中該無線通訊設備包括一手持電話，並且其中該接收器被配置為：根據一無線通訊標準來對包括該編碼視訊資料的一信號進行解調。
  26. 根據請求項13之設備，亦包括： 一顯示器，其被配置為顯示解碼視訊資料。
  27. 根據請求項13之設備，其中該設備包括下列中的一項或多項：一照相機、一電腦、一行動設備、一廣播接收器設備或一機上盒。
  28. 根據請求項13之設備，亦包括： 一照相機，其被配置為擷取視訊資料。
  29. 根據請求項13之設備，其中該設備包括一無線通訊設備，亦包括：一傳輸器，其被配置為傳輸編碼視訊資料。
  30. 根據請求項29之設備，其中該無線通訊設備包括一手持電話，並且其中該傳輸器被配置為：根據一無線通訊標準來對包括該編碼視訊資料的一信號進行調制。
  31. 一種儲存有指令的電腦可讀取儲存媒體，其中當由一或多個處理器執行時該等指令使該一或多個處理器： 基於一視訊資料區塊的一大小，決定針對該區塊的允許的非零係數的一數量； 獲得針對該視訊資料區塊的一解量化係數集合，其中該解量化係數集合包括一第一解量化係數子集和一第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的一數量等於針對該視訊資料區塊的該允許的非零係數的數量； 將一逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定一第一係數中間子集；及 將一逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的一區塊。
  32. 一種用於對視訊資料進行解碼的設備，該設備包括： 用於基於一視訊資料區塊的一大小，決定針對該區塊的允許的非零係數的一數量的構件； 用於獲得針對該視訊資料區塊的一解量化係數集合的構件，其中該解量化係數集合包括一第一解量化係數子集和一第二解量化係數子集，該第一解量化係數子集包括非零解量化係數，該第二解量化係數子集包括全零係數，其中該第一解量化係數子集中的係數的一數量等於針對該視訊資料區塊的該允許的非零係數的數量； 用於將一逆低頻不可分離變換（LFNST）應用於該第一解量化係數子集以決定一第一係數中間子集的構件；及 用於將一逆可分離變換應用於該第一係數中間子集以及該第二係數子集的至少一部分，以決定重構的殘差值的一區塊的構件。
TW110136197A 2020-10-02 2021-09-29 具有最壞情況複雜度處理的擴展低頻不可分離變換（ｌｆｎｓｔ）設計 TW202215847A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063086888P 2020-10-02 2020-10-02
US63/086,888 2020-10-02
US17/326,588 2021-05-21
US17/326,588 US11871010B2 (en) 2020-10-02 2021-05-21 Extended low-frequency non-separable transform (LFNST) designs with worst-case complexity handling

Publications (1)

Publication Number Publication Date
TW202215847A true TW202215847A (zh) 2022-04-16

Family

ID=80931849

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110136197A TW202215847A (zh) 2020-10-02 2021-09-29 具有最壞情況複雜度處理的擴展低頻不可分離變換（ｌｆｎｓｔ）設計

Country Status (7)

Country Link
US (2) US11871010B2 (zh)
EP (1) EP4222956A1 (zh)
KR (1) KR20230080407A (zh)
CN (1) CN116250233A (zh)
BR (1) BR112023005182A2 (zh)
TW (1) TW202215847A (zh)
WO (1) WO2022072289A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10491922B2 (en) 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10349085B2 (en) 2016-02-15 2019-07-09 Qualcomm Incorporated Efficient parameter storage for compact multi-pass transforms
US10448053B2 (en) 2016-02-15 2019-10-15 Qualcomm Incorporated Multi-pass non-separable transforms for video coding
US10972733B2 (en) 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10863199B2 (en) 2018-03-26 2020-12-08 Qualcomm Incorporated Minimization of transform memory and latency via parallel factorizations
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
WO2020009556A1 (ko) 2018-07-06 2020-01-09 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR20210114386A (ko) 2019-02-08 2021-09-23 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
US11032572B2 (en) 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
US11184617B2 (en) * 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding

Also Published As

Publication number Publication date
BR112023005182A2 (pt) 2023-04-25
EP4222956A1 (en) 2023-08-09
US20240114152A1 (en) 2024-04-04
KR20230080407A (ko) 2023-06-07
WO2022072289A1 (en) 2022-04-07
US11871010B2 (en) 2024-01-09
US20220109858A1 (en) 2022-04-07
CN116250233A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
WO2020236509A1 (en) Low-frequency non-separable transform signaling based on zero-out patterns for video coding
TW202213996A (zh) 用於視頻譯碼的濾波程序
TW202218422A (zh) 用於在視訊譯碼期間進行濾波的多個神經網路模型
US11368715B2 (en) Block-based delta pulse code modulation for video coding
KR20230038709A (ko) 다중 적응형 루프 필터 세트들
WO2020181105A2 (en) Simplification of sub-block transforms in video coding
WO2022072684A1 (en) Activation function design in neural network-based filtering process for video coding
US20210092404A1 (en) Reference picture constraint for decoder side motion refinement and bi-directional optical flow
CN114830657A (zh) 视频译码中具有减少的归零的低频不可分离变换(lfnst)
WO2021133973A1 (en) Equation-based rice parameter derivation for regular transform coefficients in video coding
EP4066490A1 (en) Flexible signaling of qp offset for adaptive color transform in video coding
US11729381B2 (en) Deblocking filter parameter signaling
US11706425B2 (en) Multiple transform set signaling for video coding
US20210092376A1 (en) Mode dependent block partition for lossless and mixed lossless and lossy video coding
WO2021072215A1 (en) Signaling coding scheme for residual values in transform skip for video coding
TW202215847A (zh) 具有最壞情況複雜度處理的擴展低頻不可分離變換（ｌｆｎｓｔ）設計
US20210176468A1 (en) Residual coding selection and low-level signaling based on quantization parameter
TW202232954A (zh) 用於視訊譯碼的訊框內預測的最可能模式