TWI762889B - 用於視頻編解碼的量化矩陣計算和表示的方法和裝置 - Google Patents

用於視頻編解碼的量化矩陣計算和表示的方法和裝置 Download PDF

Info

Publication number
TWI762889B
TWI762889B TW109109456A TW109109456A TWI762889B TW I762889 B TWI762889 B TW I762889B TW 109109456 A TW109109456 A TW 109109456A TW 109109456 A TW109109456 A TW 109109456A TW I762889 B TWI762889 B TW I762889B
Authority
TW
Taiwan
Prior art keywords
current block
scaling matrix
block
matrix
transform
Prior art date
Application number
TW109109456A
Other languages
English (en)
Other versions
TW202041006A (zh
Inventor
賴貞延
歐萊娜 邱巴赫
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202041006A publication Critical patent/TW202041006A/zh
Application granted granted Critical
Publication of TWI762889B publication Critical patent/TWI762889B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了用於視頻編解碼的方法和裝置。根據本發明，確定標誌，其中，所述標誌指示縮放矩陣是否能夠用於不可分離的二次變換（NSST）編碼塊。在當前塊是一個NSST編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述NSST塊時，確定所述縮放矩陣並將其應用於所述當前塊。當所述當前塊是一個NSST編碼塊並且所述標誌指示所述縮放矩陣不能夠用於所述NSST編碼塊時，對於所述當前塊跳過所述縮放矩陣。根據另一種方法，對於矩形塊，在不進行上採樣和下採樣或下採樣和上採樣的情況下，直接從方形基本縮放矩陣一步生成目標縮放矩陣。

Description

用於視頻編解碼的量化矩陣計算和表示的方法和裝置
本發明涉及用於視頻編解碼的變換係數編碼。尤其是，本發明公開了量化矩陣推導和表示。
自我調整幀內/幀間視頻編碼已經廣泛用於各種視頻編碼標準(諸如，MPEG-2、AVC(高級視頻編碼)和HEVC(高效視頻編碼))中。在自我調整幀內/幀間視頻編碼中，通過幀內/幀間預測器預測輸入信號以生成預測殘差。殘差通常通過二維變換進行處理並被量化。然後對經量化的變換係數進行編碼。高效視頻編碼(HEVC)標準是在ITU-T視頻編碼專家組(VCEG)和ISO/IEC運動圖像專家組(MPEG)標準化組織(並且特別是與被稱為視頻編碼聯合協作小組(JCT-VC)的合作夥伴)的聯合視頻專案下開發的。在HEVC中，一個切片(slice)被劃分成多個編碼樹單元(CTU)。在主設定檔(profile)中，CTU的最小和最大大小由序列參數集(SPS)中的語法元素指定。所允許的CTU大小可以是8×8、16×16、32×32或64×64。對於各個切片，根據光柵掃描連續處理切片內的CTU。
CTU進一步被劃分成多個編碼單元(CU)，以適應各種本地特徵。通過四叉樹或四叉樹(QT)劃分，CTU可以被進一步劃分成多個編碼單元(CU)。QT劃分將大小為4N×4N的塊分割成4個大小相等的2N×2N子塊。CTU 可以是單個CU(即，不分割)，或者可以被分割成相等大小的四個較小單元，所述四個較小單元與編碼樹的節點相對應。如果單元是編碼樹的葉節點，則單元變成CU。否則，可以重複四叉樹分割處理，直到節點的大小達到SPS(序列參數集)中指定的允許的最小CU大小為止。
根據HEVC，可以將各個CU劃分成一個或更多個預測單元(PU)。與CU結合，PU用作共用預測資訊的基本代表塊。在各個PU內部，應用相同的預測處理，並且基於PU將相關資訊發送到解碼器。可以根據PU分割類型將CU分割成一個、兩個或四個PU。HEVC定義了用於將CU分割成PU的八種形狀，包括2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N和nR×2N劃分類型。與CU不同，PU僅能根據HEVC分割一次。
在通過基於PU分割類型的預測處理來獲得殘差塊後，可以根據類似於針對CU的編碼樹的另一四叉樹結構將CU的預測殘差劃分成變換單元(TU)。TU是具有殘差或變換係數以應用整數變換和量化的基本代表塊。對於各個TU，應用具有與TU相同大小的一個整數變換以獲得殘差係數。這些係數在基於TU的量化之後被發送到解碼器。
第1圖例示了示例性自我調整幀間/幀內視頻編碼系統，該系統併入了變換和量化以處理預測殘差。對於幀間預測，運動估計(ME)/運動補償(MC)112用於基於來自另一圖片或多個圖片的視頻資料來提供預測資料。開關114選擇幀內預測110或幀間預測資料，並且所選擇的預測資料被供應至加法器116以形成預測誤差(也稱為殘差)。預測誤差然後由變換(T)118處理，隨後由量化(Q)120處理。然後，經變換且經量化的殘差由熵編碼器122編碼，以被包括在與壓縮視頻資料相對應的視頻位元流中。然後，將與變換係數相關聯的位元流與諸如運動、編碼模式以及與圖像區域相關聯的其它資訊的邊資訊(side information)打包在一起。邊資訊也可以通過熵編碼來壓縮以減少所需的 頻寬。因此，如第1圖所示，與邊資訊相關聯的資料被提供給熵編碼器122。當使用幀間預測模式時，也必須在編碼器端重構一個參考圖片或多個參考圖片。因此，通過逆量化(IQ)124和逆變換(IT)126處理經變換且經量化的殘差以恢復殘差。然後在重構(REC)128處將殘差加回到預測資料136以重構視頻資料。經重構的視頻資料可以被存儲在參考圖片緩衝器134中並用於其它幀的預測。
如第1圖所示，輸入視頻資料在編碼系統中經歷了一系列處理。由於一系列處理，所以來自REC 128的經重構的視頻資料可能遭受各種損害。因此，在將經重構的視頻資料存儲在參考圖片緩衝器134中之前，經常將環路濾波器130應用於經重構的視頻資料，以提高視頻品質。例如，在高效視頻編碼(HEVC)標準中已經使用了去塊濾波器(DF)和樣本自我調整偏移(SAO)。環路濾波器還可以包括ALF(自我調整環路濾波器)。可能必須將環路濾波器資訊併入位元流中，以使解碼器可以正確恢復所需資訊。因此，環路濾波器資訊被提供給熵編碼器122以併入位元流中。在第1圖中，在將經重構的樣本存儲在參考圖片緩衝器134中之前，將環路濾波器130應用於經重構的視頻。第1圖中的系統旨在例示典型視頻編碼器的示例性結構。它可以與高效視頻編碼(HEVC)系統或H.264相對應。
第2圖例示了用於第1圖中的編碼器系統的對應視頻解碼器的系統框圖。由於編碼器還包含用於重構視頻資料的本地解碼器，因此除了熵解碼器210之外，在編碼器中已經使用了一些解碼器部件。此外，解碼器側僅需要運動補償220。開關146選擇幀內預測或幀間預測，並且所選擇的預測資料被供應給重構(REC)128以與所恢復的殘差組合。除了對壓縮殘差執行熵解碼之外，熵解碼210還負責邊資訊的熵解碼，並將該邊資訊提供給相應塊。例如，將幀內模式資訊提供給幀內預測110，將幀間模式資訊提供給運動補償220，將環路 濾波器資訊提供給環路濾波器130，並將殘差提供給逆量化124。殘差由IQ 124、IT 126和隨後的重構處理來處理，以重構視頻資料。再一次地，來自REC 128的經重構的視頻資料經歷如第2圖所示的包括IQ 124和IT 126的一系列處理，並且經受編碼偽影(coding artefact)。環路濾波器130進一步處理經重構的視頻資料。
量化矩陣(QM)已經用於各種視頻編碼標準中。例如，量化矩陣用於第1圖中的量化120和第2圖中的逆量化124。基於塊的混合視頻編碼方案(其暗示對殘差信號進行變換編碼)可以使用頻率相關縮放(frequency dependent scaling)來控制量化失真跨變換單元(TU)中的不同頻率的分佈。為了實現跨空間頻率在感知上均勻的量化，量化矩陣可以被設計為根據跨與變換係數相關聯的各個頻率通道的相關頻率範圍的感知靈敏度，對該各個頻率通道進行加權。因此，與高頻係數相比，將以更精細的量化步長對變換塊中的低頻係數進行量化。可以採用對應的量化矩陣來在解碼器處對經去量化的變換係數進行逆加權。
量化矩陣已經成功地用於視頻編碼標準(諸如，H.264/AVC和H.265/HEVC(高效視頻編碼))中，這允許提高視頻內容的主觀品質。由於量化矩陣的有效性，所以量化矩陣已經被廣泛用於眾多視頻編碼產品中。
HEVC規範包括大小為4×4、8×8、16×16和32×32的四個整數逆變換矩陣。這些變換矩陣是大小相同的DCT-2矩陣的整數近似，旨在保留DCT(離散余弦變換)係數結構。指定了附加的4×4 DST(離散正弦變換)矩陣，該附加的4×4 DST矩陣被應用於幀內預測4×4塊的殘差。為了區別於DST，將四個DCT稱為HEVC核心變換。
公開了用於視頻編解碼的方法和裝置。根據本發明，接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應。然後，確定標誌，其中，所述標誌指示縮放矩陣是否能夠用於不可分離的二次變換編碼塊。當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時，確定所述縮放矩陣並且將所述縮放矩陣應用於所述當前塊。當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣不能夠用於所述不可分離的二次變換編碼塊時，對於所述當前塊，跳過所述縮放矩陣。
在所述視頻編碼器側用信號通知所述標誌或在所述視頻解碼器側解析所述標誌。當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時，如果通過不可分離的二次變換僅修改了所述當前塊的K個係數並且K為正整數，則在所述視頻編碼器側僅用信號通知所述縮放矩陣中的K個條目或在所述視頻解碼器側僅解析所述縮放矩陣中的K個條目。
在另一實施方式中，當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時，只能使用所有平縮放矩陣(flat scaling matrice)。
根據另一方法，對於塊寬度不等於塊高度的矩形塊，在不進行上採樣和下採樣或下採樣和上採樣的情況下，直接從方形基本縮放矩陣一步推導目標縮放矩陣。然後，根據所述目標縮放矩陣對所述當前塊進行縮放。
在一個實施方式中，當當前塊的具有S行(或列)的較小側小於W並且所述當前塊的具有L列(或L行)的較大側大於所述W時，使用樣本複 製擴展所述方形基本縮放矩陣的S/W個行(或列)中的每一者，以生成一個具有L個樣本的擴展行(或擴展列)，並且其中，所述W與所述方形基本縮放矩陣的寬度相對應。
在另一實施方式中，當將歸零處理應用於所述當前塊的高頻分量時，在不進行所述上採樣和下採樣或所述下採樣和上採樣的情況下，直接從所述方形基本縮放矩陣一步生成具有歸零的所述目標縮放矩陣。例如，當所述當前塊的具有S行/列的較小側小於所述方形基本縮放矩陣的寬度、所述當前塊的具有L列/行的較大側大於所述方形基本縮放矩陣的所述寬度、並且在沿著所述較大側的P<L的位置P處將所述歸零處理應用於所述當前塊的所述高頻分量時，使用樣本複製擴展所述方形基本縮放矩陣的S行/列中的每一者的一部分，以生成一個具有P個樣本並用零增補其餘樣本的擴展行。
110:幀內預測
112:運動估計(ME)/運動補償(MC)
114:開關
116:加法器
118:變換(T)
120:量化(Q)
122:熵編碼器
124:逆量化(IQ)
126:逆變換(IT)
128:重構(REC)
136:預測資料
134:參考圖片緩衝器
130:環路濾波器
210:熵解碼器
220:運動補償
310、320、330:矩陣
412:點填充塊
410、420、430:量化矩陣
422、432:區域
510:四叉分割
520:垂直二元分割
530:水平二元分割
540:垂直中心側三元分割
550:水平中心側三元分割
610-620、710-720、810-820、910-920、1010-1050、1110-1130:步驟
第1圖例示了視頻編碼器的示例性框圖，其中，視頻編碼器併入了幀內/幀間預測、變換和量化處理。
第2圖例示了視頻解碼器的示例性框圖，其中，視頻解碼器併入了幀內/幀間預測、逆變換和去量化處理。
第3圖例示了4×4和8×8基於共用的基本縮放矩陣的示例，所述基本縮放矩陣用於推導用於幀內編碼模式和幀間編碼模式中的亮度分量和色度分量的更大的縮放矩陣。
第4圖例示了通過使用複製進行上採樣來從相同類型的基於共用的8×8量化矩陣推導用於大小為16×16和32×32的變換塊的量化矩陣的示例。
第5圖例示了VVC中受支持的分割的示例，所述分割包括四叉分割、垂直二元 分割、水平二元分割、垂直中心側三元分割和水平中心側三元分割。
第6圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的一個示例。
第7圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的另一示例。
第8圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的又一示例。
第9圖例示了從基於共用的8×8量化矩陣推導矩形縮放矩陣的又一示例。
第10圖例示了根據本發明的實施方式的示例性編碼系統將縮放矩陣用於不可分離的二次變換編碼塊的流程圖。
第11圖例示了根據本發明的實施方式的示例性編碼系統使用縮放矩陣推導方法的流程圖。
以下描述是執行本發明的最佳構想模式。進行該描述是出於例示本發明的一般原理的目的，並且不應被認為是限制性意義。本發明的範圍最好通過參照所附權利要求書來確定。在本發明中，用於VVC中的視頻編碼的新的量化矩陣表示方法如下。
默認量化矩陣表示
量化矩陣正被評估以在新興的新視頻編碼標準(稱為VVC(通用視頻編碼))中採用，該新視頻編碼標準作為下一代視頻編碼標準和H.265/HEVC的後繼標準。在本公開中，量化矩陣也稱為縮放矩陣。
與縮放矩陣有關的資訊可以在序列參數集(SPS)中用信號通知，並在圖片參數集(PPS)中進一步更新。可以通過使用語法元素(諸如，SPS中的scaling_list_enabled_flag)來啟用頻率相關縮放。啟用該標誌後，SPS和PPS中的附加標誌控制使用預設量化矩陣還是使用非默認量化矩陣。
當啟用頻率相關縮放時，大小為4×4和8×8的量化矩陣具有如 第3圖所示的預設值。如第3圖所示，4×4矩陣310用於幀內模式和幀間模式中的亮度分量和色度分量，8×8矩陣320用於幀內模式中的亮度分量和色度分量，並且8×8矩陣330用於幀間模式中的亮度分量和色度分量。
例如，對於不同大小和不同類型的變換塊，支持以下20種量化矩陣：
‧亮度：幀內4×4、幀間4×4、幀內8×8、幀間8×8、幀內16×16、幀間16×16、幀內32×32、幀間32×32
‧Cb：幀內4×4、幀間4×4、幀內8×8、幀間8×8、幀內16×16、幀間16×16
‧Cr：幀內4×4、幀間4×4、幀內8×8、幀間8×8、幀內16×16、幀間16×16
為了減少存儲量化矩陣所需的記憶體，使用8×8矩陣來生成16×16量化矩陣和32×32量化矩陣。通過使用複製進行上採樣來從相同類型的默認8×8量化矩陣獲得用於大小為16×16和32×32的變換塊的默認量化矩陣。該過程在第4圖中示出：圖中的點填充塊412指示將8×8量化矩陣410中的量化矩陣條目複製到16×16量化矩陣420中的2×2區域422中以及複製到32×32量化矩陣430中的4×4區域432中。
也可以在序列參數集(SPS)或圖片參數集(PPS)的位元流中選擇性地發送非默認量化矩陣。
自我調整多核心變換
與HEVC相比，正在開發的新標準VVC(通用視頻編碼器)支援更多劃分形狀。提出了所謂的多類型樹(MTT)劃分，其中，除了HEVC中支援的四叉樹(QT)結構之外，還添加了二元分割和三元分割。第5圖示出了VVC中所有受支持的分割，所述分割包括四叉分割510、垂直二元分割520、水平二元分割530、垂直中心側三元分割540和水平中心側三元分割550。
在MTT中，樹結構分別針對I切片中的亮度和色度進行編碼， 並同時應用於P切片和B切片中的亮度和色度二者(對色度的某些最小大小約束除外)。這意味著在I切片中，亮度CTB具有其MTT結構化的塊劃分，並且兩個色度CTB可以具有另一MTT結構化的塊劃分。此外，為了提高較高解析度視頻的編碼增益，可以將三元(TT)分割和二元(BT)分割遞迴地應用於128×128亮度/64×64色度編碼樹塊(CTB)。此外，TU的最大支持大小增加到64×64亮度/32×32色度。
在VTM(VVC測試模型)中，自我調整多重變換(AMT)方案用於幀間編碼塊和幀內編碼塊兩者的殘差編碼。除HEVC中的當前變換之外，還將從DCT/DST系列中選擇的多個變換應用於殘差塊。最近，已經引入了DST-7、DCT-8和DST-1的變換矩陣。表1示出了所選DST/DCT的基函數。
Figure 109109456-A0305-02-0011-1
AMT應用於寬度和高度均小於或等於64的CU，並且是否應用AMT由CU級標誌控制。當CU級標誌等於0時，在CU中應用DCT-2以對殘差進行編碼。對於啟用AMT的CU內的亮度編碼塊，用信號通知兩個附加標誌以標識要使用的水平變換和垂直變換。與HEVC中一樣，在VTM中，可以利用變換跳過模式來對塊的殘差進行編碼。為避免語法編碼的冗餘，當CU級AMT標誌不等於零時，不用信號通知變換跳過標誌。
對於幀內殘差編碼，由於不同幀內預測模式的不同殘差統計，因此使用模式相關的變換候選選擇處理。表2示出了三個已定義的變換子集的一 個實施方式。可以基於幀內預測模式來選擇變換子集。表3示出了基於幀內模式的選擇處理的一個實施方式。
Figure 109109456-A0305-02-0012-2
Figure 109109456-A0305-02-0012-3
利用子集概念，首先使用CU級AMT標誌等於1的CU的幀內預測模式基於表2來標識變換子集。此後，對於水平變換和垂直變換中的每一者，可以選擇已標識的變換子集中的兩個變換候選中的一個變換候選並利用標誌顯式地用信號通知。
在幀間預測殘差的情況下，只有一個變換集(該變換集由DST-7和DCT-8組成)可以用於所有幀間模式以及水平變換和垂直變換兩者。
此外，已知DCT-8與DST-7具有以下關係：
Figure 109109456-A0305-02-0012-4
式(1)中的
Figure 109109456-A0305-02-0012-5
和
Figure 109109456-A0305-02-0012-6
是用於DCT-8和DST-7的逆變換矩陣，並且i和j分別是行索引和列索引。在式(1)中，JN是沿其反對角線由1表示的矩陣，並且矩陣DN在其對角線上在1與-1之間交替。因此，通過直接在DST7計算之前和之後進行符號改變和重新排序，可以從DST7推導DCT8。因此，在 該實現中，DST7重複用於DCT8。符號改變和混排(shuffling)不會給DST7增加任何附加開銷，使得DCT8的計算複雜度與DST7的計算複雜度相同。這避免了在DCT8和DST-1中使用任何附加記憶體。
由於VVC支援更多的塊大小和AMT，因此VTM需要更高效的量化矩陣表示方法。
根據本發明，首先定義大小為M×N的默認量化矩陣並與指定的係數一起存儲在M×N變換單元的各個位置處，其中，M和N可以是介於2到64之間的任何偶數。在一個實施方式中，可以存在三個量化/縮放矩陣：一個量化/縮放矩陣大小為M=N=4(用於大小為4×4的殘差塊、幀內預測和幀間預測兩者)，並且兩個量化/縮放矩陣大小為M=N=8(一個量化/縮放矩陣用於幀內預測，並且另一量化/縮放矩陣用於幀間預測)。作為示例，第3圖中的對應矩陣(310、320和330)可以用作默認量化矩陣。在另一實施方式中，僅可以定義用於幀內預測的默認矩陣(例如，對於大小為4×4和8×8)，同時可以從用於幀內預測的對應矩陣獲得用於幀間預測的量化矩陣。
在另一實施方式中，定義並存儲預設M×N量化矩陣，所述默認M×N量化矩陣用於推導用於2p×2k變換單元的預設2p×2k量化矩陣，其中，p和k可以取介於1到6之間的任何值。例如，k=p=4、k=p=5或k=p=6，這將給出大小16×16、32×32和64×64。
在定義並存儲預設量化矩陣之後，一種方法(例如，係數映射和插值(稱為係數映射和插值步驟)包括使用重複和基於線性插值的上採樣的簡單零階插值方法)從默認M×N量化矩陣生成用於2p×2k(例如，4×4、4×8、8×4、8×8、4×16、16×4、4×32、32×4、8×16、16×8、16×16、8×32、32×8、16×32、32×16、32×32、16×64、64×16、32×64、64×32、64×64)變換塊的默認量化矩陣。
以下流程圖示出了用於定義塊大小與2p×2k相對應的矩陣的三個可能實施方式。在一個實施方式中，例如在第6圖中，對於步驟1(610)，首先，通過應用係數映射和插值步驟，從預設矩陣(例如，8×8)生成多個方陣(例如，16×16、32×32、64×64)。在步驟2(620)中，通過分別對行和列中的每第M1/2p和第N1/2k個元素進行子採樣來從最接近的方形量化矩陣生成矩形矩陣。在步驟615確定寬度為M1且高度為N1的最小大小的方陣，該寬度和高度均大於或等於目標矩形矩陣的對應寬度和高度。例如，M1和N1可以等於M。因此，最接近的方形量化矩陣是M×M。在其它示例中，M1可以不等於N1，如果在M1和N1當中最小大小是M，則最接近的方陣是M×M。在第7圖中，對於步驟1(710)，通過應用係數映射和插值步驟來從預設矩陣(例如，8×8)生成方陣(例如，16×16、32×32、64×64)。在步驟2(720)中，通過應用係數映射和插值步驟以分別對行或列中的元素上採樣2p/M和2k/N次來從最接近的方形量化矩陣生成矩形矩陣。在步驟715確定寬度為M1或高度為N1的最小大小的方陣，該寬度或高度大於或等於目標矩形矩陣的對應寬度或高度。在第8圖中，對於步驟1(810)，通過應用係數映射和插值步驟，以2p/M或2k/N的因數對默認矩陣(例如，8×8)的行或列進行上採樣。在步驟2(820)中，通過應用係數映射和插值步驟，以2k/N或2p/M的因數對來自步驟1 810的矩陣的列或行進行上採樣。
在又一實施方式中，對於低頻係數，可以以小間隔對M×N矩陣進行上採樣，並且對於高頻係數，以大間隔對M×N矩陣進行上採樣。
第9圖示出了一個示例。在第9圖中，對於步驟1(910)，通過應用係數映射和插值步驟，以t<2p/M的因數(對於給定的M1<M)或以r<2k/N的因數(對於給定的M2<M)對基本縮放矩陣(例如，8×8)的行或列進行上採樣。在步驟2(920)中，通過應用係數映射和插值步驟，以r1>2k/N的因數(對於給定的M2>M)或以t1>2p/M的因數(對於給定的M1>M)對來自步驟1 910 的矩陣的列或行進行上採樣。在步驟915中確定t和t1以及r和r1的值，其中，這些值必須使得上採樣仍將導致大小為2p/M×2k/N的矩陣。
作為一個示例，用於幀內亮度、幀內Cb、幀內Cr的8×8量化矩陣(基本縮放矩陣)可以用於獲得用於16×16變換單元的16×16量化矩陣幀間亮度、幀間Cb、幀間Cr。為了獲得第一量化矩陣，在水平方向和垂直方向上應用因數為2的上採樣。這將導致以下16×16量化矩陣：
Figure 109109456-A0305-02-0015-7
作為另一示例，用於幀內亮度、幀內Cb、幀內Cr的8×8量化矩陣(基本縮放矩陣)可以用於獲得用於8×16變換塊的8×16量化矩陣。為了獲得第二量化矩陣，上採樣將僅應用於列。這將導致以下8×16量化矩陣：
Figure 109109456-A0305-02-0015-8
在一個實施方式中，根據本發明的方法可以使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等來從預設M×N量化矩陣生成用於通過應用AMT而獲得的不同變換塊的量化矩陣。
在另一實施方式中，根據本發明的方法可以使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等來從預設M×N量化矩陣生成用於幀內變換塊的量化矩陣。
在又一實施方式中，根據本發明的方法可以使用如下方法：用信號通知用於通過應用AMT而獲得的不同變換塊的默認量化矩陣。
定制量化矩陣表示
在一個實施方式中，定義在各個位置中具有指定係數的用戶定義的M×N量化矩陣並利用無損熵編碼將其發送至M×N變換單元。M和N可以是介於2到64之間的任何偶數。
在另一實施方式中，定義並發送大小為M×N(其中，M和N是介於2到64之間的任何偶數)的用戶定義的大小較小的量化矩陣，所述量化矩陣用於推導用於2p×2k變換單元的2p×2k量化矩陣，其中，p和k可以取介於1到6之間的任何值。
在另一實施方式中，公開了如下方法：使用係數映射和插值(該係數映射和插值包括通過像素重複和基於線性插值的上採樣的簡單零階插值)在不發送任何比特的情況下從M×N量化矩陣生成用於2p×2k(p！=k)(例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32)變換塊的縮放矩陣。
在該實施方式中，例如，在解碼器側，用信號通知並接收多個大小的基本縮放矩陣。選擇基本縮放矩陣中的一個基本縮放矩陣(至少不大於變換塊)。為了生成用於M×N變換塊的目標縮放矩陣，首先，可以將上述上採樣方法應用於基本縮放矩陣以生成M×M矩陣。然後，通過將M×M縮放矩陣子採樣到作為目標縮放矩陣的M×N或N×M縮放矩陣來從M×M縮放矩陣推導目標縮放矩陣。例如，如果接收到的變換塊大小為32×8，則選擇8×8基本縮放矩陣。然後，通過使用像素重複或線性插值，從8×8基本縮放矩陣生成32×32縮放矩陣。然後，將子採樣應用於32×32縮放矩陣，以生成32×8縮放矩陣。子採樣的方法可以變化，例如，一種子採樣方法可以包括分別取M×M縮放矩陣中的列和 行中的每第M/2p和第M/2k個係數，其中，M等於2p，並且N等於2k。該實施方式與在第6圖中將M1和N1設置為M相對應。
在又一實施方式中，公開了如下方法：使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等在不發送任何附加比特的情況下從預設M×N量化矩陣生成用於通過應用AMT而獲得的不同變換塊的用戶定義的量化矩陣。
在又一實施方式中，公開了如下方法：使用對應係數的線性組合、矩陣乘法、線性/非線性回歸等在不發送任何附加比特的情況下從用於幀內變換塊的默認M×N量化矩陣生成用於所獲得的幀間變換塊的用戶定義的量化矩陣。
用於生成較小大小的M×N量化矩陣的方法
公開了用於從較大的2p×2k矩陣生成用於M×N變換單元的較小大小的M×N量化矩陣的方法，其中，M和N可以是介於2到64之間的任何偶數，其中，p和k可以取介於1到6之間的任何值。
在一個實施方式中，該方法總是保持DC係數並且以固定間隔對M×N矩陣進行子採樣。
在另一實施方式中，該方法總是保持DC係數，並且在低頻係數中以小間隔對M×N矩陣進行子採樣，並且在高頻係數中以大間隔對M×N矩陣進行子採樣。
在又一實施方式中，該方法總是保持DC係數以及M×N矩陣的低頻部分，該低頻部分具有與目標較小大小矩陣相同的大小。
用於推導較大大小的2 p ×2 k 量化矩陣的方法
公開了用於推導較大大小的2p×2k量化矩陣的方法，其中，p和k可以取介於1到6之間的任何值。2p×2k量化矩陣與通過上文針對較小大小的M×N量化矩陣描述的不同子採樣方法生成的較小大小的M×N量化矩陣相對應， 其中，M和N可以是介於2到64之間的任何偶數。
在一個實施方式中，上採樣方法使用固定間隔插值和/或重複。在p！=k(即，非方形變換)的情況下，水平方向和垂直方向上的插值係數的數量分別等於2p/M和2k/N，其中，(2p和M)以及(2k和N)分別與目標矩陣和用信號通知的矩陣中的行數和列數相對應。
在另一實施方式中，對於低頻係數，上採樣方法使用較小的間隔插值和/或重複，並且對於高頻係數，上採樣方法使用較大的間隔插值和/或重複。
在又一實施方式中，較小大小的M×N矩陣(M和N是介於2到64之間的任何偶數)被用作較大大小的2p×2k(p和k是介於1到6之間的任何值)量化矩陣的低頻部分，並且基於固定模式生成高頻係數。在一個實施方式中，可以從低頻部分的末端開始，並隨著頻率的增加以固定的數增加系數值。
用於推導與M×N變換單元相對應的M×N量化矩陣的方法
對於從用於幀內預測的對應矩陣定義用於幀間預測的矩陣的情況，公開了用於推導與M×N變換單元相對應的M×N量化矩陣的方法(M和N是介於2到64之間的任何數)。
在一個實施方式中，可以根據變換單元的大小來獲得用於幀間預測變換塊的不同量化矩陣。換句話說，通過將諸如對應係數的線性組合、矩陣乘法、線性/非線性回歸等方法應用於用於幀內塊的矩陣的對應元素，來從用於幀內預測的對應量化矩陣定義用於幀間預測的所有矩陣。
在另一實施方式中，通過將諸如對應係數的線性組合、矩陣乘法、線性/非線性回歸等方法應用於用於幀內塊的矩陣的對應元素，來從用於幀內預測的對應量化矩陣獲得用於幀間預測變換塊的僅特定量化矩陣。通過應用上文公開的默認量化矩陣表示，可以從用於幀間變換塊的對應方形量化矩陣獲得用 於幀間變換塊的所有矩形矩陣。
用於推導與用於AMT的M×N變換單元相對應的M×N量化矩陣的方法
對於將AMT應用於殘差信號(例如，根據不同預測模式)的情況，提出了用於推導與M×N變換單元(M和N是介於2到64之間的任何偶數)相對應的M×N量化矩陣的方法。在這種情況下，可以根據變換類型來應用不同量化/縮放矩陣，使得與變換之後的能量壓縮相(energy compaction)匹配。
在一個實施方式中，可以獨立于應用於殘差塊的AMT中的變換類型，根據預測模式(即，幀間預測或幀內預測)來定義不同縮放矩陣。
在另一實施方式中，對於小於K的塊大小，可以獲得分離的矩陣，其中K可以取從4到32的任何值。對於所有剩餘變換塊大小，獨立于應用於殘差塊的變換，使用相同的量化矩陣。
在又一實施方式中，對於亮度分量和色度分量，獨立于應用於殘差塊的AMT中的變換類型，獲得不同縮放矩陣。
在另一實施方式中，AMT中允許的變換是DST-1、DST-7和DCT-8，並且可以針對各個變換(包括DCT-2)定義不同縮放/量化矩陣。縮放/量化矩陣可以在水平和垂直變換步驟之後應用。
在另一實施方式中，所允許的變換包括DST-1、DST-7和DCT-8，並且可以基於這些變換之間的關係對於DCT-2、DST-1、DST-7和DCT-8變換的所有組合計算不同縮放矩陣。
在又一實施方式中，對於變換(例如，DCT-2、DST-1、DST-7和DCT-8)的基本集僅定義了幾個縮放矩陣，並且可以通過線性組合、矩陣乘法、置換、符號改變、翻轉或基本縮放矩陣的這些變換的任何組合來定義用於基本變換的組合結果的縮放矩陣。
在另一實施方式中，可以針對基本變換的子集(例如，DCT-2或者DCT-2和DST-7)定義並用信號通知縮放矩陣，並且可以通過線性組合、矩陣乘法、置換、符號改變、翻轉或基本縮放矩陣的這些變換的任何組合來定義用於剩餘變換(例如，用於DST-7、DST-1和DCT-8，或者用於DST-1和DCT-8)的縮放矩陣。在一個示例中，推導處理取決於所定義的變換類型與目標變換類型之間的關係。在另一示例中，推導處理取決於所定義的變換係數與目標變換係數之間的關係。
可以使用上述縮放矩陣推導方法的任何組合。
預設量化矩陣選擇的選項
公開了如下方案：為使用者提供選項以在預設量化矩陣或用戶定義的量化矩陣之間進行決策，或在不應用任何量化的情況下使用殘差編碼(例如，PCM變換/量化旁路模式)。
縮放矩陣生成時應用的歸零處理
在一個實施方式中，如果應用歸零，則使用M×N縮放矩陣集來量化大小大於M×N的TU。換句話說，將行編號大於P的所有縮放矩陣條目設置為零，並將列編號大於Q的所有縮放矩陣條目設置為零。P和Q均可以小於CU寬度和CU高度、僅P小於CU寬度、或者僅Q小於CU高度。例如，如果將歸零應用於行大於32並且列大於32的CU，則使用32×32縮放矩陣集來量化64×64 TU。在另一示例中，如果將歸零應用於列大於32的CU，則使用32×4縮放矩陣集來量化64×4 TU。在另一實施方式中，使用M×N縮放矩陣集來量化M×N TU。縮放矩陣中第P行和第Q列之外的值分配為零。P和Q均可以小於M和N、僅P小於M、或者僅Q小於N。例如，利用64×64縮放矩陣對64×64 TU進行量化。然而，32×32之外的範圍中的值將設置為零。換句話說，在量化處理時，32×32之外的範圍將被歸零。在另一示例中，利用64×4縮放矩陣對64×4 TU 進行量化。然而，在縮放矩陣中，左上32×4之外的範圍中的值被歸零。換句話說，在量化處理時，32×4之外的範圍將被歸零。
在另一實施方式中，公開了如下方法：使用係數上採樣、係數映射和插值(例如，通過像素重複和基於線性插值的上採樣的簡單零階插值)來在不發送任何比特的情況下從較小的M×N(例如，4×4、8×8)量化矩陣生成用於p！=k的2p×2k(例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32)和p=k的2p×2k(例如，16×16、32×32、64×64)變換塊的量化矩陣。當應用歸零時，需要對較少數量的較小M×N量化矩陣進行解碼。例如，64×64 TU需要64×64縮放矩陣進行量化。可以通過上採樣從8×8量化矩陣生成64×64縮放矩陣。當將歸零應用於64×64 TU時，只需用信號通知4×4量化矩陣即可生成64×64縮放矩陣，因為64×64縮放矩陣中的32×32之外的範圍將始終為零。
在另一實施方式中，公開了如下方法：使用係數上採樣、係數映射和插值(例如，通過像素重複和基於線性插值的上採樣的簡單零階插值)來在不發送任何比特的情況下從較小的M×N(例如，4×4、8×8)量化矩陣生成用於p！=k的2p×2k(例如，4×8、8×4、4×16、16×4、4×32、32×4、8×16、16×8、8×32、32×8、16×32、32×16、16×64、64×16、32×64、64×32)和p=k的2p×2k(例如，16×16、32×32、64×64)變換塊的量化矩陣。在對較小的M×N量化矩陣進行解碼後，當對第P行和第Q列應用歸零時，將M×N量化矩陣上採樣至P×Q。例如，64×64 TU需要64×64縮放矩陣進行量化。根據該實施方式，通過對8×8量化矩陣進行上採樣來生成64×64縮放矩陣。當對64×64 TU中的第32行和第32列應用歸零時，8×8量化矩陣將上採樣至32×32，並且第32行或第32列之外的範圍將始終為零。
縮放矩陣的比特縮減
為了縮減縮放矩陣所需的比特，在一個實施方式中，可以針對各個大小的縮放矩陣用信號通知scaling_list_skip標誌，以指示是否必須用信號通知縮放矩陣。換句話說，如果將用於大小為M×M的縮放矩陣的scaling_list_skip標誌解碼為TRUE，則不必對大小為M×M的縮放矩陣進行解碼。在這種情況下，將通過經解碼的較小縮放矩陣來生成跳過的縮放矩陣。例如，如果跳過16×16的縮放矩陣的解碼，則將通過將8×8縮放矩陣上採樣至16×16的大小來從該8×8縮放矩陣生成16×16的縮放矩陣。可以通過元素複製(即，重複)、線性插值等來執行上採樣。在另一示例中，如果跳過了大小為16×16和32×32這兩者的TB的縮放矩陣的解碼，則可以從大小為8×8的縮放矩陣來生成16×16和32×32的縮放矩陣。可以通過應用複製元素、線性插值等來執行上採樣。在另一實施方式中，當用於大小為M×M的縮放矩陣的scaling_list_skip標誌被解碼為TRUE時，大小為M×M的縮放矩陣不必被解碼，並且可以通過應用下採樣從經解碼的較大縮放矩陣來生成跳過的縮放矩陣。又例如，如果跳過了16×16和32×32的縮放矩陣這兩者的解碼，則可以通過應用下採樣從大小為64×64的縮放矩陣來生成16×16和32×32的縮放矩陣。在另一實施方式中，可以用信號通知scaling_list_skip_idx以指示需要用信號通知的縮放矩陣的最大大小。例如，如果scaling_list_skip_idx等於0，則必須用信號通知2×2至64×64的基於8×8的縮放矩陣。如果scaling_list_skip_idx等於2，則僅需要用信號通知2×2至16×16的基於8×8的縮放矩陣。對於跳過的縮放矩陣，可以重複使用最大的經編碼的縮放矩陣。例如，如果scaling_list_skip_idx等於2，則僅必須用信號通知2×2至16×16的8×8基本縮放矩陣。16×16的8×8基本縮放矩陣將用於獲得32×32和64×64縮放矩陣。
不可分離的二次變換(NSST)的縮放矩陣
在JEM-4.0(即，JVET、ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻探索小組的參考軟體)中，不可分離的二次變換(NSST)用於TU大小的4×4或8×8左上區域。對於NSST，根據變換大小選擇二次變換的大小。另外，僅當非零係數的數量大於閾值時才應用二次變換。
根據NSST編碼處理，將初級變換應用於輸入塊以形成初級變換塊。當針對初級變換塊(4×8或更小)選擇具有4×4內核的NSST時，初級變換塊的左上4×4子塊被轉換成16×1一維(1D)係數向量。然後選擇二次變換並將其應用於1D係數向量。然後根據掃描順序將二次變換係數向量轉換回二維(2D)二次變換4×4塊。然後，該二次變換4×4塊用於替換初級變換塊的左上4×4子塊，以形成經NSST修改的變換塊，並且隨後的編碼處理(例如，量化和熵編碼)被應用於經NSST修改的變換塊。當針對初級變換塊(8×8或更大)選擇具有8×8內核的NSST時，初級變換塊的左上8×8子塊將轉換成64×1一維(1D)係數向量。然後選擇二次變換並將其應用於1D係數向量。然後根據掃描順序將二次變換係數向量轉換回二維(2D)二次變換8×8塊。然後，該二次變換8×8塊用於替換初級變換塊的左上8×8子塊，以形成經NSST修改的變換塊。
縮放矩陣可以與二次變換(例如，不可分離的二次變換(NSST))一起應用，以進一步提高編碼效率。當將二次變換應用於大小等於P×Q的一個左上區域時，二次變換將進一步修改P×Q個係數或少於P×Q個係數。在一個實施方式中，根據NSST的選擇，NSST係數可以具有不同縮放係數。例如，如果將通過二次變換修改K個係數，則僅必須附加地用信號通知一個縮放矩陣中的K個條目。K可以是8、16、32、……或64。在另一實施方式中，僅必須附加地用信號通知縮放矩陣中的K/2或K/4或K/N個樣本。N可以是小於K的任何正整數。
在另一實施方式中，必須用信號通知K個樣本與L個樣本之間的最小數量。L的值可以是任何預定義整數，或者可以在tile_header或 tile_group_header中用信號通知。L的值也可以取決於QP、時間ID、預測模式、比特深度等。例如，K可以是1、4、16等。然而，如果用於縮放矩陣的用信號通知的樣本的數量小於通過二次變換修改的係數的數量，則可以應用上採樣技術來生成縮放矩陣中的對應元素。例如，如果應用了16×16二次變換，則僅將進一步修改16×16區域中的8×8左上區域。對於不同NSST類型，僅附加地用信號通知8×8縮放矩陣中的左上2×2區域。在對2×2矩陣進行解碼之後，將通過複製元素或線性插值來將該2×2矩陣上採樣至8×8縮放矩陣。
又例如，如果應用了8×8二次變換，並且NSST僅將進一步修改8×8區域中的4×4左上區域，則用信號通知4×4縮放矩陣而不是8×8縮放矩陣，並將該4×4縮放矩陣用於量化。在另一實施方式中，如果啟用了二次變換，則將禁用利用縮放列表的量化。在另一實施方式中，如果啟用了二次變換，則僅默認縮放矩陣可以用於量化。在另一實施方式中，如果應用了二次變換，則可以應用平量化矩陣(flat quantization matrices)。在一個實施方式中，如果應用了二次變換，則不需要用信號通知量化矩陣。
從基本縮放矩陣推導矩形縮放矩陣的概念是首先應用上採樣以獲得更大的縮放矩陣，隨後進行下採樣處理。對於矩形塊，塊的寬度大於或小於塊的高度。塊的較小側的行數或列數稱為S，並且塊的較大側的列數或行數稱為L。較大縮放矩陣的寬度和高度分別大於或等於矩形縮放矩陣的寬度和高度。然而，較大的縮放矩陣可以直接從一個基本縮放矩陣生成，使得兩步操作可以組合成一個步驟。例如，如果基本縮放矩陣是8×8並且目標縮放矩陣是4×64，則在索引等於0、2、4和6的每一列中，各個元素複製8次，從而得到4個1×64列，所述4個1×64列合併以形成一個4×64縮放矩陣。在另一示例中，當將歸零演算法應用于高頻分量時，仍然可以一步生成用於具有歸零區域的TB的縮放矩陣。例如，當基本縮放矩陣是8×8，目標縮放矩陣是4×64，並且歸零區域是 索引大於31的高頻分量時，則對於索引等於0、2、4和6的每一列，索引小於4的每個元素都複製8次，從而得到四個1×32列。在一個實施方式中，將32個零值增補到每一列，從而得到4個1×64列。這些列被合併以形成一個4×64縮放矩陣。在另一實施方式中，使用4×32縮放矩陣而沒有為高頻分量增補零值。
在用於生成M×N(例如，4×32)矩形縮放矩陣的另一實施方式中，可以使用樣本複製來擴展方形基本縮放矩陣的W/S個列中的每一列，以生成一個具有N(例如，32)個樣本的擴展列，其中W是基本縮放矩陣(例如，8×8)的寬度。W/S(即2，因為W=8並且S=4)個列中的每一列可以用於通過樣本複製生成目標縮放矩陣處的M(例如，4)列。
可以以編碼器和/或解碼器的各種硬體實現、軟體實現或其組合來實現上文提出的方法中的任何方法。例如，本發明的實施方式可以是集成到視頻壓縮晶片中的一個或更多個電路或集成到視頻壓縮軟體中以執行本文所述處理的程式碼。例如，所提出的方法中的任何方法可以實現為耦接至編碼器的量化模組和逆量化模組的電路，並且可以實現為耦接至解碼器的逆量化模組的電路。在一個實施方式中，所提出的方法中的任何方法可以在編碼器的量化模組和逆量化模組中實現，並且可以在解碼器的逆量化模組中實現。
視頻編碼器必須遵循上述語法設計以生成合法的位元流，並且視頻解碼器僅在解析處理符合上述語法設計的情況下才能夠正確解碼位元流。當在位元流中跳過語法時，編碼器和解碼器應將語法值設置為推斷值，以確保編碼結果和解碼結果匹配。
第10圖例示了根據本發明的實施方式的示例性編碼系統將縮放矩陣用於不可分離的二次變換編碼塊的流程圖。流程圖中所示的步驟可以被實現為能夠在編碼器側的一個或更多個處理器(例如，一個或更多個CPU)上執行的程式碼。流程圖中所示的步驟也可以基於硬體(諸如，被佈置成執行流程 圖中的步驟的一個或更多個電子裝置或處理器)來實現。根據該方法，在步驟1010中，接收與當前圖片中的當前塊相關的輸入資料，其中，該輸入資料與當前塊在視頻編碼器側的變換塊相對應，並且該輸入資料與當前塊在視頻解碼器側的經解碼經量化的變換塊相對應。在步驟1020中，確定標誌，其中，該標誌指示縮放矩陣是否能夠用於不可分離的二次變換編碼塊。在步驟1030中，當該當前塊是一個不可分離的二次變換編碼塊時，檢查該標誌以確定縮放矩陣是否能夠用於不可分離的二次變換編碼塊。如果標誌指示縮放矩陣能夠用於不可分離的二次變換編碼塊(即，從步驟1030的“是”路徑)，則執行步驟1040和步驟1050。否則(即，從步驟1030的“否”路徑)，跳過步驟1040和步驟1050。在步驟1040中，確定縮放矩陣。在步驟1050中，將縮放矩陣應用於當前塊。
第11圖例示了根據本發明的實施方式的示例性編碼系統使用縮放矩陣推導方法的流程圖。根據該方法，在步驟1110中，接收與當前圖片中的當前塊相關的輸入資料，其中，該輸入資料與當前塊在視頻編碼器側的變換塊相對應，並且該輸入資料與當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且當前塊是矩形的，其中，當前塊的寬度大於或小於當前塊的高度。在步驟1120中，在不進行上採樣和下採樣或下採樣和上採樣的情況下，直接從方形基本縮放矩陣一步生成目標縮放矩陣。在步驟1130中，根據目標縮放矩陣對當前塊進行縮放。
所示的流程圖旨在例示根據本發明的視頻編碼的示例。本領域技術人員可以在不脫離本發明的精神的情況下修改各個步驟、重新佈置步驟、分割步驟或組合步驟以實踐本發明。在本公開中，已經使用特定的語法和語義來例示實現本發明的實施方式的示例。技術人員可以在不脫離本發明的精神的情況下通過利用等效的語法和語義替換所述語法和語義來實踐本發明。
呈現以上描述是為了使得本領域普通技術人員能夠如在特定應 用及其要求的背景下所提供的來實踐本發明。對所描述的實施方式的多種修改對於本領域技術人員將是顯而易見的，並且本文中定義的一般原理可以應用於其它實施方式。因此，本發明並不旨在限於所示出和所描述的特定實施方式，而是被賦予與本文所公開的原理和新穎特徵相一致的最廣範圍。在以上詳細描述中，例示了各種具體細節以便提供對本發明的透徹理解。然而，本領域技術人員將理解本發明是可以實踐的。
如上所述的本發明的實施方式可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施方式可以是集成到視頻壓縮晶片中的一個或更多個電路或集成到視頻壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施方式還可以是要在數位訊號處理器(DSP)上執行以執行本文描述的處理的程式碼。本發明還可以涉及由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(FPGA)執行的許多功能。這些處理器可以被配置成通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的具體任務。可以以不同的程式設計語言和不同的格式或樣式來開發軟體代碼或固件代碼。也可以針對不同的目標平臺編譯軟體代碼。然而，不同的代碼格式、軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其它手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其它特定形式實施。所描述的示例在所有方面僅應被認為是例示性的而非限制性的。因此，本發明的範圍由所附權利要求而不是前述描述來指示。落入權利要求等同含義和範圍內的所有改變均應包含在其範圍內。
1010-1050:步驟

Claims (10)

  1. 一種視頻編解碼的方法，所述方法包括： 接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應； 確定標誌，其中，所述標誌指示縮放矩陣是否能夠用於不可分離的二次變換編碼塊；以及 當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時： 確定所述縮放矩陣；並且 將所述縮放矩陣應用於所述當前塊；以及 當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣不能夠用於所述不可分離的二次變換編碼塊時： 對於所述當前塊，跳過所述縮放矩陣。
  2. 如申請專利範圍第1項所述的方法，其中，在所述視頻編碼器側用信號通知所述標誌或在所述視頻解碼器側解析所述標誌。
  3. 如申請專利範圍第1項所述的方法，其中，當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時，如果通過不可分離的二次變換僅修改了所述當前塊的K個係數並且K為正整數，則在所述視頻編碼器側僅用信號通知所述縮放矩陣中的K個條目或在所述視頻解碼器側僅解析所述縮放矩陣中的K個條目。
  4. 如申請專利範圍第1項所述的方法，所述方法還包括：當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時，將平縮放矩陣應用於所述當前塊。
  5. 一種視頻編解碼的裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被佈置成： 接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應； 確定標誌，其中，所述標誌指示縮放矩陣是否能夠用於不可分離的二次變換編碼塊；以及 當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣能夠用於所述不可分離的二次變換編碼塊時： 確定所述縮放矩陣；並且 將所述縮放矩陣應用於所述當前塊；以及 當所述當前塊是一個不可分離的二次變換編碼塊並且所述標誌指示所述縮放矩陣無法用於所述不可分離的二次變換編碼塊時： 對於所述當前塊，跳過所述縮放矩陣。
  6. 一種視頻編解碼的方法，所述方法包括： 接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且所述當前塊是矩形的，其中，所述當前塊的寬度大於或小於所述當前塊的高度； 在不進行上採樣和下採樣或下採樣和上採樣的情況下，直接從方形基本縮放矩陣一步生成目標縮放矩陣；以及 根據所述目標縮放矩陣對所述當前塊進行縮放。
  7. 如申請專利範圍第6項所述的方法，其中，當所述當前塊的具有S個行或列的較小側小於W，並且所述當前塊的具有L個列或行的較大側大於所述W時，使用樣本複製擴展所述方形基本縮放矩陣的W/S個行或列中的每一者，以生成一個具有L個樣本的擴展行或擴展列，並且其中，所述W與所述方形基本縮放矩陣的寬度相對應。
  8. 如申請專利範圍第6項所述的方法，其中，當將歸零處理應用於所述當前塊的高頻分量時，在不進行所述上採樣和下採樣或所述下採樣和上採樣的情況下，直接從所述方形基本縮放矩陣一步生成具有歸零的目標縮放矩陣。
  9. 如申請專利範圍第8項所述的方法，其中，當所述當前塊的具有S個行/列的較小側小於所述方形基本縮放矩陣的寬度、所述當前塊的具有L個列/行的較大側大於所述方形基本縮放矩陣的所述寬度、並且在沿著所述較大側的P>L的位置P處將所述歸零處理應用於所述當前塊的所述高頻分量時，使用樣本複製擴展所述方形基本縮放矩陣的個S行/列中的每一者的一部分，以生成一個具有P個樣本並用零增補其餘樣本的擴展行。
  10. 一種視頻編碼的裝置，所述裝置包括一個或更多個電子電路或處理器，所述一個或更多個電子電路或處理器被佈置成： 接收與當前圖片中的當前塊相關的輸入資料，其中，所述輸入資料與所述當前塊在視頻編碼器側的變換塊相對應，並且所述輸入資料與所述當前塊在視頻解碼器側的經解碼經量化的變換塊相對應，並且所述當前塊是矩形的，其中，所述當前塊的寬度大於或小於所述當前塊的高度； 在不進行上採樣和下採樣或下採樣和上採樣的情況下，直接從方形基本縮放矩陣一步生成目標縮放矩陣；以及 根據所述目標縮放矩陣對所述當前塊進行縮放。
TW109109456A 2019-03-21 2020-03-20 用於視頻編解碼的量化矩陣計算和表示的方法和裝置 TWI762889B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962822035P 2019-03-21 2019-03-21
US62/822,035 2019-03-21
US16/825,175 2020-03-20
US16/825,175 US20200304794A1 (en) 2019-03-21 2020-03-20 Method and Apparatus of the Quantization Matrix Computation and Representation for Video Coding

Publications (2)

Publication Number Publication Date
TW202041006A TW202041006A (zh) 2020-11-01
TWI762889B true TWI762889B (zh) 2022-05-01

Family

ID=72516177

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109456A TWI762889B (zh) 2019-03-21 2020-03-20 用於視頻編解碼的量化矩陣計算和表示的方法和裝置

Country Status (2)

Country Link
US (2) US20200304794A1 (zh)
TW (1) TWI762889B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019004749A1 (ko) * 2017-06-28 2019-01-03 엘지전자 주식회사 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
US12034929B2 (en) * 2018-12-26 2024-07-09 Electronics And Telecommunications Research Institute Quantization matrix encoding/decoding method and device, and recording medium in which bitstream is stored
CN117812271A (zh) * 2019-02-01 2024-04-02 Lg电子株式会社 图像解码方法、图像编码方法、存储介质和发送方法
US11197025B2 (en) * 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
US11372644B2 (en) * 2019-12-09 2022-06-28 Meta Platforms, Inc. Matrix processing instruction with optional up/down sampling of matrix
US20210192019A1 (en) * 2019-12-18 2021-06-24 Booz Allen Hamilton Inc. System and method for digital steganography purification
CN114630119B (zh) * 2020-12-10 2023-04-25 杭州海康威视数字技术股份有限公司 一种编码、解码方法、装置及其设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086311A1 (en) * 2012-09-25 2014-03-27 General Instrument Corporation Signaling of scaling list
WO2018061837A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 画像処理装置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2020131045A (ru) * 2018-03-28 2022-03-21 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
WO2020179715A1 (ja) * 2019-03-01 2020-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086311A1 (en) * 2012-09-25 2014-03-27 General Instrument Corporation Signaling of scaling list
WO2018061837A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
US20210321106A1 (en) 2021-10-14
US20200304794A1 (en) 2020-09-24
TW202041006A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
TWI762889B (zh) 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
TWI759705B (zh) 用於視頻編解碼的量化矩陣計算和表示的方法和裝置
AU2016228221B2 (en) Method and Apparatus for Encoding/Decoding Image
KR20220151140A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
CN113711607A (zh) 用适应性次要变换信令编解码视频数据的方法以及装置
JP2019530366A (ja) 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置
CN114223207A (zh) 用次要变换编解码视讯数据的方法以及装置
US12088845B2 (en) Image decoding method and device in accordance with block split structure in image coding system
TWI730659B (zh) 視訊編碼之量化矩陣計算以及表示方法和裝置
CN114175653B (zh) 用于视频编解码中的无损编解码模式的方法和装置
US20220286686A1 (en) Video encoding and decoding using differential modulation
US20240007636A1 (en) Method and apparatus for video coding using versatile information-based context model
KR20210091673A (ko) 적응적 색상 변환을 이용하는 비디오 부호화 및 복호화
KR20210082877A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210082876A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN114270842A (zh) 利用差分编码的视频编码和解码