TW202025744A - 視訊編解碼方法及裝置 - Google Patents

視訊編解碼方法及裝置 Download PDF

Info

Publication number
TW202025744A
TW202025744A TW108133647A TW108133647A TW202025744A TW 202025744 A TW202025744 A TW 202025744A TW 108133647 A TW108133647 A TW 108133647A TW 108133647 A TW108133647 A TW 108133647A TW 202025744 A TW202025744 A TW 202025744A
Authority
TW
Taiwan
Prior art keywords
conversion block
normalized
current conversion
scaling factor
encoding
Prior art date
Application number
TW108133647A
Other languages
English (en)
Other versions
TWI719641B (zh
Inventor
向時達
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202025744A publication Critical patent/TW202025744A/zh
Application granted granted Critical
Publication of TWI719641B publication Critical patent/TWI719641B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊資料的處理方法以及裝置包括接收與當前視訊圖像中當前轉換塊有關的輸入資料，決定該當前轉換塊的尺寸是否是4的冪，決定已歸一化量化或解量化縮放因數，藉由應用一量化處理到該當前轉換塊中的已縮放轉換係數生成轉換係數等級或藉由應用一逆量化處理到該當前轉換塊中的轉換係數等級生成已縮放轉換係數，以及編碼或解碼該當前轉換塊。該量化處理包括由該已歸一化量化縮放因數縮放該已縮放轉換係數以及該逆量化處理器包括由該已歸一化的解量化縮放因數縮放該轉換係數等級。

Description

視訊編解碼方法及裝置
本發明涉及用於視訊編碼或視訊解碼的視訊資料處理方法以及裝置。特別地，本發明涉及用於正方形以及非正方形塊的轉換係數的量化縮放(quantization scaling)。
高效視訊編解碼(High-Efficiency Video Coding，HEVC)標準是由來自ITU-T研究小組的視訊編解碼專家的視訊編解碼聯合協作小組(JCT-VC)開發的最新的視訊編解碼標準。HEVC標準依靠基於塊的編解碼結構，其將每一切片(slice)拆分成複數個編碼樹單元(Coding Tree Unit，CTU)。一個已編碼圖像由一個或一批切片所表示，每一切片包括整數數目的CTU。切片中的單個CTU根據光柵掃描次序(raster scanning order)進行處理。雙向預測(Bi-predictive，B)切片中每一塊的樣本值使用幀內圖像預測或使用至多兩個運動向量以及參考索引的幀間圖像預測進行解碼。預測(Predictive，P)切片中每一塊的樣本值是使用幀內圖像預測或僅使用一個運動向量以及參考索引的幀間圖像預測來解碼。幀內(intra，I)切片僅使用幀內圖像預測進行解碼。每一CTU根據四叉樹(quadtree，QT)分割方法被進一步遞迴地拆分成一或複數個編碼單元(coding unit，CU)來適應各種局部運動以及紋理特性。第1圖中示出了用於將一個CTU拆分成複數個CU的四叉樹塊分割結構的示例，其中實線指示CTU 100中的CU邊界。
預測決定在CU級上做出，其中每一CU由幀間圖像預測或幀內圖像預測進行編碼。一旦完成CU分層樹的拆分，每一CU根據PU分割類型進一步被拆分成一或複數個預測單元(Prediction Unit，PU)用於預測。第2圖示出了HEVC標準中定義的8個PU分割類型。每一CU根據第2圖示出的8個PU分割類型之一被拆分成一個、兩個或四個PU。因為相同的預測進程被應用於PU中的所有像素以及預測相關資訊在PU基礎上被傳達給解碼器，PU與相關CU語法作為用於共用預測資訊的基本代表塊。指定的預測進程被採用來預測PU內相關像素樣本的值。在獲得由預測進程生成的殘差訊號後，屬於CU的殘差訊號的殘差數據屬於根據殘差四叉樹(Residual QuadTree，RQT)塊分割結構被拆分成一或複數個轉換單元(Transform Unit，TU)，以將殘差數據轉換成轉換係數用於緊湊資料表示。第1圖中虛線指示TU邊界。TU是在編碼進程中對殘差訊號應用轉換以及量化的基礎代表塊。對於每一TU，具有與TU相同尺寸的轉換矩陣被應用於殘差訊號來生成轉換係數，以及這些轉換係數在TU的基礎上被量化以及被傳達給解碼器。轉換單元由根據4:2:0色彩格式編碼的圖像中尺寸為8x8、16x16或32x32的亮度樣本的一個轉換塊(Transform Block，TB)以及色度樣本的兩個對應的轉換塊組成。整數轉換被應用於轉換塊以及已量化係數的等級值(level value)與其他輔助資訊(side information)一起被熵編碼到視訊位元流。
術語編碼樹塊(coding tree block，CTB)、編碼塊(coding block，CB)、預測塊(prediction block，PB)以及轉換塊(transform block，TB)被分別定義為指定與CTU、CU、PU以及TU有關的一個顏色分量的二維樣本陣列。例如，CTU由一個亮度(luma)CTB、兩個色度(chroma)CTB以及其相關的語法元素組成。在HEVC系統中，相同的四叉樹塊分割結構通常被應用於亮度以及色度分量兩者，除非達到色度塊的最小尺寸。
ITU-T SG16 WP3以及ISO/IEC JTC1/SC29/WG11的聯合視訊專家小組(JVET)目前正在研究制定下一代視訊編解碼標準通用視訊編解碼(versatile video coding，VVC)。一些有希望的新的編解碼工具已經被採用到VVC工作草案(Working Draft，WD)2中。在VVC WD2中，藉由四叉樹與使用二叉樹(binary tree)以及三叉樹(ternary tree)拆分的嵌入的多類型樹(Multi-Type Tree，MTT)一起，每一CTU可以被拆分成一或複數個更小尺寸的CU。所生成的CU分割以及對應的TU分割可以是正方形或者矩形形狀。
視訊編解碼系統中處理視訊資料的方法以及裝置接收與當前視訊圖像中當前轉換塊有關的輸入資料，決定該當前轉換塊的尺寸是否是4的冪，根據該當前轉換塊的尺寸是否是4的冪決定已歸一化量化縮放因數或已歸一化解量化縮放因數，藉由應用量化處理到該當前轉換塊中的已縮放轉換係數生成轉換係數等級或者藉由應用逆量化處理到該當前轉換塊中的轉換係數等級生成已縮放轉換係數，以及編碼該當前轉換塊或解碼該當前轉換塊。該量化處理包括藉由由該已歸一化量化縮放因數縮放該已縮放轉換係數以及該逆量化處理包括藉由該已歸一化解量化縮放因數縮放該轉換係數等級。該當前轉換塊由分割結構拆分以及由該分割結果拆分所生成塊的形狀是正方形或非正方形。
由於單個縮放操作替代解量化縮放與歸一化縮放的級聯操作，已歸一化解量化縮放因數等於解量化縮放因數與歸一化縮放因數的乘積。在一些實施例中，根據該當前轉換塊的該尺寸是否是4的冪，從尋找表(look-up table)中檢索該已歸一化解量化縮放因數。藉由將該當前轉換塊中該轉換係數等級與該已歸一化解量化縮放因數相乘生成該當前轉換塊的該已縮放轉換因數。該尋找表存儲對應於轉換塊尺寸等於4的冪的不同量化參數的該已歸一化解量化參數因數的值以及該尋找表也存儲對應於轉換塊尺寸不等於4的冪的不同量化參數的該已歸一化解量化參數的值。
在一個實施例中，藉由將該轉換係數等級TransCoeffLevel [x] [y]、已指定縮放列表m[x][y]以及該已歸一化解量化縮放因數levelScaleRectNorm [rectNormFlag] [qP % 6]相乘生成該已縮放轉換係數d[x][y]，其中x以及y表示該當前轉換塊中一樣本的一坐標。該已歸一化解量化縮放因數取決於指示該當前轉換塊的該尺寸是否是4的冪的一旗標rectNormFlag，以及qP%6是該量化參數除以6的餘數。根據一變數bdShift進一步生成該已縮放轉換係數，其根據該視訊資料的一位元深度以及該當前轉換塊的該尺寸來推導。
在本發明的一些實施例中，一固定點計算被採用以便生成該當前轉換塊的該已縮放的轉換係數，以及用於表示該已歸一化解量化縮放因數的分數位元的數目被設置為一預設精度。該預設精度的示例是根據用於解量化縮放的分數位元的數目來設置，以及該預設精度的另一個示例是根據用於歸一化縮放的分數位元的數目來設置。例如，該預設精度被設置為6位元。
藉由根據該當前轉換塊的尺寸是否是4的冪從尋找表檢索可以決定用於編碼該當前轉換塊的該已歸一化量化縮放因數。藉由將該當前轉換塊中該已縮放轉換係數與該已歸一量化縮放因數相乘生成該轉換係數等級。該尋找表存儲對應於轉換塊尺寸等於4的冪的不同量化參數的該已歸一化量化縮放因數的值以及存儲對應於轉換塊尺寸不等於4的冪的不同量化參數的該已歸一化量化參數的值。
根據決定該當前轉換塊的尺寸是否是4的冪來決定該當前轉換塊是否是正方形或非正方形，以及當該當前轉換塊的該尺寸是4的冪時，該當前轉換塊是正方形。
本發明的一方面進一步提供了用於編碼或解碼視訊資料的視訊編解碼系統的裝置，藉由應用量化處理到當前轉換塊中的已縮放轉換係數或者應用逆量化處理到當前轉換塊中的轉換係數等級。其中該量化處理由已歸一化量化縮放因數縮放該已縮放轉換係數，以及該逆量化處理由已歸一化解量化縮放因數縮放該轉換係數等級。該已歸一化量化縮放因數以及該已歸一化解量化縮放因數取決於該當前轉換塊的該尺寸是否是4的冪。
本發明的另一方面進一步提供了存儲程式指令的非暫態電腦可讀媒介，使得裝置的處理電路執行用於轉換係數的量化縮放的視訊編解碼處理。在閱讀具體實施例的後續描述後，本發明的其他方面以及特徵對本領域普通技術人員將是顯而易見的。
將容易理解，本發明的元件(如通常以本文圖示所描述以及示出的)可以以多種多樣不同配置進行安排以及設計。因此，如圖示中所表示的，本發明的系統以及方法的實施例的後續更詳細的描述不旨在限制本發明的範圍，如所要求保護的，僅代表本發明所選擇的實施例。
貫穿本說明書對“一個實施例”、“一些實施例”或類似語言的引用意味著結合實施例所描述的特定特徵、結構或特性將包括在本發明至少一個實施例中。因此，貫穿本說明書各個位置中短語“在一個實施例中”或“在一些實施例中”的出現不需要都參考相同的實施例，這些實施例將單獨地實施或結合一或複數個其他實施例實施。此外，所描述的特徵、結構或特性將以一或複數個實施例中任何合適的方式結合。相關領域技術人員將意識到，本發明可以在沒有一或複數個特定細節的情況下或用其他方法、元件等等來實施。換言之，公知的結構或操作未示出或未詳細描述來避免混淆本發明的各個方面。
由除了四叉樹分割方法之外的分割方法拆分的編碼塊可能不都是正方形。例如，四叉樹加二叉樹(QuadTree plus Binary Tree，QTBT)、二叉樹(binary tree)、三叉樹(ternary tree)、多類型樹(Multi-Type Tree，MTT)分割方法生成一些矩形形狀編碼塊以及因此對應的轉換塊也是矩形形狀。如果轉換塊的尺寸不是4的冪，轉換塊的DC增益(DC gain)不是2的冪。在這種情況中，轉換係數的值以及已編碼轉換係數等級由2的平方根(square root)進行縮放，用於轉換係數值的歸一化(normalization)，考慮到計算，其是不期望的縮放操作。被應用於縮放轉換塊的已編碼轉換係數等級的縮放因數與轉換塊面積的平方根成反比。轉換塊的面積藉由將轉換塊的寬度與高度相乘來計算，以及如果轉換塊是正方形，面積是4的冪。因為4的冪的平方根是2的冪，當轉換塊是正方形時，縮放因數可以由右移位(right shift)來實施。然而，如果轉換塊的面積不是4的冪，簡單的右移位是不可用的。
具有一個列(row)中nTbW個元素以及一個行(column)中nTbH個元素的陣列d包含表示轉換塊的已縮放轉換係數的元素d[x][y]，以及這些元素從轉換塊的已編碼轉換係數等級TransCoeffLevel[x][y]推導如下，其中x=0…nTbW-1以及y=0…nTbH-1。 d[ x ][ y ] = (TransCoeffLevel[ x ][ y ] * m[ x ][ y ] * levelScale[ qP % 6 ] * rectNorm +(( 1 >> bdShift ) >> 1)) >>  bdShift                                   等式(1)
其中m[x][y]是已指定縮放列表，levelScale[ ]被指定為levelScale[k]={40,45,51,57,64,72}，k=0…5，用於關於已指定量化參數qP的解量化縮放(dequantization scaling)。例如，當qP是24，qP除以6的餘數是0，levelsScale[24%6]=40。變數rectNorm以及bdShift取決於當前轉換塊尺寸是否是4的冪，例如，當當前轉換塊尺寸不是4的冪時，即當前轉換塊不是正方形，歸一化縮放因數rectNorm被設置為等於181以及移位值bdShift增加8。變數rectNormFlag、bdShift以及rectNrom被推導如下： rectNormFlag = ( ( Log2( nTbW ) + Log2( nTbH ) ) & 1 )  = =  1 ? 1 : 0  等式(2) bdShift = bitDepth + rectNormFlag * 8 + ( Log2( nTbW ) + Log2( nTbH ) ) / 2 ) − 5 + dep_quant_enabled_flag                                           等式(3) rectNorm =   (rectNormFlag = =  1)  ?  181 :  1                   等式(4)
其中log()是2為底的對數函數以及當從屬量化(dependent quantization)被採用以生成已編碼轉換係數等級時，語法dep_quant_enabled_flag等於1，否則dep_quant_enabled_flag等於0。已縮放轉換係數d[x][y]、已編碼轉換係數等級TransCoeffLevel[x][y]、已指定縮放列表m[x][y]、解量化縮放因數(dequantization scaling factor)levelScale以及歸一化縮放因數(normalization scaling factor)rectNorm的值都是整數。從藉由解量化縮放因數levelScale[qP % 6]以及歸一化縮放因數rectNorm的級聯式縮放(cascaded scaling)生成的分數位元(fractional bit)的數目等於14，包括levelScale[]的6個分數位元以及rectNorm的8個分數位元。
在本發明示例性實施例中，藉由解量化縮放因數以及歸一化縮放因數對已編碼轉換係數等級TranCoeffLevel[x][y]的級聯式縮放操作被具有已歸一化解量化縮放因數(normalized dequantization scaling factor)的一個單個縮放操作所替代。已歸一化解量化縮放因數等於解量化縮放因數與歸一化縮放因數的乘積。在一些優選實施例中，對應於解量化縮放因數以及歸一化縮放因數不同組合的已歸一化解量化縮放因數的值被預計算並且被存儲在尋找表(look-up table)中。本發明的實施例可以被採用於DC增益不等於2的冪的轉換塊中轉換係數的量化或解量化，換言之，處理非正方形轉換塊的轉換係數。
在生成視訊編解碼系統中所採用的已縮放轉換係數用於編碼轉換係數的值的一些實施例中，轉換塊中已縮放轉換係數藉由將轉換塊中轉換係數等級、已歸一化解量化縮放因數以及已指定縮放列表相乘推導出。例如，用於轉換塊的已縮放轉換係數的陣列d根據已編碼轉換係數等級TransCoeffLevel[x][y]推導如下： d[ x ][ y ] = (TransCoeffLevel[ x ][ y ] * m[ x ][ y ] * levelScaleRectNorm [rectNormFlag][ qP % 6 ] +(( 1 >> bdShift ) >> 1)) >>  bdShift                 等式(5)
具有一個列中nTbW個元素以及一個行中nTbH個元素的陣列，其包括元素d[x][y]，其中x=0…nTbW-1,y=0…nTbH-1。當前轉換塊的尺寸是nTbW*nTbH，以及x與y表示當前轉換塊中樣本的坐標。變數m[x][y]是已指定縮放列表。變數levelScaleRectNorm[rectNormFlag][qP % 6]是已歸一化解量化縮放因數，其取決於旗標rectNormFlag以及量化參數qP除以6的餘數。基於當前轉換塊的尺寸是否是4的冪，旗標rectNormFlag指示當前轉換塊是否是正方形塊或非正方形塊。當當前轉換塊是正方形塊時，旗標rectNormFlag等於0，以及當當前轉換塊是非正方形塊時，旗標等於1。變數bdShfit根據視訊資料的位元深度以及當前轉換塊尺寸被推導如下： bdShift = bitDepth +       ( Log2( nTbW ) + Log2( nTbH ) ) / 2 ) − 11 + RECT_NORM_FRAC_BITS + dep_quant_enabled                                  等式(6)
其中常數REC_NORM_FRAC_BITS對應於用於表示已歸一化縮放因數的分數部分的位元的數目。
如具體描述中早些所提到的，用於解量化縮放因數的分數位元的數目是6以及用於歸一化縮放因數的分數位元的數目是8，以及用於縮放非正方形轉換塊的轉換係數的分數位元的數目是14位元，其相比於正方形塊的位元數目，有8個位元的增加。因此不同的縮放精度用於不同的轉換塊形狀。根據本發明一些實施例，固定點計算(fixed-point computation)被採用以便重構已解碼轉換係數，用於表示尋找表的條目值的分數位元的數目可以從原始精度減少到預設精度。尋找表存儲已預計算的已歸一化解量化縮放因數或已預計算的已歸一化量化縮放因數的值。根據用於解量化縮放的分數位元的數目或用於歸一化縮放的分數位元的數目，分數位元的數目被減少。例如，視訊編解碼系統使用與解量化縮放因數相同數目的分數位元。這樣，在已歸一化解量化縮放操作後，分數位元的數目將不會由於用於處理非正方形TB的歸一化縮放操作而增加。在另一個示例中，視訊編解碼系統使用與歸一化縮放因數相同數目的分數位元。這一示例中轉換係數的歸一化可以以相同的精度被處理。
表1示出了當常數RECT_NORM_FRAC_BITS等於6時，存儲已歸一化解量化縮放因數levelScaleRectNorm[rectNormFlag][qP % 6]的值的尋找表的示例，以及表2示出了當常數RECT_NORM_FRAC_BITS等於8時，用於已歸一化解量化縮放因數的尋找表的示例。表3以及表4是存儲已歸一化量化縮放因數的值的尋找表的示例，在編碼器具有14個分數位元用於轉換係數的量化。表3中的值對應於表1中已歸一化解量化縮放因數，以及表4中的值對應於表2中已歸一化解量化縮放因數。 表1
qP % 6 0 1 2 3 4 5
rectNormFlag=0 40 45 51 57 64 72
rectNormFlag=1 29 32 36 40 45 51
表2
qP % 6 0 1 2 3 4 5
rectNormFlag=0 161 181 203 228 256 287
rectNormFlag=1 114 128 144 161 181 203
表3
qP % 6 0 1 2 3 4 5
rectNormFlag=0 26214 23302 20560 18396 16384 14564
rectNormFlag=1 36158 32768 29127 26214 23302 20560
表4
qP % 6 0 1 2 3 4 5
rectNormFlag=0 26052 23173 20662 18396 16384 14614
rectNormFlag=1 36792 32768 29127 26052 23173 20662
在使用6個分數位元來表示已歸一化解量化縮放因數(即，RECT_NORM_FRAC_BITS = 6)的示例中，藉由搜索如表1示出的尋找表，當量化參數是1、7、13、19、25、31、37、43或49(qP % 6 =1)時，用於正方形轉換塊的已歸一化解量化縮放參數是45，以及用於非正方形轉換塊的已歸一化解量化縮放參數是32。在對應的編碼器，當量化參數是1、7、13、19、25、31、37、43或49時，藉由搜索表3中的尋找表，用於編碼正方形轉換塊的對應的已歸一化量化縮放因數是23302以及用於編碼非正方形塊的對應的已歸一化量化縮放因數時32768。
本發明的實施例大大地減少了對非正方形塊的轉換係數執行量化或解量化的計算複雜度。在一些採用固定點計算的實施例中，藉由限制用於量化縮放的分數位元的數目，計算複雜度被進一步減小。
第3圖示出了處理視訊編解碼系統中轉換塊的本發明實施例的流程圖。視訊資料的當前視訊圖像或當前切片被拆分成複數個非重疊塊用於視訊編碼或解碼。在步驟S302，視訊編解碼系統接收與該當前視訊圖像或當前切片中當前轉換塊有關的輸入資料。該輸入資料包括從視訊編碼系統中轉換模組輸出的轉換係數或者該輸入資料包括由視訊解碼系統中熵解碼器從視訊位元流中剖析出來的已編碼轉換係數等級。當前轉換塊可以是正方形或非正方形，以及在步驟S304中，視訊編解碼系統決定該當前轉換塊的尺寸是否是4的冪。例如，如果當前轉換塊尺寸等於4的冪，該當前轉換塊是正方形塊。在步驟S306中，根據該當前轉換塊的該尺寸是否是4的冪，決定用於編碼該當前轉換塊的已歸一化量化縮放因數，或者根據該當前轉換塊的尺寸是否是4的冪，決定用於解碼該當前轉換塊的已歸一化解量化縮放因數。在視訊編碼系統中，在步驟S308，藉由應用量化處理到該當前轉換塊中的已縮放轉換係數，生成轉換係數等級。在視訊解碼系統中，藉由應用逆量化處理到該當前轉換塊中的轉換係數等級，生成已縮放轉換係數。量化處理包括藉由該視訊編碼系統中已歸一化量化縮放因數縮放該已縮放轉換係數，以及該逆量化處理包括藉由該視訊解碼系統中已歸一化解量化縮放因數縮放該轉換係數等級。在步驟S310，編碼該當前轉換塊或解碼該當前轉換塊。在步驟S306的實施例中，根據該當前轉換塊的尺寸是否是4的冪以及根據用於量化或解量化該當前轉換塊的量化參數的值，從尋找表中檢索該已歸一化量化縮放參數或該已歸一化解量化縮放參數。
第4圖示出了實施本發明實施例的視訊轉碼器400的示例性系統框圖。幀內預測模組410基於當前圖像的重構視訊資料提供幀內預測子。幀間預測模組412基於來自一或複數個其他圖像的參考視訊資料執行運動估計(motion estimation，ME)以及運動補償(motion compensation，MC)來提供預測子。幀內預測模組410或幀間預測模組412提供所選擇的預測子到加法器416來形成殘差。該當前塊的殘差進一步由轉換模組(T)418緊接著量化模組(Q)420處理。量化模組420從轉換模組418接收每一轉換塊的已縮放轉換係數，以及縮放該已縮放轉換係數。量化模組的一個實施例在尋找表中存儲對應於轉換塊尺寸等於4的冪以及轉換塊的尺寸不等於4的冪的不同量化參數的已歸一化量化縮放因數。藉由與從該尋找表中搜索的已歸一化量化縮放因數相乘來縮放當前轉換塊中的已縮放轉換係數來生成轉換係數等級。藉由根據當前轉換塊的量化參數應用量化處理來生成當前轉換塊的轉換係數等級。已轉換以及已量化參數然後由熵編碼器430進行編碼來形成視訊位元流。視訊位元流然後與輔助資訊一起打包。當前塊的已轉換以及已量化殘差訊號由逆量化模組(IQ)422以及逆轉換模組(IT)424處理來恢復預測殘差。IQ模組以單個縮放操作縮放已編碼轉換係數來生成已縮放轉換係數。如第4圖所示，藉由在重構模組(REC)426添加回所選擇的預測子恢復該殘差來生成已重構視訊資料。已重構視訊資料可以被存儲在參考圖像緩衝器(Ref.Pict.Buffer)432以及用於其他圖像的預測。由於編碼處理，來自REC模組426的已重構視訊資料可以經受各種損害，因此，在存儲到參考圖像緩衝器432中之前，將環路處理濾波器(ILPF)428應用於已重構視訊資料來進一步增強圖像品質。語法元素被提供到熵編碼器430用於結合到視訊位元流中。
在第5圖中示出了對應的視訊解碼器500，用於解碼由第4圖的視訊轉碼器400生成的視訊位元流。視訊位元流被輸入到視訊解碼器500以及由熵解碼器510解碼來剖析(parse)以及恢復已轉換以及已量化的殘差訊號以及其他系統資訊。熵解碼器510剖析當前轉換塊的已編碼轉換係數等級。除了解碼器500僅需要幀間預測模組514的運動補償預測，解碼器500的解碼進程類似於在編碼器400的重構環路。每一塊由幀內預測模組512或幀間預測模組514解碼。開關516根據已解碼模式資訊選擇來自幀內預測模組512的幀內預測子或來自幀間預測模組514的幀間預測子。藉由逆量化模組(IQ)520以及逆轉換模組(IT)522恢復已轉換以及已量化殘差訊號。藉由由已歸一化解量化縮放因數縮放當前轉換塊中的已編碼轉換係數等級，逆量化模組520生成已縮放轉換係數，以及根據當前轉換塊的量化參數應用逆量化處理來生成已縮放轉換係數。所恢復的殘差訊號藉由在REC模組518添加回預測子來生成已重構視訊。已重構視訊進一步由環路處理濾波器(ILFP)524來生成最終已解碼視訊。如果當前已解碼圖像是參考圖像，當前已解碼圖像的已重構視訊也存儲在參考圖像緩衝器526中用於解碼次序中的後續圖像。
第4圖以及第5圖中視訊轉碼器400以及視訊解碼器500的各種元件可以由硬體元件、用於執行存儲在記憶體中的程式指令的一或複數個處理器或硬體與處理器的組合來實施。例如，處理器執行程式指令來控制與當前轉換塊有關的輸入資料的接收。處理器配備有單個或複數個處理核心。在一些示例中，處理器執行程式指令來執行編碼器400以及解碼器500中一些元件的功能，以及與處理器電性耦合的記憶體用於存儲程式指令、對應於塊的已重構圖像的資訊、與/或編碼或解碼進程中的中間資料。一些實施例中的記憶體包括非暫態電腦可讀媒介，例如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或者其他合適的存儲媒介。記憶體也可以是上述列出的一或複數個非暫態電腦可讀媒介的組合。如第4圖以及第5圖所示，編碼器400以及解碼器500可以在相同的電子裝置中實施，如果在相同的電子裝置中實施，編碼器400以及解碼器500的各種功能元件可以共用或重新使用。例如，第4圖中的重構模組426、逆轉換模組424、逆量化模組422、環路處理濾波器428以及參考圖像緩衝器432也分別可以用於充當第5圖中重構模組518、逆轉換模組522、逆量化模組520、環路處理器濾波器524以及參考圖像緩衝器526。
視訊編解碼系統中對正方形或非正方形塊應用量化縮放的視訊資料處理方法的實施例可以在整合到視訊壓縮晶片的電路或者整合到視訊壓縮軟體的程式碼中實施來執行以上描述的處理。例如，當前轉換塊中的縮放轉換係數等級可以以將在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式設計閘陣列(FPGA)上執行的程式碼的方式實現。這些處理器可以用於執行根據本發明的具體任務，藉由執行定義由本發明實施的特定方法的機器可讀軟體代碼或固件代碼。
在不背離其精神或基本特性的情況下，本發明可以以其他具體的形式實施。所描述的示例在所有方面僅被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而非前述描述來指示。在申請專利範圍的等同物的含義以及範圍內的所有變化都包括在其範圍內。
S302~310:步驟 410、512:幀內預測模組 412、514:幀間預測模組 414、516:開關 416:加法器 418:轉換模組 420:量化模組 422、520:逆量化模組 424、522:逆轉換模組 426、518:重構模組 428、524:環路處理濾波器 430:熵編碼器 432、526:參考圖像緩衝器 510:熵解碼器
以示例提出的本發明的各種實施將參考後續圖示進行詳細描述，其中相同的附圖標記指示相同的元件，以及其中： 第1圖示出了根據HEVC標準中定義的四叉樹拆分，用於將編碼樹單元(CTU)拆分成複數個編碼單元(CU)以及將每一CU拆分成一或複數個轉換單元(TU)的示例性編碼樹。 第2圖示出了根據HEVC標準用於將CU拆分成一或複數個PU的8個不同的預測單元(PU)分割類型。 第3圖是示出了應用量化縮放到當前轉換塊中的轉換係數等級(transform coefficient level)的本發明實施例的流程圖。 第4圖示出了根據本發明實施例的結合視訊資料處理方法的視訊編碼系統的示例性系統框圖。 第5圖示出了根據本發明實施例的結合視訊資料處理方法的視訊解碼系統的示例性系統框圖。
S302~S310:步驟

Claims (15)

  1. 一種視訊編解碼系統中編碼或解碼視訊資料的方法，包括： 接收與一當前視訊圖像中一當前轉換塊有關的輸入資料； 決定該當前轉換塊的一尺寸是否是4的冪； 根據該當前轉換塊的該尺寸是否是4的冪，決定用於編碼該當前轉換塊的一已歸一化量化縮放因數，或決定用於解碼該當前轉換塊的一已歸一化解量化縮放因數； 藉由應用一量化處理到該當前轉換塊中的已縮放轉換係數生成轉換係數等級，或者藉由應用一逆量化處理到該當前轉換塊中的轉換係數等級生成已縮放轉換係數，其中該量化處理包括由該已歸一化量化縮放因數縮放該已縮放轉換係數，以及該逆量化處理包括由該已歸一化解量化縮放因數縮放該轉換係數等級；以及 編碼該當前轉換塊或解碼該當前轉換塊。
  2. 如申請專利範圍第1項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，該已歸一化解量化縮放因數等於一解量化縮放因數與一歸一化縮放因數的一乘積。
  3. 如申請專利範圍第1項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，決定該已歸一化解量化縮放因數包括根據該當前轉換塊的該尺寸是否是4的冪，從一尋找表檢索該已歸一化解量化縮放因數，以及生成該已縮放轉換係數包括將該當前轉換塊中的該轉換係數等級與該已歸一化解量化縮放因數相乘。
  4. 如申請專利範圍第3項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，該尋找表存儲對應於轉換塊尺寸等於4的冪的不同量化參數的該已歸一化解量化縮放因數的值，以及存儲對應於轉換塊尺寸不等於4的冪的不同量化參數的該已歸一化解量化縮放因數的值。
  5. 如申請專利範圍第1項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，該已縮放轉換係數d[x][y]是藉由將該轉換係數等級TransCoefflevel[x][y]、一已指定縮放列表m[x][y]以及該已歸一化解量化縮放因數levelScaleRectNorm[rectNromFlag][qP % 6]相乘生成，其中x以及y表示該當前轉換塊中一樣本的一坐標，rectNormFlag指示該當前轉換塊的該尺寸是否是4的冪的一旗標，以及qP % 6是一量化參數除以6的一餘數。
  6. 如申請專利範圍第5項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，該已縮放轉換係數d[x][y]是藉由：d[x][y]= (TransCoeffLevel[ x ][ y ] * m[ x ][ y ] * levelScaleRectNorm [rectNormFlag][ qP % 6 ] +(( 1 >> bdShift ) >> 1)) >>  bdShift生成，其中一變數bdShift是從該視訊資料的一位元深度以及該當前轉換塊的該尺寸推導。
  7. 如申請專利範圍第1項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，一固定點計算被採用以生成該當前轉換塊的該已縮放的轉換係數，其中用於表述該已歸一化解量化縮放因數的分數位元的一數目被設置為一預設精度。
  8. 如申請專利範圍第7項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，根據用於解量化縮放的分數位元的一數目設置該預設精度。
  9. 如申請專利範圍第7項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，根據用於歸一化縮放的分數位元的一數目設置該預設精度。
  10. 如申請專利範圍第7項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，該預設精度被設置為6位元。
  11. 如申請專利範圍第1項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，決定該已歸一化量化縮放因數進一步包括根據該當前轉換塊的該尺寸是否是4的冪，從一尋找表檢索該已歸一化量化縮放因數，以及生成該轉換係數等級包括將該當前轉換塊中的該已縮放轉換係數與該已歸一化量化縮放因數相乘。
  12. 如申請專利範圍第11項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，該尋找表存儲對應於轉換塊尺寸等於4的冪的不同量化參數的該已歸一化量化縮放因數的值，以及存儲對應於轉換塊的尺寸不等於4的冪的不同量化參數的該已歸一化量化縮放因數。
  13. 如申請專利範圍第1項所述之視訊編解碼系統中編碼或解碼視訊資料的方法，其中，決定該當前轉換塊的該尺寸是否是4的冪進一步包括決定該當前轉換塊是正方形或非正方形。
  14. 一種用於執行視訊編解碼的裝置，包括：一電腦處理器，用於執行編碼或解碼視訊資料的方法，該方法包括： 接收與一當前視訊圖像中一當前轉換塊有關的輸入資料； 決定該當前轉換塊的一尺寸是否是4的冪； 根據該當前轉換塊的該尺寸是否是4的冪，決定用於編碼該當前轉換塊的一已歸一化量化縮放因數或決定用於解碼該當前轉換塊的一已歸一化解量化縮放因數； 藉由應用一量化處理到該當前轉換塊中的已縮放轉換係數生成轉換係數等級或者藉由應用一逆量化處理到該當前轉換塊中的轉換係數等級生成已縮放轉換係數，其中該量化處理包括由該已歸一化量化縮放因數縮放該已縮放轉換係數以及該逆量化處理包括由該已歸一化解量化縮放因數縮放該轉換係數等級；以及 編碼該當前轉換塊或解碼該當前轉換塊。
  15. 一種存儲程式指令的非暫態電腦可讀媒介，使得一裝置的一處理電路執行視訊編解碼方法，該方法包括： 接收與一當前視訊圖像中一當前轉換塊有關的輸入資料； 決定該當前轉換塊的一尺寸是否是4的冪； 根據該當前轉換塊的該尺寸是否是4的冪，決定用於編碼該當前轉換塊的一已歸一化量化縮放因數或決定用於解碼該當前轉換塊的一已歸一化解量化縮放因數； 藉由應用一量化處理到該當前轉換塊中的已縮放轉換係數生成轉換係數等級或者藉由應用一逆量化處理到該當前轉換塊中的轉換係數等級生成已縮放轉換係數，其中該量化處理包括由該已歸一化量化縮放因數縮放該已縮放轉換係數以及該逆量化處理包括由該已歸一化解量化縮放因數縮放該轉換係數等級；以及 編碼該當前轉換塊或解碼該當前轉換塊。
TW108133647A 2018-09-19 2019-09-18 視訊編解碼方法及裝置 TWI719641B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862733100P 2018-09-19 2018-09-19
US62/733,100 2018-09-19
WOPCT/CN2019/103943 2019-09-02
PCT/CN2019/103943 WO2020057359A1 (en) 2018-09-19 2019-09-02 Methods and apparatuses of quantization scaling of transform coefficients in video coding system

Publications (2)

Publication Number Publication Date
TW202025744A true TW202025744A (zh) 2020-07-01
TWI719641B TWI719641B (zh) 2021-02-21

Family

ID=69888258

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108133647A TWI719641B (zh) 2018-09-19 2019-09-18 視訊編解碼方法及裝置

Country Status (5)

Country Link
US (1) US11202073B2 (zh)
EP (1) EP3850842A4 (zh)
CN (1) CN112771864B (zh)
TW (1) TWI719641B (zh)
WO (1) WO2020057359A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846470A4 (en) 2018-08-31 2022-05-11 Samsung Electronics Co., Ltd. VIDEO DECODING METHOD AND APPARATUS, VIDEO CODING METHOD AND APPARATUS
TWI789187B (zh) * 2021-12-29 2023-01-01 瑞昱半導體股份有限公司 壓縮方法與相關的電子裝置
CN116669104B (zh) * 2023-07-24 2023-09-29 南京创芯慧联技术有限公司 数传压缩方法、装置、计算机设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US20130114685A1 (en) * 2011-11-07 2013-05-09 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
US20130114688A1 (en) 2011-11-07 2013-05-09 Louis Joseph Kerofsky Video Decoder with Constrained Dynamic Range
KR102228577B1 (ko) 2012-06-28 2021-03-16 한국전자통신연구원 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
JP6287035B2 (ja) 2013-10-11 2018-03-07 ソニー株式会社 復号装置および復号方法
WO2016081939A1 (en) 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
KR102252619B1 (ko) * 2015-02-03 2021-05-17 삼성전자 주식회사 알림 제공 방법 및 이를 구현하는 전자 장치
EP3414901A4 (en) 2016-02-08 2018-12-26 Sharp Kabushiki Kaisha Systems and methods for transform coefficient coding
CN106028032B (zh) 2016-05-24 2019-03-26 西安电子科技大学 一种系数级自适应量化方法

Also Published As

Publication number Publication date
EP3850842A1 (en) 2021-07-21
WO2020057359A1 (en) 2020-03-26
US11202073B2 (en) 2021-12-14
CN112771864B (zh) 2023-08-29
CN112771864A (zh) 2021-05-07
TWI719641B (zh) 2021-02-21
EP3850842A4 (en) 2022-07-20
US20210321105A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US11943476B2 (en) Methods and apparatuses for coding video data with adaptive secondary transform signaling
US10904580B2 (en) Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
TWI687092B (zh) 視訊編碼解系統中的視訊處理方法及裝置
US11523136B2 (en) Methods and apparatuses for coding transform blocks
TWI700919B (zh) 視訊編解碼方法/裝置及相應地存儲介質
US11991393B2 (en) Methods and apparatuses for coding video data with secondary transform
RU2764258C1 (ru) Способ, устройство и система для кодирования и декодирования преобразованного блока выборок видео
US11483549B2 (en) Methods and apparatuses for transform skip mode information signaling
US20140119455A1 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
TWI719641B (zh) 視訊編解碼方法及裝置
CN114041288A (zh) 图像分量的预测方法、编码器、解码器以及存储介质
US10536699B2 (en) Moving image coding device, moving image coding method and recording medium for storing moving image coding program
KR20240013896A (ko) 영상을 인코딩 및 디코딩하기 위한 방법, 인코딩 및 디코딩 장치, 및 해당 컴퓨터 프로그램
CN115052163B (zh) 编码器、解码器和用于变换处理的对应方法
JP2020137119A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR102505364B1 (ko) 복호 장치, 프로그램, 및 복호 방법
US20210400270A1 (en) Methods and Apparatuses of Coding Pictures Partitioned into Subpictures in Video Coding Systems
US9635372B2 (en) Coding format converter partially halting search for coding candidates
JP2020028066A (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム