TW201902216A - 編碼或解碼視頻資料之方法及裝置 - Google Patents

編碼或解碼視頻資料之方法及裝置 Download PDF

Info

Publication number
TW201902216A
TW201902216A TW107115256A TW107115256A TW201902216A TW 201902216 A TW201902216 A TW 201902216A TW 107115256 A TW107115256 A TW 107115256A TW 107115256 A TW107115256 A TW 107115256A TW 201902216 A TW201902216 A TW 201902216A
Authority
TW
Taiwan
Prior art keywords
transform
type
current block
encoding
current
Prior art date
Application number
TW107115256A
Other languages
English (en)
Other versions
TWI669948B (zh
Inventor
黄晗
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201902216A publication Critical patent/TW201902216A/zh
Application granted granted Critical
Publication of TWI669948B publication Critical patent/TWI669948B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本發明公開一種編碼或解碼視頻資料之方法及裝置，其由整合有自我調整多重變換(adaptive multiple transform，AMT)的視訊編碼器或視頻解碼器執行。根據本方法，確定由指定為第一類型或第二類型的兩種類型候選項群組成的變換集，其中第一類型與第二類型不同。如果當前塊使用AMT，則從變換集中選擇垂直變換，並從變換集中選擇水平變換。在編碼器側發信用於均指示垂直變換選擇和水平變換選擇的變換索引，或解碼器側解析變換索引。本發明還公開了另一種整合有AMT之方法和裝置，其中根據當前運動向量差的解析度，確定變換集。

Description

編碼或解碼視頻資料之方法及裝置 【相關申請的交叉引用】
本申請主張於2017年05月11日申請的美國臨時專利申請第62/504,646號、2017年06月27日申請的美國臨時專利申請第62/525,240號，以及2018年01月10日申請的美國臨時專利申請第62/615,555號的權利，且上述美國臨時專利申請的全文內容以引用方式併入本文中。
本發明大體上涉及視頻編碼技術。本發明尤其涉及提高使用增強型多重變換(Enhanced Multiple Transform，EMT)的視頻解編碼系統的編解碼效率或降低複雜度的技術；其中，EMT又稱為自我調整多重變換(Adaptive Multiple Transform，AMT)。
高效率視頻編碼(High Efficiency Video Coding，HEVC)標準是在ITU-T的視頻編碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC的運動圖像專家組(Moving Picture Experts Group，MPEG)標準化組織的聯合視頻專案下開發出來的，這個合作關係特別地被稱為視頻編碼聯合協作小組(Joint Collaborative Team on Video Coding，JCT-VC)的夥 伴關係。
在HEVC中，將一個切片(slice)分割成多個編碼樹單元(Coding Tree Unit，CTU)。在主設定檔中，CTU的最小尺寸和最大尺寸由序列參數集(Sequence Parameter Set，SPS)中的語法元素來指定。所允許的CTU尺寸可以是8×8、16×16、32×32，或者64×64。對於每個切片而言，根據光柵掃描順序來處理該切片內的CTU。
CTU進一步被分割成多個編碼單元(Coding Unit，CU)，以適應各種局部特性。表示為編碼樹的四叉樹用於將CTU分割成多個CU。假設CTU尺寸為M×M，其中M為64、32或者16數值中的一個。CTU可以是單個CU，或者被分割成四個具有相同尺寸(即，每個尺寸為M/2×M/2)的更小單元，這些更小單元是編碼樹的節點。如果這些單元是該編碼樹的葉節點，則這些單元將變成CU。否則，可以重複四叉樹分割處理，直到節點的尺寸達到如SPS中所指定的最小允許的CU尺寸。此表示形成了由編碼樹(也稱為分割樹結構)指定的遞迴結構。
對每個CU指定了一個或多個預測單元(Prediction Unit，PU)。與該CU一起，PU用作共用預測資訊的基礎代表塊(basic representative block)。每個PU內部，應用相同的預測處理，並以PU為基礎將相關資訊發送給解碼器。根據PU分割類型，可以將一個CU分割成一個、二個或四個PU。
在通過根據PU分割類型應用預測處理獲取殘差塊之後，根據類似於CU的編碼樹的另一四叉樹結構，CU可 以被分割為變換單元(Transform Unit，TU)。TU是應用整數變換與量化的殘差或變換係數的基本代表塊。對於每個TU，將具有與該TU相同尺寸的一個整數變換應用至該TU來獲取殘差係數。以TU為基礎的量化之後，將這些係數發送給解碼器。
分別定義術語編碼樹塊(coding tree block，CTB)、編碼塊(coding block，CB)、預測塊(prediction block，PB)以及變換塊(transform block，TB)，以指定分別與CTU、CU、PU和TU相關的一個顏色分量的2D樣本陣列(2-D sample array)。這樣，CTU由一個亮度CTB、兩個色度CTB和相關的語法元素組成。對於CU、PU和TU，相似的關係有效。儘管在色度達到某些最小尺寸時的應用例外，通常將樹分割同時應用於亮度和色度。
在下一代視頻編解碼中，在JVET-E1001(Chen et al.,“Algorithm Description of Joint Exploration Test Model 5(JEM5)”,Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting：Geneva,CH,12-20 January,2017,Document：JVET-E1001)中已採用了組合四叉樹和二叉樹結構的方法，該結構也稱為四叉樹加二叉樹(quadtree plus binary tree，QTBT)結構。
所公開的樹結構可單獨應用於I-切片(I-slice)(即幀內編解碼切片)的亮度和色度，並且，同時應用於P-切片(P-slice)和B-切片(B-slice)的亮度和色度(除了在達到色度的某些最小尺寸的時候)。換言之，在I-切片內，亮度CTB 具有其QTBT結構化(QTBT-structured)的塊分割，兩個色度CTB具有另一種QTBT結構化的塊分割。兩個色度CTB也可以具有其自身的QTBT結構化的塊分割。
在HEVC中，對於每個TU，應用具有與該TU相同尺寸的一個整數變換來獲取殘差係數。以TU為基礎的量化之後，將這些係數發送給解碼器。由於離散余弦變換類型II(Discrete Cosine Transform Type II，DCT-II)具有較強的“能量壓縮”性能，因此HEVC採用DCT-II作為其核心變換。大部分訊號資訊傾向於集中在DCT-II的少數低頻分量中，近似於卡洛南-洛伊變換(Karhunen-Loève Transform，KLT)。如資料壓縮之領域中已知的，根據馬可夫處理(Markov processes)的某些界限，KLT是對訊號去相關感應中的最佳變換。訊號f[n]的N點DCT-II的定義如(1)所示。
在聯合探索測試模型5(Joint Exploration Test Model，JEM-5)中，尺寸高達128×128的大塊尺寸的變換能夠提高編碼效率，尤其提高更高解析度視頻(例如1080p序列以及4K序列)的編解碼效率。除了已經在HEVC中採用的DCT-II以及4x4離散正弦變換類型VII(Discrete Cosine Transform Type VII，DST-VII)之外，AMT方案，還用於幀間編解碼塊和幀內編解碼塊的殘差編解碼。對於幀內預測殘差，與DCT-II相比，其他變換類型可具有更高效率。因此，在JVET-E1001(即，JEM 5)中，EMT方案用於幀間編解碼塊和 幀內編解碼塊的殘差編解碼。在文獻中，EMT也可被稱為AMT。在本申請中，術語AMT和EMT可以互換使用。其利用從DCT/DST家族中選擇的多重變換，而不是利用HEVC中的當前變換。新引入的變換矩陣為DST-VII、DCT-VIII、DST-I以及DCT-V。表1總結了N點輸入的每一變換的變換基函數。
根據EMT，多重變換可被選擇用於一個TU。例如，對於幀間CU，一個EMT標誌可以被編解碼，以指示HEVC被使用(即，EMT標誌等於0)，還是新的多重變換中的一個被使用(即，EMT標誌等於1)。當EMT標誌等於1時，在水 平方向和垂直方向上分別存在兩種不同的變換。EMT索引可以用於指示所選擇以用於水平方向和垂直方向中的每個的變換。總的來說，當EMT標誌為1時，對於每個CU，四個不同的變換被支持。對於幀內CU，在多重變換中也存在四個候選項。然而，根據幀內預測方向，這四個候選項是不同的。
為了保持變換矩陣的正交性，與HEVC中的變換矩陣相比，將這些變換矩陣進行更精確地量化。為了使變換係數的中間值保持在16位元的範圍內，在水平變換和垂直變換後，與當前HEVC變換中所使用的向右移位(shift)相比，所有的變換係數再向右移位2個位元。
AMT被使能以用於寬度和高度均小於或等於64的CU。其中，是否應用AMT是由CU層標誌(CU-level flag)所控制。當CU層標誌等於0時，將DCT-II應用到CU中以對殘差進行編解碼。對於在AMT使能的CU中的亮度編解碼塊，發信兩個額外的標誌以識別待使用的水平變換和垂直變換。
當AMT可用時，CU層標誌用於控制是否將AMT應用到CU。當CU層AMT標誌等於0時，將DCT-II應用到CU，以在水平方向和垂直方向上對殘差進行編解碼。對於亮度編解碼塊，當CU層AMT標誌等於1，表明將AMT應用到CU時，發信兩個額外的標誌以識別所選擇的水平變換和垂直變換。
對於幀內殘差編解碼，由於不同幀內預測模式的統計量不同，因此使用依賴於模式的變換候選項選擇處理。如表2所示，已經預定義三個變換集(transform set)以用於每 個CU，其中每個變換集均由兩個不同的變換組成。使用從0到2的變換索引以選擇變換集。如表3中的規定，根據CU的幀內預測模式選擇變換集。根據表3，當CU層AMT標志等於1時，根據CU的幀內預測模式，首先識別出變換集。在所識別出變換集的基礎上，對於水平變換和垂直變換中的每個，根據顯性發信標誌選擇兩個變換候選項中的其中一個。例如，如果幀內預測模式16用於CU，則垂直變換將使用變換集0(即DST-VII和DCT-VIII)，水平變換使用變換集2(即DST-VII和DCT-V)。此外，發信一標誌以指示所選擇以用於垂直變換的變換候選項，並發信一標誌以指示所選擇以用於水平變換的變換候選項。如果所發信的這些標誌對應於分別用於垂直變換和水平變換的(1,0)，且使用幀內預測模式16對CU進行編解碼，則來自變換集0的第二候選項(即，DCT-VIII)用於垂直變換，來自變換集2的第一候選項(即，DST-VII)用於水平變換。
對於幀間預測殘差，僅一個變換集包括DST-VII，並且DCT-VIII用於所有的幀間模式以及均用於水平變換和垂直變換。
因此，需要開發一種方法以進一步提高編解碼性能或者降低整合有AMT的系統的複雜度。
有鑑於此，本發明提供一種編碼或解碼視頻資料的方法及裝置，以解決上述問題。
本發明公開了一種編碼或解碼視頻資料方法及設備，該視頻編碼或解碼通過整合有AMT(adaptive multiple transform)的視頻編碼器或視頻解碼器來執行。根據本方法，接收與當前圖像中的當前塊相關的輸入資料；其中，在編碼器側，所述輸入資料對應於由前向變換處理進行處理的所述當前塊，且在解碼器側，所述輸入資料對應於由逆變換處理進行處理的當前係數塊。確定由指定為第一類型或第二類型的兩種類型候選項群組成的變換集，或確定由對應於所述第一類型、所述第二類型以及翻轉第二類型的三種類型組成的變換集；其中，所述第一類型與所述第二類型不同。如果當前塊使用AMT，則從變換集中選擇垂直變換和並從變換集中選擇水平變換。在編碼器側，根據所述當前塊、所述垂直變換和所述水平變換生成當前係數塊；或在解碼器側，根據所述當前係數塊、 與所述垂直變換相關的垂直逆變換和與所述水平變換相關的水平逆變換恢復當前塊。
在一個實施例中，在編碼器側發信用於均指示垂直變換選擇和水平變換選擇的變換索引，或在解碼器側解析所述變換索引。所述變換索引可被二值化為二進位串，並使用上下文自我調整二進位算術編碼(Context Adaptive Binary Arithmetic Coding，CABAC)對所述二進位串的一個或多個碼元(bin)進行編解碼。在另一實施例中，用於所述二進位串的一個或多個碼元的CABAC使用N個上下文；其中，N對應於正整數。根據所述當前塊的塊尺寸，確定用於所述CABAC的上下文索引。在又一實施例中，第一上下文集用於用幀內預測模式進行編解碼的所述當前塊的所述上下文自我調整二進位算術編碼，且第二上下文集用於用幀間預測模式進行編解碼的所述當前塊的所述上下文自我調整二進位算術編碼。
在一個實施例中，當所述變換集由所述第一類型和所述第二類型組成時，在所述編碼器側發信或在所述解碼器側解析用於指示垂直變換選擇的第一標誌以及用於指示水平變換選擇的第二標誌。所述第一標誌和所述第二標誌通過使用CABAC進行編解碼。所述第一標誌所使用的第一上下文集與所述第二標誌所使用的第二上下文集不同。在另一實施例中，分別根據一個或多個空間相鄰塊的垂直變換選擇和水平變換選擇，可確定所述第一標誌和所述第二標誌的上下文。當在所述編碼器側，並在發信所述第一標誌和所述第二標誌之前，發信所述當前係數塊；或在所述解碼器側，並在解析所述當前係 數塊之後，解析所述第一標誌和所述第二標誌；以及如果所述當前係數塊的非零係數的數量小於閾值，則在所述編碼器側不發信所述第一標誌和所述第二標誌，或在所述解碼器側不解析所述第一標誌和所述第二標誌。在本例中，所述第一標誌和所述第二標誌被推斷為預定義類型。
在一個實施例中，所述第一類型對應於DCT-II，且所述第二類型自包括離散正弦變換類型IV(Discrete Sine Transform Type IV，DST-IV)、DST-VII以及翻轉DCT-IV(Flipped Discrete Cosine Transform Type IV，FDCT-IV)的組中選擇。如果所述當前塊不使用所述AMT，則選擇所述第一類型以用於所述垂直變換和所述水平變換。如果當前塊使用所述AMT，則所述垂直變換和所述水平變換選擇不同的變換類型，或所述垂直變換和所述水平變換選擇所述第二類型。如果當前塊使用所述AMT，則所述當前塊是否允許所述第二類型依賴於與所述當前塊相關的尺寸。與所述當前塊相關的所述尺寸對應於變換塊尺寸。與所述當前塊相關的所述尺寸對應於變換寬度或變換高度。
本發明公開了另一種編碼或解碼視頻資料方法及設備，該視頻編碼或解碼通過整合有AMT的視頻編碼器或視頻解碼器來執行。根據本方法，接收與在當前圖像中的當前塊相關的輸入資料；其中，在編碼器側，所述輸入資料對應於由前向變換處理進行處理的所述當前塊，且在解碼器側，所述輸入資料對應於由逆變換處理進行處理的當前係數塊。確定與所述當前塊相關的當前運動向量差(Motion Vector Difference， MVD)的解析度。根據所述當前MVD的解析度，確定變換集。從所述變換集中選擇垂直變換和水平變換。在所述編碼器側，根據所述當前塊、所述垂直變換和所述水平變換生成當前係數塊；或在所述解碼器側，根據所述當前係數塊、與所述垂直變換相關的垂直逆變換和與所述水平變換相關的水平逆變換恢復所述當前塊。
在一個實施例中，如果所述當前MVD的解析度對應於整數亮度樣本(sample)或者四個亮度樣本，使用縮減的變換集以選擇所述垂直變換和所述水平變換，或選擇默認變換類型以均用於所述垂直變換和所述水平變換。例如，所述默認變換類型可以對應於DCT-II，或者可以在SPS、圖像參數集(Picture Parameter Set，PPS)或者切片頭中發信所述默認變換類型。
在另一實施例中，還根據與當前MVD的解析度以及所述變換塊相關的尺寸確定所述變換集。例如，如果所述當前MVD的解析度對應於整數亮度樣本或者四個亮度樣本，且與所述當前塊相關的所述尺寸大於閾值，則使用縮減的變換集以選擇所述垂直變換和所述水平變換，或選擇默認變換類型以均用於所述垂直變換和所述水平變換。所述默認變換類型可對應於DCT-II，或者在SPS、PPS或切片頭中發信所述默認變換類型。與所述當前塊相關的尺寸可對應於所述當前塊的塊尺寸、所述當前塊較長側的長度，或所述當前塊較短側的長度。
本發明僅使用兩種類型的變換來進行殘差編解碼，進一步提高了編解碼性能，降低了整合有AMT系統的複 雜度。
110~140‧‧‧步驟
210~240‧‧‧步驟
310~350‧‧‧步驟
第1圖是根據本發明之方法的AMT的示例。
第2圖是根據本發明之方法的整合有AMT的編解碼系統的流程圖的示例；其中，縮減的(reduced)變換集用於AMT。
第3圖是根據本發明之方法的整合有AMT的編解碼系統的流程圖的示例；其中，根據MVD解析度自我調整地應用AMT。
以下描述是實現本發明的最佳實施方式。這一描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍應透過申請專利範圍來確定。
依賴於MVD-解析度的AMT
在傳統的AMT中，根據CU的幀內預測模式，自我調整地選擇變換集以用於每一CU。為了提高編解碼效率，根據MVD解析度自我調整地應用AMT。如視頻編解碼領域所已知的，通過使用運動向量預測子可以有效且預測性地發信與當前塊相關的運動向量。因此，發信MVD，而不是發信運動向量本身。此外，分數圖元精度可用於運動向量、運動向量預測子以及MVD，以用於更精准的運動估計/運動補償。第1圖示出了根據本發明的一種示例性流程。在步驟110中，首先確定用於當前塊的MVD解析度；隨後，在步驟120中，根據MVD解析度確定變換集；在步驟130中，在變換集中選擇變換類型以分別用於垂直變換和水平變換；以及，在步驟140中，將所 選擇的變換類型分別用於垂直變換和水平變換。例如，在編碼器側，根據當前塊以及與所選擇的變換類型相關的垂直變換和水平變換生成當前係數塊。在解碼器側，根據當前係數塊、與垂直變換相關的垂直逆變換以及與水平變換相關的逆變換恢復當前塊。
在一個實施例中，當在當前塊中使用整數亮度樣本或四個亮度樣本MVD時，禁能AMT，並使用默認變換類型。因此，不會向當前塊發信CU層標誌或用於指示水平變換及垂直變換的變換類型的標誌。可以在高層語法中預定義或發信該默認變換類型。在一個示例中，在兩個方向上的默認變換類型為DCT-II。在另一示例中，在SPS、PPS或切片頭中發信該默認變換類型。四個亮度樣本MVD指的是MVD解析度對應於四個亮度樣本(即，2×2亮度圖元)的情況。
在另一實施例中，當在當前塊中使用整數亮度樣本或四個亮度樣本MVD時，完整變換集(full transform set)的集合用於當前塊。在一個示例中，選擇兩個變換作為變換集。首先，發信一個標誌以指示是否應用AMT。如果沒有應用AMT，則使用默認變換類型；以及如果應用AMT，則應用第二變換類型。默認變換類型(或稱為第一變換類型)可以為DCT-II，或者其他預定義類型之一，第二變換類型可以為DST-VII，或者其他預定義類型之一。
在又一實施例中，當在當前塊中使用四個亮度樣本MVD時，禁能AMT，並在兩個方向上使用默認變換類型。因此，不會向當前塊發信CU層標誌以及用於指示水平變換及 垂直變換的變換類型的標誌。可以在高層語法中預定義或發信默認變換類型。在一個示例中，該默認變換類型可以是DCT-II。在另一示例中，可以在SPS、PPS或切片頭中發信該默認變換類型。
在又一實施例中，當在當前塊中使用四個亮度樣本MVD時，完整變換集的子集用於當前塊。在一個示例中，選擇兩個變換作為子集。首先，發信一個標誌以指示是否應用AMT。如果沒有應用AMT，則使用默認變換類型；以及如果應用AMT，則使用第二變換類型。默認變換類型(或稱為第一變換類型)可以為DCT-II，或者其他預定義類型之一，第二變換類型可以為DST-VII，或者其他預定義類型之一。
在另一方法中，基於MVD解析度及塊尺寸，自我調整地應用AMT。
在一個實施例中，當在當前塊中使用整數亮度樣本或四個亮度樣本MVD且當前塊的塊尺寸大於閾值時，禁能AMT，並使用默認變換類型。因此，不會向當前塊發信CU層標誌以及用於指示水平變換及垂直變換的變換類型的標誌。可以在高層語法中預定義或發信默認變換類型。在一個示例中，該默認變換類型可以是DCT-II。在另一示例中，可以在SPS、PPS或切片頭中發信該默認變換類型。
在另一實施例中，當在當前塊中使用整數亮度樣本或四個亮度樣本MVD且當前塊的塊尺寸大於閾值時，完整變換集的子集用於當前塊。在一個示例中，選擇兩個變換作為子集。首先，發信一個標誌以指示是否應用AMT。如果沒有 應用AMT，則使用第一變換類型；以及如果應用AMT，則使用第二變換類型。第一變換類型可以為DCT-II，或者其他預定義類型之一，第二變換類型可以為DST-VII，或者其他預定義類型之一。
在又一實施例中，當在當前塊中使用四個亮度樣本MVD且當前塊的塊尺寸大於閾值時，禁能AMT，並使用默認變換類型。因此，不會向當前塊發信CU層標誌以及用於指示水平變換及垂直變換的變換類型的標誌。可以在高層語法中預定義或發信該默認變換類型。在一個示例中，該默認變換類型可以是DCT-II。在另一示例中，可以在SPS、PPS或切片頭中發信該默認變換類型。
在又一實施例中，當在當前塊中使用四個亮度樣本MVD且當前塊的塊尺寸大於閾值時，變換集的子集用於當前塊。在一個示例中，選擇兩個變換作為子集。首先，發信一個標誌以指示是否應用AMT。如果沒有應用AMT，則使用第一變換類型；以及如果應用AMT，則應用第二變換類型。第一變換類型可以為DCT-II，或者其他預定義類型之一，第二變換類型可以為DST-VII，或者其他預定義類型之一。
在本方法的所有上述實施例中，塊尺寸可由其面積(即寬*高)、其較長側的長度或其較短側的長度來測量。
在本方法的所有上述實施例中，可以在高層語法中預定義或發信該塊面積的閾值。例如，該閾值可以為64、256或1024。在另一示例中，可以在SPS、PPS或切片頭中發信該閾值。
在本方法的所有上述實施例中，可以在高層語法中預定義或發信該塊的較長側的閾值。閾值的示例是：8、16、32等。在另一示例中，可以在SPS、PPS或切片頭中發信該閾值。
在本方法的所有上述實施例中，可以在高層語法中預定義或發信該塊的較短側的閾值。例如，該閾值可以為8、16或32。在另一示例中，可以在SPS、PPS或切片頭中發信該閾值。
在又一實施例中，在本發明上述的所有的方法及實施例中，使用約束(constraint)，以在應用AMT時，兩個方向(即水平和垂直方向)應當使用相同的變化類型。因此，無需單獨地指示兩個方向中的每個的變換類型。
變換類型的選擇
當前，總共有高達八種DCT以及八種DST，其與傳統的AMT相關。為了支持AMT大量的變換，將會導致實施的複雜度高，並需要更多側資訊(side information)來指示所選擇的類型。在本發明中，提出了僅使用兩種類型的變換來進行殘差編解碼，這兩種類型表示為類型A和類型B。對於水平變換和垂直變換中的每個，使用類型A或類型B。在一個方法中，類型A通常選擇DCT-II，另一方面，類型B可以自包括DST-IV、DST-VII以及翻轉DCT-IV的組中選擇一個。下面列舉根據本方法的一些實施例：類型A為DCT-II且類型B為DST-IV。
類型A為DCT-II且類型B為DST-VII。
類型A為DCT-II且類型B為FDCT-IV。
在上述實施例中，可以將類型A和類型B的選擇進行交換。例如，在上述第一實施例中，類型A可以為DST-IV且類型B可以為DCT-II。
將訊號f[n]的N點DST-IV變換定義為：
將訊號f[n]的N點DCT-IV變換定義為：
將FDCT-IV定義為：。
可以在高層語法中，例如在SPS、視頻參數集(video parameter set，VPS)、PPS或切片頭中，發信類型A和類型B的選擇。
不同塊尺寸的變換類型的可用性
本發明的另一方面提出了允許類型A和類型B變換的條件。首先定義了一些參數：MaxTrSize為所允許的最大變換尺寸；MinTrSize為所允許的最小變換尺寸。
在一個實施例中，類型A和類型B變換可用於位於從MinTrSize到MaxTrSize的範圍內的所有尺寸。
在另一實施例中，類型A可用於MinTrSize與MaxTrSize之間的範圍內的所有尺寸。然而，類型B僅可用於MinTrSize與MaxTrSize/2之間的範圍內的尺寸。在尺寸等於MaxTrSize的例子中，將推斷該變換為類型A。
在又一實施例中，如果在一個方向上的變換尺寸等於預定義的最小尺寸，則將僅允許默認變換類型。例如，當變換尺寸等於4時，使用默認類型B。
在又一實施例中，如果變換塊的寬度或高度等於MinTrSize，則將水平方向和垂直方向的變換類型設置成相同。例如，在本例中，如果確定水平變換為類型A，則推斷垂直變換為類型A。
變換選擇標誌的編解碼
本發明提出了，對於水平方向和垂直方向中的每個，如果類型A和類型B均可用，則一個標誌(碼元(bin))用於指示變換類型的選擇。控制類型A變換或類型B變換的選擇的標誌由CABAC進行編解碼。
在一個實施例中，僅一個上下文用於對水平方向和垂直方向的標誌均進行編解碼。
在另一實施例中，使用兩個上下文，其中一個上下文用於對水平方向的標誌進行編解碼，另一個上下文用於對垂直方向的標誌進行編解碼。
在又一實施例中，對於兩個方向中的每個，使用空間相鄰塊的變換類型對該標誌進行上下文編解碼。例如，如果對頂端塊和左側塊均以類型A進行編解碼，則可以將上下文索引ctxIdx設置為2；否則，如果對頂端塊和左側塊其中之一以類型A進行編解碼，則將上下文索引ctxIdx設置為1；否則，將上下文索引ctxIdx設置為0。
在又一實施例中，使用N(N>2)個上下文。根據變 換的尺寸確定上下文索引。例如，將上下文索引ctxIdx設置為log2(MaxTrSize)-log2(CurrSize)，其中CurrSize對應於當前變換的尺寸。如果ctxIdx大於(N-1)，則將ctxIdx設置為(N-1)。
在又一實施例中，使用兩個上下文集，每一上下文集均由N個上下文組成。第一上下文集用於對水平標誌進行編解碼，另一上下文集用於對垂直標誌進行編解碼。每一上下文集中的索引根據如上所述的空間相鄰塊的變換尺寸或變換類型來確定。
在又一實施例中，對第一方向的標誌進行編解碼的上下文依賴於第二方向的變換類型。例如，如果所確定的第二方向的變換類型為類型A，則第一上下文集用於對第一方向的標誌進行編解碼。否則，如果所確定的第二方向的變換類型為類型B，則第二上下文集用於對第一方向的標誌進行編解碼。上下文集可僅包括一個上下文，或者包括多個上下文。如果多個上下文被使用，則上下文可以由上述的空間相鄰塊的變換尺寸或變換類型來確定。
在又一實施例中，在對變換係數進行編解碼後，對標誌進行編解碼。如果非零係數的數量小於閾值，則不對標誌進行編解碼，且推斷標誌為0。換言之，推斷變換類型為預定義的一種類型，例如類型A。閾值可以為2、3或其他整數。
在又一實施例中，在對變換係數進行編解碼後，對標誌進行編解碼。如果非零AC係數的數量小於閾值，則不對標誌進行編解碼，且推斷標誌為0。換言之，推斷變換類型為預定義的一種類型，例如類型A。AC係數指的是不處於變 換塊的左上位置(0,0)的係數。閾值可以為2、3或其他整數。
在兩個方向上的變換決策的聯合編解碼
另一編解碼變換決策標誌的方法為在兩個方向上對決策進行聯合編解碼。變換索引TrIdx=0,1,2,3用於指示在兩個方向上所選擇的變換類型。表4示出了TrIdx的二值化以及TrIdx到不同變換類型的映射的實施例。CABAC可用於在二值化後對碼元進行編解碼。
I.二值化的第一碼元的上下文建模：
一個、兩個或N個(N>2)上下文可用於對第一碼元進行編解碼。
上下文索引可以根據塊尺寸進行確定。例如，如果塊寬度為CurrW，且塊高度為CurrH，則上下文索引為ctxIdx=(2*log2(MaxTrSize)-log2(CurrW)-log2(CurrH))>>1。如果ctxIdx大於(N-1)，則將ctxIdxis設置為(N-1)。
在另一實施例中，兩個上下文集用於對第一碼元進行編解碼。第一上下文集用於幀內預測模式，另一上下文集則用於幀間預測模式。每一上下文集中的索引由如上所述的塊 尺寸來確定。
II.第二碼元的上下文建模：
在一個實施例中，僅一個上下文用於對第二碼元進行編解碼。在另一實施例中，兩個上下文用於對第二碼元進行編解碼，其中一個上下文用於幀內預測模式，另一上下文用於幀間預測模式。
III.第三碼元的上下文建模：
在一個實施例中，僅一個上下文用於對第三碼元進行編解碼。在另一實施例中，兩個上下文用於對第三碼元進行編解碼：其中一個上下文用於幀內預測模式，而另一上下文則用於幀間預測模式。
注意，也可以應用上述的聯合編解碼方法，以對JEM AMT方法中的變換索引進行編解碼。
在另一方法中，類型A為DCT-II，且類型B為從{DST-VII,DST-IV,DCT-IV}中選擇的一個，並也使用翻轉類型 B。令為具有變換類型B的訊號f[n]的N點變換，則可以將 翻轉類型B變換計算為：。
在一個實施例中，幀內預測編碼和幀間預測編碼使用不同的變換集。對於幀內預測編碼，使用表4中的變換集。對於幀間預測編碼則使用表5中的變換集。
在另一實施例中，幀內預測和幀間預測均使用表5中的相同的變換集。
上述的變換可以僅使用具有預定義精准度的整數來實現。例如，變換係數可以被縮放64倍，隨後被取整成(rounded to)最接近的整數。
第2圖示出了根據本發明的方法的整合有AMT的編碼系統的流程圖的示例；其中，縮減的變換集用於AMT。本流程圖中所示的步驟也可根據諸如用於執行本流程圖中的步驟的一個或多個電子設備或處理器的硬體來實現。根據本方法，在步驟210中，接收與當前圖像相關的輸入資料；其中，在編碼器側，輸入資料對應於由前向變換處理進行處理的當前塊，且在解碼器側，輸入資料對應於由逆變換處理進行處理的當前係數塊。例如，在編碼器側，輸入資料可對應於由前向變換處理進行處理以獲取變換塊的預測殘差塊，或者，輸入資料可對應於與預測殘差相關的變換塊以及逆變換以恢復預測殘差塊的變換塊。在步驟220中，確定由指定為第一類型或第二類型的兩種類型候選項群組成的變換集，或由對應於第一類型、第二類型以及翻轉第二類型的三種類型組成的變換集；其中，第一類型和第二類型不同。如前所述，僅限制為兩種變換類型可以降低AMT處理的複雜度，並減少用於指示變換類型 選擇的開銷資訊。在步驟230中，如果當前塊使用AMT，則從變換集中選擇垂直變換和水平變換。如視頻編解碼領域所已知的，編碼器可以根據性能標準做出選擇，例如，率失真優化(Rate-Distortion Optimization，RDO)處理。在解碼器側，所選擇的垂直變換和水平變換可自位元流中的已編解碼資料確定，或者可以被隱性地確定。在步驟240中，在編碼器側，根據當前塊、垂直變換以及水平變換生成當前係數塊，或在解碼器側，根據當前係數塊、垂直逆變換和水平逆變換恢復當前塊。
第3圖示出了根據本發明方法的整合有AMT(Adaptive Multiple Transform)的編碼系統的流程圖的示例；其中，根據MVD解析度自我調整地AMT。根據本方法，在步驟310中，接收與當前圖像相關的輸入資料；其中，在編碼器側，輸入資料對應於由前向變換處理進行處理的當前塊，且在解碼器側，該輸入資料對應於由逆變換處理進行處理的當前係數塊。例如，在編碼器側，輸入資料可對應於由前向變換處理進行處理以獲取變換塊的預測殘差塊，或者，輸入資料可對應於與預測殘差相關的變換塊以及逆變換以恢復預測殘差塊的變換塊。在步驟320中，確定與當前塊相關的當前MVD的解析度。如視頻編解碼領域所已知的，MVD解析度的選擇可在高層語法中表示。由於更精細的MVD解析度將需要更多的計算(例如插值)以及更多的記憶體訪問，因此編碼系統可根據系統資源或編解碼性能選擇MVD解析度。隨後，在步驟330中，根據當前MVD的解析度確定變換集。本申請中已經示出根據MVD解析度確定變換集的各種示例。在步驟340中，從 變換集中選擇垂直變換和水平變換。如視頻編碼領域所已知的，編碼器可以根據性能標準做出選擇，例如RDO處理。在解碼器側，所選擇的垂直變換和水平變換可自位元流中的已編解碼的資料確定，或者可以被隱性地確定。在步驟350中，在編碼器側，根據當前塊、垂直變換以及水平變換生成當前係數塊，或在解碼器側，根據當前係數塊、垂直逆變換和水平逆變換恢復當前塊。
本發明所示的流程圖用於示出視頻編碼的示例。在不脫離本發明的精神的情況，本領域技術人員可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本發明中，已經使用特定語法和語義來示出不同示例，以實施本發明的實施例。在不脫離本發明的精神的情況，本領域技術人員可以通過用等價的語法和語義來替換該語法和語義來實施本發明。
上述說明的出現使得本領域的普通技術人員能夠在特定應用程式的內容及其需求中實施本發明。對本領域技術人員來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，本領域的技術人員將理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是整 合在視訊壓縮晶片內的一個或多個電路，或者是整合到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的多個函數。根據本發明，通過執行定義本發明所呈現的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由所附的申請專利範圍來表示，而不是前述的描述來表示。申請專利範圍的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (26)

  1. 一種編碼或解碼視頻資料之方法，該方法包括：接收與當前塊相關的輸入資料；其中，在編碼器側，所述輸入資料對應於由前向變換處理進行處理的所述當前塊，且在解碼器側，所述輸入資料對應於由逆變換處理進行處理的當前係數塊；確定由指定為第一類型或第二類型的兩種類型候選項群組成的變換集，或確定由對應於所述第一類型、所述第二類型以及翻轉第二類型的三種類型組成的變換集；其中，所述第一類型與所述第二類型不同；如果所述當前塊使用自我調整多重變換，則從所述變換集中選擇垂直變換和水平變換；以及在所述編碼器側，根據所述當前塊、所述垂直變換和所述水平變換生成當前係數塊；或在所述解碼器側，根據所述當前係數塊、與所述垂直變換相關的垂直逆變換和與所述水平變換相關的水平逆變換恢復所述當前塊。
  2. 如申請專利範圍第1項所述之編碼或解碼視頻資料之方法，其中，在所述編碼器側發信用於均指示垂直變換選擇和水平變換選擇的變換索引，或在所述解碼器側解析所述變換索引。
  3. 如申請專利範圍第2項所述之編碼或解碼視頻資料之方法，其中，將所述變換索引二值化為二進位串，並使用上下文自我調整二進位算術編碼對所述二進位串的一個或多個碼元進行編解碼。
  4. 如申請專利範圍第3項所述之編碼或解碼視頻資料之方法，其中，用於所述二進位串的一個或多個碼元的所述上下文自我調整二進位算術編碼使用N個上下文；其中，N對應於正整數。
  5. 如申請專利範圍第3項所述之編碼或解碼視頻資料之方法，其中，用於所述上下文自我調整二進位算術編碼的上下文索引是根據所述當前塊的塊尺寸而確定。
  6. 如申請專利範圍第3項所述之編碼或解碼視頻資料之方法，其中，第一上下文集用於用幀內預測模式進行編解碼的所述當前塊的所述上下文自我調整二進位算術編碼，且第二上下文集用於用幀間預測模式進行編解碼的所述當前塊的所述上下文自我調整二進位算術編碼。
  7. 如申請專利範圍第1項所述之編碼或解碼視頻資料之方法，其中，當所述變換集由所述第一類型和所述第二類型組成時，在所述編碼器側發信或在所述解碼器側解析用於指示垂直變換選擇的第一標誌以及用於指示水平變換選擇的第二標誌。
  8. 如申請專利範圍第7項所述之編碼或解碼視頻資料之方法，其中，所述第一標誌和所述第二標誌通過使用所述上下文自我調整二進位算術編碼進行編解碼。
  9. 如申請專利範圍第8項所述之編碼或解碼視頻資料之方法，其中，所述第一標誌所使用的第一上下文集與所述第二標誌所使用的第二上下文集不同。
  10. 如申請專利範圍第8項所述之編碼或解碼視頻資料之方 法，其中，所述第一標誌和所述第二標誌的上下文是分別根據一個或多個空間相鄰塊的垂直變換選擇和水平變換選擇來確定。
  11. 如申請專利範圍第7項所述之編碼或解碼視頻資料之方法，其中，在所述編碼器側，所述當前係數塊在所述第一標誌和所述第二標誌之前被發信；或在所述解碼器側，所述第一標誌和所述第二標誌在解析所述當前係數塊之後被解析；以及如果所述當前係數塊的非零係數的數量小於閾值，則在所述編碼器側不發信所述第一標誌和所述第二標誌，或在所述解碼器側不解析所述第一標誌和所述第二標誌；其中，所述第一標誌和所述第二標誌被推斷為預定義類型。
  12. 如申請專利範圍第1項所述之編碼或解碼視頻資料之方法，其中，所述第一類型對應於離散余弦變換類型II，且所述第二類型自包括離散正弦變換類型IV、離散正弦變換類型VII以及翻轉離散余弦變換類型IV的組中選擇。
  13. 如申請專利範圍第12項所述之編碼或解碼視頻資料之方法，其中，如果所述當前塊不使用所述自我調整多重變換，則選擇所述第一類型以用於所述垂直變換和所述水平變換。
  14. 如申請專利範圍第12項所述之編碼或解碼視頻資料之方法，其中，如果當前塊使用所述自我調整多重變換，則所述垂直變換和所述水平變換選擇不同的變換類型，或所述垂直變換和所述水平變換均選擇所述第二類型。
  15. 如申請專利範圍第12項所述之編碼或解碼視頻資料之方法，其中，如果當前塊使用所述自我調整多重變換，則所述當前塊是否允許所述第二類型依賴於與所述當前塊相關的尺寸。
  16. 如申請專利範圍第15項所述之編碼或解碼視頻資料之方法，其中，與所述當前塊相關的所述尺寸對應於變換塊尺寸。
  17. 如申請專利範圍第15項所述之編碼或解碼視頻資料之方法，其中，與所述當前塊相關的所述尺寸對應於變換寬度或變換高度。
  18. 一種編碼或解碼視頻資料之裝置，該裝置包括一個或多個電子電路或處理器，用於：接收與當前塊相關的輸入資料；其中，在編碼器側，所述輸入資料對應於由前向變換處理進行處理的所述當前塊，且在解碼器側，所述輸入資料對應於由逆變換處理進行處理的當前係數塊；確定由指定為第一類型或第二類型的兩種類型候選項群組成的變換集，或確定由對應於所述第一類型、所述第二類型以及翻轉第二類型的三種類型組成的變換集；其中，所述第一類型與所述第二類型不同；如果所述當前塊使用自我調整多重變換，則從所述變換集中選擇垂直變換和水平變換；以及在所述編碼器側，根據所述當前塊、所述垂直變換和所述水平變換生成當前係數塊；或在所述解碼器側，根據所述 當前係數塊、與所述垂直變換相關的垂直逆變換和與所述水平變換相關的水平逆變換恢復所述當前塊。
  19. 一種編碼或解碼視頻資料之方法，該方法包括：接收與以幀內預測模式編解碼的當前塊相關的輸入資料；其中，在編碼器側，所述輸入資料對應於由前向變換處理進行處理的所述當前塊，且在解碼器側，所述輸入資料對應於由逆變換處理進行處理的當前係數塊；確定與所述當前塊相關的當前運動向量差的解析度；根據所述當前運動向量差的解析度，確定變換集；從所述變換集中選擇垂直變換和水平變換；以及在所述編碼器側，根據所述當前塊、所述垂直變換和所述水平變換生成當前係數塊；或在所述解碼器側，根據所述當前係數塊、與所述垂直變換相關的垂直逆變換和與所述水平變換相關的水平逆變換恢復所述當前塊。
  20. 如申請專利範圍第19項所述之編碼或解碼視頻資料之方法，其中，如果所述當前運動向量差的解析度對應於整數亮度樣本或者四個亮度樣本，縮減的變換集被使用以用於選擇所述垂直變換和所述水平變換，或默認變換類型被選擇以均用於所述垂直變換和所述水平變換。
  21. 如申請專利範圍第20項所述之編碼或解碼視頻資料之方法，其中，所述默認變換類型對應於離散余弦變換類型II，或者在序列參數集、圖像參數集或切片頭中發信所述默認變換類型。
  22. 如申請專利範圍第19項所述之編碼或解碼視頻資料之方 法，其中，所述變換集還根據與所述變換塊相關的尺寸來確定。
  23. 如申請專利範圍第22項所述之編碼或解碼視頻資料之方法，其中，如果所述當前運動向量差的解析度對應於整數亮度樣本或者四個亮度樣本，且與所述當前塊相關的所述尺寸大於閾值，則縮減的變換集被使用以用於選擇所述垂直變換和所述水平變換，或默認變換類型被選擇以均用於所述垂直變換和所述水平變換。
  24. 如申請專利範圍第23項所述之編碼或解碼視頻資料之方法，其中，所述默認變換類型對應於離散余弦變換類型II，或者在序列參數集、圖像參數集或切片頭中發信所述默認變換類型。
  25. 如申請專利範圍第23項所述之編碼或解碼視頻資料之方法，其中，與所述當前塊相關的所述尺寸對應於所述當前塊的塊尺寸、所述當前塊較長側的長度，或所述當前塊較短側的長度。
  26. 一種編碼或解碼視頻資料之裝置，該裝置包括一個或多個電子電路或處理器，用於：接收與以幀內預測模式編解碼的當前塊相關的輸入資料；其中，在編碼器側，所述輸入資料對應於由前向變換處理進行處理的所述當前塊，且在解碼器側，所述輸入資料對應於由逆變換處理進行處理的當前係數塊；確定與所述當前塊相關的當前運動向量差的解析度；根據所述當前運動向量差的解析度，確定變換集； 從所述變換集中選擇垂直變換和水平變換；以及在所述編碼器側，根據所述當前塊、所述垂直變換和所述水平變換生成當前係數塊；或在所述解碼器側，根據所述當前係數塊、與所述垂直變換相關的垂直逆變換和與所述水平變換相關的水平逆變換恢復所述當前塊。
TW107115256A 2017-05-11 2018-05-04 編碼或解碼視頻資料之方法及裝置 TWI669948B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762504646P 2017-05-11 2017-05-11
US62/504,646 2017-05-11
US201762525240P 2017-06-27 2017-06-27
US62/525,240 2017-06-27
US201862615555P 2018-01-10 2018-01-10
US62/615,555 2018-01-10
US15/964,310 2018-04-27
US15/964,310 US10750181B2 (en) 2017-05-11 2018-04-27 Method and apparatus of adaptive multiple transforms for video coding

Publications (2)

Publication Number Publication Date
TW201902216A true TW201902216A (zh) 2019-01-01
TWI669948B TWI669948B (zh) 2019-08-21

Family

ID=64098000

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107115256A TWI669948B (zh) 2017-05-11 2018-05-04 編碼或解碼視頻資料之方法及裝置

Country Status (3)

Country Link
US (2) US10750181B2 (zh)
CN (1) CN109089117B (zh)
TW (1) TWI669948B (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411580B (zh) * 2016-05-13 2024-01-30 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
JP7446988B2 (ja) * 2017-08-04 2024-03-11 エルジー エレクトロニクス インコーポレイティド ビデオ圧縮のための変換を構成する方法および装置
CN115190296A (zh) * 2017-12-28 2022-10-14 松下电器（美国）知识产权公司 编码装置、解码装置和存储介质
US10841578B2 (en) 2018-02-12 2020-11-17 Tencent America LLC Method and apparatus for using an intra prediction coding tool for intra prediction of non-square blocks in video compression
US10567801B2 (en) * 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
WO2019190283A1 (ko) * 2018-03-29 2019-10-03 엘지전자 주식회사 저복잡도 연산 dst7을 설계하는 방법 및 장치
US10491914B2 (en) * 2018-03-29 2019-11-26 Tencent America LLC Transform information prediction
EP3777165A1 (en) * 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Determination of set of candidate transforms for video encoding
JP7334730B2 (ja) * 2018-03-30 2023-08-29 ソニーグループ株式会社 画像処理装置および方法
US10536720B2 (en) * 2018-05-07 2020-01-14 Tencent America LLC Method, apparatus and medium for decoding or encoding
US11533508B2 (en) * 2018-06-08 2022-12-20 Kt Corporation Method and apparatus for encoding/decoding residual data based on a plurality of transformations
US10666981B2 (en) 2018-06-29 2020-05-26 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10687081B2 (en) * 2018-06-29 2020-06-16 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10567752B2 (en) * 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
JP2021166320A (ja) * 2018-07-06 2021-10-14 ソニーグループ株式会社 画像処理装置および方法
US11259052B2 (en) * 2018-07-16 2022-02-22 Qualcomm Incorporated Transform variations of multiple separable transform selection
US11218694B2 (en) 2018-09-24 2022-01-04 Qualcomm Incorporated Adaptive multiple transform coding
WO2020071736A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
US10893286B2 (en) * 2018-10-09 2021-01-12 Tencent America LLC Methods and apparatus for low-complexity MTS
US11284112B2 (en) * 2018-12-06 2022-03-22 Tencent America LLC Method and apparatus for a primary transform using an 8-bit transform core
EP3903487A4 (en) * 2018-12-28 2022-09-21 Telefonaktiebolaget Lm Ericsson (Publ) METHOD AND DEVICE FOR TRANSFORMATION SELECTION IN AN ENCODER AND DECODER
CN111385584B (zh) * 2018-12-28 2022-09-06 杭州海康威视数字技术股份有限公司 进行编码、解码的方法、装置和系统
CN113261295A (zh) * 2018-12-31 2021-08-13 北京字节跳动网络技术有限公司 具有MVD的Merge中距离索引与距离之间的映射
WO2020141909A1 (ko) * 2019-01-01 2020-07-09 엘지전자 주식회사 변환을 사용하여 비디오 신호를 처리하기 위한 방법 및 이를 위한 장치
KR20210107130A (ko) * 2019-01-11 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 Dct2 활성화된 하이 레벨 플래그를 이용하는, 인코더, 디코더 및 대응하는 방법
US10986339B2 (en) * 2019-02-08 2021-04-20 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection
CN109788291A (zh) * 2019-02-12 2019-05-21 北京大学 一种数字视频变换方法、装置、设备及存储介质
CA3131288A1 (en) * 2019-03-03 2020-09-10 Huawei Technologies Co., Ltd. An encoder, a decoder, and corresponding methods that are used for transform process
CN111669579B (zh) * 2019-03-09 2022-09-16 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、编码端、解码端和系统
CN113747156A (zh) * 2019-03-09 2021-12-03 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
WO2020185427A1 (en) * 2019-03-11 2020-09-17 Alibaba Group Holding Limited Inter prediction methods for coding video data
CN111372082B (zh) * 2019-03-27 2022-06-03 北京达佳互联信息技术有限公司 一种视频编码中编码块标志cbf的编解码方法及设备
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
CN111836043A (zh) * 2019-04-15 2020-10-27 中兴通讯股份有限公司 码块的预测、解码方法及装置
US11956469B2 (en) * 2019-04-16 2024-04-09 Hfi Innovation Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on TB level syntax
CN113728641B (zh) * 2019-04-23 2023-09-15 北京字节跳动网络技术有限公司 在视频编解码中有条件地使用多重变换矩阵
CN113812146B (zh) 2019-05-10 2022-11-11 北京字节跳动网络技术有限公司 用于视频处理的基于亮度的二次变换矩阵选择
WO2020244656A1 (en) 2019-06-07 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
JP7302037B2 (ja) * 2019-06-19 2023-07-03 エルジー エレクトロニクス インコーポレイティド 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
KR102211000B1 (ko) * 2019-06-21 2021-02-02 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
WO2020253810A1 (en) * 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Coding tools for chroma components
MX2021012503A (es) * 2019-06-21 2021-11-12 Panasonic Ip Corp America Sistema y metodo de codificacion de video.
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN114827629B (zh) * 2019-08-23 2024-02-27 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
CN116016915B (zh) * 2019-11-21 2024-04-23 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
US11284071B2 (en) * 2019-12-12 2022-03-22 Google Llc Combination of mode-dependent and fixed transform types in video coding
GB2593778A (en) * 2020-04-03 2021-10-06 Sony Group Corp Video data encoding and decoding
GB2603559B (en) * 2021-07-22 2023-08-09 Imagination Tech Ltd Coding blocks of pixels
WO2023118289A1 (en) * 2021-12-21 2023-06-29 Interdigital Vc Holdings France, Sas Transform coding based on depth or motion information

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618442B1 (en) * 1998-12-29 2003-09-09 Intel Corporation Method and apparatus for transcoding digital video signals
US7620252B2 (en) * 2005-04-22 2009-11-17 Hewlett-Packard Development Company, L.P. System and method for compressing an image
FR2894739A1 (fr) 2005-12-12 2007-06-15 Thomson Licensing Sa Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
US7751633B1 (en) * 2006-08-31 2010-07-06 Hewlett-Packard Development Company, L.P. Method for compressing an image
US20120002729A1 (en) * 2010-06-30 2012-01-05 Texas Instruments Incorporated Method and apparatus for low cost coefficient-suppression for video compression
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US8929455B2 (en) 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN106331703B (zh) * 2015-07-03 2020-09-08 华为技术有限公司 视频编码和解码方法、视频编码和解码装置
JP6595711B2 (ja) * 2015-12-23 2019-10-23 華為技術有限公司 階層的分割内でのブロックレベルの変換選択および黙示的シグナリングを伴う変換コーディングのための方法および装置
US10819978B2 (en) * 2016-01-11 2020-10-27 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
CN116614641A (zh) * 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
CN113873241B (zh) * 2016-08-31 2024-02-20 株式会社Kt 用于对视频进行解码的方法和用于对视频进行编码的方法
US10462462B2 (en) * 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
KR20180057563A (ko) * 2016-11-22 2018-05-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11405645B2 (en) * 2017-02-28 2022-08-02 Google Llc Transform kernel selection and entropy coding

Also Published As

Publication number Publication date
TWI669948B (zh) 2019-08-21
CN109089117A (zh) 2018-12-25
US10750181B2 (en) 2020-08-18
CN109089117B (zh) 2021-05-07
US20180332289A1 (en) 2018-11-15
US20200336744A1 (en) 2020-10-22
US11259025B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
TWI669948B (zh) 編碼或解碼視頻資料之方法及裝置
TWI646829B (zh) 一種視訊編碼系統使用的視訊編碼方法及裝置
TWI650009B (zh) 解碼器側圖框內模式導出的方法和裝置
CN108605130B (zh) 一种用于对与区块相关的符号进行熵编解码的方法和装置
CN111819853B (zh) 图像块编码装置和图像块编码方法
TWI718101B (zh) 調色盤模式編碼及解碼設計
KR102478411B1 (ko) 서브샘플링 포맷을 위한 팔레트 모드
JP6594903B2 (ja) パレットベースのビデオコーディングにおけるエスケープサンプルのコーディング
TWI669944B (zh) 基於調色板之視訊寫碼中之寫碼行程
TWI714548B (zh) 用於視訊寫碼之調色盤索引分組
US20160373745A1 (en) Grouping palette bypass bins for video coding
CN113574880B (zh) 关于子块变换模式的分割
WO2016049839A1 (en) Rules for intra-picture prediction modes when wavefront parallel processing is enabled
TW201729593A (zh) 視訊寫碼中具有非正方形預測區塊之照明補償
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
TW201722164A (zh) 調色盤模式視訊寫碼中脫逃像素訊號值之限制
TWI702833B (zh) 一種用於視訊編解碼系統的視訊編解碼方法和裝置
TW201545543A (zh) 基於調色板之視訊寫碼
US11330297B2 (en) Methods incorporating extensions to copy-above mode for palette mode coding
JP7124222B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
CN116762340A (zh) Mmvd信令改进
CN114830646A (zh) 图像编码方法和图像解码方法
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
CN117397237A (zh) 变换系数符号预测和编解码的系统和方法
CN114830644A (zh) 图像编码方法和图像解码方法