TW201902219A - 用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置 - Google Patents

用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置 Download PDF

Info

Publication number
TW201902219A
TW201902219A TW107108640A TW107108640A TW201902219A TW 201902219 A TW201902219 A TW 201902219A TW 107108640 A TW107108640 A TW 107108640A TW 107108640 A TW107108640 A TW 107108640A TW 201902219 A TW201902219 A TW 201902219A
Authority
TW
Taiwan
Prior art keywords
transform
block
dimensional coefficient
dimensional
coefficient block
Prior art date
Application number
TW107108640A
Other languages
English (en)
Other versions
TWI681668B (zh
Inventor
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201902219A publication Critical patent/TW201902219A/zh
Application granted granted Critical
Publication of TWI681668B publication Critical patent/TWI681668B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本發明公開了一種結合增強多重變換的視訊編解碼的方法和裝置。根據一個方法，在水平方向或垂直方向上用於增強多重變換的候選的數量根據當前塊尺寸而被減少。根據另一個方法，僅當二維係數塊的至少部分中的非零係數的總數大於閾值時，增強多重變換標誌、一個或多個增強多重變換索引中至少一個被發送，其中閾值等於1或更大。本發明還公開了一種採用不可分離二次變換的視訊編解碼的方法和裝置。根據本方法，二維係數塊的部分塊中的非零第一係數的總數被確定，以及用於確定是否應用不可分離二次變換處理。

Description

用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置 【相關申請的交叉引用】
本發明主張在2017年3月16日提出申請的美國臨時專利申請第62/472,001號以及在2017年5月26號提出申請的美國臨時專利申請第62/511,369號的優先權。上述美國臨時專利申請整體以引用方式併入本文中。
本發明一般涉及視訊處理。特別地，本發明涉及使用增強多重變換(Enhanced Multiple Transforms，EMT)或不可分二次變換(Non-Separable Secondary Transform，NSST)以提高視訊編解碼系統的編解碼效率或降低其複雜度的技術。
高效視訊編解碼(High Efficiency Video Coding，HEVC)標準由ITU-T視訊編解碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC動態圖像專家組(Moving Picture Experts Group，MPEG)標準化組織的聯合視訊專案所開發，並且特別地與稱為視訊編解碼聯合協作組(Joint Collaborative Team on Video Coding，JCT-VC)存在合作夥伴關係。
在高效視訊編解碼中，一個切片(slice)被分割成多個編碼樹單元(coding tree unit，CTU)。在主設定檔中，編碼樹單元的最小尺寸和最大尺寸由序列參數集(sequence parameter set，SPS)中的語法元素(syntax element)所指定。允許的編碼樹單元尺寸可以為8x8，16x16,32x32或64x64。對於每個切片，切片內的編碼樹單元都是按照光柵掃描順序進行處理的。
編碼樹單元被進一步分割成多個編碼單元(coding unit，CU)以適應不同的部分特徵。四叉樹，被定義為編碼樹，用來將編碼樹單元分割成多個編碼單元。令編碼樹單元的尺寸為MxM，其中M為64，32或16中的一個值。編碼樹單元可以是單個編碼單元，或可以被分割成4個尺寸相同(即，M/2xM/2)的更小單元，其是編碼樹的節點。如果這些單元是編碼樹的葉節點，則這些單元稱為編碼單元。否則，四叉樹的分割過程可以被反覆運算，直到節點的尺寸達到在序列參數集中指定的最小允許編碼單元尺寸。這種表示形成了由第1圖中的編解碼樹(也稱為分割樹結構)120所指定的遞迴結構。編碼樹單元分割110如第1圖所示，其中，實線表示編碼單元邊界。在編碼單元層處做出是否使用畫面內圖像(時間)預測或畫面間圖像(空間)預測編解碼圖像的決定。由於最小編碼單元尺寸可以為8x8，則用於在不同基礎預測類型之間切換的最小細微性為8x8。
一個或多個預測單元(prediction unit，PU)被指 定以用於每個編碼單元。與編碼單元相結合，預測單元用作共用預測資訊的基礎代表塊。在每個預測單元內部，相同的預測處理被應用，並且相關資訊以預測單元為基礎被發送到解碼器。根據預測單元分割類型，一個編碼單元可以分割成一個，兩個或四個預測單元。如第2圖所示，高效視訊編解碼定義了將編碼單元分割成預測單元的八種形狀。不同於編碼單元，預測單元可以僅被分割一次。第二列中所示出的分割對應於非對稱分割，其中兩個已分割部分具有不同的尺寸。
在通過基於預測單元分割類型應用預測處理來獲得殘差塊之後，根據另一個四叉樹結構，編碼單元的預測殘差可以被分割成變換單元(transform unit，TU)，其類似於編碼單元的編碼樹。在第1圖中，塊110中的實線表示編碼單元邊界，以及塊110中的虛線表示變換單元邊界。類似地，分割樹結構120的實線對應於編碼單元分割樹結構，以及分割樹結構120的虛線對應於變換單元分割樹結構。變換單元是殘差係數或變換係數的基礎代表塊以用於應用整數變換和量化。對於每個變換單元，具有相同尺寸的一個整數變換被應用於變換單元以獲得殘差係數。這些係數在以變換單元為基礎的量化之後被發送到解碼器。
術語編碼樹塊(coding tree block，CTB)，術語編碼塊(coding block，CB)，術語預測塊(prediction block，PB)以及術語變換塊(transform block，TB)被定義以指定分別與編碼樹單元，編碼單元，預測單元以及變換單元相關的一個顏色分量的2-D樣本陣列。因此，編碼樹單元由一個亮度 編碼樹塊、兩個色度編碼樹塊以及相關的語法元素組成。類似的關係有效於編碼單元，預測單元以及變換單元。儘管當達到色度的某些最小尺寸時發生例外情況，但樹分割通常同時被應用於亮度和色度。
可選地，如ITU-T SG 16(Study Period 2013)，Contribution 966(J.An,et al,“Block partitioning structure for next generation video coding”,ITU-T T13 SG16 COM 16-C 966 R3-E,Geneva,September 2015)中所公開，可以使用二叉樹塊分割結構。在已公開的二叉樹分割結構中，塊可以被遞迴地分割成兩個更小的塊。幾種分割類型如第3圖所示。如第3圖所示的上部分兩個分割類型中所示，最有效且最簡單的分割類型為對稱水平分割和對稱垂直分割。因此，系統可以選擇僅使用這兩個分割類型。對於給定塊尺寸MxN(其中，M和N可以相同或不同)，一個標誌可以被發送以指示是否將塊分割成兩個更小的塊。如果標誌指示“是”，則另一個語法元素被發送以指示哪種分割類型被使用(即，水平或垂直)。如果水平分割被使用，則將其分割成兩個尺寸為MxN/2的塊，否則如果垂直分割被使用，則將其分割成兩個尺寸為M/2xN的塊。二叉樹分割處理可以被反覆運算，直到分割塊的尺寸(寬度或高度)到達最小允許塊尺寸(寬度或高度)，其可以被定義在諸如序列參數集的高層語法中。由於二叉樹具有兩種分割類型(即，水平和垂直)，最小允許塊寬度和最小允許塊高度都應該被指示。當分割導致塊高度小於指示的最小值時，非水平分割為隱性的。當分割導致塊寬度小於指示的最小值時，非垂直分割為 隱性的。第4圖描述了塊分割410及其對應的二叉樹結構420的示例。在二叉樹的每個分割(即，非葉)節點處，一個標誌指示哪種分割類型(水平或垂直)被使用，0指示水平分割，以及1指示垂直分割。
提出的二叉樹結構可以被使用以將塊分割成多個更小的塊，例如，將切片分割成編碼樹單元，編碼樹單元分割成編碼單元，編碼單元分割成預測單元，或編碼單元分割成變換單元，等等。在一實施例中，二叉樹被使用以將編碼樹單元分割成編碼單元。換言之，二叉樹的根節點為編碼樹單元，以及二叉樹的葉節點為編碼單元。葉節點由預測和變換編解碼進一步處理。在另一實施例中，從編碼單元到預測單元或從編碼單元到變換單元沒有進一步分割以簡化塊分割處理。這意味著編碼單元等於預測單元，也等於變換單元。因此，在這種情況下，二叉樹的葉節點也為用於預測和變換編解碼的基礎單元。
由於更多的分割形狀可以被支援，二叉樹結構比四叉樹結構更加靈活，這也是提高編解碼效率的一個因素。然而，為了選擇最佳分割形狀，編碼複雜度也會增加。為了平衡複雜度和編碼效率，JVET-E1001(Chen et al.,“Algorithm Description of Joint Exploration Test Model 5(JEM 5)”,Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting：Geneva,CH,12-20 January,2017,Document：JVET-E1001)中已採用了一種結合四叉樹結構和二叉樹結構的方法，其稱為四叉樹加二叉樹(quadtree plus binary tree，QTBT)結構。在公開的四叉樹加 二叉樹結構中，塊首先被四叉樹結構分割，四叉樹分割可以被反覆運算，直到分割塊的尺寸達到最小允許四叉樹葉節點尺寸。如果葉四叉樹塊不大於最大允許四叉樹根節點尺寸，則其可以由二叉樹結構進一步分割，二叉樹結構分割可以被反覆運算，直到分割塊尺寸(寬度或高度)達到最小允許二叉樹葉節點尺寸(寬度或高度)，或二叉樹深度達到最大允許二叉樹深度。在四叉樹加二叉樹結構中，最小允許四叉樹葉節點尺寸、最大允許二叉樹根節點尺寸、最小允許二叉樹葉節點寬度和高度以及最大允許二叉樹深度可以被指示在高層語法中，例如序列參數集。第5圖描述了塊分割510以及其對應的四叉樹加二叉樹結構520的一個示例。實線表示四叉樹分割，以及虛線表示二叉樹分割。在二叉樹的每個分割(即，非葉)節點處，一個標誌指示哪種分割類型(水平或垂直)被使用，0表示水平分割，以及1表示垂直分割。
已公開的四叉樹加二叉樹結構可以被用於以將塊分割成多個更小的塊，例如將切片分割成編碼樹單元，將編碼樹單元分割成編碼單元，將編碼單元分割成預測單元或將編碼單元分割成變換單元，等等。例如，四叉樹加二叉樹可以用於將編碼樹單元分割成編碼單元，即，四叉樹加二叉樹的根節點為編碼樹單元，其由四叉樹加二叉樹結構分割成多個編碼單元。編碼單元進一步由預測編碼和變換編碼進行處理。簡化的四叉樹加二叉樹結構也已在2015年12月9日提出申請的PCT/CN2015/096761中被公開，其中從編碼單元到預測單元或從編碼單元到變換單元沒有進一步分割。換言之，編碼單元等 於預測單元，並且也等於變換單元。因此，四叉樹加二叉樹結構的葉節點是用於預測和變換的基礎單元。
已公開的四叉樹加二叉樹結構的一示例如下所示。四叉樹加二叉樹結構可以被應用於尺寸為128x128的編碼樹單元，最小允許四叉樹葉節點尺寸等於16x16，最小允許二叉樹根節點尺寸等於64x64，最小允許二叉樹葉節點寬度和高度都等於4，以及最小允許二叉樹深度等於4。首先，四叉樹結構分割編碼樹單元，並且葉四叉樹單元可以具有從16x16(最小允許四叉樹葉節點尺寸)到128x128(等於編碼樹單元的尺寸，即，無分割)的尺寸。如果葉四叉樹單元為128x128，則其不能由二叉樹進一步分割，因為尺寸超過了最小允許二叉樹根節點尺寸64x64。否則葉四叉樹單元可以由二叉樹進一步分割。葉四叉樹單元用作具有二叉樹深度為0的根二叉樹單元。當二叉樹深度達到4時(即，指示的最大二叉樹深度)，無分割是隱性的。當二叉樹節點具有等於4的寬度時，非水平分割是隱性的。當二叉樹節點具有等於4的高度時，非垂直分割是隱性的。四叉樹加二叉樹結構的葉節點由預測(例如，畫面內圖像或畫面間圖像)和變換編解碼進一步處理。
已公開的樹結構可以分別被應用於I-切片(即，畫面內編解碼切片)的亮度和色度，並且同時被應用於P-切片和B-切片的亮度和色度(除了當特定最小尺寸被實現以用於色度時)。換言之，在I-切片中，亮度編碼樹塊具有其四叉樹加二叉樹結構化塊分割，以及兩個色度編碼樹塊具有另一四叉樹加二叉樹結構化塊分割。兩個色度編碼樹塊也可以具有其自身的 四叉樹加二叉樹結構化塊分割。
對於每個變換單元，具有與變換單元相同尺寸的一個整數變換被應用以獲得殘差係數。這些係數在基於變換單元的量化之後被發送至解碼器。高效視訊編解碼採用離散余弦變換類型II(Discrete Cosine Transform type II，DCT-II)作為其核心變換，因為其具有很強的“能量壓縮”特性。大部分訊號資訊趨向于被集中在DCT-II的少量低頻分量，其近類似于卡洛南-洛伊變換(Karhunen-Loève Transform，KLT)。正如在資料壓縮領域中所已知，基於瑪律可夫(Markov)處理的某些限制，KLT在訊號的去相關意義上是最優的。訊號f[n]的N點DCT-II被定義為(1)。
對於畫面內預測殘差，其他變換可能比DCT-II更有效。在給包括JCTVC-B024,JCTVC-C108和JCTVC-E125的各種的JCT-VC會議(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的視訊編解碼聯合協作組)的投稿中，離散正弦變換(Discrete Sine Transform，DST)被引入以用作DCT的替代，以用於斜畫面內模式(oblique Intra modes)。對於畫面間預測殘差，DCT-II是當前高效視訊編解碼中使用的唯一變換。然而，DCT-II可能不是所有情況下的最優變換。在JCTVC-G281(Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,7th Meeting：Geneva,CH.,21-30,Nov.,2011,Document：JCTVC-G281)中 ，提出了離散正弦變換類型VII(Discrete Sine Transform type VII，DST-VII)和離散余弦變換類型IV(Discrete Cosine Transform type IV，DCT-IV)以在在一些情況下替代DCT-II。同樣地，在JVET-E1001，增強多重變換(Enhanced Multiple Transform，EMT)方案被用於畫面內編解碼塊和畫面間編解碼塊的殘差編解碼。在本文中，增強多重變換也可以稱為自我調整多重變換(Adaptive Multiple Transform，AMT)。在高效視訊編解碼中，除了當前變換之外，其利用從DCT/DST族中選擇的多個變換。最近引入的變換矩陣為DST-VII,DCT-VIII,DST-I和DCT-V。表1概括了N點輸入的每個變換的變換基礎函數。
根據增強多重變換，多個變換可以被選擇以用於一個變換單元。例如，對於畫面間編碼單元，一個增強多重變換標誌可以被編解碼以指示高效視訊編解碼變換被使用(即，增強多重變換標誌等於0)或新的多個變換中的一個變換被使用(即，增強多重變換標誌等於1)。當增強多重變換標誌等於1時，在水平和垂直方向上分別有兩種不同的變換。增強多重變換索引可以用於指示為水平方向和垂直方向中的每個所選擇的變換。總的來說，當增強多重變換標誌為1時，四種不同的變換被支援以用於每個編碼單元。對於畫面內編碼單元，在多個變換中也有四個候選。然而，這四個候選為根據畫面內預測方向的變型。
當越來越多的變換用於編解碼時，用於多個變換的發送指令變得更加複雜。發送的位元速率也變得更高。然而，由於其更高的壓縮效率，總的編碼性能仍可以由多重變換方案提高。
在JEM-4.0(即，用於JVET的參考軟體，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊探索組)中，總共35×3個不可分離二次變換(non-separable secondary transforms，NSST)用於4x4變換單元尺寸和8x8變換單元尺寸，其中，35是由畫面內預測模式指定的變換集的數量，以及3是每個畫面內預測模式的不可分離二次變換候選的數量。變換集的值根據下麵的表2來推導。
對於不可分離二次變換，基於變換尺寸，二次變換的尺寸被選擇。例如，如果塊的寬度(W)和高度(H)都大於4，則8x8的不可分離二次變換被應用。否則，4x4的不可分離二次變換被應用。另外，僅當非零係數的數量大於閾值時，二次變換被應用。如第6圖所示，描述了在解碼器側選擇二次變換的尺寸的示例流程圖。在第6圖中，在步驟610中檢測當前變換單元的非零係數(即，nonZeroCoef)的數量是否大於閾值(即，Thr)。如果結果是不正確(即，“否”路徑)，則如步驟670所示，不應用不可分離二次變換。如果結果為正確(即，“是”路徑)，則在步驟620中從位元流中解析旋轉轉變換索引(rotational transform index，ROT)(即，ROT idx)。在步驟630中，檢測旋轉轉變換索引(即，ROT idx)是否等於0。如果旋轉轉變換索引等於0(即，“是”路徑)，則如步驟670所示，不應用不可分離二次變換。否則(即，來自於步驟630的“否”路徑)，在步驟640中，檢測塊尺寸是否大於或等於8×8。如果塊尺寸大於或等於8×8，(即，來自於步驟640 的“是”路徑)，則如步驟660所示，應用使用8×8內核的不可分離二次變換。否則(即，來自於步驟640的“否”路徑)，如步驟650所示，應用使用4×4內核的不可分離二次變換。當不可分離二次變換被應用時，對變換係數塊的左上R×S區域執行不可分離變換，其中R相當於min(8,W)(即，8和W中的最小值)以及S相當於min(8,H)(即，8和H中的最小值)。上述變換選擇規則被應用於亮度分量和色度分量。二次變換的內核尺寸依賴於當前編解碼塊尺寸。對於大於8x8的塊，8x8的不可分離二次變換總是被應用。如JVET-E0047(H.Jang,et al.,“Adaptive NSST Kernel Size Selection,”Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting：Geneva,CH,12-20 January,2017,Document：JVET-E0047)中所公開，更大塊可以具有存在於低頻區域的非零參數，例如4x4子塊區域。因此，最佳二次變換不總是8x8的不可分離二次變換。
更一般性的不可分離二次變換選擇方法可以進一步提高編解碼性能。第7圖中顯示了在解碼器側選擇大於8x8的塊的二次變換內核尺寸的示例性流程圖。本流程圖對應於基於第6圖中的流程圖而修改的流程圖。當步驟640的測試結果為正確(即，“是”路徑)時，如步驟710所示，解析不可分離二次變換內核尺寸標誌(即，nsst_krnl_size_flag)。在步驟720中，檢測不可分離二次變換內核尺寸標誌nsst_krnl_size_flag的值。如果nsst_krnl_size_flag等於0，則如步驟660所示，應用使用8×8內核的不可分離二次變換。如果nsst_krnl_size_flag 等於1，則如步驟650所示，應用使用4×4內核的不可分離二次變換。
根據不可分離二次變換解碼處理，初級變換被應用於輸入塊以形成初級變換塊。在第6圖中，如步驟650所示，當具有4×4內核的不可分離二次變換被選擇以用於初級變換塊時，初級變換塊的左上4×4子塊被轉換成16×1的一維(one-dimensional，1D)係數向量。二次變換隨後被選擇並應用於一維係數向量。隨後，根據掃描順序，二次變換係數向量被轉換回二維(two dimensional，2D)二次變換4×4塊。隨後，該二次變換4×4塊用於替代初級變換塊的左上4×4子塊，以形成不可分離二次變換改進的變換塊，並且後續編解碼處理(例如，量化和熵編碼)被應用於不可分離二次變換改進的變換塊。在第6圖中，如步驟660所示，當具有8×8內核的不可分離二次變換被選擇以用於初級變換塊(8x8或更大)，初級變換塊的左上8×8子塊被轉換成64×1的一維係數向量。二次變換隨後被選擇並應用於一維係數向量。隨後，根據掃描順序，二次變換係數向量被轉換回二維二次變換8×8塊。隨後，該二次變換8×8塊被用於替代初級變換塊的左上8×8子塊，以形成不可分離二次變換改進的變換塊。
然而，如在JVET-E0047中所報導，選擇大於8x8的塊的不可分離二次變換內核尺寸可以提高編解碼增益到一定程度，但是引入的急劇的編解碼時間增加。在JVET-E0047中，一標誌總是用於顯性地發送用於大於8x8的塊的不可分離二次變換內核尺寸，這限制了壓縮率(BD率)增強，並且需要額 外的率失真優化(Rate-Distortion Optimization，RDO)檢測。推導出最佳不可分離二次變換內核尺寸的隱性方法同樣在JVET-E0047中被提出，以降低與額外標誌相關的位元元元速率，以及降低所需的運算量。在JEM-4.0中，當當前變換單元具有兩個或更多個非零係數時，不可分離二次變換語法被發送。僅對變換係數塊的左上R×S區域執行不可分離二次變換，其中，R相當於min(8,W)以及S相當於min(8,H)。
因此，開發方法以進一步提高編解碼性能或降低包含增強多重變換或不可分離二次變換的系統的複雜度是必要的。
本發明提供了一種由視訊編碼器或視訊解碼器執行的包括增強多重變換(enhanced multiple transform，EMT)的視訊編碼或解碼的方法和設備。根據該方法，接收與當前塊相關的輸入資料，其中，在編碼器側處，該輸入資料對應于由正向變換處理所處理的當前塊，以及在解碼器側處，該輸入資料對應於由反向變換處理所處理的當前係數塊。確定多個變換集，其中每個變換集包括一個或多個變換候選，並且至少一個變換集包括多個變換候選。從該多個變換集中確定第一變換集，以在水平方向上應用於位於該編碼器側處的該當前塊，或應用於位於該解碼器側處的該當前係數塊。從該多個變換集中，確定第二變換集，以在垂直方向上應用於位於該編碼器側處的該當前塊，或應用於位於該解碼器側處的該當前係數塊。至少從第一變換集或已減少第一變換集中選擇第一變換，或從第 二變換集或已減少第二變換集中選擇第二變換。已減少第一變換集比第一變換集具有更少的候選，以及已減少第二變換集比第二變換集具有更少的候選。在該編碼器側處，根據該當前塊、該第一變換和該第二變換生成該當前係數塊，或在解碼器側處，根據該當前係數塊、第一變換和第二變換恢復該當前塊。
在一實施方案中，如果該當前塊的水平尺寸小於或等於第一閾值，則該第一變換是從該已減少第一變換集中選擇的，或如果該當前塊的垂直尺寸小於或等於該第一閾值，則該第二變換是從已減少第二變換集中選擇的。例如，如果該當前塊的水平尺寸小於或等於4，則該已減少第一變換集由一個候選組成，或如果該當前塊的垂直尺寸小於或等於4，則該已減少第二變換集由一個候選組成。
在另一實施例中，如果該當前塊的水平尺寸大於或等於第二閾值，則該第一變換是從該已減少第一變換集中選擇的，或如果該當前塊的垂直尺寸大於或等於該第二閾值，則該第二變換是從該已減少第二變換集中選擇的。例如，如果該當前塊的水平尺寸大於或等於64，則該已減少第一變換集由一個候選組成，或如果該當前塊的垂直尺寸大於或等於64，則該已減少第二變換集由一個候選組成。
在又一實施例中，如果該當前塊的圖元總數小於或等於第一閾值，則該第一變換是從該已減少第一變換集中選擇的，以及該第二變換是從該已減少第二變換集中選擇的。例如，如果該當前塊的該圖元總數小於或等於16，則該已減少第一變換集由一個候選組成，且該已減少第二變換集由一個候選 組成。
在又一實施例中，如果該當前塊的圖元總數大於或等於第二閾值，則該第一變換是從該已減少第一變換集中選擇的，以及該第二變換是從該已減少第二變換集中選擇的。例如，如果該當前塊的圖元總數大於或等於4096，則該已減少第一變換集由一個候選組成，且該已減少第二變換集由一個候選組成。
本發明提供了一種編碼視訊資料的方法和裝置，包括不可分離二次變換(Non-Separable Secondary Transform，NSST)。根據該方法，接收對應於被編碼的視訊資料塊和預測子之間的差異的預測殘差塊。將第一變換應用於該預測殘差塊以生成第一二維(two-dimensional，2D)係數塊。確定該第一二維係數塊的部分塊中的非零第一係數的總數，其中，該第一二維係數塊的部分塊小於該第一二維係數塊。如果該第一二維係數塊的該部分塊中的非零第一係數的總數滿足目標條件：將該第一二維係數塊轉換為第一一維(one-dimensional，1D)係數向量；將第二變換應用於該第一一維係數向量的至少部分，以生成第二一維係數向量，其中該第二變換對應於不可分離變換；根據係數掃描順序，將該第二一維係數向量轉換為第二二維係數塊；以及將該第二二維係數塊作為最終二維係數塊。如果該第一二維係數塊的該部分塊中的非零第一係數的總數不滿足目標條件：將該第一二維係數塊作為該最終二維係數塊。目標條件可以對應於在該第一二維係數塊的部分塊中的非零第一係數的總數大於閾值。
在一實施例中，該第一二維係數塊的該部分塊可以對應於該第一二維係數塊的左上MxN塊，以及其中M是小於該第一二維係數塊的寬度的一個正整數以及N是小於該第一二維係數塊的高度的一個正整數。例如，該M和N的從由4、8和16組成的組中被選擇的。
在另一實施例中，該第一二維係數塊的該部分塊不包括位元於該第一二維係數塊的左上角的低頻係數(DC係數)。
在另一實施例中，該預測殘差塊包括一個亮度塊以及一個或多個色度塊，以及一個二維亮度係數塊以及一個或多個二維色度係數塊被生成，其中確定非零第一係數的總數僅計數與該一個或多個二維色度係數塊相關的多個非零高頻(AC)係數。例如，確定該非零第一係數的總數僅計數該一個或多個二維色度係數塊中的每個的多個非零高頻(AC)係數以及選擇非零高頻(AC)係數的最大數量作為該非零第一係數的總數。
本發明提供了一種視訊解碼方法和裝置，包括不可分離二次變換(Non-Separable Secondary Transform，NSST)。根據該方法，接收對應於正在解碼的視訊資料塊與預測子之間的差的最終二維(two-dimensional，2D)係數塊。確定該最終二維係數塊的部分塊中的非零第一係數的總數，其中，該最終二維係數塊的該部分塊小於該最終二維係數塊。如果該最終二維係數塊的該部分塊中的非零第一係數的總數滿足目標條件，則將該最終二維係數塊轉換為第一一維(one-dimensional ，1D)係數向量，將第一變換應用於該第一一維係數向量的至少部分，以生成第二一維係數向量，其中該第一變換對應於不可分離變換。根據係數掃描順序，將該第二一維係數向量轉換為第一二維係數塊，將第二變換應用於該第一二維係數塊，以生成第二二維係數塊，根據該第二二維係數塊恢復視訊資料塊。如果該最終二維係數塊的該部分塊中的非零第一係數的總數不滿足目標條件，則將該第二變換應用於該最終二維係數塊，以生成第三二維係數塊，以及根據該第三二維係數塊恢復該視訊資料塊。
在一實施例中，該目標條件對應於在該最終二維繫數塊的部分塊中的非零第一係數的總數大於閾值。該最終二維繫數塊的部分塊對應於該最終二維繫數塊的左上MxN塊，以及其中M是小於該最終二維繫數塊的寬度的一個正整數以及N是小於該最終二維繫數塊的高度的一個正整數。例如，該M和N從由4、8和16組成的組中被選擇。
在另一實施例中，該最終二維係數塊的部分塊不包括位元元於該最終二維係數塊的左上角的DC係數。
在又一實施例中，該最終二維係數塊對應於一個二維亮度係數塊以及一個或多個二維色度係數塊，以及其中該非零第一係數的總數僅計數與該一個或多個二維色度係數塊相關的非零AC係數。例如，該確定非零第一係數的總數僅計數用於每個該一個或多個二維色度係數塊的非零AC係數以及選擇非零AC係數的最大數量作為非零第一係數的總數。
本發明提供了另一種通過視訊編碼器和解碼器執 行的包括增強多重變換的視訊編碼和解碼方法和裝置。根據該方法，接收與當前塊相關的輸入資料，其中該輸入資料對應於對應於該當前塊與預測子之間的差的二維(two-dimensional，2D)係數塊。確定該二維係數塊的至少部分中的非零第一係數的總數。僅當在該二維係數塊的該至少部分中的非零第一係數的總數大於閾值時，在編碼器側處，發送增強多重變換標誌和一個或多個增強多重變換索引中的至少一個，或在解碼器側處，解析該增強多重變換標誌和該一個或多個增強多重變換索引中的至少一個，其中，該閾值大於或等於1。如果該增強多重變換標誌被發送，則具有第一標誌值的該增強多重變換標誌指示增強多重變換不被應用於該當前塊；以及具有第二標誌值的該增強變換標誌指示該增強多重變換被應用於該當前塊。如果該一個或多個增強多重變換索引被發送，則與由該一個或多個增強多重變換索引指示與水平變換和垂直變換相關的增強多重變換被應用於該當前塊。
在一實施例中，如果增強多重變換標誌未被發送，則該增強多重變換標誌被認為具有第一標誌值以及沒有增強多重變換被應用於該當前塊。在另一實施例中，如果該一個或多個增強多重變換指示未被發送，則該一個或多個增強多重變換指示被認為是0。
在一實施例中，對應於不同的編碼模式、不同的顏色分量、不同的塊尺寸、不同的塊寬度或不同的塊高度選擇不同的閾值用於待處理塊。在另一實施例中，非零第一係數的總數是基於二維係數塊的左上MxN塊而計數的，其中M是小於 二維係數塊的寬度的一個正整數，以及N是小於二維係數塊的高度的一個正整數。
110‧‧‧編碼樹單元分割
120‧‧‧編解碼樹
410、510‧‧‧塊分割
420、520‧‧‧二叉樹結構
610~670、710~720、810~860、910a~990a、910b~995b、1010~1030‧‧‧步驟
第1圖描述了使用高效視訊編解碼(High Efficiency Video Coding，HEVC)中相應的四叉樹將編碼樹單元分為編碼單元和變換單元的子分割。
第2圖描述了高效視訊編解碼(High Efficiency Video Coding，HEVC)中將編碼單元分割成一個或多個預測單元的八種分割類型。
第3圖描述了二叉樹的可能的分割類型。
第4圖描述了使用相應的二叉樹的塊分割的示例。
第5圖描述了使用相應的四叉樹加二叉樹的塊分割的示例。
第6圖描述了根據習知的不可分離二次變換處理選擇二次變換的尺寸的示例性流程圖。
第7圖描述了根據改進的不可分離二次變換處理選擇二次變換的尺寸的示例性流程圖。
第8圖描述了根據本發明方法的包括增強多重邊變換的編解碼系統的示例性流程圖。
第9A圖描述了根據本發明方法的包括不可分離二次變換的編碼系統的示例流程圖。
第9B圖描述了根據本發明方法的包括不可分離二次變換的解碼系統的示例流程圖。
第10圖描述了根據本發明方法的包括增強多重邊變換的編解碼系統的示例流程圖。
以下描述是執行本發明的最佳預期模式。該描述是為了闡述本發明一般原理，而不應該起限制意義。本發明的保護範圍應當視申請專利範圍所界定為准。
如上該，本發明旨在提高編解碼效率或降低與增強多重變換(enhanced multiple transform，EMT)和不可分離二次變換(non-separable secondary transforms，NSST)的複雜度。
對於增強多重變換，當前存在選擇以分別用於水平方向和垂直方向的兩種不同的變換被選擇。因此，除了增強多重變換標誌之外，每個方向的額外的標誌或索引被需要以指示哪種變換被使用。然而，對於較小的編碼單元，所需的輔助資訊變得昂貴。另一方面，對於較大的編碼單元，預測誤差的特性可以不如較小的編碼單元中的一樣複雜。為了提高增強多重變換的性能，在本發明中，公開了基於尺寸的增強多重變換。例如，對於較小的編碼單元，僅有一個或兩個變換可以被選擇以減少所需的輔助資訊。對於較大的編碼單元，增強多重變換中的候選的數量可以被減少以移除增強多重變換中無用的候選。在一實施例中，如果在一個方向上編碼單元的尺寸小於或等於第一特定閾值，則在該方向上增強多重變換中的候選的數量被減少。例如，如果當前編碼單元的水平尺寸小於或等於4，則在水平方向上增強多重變換中的候選的數量從2被減少到 1，和/或如果當前編碼單元的垂直尺寸小於或等於4，則在垂直方向上增強多重變換中的候選的數量從2被減少到1。在另一實施例中，如果編碼單元尺寸在一個方向上大於或等於第二特定閾值，則增強多重變換中的候選的數量在該方向上被減少。例如，如果當前編碼單元的水平尺寸大於或等於64，則在水平方向上增強多重變換中的候選的數量從2被減少到1，和/或如果當前編碼單元的垂直尺寸大於或等於64，則在垂直方向上增強多重變換中的候選的數量從2被減少到1。在一實施例中，如果編碼單元中的圖元數量小於或等於第三特定閾值，則增強多重變換中的候選的數量被減少。例如，如果當前編碼單元中的圖元數量小於或等於16，則在水平方向上增強多重變換中的候選的數量從4被減少到1，並且在垂直方向上增強多重變換中的候選的數量從4被減少到1。如上該，由於每個水平方向和垂直方向中有兩個候選，因此存在4個候選可用于每個水平與垂直對。在另一實施例中，如果編碼單元中的圖元數量大於或等於第四特定閾值，則增強多重變換中的候選的數量被減少。例如，如果當前編碼單元中的圖元數量大於或等於4096，則在水平方向上增強多重變換中的候選的數量從4被減少到1，並且在垂直方向上增強多重變換中的候選的數量從4被減少到1。在上述的實施例中，增強多重變換中的候選的數量是否被減少取決於當前編碼單元的邊長(寬度或高度)或當前編碼單元的面積，然而，這兩個約束可以被結合到一起。
在JEM-5.0中，對於增強多重變換，增強多重變換標誌被發送以指示當非零係數存在時增強多重變換是否被應 用。如果標誌為真，則增強多重變換索引被發送。為了降低增強多重變換語法開銷，根據本發明方法的增強多重變換標誌和增強多重變換索引依賴於變換單元係數而被有條件地發送。在一實施例中，非零係數的數量用作增強多重變換索引發送的條件。例如，如果增強多重變換標誌為真，對於畫面間塊或畫面內塊，僅當非零係數的數量大於閾值時，增強多重變換索引被發送。如果增強多重變換索引沒有被發送，則增強多重變換索引被推斷為0。閾值可以是1、2或3。對於不同的塊模式(例如，畫面間模式或畫面內模式)、不同分量或不同塊尺寸(塊尺寸可以由塊寬度、塊高度、或塊中的圖元數量來指示)，閾值可以不同。例如，對於更小的變換單元的閾值可以大於更大的變換單元的閾值。又例如，對於更小的變換單元的閾值可以小於更大的變換單元的閾值。多個增強多重變換索引可以用於列(水平)變換和行(垂直)變換。不同閾值可以用於列/行變換。閾值可以依賴於變換單元寬度或變換單元高度。例如，對於變換單元，th1是列變換閾值，而另一個閾值th2是行變換閾值。如果非零係數的數量大於th1，而小於th2，則列變換增強多重變換索引被發送，並且行變換增強多重變換索引被推斷。
在另一實施例中，根據非零係數的數量，增強多重變換標誌被發送。僅當非零係數的數量大於閾值時，增強多重變換標誌被發送。如果增強多重變換標誌未被發送，則增強多重變換標誌被推斷為假。這種方法可以僅被應用於畫面內變換單元，僅被應用於畫面間變換單元，或應用於各種變換單元。
在本發明的一實施例中，對於與非零係數的數量相關的增強多重變換語法，非零係數可以是整個變換單元的非零係數或僅是左上MxN塊的非零係數。M和N可以是4、8、或16。DC係數(即，左上係數)可以從計數非零係數的數量中被排除。例如，僅非零AC係數被計數以對於非零係數的數量。
在JEM-5.0中，對於不可分離二次變換，當非零係數的數量大於閾值時不可分離二次變換索引被發送以用於畫面內變換單元。對於不可分離二次變換中的非零係數的數量，整個變換單元的非零係數被計算。在本發明的一實施例中，提出了僅計數當前變換單元的左上MxN塊的非零係數。由於僅對當前變換單元的左上區域(即，左上MxN塊)執行不可分離二次變換，因此如果在當前變換單元的左上區域不存在非零係數，則不需要執行不可分離二次變換操作。M和N可以是4、8、或16。在另一實施例中，DC係數(即左上係數)可以從計數非零係數的數量中被排除。例如，僅整個變換單元的非零AC係數被計數，或僅計數左上8x8塊的非零AC係數被計數。
在JEM-5.0中，不可分離二次變換索引被單獨發送以用於亮度分量和色度分量。對於亮度塊和色度塊的閾值可以不同。由於色度紋理比亮度紋理更加平滑，其通常具有更小的AC係數。因此，在本發明的一實施例中，為了減小不可分離二次變換索引，僅色度AC係數被計數和發送。
在JEM-5.0中，不同顏色分量的非零係數的數量被一起計數，以用於決定顏色分量的不可分離二次變換索引。在 本發明的一實施例中，兩個顏色分量的非零係數的最大數量用於不可分離二次變換索引編解碼。
第8圖闡述了根據本發明方法的包括增強多重變換的編解碼系統的示例性流程圖。本流程圖中所示的步驟可以被實現為編碼器側或解碼器側的一個或多個處理器(例如，一個或多個CPU)中可執行的程式碼。本流程圖中所示的步驟還可以基於諸如用於執行流程圖中的步驟的一個或多個電子設備或處理器之類的電腦硬體來實現。根據本方法，在步驟810中，接收與當前圖像相關的輸入資料，其中在編碼器側處，輸入資料對應于由正向變換處理所處理的當前塊，以及在解碼器側處，輸入資料對應於由反向變換處理所處理的當前係數塊。例如，在編碼器側，輸入資料可以對應于由正向變換所處理以獲得變換塊的預測殘差塊，或者輸入資料可以對應於與預測殘差相關的變換塊，以及待反向變換以恢復預測殘差的塊的變換塊。在步驟820中，確定多個變換集，其中，每個變換集包括一個或多個變換候選，以及至少一個變換集包括多個變換候選。在步驟830中，從多個變換集中確定第一變換集，以在水平方向上應用於位於編碼器側處的當前塊，或應用於位於解碼器側處的當前係數塊。在步驟840中，從多個變換集中確定第二變換集，以在垂直方向上應用於位於編碼器側處的當前塊，或應用於位於解碼器側處的當前係數塊。在步驟850中，基於當前塊尺寸，從第一變換集或已減少第一變換集中至少選擇第一變換，或從第二變換集或已減少第二變換集中選擇第二變換，其中，已減少第一變換集比第一變換集具有更少的候選，以及 已減少第二變換集比第二變換集具有更少的候選。在步驟860中，在編碼器側處，根據當前塊、第一變換和第二變換，生成當前係數塊，或在解碼器側處，根據當前係數塊、第一變換和第二變換，恢復當前塊。
第9A圖描述了根據本發明方法的包括不可分離二次變換的編碼系統的示例性流程圖。根據本方法，在步驟910a中，接收對應於正在編碼的視訊資料塊和預測子之間的差的預測殘差塊。在步驟920a中，將第一變換應用於預測殘差塊，以生成第一二維係數塊。在步驟930a中，確定第一二維係數塊的部分塊中的非零第一係數的總數，其中，第一二維係數塊的部分塊小於第一二維係數塊。在步驟940a中，檢測第一二維係數塊的部分塊中的非零第一係數的總數是否滿足目標條件。如果滿足目標條件(即，來自於步驟940a的“是”路徑)，則執行步驟950a至步驟980a。否則(即，來自於步驟940a的“否”路徑)執行步驟990a。在步驟950a中，將第一二維係數塊轉換為第一一維(one-dimensional，1D)係數向量。在步驟960a中，將第二變換應用於第一一維係數向量的至少部分，以生成第二一維係數向量，其中第二變換對應於不可分離變換。在步驟970a中，根據係數掃描順序，將第二一維係數向量轉換為第二二維係數塊。在步驟980a中，將第二二維係數塊作為最終二維係數塊。在步驟990a中，將第一二維係數塊作為最終二維係數塊。
第9B圖描述了根據本發明方法的包括不可分離二次變換解碼系統的示例性流程圖。根據本方法，在步驟910b中，接收對應於正在編解碼的視訊資料塊和預測子之間的差的最 終二維(two-dimensional，2D)係數塊。在步驟920b中，確定最終二維係數塊的部分塊中的非零第一係數的總數，其中，最終二維係數塊的部分塊小於最終二維係數塊。如在本領域中所知，解碼器可以從接收到的位元流中匯出量化的變換係數。因此，解碼器能知道非零係數的數量。在步驟930b中，檢測最終二維係數塊的部分塊中的非零第一係數的總數是否滿足目標條件。如果滿足目標條件(即，來自於步驟930b的“是”路徑)，則執行步驟940b至步驟980b。否則(即，來自於步驟930b的“否”路徑)則執行步驟990b至步驟995b。在步驟940b中，將最終二維係數塊轉換為第一一維(one-dimensional，1D)係數向量。在步驟950b中，將第一變換應用於第一一維係數向量的至少部分，以生成第二一維係數向量，其中，第一變換對應於不可分離變換。在步驟960b中，根據係數掃描順序，將第二一維係數向量轉換為第一二維係數塊。在步驟970b中，將第二變換應用於第一二維係數塊，以生成第二二維係數塊。在步驟980b中，根據第二二維係數塊恢復視訊資料塊。在步驟990b中，將第二變換應用於最終二維係數塊，以生成第三二維係數塊。在步驟995b中，根據第三二維係數塊恢復視訊資料塊。在本實施例中，不可分離二次變換的開啟和關閉的操作依賴於非零係數的數量。如在本領域中所知，當不可分離二次變換處於開啟時，解碼器需要解析相關的不可分離二次變換資訊，並執行不可分離二次變換。
第10圖描述了根據本發明另一方法的包括增強多重變換的編解碼系統的示例性流程圖。根據本方法，在步驟 1010中，接收與當前塊相關的輸入資料，其中，輸入資料對應於當前塊和預測子之間的差的二維係數塊。在步驟1020中，確定二維係數塊的至少部分中的非零第一係數的總數。例如，非零第一係數可以為整個變換單元的非零係數，或僅為變換單元的左上MxN塊的非零係數。在步驟1030中，僅當二維係數塊的至少部分中的非零第一係數的總數大於閾值時，在編碼器側處，發送增強多重變換標誌和對應於選擇的變換的一個或多個增強多重變換索引中的至少一個，或在解碼器側處，從位元流中解析增強多重變換標誌和對應於選擇的變換的一個或多個增強多重變換索引中的至少一個，其中，閾值大於或等於1，其中，如果增強多重變換標誌被發送，具有第一標誌值的增強多重變換標誌指示增強多重變換不被應用於當前塊；以及具有第二標誌值的增強多重變換標誌指示增強多重變換被應用於當前塊，以及如果對應於選擇的變換的一個或多個增強多重變換索引被發送，則與由一個或多個增強多重變換索引所指示的水平變換和垂直變換相關的增強多重變換被應用於當前塊。
所示的流程圖旨在說明根據本發明的視訊編解碼的一個示例。在不脫離本發明的精神的情況下，本領域通常知識者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟而實施本發明。在本公開中，已經使用特定語法和語義以闡明實現本發明實施例的示例。本領域通常知識者在不脫離本發明的精神的情況下可以通過相同意義的語法或語義進行替換。
上述說明，使得本領域的本領域通常知識者可以 在特定應用程式的內容及其需求中實施本發明。對本領域通常知識者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明瞭各種具體細節，以便透徹理解本發明。儘管如此，將被本領域通常知識者理解的是，本發明可以被實作。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的一個或多個電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述之處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，通過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者固件代碼，這些處理器可以被配置為執行特定任務。軟體代碼或固件代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制 性的。因此，本發明的範圍由申請專利範圍來表示，而不是前述的描述來表示。請求項的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (32)

  1. 一種編碼或解碼視訊資料的方法，該方法包括：接收與當前塊相關的輸入資料，其中，在編碼器側處，該輸入資料對應于由正向變換處理所處理的當前塊，以及在解碼器側處，該輸入資料對應於由反向變換處理所處理的當前係數塊；確定多個變換集，其中每個變換集包括一個或多個變換候選，並且至少一個變換集包括多個變換候選；從該多個變換集中確定第一變換集，以在水平方向上應用於位於該編碼器側處的該當前塊，或應用於位於該解碼器側處的該當前係數塊；從該多個變換集中確定第二變換集，以在垂直方向上應用於位於該編碼器側處的該當前塊，或應用於位於該解碼器側處的該當前係數塊；基於該當前塊的尺寸，從該第一變換集或已減少第一變換集中選擇第一變換、從該第二變換集或已減少第二變換集中選擇第二變換，或者從該第一變換集或已減少第一變換集中選擇該第一變換且從該第二變換集或已減少第二變換集中選擇該第二變換，其中，該已減少第一變換集比該第一變換集具有更少的候選以及該已減少第二變換集比該第二變換集具有更少的候選；以及在該編碼器側處，根據該當前塊、該第一變換和該第二變換生成該當前係數塊，或在解碼器側處，根據該當前係數塊、第一變換和第二變換恢復該當前塊。
  2. 如申請專利範圍第1項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的水平尺寸小於或等於第一閾值，則該第一變換是從該已減少第一變換集中選擇的，或如果該當前塊的垂直尺寸小於或等於該第一閾值，則該第二變換是從已減少第二變換集中選擇的。
  3. 如申請專利範圍第2項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的水平尺寸小於或等於4，則該已減少第一變換集由一個候選組成，或如果該當前塊的垂直尺寸小於或等於4，則該已減少第二變換集由一個候選組成。
  4. 如申請專利範圍第1項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的水平尺寸大於或等於第二閾值，則該第一變換是從該已減少第一變換集中選擇的，或如果該當前塊的垂直尺寸大於或等於該第二閾值，則該第二變換是從該已減少第二變換集中選擇的。
  5. 如申請專利範圍第4項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的水平尺寸大於或等於64，則該已減少第一變換集由一個候選組成，或如果該當前塊的垂直尺寸大於或等於64，則該已減少第二變換集由一個候選組成。
  6. 如申請專利範圍第1項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的圖元總數小於或等於第一閾值，則該第一變換是從該已減少第一變換集中選擇的，以及該第二變換是從該已減少第二變換集中選擇的。
  7. 如申請專利範圍第6項所述之編碼或解碼視訊資料的方法 ，其中如果該當前塊的該圖元總數小於或等於16，則該已減少第一變換集由一個候選組成，且該已減少第二變換集由一個候選組成。
  8. 如申請專利範圍第1項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的圖元總數大於或等於第二閾值，則該第一變換是從該已減少第一變換集中選擇的，以及該第二變換是從該已減少第二變換集中選擇的。
  9. 如申請專利範圍第8項所述之編碼或解碼視訊資料的方法，其中如果該當前塊的圖元總數大於或等於4096，則該已減少第一變換集由一個候選組成，且該已減少第二變換集由一個候選組成。
  10. 一種用於編碼或解碼視訊資料的裝置，該裝置包括一個或多個電子電路或處理器，被配置為：接收與當前塊相關的輸入資料，其中，在編碼器側處，該輸入資料對應于由正向變換處理所處理的當前塊，以及在解碼器側處，該輸入資料對應於由反向變換處理所處理的當前係數塊；確定多個變換集，其中每個變換集包括一個或多個變換候選，並且至少一個變換集包括多個變換候選；從該多個變換集中確定第一變換集，以在水平方向上應用於位於該編碼器側處的該當前塊，或應用於位於該解碼器側處的該當前係數塊；從該多個變換集中，確定第二變換集，以在垂直方向上應用於位於該編碼器側處的該當前塊，或應用於位於該解碼 器側處的該當前係數塊；基於該當前塊的尺寸，從該第一變換集或已減少第一變換集中選擇第一變換、從該第二變換集或已減少第二變換集中選擇第二變換，或者從該第一變換集或已減少第一變換集中選擇該第一變換且從該第二變換集或已減少第二變換集中選擇該第二變換，其中，該已減少第一變換集比該第一變換集具有更少的候選以及該已減少第二變換集比該第二變換集具有更少的候選；以及在該編碼器側處，根據該當前塊、該第一變換和該第二變換生成該當前係數塊，或在解碼器側處，根據該當前係數塊、第一變換和第二變換恢復該當前塊。
  11. 一種編碼視訊資料的方法，包括不可分離二次變換，該方法包括：接收對應於正在編碼的視訊資料塊和預測子之間的差的預測殘差塊；將第一變換應用於該預測殘差塊以生成第一二維係數塊；確定該第一二維係數塊的部分塊中的非零第一係數的總數，其中，該第一二維係數塊的部分塊小於該第一二維係數塊；如果該第一二維係數塊的該部分塊中的非零第一係數的總數滿足目標條件，則：將該第一二維係數塊轉換為第一一維係數向量；將第二變換應用於該第一一維係數向量的至少一部分，以生成第二一維係數向量，其中該第二變換對應於不可分離 變換；根據係數掃描順序，將該第二一維係數向量轉換為第二二維係數塊；以及將該第二二維係數塊作為最終二維係數塊；以及如果該第一二維係數塊的該部分塊中的非零第一係數的總數不滿足目標條件，則：將該第一二維係數塊作為該最終二維係數塊。
  12. 如申請專利範圍第11項所述之編碼視訊資料的方法，其中該目標條件對應於該第一二維繫數塊的該部分塊中的非零第一係數的總數大於閾值。
  13. 如申請專利範圍第11項所述之編碼視訊資料的方法，其中該第一二維繫數塊的該部分塊對應於該第一二維繫數塊的左上MxN塊，其中M是小於該第一二維繫數塊的寬度的一個正整數，以及N是小於該第一二維繫數塊的高度的一個正整數。
  14. 如申請專利範圍第13項所述之編碼視訊資料的方法，其中該M和N是從由4、8和16組成的組中選擇的。
  15. 如申請專利範圍第11項所述之編碼視訊資料的方法，其中該第一二維繫數塊的該部分塊不包括位於該第一二維繫數塊的左上角的低頻係數。
  16. 如申請專利範圍第11項所述之編碼視訊資料的方法，其中該預測殘差塊包括一個亮度塊以及一個或多個色度塊，以及一個二維亮度係數塊以及一個或多個二維色度係數塊被生成，其中確定非零第一係數的總數的步驟僅計數與該一 個或多個二維色度係數塊相關的多個非零高頻係數。
  17. 如申請專利範圍第16項所述之編碼視訊資料的方法，其中確定該非零第一係數的總數的步驟僅計數該一個或多個二維色度係數塊中的每個的多個非零高頻係數以及選擇非零高頻係數的最大數量作為該非零第一係數的總數。
  18. 一種用於編碼視訊資料的裝置，該裝置包括一個或多個電子電路或處理器，被配置為：接收對應於正在編碼的視訊資料塊和預測子之間的差的預測殘差塊；將第一變換應用於該預測殘差塊以生成第一二維係數塊；確定該第一二維係數塊的部分塊中的非零第一係數的總數，其中，該第一二維係數塊的部分塊小於該第一二維係數塊；如果該第一二維係數塊的該部分塊中的非零第一係數的總數滿足目標條件，則：將該第一二維係數塊轉換為第一一維係數向量；將第二變換應用於該第一一維係數向量的至少部分，以生成第二一維係數向量，其中該第二變換對應於不可分離變換；根據係數掃描順序，將該第二一維係數向量轉換為第二二維係數塊；以及將該第二二維係數塊作為最終二維係數塊；以及如果該第一二維係數塊的該部分塊中的非零第一係數的總數不滿足目標條件，則： 將該第一二維係數塊作為該最終二維係數塊。
  19. 一種解碼視訊資料的方法，包括不可分離二次變換，該方法包括：接收對應於正在解碼的視訊資料塊與預測子之間的差的最終二維係數塊；確定該最終二維係數塊的部分塊中的非零第一係數的總數，其中，該最終二維係數塊的該部分塊小於該最終二維係數塊；如果該最終二維係數塊的該部分塊中的非零第一係數的總數滿足目標條件，則：將該最終二維係數塊轉換為第一一維係數向量；將第一變換應用於該第一一維係數向量的至少部分，以生成第二一維係數向量，其中該第一變換對應於不可分離變換；根據係數掃描順序，將該第二一維係數向量轉換為第一二維係數塊；將第二變換應用於該第一二維係數塊，以生成第二二維係數塊；以及根據該第二二維係數塊恢復視訊資料塊；以及如果該最終二維係數塊的該部分塊中的非零第一係數的總數不滿足目標條件，則：將該第二變換應用於該最終二維係數塊，以生成第三二維係數塊；以及根據該第三二維係數塊恢復該視訊資料塊。
  20. 如申請專利範圍第19項所述之解碼視訊資料的方法，其中該目標條件對應於在該最終二維繫數塊的該部分塊中的非零第一係數的總數大於閾值。
  21. 如申請專利範圍第19項所述之解碼視訊資料的方法，其中該最終二維繫數塊的該部分塊對應於該最終二維繫數塊的左上MxN塊，以及其中M是小於該最終二維繫數塊的寬度的一個正整數，以及N是小於該最終二維繫數塊的高度的一個正整數。
  22. 如申請專利範圍第21項所述之解碼視訊資料的方法，其中該M和N是從由4、8和16組成的組中被選擇的。
  23. 如申請專利範圍第19項所述之解碼視訊資料的方法，其中該最終二維繫數塊的該部分塊不包括位於該最終二維繫數塊的左上角的低頻係數。
  24. 如申請專利範圍第19項所述之解碼視訊資料的方法，其中該最終二維繫數塊對應於一個二維亮度係數塊以及一個或多個二維色度係數塊，以及其中該確定非零第一係數的總數的步驟僅計數與該一個或多個二維色度係數塊相關的多個非零高頻係數。
  25. 如申請專利範圍第24項所述之解碼視訊資料的方法，其中該確定非零第一係數的總數的步驟僅計數用於每個該一個或多個二維色度係數塊的非零高頻係數以及選擇非零高頻係數的最大數量作為非零第一係數的總數。
  26. 一種解碼視訊資料的裝置，該裝置包括一個或多個電子電路或處理器，被配置為： 接收對應於正在解碼的視訊資料塊與預測子之間的差的最終二維係數塊；確定該最終二維係數塊的部分塊中的非零第一係數的總數，其中，該最終二維係數塊的該部分塊小於該最終二維係數塊；如果該最終二維係數塊的該部分塊中的非零第一係數的總數滿足目標條件，則：將該最終二維係數塊轉換為第一一維係數向量；將第一變換應用於該第一一維係數向量的至少部分，以生成第二一維係數向量，其中該第一變換對應於不可分離變換；根據係數掃描順序，將該第二一維係數向量轉換為第一二維係數塊；將第二變換應用於該第一二維係數塊，以生成第二二維係數塊；以及根據該第二二維係數塊恢復視訊資料塊；以及如果該最終二維係數塊的該部分塊中的非零第一係數的總數不滿足目標條件，則：將該第二變換應用於該最終二維係數塊，以生成第三二維係數塊；以及根據該第三二維繫數塊恢復該視訊資料塊。
  27. 一種編碼或解碼視訊資料的方法，該方法包括：接收與當前塊相關的輸入資料，其中該輸入資料對應於對應於該當前塊與預測子之間的差的二維係數塊； 確定該二維係數塊的至少部分中的非零第一係數的總數；僅當在該二維係數塊的該至少部分中的非零第一係數的總數大於閾值時，在編碼器側處，發送增強多重變換標誌和一個或多個增強多重變換索引中的至少一個，或在解碼器側處，解析該增強多重變換標誌和該一個或多個增強多重變換索引中的至少一個，其中，該閾值大於或等於1；以及其中如果該增強多重變換標誌被發送，則具有第一標誌值的該增強多重變換標誌指示增強多重變換不被應用於該當前塊；以及具有第二標誌值的該增強變換標誌指示該增強多重變換被應用於該當前塊；以及其中如果該一個或多個增強多重變換索引被發送，則與由該一個或多個增強多重變換索引指示與水平變換和垂直變換相關的增強多重變換被應用於該當前塊。
  28. 如申請專利範圍第27項所述之編碼或解碼視訊資料的方法，其中如果增強多重變換標誌未被發送，則該增強多重變換標誌被推斷為具有第一標誌值，並且增強多重變換不被應用於該當前塊。
  29. 如申請專利範圍第27項所述之編碼或解碼視訊資料的方法，其中如果該一個或多個增強多重變換索引未被發送，則該一個或多個增強多重變換索引被推斷為0。
  30. 如申請專利範圍第27項所述之編碼或解碼視訊資料的方法，其中不同的閾值被選擇以用於對應於不同的編解碼模式、不同的顏色分量、不同的塊尺寸、不同的塊寬度或不同的塊高度的多個待處理塊。
  31. 如申請專利範圍第27項所述之編碼或解碼視訊資料的方法，其中該非零第一係數的總數是基於該二維繫數塊的左上MxN塊而計數的，其中M是小於該二維繫數塊的寬度的一個正整數，以及N是小於該二維繫數塊的高度的一個正整數。
  32. 一種用於編碼或解碼視訊資料的裝置，該裝置包括一個或多個電子電路或處理器，被配置為：接收與當前塊相關的輸入資料，其中該輸入資料對應於該當前塊與預測子之間的差的二維係數塊；確定該二維係數塊的至少部分中的非零第一係數的總數；僅當在該二維係數塊的該至少部分中的非零第一係數的總數大於閾值時，在編碼器側處，發送增強多重變換標誌和一個或多個增強多重變換索引中的至少一個，或在解碼器側處，解析該增強多重變換標誌和該一個或多個增強多重變換索引中的至少一個，其中，該閾值大於或等於1；以及其中如果該增強多重變換標誌被發送，則具有第一標誌值的該增強多重變換標誌指示增強多重變換不被應用於該當前塊；以及具有第二標誌值的該增強變換標誌指示該增強多重變換被應用於該當前塊；以及其中如果該一個或多個增強多重變換索引被發送，則與由該一個或多個增強多重變換索引指示與水平變換和垂直變換相關的增強多重變換被應用於該當前塊。
TW107108640A 2017-03-16 2018-03-14 用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置 TWI681668B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762472001P 2017-03-16 2017-03-16
US62/472,001 2017-03-16
US201762511369P 2017-05-26 2017-05-26
US62/511,369 2017-05-26
PCT/CN2018/078782 WO2018166429A1 (en) 2017-03-16 2018-03-13 Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
??PCT/CN2018/078782 2018-03-13
WOPCT/CN2018/078782 2018-03-13

Publications (2)

Publication Number Publication Date
TW201902219A true TW201902219A (zh) 2019-01-01
TWI681668B TWI681668B (zh) 2020-01-01

Family

ID=63523878

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107108640A TWI681668B (zh) 2017-03-16 2018-03-14 用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置

Country Status (6)

Country Link
US (1) US11509934B2 (zh)
EP (2) EP3586511B1 (zh)
CN (1) CN110419218B (zh)
PH (1) PH12019502040A1 (zh)
TW (1) TWI681668B (zh)
WO (1) WO2018166429A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740703A (zh) * 2019-03-03 2021-04-30 华为技术有限公司 编码器、解码器和用于变换处理的对应方法
CN113316937A (zh) * 2019-01-13 2021-08-27 Lg 电子株式会社 处理视频信号的方法和设备
TWI750632B (zh) * 2019-04-16 2021-12-21 聯發科技股份有限公司 用取決於tb 層級語法的適應性次要變換信令編解碼視頻資料的方法以及裝置

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
JP7446988B2 (ja) 2017-08-04 2024-03-11 エルジー エレクトロニクス インコーポレイティド ビデオ圧縮のための変換を構成する方法および装置
EP3777165A1 (en) * 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Determination of set of candidate transforms for video encoding
JP7334730B2 (ja) * 2018-03-30 2023-08-29 ソニーグループ株式会社 画像処理装置および方法
WO2019194503A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 분할된 블록에 2차 변환을 적용하여 비디오 신호를 처리하는 방법 및 장치
KR102030384B1 (ko) * 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
KR102454971B1 (ko) * 2018-07-06 2022-10-14 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CA3111340A1 (en) * 2018-09-03 2020-03-12 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods
CN110944177B (zh) * 2018-09-21 2024-03-01 华为技术有限公司 视频解码方法及视频解码器，视频编码方法及视频编码器
WO2020071873A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 그 장치
WO2020073882A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Video decoder and corresponding methods
KR20210089171A (ko) * 2018-12-06 2021-07-15 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
CN113196780A (zh) * 2019-01-12 2021-07-30 韦勒斯标准与技术协会公司 使用多变换核处理视频信号的方法和设备
KR20210102462A (ko) 2019-02-24 2021-08-19 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
JP7214894B2 (ja) 2019-04-16 2023-01-30 エルジー エレクトロニクス インコーポレイティド イントラ予測ベースの映像コーディングにおける変換
CA3137181A1 (en) 2019-04-16 2020-10-22 Lg Electronics Inc. Transform for matrix-based intra-prediction in image coding
KR20220122783A (ko) 2019-04-16 2022-09-02 엘지전자 주식회사 변환 인덱스를 이용하는 영상 코딩
JP7256293B2 (ja) 2019-04-23 2023-04-11 北京字節跳動網絡技術有限公司 符号化映像における二次変換の使用
CN113812146B (zh) 2019-05-10 2022-11-11 北京字节跳动网络技术有限公司 用于视频处理的基于亮度的二次变换矩阵选择
WO2020244656A1 (en) 2019-06-07 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
CN113994696A (zh) * 2019-06-15 2022-01-28 北京字节跳动网络技术有限公司 编解码视频中的块尺寸相关的二次变换的使用
WO2020256400A1 (ko) 2019-06-17 2020-12-24 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
MX2021008601A (es) 2019-06-17 2021-09-21 Lg Electronics Inc Codificacion de video o imagen basado en el mapeo de luma.
JP2022537160A (ja) * 2019-06-19 2022-08-24 エルジー エレクトロニクス インコーポレイティド 変換に基づく映像コーディング方法及びその装置
CN112135148B (zh) * 2019-06-25 2022-05-10 华为技术有限公司 非可分离变换方法以及设备
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
WO2021054797A1 (ko) * 2019-09-19 2021-03-25 주식회사 윌러스표준기술연구소 스케일링 프로세스를 사용하는 비디오 신호 처리 방법 및 장치
CA3155120A1 (en) * 2019-09-20 2021-03-25 Lg Electronics Inc. Transform-based image coding method, and device therefor
WO2021054779A1 (ko) * 2019-09-21 2021-03-25 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
MX2022003996A (es) * 2019-10-04 2022-04-26 Lg Electronics Inc Metodo de codificacion de imagenes a base de transformacion, y dispositivo para el mismo.
CN114007080B (zh) * 2019-12-03 2022-12-23 杭州海康威视数字技术股份有限公司 一种编码、解码方法、装置及其设备
WO2021115387A1 (en) * 2019-12-12 2021-06-17 Mediatek Inc. Methods and apparatus for restricted secondary transform and signaling thereof in image coding
WO2021128284A1 (zh) * 2019-12-27 2021-07-01 富士通株式会社 二次变换的约束方法及其装置
US11706425B2 (en) * 2020-01-08 2023-07-18 Qualcomm Incorporated Multiple transform set signaling for video coding
JP7360984B2 (ja) * 2020-03-31 2023-10-13 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
US20230099292A1 (en) * 2021-09-29 2023-03-30 Malini MANOCHA Detection and management of dysfunctions in subterranean operations
EP4175296A1 (en) * 2021-10-29 2023-05-03 Ateme Method for image processing and apparatus for implementing the same
WO2024005614A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011016246A1 (ja) * 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
KR101641863B1 (ko) * 2011-10-19 2016-07-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
WO2013102380A1 (en) 2012-01-03 2013-07-11 Mediatek Inc. Method and apparatus for block-based significance map and significance group flag context selection
US10944983B2 (en) * 2014-04-01 2021-03-09 Mediatek Inc. Method of motion information coding
EP3202151B1 (en) 2014-11-05 2020-07-29 MediaTek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
GB2564151A (en) 2017-07-05 2019-01-09 Sony Corp Image data encoding and decoding
WO2019126347A1 (en) * 2017-12-22 2019-06-27 Interdigital Vc Holdings, Inc. Method and apparatus for video compression using efficient multiple transforms

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113316937A (zh) * 2019-01-13 2021-08-27 Lg 电子株式会社 处理视频信号的方法和设备
CN113316937B (zh) * 2019-01-13 2024-01-02 Lg 电子株式会社 处理视频信号的方法和设备
CN112740703A (zh) * 2019-03-03 2021-04-30 华为技术有限公司 编码器、解码器和用于变换处理的对应方法
CN112740703B (zh) * 2019-03-03 2022-05-24 华为技术有限公司 编码器、解码器和用于变换处理的对应方法
TWI750632B (zh) * 2019-04-16 2021-12-21 聯發科技股份有限公司 用取決於tb 層級語法的適應性次要變換信令編解碼視頻資料的方法以及裝置
TWI750633B (zh) * 2019-04-16 2021-12-21 聯發科技股份有限公司 用適應性次要變換信令編解碼視訊資料的方法以及裝置
US11943476B2 (en) 2019-04-16 2024-03-26 Hfi Innovation Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling
US11956469B2 (en) 2019-04-16 2024-04-09 Hfi Innovation Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on TB level syntax

Also Published As

Publication number Publication date
PH12019502040A1 (en) 2020-06-15
WO2018166429A1 (en) 2018-09-20
EP3586511B1 (en) 2022-01-05
CN110419218B (zh) 2021-02-26
EP3586511A1 (en) 2020-01-01
EP3586511A4 (en) 2020-08-12
US20210120269A1 (en) 2021-04-22
CN110419218A (zh) 2019-11-05
EP4007277A1 (en) 2022-06-01
US11509934B2 (en) 2022-11-22
TWI681668B (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
TWI681668B (zh) 用於視訊編解碼的增強多重變換和不可分離二次變換的方法和裝置
US11259025B2 (en) Method and apparatus of adaptive multiple transforms for video coding
CN108605130B (zh) 一种用于对与区块相关的符号进行熵编解码的方法和装置
TWI663873B (zh) 使用靈活型四叉樹與二叉樹塊分割的視訊編解碼方法及裝置
TWI720584B (zh) 視訊處理系統中色度量化參數導出的方法以及裝置
WO2016049839A1 (en) Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US11930174B2 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
KR101839663B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
TW202007157A (zh) 視訊編解碼系統中對具有分割約束的視訊圖像進行編碼或編碼的視訊處理方法
KR20160129075A (ko) 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
WO2012119376A1 (en) Method and apparatus of transform unit partition with reduced complexity
KR20160075709A (ko) 비디오 및 이미지 코딩 및 디코딩에서의 해시 값을 갖는 블록의 표현
US11659174B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
KR20160072181A (ko) 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US20210409728A1 (en) Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
US9832460B2 (en) Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
WO2020098786A1 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
US20220368901A1 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
TW201941614A (zh) 一種用於視訊編碼器或視訊解碼器的視訊編解碼方法及裝置
TW202127880A (zh) 具有分割限制條件之小尺寸編碼單元分割方法和裝置
KR20160129076A (ko) 스크린 컨텐츠의 딕셔너리 인코딩 및 디코딩
US10652549B2 (en) Video coding device, video coding method, video decoding device, and video decoding method
TW202038619A (zh) 越界節點視訊資料之處理方法及裝置
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置