TWI816837B - 跨分量編碼順序導出 - Google Patents
跨分量編碼順序導出 Download PDFInfo
- Publication number
- TWI816837B TWI816837B TW108124967A TW108124967A TWI816837B TW I816837 B TWI816837 B TW I816837B TW 108124967 A TW108124967 A TW 108124967A TW 108124967 A TW108124967 A TW 108124967A TW I816837 B TWI816837 B TW I816837B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- luma
- component
- chroma
- codec
- Prior art date
Links
- 238000009795 derivation Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 114
- 241000023320 Luma <angiosperm> Species 0.000 claims description 151
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 151
- 238000000638 solvent extraction Methods 0.000 claims description 56
- 238000005192 partition Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 230000011664 signaling Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 11
- 230000002457 bidirectional effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereophonic System (AREA)
- Error Detection And Correction (AREA)
- Amplifiers (AREA)
- Superconductors And Manufacturing Methods Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
描述了在視頻解碼中使用塊尺寸限制的方法和裝置。在典型方面中,視頻解碼的方法包括:接收包含塊的資料的位元流表示,其中所述塊包括與第一分量和第二分量相關聯的樣本,其中與所述塊的第一分量相關聯的樣本具有M×N的維度;以及解碼所述塊的第一分量和第二分量;其中解碼所述塊的第一分量包括,基於所述維度,解碼所述塊的第一分量的多個子塊,並且通過僅在與所述塊的第一分量相關聯的樣本上進行劃分操作而不在與所述塊的第二分量相關聯的樣本上進行劃分操作,以生成所述多個所述子塊。
Description
該專利文件一般涉及圖像和視頻編碼技術。
[相關申請的交叉引用]
根據適用的專利法和/或《巴黎公約》的規定,本發明及時要求於2018年7月15日提交的國際專利申請No. PCT/CN2018/095720的優先權和權益。國際專利申請No. PCT/CN2018/095720的全部公開以引用方式併入作為本發明公開的一部分。
數位視頻占互聯網和其他數位通信網路上的最大頻寬使用。隨著能夠接收和顯示視頻的連接使用者設備的數量增加,預計數位視頻使用的頻寬需求將繼續增長。
描述了與使用塊尺寸限制來進行視頻編碼方法有關的設備、系統和方法。例如,本公開技術公開了基於視頻資料的塊的亮度或彩度分量的性質(或特性)選擇預測模式或確定是否劃分視頻資料的塊(例如,在圖片、條帶(slice),片(tile)等中)。所述方法可以應用於現有視頻編碼標準(例如,高效視頻編碼(HEVC))和未來視頻編碼標準或視頻編碼器。
在一個示例性方面中,公開了視頻處理方法。該方法包括:接收包含視頻塊的視頻資料的位元流表示,其中該視頻塊包括第一分量和第二分量中的樣本;在第二分量的視頻塊被劃分為子塊的情況下,從第二分量的子塊的第二編碼資訊導出第一分量的第一編碼資訊;基於第一編碼資訊,進行視頻塊與視頻塊的位元流表示之間的轉換。
在另一示例性方面中,公開了一種視頻解碼的方法。該方法包括:接收包含視頻塊的視頻資料的位元流表示,視頻塊包括第一分量中的樣本,第一分量中的樣本具有M×N的維度;基於滿足具體條件中的一個或多個,確定用於解碼塊的第一分量的第一預測模式不是雙向預測模式;以及通過使用第一預測模式解碼第一分量。
在另一示例性方面中,公開了一種視頻解碼的方法。該方法:接收包含視頻塊的視頻資料的位元流表示,其中視頻塊包括第一分量中的樣本和第二分量中的樣本;確定用於解碼塊的第一分量的第一預測模式,以及確定用於解碼塊的第二分量的第二預測模式;通過分別使用第一和第二預測模式來解碼第一和第二分量。
在另一示例性方面中,公開了視頻解碼的方法。該方法包括:接收包含塊的視頻資料的位元流表示,其中塊包括與第一分量和第二分量相關聯的樣本,其中與塊的第一分量相關聯的樣本具有維度M×N;解碼塊的第一分量和第二分量;其中解碼塊的第一分量包括,基於維度,解碼塊的第一分量的多個子塊,並且通過僅在與塊的第一分量相關聯的樣本上進行劃分操作而不在與塊的第二分量相關聯的樣本上進行劃分操作來生成多個子塊。
在又一典型方面,上述方法以處理器可執行代碼的形式體現並儲存在電腦可讀程式介質中。
在又一典型方面,公開了一種配置或可操作以執行上述方法的設備。該設備可以包括被程式設計為實現該方法的處理器。
在又一典型方面,視頻解碼器裝置可以實施如本文中所述的方法。
在附圖、說明書和申請專利範圍中更詳細地描述了公開技術的上述和其他方面和特徵。
由於對更高解析度視頻的需求的增加,視頻編碼方法和技術在現代技術中普遍存在。視頻編碼器通常包括壓縮或解壓縮數位視頻的電子電路或軟體,並且不斷改進以提供更高的編碼效率。視頻編碼器將未壓縮視頻轉換成壓縮格式,反之亦然。視頻品質,用於表示視頻的資料量(由位元速率確定),編碼和解碼演算法的複雜性,對資料丟失和錯誤的敏感性,編輯的簡易性,隨機存取和端到端延遲(延遲)之間存在複雜的關係。壓縮格式通常符合標準視頻壓縮規範,例如,高效視頻編碼(HEVC)標準(也稱為H.265或MPEG-H第2部分),待最終確定的多功能視頻編碼標準或其他當前和/或未來的視頻編碼標準。
所公開的技術的實施例可以應用於現有視頻編碼標準(例如,HEVC,H.265)和未來的標準以改進壓縮性能。在本文件中使用章節標題來提高描述的可讀性,並且不以任何方式將討論或實施例(和/或實現方式)僅限制到相應的章節。
1. 視頻編碼的示例性實施例
圖1示出了HEVC視頻編碼器和解碼器的典型示例性方塊圖。產生符合HEVC的位元流的編碼演算法通常如下進行。每個圖片被分成塊狀區域,精確的塊劃分被傳送到解碼器。視頻序列的第一圖片(以及進入視頻序列的每個乾淨的隨機訪問點處的第一圖片)僅使用圖片內預測(其使用同一圖片內區域到區域的空間資料預測,但不依賴其他圖片)進行編碼。對於序列的或隨機訪問點之間的所有剩餘圖片,圖片間時間預測編碼模式通常用於大多數塊。用於圖片間預測的編碼處理包括選擇包括要應用於預測每個塊的樣本的所選參考圖片和運動向量(MV)的運動資料。編碼器和解碼器通過使用MV和模式決策資料應用運動補償(MC)來生成相同的圖片間預測信號,其作為輔助資訊被傳輸。
通過線性空間變換來變換圖片內或圖片間預測的殘差信號,其是原始塊與其預測之間的差。然後對變換係數進行縮放,量化,熵編碼,並與預測資訊一起傳輸。
編碼器複製解碼器處理迴圈(參見圖1中的灰色陰影框),使得兩者都將為後續資料生成相同的預測。因此,通過逆縮放來構造量化的變換係數,然後對其進行逆變換以複製殘差信號的解碼近似。然後將殘差添加到預測,然後可以將該相加的結果饋送到一個或兩個環路濾波器中以平滑由逐塊處理和量化引起的偽像。最終圖片表示(即解碼器輸出的副本)儲存在解碼圖片緩衝器中以用於後續圖片的預測。通常,圖片的編碼或解碼處理的順序通常不同於它們從源到達的順序;需要區分解碼器的解碼順序(即位元流順序)和輸出順序(即顯示順序)。
通常期望由HEVC編碼的視頻材料作為逐行掃描圖像輸入(由於源視頻源自該格式或者由編碼之前的去交錯產生)。HEVC設計中不存在明確的編碼特徵以支援隔行掃描的使用,因為隔行掃描不再用於顯示器,並且對於分發而言變得非常不常見。然而,在HEVC中已提供了元資料 (metadata)語法以允許編碼器,通過將隔行掃描視頻的每個區(即,每個視頻幀的偶數或奇數行)編碼為單獨的圖片來指示已發送隔行掃描視頻,或通過將每個隔行掃描幀編碼為HEVC編碼圖片來指示它已被發送。這提供了一種對隔行掃描視頻進行編碼的有效方法,而不需要支援用於它的特殊解碼處理。
1.1. H.264/AVC中的分割樹結構的示例
先前標準中的編碼層的核心是宏塊,其包含亮度樣本的16×16塊,並且在4:2:0顏色採樣的通常情況下,包含彩度樣本的兩個對應的8×8塊。
幀內編碼塊使用空間預測來利用像素之間的空間相關性。定義了兩個分割:16×16和4×4。
幀間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以針對16×16宏塊或其任何子宏塊分割獨立地估計運動:16×8,8×16,8×8,8×4,4×8,4×4,如圖2中所示。每個子宏塊分割僅允許一個運動向量(MV)。
1.2 HEVC中的分割樹結構的示例
在HEVC中,通過使用表示為編碼樹的四叉樹結構將編碼樹單元(CTU)劃分為編碼單元(CU)以適應各種局部特性。使用圖片間(時間)還是圖片內(空間)預測來編碼圖片區域的決定是在CU級別進行的。可以根據PU劃分類型將每個CU進一步劃分為一個、兩個或四個預測單元(PU)。在一個PU內部,應用相同的預測處理,並且基於PU將相關資訊傳輸到解碼器。在通過應用基於PU劃分類型的預測處理來獲得殘餘塊之後,可以根據類似於CU的編碼樹的另一種四叉樹結構將CU劃分為變換單元(TU)。HEVC結構的關鍵特徵之一是它具有多個分割概念,包括CU、PU和TU。
使用HEVC的混合視頻編碼中涉及的某些特徵包括:
(1)編碼樹單元(CTU)和編碼樹塊(CTB)結構:HEVC中的類似結構是編碼樹單元(CTU),其具有由編碼器選擇的大小並且可以大於傳統的宏塊。CTU由亮度CTB和對應彩度CTB和語法元素組成。亮度CTB的大小L×L可以選擇為L=16、32或64個樣本,較大的大小通常能夠實現更好的壓縮。然後HEVC支援使用樹結構和類似四叉樹的信號將CTB劃分為更小的塊。
(2)編碼單元(CU)和編碼塊(CB):CTU的四叉樹語法指定其亮度CB和彩度CB的大小和位置。四叉樹的根與CTU關聯。因此,亮度CTB的大小是亮度CB的最大支持大小。將CTU劃分成亮度CB和彩度CB被聯合信號通知。一個亮度CB和通常兩個彩度CB以及關聯的語法形成編碼單元(CU)。CTB可以僅包含一個CU或者可以被劃分以形成多個CU,並且每個CU具有關聯的劃分的預測單元(PU)和具有變換單元(TU)的樹。
(3)預測單元和預測塊(PB):在CU級別做出是使用幀間預測還是幀內預測來編碼圖片區域的決定。PU劃分結構的根在CU級別。取決於基本預測類型決定,然後亮度CB和彩度CB可以進一步在大小上劃分並從亮度預測塊(PB)和彩度預測塊(PB)進行預測。HEVC支援從64×64下至4×4樣本的可變PB大小。圖3示出了對於M×M CU的允許PB的示例。
(4)變換單元(TU)和變換塊:使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級別。亮度CB殘差可以與亮度變換塊(TB)相同,或者可以進一步劃分成較小的亮度TB。這同樣適用於彩度TB。對於方形TB大小4×4,8×8,16×16和32×32,定義類似於離散餘弦變換(DCT)的整數基函數。對於亮度幀內預測殘差的4×4變換,交替地指定從離散正弦變換(DST)的形式導出的整數變換。
1.2.1. 樹狀結構劃分為TB和TU的示例
對於殘差編碼,可以將CB遞迴地劃分為變換塊(TB)。劃分通過殘餘四叉樹信號通知。僅指定了方形CB和TB劃分,其中塊可以遞迴地劃分成象限,如圖4A和4B中所示。對於大小為M×M的給定亮度CB,標誌信號通知指示它是否被分成大小為M/2×M/2的四個塊。如果可能進一步劃分,如SPS中指示的殘餘四叉樹的最大深度所信號通知,則為每個象限分配一個標誌,所述標誌指示它是否被分成四個象限。由殘餘四叉樹產生的葉節點塊是通過變換編碼進一步處理的變換塊。編碼器指示它將使用的最大和最小亮度TB大小。當CB大小大於最大TB大小時,劃分是隱含的。當劃分將導致亮度TB大小小於指示的最小值時,則不劃分是隱含的。在每個維度中彩度TB大小是亮度TB大小的一半,除了當亮度TB大小為4×4時,在該情況下單個4×4彩度TB用於由四個4×4亮度TB覆蓋的區域。在幀內預測的CU的情況下,最近相鄰TB(在CB內或外)的解碼樣本用作用於幀內預測的參考資料。
與先前的標準相反,HEVC設計允許TB跨越幀間預測CU的多個PB以最大化四叉樹結構的TB劃分的潛在編碼效率益處。
1.2.2. 圖片邊界編碼的示例
以最小允許的亮度CB大小為單位定義圖片的邊界。結果,在圖片的右邊界和底邊界處,一些CTU可以覆蓋部分在圖片邊界之外的區域。該情況由解碼器檢測到,並且必要時隱含地劃分CTU四叉樹以將CB大小減小到整個CB將適合圖片的點。
圖5示出了一幀的分割結構的示例,其具有416×240像素的解析度和7個CTB×4個CTB的維度,其中CTB的大小是64×64。如圖5中所示,部分位於右邊界和下邊界之外的CTB具有隱含的劃分(虛線,表示為502),並且完全落在外面的CU被簡單地跳過(未編碼)。
在圖5所示的示例中,突出顯示的CTB(504),其中行CTB索引等於2並且列CTB索引等於3,在當前圖片內具有64×48像素,並且不適合64×64 CTB。因此,它被強制劃分為32×32而不會對劃分標誌信號通知。對於左上32×32,它完全被幀覆蓋。當它根據速率-失真成本選擇在較小的塊中進行編碼(對於左上16×16為8×8,其餘在16×16中編碼)時,需要對幾個劃分標誌進行編碼。這些劃分標誌(是否將左上32×32分成四個16×16塊的一個標誌,以及用於信號指示是否一個16×16進一步被劃分並且對於左上16×16內的四個8×8塊中的每一個8×8進一步被劃分的標誌)必須明確地被信號通知。右上32×32塊存在類似情況。對於兩個底部32×32塊,由於它們部分地位於圖片邊界(506)之外,因此需要應用進一步的QT劃分而不用信號通知。圖6A和6B分別示出了圖5中突出顯示的CTB(504)的細分和信號方法。
1.2.3. CTB大小指示的示例
表1中示出了用於通用序列參數集的示例性RBSP(原始位元組序列有效載荷)語法表。
表1:RBSP語法結構
對應語義包括:
log2_min_luma_coding_block_size_minus3加3指定最小亮度編碼塊大小;以及
log2_diff_max_min_luma_coding_block_size指定最大和最小亮度編碼塊大小之間的差。
變數MinCbLog2SizeY,CtbLog2SizeY,MinCbSizeY,CtbSizeY,PicWidthInMinCbsY,PicWidthInCtbsY,PicHeightInMinCbsY,PicHeightInCtbsY,PicSizeInMinCbsY,PicSizeInCtbsY,PicSizeInSamplesY,PicWidthInSamplesC和PicHeightInSamplesC如下導出:
MinCbLog2SizeY=log2_min_luma_coding_block_size_minus3+3
CtbLog2SizeY=MinCbLog2SizeY+log2_diff_max_min_luma_coding_block_size
MinCbSizeY=1>>MinCbLog2SizeY
CtbSizeY=1>>CtbLog2SizeY
PicWidthInMinCbsY=pic_width_in_luma_samples/MinCbSizeY
PicWidthInCtbsY=Ceil(pic_width_in_luma_samples÷CtbSizeY)
PicHeightInMinCbsY=pic_height_in_luma_samples/MinCbSizeY
PicHeightInCtbsY=Ceil(pic_height_in_luma_samples÷CtbSizeY)
PicSizeInMinCbsY=PicWidthInMinCbsY*PicHeightInMinCbsY
PicSizeInCtbsY=PicWidthInCtbsY*PicHeightInCtbsY
PicSizeInSamplesY=pic_width_in_luma_samples*pic_height_in_luma_samples
PicWidthInSamplesC=pic_width_in_luma_samples/SubWidthC
PicHeightInSamplesC=pic_height_in_luma_samples/SubHeightC
分別指定每個彩度CTB的陣列的寬度和高度的變數CtbWidthC和CtbHeightC如下導出:
如果chroma_format_idc等於0(單色)或separate_colour_plane_flag等於1,則CtbWidthC和CtbHeightC都等於0;
否則,CtbWidthC和CtbHeightC如下導出:
CtbWidthC=CtbSizeY/SubWidthC
CtbHeightC=CtbSizeY/SubHeightC
1.3. JEM中具有較大CTU的四叉樹加二叉樹塊結構的示例
在一些實施例中,使用稱為聯合探索模型(JEM)的參考軟體來探索未來的視頻編碼技術。除二叉樹結構外,JEM還描述了四叉樹加二叉樹(QTBT)和三叉樹(TT)結構。
1.3.1. QTBT塊劃分結構的示例
與HEVC相反,QTBT結構消除了多個分割類型的概念,即,它消除了CU、PU和TU概念的分離,並且支持CU分割形狀的更多靈活性。在QTBT塊結構中,CU可以具有方形或矩形形狀。如圖7A中所示,首先由四叉樹結構劃分編碼樹單元(CTU)。四叉樹葉節點進一步由二叉樹結構劃分。在二叉樹劃分中有兩種劃分類型,對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元(CU),並且該分割用於預測和變換處理而無需任何進一步劃分。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊大小。在JEM中,CU有時由不同顏色分量的編碼塊(CB)組成,例如,一個CU在4:2:0彩度格式的P和B條帶的情況下包含一個亮度CB和兩個彩度CB,並且有時由單個分量的CB組成,例如,一個CU在I條帶的情況下包含僅一個亮度CB或僅兩個彩度CB。
為QTBT劃分方案定義以下參數:
-- CTU大小:四叉樹的根節點大小,與HEVC中相同的概念
-- MinQTSize:最小允許的四叉樹葉節點大小
-- MaxBTSize:最大允許的二叉樹根節點大小
-- MaxBTDepth:最大允許的二叉樹深度
-- MinBTSize:最小允許的二叉樹葉節點大小
在QTBT劃分結構的一個示例中,CTU大小被設置為具有兩個對應的64×64彩度樣本塊的128×128亮度樣本,MinQTSize被設置為16×16,MaxBTSize被設置為64×64,MinBTSize(寬度和高度)被設置為4×4,並且MaxBTDepth被設置為4。四叉樹劃分首先應用於CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16(即,MinQTSize)到128×128(即,CTU大小)的大小。如果四叉樹葉節點是128×128,則由於大小超過MaxBTSize(即64×64),它將不會由二叉樹進一步劃分。否則,四叉樹葉節點可以由二叉樹進一步劃分。因此,四叉樹葉節點也是二叉樹的根節點,並且它具有為0的二叉樹深度。當二叉樹深度達到MaxBTDepth(即4)時,不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize(即4)時,不考慮進一步的水平劃分。類似地,當二叉樹節點的高度等於MinBTSize時,不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點而無需任何進一步的劃分。在JEM中,最大CTU大小為256×256亮度樣本。
圖7A示出了通過使用QTBT進行塊劃分的示例,並且圖7B示出了對應的樹表示。實線表示四叉樹劃分並且虛線表示二叉樹劃分。在二叉樹的每個劃分(即,非葉)節點中,一個標誌被信號通知以指示使用哪種劃分類型(即,水平或垂直),其中0表示水平劃分並且1表示垂直劃分。對於四叉樹分割,不需要指示劃分類型,原因是四叉樹劃分總是水平地和垂直地劃分塊以產生具有相同大小的4個子塊。
另外,QTBT方案支援亮度和彩度具有單獨的QTBT結構的能力。目前,對於P和B條帶,一個CTU中的亮度和彩度CTB共用相同的QTBT結構。然而,對於I條帶,亮度CTB通過QTBT結構劃分為CU,並且彩度CTB通過另一QTBT結構劃分為彩度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個彩度分量的編碼塊組成,並且P或B條帶中的CU由所有三個顏色分量的編碼塊組成。
在HEVC中,限制小塊的幀間預測以減少運動補償的儲存器訪問,使得4×8和8×4塊不支援雙預測,並且4×4塊不支援幀間預測。在JEM的QTBT中,這些限制被去除。
1.4. 用於多功能視頻編碼(VVC)的三叉樹(TT)
圖8A示出了四叉樹(QT)劃分的示例,並且圖8B和8C分別示出了垂直和水平二叉樹(BT)劃分的示例。在一些實施例中,除了四叉樹和二叉樹之外,還支持三叉樹(TT)分割,例如水平和垂直中心側三叉樹(如圖8D和8E中所示)。
在一些實現方式中,支援兩級樹:區域樹(四叉樹)和預測樹(二叉樹或三叉樹)。首先通過區域樹(RT)劃分CTU。可以使用預測樹(PT)進一步劃分RT葉。還可以用PT進一步劃分PT葉片直到達到最大PT深度。PT葉是基本編碼單元。為方便起見,它仍被稱為CU。CU無法進一步劃分。預測和變換都以與JEM相同的方式應用於CU。整個分割結構稱為“多類型樹”。
1.5. 替代視頻編碼技術中的劃分結構的示例
在一些實施例中,支持稱為多樹類型(MTT)的樹結構,其是QTBT的一般化。在QTBT中,如圖9中所示,首先由四叉樹結構劃分編碼樹單元(CTU)。四叉樹葉節點進一步由二叉樹結構劃分。
MTT的結構由兩種類型的樹節點構成:區域樹(RT)和預測樹(PT),支援九種類型的分割,如圖10A到圖10I中所示。區域樹可以遞迴地將CTU劃分成方塊,直到4×4大小的區域樹葉節點。在區域樹中的每個節點處,可以從三種樹類型之一形成預測樹:二叉樹,三叉樹和非對稱二叉樹。在PT劃分中,禁止在預測樹的分支中具有四叉樹分割。與JEM中一樣,亮度樹和彩度樹在I條帶中分離。
通常,除了上下文推導之外,RT信號與JEM中的QT信號相同。對於PT信號,需要多達4個附加二進制位元(bin),如圖11中所示。第一二進制位元指示PT是否進一步劃分。該二進制位元的上下文基於以下觀察來計算:進一步劃分的可能性與當前塊與其鄰域的相對大小高度相關。如果進一步劃分PT,則第二二進制位元指示它是水平劃分還是垂直劃分。在一些實施例中,中心側三叉樹和不對稱二叉樹(ABT)的存在增加了“高”或“寬”塊的出現。第三二進制位元指示分割的樹類型,即它是二叉樹/三叉樹還是非對稱二叉樹。在二叉樹/三叉樹的情況下,第四二進制位元指示樹的類型。在非對稱二叉樹的情況下,第四二進制位元指示水平劃分樹的上或下類型和垂直劃分的右或左類型。
1.5.1. 圖片邊界處的限制的示例
在一些實施例中,如果CTB/LCU大小由M×N(通常M等於N,如HEVC/JEM中所定義)指示,對於位於圖片(或片或條帶或其他類型)邊界處的CTB,K×L樣本在圖片邊界內。
圖片底部和右邊界上的CU劃分規則可以應用於編碼樹配置QTBT+TT,QTBT+ABT或QTBT+TT+ABT中的任何一個。它們包括以下兩個方面:
(1)如果給定編碼樹節點(CU)的一部分部分地位於圖片外部,則沿著相關邊界方向(沿著底部邊界的水平劃分方向,如圖12A中所示,沿著右邊界的垂直劃分方向,如圖12B中所示)總是允許CU的二元對稱劃分。如果當前CU的右下角在幀外(如圖12C中所示),則僅允許CU的四叉樹劃分。此外,如果當前二叉樹深度大於最大二叉樹深度並且當前CU在幀邊界上,則啟用二元劃分以確保到達幀邊界。
(2)關於三叉樹劃分處理,在所得到的子CU之間的第一或第二邊界恰好位於圖片的邊界上的情況下,允許三叉樹劃分。如果劃分線(由劃分產生的兩個子CU之間的邊界)與圖片邊界完全匹配,則允許非對稱二叉樹劃分。
2. 現有實現方式的示例
現有實現方式允許在JEM、VTM或BMS中採用靈活的塊劃分途徑,這帶來顯著的編碼增益,但遭受若干複雜問題不利影響。在一個示例中,最小亮度塊尺寸可以是4×4。當雙向預測應用於4×4塊上時,要求的頻寬是巨大的。
在另一示例中,在4:2:0格式的情況下,最小彩度塊尺寸是2×2。除與亮度分量相似的頻寬問題之外,還引入了對硬體設計不友好的另外兩個問題:
(i)2×N或N×2變換和逆變換,以及
(ii)2×N或N×2幀內預測。
3. 使用基於本公開技術的塊尺寸限制的示例性方法
本公開技術的實施例克服現有實現方式的缺陷,由此提供具有更高效率的視頻編碼。具體地,使用亮度和/或彩度分量的塊尺寸來確定如何進行視頻編碼,例如,選擇什麼預測模式或是否劃分視頻資料的塊(以及亮度和彩度分量)。
以下對各種實現方式描述的示例中闡述了使用塊尺寸限制來改善視頻編碼效率並增強現有的和未來的視頻編碼標準。以下提供的本公開技術的示例解釋總體概念,並且不意圖被理解為限制。在示例中,除非明確地相反指示,這些示例中描述的各種特徵可以組合。在另一示例中,這些示例中描述的各種特徵可以應用於採用塊尺寸的圖片邊界編碼的方法,所述方法向後相容並將劃分樹用於可視媒體編碼。
示例1. 假定當前亮度編碼塊尺寸是M×N,如果滿足以下情況中的一種或多種,則對於亮度分量不允許雙向預測。
(a)M>=TX且N>=TY,在一個示例中,TX=TY=4;
(b)M>=TX或N>=TY,在一個示例中,TX=TY=4。
(c)當前編碼塊應用基於子塊的預測,諸如仿射預測
或ATMVP。
示例2. 假定當前彩度編碼塊尺寸是M×N,如果滿足以下情況中的一種或多種,則對於彩度分量不允許雙向預測。
(a)M>=TX且N>=TY,在一個示例中,TX=TY=2;
(b)M>=TX或N>=TY,在一個示例中,TX=TY=2。
(c)當前編碼塊應用基於子塊的預測,諸如仿射預測或ATMVP。
示例3. 在相同塊中,是否允許雙向預測對於亮度分量和彩度分量可以是不同的。
示例4. 如果對於編碼塊不允許雙向預測,則表示雙向預測的標誌或碼字被省略並推斷為0。
示例5. 假定當前亮度編碼塊尺寸是M×N,如果滿足以下情況中的一種或多種,則劃分操作(諸如QT、BT或TT)僅應用在亮度分量上,而不應用在彩度分量上,所述情況包含:
(a)M>=TX且N>=TY,在一個示例中,TX=TY=8;
(b)M>=TX或N>=TY,在一個示例中,TX=TY=8。
示例6. 如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則編碼順序、解碼順序或信號順序可以設計為
(a)用於亮度的SubB[0]、用於亮度的SubB[1]、…用於亮度的SubB[X-1]、用於Cb分量的B、用於Cr分量的B,如圖13中所示。
(b)替代地,用於亮度的SubB[0],用於亮度的SubB[1]、…用於亮度的SubB[X-1],用於Cr分量的B,用於Cb分量的B;
(c)替代地,用於亮度的SubB[0]、用於Cb分量的B、用於Cr分量的B、用於亮度的SubB[1]、... 用於亮度的SubB[X-1];
(d)替代地,用於亮度的SubB[0]、用於Cr分量的B、用於Cb分量的B、用於亮度的SubB[1]、... 用於亮度的SubB[X-1];
(e)替代地,用於Cb分量的B、用於Cr分量的B、用於亮度的SubB[0]、用於亮度的SubB[1]、... 用於亮度的SubB[X-1];
(f)替代地,用於Cr分量的B、用於Cb分量的B、用於亮度的SubB[0]、亮度的SubB[1]、... 用於亮度的SubB[X-1];
(g)SubB[0]、SubB[1]、… SubB[X-1]可以對於亮度分量進一步被劃分。
示例7. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則在塊B的全部子塊的亮度分量已經被重建之後重建塊B的彩度分量。
示例8. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則可以從亮度分量的子CU的預測模式導出塊B的彩度分量的預測模式(幀內編碼的或幀間編碼的)。
(a)在一個示例中,將彩度分量的預測模式(例如,幀內或幀間或其他模式;幀內預測方向,等)導出為一個子CU(諸如subCU[0],其為編碼/解碼順序中的第一子CU)的亮度分量的預測模式。
(b)在一個示例中,將彩度分量的預測模式導出為亮度分量在亮度塊中的預定位置(諸如B的上左位置(TL)、B的上右位置(TR)、B的下左位置(BL)、B的下右位置(BR),以及B的中心位置(C))處的樣本的預測模式。
(c)在一個示例中,如果B之內的至少一個位置屬於亮度分量的幀間編碼的CU,則將彩度分量的預測模式導出為幀間編碼的。
(d)在一個示例中,如果B之內的至少一個位置屬於亮度分量的幀內編碼的CU,則將彩度分量的預測模式導出為幀內編碼的。
(e)在一個示例中,如果B之內屬於幀內編碼CU的區域大於屬於亮度分量的幀間編碼的CU的區域,則將彩度分量的預測模式導出為幀內編碼的,否則,將其導出為幀間編碼的。
示例9. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則塊B的彩度分量的預測模式可以與亮度分量分開地編碼。
(a)在一個示例中,彩度分量的預測模式的編碼取決於亮度分量的預測模式的編碼。
(i)在一個示例中,將從亮度分量導出的預測模式視為彩度分量的預測模式的預測。
(ii)替代地,將從亮度分量導出的預測模式視為彩度分量的預測模式的編碼上下文。
示例10. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則可以從亮度分量的子CU的運動向量(MV)導出塊B的彩度分量的MV。
(a)在一個示例中,將彩度分量的MV導出作為一個子CU(諸如subCU[0])的亮度分量的MV。
(b)在一個示例中,將彩度分量的MV導出為預定位置(諸如B的上左位置(TL)、B的上右位置(TR)、B的下左位置(BL)、B的下右位置(BR),以及B的中心位置(C))處的亮度分量的MV。
(c)在一個示例中,將彩度分量的MV導出為亮度分量在檢查順序中的一系列預定位置處首先找到的MV。例如,檢查順序中的系列的預定位置為{C、TL、TR、BL、BR},則C、TL、TR、BL和BR被逐個檢查,選擇屬於幀間編碼的CU的第一個,並且相關聯的MV被選作彩度分量的MV。
(d)在一個示例中,如果從子CU S導出彩度分量的預測模式,則將彩度分量的MV導出為亮度分量的子CU S的MV。
(e)在一個示例中,如果從位置P導出彩度分量的預測模式,則將彩度分量的MV導出為亮度分量的位置P的MV。
(f)在一個示例中,將彩度分量的MV導出為來自若干子CU或在若干位置的亮度分量的MV的函數。示例性函數為average()、minimum()、maximum(),或median()。
(g)在彩度分量的運動補償之前,可以將從亮度分量的MV導出的彩度分量的MV縮放。例如,MV_chroma_x = MV_luma_x >> scaleX,MV_chroma_y = MV_luma_y >> scaleY,其中對於4:2:0格式,scaleX = scaleY = 1。
示例11. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則可以從亮度分量的子CU的E導出塊B的彩度分量的運動資訊語法元素E(諸如跳過標誌、Merge標誌、Merge索引、幀間方向(L0、L1或Bi)、參考索引、mv差異(mvd)、mv候選索引、仿射標誌、ic標誌、imv標誌等)。
(a)在一個示例中,將彩度分量的E導出作為一個子CU(諸如subCU[0])的亮度分量的E。
(b)在一個示例中,將彩度分量的E導出作為預定位置(諸如B的上左位置(TL)、B的上右位置(TR)、B的下左位置(BL)、B的下右位置(BR),以及B的中心位置(C))處的亮度分量的E。
(c)在一個示例中,將彩度分量的E導出為亮度分量在檢查順序中的一系列預定位置處首先找到的E。例如,檢查順序中的系列的預定位置為{C、TL、TR、BL、BR},則C、TL、TR、BL和BR被逐個檢查,選擇屬於幀間編碼的CU的第一個,並且相關聯的E被選作彩度分量的E。
(d)在一個示例中,如果從子CU S導出彩度分量的預測模式,則將彩度分量的E導出為亮度分量的子CU S的E。
(e)在一個示例中,如果從位置P導出彩度分量的預測模式,則將彩度分量的E導出為亮度分量的位置P的E。
(f)在一個示例中,將彩度分量的E導出為來自若干子CU或在若干位置的亮度分量的E的函數。示例性函數為運算元“and”、運算元“or”、average()、minimum()、maximum(),或median()。
示例12. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則塊B的彩度分量的MV可以與亮度分量分開地編碼。
(a)在一個示例中,彩度分量的運動資訊語法元素E(諸如跳過標誌、Merge標誌、Merge索引、幀間方向(L0、L1或Bi)、參考索引、mv差異(mvd)、mv候選索引、仿射標誌、ic標誌、imv標誌等)的編碼取決於亮度分量的E。
(i)在一個示例中,將從亮度分量導出的E視為彩度分量的E的預測。
(ii)替代地,將從亮度分量導出的E視為編碼彩度分量的E的編碼上下文。
示例13. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則可以從亮度分量的子CU的幀內預測模式導出塊B的彩度分量的幀內預測模式(IPM)(諸如直流(DC)、平面(planar)、垂直等)。
(a)在一個示例中,將彩度分量的IPM導出為一個子CU(諸如subCU[0])的亮度分量的IPM。
(b)在一個示例中,將彩度分量的IPM導出為預定位置(諸如B的上左位置(TL)、B的上右位置(TR)、B的下左位置(BL)、B的下右位置(BR),以及B的中心位置(C))處的亮度分量的IPM。
(c)在一個示例中,將彩度分量的IPM導出作為亮度分量在檢查順序中的一系列預定位置處的首先找到的IPM。例如,檢查順序中的系列的預定位置為{C、TL、TR、BL、BR},則C、TL、TR、BL和BR被逐個檢查,選擇屬於幀內編碼的CU的第一個,並且相關聯的IPM被選作彩度分量的IPM。
(d)在一個示例中,如果從子CU S導出彩度分量的預測模式,則將彩度分量的IPM導出作為亮度分量的子CU S的IPM。
(e)在一個示例中,如果從位置P導出彩度分量的預測模式,則將彩度分量的IPM導出作為亮度分量的位置P的IPM。
(f)在一個示例中,將彩度分量的IPM導出為來自若干子CU或在若干位置的亮度分量的IPM的函數。示例性函數為average()、minimum()、maximum(),或median()。
(i)替代地,如果來自若干子CU或在若干位置處的亮度分量的至少一個IPM是平面(Planar),則將彩度分量的IPM導出為平面(Planar);
(ii)替代地,如果來自若干子CU或在若干位置處的亮度分量的至少一個IPM是DC,則將彩度分量的IPM導出為DC;
示例14. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則塊B的彩度分量的IPM可以與亮度分量分開地編碼。
(a)在一個示例中,彩度分量的IPM的編碼取決於亮度分量的編碼塊標誌(cbf)。
(i)在一個示例中,將從亮度分量導出的IPM視為彩度分量的IPM的預測。在其他示例中,從亮度分量導出的一個或多個IPM被視為彩度分量的一個或多個DM模式。
(ii)替代地,將從亮度分量導出的IPM視為要編碼彩度分量的IPM的編碼上下文。
示例15. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則可以從亮度分量的子CU的cbf導出塊B的彩度分量的編碼塊標誌(cbf)(如果沒有殘差被編碼,則cbf為0)。
(a)在一個示例中,將彩度分量的cbf導出為亮度分量一個子CU(諸如subCU[0],其為編碼/解碼順序中的第一子CU)的cbf。
(b)在一個示例中,將彩度分量的cbf導出為亮度分量在亮度塊中的預定位置(諸如B的上左位置(TL)、B的上右位置(TR)、B的下左位置(BL)、B的下右位置(BR),以及B的中心位置(C))處的樣本的cbf。
(c)在一個示例中,將彩度分量的cbf導出為在檢查順序中的一系列預定位置處首先找到的亮度分量的非零cbf。例如,檢查順序中的系列的預定位置為{C、TL、TR、BL、BR},則C、TL、TR、BL和BR被逐個檢查,選擇不等於零的第一個,並且相關聯的cbf被選作彩度分量的cbf。
(d)在一個示例中,將彩度分量的cbf導出為在檢查順序中的一系列預定位置處首先找到的亮度分量的零cbf。例如,檢查順序中的系列的預定位置為{C、TL、TR、BL、BR},則C、TL、TR、BL和BR被逐個檢查,選擇等於零的第一個,並且相關聯的cbf被選作彩度分量的cbf。
(e)在一個示例中,如果從子CU S導出彩度分量的預測模式,則將彩度分量的IPM導出為亮度分量的子CU S的IPM。
(f)在一個示例中,如果從位置P導出彩度分量的預測模式,則將彩度分量的IPM導出為亮度分量的位置P的IPM。
(g)在一個示例中,將彩度分量的cbf導出為來自若干子CU或在若干位置的亮度分量的cbf的函數。示例性函數為運算元“and”、運算元“or”、minimum(),以及maximum()。
(h)在一個示例中,如果由幀內模式編碼彩度分量,則僅考慮來自由幀內模式編碼的亮度分量的子CU或位置的cbf。
(i)在一個示例中,如果由幀間模式編碼彩度分量,則僅考慮來自由幀間模式編碼亮度分量的子CU或位置的cbf。
示例16. 在一個實施例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則塊B的彩度分量的cbf可以與亮度分量分開地編碼。
(a)在一個示例中,彩度分量的cbf的編碼取決於亮度分量的cbf。
(i)在一個示例中,將從亮度分量導出的cbf視為彩度分量的cbf的預測。
(ii)替代地,將從亮度分量導出的cbf視為要編碼彩度分量的cbf的編碼上下文。
示例17. 對於亮度和彩度分量應不同地進行環內濾波。在一個示例中,如果塊B被信號通知為要劃分為X個子CU(例如,對於QT,X=4;對於TT,X=3;並且對於BT,X=2),但推斷塊B中的彩度分量無法被劃分,則在CU在塊B之內的邊界處對亮度分量進行環內濾波,但不對彩度分量進行環內濾波。
示例18. 是否以及如何應用限制可以被預定,或它們可以被從編碼器傳輸到解碼器。例如,它們可以被在視頻參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、編碼樹單元(CTU)或編碼單元(CU)中信號通知。
上述示例可以整合在以下描述的方法的上下文中,例如,方法1400,其可以在視頻解碼器和/或視頻編碼器處實現。
圖14示出了視頻編碼的示例性方法的流程圖,其可以在視頻編碼器中實現。在步驟1410,方法1400包括接收包括亮度分量和彩度分量的視頻資料的塊的位元流表示。
在步驟1420,方法1400包括使用第一預測模式處理位元流表示,以生成視頻資料的塊,其中第一預測模式基於亮度分量或彩度分量的性質。在一些實施例中,性質包含亮度分量或彩度分量的維度。
在一些實施例中,第一預測模式不是雙向預測模式,並且亮度分量的第一預測模式與彩度分量的第二預測模式不同。在其他實施例中,第一預測模式不是雙向預測模式,並且亮度分量的第一預測模式與彩度分量的第二預測模式相同。
方法1400還可以包括對亮度分量或彩度分量進行劃分操作。在一些實施例中,亮度分量的尺寸是M×N,其中M≤TX和/或N≤TY,且TX和TY為整數閾值,並且其中對亮度分量進行劃分操作而不對彩度分量進行劃分操作。
方法1400還可以包括:基於性質,對視頻資料的塊進行劃分操作,以生成子塊。在一些實施例中,彩度分量無法被劃分,並且對亮度分量進行劃分操作,以對子塊中的每一個生成亮度分量。
在示例中,在已經重建子塊的亮度分量之後,重建彩度分量。
在另一示例中,從子塊的亮度分量的相同特性導出彩度分量的特性。換而言之,來自亮度子塊中的一個的特性可以被拷貝在彩度塊之上。該特性可以是但不限於預測模式、運動向量、運動資訊語法元素、幀內預測模式(IPM),或編碼塊標誌。在一些實施例中,運動資訊語法元素可以是跳過標誌、Merge標誌、Merge索引、幀間方向、參考索引、運動向量候選索引、仿射標誌、照明補償標誌或整數運動向量標誌。
在一些實施例中,將性質或性質的指示,或更普遍地,是否進行上述示例中闡述的操作中的一個的決定在視頻參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、編碼樹單元(CTU)或編碼單元(CU)中信號通知。
4. 本公開技術的示例性實現方式
圖15是視頻處理裝置1500的方塊圖。裝置1500可以用來實現本文所描述的方法中的一種或多種。裝置1500可以實施為智慧型電話、平板、電腦、物聯網(IoT)接收器等等。裝置1500可以包括一個或多個處理器1502、一個或多個儲存器1504,以及視頻處理硬體1506。(多個)處理器1502可以配置為實現本文件所描述的一個或多個方法(包括但不限於方法1400)。儲存器(多個儲存器)1504可以用來儲存用於實現本文所描述的方法和技術的資料和代碼。在硬體電路中,視頻處理硬體1506可以用來實現,本文件所描述的一些技術。
在一些實施例中,視頻解碼器裝置可以實現如本文所描述的使用零單元的用於視頻解碼的方法。方法的各種特徵可以相似於以上描述的方法1400。
在一些實施例中,可以使用在關於圖15描述的硬體平臺上實現的解碼裝置來實現視頻解碼方法。
圖16示出了視頻處理的示例性方法的流程圖,其可以在視頻編碼器/解碼器中實現。在步驟1610,方法1600包括接收包括視頻塊的視頻資料的位元流表示,其中視頻塊包括第一分量和第二分量中的樣本。
在步驟1620,方法1600包括:在第二分量的視頻塊被劃分為子塊的情況下,從第二分量的子塊的第二編碼資訊導出第一分量的第一編碼資訊。
在步驟1630,方法1600包括:基於第一編碼資訊,進行視頻塊與視頻塊的位元流表示之間的轉換。
圖17示出了視頻編碼的示例性方法的流程圖,其可以在視頻解碼側實現。
如圖17所示,方法1700包含,在步驟1710,接收包含視頻塊的視頻資料的位元流表示,視頻塊包括第一分量中的樣本,第一分量中的樣本具有M×N的維度。
方法1700還包含,在步驟1720,基於滿足具體條件中的一個或多個,確定用於解碼塊的第一分量的第一預測模式不是雙向預測模式。
方法1700還包含,在步驟1730,通過使用第一預測模式解碼第一分量。
圖18根據本公開技術的視頻解碼的另一示例性方法的流程圖。
如圖18所示,方法1800包含,在步驟1810,接收包含視頻塊的視頻資料的位元流表示,其中視頻塊包括第一分量中的樣本和第二分量中的樣本。
方法1800包含,在步驟1820,確定用於解碼塊的第一分量的第一預測模式,以及確定用於解碼塊的第二分量的第二預測模式。
方法1800包含,在步驟1830,通過分別使用第一和第二預測模式來解碼第一和第二分量。
圖19示出了根據本公開技術的用於視頻解碼的另一示例性方法的流程圖。
如圖19所示,方法1900包含,在步驟1910,接收包含塊的視頻資料的位元流表示,其中塊包括與第一分量和第二分量相關聯的樣本,其中與塊的第一分量相關聯的樣本具有維度M×N。
方法1900包含,在步驟1920,解碼塊的第一分量和第二分量;其中解碼塊的第一分量包括,基於維度,解碼塊的第一分量的多個子塊,並且通過僅在與塊的第一分量相關聯的樣本上進行劃分操作而不在與塊的第二分量相關聯的樣本上進行劃分操作來生成多個子塊。
本文件公開的各種實施例和技術可以在以下列舉的示例中描述。
1. 一種視頻解碼的方法,包括:接收包含塊的資料的位元流表示,其中所述塊包括與第一分量和第二分量相關聯的樣本,其中與所述塊的第一分量相關聯的樣本具有M×N的維度;以及解碼所述塊的第一分量和第二分量;其中解碼所述塊的第一分量包括,基於所述維度,解碼所述塊的第一分量的多個子塊,並且通過僅在與所述塊的第一分量相關聯的樣本上進行劃分操作而不在與所述塊的第二分量相關聯的樣本上進行劃分操作,以生成所述多個所述子塊。
2. 如示例1所述的方法,其中使用幀間模式、幀內模式或幀內塊拷貝模式解碼所述第一分量和所述第二分量。
3. 如示例1或2所述的方法,當M≤TX和/或N≤TY,TX和TY為整數時,解碼所述資料的塊的第一分量包括解碼所述塊的第一分量的多個子塊。
4. 如示例1至3中任一項所述的方法,其中所述塊的第一分量是亮度分量,並且所述塊的第二分量為彩度分量。
5. 如示例1至4中任一項所述的方法,其中TX=TY=8。
6. 如示例1至4中任一項所述的方法,其中TX=TY=4。
7. 如示例1至6中任一項所述的方法,其中採用四叉樹劃分結構、三叉樹劃分結構和二叉樹劃分結構中的至少一種來在與所述塊的第一分量相關聯的所述樣本上進行所述劃分操作,以生成所述第一分量的多個子塊。
8. 如示例1至6中任一項所述的方法,其中信號通知或推斷在與所述塊的第一分量相關聯的樣本上進行所述劃分操作,並且在不信號通知的情況下推斷不在與所述塊的第二分量相關聯的樣本上進行劃分操作。
9. 如示例4所述的方法,其中在解碼所述塊的彩度分量之前,對所述亮度分量順序地解碼所述亮度分量的多個子塊。
10. 如示例4所述的方法,其中在解碼所述塊的彩度分量之後,對所述亮度分量順序地解碼所述亮度分量的多個子塊。
11. 如示例4所述的方法,其中在解碼所述塊的彩度分量之前,解碼所述多個子塊中具有所述亮度分量的最小索引的一個子塊;並且在解碼所述塊的彩度分量之後,對所述亮度分量順序地解碼所述亮度分量的其餘多個子塊。
12. 如示例9至11中任一項所述的方法,其中所述塊的彩度分量包括Cb分量和Cr分量,並且在所述Cr分量之前或之後解碼所述Cb分量。
13. 如示例4所述的方法,其中與所述塊的彩度分量相關聯的樣本充當葉節點,所述葉節點對所述彩度分量無法被劃分為更小的編碼單元。
14. 如示例4所述的方法,其中與所述亮度分量的多個子塊中的至少一個子塊相關聯的樣本充當葉節點,所述葉節點對所述亮度分量無法被劃分為更小的編碼單元。
15. 如示例4所述的方法,其中與所述亮度分量的多個子塊中的至少一個子塊相關聯的樣本充當非葉節點,所述非葉節點對所述亮度分量可以被劃分為更小的編碼單元。
16. 如示例13至15中任一項所述的方法,其中與所述塊相關聯的全部資料和樣本被包含在編碼單元中。
17. 如示例4所述的方法,還包括通過重建所述塊的亮度分量和所述塊的彩度分量而重建所述資料的塊,其中在重建所述塊的彩度分量之前,重建所述亮度分量的多個子塊中的全部子塊。
18. 編碼包含塊的資料的方法,其中所述塊包括與第一分量和第二分量相關聯的樣本,其中與所述塊的第一分量相關聯的樣本具有維度M×N,所述方法包括:編碼所述第一分量和所述塊的第二分量,其中編碼所述塊的第一分量包括基於所述維度編碼所述塊的第一分量的多個子塊,並且通過僅在與所述塊的第一分量相關聯的樣本上進行劃分操作而不在與所述塊的第二分量相關聯的樣本上進行劃分操作,以生成所述多個所述子塊。
19. 如示例18所述的方法,其中使用幀間模式、幀內模式或幀內塊拷貝模式編碼所述第一分量和所述第二分量。
20. 如示例18或19所述的方法,還包括,當M≤TX和/或N≤TY,且TX和TY為整數時,編碼所述塊的第一分量包括編碼所述塊的第一分量的多個子塊。
21. 如示例18或19所述的方法,其中所述塊的第一分量為亮度分量,並且所述塊的第二分量為彩度分量。
22. 如示例19所述的方法,其中TX=TY=8。
23. 如示例19所述的方法,其中TX=TY=4。
24. 如示例18至23中任一項所述的方法,其中採用四叉樹劃分結構、三叉樹劃分結構和二叉樹劃分結構中的至少一種來在與所述塊的第一分量相關聯的樣本上進行所述劃分操作,以生成所述第一分量的多個子塊。
25. 如示例21所述的方法,還包括:將所述塊的亮度分量和彩度分量信號通知到解碼側,其中將所述塊的亮度分量信號通知包括將所述亮度分量的多個子塊信號通知。
26. 如示例25所述的方法,其中在編碼/信號通知所述彩度分量之前,對所述亮度分量順序地編碼/信號通知所述亮度分量的多個子塊。
27. 如示例25所述的方法,其中在編碼/信號通知所述彩度分量之後,對所述亮度分量順序地編碼/信號通知所述亮度分量的多個子塊。
28. 如示例25所述的方法,其中在編碼/信號通知所述彩度分量之前,編碼/信號通知所述多個子塊中具有亮度分量的最小索引的一個子塊;並且在編碼/信號通知所述彩度分量之後,對所述亮度分量順序地編碼/信號通知所述亮度分量的其餘多個子塊。
29. 如示例26至28中任一項所述的方法,其中所述塊的彩度分量包括Cb分量和Cr分量,並且在所述Cr分量之前或之後編碼/信號通知所述Cb分量。
30. 如示例21所述的方法,其中與所述塊的彩度分量相關聯的樣本充當葉節點,所述葉節點對所述彩度分量無法被劃分為更小的編碼單元。
31. 如示例21所述的方法,其中與所述亮度分量的多個子塊中的至少一個子塊相關聯的樣本充當葉節點,所述葉節點對所述亮度分量無法被劃分為更小的編碼單元。
32. 如示例21所述的方法,其中與所述亮度分量的多個子塊中的至少一個子塊相關聯的樣本充當非葉節點,所述非葉節點對所述亮度分量可以被劃分為更小的編碼單元。
33. 如示例21所述的方法,其中與所述塊相關聯的全部資料和樣本被包含在編碼單元中。
34. 一種視頻系統中的裝置,包括處理器和非瞬態儲存器,所述非瞬態儲存器上具有指令,其中當由所述處理器執行所述指令時,使所述處理器實現示例1至33中任一項的方法。
35. 一種電腦程式產品,儲存在非瞬態電腦可讀介質上,所述電腦程式產品包含用於進行示例1至33中任一項所述的方法的程式碼。
從前述內容將理解,為了便於說明,本公開技術的具體實施例已經在本文中進行了描述,但是可以在不偏離本發明範圍的情況下進行各種修改。因此,除了所附申請專利範圍之外,本公開的技術不受限制。
本專利文件中描述的主題和功能操作的實現方式可以在各種系統、數位電子電路、或電腦軟體、韌體或硬體中實現,包括本說明書中公開的結構及其結構等效體,或其中一個或多個的組合。本說明書中描述的主題的實現方式可以實現為一個或多個電腦程式產品,即編碼在有形和非暫時電腦可讀介質上的電腦程式指令的一個或多個模組,以供資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀儲存基板、存放裝置、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器,包括例如可程式設計處理器、電腦或多個處理器或電腦。除硬體外,該裝置還可以包括為所述電腦程式創建執行環境的代碼,例如,構成處理器韌體、協定棧、資料庫管理系統、作業系統或其中一個或多個的組合的代碼。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的程式設計語言(包括編譯語言或解釋語言)編寫,並且它可以以任何形式部署,包括作為獨立程式或作為模組、元件、副程式或適合在計算環境中使用的其他單元。電腦程式不一定與檔案系統中的文件對應。程式可以儲存在保存其他程式或資料的文件的一部分(例如,儲存在標記語言文件中的一個或多個腳本)中、專用於所述程式的單個文件中、或多個協調文件(例如,儲存一個或多個模組、副程式或部分代碼的文件)中。電腦程式可以部署成在一台或多台電腦上執行,所述電腦位於一個網站上或分佈在多個網站上,並通過通信網路互連。
本說明書描述的處理和邏輯流可以通過一個或多個可程式設計處理器執行,所述處理器執行一個或多個電腦程式,通過在輸入資料上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行,並且裝置也可以實現為特殊用途的邏輯電路,例如,FPGA(現場可程式設計閘陣列)或ASIC(專用積體電路)。
例如,適於執行電腦程式的處理器包括通用和專用微處理器,以及任何類型數位電腦的任何一個或多個處理器。通常,處理器將從唯讀儲存器或隨機存取儲存器或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個存放裝置。通常,電腦還將包括用於儲存資料的一個或多個大型存放區設備,例如,磁片、磁光碟或光碟,或可操作聯接到一個或多個大型存放區設備以從其接收資料或向其傳輸資料,或兩者兼有。然而,電腦不一定具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非揮發性儲存器、介質和儲存器設備,包括例如半導體儲存器設備,例如EPROM、EEPROM和快閃儲存器設備。處理器和儲存器可以由專用邏輯電路來補充,或合併到專用邏輯電路中。
本說明書和附圖僅意在被視為示例性的,其中示例性是指示例。如本文所用,除非上下文另有明確說明,否則單數形式“a”、“an”和“the”也應包括複數形式。此外,“或”的使用旨在包括“和/或”,除非上下文另有明確說明。
雖然本專利文件包含許多細節,但不應將其解釋為對任何發明或申請專利範圍的限制,而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的某些特徵也可以在單個實施例中組合實現。相反,在單個實施例的上下文中描述的各種特徵也可以在多個實施例中單獨實現,或在任何合適的子組合中實現。而且,儘管上述特徵可以描述為在某些組合中起作用,甚至最初要求是這樣,但在某些情況下,可以從組合中刪除申請專利範圍組合中的一個或多個特徵,並且申請專利範圍的組合可以涉及子組合或子組合的變型。
類似地,儘管圖中以特定順序描述了操作,但這不應理解為要獲得想要的結果必須按照所示的特定順序或按照先後循序執行這樣的操作,或執行所有示出的操作。而且,本專利文件所述實施例中各種系統部件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現方式和示例,其他實現方式、增強和變型可以基於本專利文件中描述和示出的內容做出。
502、504‧‧‧CTB
506‧‧‧圖片邊界
1400、1600、1700、1800、1900‧‧‧方法
1410、1420、1610、1620、1630、1710、1720、1730、1810、1820、1830、1910、1920‧‧‧步驟
1500‧‧‧裝置
1502‧‧‧處理器
1504‧‧‧儲存器
1506‧‧‧視頻處理硬體
圖1示出了高效視頻編碼(HEVC)視頻編碼器和解碼器的典型示例性方塊圖。
圖2示出了H.264/AVC中的宏塊(MB)分割的示例。
圖3示出了將編碼塊(CB)劃分為預測塊(PB)的示例。
圖4A和4B分別示出了將編碼樹塊(CTB)細分為CB和變換塊(TB)以及對應四叉樹的示例。
圖5示出了一幀的分割結構的示例。
圖6A和6B分別示出了在圖5中的示例性幀中突出顯示的CTB的細分和信號方法。
圖7A和7B示出了用於最大編碼單元(LCU)的細分和對應QTBT(四叉樹加二叉樹)的示例。
圖8A-8E示出了劃分編碼塊的示例。
圖9示出了基於QTBT的CB的示例性細分。
圖10A-10I示出了支援多樹類型(MTT)的CB的分割的示例,其是QTBT的一般化。
圖11示出了樹型信號的示例。
圖12A-12C示出了跨越圖片邊界的CTB的示例。
圖13示出了如果亮度分量可以被劃分但彩度分量不能被劃分的情況下的示例性編碼/解碼/信號順序。
圖14示出了根據本公開的技術的視頻編碼的示例性方法的流程圖。
圖15是用於實現本文件中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的方塊圖。
圖16示出了根據本公開技術的視頻處理的示例性方法的流程圖。
圖17示出了根據本公開技術的視頻解碼的另一示例性方法的流程圖。
圖18示出了根據本公開技術的視頻解碼的另一示例性方法的流程圖。
圖19示出了根據本公開技術的視頻解碼的另一示例性方法的流程圖。
1800‧‧‧方法
1810、1820、1830‧‧‧步驟
Claims (12)
- 一種編解碼視頻資料的方法,包括:基於第一亮度劃分方案從視頻的亮度編解碼樹塊(CTB)生成亮度父編解碼塊,其中所述第一亮度劃分方案包括遞迴劃分操作基於第一彩度劃分方案從彩度編解碼樹塊(CTB)生成彩度父編解碼塊,其中所述第一彩度劃分方案具有與所述第一亮度劃分方案相同的遞迴劃分操作;基於亮度和彩度CTB的顏色格式、編解碼模式和所述亮度父編解碼塊的尺寸滿足特定條件,來確定對所述亮度父編解碼塊應用進一步劃分操作,以生成多個亮度編解碼塊,並且不對所述彩度父編解碼塊應用進一步劃分操作;以及執行所述多個亮度編解碼塊與所述視頻的位元流之間的轉換以及所述彩度父編解碼塊與所述位元流之間的轉換。
- 如申請專利範圍第1項所述的方法,其中在所述亮度父編解碼塊具有尺寸8×8、所述亮度父編解碼塊的編解碼模式是幀內模式類型並且所述顏色格式是4:2:0的情況下,所述亮度父編解碼塊的尺寸滿足特定條件。
- 如申請專利範圍第1項所述的方法,其中在所述亮度父編解碼塊具有尺寸4×8或8×4而不考慮亮度和彩度CTB的顏色格式和所述亮度父編解碼塊的編解碼模式的情況下,所述亮度父編解碼塊的尺寸滿足特定條件。
- 如申請專利範圍第1項所述的方法,其中所述進一步劃分操作包括四叉樹(QT)劃分結構、三叉樹(TT)劃分結構和二叉樹(BT)劃分結構。
- 如申請專利範圍第1項所述的方法,其中響應於對所述亮度父編解碼塊應用所述進一步劃分操作,將所述亮度父編解碼塊劃分成多個亮度子分區,並且其中在所述彩度父編解碼塊之前,解碼所述多個亮度子分區。
- 如申請專利範圍第1項所述的方法,其中在所述彩度父編解碼塊之後,解碼所述多個亮度子分區。
- 如申請專利範圍第1項所述的方法,其中在所述彩度父編解碼塊之前,解碼所述多個亮度子分區中具有最小索引的一個亮度子分區;並且在所述彩度父編解碼塊之後,解碼所述多個亮度子分區的其餘多個亮度子分區。
- 如申請專利範圍第1項所述的方法,其中所述彩度父編解碼塊包括Cb塊和Cr塊,並且在所述Cr塊之前解碼所述Cb塊。
- 如申請專利範圍第1至8項中任一項所述的方法,其中所述轉換包括將多個亮度編解碼塊和所述彩度父編解碼塊編碼為所述位元流。
- 如申請專利範圍第1至8項中任一項所述的方法,其中所述轉換包括從所述位元流解碼多個亮度編解碼塊和所述彩度父編解碼塊。
- 一種視頻系統中的裝置,包括處理器和非暫時儲存器,所述非暫時儲存器上具有指令,其中當由所述處理器執行所述指令時,使所述處理器實現申請專利範圍第1至10項中任一項的方法。
- 一種儲存指令的非暫時性電腦可讀儲存介質,所述指令使處理器執行申請專利範圍第1至10項中任一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018095720 | 2018-07-15 | ||
WOPCT/CN2018/095720 | 2018-07-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202007171A TW202007171A (zh) | 2020-02-01 |
TWI816837B true TWI816837B (zh) | 2023-10-01 |
Family
ID=67989032
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108124967A TWI816837B (zh) | 2018-07-15 | 2019-07-15 | 跨分量編碼順序導出 |
TW108124968A TWI815927B (zh) | 2018-07-15 | 2019-07-15 | 視頻編解碼的塊尺寸限制 |
TW108124974A TW202007164A (zh) | 2018-07-15 | 2019-07-15 | 跨分量運動資訊匯出 |
TW108124970A TWI829721B (zh) | 2018-07-15 | 2019-07-15 | 跨分量幀內預測模式導出 |
TW108124969A TWI820168B (zh) | 2018-07-15 | 2019-07-15 | 跨分量編碼資訊導出 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108124968A TWI815927B (zh) | 2018-07-15 | 2019-07-15 | 視頻編解碼的塊尺寸限制 |
TW108124974A TW202007164A (zh) | 2018-07-15 | 2019-07-15 | 跨分量運動資訊匯出 |
TW108124970A TWI829721B (zh) | 2018-07-15 | 2019-07-15 | 跨分量幀內預測模式導出 |
TW108124969A TWI820168B (zh) | 2018-07-15 | 2019-07-15 | 跨分量編碼資訊導出 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11070805B2 (zh) |
CN (6) | CN110719481B (zh) |
GB (1) | GB2589769B (zh) |
TW (5) | TWI816837B (zh) |
WO (5) | WO2020016748A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3785433A4 (en) * | 2018-04-30 | 2022-02-23 | MediaTek Inc. | SYNTAX INTERLACE METHOD AND APPARATUS FOR A SEPARATE CODING TREE IN A VIDEO CODING SYSTEM |
WO2020016748A1 (en) | 2018-07-15 | 2020-01-23 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component motion information derivation |
CN111083484B (zh) | 2018-10-22 | 2024-06-28 | 北京字节跳动网络技术有限公司 | 基于子块的预测 |
WO2020098643A1 (en) | 2018-11-12 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Simplification of combined inter-intra prediction |
CN113170093B (zh) | 2018-11-20 | 2023-05-02 | 北京字节跳动网络技术有限公司 | 视频处理中的细化帧间预测 |
CN117319644A (zh) | 2018-11-20 | 2023-12-29 | 北京字节跳动网络技术有限公司 | 基于部分位置的差计算 |
CN113056920B (zh) | 2018-11-22 | 2024-05-24 | 北京字节跳动网络技术有限公司 | 基于子块的帧间预测的协调方法 |
WO2020177756A1 (en) | 2019-03-06 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Size dependent inter coding |
CN115190317A (zh) | 2019-04-02 | 2022-10-14 | 抖音视界有限公司 | 解码器侧运动矢量推导 |
US20220217366A1 (en) * | 2019-04-27 | 2022-07-07 | Wilus Institute Of Standards And Technology Inc. | Method and device for processiong video signal on basis of intra prediction |
JP7481430B2 (ja) | 2019-08-13 | 2024-05-10 | 北京字節跳動網絡技術有限公司 | サブブロックに基づくインター予測における動き精度 |
US11496774B2 (en) * | 2019-08-27 | 2022-11-08 | Tencent America LLC | Header syntax for QT/BT/TT size |
WO2021052505A1 (en) | 2019-09-22 | 2021-03-25 | Beijing Bytedance Network Technology Co., Ltd. | Reference picture resampling in video processing |
EP3984222A4 (en) * | 2020-08-13 | 2022-10-26 | Beijing Dajia Internet Information Technology Co., Ltd. | ENHANCED CHROMINANCE CODING IN INTER-COMPONENT ADAPTIVE SAMPLE SHIFT |
CN116962684A (zh) * | 2020-12-03 | 2023-10-27 | Oppo广东移动通信有限公司 | 视频编解码方法与系统、及视频编码器与视频解码器 |
CN117581533A (zh) * | 2021-05-27 | 2024-02-20 | 抖音视界有限公司 | 用于视频处理的方法、设备和介质 |
WO2023024712A1 (en) * | 2021-08-27 | 2023-03-02 | Mediatek Inc. | Method and apparatus of joint coding for multi-colour components in video coding system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140294078A1 (en) * | 2013-03-29 | 2014-10-02 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
US20150312588A1 (en) * | 2011-09-29 | 2015-10-29 | Sharp Kabushiki Kaisha | Image decoding device, image decoding method, and image encoding device |
US20180020241A1 (en) * | 2016-07-15 | 2018-01-18 | Qualcomm Incorporated | Signaling of quantization information in non-quadtree-only partitioned video coding |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6728315B2 (en) * | 2002-07-24 | 2004-04-27 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
JP5234368B2 (ja) * | 2009-09-30 | 2013-07-10 | ソニー株式会社 | 画像処理装置および方法 |
KR101503269B1 (ko) * | 2010-04-05 | 2015-03-17 | 삼성전자주식회사 | 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치 |
KR101997462B1 (ko) * | 2010-04-09 | 2019-07-08 | 엘지전자 주식회사 | 비디오 데이터 처리 방법 및 장치 |
JP2013034162A (ja) * | 2011-06-03 | 2013-02-14 | Sony Corp | 画像処理装置及び画像処理方法 |
KR101753551B1 (ko) * | 2011-06-20 | 2017-07-03 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체 |
US20130251028A1 (en) * | 2012-03-22 | 2013-09-26 | The Hong Kong University Of Science And Technology | Video encoding and decoding with channel prediction and error correction capability |
US9185405B2 (en) * | 2012-03-23 | 2015-11-10 | Qualcomm Incorporated | Coded block flag inference in video coding |
CN103369315B (zh) * | 2012-04-06 | 2016-08-24 | 华为技术有限公司 | 色度分量的帧内预测模式的编码、解码方法、设备及系统 |
RU2647674C1 (ru) * | 2012-07-02 | 2018-03-16 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для кодирования видео и способ и устройство для декодирования видео, определяющие список опорных изображений внешнего прогнозирования в зависимости от размера блока |
CN110087089B (zh) * | 2013-11-27 | 2023-03-10 | 寰发股份有限公司 | 用于颜色视频数据的视频编解码方法 |
US10200700B2 (en) | 2014-06-20 | 2019-02-05 | Qualcomm Incorporated | Cross-component prediction in video coding |
CN107079157B (zh) | 2014-09-12 | 2020-12-22 | Vid拓展公司 | 用于视频编码的分量间去相关 |
KR20200051831A (ko) | 2014-10-28 | 2020-05-13 | 미디어텍 싱가폴 피티이. 엘티디. | 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법 |
WO2016074147A1 (en) * | 2014-11-11 | 2016-05-19 | Mediatek Singapore Pte. Ltd. | Separated coding tree for luma and chroma |
US10321140B2 (en) * | 2015-01-22 | 2019-06-11 | Mediatek Singapore Pte. Ltd. | Method of video coding for chroma components |
EP3262837A4 (en) * | 2015-02-25 | 2018-02-28 | Telefonaktiebolaget LM Ericsson (publ) | Encoding and decoding of inter pictures in a video |
US10567759B2 (en) * | 2016-03-21 | 2020-02-18 | Qualcomm Incorporated | Using luma information for chroma prediction with separate luma-chroma framework in video coding |
US10419757B2 (en) | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
US10805631B2 (en) * | 2016-09-23 | 2020-10-13 | Lg Electronics Inc. | Method and apparatus for performing prediction using template-based weight |
CN118660159A (zh) * | 2016-10-04 | 2024-09-17 | Lx 半导体科技有限公司 | 图像编码/解码方法和图像数据的发送方法 |
CN109792516B (zh) * | 2016-10-04 | 2021-05-25 | 联发科技股份有限公司 | 图像和视频编解码中用于帧内色度编解码的方法及装置 |
CN111937391B (zh) * | 2018-04-02 | 2024-03-29 | 寰发股份有限公司 | 用于视频编解码系统中的子块运动补偿的视频处理方法和装置 |
HUE057767T2 (hu) * | 2018-04-19 | 2022-06-28 | Huawei Tech Co Ltd | Luminancia és krominancia blokk partícionálás |
US10448025B1 (en) * | 2018-05-11 | 2019-10-15 | Tencent America LLC | Method and apparatus for video coding |
WO2020016748A1 (en) | 2018-07-15 | 2020-01-23 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component motion information derivation |
TWI814890B (zh) | 2018-08-17 | 2023-09-11 | 大陸商北京字節跳動網絡技術有限公司 | 簡化的跨分量預測 |
WO2020053804A1 (en) | 2018-09-12 | 2020-03-19 | Beijing Bytedance Network Technology Co., Ltd. | Downsampling in cross-component linear modeling |
EP3861736A4 (en) | 2018-11-06 | 2022-03-30 | Beijing Bytedance Network Technology Co., Ltd. | POSITION DEPENDENT INTRAPREDICTION |
KR102676917B1 (ko) | 2018-12-07 | 2024-06-19 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 컨텍스트 기반 인트라 예측 |
SG11202108209YA (en) | 2019-02-22 | 2021-08-30 | Beijing Bytedance Network Technology Co Ltd | Neighbouring sample selection for intra prediction |
JP7123268B2 (ja) | 2019-02-24 | 2022-08-22 | 北京字節跳動網絡技術有限公司 | イントラ予測のためのパラメータ導出 |
-
2019
- 2019-07-15 WO PCT/IB2019/056023 patent/WO2020016748A1/en active Application Filing
- 2019-07-15 CN CN201910637485.8A patent/CN110719481B/zh active Active
- 2019-07-15 CN CN201910637507.0A patent/CN110719478B/zh active Active
- 2019-07-15 TW TW108124967A patent/TWI816837B/zh active
- 2019-07-15 WO PCT/IB2019/056005 patent/WO2020016734A1/en active Application Filing
- 2019-07-15 CN CN201910637508.5A patent/CN110719479B/zh active Active
- 2019-07-15 CN CN201910637918.XA patent/CN110719480A/zh active Pending
- 2019-07-15 TW TW108124968A patent/TWI815927B/zh active
- 2019-07-15 WO PCT/IB2019/056006 patent/WO2020016735A2/en active Application Filing
- 2019-07-15 CN CN201910637919.4A patent/CN110719470B/zh active Active
- 2019-07-15 WO PCT/IB2019/056015 patent/WO2020016740A2/en active Application Filing
- 2019-07-15 TW TW108124974A patent/TW202007164A/zh unknown
- 2019-07-15 TW TW108124970A patent/TWI829721B/zh active
- 2019-07-15 TW TW108124969A patent/TWI820168B/zh active
- 2019-07-15 CN CN202311458695.3A patent/CN117294852A/zh active Pending
- 2019-07-15 GB GB2020676.9A patent/GB2589769B/en active Active
- 2019-07-15 WO PCT/IB2019/056016 patent/WO2020016741A1/en active Application Filing
-
2020
- 2020-11-05 US US17/090,199 patent/US11070805B2/en active Active
-
2021
- 2021-01-15 US US17/150,146 patent/US11228762B2/en active Active
- 2021-06-14 US US17/346,486 patent/US11647189B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150312588A1 (en) * | 2011-09-29 | 2015-10-29 | Sharp Kabushiki Kaisha | Image decoding device, image decoding method, and image encoding device |
US20140294078A1 (en) * | 2013-03-29 | 2014-10-02 | Qualcomm Incorporated | Bandwidth reduction for video coding prediction |
US20180020241A1 (en) * | 2016-07-15 | 2018-01-18 | Qualcomm Incorporated | Signaling of quantization information in non-quadtree-only partitioned video coding |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI816837B (zh) | 跨分量編碼順序導出 | |
US11722703B2 (en) | Automatic partition for cross blocks | |
US12034911B2 (en) | Definition of zero unit | |
TWI707576B (zh) | 用於微塊的約束 | |
TWI707580B (zh) | 零單元的劃分 |