TWI824006B - 交叉分量線性建模中的下採樣 - Google Patents
交叉分量線性建模中的下採樣 Download PDFInfo
- Publication number
- TWI824006B TWI824006B TW108133132A TW108133132A TWI824006B TW I824006 B TWI824006 B TW I824006B TW 108133132 A TW108133132 A TW 108133132A TW 108133132 A TW108133132 A TW 108133132A TW I824006 B TWI824006 B TW I824006B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- sample points
- chroma
- cclm
- adjacent
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 429
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 133
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 133
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000001914 filtration Methods 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 17
- 238000003672 processing method Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 238000009795 derivation Methods 0.000 claims description 12
- 230000011664 signaling Effects 0.000 claims description 8
- 238000012886 linear function Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 abstract description 20
- 239000000523 sample Substances 0.000 description 665
- 235000019557 luminance Nutrition 0.000 description 151
- 230000008569 process Effects 0.000 description 46
- 238000012549 training Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 14
- 101150076173 cntL gene Proteins 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 239000013074 reference sample Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 101150067055 minC gene Proteins 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001198963 Ganisa plana Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Amplifiers (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Superconductors And Manufacturing Methods Therefor (AREA)
- Powder Metallurgy (AREA)
Abstract
本發明涉及交叉分量線性建模中的下採樣。描述了包括交叉分量預測的用於數位視頻編碼的設備、系統和方法。在典型的方面,一種用於視頻編碼的方法包括:接收包含亮度分量和彩度分量的視頻數據的當前塊的位元流表示,基於通過對亮度分量的第二組樣本點進行下採樣生成的第一組樣本點來確定線性模型的參數,以及基於線性模型的參數,處理位元流以生成當前塊。
Description
本申請文件涉及視頻編碼和解碼技術、設備和系統。
根據適用的《專利法》和/或《巴黎公約》的規定,本申請及時要求於2018年9月12日提交的國際專利申請號PCT/CN2018/105182、2018年9月29日提交的PCT/CN2018/108681和2019年5月22日提交的PCT/CN2019/088005的優先權和利益。根據美國法律,將上述申請的全部公開以引用方式併入本文,作為本申請公開的一部分。
儘管視頻壓縮有所進步,數位視頻在互聯網和其它數位通信網路上使用的頻寬仍然最大。隨著能夠接收和顯示視頻的連接用戶設備數量的增加,預計數位視頻使用的頻寬需求將繼續增長。
描述了與數位視頻編解碼相關的設備、系統和方法,具體地說,描述了視頻編碼中交叉分量線性模型(CCLM)預測模式的低複雜度實現。所述方法可應用於現有視頻編解碼標準(例如,高效視頻編解碼(HEVC))和未來視頻編解碼標準(例如,多功能視頻編解碼(VVC))或編解碼器。
在一個示例方面,公開了一種視頻處理方法。該方法包括:對於視頻和視頻的編解碼表示之間的轉換,至少使用亮度(luma)塊外的下採樣亮度樣本點,確定用於預測與亮度塊共位的視頻的第一彩度(chroma)塊的線性模型;使用亮度塊內的下採樣亮度樣本點和線性模型,確定第一彩度塊的樣本點的預測值;以及基於第一彩度塊的樣本點的預測值執行轉換;其中,通過對亮度塊外的亮度樣本點應用外部濾波器來獲得亮度塊外的下採樣亮度樣本點;並且其中,通過對亮度塊內的亮度樣本點應用內部濾波器獲得亮度塊內的下採樣亮度樣本點。
在另一示例方面,公開了一種視頻處理方法。該方法包括:對於視頻和視頻的編解碼表示之間的轉換,基於使用可用相鄰樣本點的數量或第一分量塊的尺寸的規則,在轉換期間確定用於從第二分量塊預測第一分量塊的一個或多個交叉分量線性模型(CCLM);以及使用交叉分量線性模型執行轉換,其中交叉分量線性模型是以下中的一個:從第一分量塊的上方和/或右上相鄰值導出的CCLM(CCLM-A);從第一分量塊的左側和/或左下相鄰值導出的CCLM(CCLM-T);或僅從第一個分量塊的左側和上方相
鄰值導出的CCLM(CCLM-TL)。
在另一示例方面,公開了一種視頻處理方法。該方法包括:使用第一下採樣方案生成與視頻的彩度塊外的彩度樣本點相對應的下採樣外亮度樣本點;使用第二下採樣方案生成與彩度塊內的彩度樣本點相對應的下採樣內亮度樣本點;至少使用下採樣外亮度樣本點來導出交叉分量預測的線性模型;使用線性模型和下採樣內亮度樣本點確定彩度塊的預測樣本點;以及使用彩度塊的預測樣本點執行視頻和視頻的編碼表示之間的轉換。
在另一示例方面,公開了一種視頻處理方法。該方法包括:為視頻的彩度塊和視頻的編解碼表示之間的轉換確定線性模型;基於線性模型從與彩度塊相對應的亮度塊生成彩度塊的預測值;以及使用線性模型執行轉換;其中,從亮度塊預測彩度塊包括:通過第一濾波方法下採樣亮度塊上方的亮度樣本點,以及通過第二濾波方法下採樣亮度塊左側的亮度樣本點,並且其中至少基於下採樣亮度樣本點確定線性模型。
在另一示例方面,公開了一種視頻處理方法。該方法包括:基於視頻的彩度塊的高度(H)和寬度(W),為視頻和視頻的位元流之間的轉換確定線性模型的參數,其中線性模型的參數基於與彩度塊外的彩度樣本點相對應的下採樣亮度樣本點,並且其中H和W是正整數;基於線性模型的參數和與彩度塊相對應的亮度塊內的一組下採樣亮度樣本點生成彩度塊的一組樣本點;以及基於生成執行視頻和位元流表示之間的轉換。
在另一示例方面,公開了一種視頻處理方法。該方法包括:基於視頻的彩度塊的高度(H)和寬度(W),為視頻和視頻的位元流表示之間的轉換確定線性模型的參數,其中線性模型的參數基於通過對與彩度塊外的彩度樣本點相對應的第二組亮度樣本點進行下採樣生成的第一組亮度樣本點,並且其中第一組亮度樣本點的數量基於高度或寬度,並且其中H和W是正整數;基於線性模型的參數和與彩度塊相對應的亮度塊內的一組下採樣亮度樣本點生成彩度塊的一組樣本點;以及基於生成執行視頻和位元流表示之間的轉換。
在一個典型方面中,所公開的技術可用於提供用於交叉分量預測的方法。該視頻編解碼的示例性方法包括:接收包含亮度分量和彩度分量的視頻數據的當前塊的位元流表示,基於通過對亮度分量的第二組樣本點進行下採樣生成的第一組樣本點來確定線性模型的參數,以及基於線性模型的參數,處理位元流以生成當前塊。
在另一個典型方面,公開了一種視頻編解碼方法。該方法包括:在視頻的當前塊和當前塊的位元流表示之間的轉換期間,基於通過對亮度分量的第二組樣本點進行下採樣生成的第一組樣本點使用線性模型的參數;以及基於線性模型的參數執行位元流表示和當前塊之間的轉換。
在另一典型方面,公開了一種視頻處理方法。該方法包括:使用交叉分量線性模型在當前視頻塊和當前視頻塊的位元流
表示之間執行轉換,其中使用交叉分量線性模型的轉換使用多列亮度樣本點,至少一列與當前視頻塊不相鄰。
在又一典型方面,上述方法以處理器可執行代碼的形式實現並儲存在電腦可讀程式介質中。
在又一典型方面,公開了一種被配置或可操作以執行上述方法的設備。該設備可以包括被編程以實現該方法的處理器。
在又一典型方面,視頻解碼器裝置可以實現本文所述的方法。
在附圖、說明書和申請專利範圍中更詳細地描述了所公開技術的上述和其他方面及特徵。
1400、1900、2000、2100、2200、2300、2400:方法
1410、1420、1430、1902、1904、1906、1908、1910、2002、2004、2006、2102、2104、2106、2202、2204、2302、2304、2306、2402、2404、2406:步驟
1500:裝置、組織
1502:處理器
1504:儲存器
1506:視頻處理硬體
2500:系統
2502:輸入
2504:編解碼組件
2506:組件
2508:組件
2510:顯示介面
圖1示出了用於推導用於交叉分量預測的線性模型的權重的樣本點的位置的示例。
圖2示出了將相鄰樣本點分類為兩組的示例。
圖3A示出了彩度樣本點及其對應的亮度樣本點的示例。
圖3B示出了聯合探索模型(JEM)中交叉分量線性模型(CCLM)的下濾波的示例。
圖4示出了對應於單個彩度樣本點的四個亮度樣本點的示例性佈置。
圖5A和5B示出了具有相鄰樣本點的4×4彩度塊的樣本點以
及相應的亮度樣本點的示例。
圖6A至6J示出了沒有亮度樣本點下濾波的CCLM的示例。
圖7A至7D示出了僅要求用於正常幀內預測的相鄰亮度樣本點的CCLM的示例。
圖8A和8B示出了在編解碼樹單元(CTU)的邊界處的編解碼單元(CU)的示例。
圖9示出67個幀內預測模式的示例。
圖10A和10B示出了非正方形塊的廣角幀內預測模式的參考樣本點的示例。
圖11示出了使用廣角幀內預測時的不連續的示例。
圖12A至12D示出了由位置相關幀內預測組合(PDPC)方法使用的樣本點的示例。
圖13A和13B示出了當前塊內和當前塊外的下採樣亮度樣本點位置的示例。
圖14示出了根據所公開的技術的交叉分量預測的又一示例方法的流程圖。
圖15是用於實現本文所述的視覺媒體解碼或視覺媒體編碼技術的硬體平臺的示例的方塊圖。
圖16示出了將不同的亮度下採樣方法組合在一起的示例。
圖17A和17B示出了具有單列相鄰亮度樣本點的LM預測的示例。
圖18A至18C示出了具有相鄰亮度樣本點的LM預測的示
例。
圖19是視頻處理的示例方法的流程圖。
圖20是視頻處理的示例方法的流程圖。
圖21是視頻處理的示例方法的流程圖。
圖22是視頻處理的示例方法的流程圖。
圖23是視頻處理的示例方法的流程圖。
圖24是視頻處理的示例方法的流程圖。
圖25是可以實現所公開的技術的示例性視頻處理系統的方塊圖。
由於對高解析度視頻的需求日益增加,視頻編解碼方法和技術在現代技術中無處不在。視頻編解碼器通常包括壓縮或解壓縮數位視頻的電子電路或軟體,並且不斷地被改進以提供更高的編解碼效率。視頻編解碼器將未壓縮的視頻轉換為壓縮格式,或反之亦然。視頻質量、用於表示視頻的數據量(由位元率決定)、編碼和解碼算法的複雜度、對數據丟失和錯誤的敏感度、易於編輯、隨機存取和端到端延遲(時延)之間存在複雜的關係。壓縮格式通常符合標準視頻壓縮規範,例如,高效視頻編解碼(HEVC)標準(也稱為H.265或MPEG-H第2部分)、待定案多功能視頻編解碼標準(VVC)或其它當前和/或未來的視頻編解碼標準。
所公開技術的實施例可以應用於現有的視頻編解碼標準
(例如,HEVC,H.265)和未來的標準,以改進運行時間性能。本文中使用章節標題以提高描述的可讀性,並且不以任何方式將討論或實施例(和/或實現)僅限於各個章節。
1.交叉分量預測的實施例
交叉分量預測是在複雜度和壓縮效率提高之間有很好的平衡的彩度-亮度預測方法的一種形式。
1.1 交叉分量線性模型(CCLM)的示例
在一些實施例中,為了降低交叉分量冗餘,在JEM中使用交叉分量線性模型(CCLM)預測模式(也稱為LM),其中,使用如下線性模型基於相同CU的重構亮度樣本點預測彩度樣本點:pred C (i,j)=α.rec L '(i,j)+β (1)
這裡,pred C (i,j)表示CU中的預測彩度樣本點,並且rec L '(i,j)表示色彩格式為4:2:0或4:2:2的相同CU的下採樣重構亮度樣本點,而rec L '(i,j)表示色彩格式為4:4:4的相同CU的重構亮度樣本點。CCLM參數α和β通過最小化當前塊周圍的相鄰重構的亮度和彩度樣本點之間的回歸誤差如下導出:
且
這裡,L(n)表示向下採樣(對於色彩格式4:2:0或4:2:2)或原始(對於色彩格式4:4:4)頂部和左側相鄰的重構亮度樣本點,C(n)表示頂部和左側相鄰重構彩度樣本點,並且N的值等於當前
彩度編解碼塊的寬度和高度的最小值的兩倍。
在一些實施例中,並且對於正方形形狀的編解碼塊,直接應用上述兩個等式。在其他實施例中,對於非正方形編解碼塊,首先對較長邊界的相鄰樣本點進行子採樣,以具有與較短邊界相同的樣本點數。圖1示出了在CCLM模式中所涉及的左、上重構樣本點和當前塊的樣本點的位置。
在一些實施例中,這種回歸誤差最小化計算是作為解碼處理的一部分執行的,不僅僅是作為編碼器搜索操作執行的,因此不使用語法來傳遞α和β值。
在一些實施例中,CCLM預測模式還包括兩個彩度分量之間的預測,例如,從Cb(藍差)分量預測Cr(紅差)分量。在殘差域中採用CCLM Cb到Cr預測方法,而不是使用重構樣本點信號。這是通過將加權重構的Cb殘差加到原始Cr幀內預測以形成最終Cr預測來實現的:
這裡,resi Cb '(i,j)表示位置(i,j)處的重構Cb殘差樣本點。
這裡,Cb(n)表示相鄰的重構Cb樣本點,Cr(n)表示相鄰的重構Cr樣本點,並且λ等於Σ(Cb(n).Cb(n))>>9。
在一些實施例中,CCLM亮度到彩度預測模式被添加為一個附加的彩度幀內預測模式。在編碼器側,增加了對彩度分量的一個或多個RD成本檢查用於選擇彩度幀內預測模式。當除CCLM亮度到彩度預測模式以外的幀內預測模式用於CU的彩度分量時,CCLM Cb到Cr預測用於Cr分量預測。
在JEM和VTM-2.0中,CCLM中的訓練樣本點的總數必須是2N的形式。假設當前塊尺寸為W×H,如果W不等於H,則抽取樣本點數較多的下採樣亮度樣本點集,以匹配樣本點數較少的下採樣亮度樣本點集。
1.2 多模型CCLM的示例
在JEM中,有兩種CCLM模式:單模型CCLM模式和多模型CCLM模式(MMLM)。顧名思義,單模型CCLM模式採用一個線性模型來從整個CU的亮度樣本點預測彩度樣本點,而在MMLM模型中,可以有兩個模型。
在MMLM中,將當前塊的相鄰亮度樣本點和相鄰彩度樣本點分為兩組,每組用作訓練集以導出線性模型(即,為特定組導出特定α和β)。此外,當前亮度塊的樣本點也基於與相鄰亮度樣本點相同的分類規則進行分類。
圖2示出了將相鄰樣本點分類為兩組的示例。Threshold計算為相鄰重構亮度樣本點的平均值。將Rec′ L [x,y]<=Threshold
的相鄰樣本點分類為組1,將Rec′ L [x,y]>Threshold的相鄰樣本點分類為組2。
1.3 CCLM中的下採樣濾波器的示例
在一些實施例中,為了執行交叉分量預測,對於4:2:0彩度格式(其中4個亮度樣本點對應於1個彩度樣本點),需要對重構亮度塊進行下採樣以匹配彩度信號的尺寸。CCLM模式中使用的默認下採樣濾波器如下:Rec' L [x,y]={2×Rec L [2x,2y]+2×Rec L [2x,2y+1]+Rec L [2x-1,2y]+Rec L [2x+1,2y]+Rec L [2x-1,2y+1]+Rec L [2x+1,2y+1]+4}>>3 (7)
這裡,下採樣將“類型0”假設為如圖3A所示的彩度樣本點的位置相對於亮度樣本點的位置的相位關係,例如水平共位採樣和垂直間隙採樣。
在(7)中定義的示例性6抽頭下採樣濾波器用作單模型CCLM模式和多模型CCLM模式的默認濾波器。
在一些實施例中,對於MMLM模式,編碼器可以或者選擇要應用於CU中的預測的四個附加亮度下採樣濾波器中的一個,並發送濾波器索引索引以指示使用這些濾波器中的哪一個。如圖3B所示,MMLM模式的四個可選亮度下採樣濾波器如下:Rec' L [x,y]=(Rec L [2x,2y]+Rec L [2x+1,2y]+1)>>1 (8)
Rec' L [x,y]=(Rec L [2x+1,2y]+Rec L [2x+1,2y+1]+1)>>1 (9)
Rec' L [x,y]=(Rec L [2x,2y+1]+Rec L [2x+1,2y+1]+1)>>1 (10)
Rec' L [x,y]=(Rec L [2x,2y]+Rec L [2x,2y+1]+Rec L [2x+1,2y]+Rec L [2x+1,2y+1]+2)>>2 (11)
1.4 與交叉分量預測相關的示例性實施例
先前提出的CCLM方法包括但不限於:-僅要求在正常幀內預測中使用的相鄰亮度樣本點;以及-不需要對亮度樣本點進行下採樣,或通過簡單的兩個樣本點的平均進行下採樣。
下面描述的先前提出的示例假定色彩格式為4:2:0。如圖3A所示,一個彩度(Cb或Cr)樣本點(用三角形表示)對應於四個亮度(Y)樣本點(用圓圈表示):A、B、C和D,如圖4所示。圖5A-5B示出了具有相鄰樣本點的4×4彩度塊的樣本點和對應的亮度樣本點的示例。
示例1. 在一個示例中,提出了在不對亮度樣本點進行下採樣濾波的情況下做出CCLM。
(a)在一個示例中,在CCLM參數(例如,α和β)導出處理中移除相鄰亮度樣本點的下採樣處理。相反,下採樣處理被其中使用非連續亮度樣本點的子採樣處理所代替。
(b)在一個示例中,在CCLM彩度預測處理中移除共位亮度塊中的樣本點的下採樣處理。相反,僅使用共位亮度塊中的部分亮度樣本點來導出彩度樣本點的預測塊。
(c)圖6A至6J示出對應於4×4彩度塊的8×8亮度塊
上的示例。
(d)在如圖6A所示的一個示例中,使用圖4中位置“C”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用上方相鄰樣本點來推導線性模型。
(e)在如圖6B所示的一個示例中,使用圖4中位置“C”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用上方相鄰樣本點和右上方相鄰樣本點來推導線性模型。
(f)在如圖6C所示的一個示例中,使用圖4中位置“D”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用上方相鄰樣本點來推導線性模型。
(g)在如圖6D所示的一個示例中,使用圖4中位置“D”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用上方相鄰樣本點和右上方相鄰樣本點來推導線性模型。
(h)在如圖6E所示的一個示例中,使用圖4中位置“B”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用左側相鄰樣本點來推導線性模型。
(i)在如圖6F所示的一個示例中,使用圖4中位置“B”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用左側相鄰樣本點和左下相鄰樣本點來推導線性模型。
(j)在如圖6G所示的一個示例中,使用圖4中位置“D”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用左側相鄰樣本點來推導線性模型。
(k)在如圖6H所示的一個示例中,使用圖4中位置“D”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用左側相鄰樣本點和左下相鄰樣本點來推導線性模型。
(l)在如圖6I所示的一個示例中,使用圖4中位置“D”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用上方相鄰樣本點和左側相鄰樣本點來推導線性模型。
(m)在如圖6J所示的一個示例中,使用圖4中位置“D”處的亮度樣本點來對應彩度樣本點。在訓練處理中使用上方相鄰樣本點、左側相鄰樣本點、右上方相鄰樣本點和左下相鄰樣本點來推導線性模型。
示例2. 在一個示例中,提出CCLM只需要在正常幀內預測處理中使用的相鄰亮度樣本點,即不允許在CCLM處理中使用其他相鄰亮度樣本點。在一個示例中,CCLM是通過對亮度樣本點進行2抽頭濾波做出的。圖7A-7D示出了對應於4×4彩度塊的8×8亮度塊上的示例。
(a)在如圖7A所示的一個示例中,將圖4中位置“C”和位置“D”處的亮度樣本點濾波為F(C,D)以用於對應彩度樣本點。在訓練處理中使用上方相鄰樣本點來推導線性模型。
(b)在如圖7B所示的一個示例中,將圖4中位置“C”和位置“D”處的亮度樣本點濾波為F(C,D)以用於對應彩度樣本點。在訓練處理中使用上方相鄰樣本點和右上方相鄰樣本點來推導線性模型。
(c)在如圖7C所示的一個示例中,將圖4中位置“B”和位置“D”處的亮度樣本點濾波為F(B,D)以用於對應彩度樣本點。在訓練處理中使用左側相鄰樣本點來推導線性模型。
(d)在如圖7D所示的一個示例中,將圖4中位置“B”和位置“D”處的亮度樣本點濾波為F(B,D)以用於對應彩度樣本點。在訓練處理中使用左側相鄰樣本點和左下相鄰樣本點來推導線性模型。
(e)在一個示例中,F被定義為F(X,Y)=(X+Y)>>1。或者,F(X,Y)=(X+Y+1)>>1。
示例3. 在一個示例中,可以以選擇性的方式應用先前提出的CCLM方法(例如,本章節中的示例1和2)。也就是說,區域、條帶、圖片或序列中的不同塊可以選擇不同種類的先前提出的CCLM方法。
a)在一個實施例中,編碼器從預定義的候選集中選擇一種先前提出的CCLM方法,並將其發送給解碼器。
(i)例如,編碼器可以在示例1(a)和示例1(e)之間進行選擇。或者,可以在示例1(b)和示例1(f)之間進行選擇。或者,可以在示例1(c)和示例1(g)之間進行選擇。或者,可以在示例1(d)和示例1(h)之間進行選擇。或者,可以在示例2(a)和示例2(c)之間進行選擇。或者,可以在示例2(b)和示例2(d)之間進行選擇。
(ii)從中選擇的候選集和信令方式可取決於塊的形狀或
尺寸。假設W和H表示彩度塊的寬度和高度,T1和T2是整數。
(1)在一個示例中,如果W<=T1且H<=T2,則沒有候選,例如,CCLM被禁用。例如,T1=T2=2。
(2)在一個示例中,如果W<=T1或H<=T2,則沒有候選,例如,CCLM被禁用。例如,T1=T2=2。
(3)在一個示例中,如果W×H<=T1,則沒有候選,例如,CCLM被禁用。例如,T1=4。
(4)在一個示例中,如果W<=T1且H<=T2,則只有一個候選,例如示例1(i)。不信令通知CCLM方法選擇信息。例如,T1=T2=4。
(5)在一個示例中,如果W<=T1或H<=T2,則只有一個候選,例如,示例1(i)。不信令通知CCLM方法選擇信息。例如,T1=T2=4。
(6)在一個示例中,如果W×H<=T1,則只有一個候選,例如,示例1(i)。不信令通知CCLM方法選擇信息。例如,T1=16。
(7)在一個示例中,如果W>H,則只有一個候選,例如,示例1(a)。不信令通知CCLM方法選擇信息。或者,如果W>H(或W>N*H,其中N是正整數),則候選集中僅包括在推導CCLM參數時使用上方或/和右上相鄰重構樣本點的候選(或一些候選)。
(8)在一個示例中,如果W<H,則只有一個候選,例如,示例1(e)。不信令通知CCLM方法選擇信息。或者,如果
W<H(或N*W<H),則候選集中僅包括在推導CCLM參數時使用左側或/和左下相鄰重構樣本點的候選(或一些候選)。
(b)在一個實施例中,編碼器和解碼器都基於相同規則選擇先前提出的CCLM方法。編碼器不將其向解碼器信令通知。例如,選擇可以取決於塊的形狀或尺寸。在一個示例中,如果寬度大於高度,則選擇示例1(a),否則選擇示例1(e)。
(c)可在序列參數集/圖片參數集/條帶標頭/CTU/CTB/CTU組中信令通知一個或多個先前提出的CCLM候選集。
示例4. 在一個示例中,提出可將多個CCLM方法(例如,示例1和2)應用於同一彩度塊。也就是說,區域/條帶/圖片/序列中的一個塊可以選擇不同種類的先前提出的CCLM方法,來導出多個中間彩度預測塊,並且從多個中間彩度預測塊導出最終彩度預測塊。
(a)或者,可以首先從多個選定的CCLM方法導出多組CCLM參數(例如,α和β)。可從多組中導出最後一組CCLM參數並用於彩度預測塊生成處理。
(b)可以(隱式地或顯式地)以與示例3中描述的類似的方式來信令通知多個CCLM方法的選擇。
(c)可在序列參數集/圖片參數集/條帶標頭/CTU/組/CTU/編解碼塊中信令通知提出的方法的使用指示。
示例5. 在一個示例中,是否以及如何應用先前提出的
CCLM方法可取決於當前塊的位置。
(a)在一個示例中,在如圖8A所示的位於當前CTU的上邊界的CU上應用一個或多個所提出的方法。
(b)在一個示例中,在如圖8B所示的位於當前CTU的左邊界的CU上應用一個或多個所提出的方法。
(c)在一個示例中,在上述兩種情況中均應用一種或多種所提出的方法。
1.5 VVC中的CCLM的示例
在一些實施例中,VTM-2.0中採用如JEM中的CCLM,但VTM-2.0中不採用JEM中的MM-CCLM。
VTM-5.0中的CCLM
在VTM-5.0中,除了LM模式外,還採用JVET-L0338中提出的另外兩種CCLM模式(LM-A和LM-T)。LM-A僅使用當前塊上方或右上方的相鄰樣本點,並且LM-T僅使用當前塊左側或左下方的相鄰樣本點來導出CCLM參數。
CCLM的解碼處理
在VTM-5.0中,LM推導處理簡化為JVET-N0271中提出的4點最大-最小(max-min)方法。相應的工作草案如下所示。
INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM幀內預測模式的規範
該處理的輸入包括:-幀內預測模式predModeIntra,
-當前變換塊的左上樣本點相對於當前圖片的左上樣本點的採樣位置(xTbC,yTbC);-指定變換塊寬度的變量nTbW,-指定變換塊高度的變量nTbH,-彩度相鄰樣本點p[x][y],其中x=-1,y=0..2*nTbH-1和x=0..2*nTbW-1,y=-1。
該處理的輸出為預測樣本點predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。
當前亮度位置(xTbY,yTbY)推導如下:(xTbY,yTbY)=(xTbC<<1,yTbC<<1)(8-156)
變量availL,availT和availTL推導如下:
-在當前彩度位置(xCUrr,yCUrr)設置為等於(xTbC,yTbC)並且相鄰彩度位置(xTbC-1,yTbC)作為輸入的情況下,調用第6.4.X條[Ed.(BB):相鄰塊可用性檢查處理待定]中指定的塊的左側相鄰樣本點的推導處理的可用性,並且將輸出被分配給availL。
-在當前彩度位置(xCUrr,yCUrr)設置為等於(xTbC,yTbC)並且相鄰彩度位置(xTbC,yTbC-1)作為輸入的情況下,調用第6.4.X條[Ed.(BB):相鄰塊可用性檢查處理待定]中指定的塊的上方相鄰樣本點的推導處理的可用性,並且將輸出被分配給availT。
-在當前彩度位置(xCUrr,yCUrr)設置為等於(xTbC,yTbC)並且相鄰彩度位置(xTbC-1,yTbC-1)作為輸入的情況下,調用第6.4.X條[Ed.(BB):相鄰塊可用性檢查處理待定]中指定的塊的左上方相鄰樣本點的推導處理的可用性,並且將輸出被分配給availTL。
-可用的右上相鄰彩度樣本點的數量numTopRight推導如下:
-變量numTopRight設置為等於0,availTR設置為TRUE。
-當predModeIntra等於INTRA_T_CCLM時,以下情況適用於x=nTbW..2*nTbW-1,直到availTR等於假(FALSE)或x等於2*nTbW-1:
-在當前彩度位置(xCUrr,yCUrr)設置為等於(xTbC,yTbC)並且相鄰彩度位置(xTbC+x,yTbC-1)作為輸入的情況下,調用第6.4.X條[Ed.(BB):相鄰塊可用性檢查處理待定]中指定的塊的推導處理的可用性,並且將輸出被分配給availableTR。
-當availableTR等於真(TRUE)時,numTopRight增加1。
-可用的左下相鄰彩度樣本點的數量numLeftBelow導出如下:
-變量numLeftBelow設置為0,且availLB設置為真。
-當predModeIntra等於INTRA_L_CCLM時,以下情況適
用於y=nTbH..2*nTbH-1,直到availLB等於假(FALSE)或y等於2*nTbH-1:
-在當前彩度位置(xCUrr,yCUrr)設置為等於(xTbC,yTbC)並且相鄰彩度位置(xTbC-1,yTbC+y)作為輸入的情況下,調用第6.4.X條[Ed.(BB):相鄰塊可用性檢查處理待定]中指定的塊的推導處理的可用性,並且將輸出被分配給availableLB。
-當availableLB等於真時,numLeftBelow增加1。
-上方和右上可用相鄰彩度樣本點的數量numTopSamp、以及左側和左下可用相鄰彩度樣本點的數量nLeftSamp導出如下:
-如果predModeIntra等於INTRA_LT_CCLM,則以下適用:numSampT=availT?nTbW:0 (8-157)
numSampL=availL?nTbH:0 (8-158)
-否則,以下適用:numSampT=(availT && predModeIntra==INTRA_T_CCLM)?(nTbW+Min(numTopRight,nTbH)):0 (8-159)
numSampL=(availL && predModeIntra==INTRA_L_CCLM)?(nTbH+Min(numLeftBelow,nTbW)):0 (8-160)
變量bCTUboundary導出如下:
bCTUboundary=(yTbC &(1<<(CtbLog2SizeY-1)-1)==0)?TRUE:FALSE. (8-161)
變量cntN和數組pickPosN(N替換為L和T)導出如下:
-變量numIs4N設置為等於((availT && availL && predModeIntra==INTRA_LT_CCLM)?0:1).
-變量startPosN設置為等於numSampN>>(2+numIs4N).
-變量pickStepN設置為等於Max(1,numSampN>>(1+numIs4N)).
-如果availN等於TRUE並且predModeIntra等於INTRA_LT_CCLM或者INTRA_N_CCLM,則做出如下分配:
-cntN設置為等於Min(numSampN,(1+numIs4N)<<1)
-pickPosN[pos]設置為等於(startPosN+pos*pickStepN),其中pos=0..cntN-1
-否則,cntN設置為等於0。
預測樣本點predSamples[x][y]其中x=0..nTbW-1,y=0..nTbH-1導出如下:
-如果numSampL和numSampT二者都等於0,則以下適用:predSamples[x][y]=1<<(BitDepthC-1) (8-162)
-否則,以下順序步驟適用:
1.共位亮度樣本點pY[x][y]其中x=0..nTbW*2
-1,y=0..nTbH*2-1設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
2.相鄰亮度樣本點pY[x][y]導出如下:
-當numSampL大於0時,相鄰左側亮度樣本點pY[x][y](其中x=-1..-3,y=0..2*numSampL-1)設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
-當numSampT大於0時,相鄰上方亮度樣本點pY[x][y](其中x=0..2*numSampT-1,y=-1,-2)設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
-當availTL等於TRUE時,相鄰左上亮度樣本點pY[x][y](其中x=-1,y=-1,-2)設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
3.下採樣共位亮度樣本點pDsY[x][y](其中x=0..nTbW-1,y=0..nTbH-1)導出如下:
-如果sps_cclm_colocated_chroma_flag等於1,則以下適用:
-pDsY[x][y](其中x=1..nTbW-1,y=1..nTbH-1)導出如下:pDsY[x][y]=(pY[2*x][2*y-1]+pY[2*x-1][2*y]+4*pY[2*x][2*y]+pY[2*x+1][2*
y]+pY[2*x][2*y+1]+4)>>3 (8-163)
-如果availL等於TRUE,則pDsY[0][y](其中y=1..nTbH-1)導出如下:pDsY[0][y]=(pY[0][2*y-1]+pY[-1][2*y]+4*pY[0][2*y]+pY[1][2*y]+pY[0][2*y+1]+4)>>3 (8-164)
-否則,pDsY[0][y](其中y=1..nTbH-1)導出如下:pDsY[0][y]=(pY[0][2*y-1]+2*pY[0][2*y]+pY[0][2*y+1]+2)>>2 (8-165)
-如果availT等於TRUE,則pDsY[x][0](其中x=1..nTbW-1)導出如下:pDsY[x][0]=(pY[2*x][-1]+pY[2*x-1][0]+4*pY[2*x][0]+pY[2*x+1][0]+pY[2*x][1]+4)>>3 (8-166)
-否則,pDsY[x][0](其中x=1..nTbW-1)導出如下:pDsY[x][0]=(pY[2*x-1][0]+2*pY[2*x][0]+pY[2*x+1][0]+2)>>2 (8-167)
-如果availL等於TRUE並且availT等於TRUE,則pDsY[0][0]導出如下:pDsY[0][0]=(pY[0][-1]+pY[-1][0]+4*pY[0][0]+pY[1][0]+pY[0][1]+4)>>3 (8-168)
-否則如果availL等於TRUE並且availT等於FALSE,則pDsY[0][0]導出如下:pDsY[0][0]=(pY[-1][0]+2*pY[0][0]+pY[1][0]+2)>>2 (8-169)
-否則如果availL等於FALSE並且availT等於TRUE,則pDsY[0][0]導出如下:pDsY[0][0]=(pY[0][-1]+2*pY[0][0]+pY[0][1]+2)>>2(8-170)
-否則(availL等於FALSE並且availT等於FALSE),則pDsY[0][0]導出如下:pDsY[0][0]=pY[0][0] (8-171)
-否則,以下適用:
-pDsY[x][y](其中x=1..nTbW-1,y=0..nTbH-1)導出如下:pDsY[x][y]=(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3(8-172)
-如果availL等於TRUE,則pDsY[0][y](其中y=0..nTbH-1)導出如下:
pDsY[0][y]=(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[0][2*y]+2*pY[0][2*y+1]+pY[1][2*y]+pY[1][2*y+1]+4)>>3(8-173)
-否則,pDsY[0][y](其中y=0..nTbH-1)導出如下:pDsY[0][y]=(pY[0][2*y]+pY[0][2*y+1]+1)>>1(8-174)
4.當numSampL大於0時,所選擇的相鄰左側彩度樣本點pSelC[idx]設置為等於p[-1][pickPosL[idx]],其中idx=0..cntL-1,並且所選擇的下採樣相鄰左側亮度樣本點pSelDsY[idx](其中idx=0..cntL-1)導出如下:
-變量y設置為等於pickPosL[idx]。
-如果sps_cclm_colocated_chroma_flag等於1,則以下適用:
-如果y大於0或者availTL等於TRUE,則pSelDsY[idx]導出如下:pSelDsY[idx]=(pY[-2][2*y-1]+pY[-3][2*y]+4*pY[-2][2*y]+pY[-1][2*y]+pY[-2][2*y+1]+4)>>3 (8-175)
-否則:pSelDsY[idx]=(pY[-3][0]+2*pY[-2][0]+pY[-1][0]+2)>>2(8-177)
-否則,以下適用:pSelDsY[idx]=(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+1]+4)>>3(8-178)
5.當numSampT大於0時,所選擇的相鄰上方彩度樣本點pSelC[idx]設置為等於p[pickPosT[idx-cntL]][-1]其中idx=cntL..cntL+cntT-1,並且下採樣相鄰上方亮度樣本點pSelDsY[idx](其中idx=0..cntL+cntT-1)如下規定:
-變量x設置為等於pickPosT[idx-cntL]
-如果sps_cclm_colocated_chroma_flag等於1,則以下適用:
-如果x大於0,則以下適用:
-如果bCTUboundary等於FALSE,則以下適用:pSelDsY[idx]=(pY[2*x][-3]+pY[2*x-1][-2]+4*pY[2*x][-2]+pY[2*x+1][-2]+pY[2*x][-1]+4)>>3 (8-179)
-否則(bCTUboundary等於TRUE),則以下適用:pSelDsY[idx]=(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2 (8-180)
-否則:
-如果availTL等於TRUE並且bCTUboundary等於FALSE,則以下適用:pSelDsY[idx]=(pY[0][-3]+pY[-1][-2]+4*pY[0][-2]+pY[1][-2]+pY[0][-1]+4)>>3 (8-181)
-否則如果availTL等於TRUE並且bCTUboundary等於TRUE,則以下適用:pSelDsY[idx]=(pY[-1][-1]+2*pY[0][-1]+pY[1][-1]+2)>>2 (8-182)
-否則如果availTL等於FALSE並且bCTUboundary等於FALSE,則以下適用:pSelDsY[idx]=(pY[0][-3]+2*pY[0][-2]+pY[0][-1]+2)>>2(8-183)
-否則(availTL等於FALSE並且bCTUboundary等於TRUE),則以下適用:pSelDsY[idx]=pY[0][-1] (8-184)
-否則,以下適用:
-如果x大於0,則以下適用:
-如果bCTUboundary等於FALSE,則以下適用:
pSelDsY[idx]=(pY[2*x-1][-2]+pY[2*x-1][-1]+2*pY[2*x][-2]2*pY[2*x][-1]+pY[2*x+1][-2]+pY[2*x+1][-1]+4)>>3 (8-185)
-否則(bCTUboundary等於TRUE),則以下適用:pSelDsY[idx]=(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2 (8-186)
-否則:
-如果availTL等於TRUE並且bCTUboundary等於FALSE,則以下適用:pSelDsY[idx]=(pY[-1][-2]+pY[-1][-1]+2*pY[0][-2]+2*pY[0][-1]+pY[1][-2]+pY[1][-1]+4)>>3 (8-187)
-否則如果availTL等於TRUE並且bCTUboundary等於TRUE,則以下適用:pSelDsY[idx]=(pY[-1][-1]+2*pY[0][-1]+pY[1][-1]+2)>>2 (8-188)
-否則如果availTL等於FALSE並且bCTUboundary等於FALSE,則以下適用:pSelDsY[idx]=(pY[0][-2]+pY[0][-1]+1)>>1 (8-189)
-否則(availTL等於FALSE並且bCTUboundary等於TRUE),則以下適用:
pSelDsY[idx]=pY[0][-1] (8-190)
6.當cntT+cntL不等於0時,變量minY,maxY,minC和maxC導出如下:
-當cntT+cntL等於2時,設置pSelComp[3]等於pSelComp[0],pSelComp[2]等於pSelComp[1],pSelComp[0]等於pSelComp[1],並且pSelComp[1]等於pSelComp[3],其中Comp由DsY替代並且C..
-數組minGrpIdx和maxGrpIdx設置如下:
-minGrpIdx[0]=0
-minGrpIdx[1]=2
-maxGrpIdx[0]=1
-maxGrpIdx[1]=3
-當pSelDsY[minGrpIdx[0]]大於pSelDsY[minGrpIdx[1]]時,minGrpIdx[0]和minGrpIdx[1]交換為(minGrpIdx[0],minGrpIdx[1])=交換(minGrpIdx[0],minGrpIdx[1])。
-當pSelDsY[maxGrpIdx[0]]大於pSelDsY[maxGrpIdx[1]]時,maxGrpIdx[0]和maxGrpIdx[1]交換為(maxGrpIdx[0],maxGrpIdx[1])=交換(maxGrpIdx[0],maxGrpIdx[1])。
-當pSelDsY[minGrpIdx[0]]大於pSelDsY[maxGrpIdx[1]]時,數組minGrpIdx和maxGrpIdx交
換為(minGrpIdx,maxGrpIdx)=交換(minGrpIdx,maxGrpIdx)。
-當pSelDsY[minGrpIdx[1]]大於pSelDsY[maxGrpIdx[0]]時,minGrpIdx[1]和maxGrpIdx[0]交換為(minGrpIdx[1],maxGrpIdx[0])=交換(minGrpIdx[1],maxGrpIdx[0])。
-maxY=(pSelDsY[maxGrpIdx[0]]+pSelDsY[maxGrpIdx[1]]+1)>>1。
-maxC=(pSelC[maxGrpIdx[0]]+pSelC[maxGrpIdx[1]]+1)>>1。
-minY=(pSelDsY[minGrpIdx[0]]+pSelDsY[minGrpIdx[1]]+1)>>1。
-minC=(pSelC[minGrpIdx[0]]+pSelC[minGrpIdx[1]]+1)>>1。
7.變量a、b和k導出如下:
-如果numSampL等於0,並且numSampT等於0,則以下適用:k=0 (8-208)
a=0 (8-209)
b=1<<(BitDepthC-1) (8-210)
-否則,以下適用:diff=maxY-minY (8-211)
-如果diff不等於0,則以下適用:
diffC=maxC-minC (8-212)
x=Floor(Log2(diff)) (8-213)
normDiff=((diff<<4)>>x)& 15 (8-214)
x+=(normDiff!=0)?1:0 (8-215)
y=Floor(Log2(Abs(diffC)))+1 (8-216)
a=(diffC*(divSigTable[normDiff]|8)+2y-1)>>y(8-217)
k=((3+x-y)<1)?1:3+x-y (8-218)
a=((3+x-y)<1)?Sign(a)*15:a (8-219)
b=minC-((a*minY)>>k) (8-220)
其中divSigTable[]規定如下:divSigTable[]={0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}(8-221)
-否則(diff等於0),以下適用:k=0 (8-222)
a=0 (8-223)
b=minC (8-224)
8.預測樣本點predSamples[x][y](其中x=0..nTbW-1,y=0..nTbH-1)導出如下:predSamples[x][y]=Clip1C(((pDsY[x][y]*a)>>k)+b)(8-225)JVET-L0893
本文提出了多參考列幀內預測(MRLIP),其中,可以通過使用與當前塊相鄰或非相鄰的多個相鄰樣本點的參考列來生成
定向幀內預測。
1.6 VVC中的幀內預測的示例
1.6.1 具有67種幀內預測模式的幀內模式編解碼
為了捕獲自然視頻中呈現的任意邊緣方向,定向幀內模式的數量從HEVC中使用的33個擴展到65個。在圖9中,附加的定向模式被描繪為虛線箭頭,並且平面模式和DC模式保持相同。這些更密集的定向幀內預測模式適用於所有塊尺寸以及亮度和彩度幀內預測。
如圖9所示,傳統的角幀內預測方向被定義為在順時針方向上從45度到-135度。在VTM2中,對於非正方形塊,適應性地用廣角幀內預測模式替換幾個傳統的角幀內預測模式。用原方法信令通知替換後的模式,並在解析後將其重新映射到廣角模式的索引。幀內預測模式的總數保持不變(例如,67),並且幀內模式編解碼保持不變。
在HEVC中,每個幀內編解碼塊都具有正方形形狀,並且其每個邊的長度都是2的冪。因此,使用DC模式生成幀內預測器不需要劃分操作。在VTV2中,塊可以具有矩形形狀,在一般情況下需要對每個塊使用劃分操作。為了避免DC預測的劃分操作,只使用較長的邊來計算非正方形塊的平均值。
1.6.2 幀內模式編解碼的示例
在一些實施例中,為了保持MPM列表生成的複雜性低,使用具有3個最可能模式(MPM)的幀內模式編解碼方法。MPM
列表考慮了以下三個方面:--相鄰幀內模式;--導出幀內模式;以及--默認幀內模式。
對於相鄰幀內模式(A和B),考慮位於左側和上方的兩個相鄰塊。通過對兩個相鄰幀內模式執行修剪處理形成初始MPM列表。如果兩個相鄰模式彼此不同,則在對現有的兩個MPM進行修剪檢查之後,將其中一個默認模式(例如PLANA(0)、DC(1)、ANGULAR50(例如50))添加到MPM列表中。當兩個相鄰模式相同時,在修剪檢查之後將默認模式或導出模式添加到MPM列表中。三個MPM列表的詳細生成過程推導如下:如果兩個相鄰候選模式相同(即A==B),如果A小於2,則candModeList[3]={0,1,50}。
否則,candModeList[0]={A,2+((A+61)% 64),2+((A-1)% 64)否則,如果A和B都不等於0,則candModeList[3]={A,B,0}。
否則,如果A和B都不等於1,則candModeList[3]={A,B,1}。
否則,candModeList[3]={A,B,50}。
附加修剪處理被用於移除重複模式,以便只有唯一的模
式才能包含在MPM列表中。對於64個非MPM模式的熵編解碼,使用6位定長碼(FLC)。
1.6.3 非正方形塊的廣角幀內預測
在一些實施例中,傳統的角幀內預測方向被定義為在順時針方向上從45度到-135度。在VTM2中,對於非正方形塊,適應性地用廣角幀內預測模式替換幾個傳統的角幀內預測模式。用原方法信令通知替換後的模式,並在解析後將其重新映射到廣角模式的索引。特定塊的幀內預測模式的總數保持不變(例如,67),並且幀內模式編解碼保持不變。
為了支持這些預測方向,如圖10A和10B中的示例所示,定義了長度為2W+1的頂部參考和長度為2H+1的左側參考。
在一些實施例中,廣角方向模式中替換模式的模式數取決於塊的寬高比。替換的幀內預測模式如表1所示。
如圖11所示,在廣角幀內預測的情況下,兩個垂直相鄰的預測樣本點可以使用兩個非相鄰的參考樣本點。因此,低通參考樣本點濾波器和側平滑被應用於廣角預測以減少增加的間隙△pα的負面影響。
1.6.4 位置相關幀內預測組合(PDPC)的示例
在VTM2中,用位置相關的幀內預測組合(PDPC)方法還修正平面模式的幀內預測結果。PDPC是一種幀內預測方法,其調用未濾波的邊界參考樣本點和HEVC樣式幀內預測與濾波的邊界參考樣本點的組合。PDPC應用於以下無信令的幀內模式:平面、DC、水平、垂直、左下角模式及其八個相鄰角模式、右上角模式及其八個相鄰角模式。
使用幀內預測模式(DC、平面、角)和參考樣本點的線性組合根據以下等式對預測樣本點pred(x,y)進行預測:pred(x,y)=(wL×R -1,y +wT×R x,-1-wTL×R -1,-1+(64-wL-wT+wTL)×pred(x,y)+32)>>shift
這裡,R x,-1,R -1,y 分別表示位於當前樣本點(x,y)的頂部和左側的參考樣本點,並且R -1,-1表示位於當前塊的左上角的參考樣本點。
在一些實施例中,如果PDPC應用於DC、平面、水平和垂直幀內模式,則不需要額外的邊界濾波器,而在HEVC的情況下需要DC模式邊界濾波器或水平/垂直模式邊緣濾波器。
圖12A至12D說明了應用於各種預測模式的PDPC
的參考樣本點(Rx,-1,R-1,y和R-1,-1)的定義。預測樣本點pred(x’,y’)位於預測塊內的(x',y')處。參考樣本點Rx,-1的坐標x由x=x’+y’+1給出,參考樣本點R-1,y的坐標y類似地由y=x’+y’+1給出。在一些實施例中,PDPC權重取決於預測模式,並且如表2所示,其中S=移位(shift)。
2.通過所述技術解決的現有實現中的缺點的示例
JEM或VTM中的當前CCLM實現至少顯示出以下問題:
-在JEM的當前CCLM設計中,它需要比正常幀內預測更多的相鄰亮度樣本點。CCLM需要兩列上相鄰的亮度樣本點和三行左相鄰的亮度樣本點。MM-CCLM需要四列上相鄰的亮度樣本點和四行左相鄰的亮度樣本點。這在硬體設計中是不希望的。
-其他相關方法僅使用一列相鄰的亮度樣本點,但會帶來一些編解碼性能損失。
-相鄰的彩度樣本點僅用於推導LM參數。在生成彩度塊的預測塊時,僅使用亮度樣本點和導出的LM參數。因此,未利用當前彩度塊與其相鄰彩度塊之間的空間相關性。
在VTM-5.0中,CCLM(包括LM、LM-L、LM-T模式)只能找到兩個可用的相鄰彩度樣本點(以及其對應的可以是下採樣亮度樣本點)。這是4點最大最小CCLM參數推導處理中的不希望的特殊情況。
3.視頻編解碼中交叉分量預測的示例方法
本公開技術的實施例克服了現有實現的缺點,從而提供具有更高編解碼效率但更低計算複雜度的視頻編解碼。在以下針對各種實現描述的示例中闡述了基於所公開的技術的可以增強現有和未來的視頻編解碼標準的交叉分量預測。下面提供的公開技術的示例解釋了一般概念,並不意圖被解釋為限制性的。在示例中,除非明確地相反指示,否則可以組合這些示例中描述的各種特徵。
在下面的示例和方法中,術語“LM方法”包括但不限於JEM或VTM中的LM模式、JEM中的MMLM模式、僅使用左側相鄰樣本點來導出線性模型的左LM模式、僅使用上方相鄰樣本點來導出線性模型的上LM模式或其他類型的利用亮度重構樣本點來導出彩度預測塊的方法。
示例1. 在一個示例中,考慮如何根據亮度樣本點是在當前塊內還是在當前塊外來下採樣亮度樣本點的方法。
(a)下採樣亮度樣本點可用於導出LM參數。這裡,亮度塊是一個彩度塊的對應亮度塊。
(b)下採樣亮度樣本點可用於導出其他類型的彩度預測塊。這裡,亮度塊是一個彩度塊的對應亮度塊。
(c)例如,使用與JEM中相同的方法對當前塊內的亮度樣本點進行下採樣,但使用不同的方法對當前塊外的亮度樣本點進行下採樣。
示例2. 在一個示例中,考慮如何根據位置下採樣外部亮度樣本點的方法。
(a)在一個示例中,下採樣亮度樣本點可用於導出預測塊。這裡,外部亮度樣本點可以是相對於要編解碼的當前亮度塊的相鄰亮度樣本點或非相鄰亮度樣本點。
(b)下採樣亮度樣本點可用於導出LM參數。這裡,外部亮度樣本點是那些不位於當前彩度塊的對應亮度塊中的樣本點。
(c)在一個示例中,以不同的方式對當前塊的左側或當前塊的上方的亮度樣本點進行下採樣。
(d)在一個示例中,如圖13A和13B所示,按以下規定對亮度樣本點進行下採樣。
(i)以與JEM相同的方式對當前塊內的亮度樣本點進行下採樣。
(ii)當前塊外部和當前塊上方的亮度樣本點被下採樣到
圖4中的位置C或D。或者,使用濾波器將亮度樣本點下採樣到圖4中的位置C。假設與當前塊相鄰的上述亮度樣本點表示為a[i],則d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+2)>>2,其中d[i]表示下採樣亮度樣本點。
(1)如果樣本點a[2i-1]不可用,則d[i]=(3*a[2i]+a[2i+1]+2)>>2
(2)如果樣本點a[2i+1]不可用,則d[i]=(a[2i-1]+3*a[2i]+2)>>2
(iii)將當前塊外部和當前塊左側的亮度樣本點向下採樣到圖4中的位置B或D。或者,將亮度樣本點下採樣到B和D之間的一半位置處。假設與當前塊相鄰的亮度樣本點被表示為a[j],則d[j]=(a[2j]+a[2j+1]+1)>>1,其中d[j]表示下採樣亮度樣本點。
(iv)在一個示例中,生成W個亮度下採樣樣本點,其中W是如圖13A所示的當前彩度塊的寬度。
(1)或者,從上述相鄰亮度樣本點生成N×W個亮度下採樣樣本點,其中N是諸如2的整數,如圖13B所示。
(2)或者,從上述相鄰亮度樣本點生成W+K個亮度下採樣樣本點,其中K是正整數。
(3)或者,從上述相鄰亮度樣本點生成W/N個亮度下採樣樣本點,其中N是諸如2的整數。
(v)在一個示例中,從左側相鄰亮度樣本點生成H個亮度下採樣樣本點,其中H是如圖13A所示的當前彩度塊的高度。
(1)或者,生成N×H個亮度下採樣樣本點,其中N是諸如2的整數,如圖13B所示。
(2)或者,生成H+K個亮度下採樣樣本點,其中K是正整數。
(3)或者,生成H/N個亮度下採樣樣本點,其中N是諸如2的整數。
示例3. 在一個示例中,考慮如何根據塊尺寸/塊形狀為外部亮度/內部亮度樣本點選擇樣本點以及下採樣多少樣本點的方法。
示例4. 在一個示例中,在用作彩度塊的預測器之前,可以還細化從LM方法生成的預測塊。
(a)在一個示例中,重構的彩度樣本點(相鄰或非相鄰彩度樣本點)還可與來自LM方法的預測塊一起使用。
(i)在一個示例中,可以應用線性函數,其中,相鄰的重構彩度樣本點和來自LM方法的預測塊作為輸入,並且細化的的預測樣本點作為輸出。
(ii)在一個示例中,對於某些位置,可以細化來自LM方法的預測塊,並且對於其餘位置,可以不經細化而直接繼承來自LM方法的預測塊。
(b)在一個示例中,可以生成兩個預測塊(例如,一個來自LM方法,並且另一個來自彩度幀內預測塊)。然而,對於某些位置,可以從兩個預測塊生成最終預測塊,並且對於其餘位置,
最終預測塊可以從來自LM的預測塊直接複製。
(i)在一個示例中,彩度幀內預測模式可以被信令通知或從亮度幀內預測模式導出。
(ii)在一個示例中,可以聯合使用兩個預測塊的“某些位置”包括頂部的幾列和/或左側的幾行。
(c)例如,無論採用何種下採樣濾波器,邊界濾波可應用於LM模式、MMLM模式、左LM模式或上LM模式。
(d)在一個示例中,可以將來自LM方法的預測塊和當前塊上方的重構彩度樣本點的函數一起使用以從LM方法來細化預測塊。
(i)假設與當前塊上相鄰的重構彩度樣本點表示為a[-1][j],第i列和第j行的LM預測樣本點為a[i][j],則邊界濾波後的預測樣本點計算為a[-1][j]和a[i][j]的函數。在一個示例中,(i,j)位置處的最終預測被定義為a'[i][j]=(w1*a[i][j]+w2*a[-1][i]+2N-1)>>N,其中w1+w2=2N。
(ii)僅當上方相鄰樣本點可用時,才能應用邊界濾波。
(iii)在一個示例中,僅當i<=K(K是諸如0或1的整數)時才應用邊界濾波。例如,K=0,w1=w2=1。在另一個示例中,K=0,w1=3,w2=1。
(iv)在一個示例中,w1和w2取決於列索引(i)。例如,對於樣本點a[0][j],K=1,w1=w2=1,而對於樣本點a[1][j],w1=3,w2=1。
(e)在一個示例中,可以將來自LM方法的預測塊和當前塊左側的重構彩度樣本點的函數一起使用以從LM方法細化預測塊。
(i)假設與當前塊左相鄰的重構彩度樣本點表示為a[i][-1],第i列和第j行的LM預測樣本點為a[i][j],則邊界濾波後的預測樣本點計算為a[i][-1]和a[i][j]的函數。在一個示例中,(i,j)位置的最終預測被定義為a'[i][j]=(w1*a[i][j]+w2*a[i][1]+2N-1)>>N,其中w1+w2=2N。
(ii)在一個示例中,僅當左側相鄰樣本點可用時,才能應用邊界濾波。
(iii)在一個示例中,僅當j<=K(K是諸如0或1的整數)時才應用邊界濾波。例如,K=0,w1=w2=1。在另一個示例中,K=0,w1=3,w2=1。
(iv)在一個示例中,w1和w2取決於行索引(i)。例如,對於樣本點a[0][j],K=1,w1=w2=1,而對於樣本點a[1][j],w1=3,w2=1。
(f)在一個示例中,可以將來自LM方法的預測塊和當前塊左上的重構彩度樣本點的函數一起使用以從LM方法細化預測塊。
(i)假設與當前塊上相鄰的重構彩度樣本點表示為a[-1][j],與當前塊左相鄰的重構彩度樣本點表示為a[i][1],並且第i列和第j行的LM預測樣本點為a[i][j],則邊界濾波後的預測
樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[i][1]+w3*a[-1][j]+2N-1)>>N,其中w1+w2+w3=2N。
(ii)在一個示例中,邊界濾波只能在左側相鄰樣本點和上方相鄰樣本點都可用時應用。
(iii)在一個示例中,僅當i<=K且j<=P時才應用該邊界濾波。在另一個示例中,僅當i<=K或j<=P時才應用該邊界濾波。
(iv)在一個示例中,該邊界濾波僅應用於w1=2,w2=w3=1的a[0][0]。
示例5. 在一個示例中,考慮是否應用以及如何應用LM方法可能取決於當前塊的尺寸或形狀。假設W和H分別表示當前彩度塊的寬度和高度,T1和T2是閾值。
(a)在一個示例中,當W<=T1且H<=T2時,LM模式(或MMLM模式、或左LM模式、或上LM模式)不適用。例如,T1=T2=4。
(b)在一個示例中,當W<=T1或H<=T2時,LM模式(或MMLM模式、或左LM模式、或上LM模式)不適用。例如,T1=T2=2。
(c)在一個示例中,當W<=T1或H<=T2時,LM模式(或MMLM模式、或左LM模式、或上LM模式)不適用。例如,T1=T2=4。
(d)在一個示例中,當W+H<=T1時,LM模式(或MMLM
模式、或左LM模式、或上LM模式)不適用。例如,T1=6。
(e)在一個示例中,當W×H<=T1時,LM模式(或MMLM模式、或左LM模式、或上LM模式)不適用。例如,T1=16。
(f)在一個示例中,當H<=T1時,左LM模式不適用。例如,T1=4。
(g)在一個示例中,當W<=T1時,上LM模式不適用。例如,T1=4。
(h)可以在SPS、序列標頭、PPS、圖片標頭、VPS、條帶標頭、CTU、CU或CTU組中預先定義或信令通知T1和/或T2。
示例6. 在一個示例中,考慮是否以及如何應用所提出的單列LM方法可取決於當前塊的位置。
(a)在一個示例中,如圖8A所示,一個或多個所提出的方法被應用於位於當前CTU的上邊界的CU上。
(b)在一個示例中,如圖8B所示,一個或多個所提出的方法被應用於位於當前CTU的左邊界的CU上。
(c)在一個示例中,上述兩種情況均採用一種或多種所提出的方法。
(d)在一個示例中,一個或多個所提出的方法被應用於位於諸如64×64塊的區域的上邊界的CU上。
(e)在一個示例中,一個或多個所提出的方法被應用於位於諸如64×64塊的區域的左邊界的CU上。
上面描述的示例可以併入下面描述的方法的上下文中,
例如方法1400,其可以在視頻編碼器和/或解碼器處實現。
示例7. 使用一種濾波方法(例如,第2.d.ii條中定義的方法)對上方LM相鄰樣本點進行下採樣,並且使用那些可用於正常幀內預測處理的亮度樣本點(例如,VVC中的2W樣本點(當前塊的上方和右上方)。而用不同的濾波方法(例如,JEM或VTM-2.0中定義的方法)對左側LM相鄰樣本點進行下採樣。
(a)圖16示出了如何將不同的下採樣方法組合在一起的示例。
示例8. 在2.d.ii.1條的另一個示例中,使用濾波器將亮度樣本點下採樣到圖4中的位置C。假設與當前塊上相鄰的亮度樣本點表示為a[i],則如果i>0,則d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+offset0)>>2;否則(如果i==0),d[i]=(3*a[2i]+a[2i+1]+offset1)>>2。
(a)或者,如果i==0,則d[i]=a[2i]。
(b)或者,如果i==0,則d[i]=(a[2i]+a[2i+1]+offset2)>>1。
(c)在一個示例中,offset0=offsetl=2;offset2=1。
示例9. 在一些實施例中,位於當前塊上方或左側的下採樣亮度樣本點的數量可取決於當前塊的維度。假設當前彩度塊的寬度和高度表示為W和H:
(a)例如,如果W==H,則對當前塊上方的W個亮度樣本點進行下採樣,並且對當前塊左側的H個亮度樣本點進行下採
樣;
(b)例如,如果W==H,則對當前塊上方的2*W個亮度樣本點進行下採樣,並且對當前塊左側的2*H個亮度樣本點進行下採樣;
(c)例如,如果W<H,則對當前塊上方的2*W個亮度樣本點進行下採樣,對當前塊左側的H個亮度樣本點進行下採樣;
(d)例如,如果W<=H,則對當前塊上方的2*W個亮度樣本點進行下採樣,對當前塊左側的H個亮度樣本點進行下採樣;
(e)例如,如果W>H,則對當前塊上方的2*W個亮度樣本點進行下採樣,對當前塊左側的H個亮度樣本點進行下採樣;
(f)例如,如果W>=H,則對當前塊上方的2*W個亮度樣本點進行下採樣,對當前塊左側的H個亮度樣本點進行下採樣;
(g)例如,如果W<H,則對當前塊上方的W個亮度樣本點進行下採樣,對當前塊左側的2*H個亮度樣本點進行下採樣;
(h)例如,如果W<=H,則對當前塊上方的W個亮度樣本點進行下採樣,對當前塊左側的2*H個亮度樣本點進行下採樣;
(i)例如,如果W>H,則對當前塊上方的W個亮度樣本點進行下採樣,對當前塊左側的2*H個亮度樣本點進行下採樣;
(j)例如,如果W>=H,則對當前塊上方的W個亮度樣本點進行下採樣,對當前塊左側的2*H個亮度樣本點進行下採樣;
(k)例如,僅當上方相鄰塊和右上方相鄰塊都可用時,對當前塊上方的2*W個亮度樣本點進行下採樣。否則,對當前塊上方的W個亮度樣本點進行向下採樣。
(1)例如,僅當左側相鄰塊和左下相鄰塊都可用時,對當前塊左側的2*H個亮度樣本點進行下採樣。否則,對當前塊上方的H個亮度樣本點進行下採樣。
(m)假設在當前塊上方有W'個(W'等於W或2*W)下採樣亮度樣本點,在當前塊左側有H'(H'等於H或2*H)向下採樣亮度樣本點。如果W'不等於H',則抽取具有更多樣本點的下採樣亮度樣本點集,以匹配具有更少樣本點的下採樣亮度樣本點集中的樣本點數,如JEM或VTM-2.0中定義的。
(n)在一個示例中,當前塊的上方和左側的下採樣亮度樣本點的數量設置為max(W,H)。
(i)或者,當前塊的上方和左側的下採樣亮度樣本點的數量設置為min(W,H)和max(W,H)之間的值。
(ii)當前塊的上方和左側的下採樣亮度樣本點的數量
設置為min(W,H)和max(W,H)*SCALEDVALUE之間的值。例如,SCALEDVALUE設置為2。
示例10. 在一些實施例中,當W不等於H時的抽取處理不同於JEM或VTM-2.0中的抽取處理。
(a)例如,如果W>H,則在訓練處理中涉及H個最左側的上方相鄰樣本點和H個左側相鄰樣本點。
(b)例如,如果W>H,則在訓練處理中涉及H個最右的上方相鄰樣本點和H個左側相鄰樣本點。
(c)例如,如果W>H,並且W=H*n,則在訓練處理中涉及W個上方相鄰樣本點和H個左側相鄰樣本點,並且每個左側相鄰樣本點在訓練處理中出現n次。
(d)例如,如果W<H,則在訓練處理中涉及W個最上方的左側相鄰樣本點和W個上方相鄰樣本點。
(e)例如,如果W<H,則在訓練處理中涉及W個最下的左側相鄰樣本點和W個上方相鄰樣本點。
(f)例如,如果W<H,並且H=W*n,則在訓練處理中涉及W個上方相鄰樣本點和H個左側相鄰樣本點,並且在訓練處理中每個上方相鄰樣本點出現n次。
示例11. 是否和/或如何將CCLM模式(例如LM、LM-A、LM-T)應用於塊可取決於可用相鄰樣本點的數量和/或塊的尺寸。
(a)在一個示例中,塊可指彩度編解碼塊。
(b)在一個示例中,如果一個或多個特定CCLM模式(例
如LM、LM-A、LM-T)不適用於塊(例如,根據可用相鄰樣本點的數量和/或維度),則用於指示特定CCLM模式的語法元素(例如,標誌或模式表示)可不被信令通知,並且推斷不應用特定的CCLM模式。
(c)在一個示例中,如果一個或多個特定CCLM模式(例如LM、LM-A、LM-T)不適用於塊(例如,根據可用相鄰樣本點的數量和/或維度),則用於指示特定CCLM模式的語法元素(例如,標誌或模式表示)可被信令通知,並且應該指示不在一致性位元流中應用CCLM模式。
(d)在一個示例中,在一個示例中,如果一個或多個特定CCLM模式(例如LM、LM-A、LM-T)不適用於塊(例如,根據可用相鄰樣本點的數量和/或維度),則用於指示特定CCLM模式的語法元素(例如,標誌或模式表示)可被信令通知,但該信令可被解碼器忽略,並且推斷不應用特定的CCLM模式。
(e)在一個示例中,相鄰樣本點可指彩度相鄰樣本點。
(i)或者,相鄰樣本點可指可被下採樣(例如,根據色彩格式)的對應的亮度相鄰樣本點。
(f)在一個示例中,在一個示例中,如果一個或多個特定CCLM模式(例如LM、LM-A、LM-T)不適用於塊(例如,根據可用相鄰樣本點的數量和/或維度),但是信令通知了特定的CCLM模式,則以特定方式完成CCLM的參數推導處理。
(i)在一個示例中,參數a被設置為0,並且參數b被
設置為固定數,例如1<<(位元深度-1)。
(g)在一個示例中,當可用相鄰樣本點的數量小於T時,LM模式和/或LM-A模式和/或LM-T模式不適用,其中T是諸如4的整數。
(h)在一個示例中,如果塊的寬度等於2並且左側不可用,則LM模式不適用。
(i)在一個示例中,如果塊的高度等於2並且上方相鄰塊不可用,則LM模式不適用。
(j)在一個示例中,如果塊的寬度等於2,則LM-T模式不適用。
(i)或者,如果塊的寬度等於2並且右上方相鄰塊不可用,則LM-T模式不適用。
(k)在一個示例中,如果塊的高度等於2,則LM-L模式不適用。
(i)或者,如果塊的高度等於2並且左下相鄰塊不可用,則LM-L模式不適用。
(l)在一個示例中,如果LM模式不適用,則LM-L模式不適用。
(m)在一個示例中,如果LM模式不適用,則LM-T模式不適用。
(n)在一個示例中,“可用相鄰樣本點”可以是根據所選參考列來自現有的上和/或左樣本點的樣本點。
(o)在一個示例中,“可用相鄰樣本點”可以是根據所選參考列和CCLM參數推導規則來自所選位置的樣本點(例如,pSelcomp[])。
(p)上述方法也可適用於局部照明補償(LIC)處理,其中根據可用相鄰樣本點的數量,LIC可被禁用。
(i)或者,根據可用相鄰樣本點的數量,可以啟用LIC,但是使用特定的線性模型參數(例如,a=1,b=0),而不管相鄰樣本點的值如何。
圖14示出了交叉分量預測的示例性方法的流程圖。方法1400包括:在步驟1410中,接收包含亮度分量和彩度分量的視頻數據的當前塊的位元流表示。
在一些實施例中,步驟1410包括:從視頻編碼器或解碼器中的儲存器位置或緩衝器接收位元流表示。在其他實施例中,步驟1410包括:在視頻解碼器處通過無線或有線信道接收位元流表示。在另一個實施例中,步驟1410包括:從可實現包括但不限於本文的實施例所述的一個或多個方法或算法的不同模組、單元或處理器接收位元流表示。
方法1400包括:在步驟1420中,基於通過對亮度分量的第二組樣本點進行下採樣而生成的第一組樣本點來確定線性模型的參數。在一些實施例中,第二組樣本點位於當前塊內,並且確定參數還基於通過對位於當前塊外的第四組樣本點進行下採樣而生成的第三組樣本點。
在一些實施例中,並且在第4章節的示例2的上下文中,對第二組樣本點進行下採樣基於第一下採樣方法,而對第四組樣本點進行下採樣基於不同於第一下採樣方法的第二下採樣方法。
在一些實施例中,第四組樣本點包括當前塊的相鄰亮度樣本點。在其他實施例中,第四組樣本點包括相對於當前塊的非相鄰亮度樣本點。在一些實施例中,基於當前塊的尺寸選擇第二和/或第四組樣本點。
方法1400包括:在步驟1430中,基於線性模型的參數處理位元流表示以生成當前塊。
在一些實施例中,方法1400還可以包括步驟:基於線性模型的參數和第一組樣本點預測彩度分量的第五組樣本點,並且處理還基於第五組樣本點。
在一些實施例中,並且在第4章節的實施例4的上下文中,方法1400還可以包括步驟:基於線性模型的參數和第一組樣本點預測彩度分量的第五組樣本點,並且細化第五組樣本點以生成第六組樣本點。在一個示例中,該處理還可基於第六組樣本點。
在一些實施例中,上述細化步驟可包括:將線性函數應用於一組相鄰的重構彩度樣本點和第五組樣本點以生成第六組樣本點。在一個示例中,相鄰的重構彩度樣本點集基於當前塊左側的樣本點。在另一示例中,相鄰的重構彩度樣本點集還基於當前塊上方的樣本點。
在一些實施例中,並且在第4章節的實施例2的上下文
中,下採樣第二組樣本點基於根據當前塊中第一組樣本點的位置選擇的下採樣方法,並且第一組樣本點是亮度樣本點的2×2塊的一部分(例如,如圖4所示)。在一個示例中,第一組樣本點包括亮度樣本點的塊的左下樣本點。在另一示例中,第一組樣本點包括亮度樣本點的塊的右上樣本點或右下樣本點。
在一些實施例中,並且在第4章節的示例5的上下文中,當前塊的高度大於第一閾值,並且當前塊的寬度大於第二閾值。在一些實施例中,當前塊的高度和當前塊的寬度之和大於第一閾值。在一些實施例中,當前塊的高度和當前塊的寬度的乘積大於第一閾值。在一些實施例中,當前塊的高度大於第一閾值或當前塊的寬度大於第二閾值。在這些實施例中,可以在序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、圖片標頭、編解碼樹單元(CTU)、編解碼單元(CU)或CTU組中信令通知第一閾值和/或第二閾值。
在一些實施例中,並且在第4章節的示例6的上下文中,處理位元流表示還基於當前塊在當前CTU中的位置。在一個示例中,當前塊的位置在當前CTU的頂部邊界處。在另一個示例中,當前塊的位置在當前CTU的左側邊界處。
可以使用以下基於條款的描述來描述一些附加技術。
1.一種視頻編解碼方法,包括:在視頻的當前塊和當前塊的位元流表示之間的轉換期間,基於通過對亮度分量的第二組樣本點進行下採樣生成的第一組樣本點使用線性模型的參數;以
及基於線性模型的參數執行位元流表示和當前塊之間的轉換。
2.根據條款1所述的方法,其中來自當前塊的上方或左側的第二組中的下採樣亮度樣本點的數量取決於當前塊的尺寸。
3.根據條款2所述的方法,其中當前塊是具有W個樣本點的寬度和H個樣本點的高度的彩度塊,其中W和H是整數,並且其中在當前塊上方的W個亮度樣本點被向下採樣,並且當前塊左側的H個亮度樣本點被向下採樣,其中W等於H。
4.根據條款1所述的方法,其中當前塊為正方形和當前塊為矩形的情況下使用兩種不同的下採樣方案。
5.根據條款4所述的方法,其中當前塊具有W個樣本點的寬度和H個樣本點的高度,其中W和H是整數,並且其中W>H,並且其中訓練處理使用H個最左側的上方相鄰樣本點和H個左側相鄰樣本點。
6.根據條款4所述的方法,其中當前塊具有W個樣本點的寬度和H個樣本點的高度,其中W和H是整數,並且其中W>H,並且其中訓練處理中涉及H個最右的上方相鄰樣本點和H個左側相鄰樣本點。
在上述條款中,轉換可包括視頻解碼或解壓縮,其中從其位元流表示生成當前塊的像素值。在上述條款中,轉換可以包括視頻編碼或壓縮操作,其中從當前塊生成位元流表示。
在一些實施例中,視頻處理的方法包括:使用交叉分量線性模型在當前視頻塊和當前視頻塊的位元流表示之間執行轉換,
其中使用交叉分量線性模型的轉換使用多列亮度樣本點,至少一列與當前視頻塊不相鄰。
技術解決方案和實施例的一些示例
基於所公開的技術的一些解決方案可以如下。
1.一種用於視頻編解碼方法,包括:接收包含亮度分量和彩度分量的視頻數據的當前塊的位元流表示,基於通過對亮度分量的第二組樣本點進行下採樣生成的第一組樣本點來確定線性模型的參數,以及基於線性模型的參數,處理位元流以生成當前塊。
2.根據解決方案1所述的方法,其中第二組樣本點位於當前塊內,並且其中確定參數還基於通過對位於當前塊外的第四組樣本點進行下採樣而生成的第三組樣本點。
3.根據解決方案2所述的方法,其中對第二組樣本點進行下採樣基於第一下採樣方法,並且其中對第四組樣本點下採樣基於第二下採樣方法。
4.根據解決方案2或3所述的方法,其中第四組樣本點包括當前塊的相鄰亮度樣本點。
5.根據解決方案2或3所述的方法,其中第四組樣本點包括相對於當前塊的非相鄰亮度樣本點。
6.根據解決方案2所述的方法,其中根據當前塊的尺寸選擇第四組樣本點。
7.根據解決方案1所述的方法,其中下採樣基於濾波操
作。
8.根據解決方案1所述的方法,其中基於當前塊的尺寸選擇第二組樣本點。
9.根據解決方案1至8中任一項所述的方法,還包括:基於線性模型的參數和第一組樣本點預測彩度分量的第五組樣本點,該處理還基於第五組樣本點。
10.根據解決方案1至8中任一項所述的方法,還包括:基於線性模型的參數和第一組樣本點預測彩度分量的第五組樣本點;以及細化第五組樣本點以生成第六組樣本點,其中處理還基於第六組樣本點。
11.根據解決方案10所述的方法,其中細化第五組樣本點包括:將線性函數應用於一組相鄰的重構彩度樣本點和第五組樣本點以生成第六組樣本點。
12.根據解決方案11所述的方法,其中相鄰的重構彩度樣本點集基於當前塊左側的樣本點。
13.根據解決方案12所述的方法,其中相鄰的重構彩度樣本點集還基於當前塊上方的樣本點。
14.根據解決方案1所述的方法,其中對第二組樣本點進行下採樣基於根據當前塊中第一組樣本點的位置選擇的下採樣方法,並且其中亮度樣本點的2×2塊包括第一組樣本點。
15.根據解決方案14所述的方法,其中第一組樣本點包括亮度樣本點的塊的左下樣本點。
16.根據解決方案14所述的方法,其中第一組樣本點包括亮度樣本點的塊的右上樣本點或右下樣本點。
17.根據解決方案1所述的方法,其中第一組樣本點包括W個樣本點,其中W是彩度分量的寬度。
18.根據解決方案1所述的方法,其中第一組樣本點包括H個樣本點,其中第二組樣本點是相對於當前塊的左側相鄰亮度樣本點,其中H是彩度分量的高度。
19.根據解決方案1所述的方法,其中當前塊的高度大於第一閾值,並且當前塊的寬度大於第二閾值。
20.根據解決方案1所述的方法,其中當前塊的高度和寬度之和大於第一閾值。
21.根據解決方案1所述的一種方法,其中當前塊的高度和寬度的乘積大於第一閾值。
22.根據解決方案1所述的方法,其中當前塊的高度大於第一閾值或當前塊的寬度大於第二閾值。
23.根據解決方案19至22中任一項所述的方法,其中在序列參數集(SPS)、圖片參數集(PPS)、條帶標頭、圖片標頭、編解碼樹單元(CTU)、編解碼單元(CU)或CTU組中信令通知第一閾值。
24.根據解決方案1所述的方法,其中處理位元流表示還基於當前塊在當前編解碼樹單元(CTU)中的位置。
25.根據解決方案24所述的方法,其中當前塊的位置在
當前CTU的上邊界處。
26.根據解決方案24所述的方法,其中當前塊的位置在當前CTU的左側邊界處。
27.一種視頻編解碼方法,包括:在視頻的當前塊和當前塊的位元流表示之間的轉換期間,基於通過對亮度分量的第二組樣本點進行下採樣生成的第一組樣本點使用線性模型的參數;以及基於線性模型的參數執行位元流表示和當前塊之間的轉換。
28.根據解決方案27所述的方法,其中來自當前塊的上方或左側的第二組中的下採樣亮度樣本點的數量取決於當前塊的尺寸。
29.根據解決方案28所述的方法,其中當前塊是具有W個樣本點的寬度和H個樣本點的高度的彩度塊,其中W和H是整數,並且其中在當前塊上方的W個亮度樣本點被向下採樣,並且當前塊左側的H個亮度樣本點被向下採樣,其中W等於H。
30.根據解決方案27所述的方法,其中當前塊為正方形和當前塊為矩形的情況下使用兩種不同的下採樣方案。
31.根據解決方案30所述的方法,其中當前塊具有W個樣本點的寬度和H個樣本點的高度,其中W和H是整數,並且其中W>H,並且其中訓練處理使用H個最左側的上方相鄰樣本點和H個左側相鄰樣本點。
32.根據解決方案30所述的方法,其中當前塊具有W個樣本點的寬度和H個樣本點的高度,其中W和H是整數,並且其
中W>H,並且其中訓練處理中涉及H個最右的上方相鄰樣本點和H個左側相鄰樣本點。
33.一種視頻處理方法,包括:使用交叉分量線性模型在當前視頻塊和當前視頻塊的位元流表示之間執行轉換,其中使用交叉分量線性模型的轉換使用多列亮度樣本點,至少一列與當前視頻塊不相鄰。
34.根據解決方案33所述的方法,其中轉換使用包含多方向線性模型的交叉分量線性模型模式。
35.根據解決方案33至34中任意項所述的方法,其中多列中的至少一列不包括滿足排除標準的列或包括滿足包含標準的列。
36.根據解決方案35所述的方法,其中排除標準包括:排除不用於定向幀內預測和多參考列幀內預測的亮度樣本點。
37.根據解決方案35所述的方法,其中包含標準包括當前視頻塊上方的兩條線。
38.一種視頻系統中的裝置,包括處理器和其上具有指令的非暫時性儲存器,其中,在處理器執行指令時,使處理器實現解決方案1至37中的任一項所述的方法。
39.一種儲存在非暫時性電腦可讀介質上的電腦程式產品,所述電腦程式產品包括用於實現解決方案1至37中的任一項所述的方法的程式代碼。
4.交叉分量預測的附加實施例
實施例1
在一些實施例中,以與JEM中相同的方式對當前塊內的亮度樣本點進行下採樣。
在一些實施例中,使用濾波器將在當前塊外部且在當前塊上方的亮度樣本點下採樣到圖4中的位置C。假設與當前塊上相鄰的亮度樣本點表示為a[i],則d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+2)>>2,其中d[i]表示下採樣亮度樣本點。如果樣本點a[2i-1]不可用,則d[i]=(3*a[2i]+a[2i+1]+2)>>2。
在一些實施例中,在當前塊外部且在當前塊左側的亮度樣本點被下採樣到如圖4所示的B和D之間的一半位置。假設與當前塊相鄰的亮度樣本點表示為a[j],則d[j]=(a[2j]+a[2j+1]+1)>>1,其中d[j]表示下採樣亮度樣本點。
在一些實施例中,生成來自上相鄰亮度樣本點的W個下採樣亮度樣本點和來自左側相鄰亮度樣本點的H個下採樣亮度樣本點,其中W和H是如圖13A所示的當前彩度塊的寬度和高度。
在一些實施例中,生成來自上相鄰亮度樣本點的2W個下採樣亮度樣本點和來自左側相鄰亮度樣本點的2H個下採樣亮度樣本點,其中W和H是如圖13B所示的當前彩度塊的寬度和高度。
為了將訓練處理所需的相鄰亮度樣本點約束在一條直線上,應用如圖3A所示的具有較少抽頭的下採樣濾波器:
-對於上方相鄰亮度樣本點:Rec' L [x,y]=(2×Rec L [2x,2y+1]+Rec L [2x-1,2y+1]+Rec L [2x+1,2y+1]+2)>>2. (2)
.對於左側相鄰亮度樣本點:Rec' L [x,y]=(Rec L [2x+1,2y]+Rec L [2x+1,2y+1]+1)>>1. (3)
仍然使用六抽頭濾波器對塊內的亮度樣本點進行下採樣。
利用不同組的相鄰亮度樣本點,本文給出了兩種解決方案。假設一個塊的寬度和高度分別表示為W和H。在解決方案1中,圖17A中的訓練處理設計W個上方相鄰樣本點和H個左側相鄰樣本點。在解決方案2中,涉及2W個上方相鄰樣本點和2H個左側相鄰樣本點,如圖17B所示。應當注意的是,解決方案2中的擴展相鄰樣本點已經被廣角幀內預測使用。
此外,如圖18A至18C所示的解決方案3是基於解決方案2提供的。如果W<=H,則涉及2W個上方相鄰樣本點;否則,涉及W個上方相鄰樣本點。如果H<=W,則涉及2H個左側相鄰樣本點;否則,涉及H個左側相鄰樣本點。
作為進一步的研究,提供了解決方案1A、解決方案2A和解決方案3A,它們分別採用解決方案1、解決方案2和解決方案3的相同方法,但僅在上述相鄰樣本點上使用。在解決方案1A、2A和3A中,如VTM-2.0中那樣對左相鄰的亮度樣本點進行下採樣,即用6抽頭濾波器對左側相鄰亮度樣本點進行下採樣。
實施例2
關於工作草案中CCLM樣本點數限制的實施例(示例更改被標記:刪除的內容包含在雙括號{{}}中)。
INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM幀內預測模式的規範
該處理的輸入包括:...
該處理的輸出為預測樣本點predSamples[x][y],其中x=0..nTbW-1,y=0..nTbH-1。
當前亮度位置(xTbY,yTbY)推導如下:(xTbY,yTbY)=(xTbC<<1,yTbC<<1) (8-156)
變量availL,availT和availTL推導如下:...
-可用的右上相鄰彩度樣本點的數量numTopRight推導如下:
-變量numTopRight設置為等於0,availTR設置為TRUE。
-當predModeIntra等於INTRA_T_CCLM時,以下情況適用於x=nTbW..2*nTbW-1,直到availTR等於假(FALSE)或x等於2*nTbW-1:...
-可用的左下相鄰彩度樣本點的數量numLeftBelow導出如下:
...
-上方和右上可用相鄰彩度樣本點的數量numTopSamp、以及左側和左下可用相鄰彩度樣本點的數量nLeftSamp導出如下:
-如果predModeIntra等於INTRA_LT_CCLM,則以下適用:
numSampT=availT?nTbW:0 (8-157)
numSampL=availL?nTbH:0 (8-158)
-否則,以下適用:numSampT=(availT && predModeIntra==INTRA_T_CCLM)?(nTbW+Min(numTopRight,nTbH)):0 (8-159)
numSampL=(availL && predModeIntra==INTRA_L_CCLM)?(nTbH+Min(numLeftBelow,nTbW)):0 (8-160)
變量bCTUboundary導出如下:bCTUboundary=(yTbC &(1<<(CtbLog2SizeY-1)-1)==0)?TRUE:FALSE. (8-161)
變量cntN和數組pickPosN(N替換為L和T)導出如下:
-變量numIs4N設置為等於((availT && availL && predModeIntra==INTRA_LT_CCLM)?0:1).
-變量startPosN設置為等於numSampN>>(2+
numIs4N).
-變量pickStepN設置為等於Max(1,numSampN>>(1+numIs4N)).
-如果availN等於TRUE並且predModeIntra等於INTRA_LT_CCLM或者INTRA_N_CCLM,則做出如下分配:
-cntN設置為等於Min(numSampN,(1+numIs4N)<<1)
-pickPosN[pos]設置為等於(startPosN+pos*pickStepN),其中pos=0..cntN-1
-否則,cntN設置為等於0。
預測樣本點predSamples[x][y]其中x=0..nTbW-1,y=0..nTbH-1導出如下:
-如果numSampL和numSampT二者都等於0,則以下適用:predSamples[x][y]=1<<(BitDepthC-1) (8-162)
-否則,以下順序步驟適用:
1.共位亮度樣本點pY[x][y]其中x=0..nTbW*2-1,y=0..nTbH*2-1設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
2.相鄰亮度樣本點pY[x][y]導出如下:
-當numSampL大於0時,相鄰左側亮度樣本點pY[x][y](其中x=-1..-3,y=0..2*numSampL-1)設置為等
於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
-當numSampT大於0時,相鄰上方亮度樣本點pY[x][y](其中x=0..2*numSampT-1,y=-1,-2)設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
-當availTL等於TRUE時,相鄰左上亮度樣本點pY[x][y](其中x=-1,y=-1,-2)設置為等於位置(xTbY+x,yTbY+y)處的去塊濾波處理之前的重構亮度樣本點。
3.下採樣共位亮度樣本點pDsY[x][y](其中x=0..nTbW-1,y=0..nTbH-1)導出如下:...
4.當numSampL大於0時,所選擇的相鄰左側彩度樣本點pSelC[idx]設置為等於p[-1][pickPosL[idx]],其中idx=0..cntL-1,並且所選擇的下採樣相鄰左側亮度樣本點pSelDsY[idx](其中idx=0..cntL-1)導出如下:
-變量y設置為等於pickPosL[idx]。
-如果sps_cclm_colocated_chroma_flag等於1,則以下適用:...
-否則,以下適用:pSelDsY[idx]=(pY[-1][2*y]+
pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+1]+4)>>3 (8-178)
5.當numSampT大於0時,所選擇的相鄰上方彩度樣本點pSelC[idx]設置為等於p[pickPosT[idx-cntL]][-1]其中idx=cntL..cntL+cntT-1,並且下採樣相鄰上方亮度樣本點pSelDsY[idx](其中idx=0..cntL+cntT-1)如下規定:
-變量x設置為等於pickPosT[idx-cntL]
-如果sps_cclm_colocated_chroma_flag等於1,則以下適用:...
6.當cntT+cntL不{{等於0}}小於閾值1時,變量minY,maxY,minC和maxC導出如下:
-{{當cntT+cntL等於2時,設置pSelComp[3]等於pSelComp[0],pSelComp[2]等於pSelComp[1],pSelComp[0]等於pSelComp[1],並且pSelComp[1]等於pSelComp[3],其中Comp由DsY替代並且C..}}
-數組minGrpIdx和maxGrpIdx設置如下:
-minGrpIdx[0]=0
-minGrpIdx[1]=2
-maxGrpIdx[0]=1
-maxGrpIdx[1]=3
-當pSelDsY[minGrpIdx[0]]大於pSelDsY[minGrpIdx[1]]時,minGrpIdx[0]和minGrpIdx[1]交換為(minGrpIdx[0],minGrpIdx[1])=交換(minGrpIdx[0],minGrpIdx[1])。
-當pSelDsY[maxGrpIdx[0]]大於pSelDsY[maxGrpIdx[1]]時,maxGrpIdx[0]和maxGrpIdx[1]交換為(maxGrpIdx[0],maxGrpIdx[1])=交換(maxGrpIdx[0],maxGrpIdx[1])。
-當pSelDsY[minGrpIdx[0]]大於pSelDsY[maxGrpIdx[1]]時,數組minGrpIdx和maxGrpIdx交換為(minGrpIdx,maxGrpIdx)=交換(minGrpIdx,maxGrpIdx)。
-當pSelDsY[minGrpIdx[1]]大於pSelDsY[maxGrpIdx[0]]時,minGrpIdx[1]和maxGrpIdx[0]交換為(minGrpIdx[1],maxGrpIdx[0])=交換(minGrpIdx[1],maxGrpIdx[0])。
-maxY=(pSelDsY[maxGrpIdx[0]]+pSelDsY[maxGrpIdx[1]]+1)>>1。
-maxC=(pSelC[maxGrpIdx[0]]+pSelC[maxGrpIdx[1]]+1)>>1。
-minY=(pSelDsY[minGrpIdx[0]]+pSelDsY[minGrpIdx[1]]+1)>>1。
-minC=(pSelC[minGrpIdx[0]]+
pSelC[minGrpIdx[1]]+1)>>1。
7.變量a、b和k導出如下:
-如果{{numSampL等於0,並且numSampT等於0}}cntT+cntL小於閾值1時,則以下適用:k=0 (8-208)
a=0 (8-209)
b=1<<(BitDepthC-1) (8-210)
-否則,以下適用:
8.預測樣本predSamples[x][y](其中x=0..nTbW-1,y=0..nTbH-1)導出如下:predSamples[x][y]=Clip1C(((pDsY[x][y]*a)>>k)+b) (8-225)
在一個示例中,閾值1設置為4。
在一些實施例中,可以實現以下技術解決方案:
1.一種視頻處理方法(例如,圖21所示的方法2100),包括:對於視頻和視頻的編解碼表示之間的轉換,至少使用亮度塊外的下採樣亮度樣本點,確定(2102)用於預測與亮度塊共位的視頻的第一彩度塊的線性模型;使用亮度塊內的下採樣亮度樣本點和線性模型來確定(2104)第一彩度塊的樣本點的預測值;以及基於第一彩度塊的樣本點的預測值執行(2106)轉換;其中,通過對亮度塊外的亮度樣本點應用外部濾波器來獲得亮度塊外的下採樣亮度樣本點;並且其中,通過對亮度塊內的亮度樣本點應
用內部濾波器獲得亮度塊內的下採樣亮度樣本點。
2.根據解決方案1所述的方法,其中亮度塊內的下採樣亮度樣本點位於與第一彩度塊外的彩度樣本點位置相對應的位置。
3.根據解決方案1至2中任一項所述的方法,其中亮度塊內的下採樣亮度樣本點和亮度塊外的下採樣亮度樣本點進一步用於第一彩度塊的第二預測。
4.根據解決方案1至3中任一項所述的方法,其中內部濾波器對應於傳統濾波器。
5.根據解決方案1至3中任一項所述的方法,其中外部濾波器與內部濾波器不同。
6.根據解決方案1至5中任一項所述的方法,其中亮度塊外的亮度樣本點包括相鄰亮度樣本點或非相鄰亮度樣本點。
7.根據解決方案6所述的方法,其中亮度塊外的下採樣亮度樣本點也用於確定第一彩度塊的樣本點的預測值。
8.根據解決方案1至7中任一項所述的方法,其中外部濾波器的濾波器抽頭或濾波器係數取決於外部濾波器是應用於亮度塊的左側還是上方。
9.根據解決方案1至8的所述的方法,其中內部濾波器的長度或外部濾波器的長度取決於第一彩度塊或亮度塊的形狀或尺寸。
10.根據解決方案1至9中任一項所述的方法,其中在亮
度塊外或亮度塊內的亮度樣本點的位置是第一彩度塊或亮度塊的尺寸或形狀的函數。
11.根據解決方案1至10中任一項所述方法,其中,確定第一彩度塊的樣本點包括:使用細化預測塊預測第一彩度塊的樣本點,所述細化是通過將線性模型應用於亮度塊內的下採樣亮度樣本點而生成的中間預測塊的細化。
12.根據解決方案11所述的方法,其中,中間預測塊的細化使用與第一彩度塊相鄰的重構彩度樣本點。
13.根據解決方案11所述的方法,其中,中間預測塊的細化使用與第一彩度塊不相鄰的重構彩度樣本點。
14.根據解決方案11至13中任一項所述的方法,其中,將細化預測塊確定為中間預測塊和相鄰或非相鄰重構彩度樣本點的線性函數。
15.根據解決方案11至14中任一項所述的方法,其中,所述細化包括:將中間預測塊的樣本點複製為第一彩度塊的一些位置中的細化預測塊。
16.根據解決方案11所述的方法,其中,從中間預測塊和從先前的重構彩度塊生成的另一個彩度預測塊生成細化預測塊。
17.根據解決方案16所述的方法,其中另一個彩度預測塊是幀內預測彩度塊。
18.根據解決方案16至17中任一項所述的方法,其中第
一彩度塊的樣本點被確定為中間預測塊和另一個彩度預測塊的線性加權。
19.根據解決方案18所述的方法,其中,在第一彩度塊的一些像素位置處,給另一個彩度預測塊0%的權重,並且給中間預測塊100%的權重。
20.根據解決方案17至19所述的方法,其中幀內預測彩度塊使用亮度塊的幀內預測模式。
21.根據解決方案19所述的方法,其中一些像素位置包括第一彩度塊的上k列或第一彩度塊的左m行,其中k和m是整數。
22.根據解決方案1至21中任一項所述的方法,其中轉換還包括:對亮度塊和/或第一彩度塊執行邊界濾波。
23.根據解決方案22所述的方法,其中,僅當上方或左側相鄰樣本點可用或上方和左側樣本點都可用時才應用邊界濾波。
24.根據解決方案12所述的方法,其中,與第一彩度塊相鄰的重構彩度樣本點包括上方、左側或上方和左側彩度樣本點。
25.根據解決方案24所述的方法,其中上方彩度樣本點表示為a[-1][j],並且其中中間預測塊的第i列和第j行中的樣本點為a[i][j],則第一彩度塊的第(i,j)個位置處的樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[-1][j]+2N-1)>>N,其中w1+w2=2N,其
中N為整數。
26.根據解決方案22所述的方法,其中邊界濾波僅適用於列i<=K,其中K是等於零或1的整數。
27.根據解決方案25至26中任一項所述的方法,其中K=0,w1=3,w2=1。
28.根據解決方案25所述的方法,其中w1和w2是列索引i的函數。
29.根據解決方案28所述的方法,其中i=0時K=1,w1=w2=1,i=1時K=1,w1=3,w2=1。
30.根據解決方案24所述的方法,其中左側彩度樣本點表示為a[i][-1],並且其中中間預測塊的第i列和第j行中的樣本點為a[i][j],則將第一彩度塊中第(i,j)個位置處的樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[i][[-1]+2N-1)>>N,其中w1+w2=2N,其中N是整數。
31.根據解決方案22所述的方法,其中邊界濾波僅適用於行j<=K,其中K是等於零或1的整數。
32.根據解決方案25至26中任一項所述的方法,其中K=0,w1=3,w2=1。
33.根據解決方案25所述的方法,其中w1和w2是行索引j的函數。
34.根據解決方案28所述的方法,其中當j=0時K=1,w1=w2=1,當j=1時K=1,w1=3,w2=1。
35.根據解決方案24所述的方法,其中左側彩度樣本點表示為a[i][-1],上方樣本點表示為a[-1][j],並且其中中間預測塊的第i列第j行的樣本點為a[i][j],則將第一彩度塊的第(i,j)個位置處的樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[i][-1]+w3*a[-1][j]+2N-1)>>N,其中w1+w2+w3=2N,其中N是整數。
36.根據解決方案22所述的方法,其中邊界濾波僅適用於行i<=K、行j<=P,其中K和P是等於零或1的整數。
37.根據解決方案25至27中任一項所述的方法,其中K=0,w1=3,w2=1。
38.根據解決方案25所述的方法,其中w1和w2是行索引j的函數。
39.根據解決方案28所述的方法,其中對w1=2且w2=w3=1的a[0][0]應用邊界濾波。
40.一種視頻處理方法(例如,圖22所示的方法2200),包括:基於使用可用相鄰樣本點的數量或第一分量塊的尺寸的規則,在轉換期間為視頻和視頻的編解碼表示之間的轉換確定(2202)用於從第二分量塊預測第一分量塊的一個或多個交叉分量線性模型(CCLM);以及使用交叉分量線性模型執行(2204)轉換,其中交叉分量線性模型是以下中的一個:從第一分量塊的上方和/或右上相鄰值導出的CCLM(CCLM-A);從第一分量塊的左側和/或左下相鄰值導出的CCLM(CCLM-T);或僅從第一個分量塊的
左側和上方相鄰值導出的CCLM(CCLM-TL)。
41.根據解決方案40所述的方法,其中第一分量塊對應於彩度塊。
42.根據解決方案40至41中任一項所述的方法,其中第二分量塊對應於亮度塊。
43.根據解決方案40至42中任一項所述的方法,其中,如果規則禁止CCLM的使用,則編解碼表示省略使用語法元素信令通知CCLM。
44.根據解決方案40至42中任一項所述的方法,其中,如果規則禁止CCLM的使用,則編解碼表示通過編解碼表示中的語法元素來信令通知CCLM被禁用。
45.根據解決方案40至42中任一項所述的方法,其中,如果規則禁止CCLM的使用,則編解碼表示信令包括CCLM的語法元素,其中預計解碼器忽略該語法元素。
46.根據解決方案40至45中任一項所述的方法,其中可用相鄰樣本點包括彩度相鄰樣本點。
47.根據解決方案40至46中任一項所述的方法,其中可用相鄰樣本點包括亮度相鄰樣本點。
48.根據解決方案40至46中任一項所述的方法,其中可用相鄰樣本點包括下採樣亮度相鄰樣本點。
49.根據解決方案40至48中任一項所述的方法,其中編解碼表示信令通知特定CCLM,其中特定CCLM使用斜率α為零
且截距β為固定數的線性模型。
50.根據解決方案49所述的方法,其中固定數是位元深度的函數。
51.根據解決方案40至50中任一項所述的方法,其中規則禁止由於可用相鄰樣本點的數量小於閾值的CCLM或CCLM-A或CCLM-T的使用。
52.根據解決方案40至50中任一項所述的方法,其中規則禁止由於彩度塊的寬度為二或左側相鄰樣本點不可用的CCLM的使用。
53.根據解決方案40至50中任一項所述的方法,其中規則禁止由於彩度塊的寬度為二或上方相鄰樣本點不可用的CCLM的使用。
54.根據解決方案40至50中任一項所述的方法,其中規則禁止由於彩度塊的寬度為二的CCLM-T的使用。
55.根據解決方案40至50中任一項所述的方法,其中規則禁止由於彩度塊的寬度為二且右上方相鄰塊不可用的CCLM-T的使用。
56.根據解決方案40至50中任一項所述的方法,其中規則禁止由於彩度塊的高度為二的CCLM-L的使用。
57.根據解決方案40至50中任一項所述的方法,其中規則禁止由於彩度塊的高度為二且右上方相鄰塊不可用的CCLM-L的使用。
58.根據解決方案40至57中任一項所述的方法,其中規則規定由於CCLM不可用而禁用CCLM-L。
59.根據解決方案40至57中任一項所述的方法,其中規則規定由於CCLM不可用而禁用CCLM-T。
60.根據解決方案40至59中任一項所述的方法,其中可用相鄰樣本點是相對於為彩度塊選擇的一個或多個參考列的左側或上方的樣本點。
61.根據解決方案40至59中任一項所述的方法,其中可用相鄰樣本點是相對於為彩度塊選擇的一個或多個參考列以及CCLM的參數推導規則的左側或上方的樣本點。
62.根據解決方案40至61中任一項所述的方法,其中轉換還包括:基於可用相鄰樣本點的數量,在第一分量塊的轉換期間解碼以選擇性地禁用或限制局部照明補償。
63.根據解決方案40至61中任一項所述的方法,其中選擇性地限制局部照明補償包括:強制CCLM使用特定線性參數值。
64.根據解決方案1至63中任一項所述的方法,其中轉換包括:從編解碼表示生成視頻。
65.根據解決方案1至63中任一項所述的方法,其中轉換包括:從視頻生成編解碼表示。
66.一種視頻處理裝置,包括處理器,其被配置為實現解決方案1至65中任一項或多項中所述的方法。
67.一種其上儲存代碼的電腦可讀程式介質,當該代碼由處理器執行時,使處理器實現解決方案1至65中任一項或多項中所述的方法。
除上述解決方案外,在一些實施例中,可以實現以下解決方案。
1.一種視頻處理方法(例如,圖19所示的方法1900),包括:使用第一下採樣方案生成(1902)與視頻的彩度塊外的彩度樣本點相對應的下採樣外亮度樣本點;使用第二下採樣方案生成(1904)與彩度塊內的彩度樣本點相對應的下採樣內亮度樣本點;至少使用(1906)下採樣外亮度樣本點來導出交叉分量預測的線性模型;使用線性模型和下採樣內亮度樣本點確定(1908)彩度塊的預測樣本點;以及使用彩度塊的預測樣本點執行(1910)視頻和視頻的編解碼表示之間的轉換。
2.根據解決方案1所述的方法,其中第一下採樣方案對應於將外上方亮度樣本點下採樣到左下和/或右下位置。
3.根據解決方案1或2所述的方法,其中第一下採樣方案對應於將外部亮度樣本點下採樣到左下位置。
4.根據解決方案3所述的方法,其中第一下採樣方案從上相鄰亮度樣本點a[i]計算下採樣亮度樣本點d[i]:在所有樣本點都可用的情況下,d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+2)>>2,或者在a[2i-1]不可用的情況下,d[i]=(3*a[2i]+a[2i+1]+2)>>2,
或者在a[2i+1]不可用的情況下,d[i]=(3*a[2i]+a[2i-1]+2)>>2。
5.根據解決方案3所述的方法,其中第一下採樣方案從上相鄰亮度樣本點a[i]計算下採樣亮度樣本點d[i]:當i>0時,d[i]=(a[2i-1]+2*a[2i]+a[2i+1]+offset0)>>2,當i=0時,d[i]=(3*a[2i]+a[2i+1]+offset1)>>2,或d[i]=a[2i],或d[i]=(a[2i]+a[2i+1]+offset2)>>1中的一個,其中offset0、offset1和offset2是分數。
6.根據解決方案5所述的方法,其中offset0=offset1=2,offset2=1。
7.根據解決方案1所述的方法,其中第一下採樣方案對應於將外左側亮度樣本點下採樣到右下和/或右上位置。
8.根據解決方案1所述的方法,其中第一下採樣方案對應於將外左側亮度樣本點下採樣到右下和右上位置之間的中間。
9.根據解決方案8所述的方法,其中下採樣亮度樣本點d[i]計算為:d[j]=(a[2j]+a[2j+1]+1)>>2。
10.根據解決方案1所述的方法,其中彩度塊具有W個像素的寬度和H個像素的高度,並且其中第一下採樣方案生成N*W個亮度樣本點,其中N是整數。
11.根據解決方案10所述的方法,其中N=2,並且其中第一下採樣方案從上相鄰亮度樣本點生成亮度樣本點。
12.根據解決方案1所述的方法,其中彩度塊具有W個像素的寬度和H個像素的高度,並且其中第一下採樣方案從上相鄰亮度樣本點生成W+K個亮度下採樣樣本點,其中K是正整數。
13.根據解決方案1所述的方法,其中彩度塊具有W個像素的寬度和H個像素的高度,並且其中第一下採樣方案從上方相鄰樣本點生成W/N個亮度下採樣樣本點,其中N是正整數。
14.根據解決方案1所述的方法,其中彩度塊具有W個像素的寬度和H個像素的高度,並且其中第一下採樣方案從左側相鄰亮度樣本點生成W*N個亮度下採樣樣本點,其中N是正整數。
15.根據解決方案1所述的方法,其中彩度塊具有W個像素的寬度和H個像素的高度,並且其中第一下採樣方案從左側相鄰亮度樣本點生成W+K個亮度下採樣樣本點,其中K是正整數。
16.根據解決方案1所述的方法,其中彩度塊具有W個像素的寬度和H個像素的高度,並且其中第一下採樣方案從左側相鄰亮度樣本點生成W/N個亮度下採樣樣本點,其中N是正整數。
17.根據解決方案1所述的方法,其中,基於滿足位置標準的視頻的彩度塊的位置來確定第一下採樣方案或第二下採樣方
案。
18.根據解決方案1至16中任一項所述的方法,其中位置標準規定僅對視頻的編解碼樹單元的頂部邊界的視頻塊使用該方法。
19.根據解決方案1至16中任一項所述的方法,其中位置標準規定僅對視頻的編解碼樹單元的左側邊界處的視頻塊使用該方法。
20.根據解決方案1至16中任一項所述的方法,其中位置標準規定僅對視頻的編解碼樹單元的上邊界處的視頻塊或視頻的編解碼樹單元的左側邊界處的視頻塊使用該方法。
21.根據解決方案1至20中任一項所述的方法,其中第一下採樣方案僅使用一個上相鄰亮度樣本點列來導出下採樣外亮度樣本點。
22.根據解決方案21所述的方法,其中一個上相鄰亮度樣本點列包括上方相鄰樣本點和右上方相鄰樣本點。
23.一種視頻處理方法(例如,圖20所示的方法2000),包括:為視頻的彩度塊和視頻的編解碼表示之間的轉換確定(2002)線性模型;基於線性模型從與彩度塊相對應的亮度塊生成(2004)彩度塊的預測值;以及使用線性模型執行(2006)轉換;其中,從亮度塊預測彩度塊包括:通過第一濾波方法下採樣亮度塊上方的亮度樣本點,以及通過第二濾波方法下採樣亮度塊左側的亮度樣本點,並且其中至少基於下採樣亮度樣本點確定線性模型。
24.根據解決方案23所述的方法,其中第一濾波方法在視頻的轉換期間僅使用單個上相鄰亮度列的亮度樣本點。
25.根據解決方案23所述的方法,其中第一濾波方法和第二濾波方法不同。
26.根據解決方案23至25中任一項所述的方法,其中第一種濾波方法使用水平3抽頭濾波器。
27.根據解決方案23至26中任一項所述的方法,其中第二濾波方法使用二維6抽頭濾波器。
28.根據解決方案1至27中任一項所述的方法,其中轉換包括:從編解碼表示生成視頻。
29.根據解決方案1至27中任一項所述的方法,其中轉換包括:從視頻生成編解碼表示。
30.一種視頻處理裝置,包括處理器,其被配置為實現解決方案1至29中任一項或多項中所述的方法。
31.一種其上儲存了代碼的電腦可讀程式介質,當該代碼由處理器執行時,使處理器實現解決方案1至29中任一項或多項中所述的方法。
本文描述的各種視頻處理解決方案可以在視頻編碼或壓縮、視頻解碼或解壓縮、視頻轉碼或將視頻表示從一種編解碼格式轉換為另一種編解碼格式期間實現。
此外,儘管詳述了屬於視頻的第一彩度分量的第一彩度塊,類似的技術也可用於屬於視頻的第二彩度分量的第二彩度塊
(例如,Cr和Cb或U或V或另一類型的彩度表示)。
除了上述解決方案之外,在一些實施例中,可以實現以下解決方案。
1.一種視頻處理方法(例如,圖23所示的方法2300),包括:基於視頻的彩度塊的高度(H)和寬度(W),為視頻和視頻的位元流之間的轉換確定(2302)線性模型的參數,其中線性模型的參數基於與彩度塊外的彩度樣本點相對應的下採樣亮度樣本點,並且其中H和W是正整數;基於線性模型的參數和與彩度塊相對應的亮度塊內的一組下採樣亮度樣本點生成(2304)彩度塊的一組樣本點;以及基於生成執行(2306)視頻和位元流表示之間的轉換。
2.根據解決方案1所述的方法,還包括:應用第一下採樣方案以生成亮度塊外的下採樣亮度樣本點。
3.根據解決方案2所述的方法,還包括:應用不同於第一下採樣方案的第二下採樣方案,以生成亮度塊內的下採樣亮度樣本點。
4.根據解決方案1至3中任一項所述的方法,其中W>T1或H>T2,其中T1和T2是整數。
5.根據解決方案4所述的方法,其中T1=T2=4。
6.根據解決方案4所述的方法,其中T1=T2=2。
7.根據解決方案1至3中任一項所述的方法,其中H+W>T1,並且其中T1是整數。
8.根據解決方案7所述的方法,其中T1=6。
9.根據解決方案1至3中任一項所述的方法,其中W×H>T1,其中T1是整數。
10.根據解決方案9所述的方法,其中T1=16。
11.根據解決方案4至10中任一項所述的方法,其中在序列參數集(SPS)、序列標頭、圖片參數集(PPS)、圖片標頭、視頻參數集(VPS)、條帶標頭、編解碼樹單元(CTU)、編解碼單元(CU)或CTU組中預先定義或信令通知T1。
12.根據解決方案1至11中任一項所述的方法,其中線性模型包括多模型線性模式(MMLM)或單模型線性模式(LM)。
13.根據解決方案12所述的方法,其中亮度塊外的下採樣亮度樣本點僅由左側相鄰樣本點或僅由上方相鄰樣本點組成。
14.根據解決方案13所述的方法,其中在確定H>T1時應用僅使用左側相鄰樣本點(左LM)的線性模型,其中T1是整數。
15.根據解決方案13所述的方法,其中在確定W>T1時應用僅使用上方相鄰樣本點(上LM)的線性模型,其中T1是整數。
16.根據解決方案14或15所述的方法,其中T1=4。
17.一種視頻處理方法(例如,圖24所示的方法2400),包括:基於視頻的彩度塊的高度(H)和寬度(W),為視頻和視頻的位元流表示之間的轉換確定(2402)線性模型的參數,其中
線性模型的參數基於通過對與彩度塊外的彩度樣本點相對應的第二組亮度樣本點進行下採樣生成的第一組亮度樣本點,並且其中第一組亮度樣本點的數量基於高度或寬度,並且其中H和W是正整數;基於線性模型的參數和與彩度塊相對應的亮度塊內的一組下採樣亮度樣本點生成(2404)彩度塊的一組樣本點;以及基於生成執行(2406)視頻和位元流表示之間的轉換。
18.根據解決方案17所述的方法,其中在確定W等於H時,第一組亮度樣本點包括亮度塊上方的m×W個樣本點和亮度塊左側的m×H個亮度樣本點,並且其中m是正整數。
23.根據解決方案17所述的方法,其中在確定上方相鄰
塊和右上方相鄰塊均可用時,第一組亮度樣本點包括亮度塊上方的2×W個亮度樣本點,否則第一組亮度樣本點包括亮度塊上方的W個亮度樣本點。
24.根據解決方案17所述的方法,其中在確定左側相鄰塊和左下相鄰塊均可用時,第一組亮度樣本點包括亮度塊上方的2×H個亮度樣本點,否則第一組亮度樣本點包括亮度塊上方的H個亮度樣本點。
25.根據解決方案17所述的方法,其中第一組亮度樣本點由當前視頻塊上方的樣本點組成,並且其中線性模型的參數還基於通過對亮度塊左側的第四組亮度樣本點進行下採樣生成的第三組亮度樣本點。
26.根據解決方案25所述的方法,其中在確定第三組亮度樣本點的數量大於第一組亮度樣本點的數量時抽取第三組亮度樣本點。
27.根據解決方案25所述的方法,其中在確定第一組亮度樣本點的數量大於第三組亮度樣本點的數量時抽取第一組亮度樣本點。
28.根據解決方案17所述的方法,其中第一組亮度樣本點的數量小於預定值或在值的範圍內。
29.根據解決方案28所述的方法,其中預定值為max(W,H)。
30.根據解決方案28所述的方法,其中值的範圍是從min
(W,H)到s×max(W,H),其中s是正整數。
31.根據解決方案30所述的方法,其中s=1或s=2。
32.根據解決方案17所述的方法,其中線性模型的參數還基於對應於彩度塊的亮度塊的訓練樣本點。
33.根據解決方案32所述的方法,其中訓練樣本點包括最上方的預定數量的左側相鄰樣本點和最左側的預定數量的上方相鄰樣本點。
34.根據解決方案33所述的方法,其中預定數量為min(W,H)。
35.根據解決方案32所述的方法,其中亮度塊外的第二組亮度樣本點包括W個上方相鄰樣本點和H個左側相鄰樣本點,並且其中在確定H=n×W時重複上方相鄰樣本點n次。
36.根據解決方案32所述的方法,其中亮度塊外的第二組亮度樣本點包括W個上方相鄰樣本點和H個左側相鄰樣本點,並且其中在確定W=n×H時重複左側相鄰樣本n次。
37.根據解決方案1至36中任一項所述的方法,其中執行轉換包括:從當前視頻塊生成位元流表示。
38.根據解決方案1至36中任一項所述的方法,其中執行轉換包括:從位元流表示生成當前視頻塊。
5.所公開技術的實施例
圖15是視頻處理組織1500的方塊圖。組織1500可用於實現本文描述的一個或多個方法。裝置1500可以實施在智能手機、
平板電腦、電腦、物聯網(IoT)接收器等中。裝置1500可以包括一個或多個處理器1502、一個或多個儲存器1504和視頻處理硬體1506。處理器1502可以被配置為實現本文中描述的一個或多個方法(包括但不限於,方法1400)。儲存器1504可以用於儲存用於實現本文所述方法和技術的數據和代碼。視頻處理硬體1506可用於在硬體電路中實現本文所述的一些技術。
在一些實施例中,可以使用如關於圖15所述的在硬體平臺上實現的裝置來實現視頻編解碼方法。
圖25是示出其中可以實施本文公開的各種技術的示例視頻處理系統2500的方塊圖。各種實現可能包括系統2500的部分或全部組件。系統2500可包括用於接收視頻內容的輸入2502。視頻內容可以原始或未壓縮格式接收,例如8位或10位多分量像素值,或者可以壓縮或編碼格式接收。輸入2502可以表示網路介面、外圍匯流排介面或儲存介面。網路介面的示例包括諸如乙太網、無源光網路(PON)等的有線介面,以及諸如Wi-Fi或蜂窩介面的無線介面。
系統2500可包括可實現本文中所描述的各種編解碼或編碼方法的編解碼組件2504。編解碼組件2504可以降低從輸入2502到編解碼組件2504的輸出的視頻的平均位元率,以產生視頻的編解碼表示。因此,編解碼技術有時被稱為視頻壓縮或視頻轉碼技術。編解碼組件2504的輸出可以被儲存,也可以通過連接的通信進行傳輸,如組件2506所示。輸入2502處接收的視頻的儲存或
通信位元流(或編解碼)表示可由組件2508用於生成像素值或發送到顯示介面2510的可顯示視頻。從位元流表示生成用戶可觀看視頻的處理有時稱為視頻解壓縮。此外,儘管某些視頻處理操作被稱為“編解碼”操作或工具,但應當理解的是,編解碼工具或操作被用於編碼器處,並且逆向編解碼結果的相應的解碼工具或操作將由解碼器執行。
外圍匯流排介面或顯示介面的示例可以包括通用串列匯流排(USB)或高清晰度多媒體介面(HDMI)或顯示端口等。儲存介面的示例包括SATA(串列高級技術附件)、PCI、IDE介面等。本文中所述的技術可實施在各種電子設備中,例如移動電話、筆記本電腦、智能手機或其他能夠執行數位數據處理和/或視頻顯示的設備。
從上述來看,應當理解的是,為了便於說明,本發明公開的技術的具體實施例已經在本文中進行了描述,但是可以在不偏離本發明範圍的情況下進行各種修改。因此,除了所附申請專利範圍所限制的之外,本發明公開的技術不受限制。
本文中公開的和其他描述的實施例、模組和功能操作可以在數位電子電路、或電腦軟體、韌體或硬體中實現,包括本文中所公開的結構及其結構等效體,或其中一個或多個的組合。公開的實施例和其他實施例可以實現為一個或多個電腦程式產品,即一個或多個編碼在電腦可讀介質上的電腦程式指令的模組,以供數據處理裝置執行或控制數據處理裝置的操作。電腦可讀介質
可以是機器可讀儲存設備、機器可讀儲存基板、儲存設備、影響機器可讀傳播信號的物質組成或其中一個或多個的組合。術語“數據處理單元”或“數據處理裝置”包括用於處理數據的所有裝置、設備和機器,包括例如可編程處理器、電腦或多處理器或電腦組。除硬體外,該裝置還可以包括為電腦程式創建執行環境的代碼,例如,構成處理器韌體的代碼、協議棧、數據庫管理系統、操作系統或其中一個或多個的組合。
電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以用任何形式的編程語言(包括編譯語言或解釋語言)編寫,並且可以以任何形式部署,包括作為獨立程式或作為模組、組件、子程式或其他適合在計算環境中使用的單元。電腦程式不一定與文件系統中的文件對應。程式可以儲存在保存其他程式或數據的文件的部分中(例如,儲存在標記語言文件中的一個或多個腳本)、專用於該程式的單個文件中、或多個協調文件(例如,儲存一個或多個模組、子程式或部分代碼的文件)中。電腦程式可以部署在一台或多台電腦上來執行,這些電腦位於一個站點上或分佈在多個站點上,並通過通信網路互連。
本文中描述的處理和邏輯流可以通過一個或多個可編程處理器執行,該處理器執行一個或多個電腦程式,通過在輸入數據上操作並生成輸出來執行功能。處理和邏輯流也可以通過特殊用途的邏輯電路來執行,並且裝置也可以實現為特殊用途的邏輯電路,例如,FPGA(現場可編程門陣列)或ASIC(專用積體電
路)。
例如,適於執行電腦程式的處理器包括通用和專用微處理器,以及任何類型數位電腦的任何一個或多個。通常,處理器將從只讀儲存器或隨機存取儲存器或兩者接收指令和數據。電腦的基本元件是執行指令的處理器和儲存指令和數據的一個或多個儲存設備。通常,電腦還將包括一個或多個用於儲存數據的大容量儲存設備,例如,磁盤、磁光盤或光盤,或通過操作耦合到一個或多個大容量儲存設備來從其接收數據或將數據傳輸到一個或多個大容量儲存設備,或兩者兼有。然而,電腦不一定具有這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀介質包括所有形式的非揮發性儲存器、介質和儲存器設備,包括例如半導體儲存器設備,例如EPROM、EEPROM和快閃記憶體;磁盤,例如內硬盤或可移動磁盤;磁光磁盤;以及CDROM和DVD-ROM光盤。處理器和儲存器可以由專用邏輯電路來補充,或合併到專用邏輯電路中。
本說明書連同附圖僅被視為示例性的,其中示例性是指示例。如本文所用,“或”的使用意欲包括“和/或”,除非上下文另有明確指示。
雖然本專利文件包含許多細節,但不應將其解釋為對任何發明或申請專利範圍的限制,而應解釋為對特定發明的特定實施例的特徵的描述。本專利文件在單獨實施例的上下文描述的一些特徵也可以在單個實施例中組合實施。相反,在單個實施例的
上下文中描述的各種功能也可以在多個實施例中單獨實施,或在任何合適的子組合中實施。此外,儘管上述特徵可以描述為在一些組合中起作用,甚至最初要求是這樣,但在一些情況下,可以從組合中移除申請專利範圍組合中的一個或多個特徵,並且申請專利範圍的組合可以指向子組合或子組合的變體。
同樣,儘管附圖中以特定順序描述了操作,但這不應理解為要獲得想要的結果必須按照所示的特定順序或順序執行此類操作,或執行所有說明的操作。此外,本專利文件所述實施例中各種系統組件的分離不應理解為在所有實施例中都需要這樣的分離。
僅描述了一些實現和示例,其他實現、增強和變體可以基於本專利文件中描述和說明的內容做出。
2100:方法
2102、2104、2106:步驟
Claims (62)
- 一種視頻處理方法,包括:對於視頻和所述視頻的編解碼表示之間的轉換,至少使用亮度塊外的下採樣亮度樣本點,確定用於預測與所述亮度塊共位的所述視頻的第一彩度塊的線性模型;使用所述亮度塊內的下採樣亮度樣本點和所述線性模型,確定所述第一彩度塊的樣本點的預測值;以及基於所述第一彩度塊的所述樣本點的預測值執行所述轉換;其中,通過對所述亮度塊外的亮度樣本點應用外部濾波器來獲得所述亮度塊外的所述下採樣亮度樣本點;並且其中,通過對所述亮度塊內的亮度樣本點應用內部濾波器來獲得所述亮度塊內的所述下採樣亮度樣本點;其中所述亮度塊內的所述下採樣亮度樣本點和所述亮度塊外的所述下採樣亮度樣本點進一步用於所述第一彩度塊的第二預測。
- 如申請專利範圍第1項所述的方法,其中所述亮度塊內的所述下採樣亮度樣本點位於與所述第一彩度塊的彩度樣本點位置相對應的位置。
- 如申請專利範圍第1項所述的方法,其中所述內部濾波器對應於傳統濾波器。
- 如申請專利範圍第1項所述的方法,其中所述外部濾波器與所述內部濾波器不同。
- 如申請專利範圍第1項所述的方法,其中所述亮度塊外的所述亮度樣本點包括相鄰亮度樣本點或非相鄰亮度樣本點。
- 如申請專利範圍第5項所述的方法,其中所述亮度塊外的所述下採樣亮度樣本點也用於確定所述第一彩度塊的樣本點的預測值。
- 如申請專利範圍第1項所述的方法,其中所述外部濾波器的濾波器抽頭或濾波器係數取決於所述外部濾波器是應用於所述亮度塊的左側還是上方。
- 如申請專利範圍第1項的所述的方法,其中所述內部濾波器的長度或所述外部濾波器的長度取決於所述第一彩度塊或所述亮度塊的形狀或尺寸。
- 如申請專利範圍第1項所述的方法,其中在所述亮度塊外或所述亮度塊內的所述亮度樣本點的位置是所述第一彩度塊或所述亮度塊的尺寸或形狀的函數。
- 如申請專利範圍第1項所述方法,其中,所述確定所述第一彩度塊的樣本點包括:使用細化預測塊預測所述第一彩度塊的樣本點,所述細化預測塊是通過將所述線性模型應用於所述亮度塊內的所述下採樣亮度樣本點而生成的中間預測塊的細化。
- 如申請專利範圍第10項所述的方法,其中,所述中間預測塊的所述細化使用與所述第一彩度塊相鄰的重構彩度樣本點。
- 如申請專利範圍第10項所述的方法,其中,所述中間預測塊的所述細化使用與所述第一彩度塊不相鄰的重構彩度樣本點。
- 如申請專利範圍第10項所述的方法,其中,將所述細化預測塊確定為所述中間預測塊和相鄰或非相鄰重構彩度樣本點的線性函數。
- 如申請專利範圍第10項所述的方法,其中,所述細化包括:將所述中間預測塊的樣本點複製為所述第一彩度塊的特定位置中的所述細化預測塊。
- 如申請專利範圍第10項所述的方法,其中,從所述中間預測塊和從先前的重構彩度塊生成的另一個彩度預測塊生成所述細化預測塊。
- 如申請專利範圍第15項所述的方法,其中所述另一個彩度預測塊是幀內預測彩度塊。
- 如申請專利範圍第15項所述的方法,其中所述第一彩度塊的所述樣本點被確定為所述中間預測塊和所述另一個彩度預測塊的線性加權。
- 如申請專利範圍第17項所述的方法,其中,在所述第一彩度塊的一些像素位置處,給所述另一個彩度預測塊0%的權重,並且給所述中間預測塊100%的權重。
- 如申請專利範圍第16項所述的方法,其中所述幀內預測彩度塊使用所述亮度塊的幀內預測模式。
- 如申請專利範圍第18項所述的方法,其中所述一些像素位置包括所述第一彩度塊的上k列或所述第一彩度塊的左m行,其中k和m是整數。
- 如申請專利範圍第1至20項中任一項所述的方法,其中所述轉換還包括:對所述亮度塊和/或所述第一彩度塊執行邊界濾波。
- 如申請專利範圍第21項所述的方法,其中,僅在上方或左側相鄰樣本點可用或上方和左側樣本點都可用的情況下才應用所述邊界濾波。
- 如申請專利範圍第11項所述的方法,其中,與所述第一彩度塊相鄰的所述重構彩度樣本點包括上方彩度樣本點、左側或上方彩度樣本點和左側彩度樣本點。
- 如申請專利範圍第23項所述的方法,其中所述上方彩度樣本點表示為a[-1][j],並且其中所述中間預測塊的第i列和第j行中的樣本點為a[i][j],則所述第一彩度塊的第(i,j)個位置處的樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[-1][j]+2N-1)>>N,其中w1+w2=2N,其中N為整數。
- 如申請專利範圍第21項所述的方法,其中所述邊界濾波僅適用於列i<=K,其中K是等於零或1的整數。
- 如申請專利範圍第24項所述的方法,其中K=0,w1=3並且w2=1。
- 如申請專利範圍第24項所述的方法,其中w1和w2是列索引i的函數。
- 如申請專利範圍第27項所述的方法,其中i=0時K=1,w1=w2=1,並且i=1時K=1,w1=3,w2=1。
- 如申請專利範圍第23項所述的方法,其中所述左側彩度樣本點表示為a[i][-1],並且其中所述中間預測塊的第i列和第j行中的樣本點為a[i][j],則將所述第一彩度塊中第(i,j)個位置處的樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[i][[-1]+2N-1)>>N,其中w1+w2=2N,其中N是整數。
- 如申請專利範圍第21項所述的方法,其中所述邊界濾波僅適用於行j<=K,其中K是等於零或1的整數。
- 如申請專利範圍第24項所述的方法,其中w1和w2是行索引j的函數。
- 如申請專利範圍第27項所述的方法,其中當j=0時K=1,w1=w2=1,並且當j=1時K=1,w1=3,w2=1。
- 如申請專利範圍第23項所述的方法,其中所述左側彩度樣本點表示為a[i][-1],上方樣本點表示為a[-1][j],並且其中所述中間預測塊的第i列第j行的樣本點為a[i][j],則將所述第一彩度 塊的第(i,j)個位置處的樣本點計算為a'[i][j]=(w1*a[i][j]+w2*a[i][-1]+w3*a[-1][j]+2N-1)>>N,其中w1+w2+w3=2N,其中N是整數。
- 如申請專利範圍第21項所述的方法,其中所述邊界濾波僅適用於行i<=K、行j<=P,其中K和P是等於零或1的整數。
- 如申請專利範圍第27項所述的方法,其中對w1=2且w2=w3=1的a[0][0]應用邊界濾波。
- 一種視頻處理方法,包括:對於視頻和所述視頻的編解碼表示之間的轉換,基於使用可用相鄰樣本點的數量的規則,在轉換期間確定用於從第二分量塊預測第一分量塊的一個或多個交叉分量線性模型(CCLM);以及使用所述交叉分量線性模型執行所述轉換,其中所述交叉分量線性模型是以下中的一個:從所述第一分量塊的上方和/或右上相鄰值導出的CCLM(CCLM-A);從所述第一分量塊的左側和/或左下相鄰值導出的CCLM(CCLM-T);或僅從第一個分量塊的左側和上方相鄰值導出的CCLM(CCLM-TL);以及其中所述可用相鄰樣本點包括彩度相鄰樣本點。
- 如申請專利範圍第36項所述的方法,其中所述第一分量塊對應於彩度塊。
- 如申請專利範圍第36項所述的方法,其中所述第二分量塊對應於亮度塊。
- 如申請專利範圍第36項所述的方法,其中,如果所述規則禁止CCLM的使用,則所述編解碼表示省略使用語法元素信令通知所述CCLM。
- 如申請專利範圍第36項所述的方法,其中,如果所述規則禁止CCLM的使用,則所述編解碼表示通過所述編解碼表示中的語法元素來信令通知所述CCLM被禁用。
- 如申請專利範圍第36項所述的方法,其中,如果所述規則禁止CCLM的使用,則所述編解碼表示信令包括所述CCLM的語法元素,其中預計解碼器忽略所述語法元素。
- 如申請專利範圍第36項所述的方法,其中所述可用相鄰樣本點包括亮度相鄰樣本點。
- 如申請專利範圍第36項所述的方法,其中所述可用相鄰樣本點包括下採樣亮度相鄰樣本點。
- 如申請專利範圍第36項所述的方法,其中所述編解碼表示信令通知特定CCLM,其中所述特定CCLM使用斜率α為零且截距β為固定數的線性模型。
- 如申請專利範圍第44項所述的方法,其中所述固定數是位元深度的函數。
- 如申請專利範圍第36項所述的方法,其中由於所述可用相鄰樣本點的數量小於閾值所述規則禁止CCLM或CCLM-A或CCLM-T的使用。
- 如申請專利範圍第36項所述的方法,其中由於所述第一分量塊的寬度為二或左側相鄰樣本點不可用所述規則禁止CCLM的使用。
- 如申請專利範圍第36項所述的方法,其中由於所述第一分量塊的寬度為二或上方相鄰樣本點不可用所述規則禁止CCLM的使用。
- 如申請專利範圍第36項所述的方法,其中由於所述第一分量塊的寬度為二所述規則禁止CCLM-T的使用。
- 如申請專利範圍第36項所述的方法,其中由於所述第一分量塊的寬度為二且右上相鄰塊不可用所述規則禁止CCLM-T的使用。
- 如申請專利範圍第36項所述的方法,其中由於所述第一分量塊的高度為二所述規則禁止CCLM-L的使用。
- 如申請專利範圍第36項所述的方法,其中由於所述第一分量塊的高度為二且右上相鄰塊不可用所述規則禁止CCLM-L的使用。
- 如申請專利範圍第36項所述的方法,其中所述規則規定由於CCLM不可用而禁用CCLM-L。
- 如申請專利範圍第36項所述的方法,其中所述規則規定由於CCLM不可用而禁用CCLM-T。
- 如申請專利範圍第36項所述的方法,其中所述可用相鄰樣本點是相對於為所述第一分量塊選擇的一個或多個參考列的左側或上方的樣本點。
- 如申請專利範圍第36項所述的方法,其中所述可用相鄰樣本點是相對於為所述第一分量塊選擇的一個或多個參考列以及所述CCLM的參數推導規則的左側或上方的樣本點。
- 如申請專利範圍第36項所述的方法,其中所述轉換還包括:基於所述可用相鄰樣本點的數量,在所述第一分量塊的所述轉換期間解碼以選擇性地禁用或限制局部照明補償。
- 如申請專利範圍第57項所述的方法,其中所述選擇性地限制所述局部照明補償包括:強制CCLM使用特定線性參數值。
- 如申請專利範圍第1至20、36-58項中任一項所述的方法,其中所述轉換包括:從所述編解碼表示生成所述視頻。
- 如申請專利範圍第1至20、36-58項中任一項所述的方法,其中所述轉換包括:從所述視頻生成所述編解碼表示。
- 一種視頻處理裝置,包括處理器,其被配置為實現申請專利範圍第1至60項中任一項所述的方法。
- 一種其上儲存代碼的電腦可讀程式介質,當所述代碼由處理器執行時,使所述處理器實現申請專利範圍第1至60項中任一項所述的方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
WOPCT/CN2018/105182 | 2018-09-12 | ||
CN2018105182 | 2018-09-12 | ||
WOPCT/CN2018/108681 | 2018-09-29 | ||
CN2018108681 | 2018-09-29 | ||
CN2019088005 | 2019-05-22 | ||
WOPCT/CN2019/088005 | 2019-05-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202025756A TW202025756A (zh) | 2020-07-01 |
TWI824006B true TWI824006B (zh) | 2023-12-01 |
Family
ID=68242778
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108133132A TWI824006B (zh) | 2018-09-12 | 2019-09-12 | 交叉分量線性建模中的下採樣 |
TW108133134A TWI827675B (zh) | 2018-09-12 | 2019-09-12 | 交叉分量線性模型中的尺寸相關的下採樣 |
TW108133133A TWI820212B (zh) | 2018-09-12 | 2019-09-12 | 單行交叉分量線性模型預測模式 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108133134A TWI827675B (zh) | 2018-09-12 | 2019-09-12 | 交叉分量線性模型中的尺寸相關的下採樣 |
TW108133133A TWI820212B (zh) | 2018-09-12 | 2019-09-12 | 單行交叉分量線性模型預測模式 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11172202B2 (zh) |
CN (4) | CN117478883A (zh) |
TW (3) | TWI824006B (zh) |
WO (3) | WO2020053804A1 (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11233992B2 (en) | 2018-04-01 | 2022-01-25 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image encoding/decoding method and device using intra prediction |
WO2020016748A1 (en) | 2018-07-15 | 2020-01-23 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component motion information derivation |
CA3213840A1 (en) * | 2018-07-16 | 2020-01-23 | Huawei Technologies Co., Ltd. | Video encoder, video decoder, and corresponding encoding and decoding methods |
TWI814890B (zh) | 2018-08-17 | 2023-09-11 | 大陸商北京字節跳動網絡技術有限公司 | 簡化的跨分量預測 |
WO2020053804A1 (en) * | 2018-09-12 | 2020-03-19 | Beijing Bytedance Network Technology Co., Ltd. | Downsampling in cross-component linear modeling |
JP7364669B2 (ja) * | 2018-10-05 | 2023-10-18 | 華為技術有限公司 | イントラ予測の方法及び装置 |
EP3843399B1 (en) | 2018-10-12 | 2023-09-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video image component prediction method and apparatus, and computer storage medium |
US11197005B2 (en) * | 2018-11-08 | 2021-12-07 | Qualcomm Incorporated | Cross-component prediction for video coding |
WO2020132556A2 (en) * | 2018-12-21 | 2020-06-25 | Vid Scale, Inc. | Methods, architectures, apparatuses and systems directed to improved linear model estimation for template based video coding |
WO2020125796A1 (en) | 2018-12-22 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Two step cross-component prediction mode based on multiple parameter |
EP3918800A4 (en) | 2019-03-08 | 2022-07-06 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING TRANSFORMATION INFORMATION IN VIDEO PROCESSING |
BR112021019564A2 (pt) | 2019-04-18 | 2021-12-07 | Beijing Bytedance Network Tech Co Ltd | Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador |
AU2020263199B2 (en) | 2019-04-23 | 2023-10-19 | Beijing Bytedance Network Technology Co., Ltd. | Methods for cross component dependency reduction |
CN117221558A (zh) | 2019-05-08 | 2023-12-12 | 北京字节跳动网络技术有限公司 | 跨分量编解码的适用性条件 |
CN113875244A (zh) * | 2019-05-22 | 2021-12-31 | 北京字节跳动网络技术有限公司 | 利用多行的线性模型模式参数推导 |
EP3973707A4 (en) | 2019-06-22 | 2022-08-31 | Beijing Bytedance Network Technology Co., Ltd. | CHROMA REST SCALE SYNTAX ELEMENT |
JP7460748B2 (ja) | 2019-07-07 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | クロマ残差スケーリングのシグナリング |
US11451834B2 (en) * | 2019-09-16 | 2022-09-20 | Tencent America LLC | Method and apparatus for cross-component filtering |
JP7485761B2 (ja) | 2019-10-29 | 2024-05-16 | 北京字節跳動網絡技術有限公司 | クロスコンポーネント適応ループフィルタの信号通知 |
KR20220087451A (ko) | 2019-11-01 | 2022-06-24 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 크로스 컴포넌트 비디오 코딩에서 선형 파라미터의 유도 |
US11425405B2 (en) * | 2019-11-15 | 2022-08-23 | Qualcomm Incorporated | Cross-component adaptive loop filter in video coding |
MX2022006734A (es) | 2019-12-11 | 2022-06-09 | Beijing Bytedance Network Tech Co Ltd | Relleno de muestra para filtrado de circuito adaptivo de componente cruzado. |
CN115176475A (zh) | 2019-12-31 | 2022-10-11 | 抖音视界有限公司 | 多参考线色度预测 |
US11575909B2 (en) * | 2020-04-07 | 2023-02-07 | Tencent America LLC | Method and apparatus for video coding |
CN117596409A (zh) | 2020-04-18 | 2024-02-23 | 抖音视界有限公司 | 用于处理视频数据的方法、装置以及计算机可读存储介质 |
WO2021247883A1 (en) | 2020-06-03 | 2021-12-09 | Beijing Dajia Internet Information Technology Co., Ltd. | Chroma coding enhancement in cross-component correlation |
CN111669585B (zh) * | 2020-06-12 | 2022-10-28 | 浙江大华技术股份有限公司 | 帧内预测方法、视频编码方法以及相关设备、装置 |
CN116325728A (zh) | 2020-06-30 | 2023-06-23 | 抖音视界有限公司 | 自适应环路滤波的边界位置 |
WO2022067805A1 (zh) * | 2020-09-30 | 2022-04-07 | Oppo广东移动通信有限公司 | 图像预测方法、编码器、解码器以及计算机存储介质 |
CN113365067B (zh) * | 2021-05-21 | 2023-03-14 | 中山大学 | 基于位置加权的色度线性预测方法、装置、设备及介质 |
CN113992913B (zh) * | 2021-12-29 | 2022-05-17 | 康达洲际医疗器械有限公司 | 一种可适用于vvc编码标准的帧内跨分量预测方法与系统 |
KR20230137250A (ko) * | 2022-03-21 | 2023-10-04 | 주식회사 케이티 | 영상 부호화/복호화 방법 및 장치 |
WO2024022325A1 (en) * | 2022-07-27 | 2024-02-01 | Mediatek Inc. | Method and apparatus of improving performance of convolutional cross-component model in video coding system |
US20240080443A1 (en) * | 2022-09-02 | 2024-03-07 | Tencent America LLC | Selecting downsampling filters for chroma from luma prediction |
WO2024072945A1 (en) * | 2022-09-29 | 2024-04-04 | Beijing Dajia Internet Information Technology Co., Ltd | Method and apparatus for cross-component prediction for video coding |
WO2024081291A1 (en) * | 2022-10-12 | 2024-04-18 | Beijing Dajia Internet Information Technology Co., Ltd | Method and apparatus for cross-component prediction for video coding |
WO2024078551A1 (en) * | 2022-10-13 | 2024-04-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
WO2024114701A1 (en) * | 2022-11-30 | 2024-06-06 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
WO2024124188A1 (en) * | 2022-12-09 | 2024-06-13 | Beijing Dajia Internet Information Technology Co., Ltd | Method and apparatus for cross-component prediction for video coding |
WO2024137862A1 (en) * | 2022-12-22 | 2024-06-27 | Bytedance Inc. | Method, apparatus, and medium for video processing |
WO2024148017A1 (en) * | 2023-01-02 | 2024-07-11 | Bytedance Inc. | Method, apparatus, and medium for video processing |
CN115834897B (zh) * | 2023-01-28 | 2023-07-25 | 深圳传音控股股份有限公司 | 处理方法、处理设备及存储介质 |
WO2024182727A1 (en) * | 2023-03-02 | 2024-09-06 | Bytedance Inc. | Method, apparatus, and medium for video processing |
WO2024182735A1 (en) * | 2023-03-02 | 2024-09-06 | Bytedance Inc. | Method, apparatus, and medium for video processing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2495942A (en) * | 2011-10-25 | 2013-05-01 | Canon Kk | Prediction of Image Components Using a Prediction Model |
US20180077426A1 (en) * | 2016-09-15 | 2018-03-15 | Qualcomm Incorporated | Linear model chroma intra prediction for video coding |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6259738B1 (en) | 1996-10-31 | 2001-07-10 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
US9288500B2 (en) * | 2011-05-12 | 2016-03-15 | Texas Instruments Incorporated | Luma-based chroma intra-prediction for video coding |
US9565428B2 (en) * | 2011-06-20 | 2017-02-07 | Mediatek Singapore Pte. Ltd. | Method and apparatus of chroma intra prediction with reduced line memory |
US9693070B2 (en) | 2011-06-24 | 2017-06-27 | Texas Instruments Incorporated | Luma-based chroma intra-prediction for video coding |
EP2732624A4 (en) | 2011-07-12 | 2015-07-15 | Intel Corp | LUMBASED CHROMAINTRAPREDICTION |
CN103096055B (zh) * | 2011-11-04 | 2016-03-30 | 华为技术有限公司 | 一种图像信号帧内预测及解码的方法和装置 |
US9344722B2 (en) | 2011-11-18 | 2016-05-17 | Futurewei Technologies, Inc. | Scanning of prediction residuals in high efficiency video coding |
CN109218730B (zh) | 2012-01-19 | 2023-07-28 | 华为技术有限公司 | 用于lm帧内预测的参考像素缩减 |
CN104718759B (zh) * | 2012-01-24 | 2019-01-18 | 华为技术有限公司 | Lm模式的简化 |
WO2013155662A1 (en) | 2012-04-16 | 2013-10-24 | Mediatek Singapore Pte. Ltd. | Methods and apparatuses of simplification for intra chroma lm mode |
CA2896637C (en) | 2013-03-26 | 2018-02-13 | Mediatek Inc. | Method of cross color intra prediction |
CN105874793B (zh) | 2013-10-07 | 2019-10-11 | Vid拓展公司 | 用于多层视频编码的组合可分级性处理的方法和设备 |
US10200700B2 (en) | 2014-06-20 | 2019-02-05 | Qualcomm Incorporated | Cross-component prediction in video coding |
CN107079157B (zh) | 2014-09-12 | 2020-12-22 | Vid拓展公司 | 用于视频编码的分量间去相关 |
KR20200051831A (ko) | 2014-10-28 | 2020-05-13 | 미디어텍 싱가폴 피티이. 엘티디. | 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법 |
US10321140B2 (en) | 2015-01-22 | 2019-06-11 | Mediatek Singapore Pte. Ltd. | Method of video coding for chroma components |
US9998742B2 (en) | 2015-01-27 | 2018-06-12 | Qualcomm Incorporated | Adaptive cross component residual prediction |
US10455249B2 (en) * | 2015-03-20 | 2019-10-22 | Qualcomm Incorporated | Downsampling process for linear model prediction mode |
WO2016154963A1 (en) * | 2015-04-01 | 2016-10-06 | Mediatek Inc. | Methods for chroma coding in video codec |
US10045023B2 (en) | 2015-10-09 | 2018-08-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Cross component prediction in video coding |
US10200719B2 (en) * | 2015-11-25 | 2019-02-05 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
WO2017139937A1 (en) | 2016-02-18 | 2017-08-24 | Mediatek Singapore Pte. Ltd. | Advanced linear model prediction for chroma coding |
US20190306516A1 (en) | 2016-05-24 | 2019-10-03 | Sharp Kabushiki Kaisha | Systems and methods for intra prediction coding |
EP3466075A1 (en) | 2016-05-26 | 2019-04-10 | VID SCALE, Inc. | Geometric conversion for 360-degree video coding |
US10484712B2 (en) * | 2016-06-08 | 2019-11-19 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
US10368107B2 (en) | 2016-08-15 | 2019-07-30 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
US10326986B2 (en) | 2016-08-15 | 2019-06-18 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
US10390015B2 (en) * | 2016-08-26 | 2019-08-20 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
US10419757B2 (en) * | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
CN109792516B (zh) * | 2016-10-04 | 2021-05-25 | 联发科技股份有限公司 | 图像和视频编解码中用于帧内色度编解码的方法及装置 |
US10477240B2 (en) * | 2016-12-19 | 2019-11-12 | Qualcomm Incorporated | Linear model prediction mode with sample accessing for video coding |
US11025903B2 (en) * | 2017-01-13 | 2021-06-01 | Qualcomm Incorporated | Coding video data using derived chroma mode |
US10694181B2 (en) * | 2017-01-27 | 2020-06-23 | Qualcomm Incorporated | Bilateral filters in video coding with reduced complexity |
JP7036628B2 (ja) | 2017-03-10 | 2022-03-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CA3059870A1 (en) * | 2017-04-11 | 2018-10-18 | Vid Scale, Inc. | 360-degree video coding using face continuities |
US10939137B2 (en) * | 2017-04-28 | 2021-03-02 | Sharp Kabushiki Kaisha | Image decoding device and image encoding device |
WO2018236028A1 (ko) * | 2017-06-21 | 2018-12-27 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
US11190799B2 (en) * | 2017-06-21 | 2021-11-30 | Lg Electronics Inc. | Intra-prediction mode-based image processing method and apparatus therefor |
WO2019010267A1 (en) | 2017-07-05 | 2019-01-10 | Arris Enterprises Llc | POST-FILTERING FOR WEIGHTED ANGULAR PREDICTION |
JP2021005741A (ja) * | 2017-09-14 | 2021-01-14 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
US10965941B2 (en) | 2017-10-09 | 2021-03-30 | Qualcomm Incorporated | Position-dependent prediction combinations in video coding |
GB2567249A (en) * | 2017-10-09 | 2019-04-10 | Canon Kk | New sample sets and new down-sampling schemes for linear component sample prediction |
GB2571313B (en) * | 2018-02-23 | 2022-09-21 | Canon Kk | New sample sets and new down-sampling schemes for linear component sample prediction |
US10609402B2 (en) | 2018-05-02 | 2020-03-31 | Tencent America LLC | Method and apparatus for prediction and transform for small blocks |
US20190342546A1 (en) | 2018-05-03 | 2019-11-07 | FG Innovation Company Limited | Device and method for coding video data based on different reference sets in linear model prediction |
CN116708833A (zh) | 2018-07-02 | 2023-09-05 | Lg电子株式会社 | 编解码和发送方法及存储介质 |
TWI814890B (zh) * | 2018-08-17 | 2023-09-11 | 大陸商北京字節跳動網絡技術有限公司 | 簡化的跨分量預測 |
WO2020053804A1 (en) * | 2018-09-12 | 2020-03-19 | Beijing Bytedance Network Technology Co., Ltd. | Downsampling in cross-component linear modeling |
EP3861736A4 (en) * | 2018-11-06 | 2022-03-30 | Beijing Bytedance Network Technology Co., Ltd. | POSITION DEPENDENT INTRAPREDICTION |
KR102676917B1 (ko) * | 2018-12-07 | 2024-06-19 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 컨텍스트 기반 인트라 예측 |
US11095921B2 (en) | 2018-12-18 | 2021-08-17 | Tencent America LLC | Method and apparatus for video encoding or decoding |
SG11202108209YA (en) * | 2019-02-22 | 2021-08-30 | Beijing Bytedance Network Technology Co Ltd | Neighbouring sample selection for intra prediction |
JP7123268B2 (ja) | 2019-02-24 | 2022-08-22 | 北京字節跳動網絡技術有限公司 | イントラ予測のためのパラメータ導出 |
BR112021019564A2 (pt) * | 2019-04-18 | 2021-12-07 | Beijing Bytedance Network Tech Co Ltd | Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador |
CN117221558A (zh) * | 2019-05-08 | 2023-12-12 | 北京字节跳动网络技术有限公司 | 跨分量编解码的适用性条件 |
US11115658B2 (en) * | 2019-06-25 | 2021-09-07 | Qualcomm Incorporated | Matrix intra prediction and cross-component linear model prediction harmonization for video coding |
-
2019
- 2019-09-12 WO PCT/IB2019/057698 patent/WO2020053804A1/en active Application Filing
- 2019-09-12 TW TW108133132A patent/TWI824006B/zh active
- 2019-09-12 WO PCT/IB2019/057700 patent/WO2020053806A1/en active Application Filing
- 2019-09-12 CN CN202311412324.1A patent/CN117478883A/zh active Pending
- 2019-09-12 CN CN201910866520.3A patent/CN110896479B/zh active Active
- 2019-09-12 CN CN201910867329.0A patent/CN110896480B/zh active Active
- 2019-09-12 WO PCT/IB2019/057699 patent/WO2020053805A1/en active Application Filing
- 2019-09-12 TW TW108133134A patent/TWI827675B/zh active
- 2019-09-12 CN CN201910866496.3A patent/CN110896478B/zh active Active
- 2019-09-12 TW TW108133133A patent/TWI820212B/zh active
-
2020
- 2020-12-08 US US17/115,388 patent/US11172202B2/en active Active
-
2021
- 2021-10-27 US US17/512,488 patent/US11812026B2/en active Active
-
2023
- 2023-09-26 US US18/474,512 patent/US20240015298A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2495942A (en) * | 2011-10-25 | 2013-05-01 | Canon Kk | Prediction of Image Components Using a Prediction Model |
US20180077426A1 (en) * | 2016-09-15 | 2018-03-15 | Qualcomm Incorporated | Linear model chroma intra prediction for video coding |
Non-Patent Citations (1)
Title |
---|
網路文獻 Huanbang Chen et.al Description of SDR, HDR and 360° video coding technology proposal by Huawei, GoPro, HiSilicon, and Samsung Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US 10–20 Apr. 2018 https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0025-v4.zip * |
Also Published As
Publication number | Publication date |
---|---|
CN110896479B (zh) | 2023-10-03 |
CN117478883A (zh) | 2024-01-30 |
WO2020053804A1 (en) | 2020-03-19 |
US20210092396A1 (en) | 2021-03-25 |
CN110896478A (zh) | 2020-03-20 |
CN110896478B (zh) | 2023-02-17 |
US11812026B2 (en) | 2023-11-07 |
CN110896480B (zh) | 2024-09-10 |
US20240015298A1 (en) | 2024-01-11 |
TWI820212B (zh) | 2023-11-01 |
CN110896480A (zh) | 2020-03-20 |
TW202025729A (zh) | 2020-07-01 |
CN110896479A (zh) | 2020-03-20 |
TWI827675B (zh) | 2024-01-01 |
TW202025728A (zh) | 2020-07-01 |
WO2020053806A1 (en) | 2020-03-19 |
WO2020053805A1 (en) | 2020-03-19 |
TW202025756A (zh) | 2020-07-01 |
US20220053192A1 (en) | 2022-02-17 |
US11172202B2 (en) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI824006B (zh) | 交叉分量線性建模中的下採樣 | |
JP7123268B2 (ja) | イントラ予測のためのパラメータ導出 | |
TWI814890B (zh) | 簡化的跨分量預測 | |
AU2020226565C1 (en) | Neighbouring sample selection for intra prediction | |
JP7422757B2 (ja) | 位置ベースのイントラ予測 | |
CN113767631B (zh) | 用于帧内预测的参数推导中的条件 | |
CN113632474B (zh) | 用于帧间预测的参数推导 | |
WO2020233711A1 (en) | Linear model mode parameter derivation with multiple lines | |
RU2810900C2 (ru) | Выбор соседней выборки для внутреннего предсказания |