TWI752438B - 色度殘差縮放之延遲降低方法和裝置 - Google Patents

色度殘差縮放之延遲降低方法和裝置 Download PDF

Info

Publication number
TWI752438B
TWI752438B TW109108450A TW109108450A TWI752438B TW I752438 B TWI752438 B TW I752438B TW 109108450 A TW109108450 A TW 109108450A TW 109108450 A TW109108450 A TW 109108450A TW I752438 B TWI752438 B TW I752438B
Authority
TW
Taiwan
Prior art keywords
luma
samples
chroma
block
processing data
Prior art date
Application number
TW109108450A
Other languages
English (en)
Other versions
TW202042556A (zh
Inventor
林芷儀
莊子德
陳慶曄
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202042556A publication Critical patent/TW202042556A/zh
Application granted granted Critical
Publication of TWI752438B publication Critical patent/TWI752438B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了一種視訊解碼的方法和裝置。 根據一種方法，色度殘差縮放因子是基於並置亮度塊的相鄰預測或重建的亮度樣本導出的，其中並置亮度塊的相鄰預測或重建的亮度樣本對應於沿著並置亮度塊的頂部邊界的M個樣本和沿並置亮度塊的左邊界的N個樣本中的樣本。 根據導出的色度殘差縮放因子，將色度縮放應用於色度殘差塊的色度殘差樣本。 在另一種方法中，色度殘差縮放因子是基於並置亮度處理資料單元外部的一個或多個重建的亮度樣本得出的。 在另一種方法中，色度殘差縮放因子在位元流的APS（自適應參數集）中發信或從中解析出來。

Description

色度殘差縮放之延遲降低方法和裝置
本發明涉及用於彩色視訊資料的視訊編解碼，其中亮度映射被應用於亮度分量。特別地，本發明公開了用於導出和/或發信用於色度殘差縮放的一個或多個色度縮放因子(scaling factor)的技術。
多功能視訊編解碼(VVC)是由聯合視訊專家組開發的新興視訊編解碼標準，該聯合視訊專家組由ITU-T第16研究組視訊編解碼專家組和ISO/IEC JTC1 SC29/WG11(運動圖像專家組(Moving Picture Experts Group，簡寫為MPEG))組成。VVC基於HEVC(高效視訊編解碼)視訊標準，具有改進和新的編解碼工具。例如，重塑(reshap)過程是VTM-4.0(VVC測試模型4.0版)中採用的新編解碼工具。重塑過程也稱為LMCS(亮度映射和色度縮放(Luma Mapping and Chroma Scaling))。當應用重塑時，視訊樣本在環路濾波(loop filter)之前在重塑域中進行編解碼和重建。通過使用逆重塑，將重塑域重建的樣本轉換為原始域。經環路濾波的原始域重建樣本存儲在解碼圖片緩衝器中。對於幀間模式(Inter mode)，通過使用前向重塑(forward reshaping)將運動補償(MC)預測子轉換為重塑域。第1圖示出了在解碼器側的重塑過程的示例。
如第1圖所示，位元流由塊110中的CABAC(上下文自適應二進制算術編解碼)解碼器(即CABAC-1)、逆量化(即Q-1)和逆變換(T-1)得出 重建的亮度殘差Yres。重建的亮度殘差被提供給亮度重建塊120以生成重建的亮度信號。對於幀內模式，預測子來自幀內預測塊130。對於幀間模式，預測子來自運動補償塊140。由於將重塑應用於編碼器側的亮度信號，在將來自運動補償塊140的預測子提供給重建塊120之前，將前向重塑150用於該預測子。將逆重塑160應用於來自重建塊120的重建的亮度信號以恢復未塑(un-shaped)的重建的亮度信號。然後，在將信號存儲在解碼圖片緩衝器(DPB)180中之前，將環路濾波器170應用於未塑的重建亮度信號。
當應用重塑時，色度殘差縮放也被應用。色度殘差縮放可補償亮度信號與色度信號之間的相互作用，如第2圖所示。在第2圖中，上部對應於亮度解碼，下部對應於色度解碼。
分別根據以下方程在編碼器側和解碼器側在TU級別應用色度殘差縮放：編碼器側：C ResScale =C Res ＊C Scale =C Res /C ScaleInv (1)
解碼器側：C Res =C ResScale /C Scale =C ResScale ＊C ScaleInv (2)
在以上等式中，CRes是原始色度殘差信號，CResScale是縮放的色度殘差信號。CScale是使用FwdLUT(即，前向查找表(forward look-up table))針對幀間模式預測子計算的縮放因子，並且被轉換為其倒數CScaleInv以在解碼器側進行乘法而非除法，從而降低了實現複雜度。編碼器和解碼器端的縮放操作均通過定點整數算法(fixed-point integer arithmetic)通過以下公式實現：c’=sign(c)*((abs(c)*s+2CSCALE_FP_PREC-1)>>CSCALE_FP_PREC) (3)
在上式中，c是色度殘差，s是cScaleInv[pieceIdx]中的色度殘差縮放因子，pieceIdx由TU的相應平均亮度值決定，CSCALE_FP_PREC是用於指定精度的常數。為了得出縮放因子，使用了整個TU的預測子。C_ScaleInv的值是按照以下步驟計算的：
(l)如果是幀內模式，則計算幀內預測亮度值的平均值；如果是幀間模式，則計算前向重塑的幀間預測亮度值的平均值。換句話說，在重塑域中計算平均亮度值avgY' TU 。
(2)找到索引idx，其中avgY' TU 屬於逆映射PWL。
(3)C ScaleInv =cScaleInv[idx]
由第2圖中的塊210執行導出色度縮放因子C ScaleInv 的步驟，色度縮放因子C ScaleInv 輸入到色度殘差縮放塊250。導出的色度縮放因子C ScaleInv 用於轉換縮放的色度殘差，其通過CABAC(上下文自適應二進制算術編解碼)解碼(即CABAC-1)、逆量化(即Q-1)和逆變換(T-1)來重建。重建塊220通過將預測子添加到重建的色度殘差來重建色度信號。對於幀內模式，預測子來自幀內預測塊230。對於幀間模式，預測子來自運動補償塊240。然後，在將重建的色度信號存儲在色度解碼圖片緩衝器(decoded picture buffer，簡寫為DPB)280中之前，將環路濾波器270應用於該信號。
第3圖示出了亮度映射的示例。在第3A圖中，示出了1：1映射，其中輸出(即，重塑的亮度)與輸入相同。由於亮度樣本的直方圖通常不是平坦的，因此使用強度重塑可以幫助提高RDO(rate-distortion optimization，速率失真優化)方面的性能。針對圖像區域(例如圖片)計算亮度樣本的統計量。然後根據統計確定映射曲線。通常，使用分段線性(piece-wise linear，簡寫為PWL)映射曲線。第3B圖示出了具有3個片段的分段線性(PWL)映射的示例，其中兩個相鄰片段具有不同的斜率。虛線340對應於1：1映射。如果範圍從0到340的樣本具有較大的空間變異(spatial variance)並且出現的次數(number of occurrences)較小，則將輸入範圍0-340映射到較小的輸出範圍(即0-170)，如第3B圖的線段310所示。如果範圍從340到680的樣本具有較小的空間變異並且出現次數較大，則將輸入範圍340-680映射到較大的輸出範圍(即170-850)，如第3B圖的線段320 所示。如果範圍從680到1023的樣本具有較大的空間變異並且出現的次數較小，則將輸入範圍680-1023映射到較小的輸出範圍(即850-1023)，如第3B圖的線段330所示。第3B圖旨在示出簡單的PWL映射。實際上，PWL映射可以具有更多或更少的段。
幀內子塊劃分(Intra sub-block partition，簡寫為ISP)和子塊變換(sub-block transform，簡寫為SBT)
為了生成更好的幀內模式預測子，可以應用幀內子塊劃分(ISP)。當應用ISP時，亮度分量被分為多個子TB。子TB逐個重建。對於每個子TU，相鄰子TB的重建樣本可以用作幀內預測的相鄰重建樣本。對於色度分量TB，不會像亮度那樣將其分為多個子TB。
類似於ISP，子塊變換(SBT)可以應用於幀間模式。應用SBT時，僅部分CU資料被轉換。例如，可以通過水平分割或垂直分割將當前塊分成兩個分區。只能將一個分區用於轉換編解碼。另一個分區的殘差設置為零。例如，CU被分為兩個TU或四個TU。TU中只有一個具有非零係數。
LMCS參數的信令(signaling)
表1中顯示了VVC正在考慮的LMCS參數的語法表。
Figure 109108450-A0305-02-0006-1
Figure 109108450-A0305-02-0007-2
在以上語法表中，語法的語義定義如下：
lmcs_min_bin_idx指定亮度映射的PWL(逐段線性)模型的最小位元子(bin)索引
lmcs_delta_max_bin_idx指定介於15和lmcs中使用的最大位元子索引LmcsMaxBinIdx之間的增量值(delta value)。該值應在1到15(含)範圍內。
lmcs_delta_cw_prec_minus1加1是用於表示語法lmcs_delta_abs_cw[i]的位元數。
lmcs_delta_abs_cw[i]是第i個位元子的絕對增量碼字值(absolute delta codeword value)。
lmcs_delta_sign_cw_flag[i]是變量lmcsDeltaCW[i]的正負號(sign)。
變量lmcsDeltaCW[i]如下導出：lmcsDeltaCW[i]=(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i].
變量lmcsCW[i]指定映射的域中每個間隔的碼字的數量，其中i=0...15。其可如下導出：
- OrgCW=(1<<BitDepthY)/16
- 對於i=0...lmcs_min_bin_idx-1,lmcsCW[i]設置為等於0。
- 對於i=lmcs_min_bin_idx...LmcsMaxBinIdx，以下適用：
- lmcsCW[i]=OrgCW+lmcsDeltaCW[i]
- lmcsCW[i]的值應在(OrgCW>>3)至(OrgCW<<3-1)的範圍內(包括(OrgCW>>3)和(OrgCW<<3-1))。
- 對於i=LmcsMaxBinIdx+1...15,lmcsCW[i]設置為等於0。
為了表示重塑曲線的PWL模型，如下導出三個變量LmcsPivot[i](i=0...16),ScaleCoeff[i](i=0...15)，以及InvScaleCoeff[i](i=0...15)：
Figure 109108450-A0305-02-0008-3
在以上推導中，SCALE_FP_PREC是用於指定精度的常數值。
在LMCS過程中，由於依賴於相應的亮度資料，色度殘差縮放的延遲可能會對處理速度產生負面影響。因此，期望開發出減少色度殘差縮放的延遲的方法和裝置。
公開了視訊解碼的方法和裝置。根據本發明的一種方法，接收當前色度殘差塊。基於並置亮度塊的相鄰預測或重建的亮度樣本，得出一個或多個色度殘差縮放因子，其中，與當前色度殘差塊相關聯的並置亮度塊的鄰近預測或重建的亮度樣本對應於沿並置亮度塊的頂部邊界的M個樣本和沿並置亮度塊的左邊界的N個樣本中的樣本，其中M和N為正整數。根據導出的所述一個或多個色度殘差縮放因子，將色度縮放應用於當前色度殘差塊的色度殘差樣本。
在一個實施例中，並置亮度塊的相鄰預測或重建的亮度樣本對應於沿並置亮度塊的頂部邊界的M個樣本。在另一實施例中，並置亮度塊的相鄰預測或重建的亮度樣本對應於沿並置亮度塊的左邊界的N個樣本。在又一個實施例中，並置亮度塊的相鄰預測或重建的亮度樣本既對應於沿並置亮度塊的頂部邊界的M個樣本，又對應於沿並置亮度塊的左邊界的N個樣本。
在一個實施例中，如果在並置亮度塊的左上位置處的邊界樣本可用，則在並置亮度塊的左上位置處的邊界樣本用於導出所述一個或多個色度殘差縮放因子。如果在並置亮度塊的左上位置處的邊界樣本不可用，則沿並置亮度塊的左邊界的左邊界樣本或沿並置亮度塊的頂部邊界的頂部邊界樣本被用來推導表示一個或多個色度殘差縮放因子。
根據另一種方法，接收與圖片中的當前色度處理資料單元相關聯的色度殘差資料，其中將圖片劃分為多個不重疊的處理資料單元，並且每個處理資料單元包括亮度處理資料單元和一個或多個色度處理資料單元。基於與當前色度處理資料單元相關聯的並置亮度處理資料單元外部的一個或多個重建的亮度樣本，得出一個或多個色度殘差縮放因子。然後根據導出的所述一個或多個色度殘差縮放因子，將色度縮放應用於當前色度處理資料單元的色度殘差樣 本。根據該方法的變型，基於來自覆蓋並置亮度處理資料單元的左上位置的第一編解碼單元(CU)的一個或多個重建的亮度樣本，導出色度殘差縮放因子。
在一個實施例中，在覆蓋並置亮度處理資料單元的第一編解碼單元(CU)外部的所述一個或多個重建的亮度樣本對應於一個或多個先前編解碼的亮度處理資料單元的一個或多個重建的亮度樣本。在另一實施例中，所述一個或多個先前編解碼的亮度處理資料單元的所述一個或多個重建的亮度樣本對應於沿著覆蓋並置的亮度的第一編解碼單元(CU)的頂部邊界的一個或多個重建的亮度樣本、沿著覆蓋並置的亮度的第一編解碼單元(CU)的左邊界的一個或多個重建的亮度樣本，或兩者。
在一個實施例中，在並置亮度處理資料單元外部的重建的亮度樣本對應於一個或多個先前解碼的亮度處理資料單元的一個或多個重建的亮度樣本。例如，所述一個或多個先前解碼的亮度處理資料單元的重建的亮度樣本對應於沿著並置亮度處理資料單元的頂部邊界的一個或多個重建的亮度樣本、沿著並置亮度處理資料單元的左邊界的一個或多個重建的亮度樣本，或兩者。
在又一方法中，在編碼器側的視訊位元流的APS(Adaptation Parameter Set，適應參數集)級別中信令一個或多個色度殘差縮放因子，或者在解碼器側從視訊位元流的APS級別解析一個或多個色度殘差縮放因子。
110、210:塊
120、220:重建塊
130、230:幀內預測塊
140、240:運動補償塊
150:前向重塑
160:逆重塑
170、270:環路濾波器
180、280:解碼圖片緩衝器
250:色度殘差縮放塊
310~330:線段
340:虛線
610~630、710~730、810~830:步驟
第1圖示出了結合了亮度重塑過程的視訊解碼器的示例性框圖。
第2圖示出了結合了亮度重塑過程和色度縮放的視訊解碼器的示例性框圖。
第3A圖示出了1：1亮度映射的示例，其中輸出(即重塑的亮度)與輸入相同。
第3B圖示出了具有3個分段的分段線性(PWL)亮度映射的示例。
第4圖示出了根據本發明實施例的基於沿著VPDU頂部邊界、左邊界或兩者的參考重建的亮度樣本來導出色度縮放因子的示例。
第5圖示出了根據本發明的實施例的基於參考重建的亮度樣本TL、A或L位置導出色度縮放因子的示例。
第6圖示出了根據本發明實施例的用於基於並置亮度塊的相鄰預測或重建的亮度樣本來推導一個或多個色度殘差縮放因子的示例性解碼系統的流程圖。
第7圖示出了根據本發明的一個實施例的另一示例性解碼系統的流程圖，其用於基於並置亮度處理資料單元外部的一個或多個重建的亮度樣本來導出一個或多f個色度殘差縮放因子。
第8圖示出了示例性的編解碼系統的流程圖，其中，根據本發明的實施例，在編碼器側的視訊位元流的APS(自適應參數集)級別中信令一個或多個色度殘差縮放因子，或者從解碼器側的視訊位元流的APS級別解析一個或多個色度殘差縮放因子。
以下描述是實施本發明的最佳構想模式。進行該描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍最好通過參考所附的申請專利範圍來確定。
在色度殘差縮放中，對於色度TU，所有相應的亮度預測子用於導出一個單個縮放因子。在導出縮放因子之前，無法處理色度樣本重建。它為跨組件過程引入了新的資料依賴性，從而導致色度樣本重建的延遲更長。在VVC中，引入了一些解碼器輔助工具來完善亮度預測子，以提高編解碼效率。這些類型的編解碼工具還將增加重建循環的關鍵路徑。在幀間和幀內模式預測中，CU/PU/TU的預測樣本可以分為多個MxN塊，並且可以按順序或併行處理這些 塊。
在一個實施例中，為了減少色度樣本重建的延遲，對於CU/PU/TU，它僅使用其左上方的KxL亮度樣本(例如，亮度預測子或亮度重建樣本或亮度殘差)或左上角M個亮度樣本用於導出一個或多個色度殘差縮放因子。K和L可以等於1、2、4、8、16、32或64。一個或多個縮放因子用於整個色度TU。例如，使用左上方的16x15亮度樣本。在另一個示例中，使用了左上方的1x1亮度樣本。在另一個示例中，使用了左上方的256個亮度樣本。在另一個示例中，使用了左上方的1亮度樣本。在另一個示例中，如果亮度CU/TU的寬度和高度大於或等於16，則使用左上16x16亮度樣本；否則，最多使用256個左上角的亮度樣本。在一個示例中，當應用ISP時，僅使用第一個ISP子TB的左上KxL塊或左上M個樣本來得出色度殘差縮放因子。在另一個示例中，當應用SBT時，僅使用具有非零係數的TU的左上KxL塊或左上M個樣本來得出縮放因子。在另一個實施例中，僅一部分相應的亮度樣本被用於導出色度殘差縮放因子。例如，內部並置的亮度CT/TU/PU邊界樣本的一部分，例如內部並置的亮度CT/TU/PU邊界樣本的頂行(top-row)的一部分和左列的一部分，用於導出色度剩餘縮放因子。
在另一個實施例中，為了減少用於CU/PU/TU的色度樣本重建的延遲，僅使用沿當前TB的相鄰邊界樣本(即，對應的亮度樣本或稱為並置的亮度樣本)得出一個或多個色度殘差縮放因子。樣本可以是相鄰塊的預測樣本或重建樣本。在一實施例中，沿著頂部邊界的M個樣本被用於導出一個或多個色度殘差縮放因子。在一實施例中，沿著左邊界的N個樣本被用於導出一個或多個色度殘差縮放因子。在一實施例中，沿著頂部邊界的M個樣本和沿著左邊界的N個樣本被用於導出一個或多個色度殘差縮放因子。在此，M和N可以是1、2、4、8、16、32或64。在另一個實施例中，使用位於L形邊界左上角位置的樣本來導 出一個或多個色度殘差縮放因子。在另一個實施例中，如果左上相鄰樣本可用，則使用樣本。否則，使用頂部相鄰樣本之一或左側相鄰樣本之一。在一個示例中，如果以上樣本均不可用，則使用並置亮度塊中的左上樣本。一個或多個縮放因子用於整個色度TU。
在另一個實施例中，為了減少在應用色度殘差縮放時色度樣本重建的延遲，建議將色度TU劃分為子塊，例如KxL子塊或塊大小等於M的子塊。K和L可以是2、4、8、16或32；M可以是4、8、16、32、64、128、256、512或1024。對於每個KxL色度殘差子塊，都會得出一個或多個縮放因子。不同的KxL色度殘差子塊可以具有不同的縮放因子。例如，對於M×N塊，其中M大於K(即，寬度閾值)並且N小於L(即，高度閾值)，該M×N塊被劃分為M/K個大小為(K×N)的塊。
在另一實施例中，當色度殘差TU的大小/面積/寬度/高度小於第一閾值或大於第二閾值時，不應用色度殘差縮放。例如，當TU大小小於或等於8或16或64時，將禁用色度殘差縮放。在另一個示例中，當TU寬度或高度小於或等於2或4或8或16時，將禁用色度殘差縮放。在另一個示例中，當TU大小大於或等於16、64、256或1024時，禁用色度殘差縮放。在另一個示例中，在TU寬度或高度大於或等於8或16或32時，禁用色度殘差縮放。在另一個示例中，對於某些預測模式，色度殘差縮放禁用。例如，對於啟用了DMVR模式、BIO模式、LIC模式、擴散模式或啟用這些模式的組合的塊，禁用色度殘差縮放。
DMVR(解碼器側運動向量精化(refinement))是近年來開發的新的編解碼工具。DMVR在解碼器端導出MV精化資訊，以提高編解碼性能。BIO是近年來開發的另一種新的編解碼工具。BIO根據光流和穩定運動的假設得出樣本級運動精化，其中B切片(雙向預測切片)中的當前像素由參考圖片0中的一個像素和參考圖片1中的一個像素預測的。LIC(Local Illumination Compensation，局部照明補償)是一種使用當前塊和參考塊的相鄰樣本來執行幀間預測的方法。它基於使用縮放因子和偏移量的線性模型。
在一個實施例中，當應用ISP時，僅亮度子TB的一部分用於導出色度殘差縮放因子。例如，僅第一亮度TB用於導出色度殘差縮放因子。使用第一亮度TB生成縮放因子可以減少色度樣本重建的延遲。在另一示例中，僅最後的亮度TB被用於導出色度殘差縮放因子。
在另一個實施例中，當應用ISP時，每個亮度子TB可被視為一個單獨的TB。對於每個子TB，它可以計算自己的色度殘差縮放因子。以上提出的方法也可以被應用，例如，將每個亮度子TB劃分為幾個KxL子塊，並為每個子塊導出縮放因子。對於色度TB，即使在進行變換時不像亮度那樣將其劃分為多個子TB，但在進行色度殘差縮放時，也將色度TB劃分為多個子區域。每個子區域對應一個亮度TB；每個子區域對應一個或多個亮度子TB；或一個或多個色度子區域對應一個亮度子TB。對於每個色度子區域，如果將亮度子TB劃分為多個子塊以導出縮放因子，則可以將其進一步劃分為多個子塊。
在另一個實施例中，當應用SBT時，僅使用具有非零係數的亮度分區導出色度殘差縮放因子。所使用的亮度分區可以被劃分為子塊，以導出縮放因子。在另一實施例中，當應用SBT時，整個CU的亮度樣本可用於導出一個或多個縮放因子。
在另一個實施例中，CU(不是TU或TB)的亮度樣本用於導出色度殘差縮放因子。當應用ISP時，整個亮度CU樣本將用於得出色度殘差縮放因子。例如，可以將亮度CU樣本劃分為子塊，以針對不同的子塊導出不同的縮放因子。子塊可以跨越ISP子TB邊界。
在另一個實施例中，對於應用變換或不應用變換(例如變換跳過)，色度殘差縮放因子推導可以不同。對於色度殘差縮放因子推導，值/因子/ 常數或方程式可以不同。在另一個實施例中，對於不同的預測模式或不同的殘差能量水平，色度殘差縮放因子推導可以不同。
在編碼器側，縮放因子推導通常包括推導用於量化參數的λ。在一個實施例中，整個TU預測資料用於導出λ值。對於色度殘差縮放，TU仍分為子塊。每個子塊可以導出其自己的縮放因子。
在BIO和DMVR過程中，將遇到相同類型的過程問題。例如，對於BIO過程，執行TU/PU/CU級別的SAD(sum of absolute differences，絕對差之和)計算。如果計算出的成本足夠小，則可以禁用BIO過程。對於DMVR過程，如果整個CU/PU/TU用於推導一個MV差(MVD)，則這不是友好的設計。因此，提出了將BIO與DMVR對準，或者甚至將BIO和/或DMVR與色度殘差縮放過程對準，這將當前塊劃分為KxL個塊。例如，對於BIO和DMVR進程，當前塊分為KxL個塊。對於每個KxL塊，它都可以計算其BIO提前終止決策的成本，也可以使用DMVR過程得出自己的MVD。在另一個示例中，對於BIO或DMVR過程，當前塊被劃分為用於執行BIO和DMVR過程的KxL塊，其中KxL(以亮度樣本精度為單位)的大小與色度殘差縮放過程的基本單位相同。
在另一個實施例中，不同模式可以在不同位置使用參考亮度樣本。
在一個實施例中，對於可以參考相鄰的重建樣本以進行預測過程的塊，用於縮放值推導的參考亮度樣本來自用於生成當前CU或TU的預測子的相鄰的重建樣本或參考邊界樣本。例如，如果當前塊是幀內預測模式，則參考亮度樣本是當前CU的左上、上，或左參考邊界樣本。因此，對於幀內子分區預測(ISP)模式，色度殘差縮放值是使用當前CU/TU(不是子分區TU)的L形邊界重建樣本的左上角、上或左側邊界重建樣本導出的。在另一個示例中，如果當前塊是幀內預測模式，則參考亮度樣本是當前TU的左上參考邊界樣本。因此， 對於幀內子分區預測(ISP)模式，使用當前TU(子分區)的L形邊界重建樣本的左上、上或左邊界重建樣本來導出色度殘差縮放值。左上L形邊界重建樣本可以是一個樣本。
在另一個示例中，如果當前CU是幀間預測模式，但是通過組合幀間/幀內模式(CIIP)或需要相鄰重建樣本的其他預測方法來預測，則參考亮度樣本可以是參考邊界重建樣本或者是用於生成當前CU或TU的預測子的參考邊界樣本(例如，使用左上相鄰重建樣本)，如上所述。如本領域中已知的，CIIP是近年來開發的又一種編解碼工具。CIIP使用幀間和幀內預測信號的加權平均值來獲得CIIP預測。
在另一實施例中，如果當前塊是幀間預測模式，則參考亮度樣本可以是當前CU或TU的左上角亮度預測樣本。
在一個實施例中，如果是CIIP模式，則參考亮度樣本是幀間預測子的左上角亮度預測樣本。
在另一個實施例中，如果當前塊是除了CIIP模式之外的幀間預測模式，則參考亮度樣本可以是當前CU或TU的左上角亮度預測樣本。在該實施例中，以CIIP模式編解碼的塊被視為幀內預測模式，並且可以應用與幀內預測模式有關的任何上述方法。
在另一個實施例中，如果當前塊是IBC模式，則參考亮度樣本的判定與幀間預測模式相同。如本領域中已知的，IBC(幀內塊複製)是近年來開發的新的編解碼工具。IBC與幀間預測模式相似。但是，IBC使用當前幀中的參考像素，而不是使用先前已編解碼幀中的參考像素。
在另一個實施例中，如果當前塊是IBC模式，則參考亮度樣本的確定與幀內預測模式相同。
當一個或多個參考亮度樣本是當前CU或TU的預測樣本時，可以 如以上實施例中所述使用不同數量的樣本。
在一個實施例中，幀內和幀間預測模式的以上實施例可以被組合。
在一個實施例中，對於幀內預測模式和CIIP模式，參考亮度樣本是用於生成幀內預測子的左上邊界參考樣本，並且對於除CIIP模式之外的幀間預測模式，參考亮度樣本是左上角亮度預測樣本。
在一個實施例中，對於幀內預測模式，參考亮度樣本是用於生成幀內預測子的左上邊界參考樣本，並且對於幀間預測模式，除了CIIP模式之外，參考亮度樣本是左上亮度預測樣本。對於CIIP模式，參考亮度樣本是幀間預測子的左上角亮度預測樣本。換句話說，在使用之前將預測樣本與幀內預測樣本混合。
在一個實施例中，對於幀內預測模式和CIIP模式，參考亮度樣本是左上、上或左(第一可用)邊界重建樣本，並且對於幀間預測模式(除了CIIP模式)，參考亮度樣本是左上角的亮度預測樣本。換句話說，在使用之前將預測樣本與幀內預測樣本混合。
在另一個示例中，僅使用左上方的重建樣本。
如果參考樣本不可用，則將縮放因子設置為默認值。在一個實施例中，默認值等於(1<<PREC)，其中PREC是色度縮放的預測。
在一個實施例中，對於幀內預測模式，參考亮度樣本是左上、上或左(第一可用)邊界重建樣本，並且對於幀間預測模式(除了CIIP模式)，參考亮度樣本為左上角的亮度預測樣本。對於CIIP模式，參考亮度樣本是幀間預測子的左上角亮度預測樣本。換句話說，在使用之前將預測樣本與幀內預測樣本混合。
模式約束並有條件地禁止在根塊內進行色度拆分
在另一個實施例中，確定根塊，並且可以將該根塊的亮度分量進一步劃分為較小的塊。根據該實施例，根據同一根塊內的亮度塊的預測模式來確定是否可以進一步分割根塊的色度分量。
在以前的方法中，以下列出了“相同模式”定義的三種情況：
情況1.相同模式意味著根塊內的所有塊必須為幀內預測模式、或根塊內的所有塊必須為幀間預測模式、或根塊內的所有塊必須為IBC模式。
情況2.相同模式意味著根塊內的所有塊必須為幀內預測模式，或根塊內的所有塊必須為幀間預測模式以及IBC預測模式其中之一(幀間/IBC模式)。
情況3.相同模式意味著根塊內的所有塊必須為幀內預測模式以及IBC預測模式其中之一(幀內/IBC模式)，或根塊內的所有塊必須為幀間預測模式。
在一個實施例中，如果當前根塊內的所有塊對於情況1、情況2和情況3分別是幀間預測模式、幀間/IBC模式和幀間預測模式，則色度分量的劃分遵循亮度塊。如果當前根塊內的所有塊對於情況1、情況2和情況3分別是幀內預測模式、幀內預測模式和幀內/IBC模式，則無法進一步拆分此根塊的色度分量，因此導致多個亮度塊對應一個色度塊。
在另一個實施例中，確定根塊，並且可以將該根塊的亮度分量進一步劃分為較小的塊。根據該實施例，確定是否不能進一步分割根塊的色度分量。在該區域中，亮度塊可以是相同模式或可以是不同模式。
在一個實施例中，當不允許色度分量被進一步分割時，色度殘差縮放不能被應用。在另一個實施例中，當色度分量不允許進一步分裂時，色度殘差縮放仍然可以被應用。參考亮度樣本的位置可以不同。在一實施例中，使用並置亮度塊的左上NxM個亮度預測樣本。N和M可以是1、2、4、8、16、32、 64和128。在另一個實施例中，使用當前根塊的重建的頂部邊界K參考樣本。在另一個實施例中，使用當前根塊的重建的左邊界K個參考樣本。K可以是1、2、4、8、16、32、64和128。在另一個實施例中，使用當前根塊的重建的左上參考樣本。
在另一個實施例中，當不允許色度分量被進一步分割並且色度根塊以幀內模式被編解碼時，色度殘差縮放不能被應用。在另一示例中，當不允許色度分量進一步拆分並且以IBC模式對色度根塊進行編解碼時，則無法應用色度殘差縮放。在另一個實施例中，當不允許色度分量進一步拆分並且以幀內模式對色度根塊進行編解碼時，仍然可以應用色度殘差縮放。在另一個示例中，當不允許色度分量進一步拆分並且以IBC模式對色度根塊進行編解碼時，仍然可以應用色度殘差縮放。參考亮度樣本的位置可以不同。在一實施例中，使用並置亮度塊的左上NxM個亮度預測樣本。N和M可以是1、2、4、8、16、32、64和128。在另一個實施例中，使用當前根塊的重建的頂部邊界K個參考樣本。在另一個實施例中，使用當前根塊的重建的左邊界K個參考樣本。K可以是1、2、4、8、16、32、64和128。在另一個實施例中，使用當前根塊的重建的左上參考樣本。
在另一個實施例中，當色度塊在色度根塊中時，色度殘差縮放不能被應用。在另一個實施例中，當色度塊在色度根塊中時，仍然可以應用色度殘差縮放。參考亮度樣本的位置可以不同。在一實施例中，使用並置亮度塊的左上NxM個亮度預測樣本。N和M可以是1、2、4、8、16、32、64和128。在另一個實施例中，使用當前根塊的重建的頂部邊界K個參考樣本。在另一個實施例中，使用當前根塊的重建的左邊界的K個參考樣本。K可以是1、2、4、8、16、32、64和128。在另一個實施例中，使用當前根塊的重建的左上參考樣本。
LMCS將原始域中的樣本映射到重塑域，以進行更好的資料估 計。映射曲線由分段線性(PWL)模型近似(approximate)。為了將樣本值從原始域轉換為重塑域，使用了查找表(look-up-table，簡寫為LUT)。LUT的條目數量(entry number)與輸入樣本動態範圍相同。例如，如果使用10位元輸入，則使用1024個條目的LUT。如果使用14位元輸入，則使用8192個條目LUT。在硬體實現中，這種LUT的成本很高。因此，可以使用分段線性模型。可以將輸入與多個片段中的每個片段進行比較，以找出輸入所屬的片段。在每個片段中，可以根據該片段的特性計算相應的輸出值。
根據本發明的實施例公開了LMCS的各種方法。
方法1-具有LMCS的PCM模式
LMCS將原始域中的樣本映射到重塑域，以進行更好的資料估計。通過分段線性模型來近似映射曲線。使用查找表(LUT)將樣本值從原始域轉換為重塑域。LUT的條目數量與輸入樣本動態範圍相同。例如，如果使用10位元輸入，則使用1024個條目的LUT。如果使用14位元輸入，則使用8192個條目的LUT。
在一個實施例中，當使用脈衝編解碼調製(Pulse code Modulation，簡寫為PCM)編解碼時，LMCS被禁用，這可以實現無損編解碼。這是因為映射過程可能會引入一些數位舍入，或者在執行前向映射和後向映射後無法將其精確映射回原始值，從而導致有損編解碼。根據本發明的一個實施例，以SPS/PPS/APS/切片/圖塊組/圖塊/圖片級別發信PCM編解碼的一種或多種高級語法，並在LMCS語法之前發信。當確定圖塊/圖塊組/圖片/切片/序列使用PCM編解碼時，與LMCS有關的語法元素(重塑工具或重塑模型)可以跳過、推斷為未使用或被約束為不使用(例如，編碼器約束以禁止LMCS用於PCM編解碼)。
在另一個實施例中，如果在圖塊/圖塊組/切片/圖片/序列級區域 中應用PCM編解碼模式，則仍然可以應用重塑。但是，前向重塑和逆向重塑的映射表應該是恆等式映射(identity mapping)，例如，輸入等於輸出，或映射函數為斜率等於1的線。
在一個示例中，可以發信映射表，但是該映射表應當是恆等式映射表。在另一個示例中，不發信映射表。使用默認的恆等式映射表。默認映射是一個簡單的相同映射，其中輸入等於輸出。
在另一個實施例中，如果應用CU/PU/TU級PCM編解碼和/或變換量化旁通模式，則應在原始域中對殘差或變換後的殘差進行編解碼以實現PCM編解碼。例如，預測子(例如，幀間模式預測子，幀內模式預測子，幀內塊複製模式預測子，調色板模式預測子)也應位於原始域中。對於幀內預測或使用相鄰重建樣本來生成預測子的任何其他預測模式(例如，組合幀間/幀內預測)，在生成預測子之前，將相鄰重建樣本轉換為原始域。在另一個示例中，如果在重塑域中生成了預測子(例如，幀內模式預測子)，則將所生成的預測子轉換為原始域。在此示例中，對於幀間模式預測子，當使用PCM模式時，它將不通過前向重塑器而成為經過重塑的域的預測子。殘差資料在原始域中進行編解碼。語法用於指定重建的CU樣本的域。因此，當應用CU/PU/TU級PCM編解碼和/或變換量化旁路模式時，如果使用幀內預測進行預測，則僅重塑域中的相鄰重建樣本需逆映射到原始域。
當在有損編解碼中對當前幀內CU進行編解碼時，如果相鄰的重建樣本在原始域中，則需要前向映射。在將鄰近的重建樣本映射到重塑域之後，將使用重塑的鄰近的重建樣本來生成幀內預測樣本。
在另一個實施例中，如果在有損編解碼中對當前幀內CU進行了編解碼，則無論相鄰重建樣本屬於哪個域，都將相鄰重建樣本視為重塑樣本。
在另一個實施例中，如果應用CU/PU/TU級PCM編解碼和/或變 換量化旁通模式，則仍可在重塑域中生成預測子，但是重建樣本不會被逆映射(到原始域)重建。但是，在重塑域中的重建樣本應為對原始樣本進行PCM得到的值。例如，對於幀內預測或使用相鄰重建樣本來生成預測子的任何其他預測模式，不需要將相鄰樣本轉換回原始域。重塑域相鄰樣本可用於生成預測子。對於幀間預測，預測子可以像有損編解碼一樣通過前向映射進行轉換，或者不能通過前向映射進行轉換。在另一個實施例中，後向映射仍然可以被應用。但是，後向映射的映射表是相同的映射，例如斜率等於1或輸出等於輸入的一對一映射。
在另一個實施例中，如果應用CU/PU/TU級PCM編解碼和/或變換量化旁路模式，則前向和後向映射被禁用或使用相同的映射(對於所有預測模式)。在另一個實施例中，仍然可以在重塑域中對殘差/預測子/重建樣本進行編解碼。但是，存在編碼器約束或位元流一致性要求，即在應用PCM模式時，可以將重建樣本轉換為原始域，並且原始域重建樣本應與輸入樣本相同。
在一個實施例中，如果應用CU/PU/TU級PCM編解碼和/或變換量化旁路模式，則不應用色度殘差縮放，或者將縮放因子設置為1，或者縮放因子限制在一個範圍內。例如，縮放因子應不大於1或不小於1。在另一個實施例中，當應用變換跳過模式時，不應用色度殘差縮放。在另一個實施例中，當將變換跳過模式應用於色度分量時，不應用色度殘差縮放。
在另一個實施例中，如果應用CU/PU/TU級PCM編解碼和/或變換量化旁路模式，則應在重塑域中對殘差或變換後的殘差進行編解碼，其中映射表的輸出與輸入相同。因此，映射過程不會引入有損編解碼。
在另一實施例中，如果使用CU/PU/TU級PCM模式和/或變換量化旁路模式，則將相鄰的重建樣本轉換為原始域。仍可通過重塑轉換當前塊的預測樣本。但是，前向重塑和反向重塑的映射表應該是一對一的映射，例如輸 出等於輸入，或者映射函數對應於斜率等於1的線。
方法2-逆縮放因子的推導
在一個實施例中，逆縮放因子可以如下得出：InvScaleCoeff[i]=OrgCW*((1<<SCALE_FP_PREC)/lmcsCW[i]).
這樣，由於分母的可能值的數量(例如lmcsCW[i])是有限的，可以使用查找表來實現非2的冪的值的除法(例如lmcsCW[i])。查找表包含(1<<SCALE_FP_PREC)/lmcsCW[i]的值。
方法3-具有默認數量的碼字的LMCS
在一個實施例中，可以使用默認數量的碼字而不是使用OrgCW(其僅取決於輸入資料的位元深度)來推導映射域中每個位元子的碼字數量(例如lmcsCW[i])。
在所提出的方法中，根據以下公式導出變量lmcsCW[i]，其中i=lmcs_min_bin_idx到LmcsMaxBinIdx：lmcsCW[i]=default_CW+lmcsDeltaCW[i],
其中default_CW在解碼器端導出或從編碼器發信。
在一個實施例中，如果default_CW是在解碼器側導出的，則可以根據lmcs_min_bin_idx和LmcsMaxBinIdx導出它。如果小於lmcs_min_bin_idx的位元子的數量以及大於LmcsMaxBinIdx的位元子的數量之和大於lmcs_min_bin_idx，則可以將default_CW調整為大於OrgCW的值。
例如，如果小於lmcs_min_bin_idx的位元子數量及大於LmcsMaxBinIdx的位元子數量之和等於2，則default_CW導出為default_CW= OrgCW+A，其中A為正整數(例如1，2、3...)。
如果小於lmcs_min_bin_idx的位元子數量及大於LmcsMaxBinIdx的位元子數量之和等於0，則default_CW等於OrgCW。
在一個實施例中，如果發信了default_CW，則在lmcs_delta_cw_prec_minus1之前發信兩個語法default_delta_abs_CW和default_delta_sign_CW_flag。
變量default_delta_abs_CW表示default_CW和OrgCW的絕對差，變量default_delta_sign_CW_flag表示增量值為正或負。僅當default_delta_abs_CW大於0時才發信default_delta_sign_CW_flag。
在一個實施例中，如果發信了default_CW，則在lmcs_delta_cw_prec_minus1之前發信語法default_delta_CW。
變量default_delta_CW表示default_CW與OrgCW之差。
方法4-重塑曲線更新
在一個實施例中，在每一幀或每隔一幀中更新重塑曲線。
具有VPDU約束的色度縮放
圖片可被劃分為幾個非重疊的MxN塊。這些作為處理資料單元的MxN個非重疊塊稱為VPDU。M和N可以是64，或者是任何預定義或發信的值，或者是與最大變換塊大小有關的值。
在一個實施例中，對於色度分量，色度殘差縮放使用當前VPDU外部的參考亮度重建樣本，例如先前編解碼的VPDU。
在一個實施例中，參考亮度樣本可以是一個或多個區域。例如，參考樣本是當前VPDU外部的KxL塊。K和L可以是2、4、8、16或32。詳細地說，根據本實施例，當前VPDU的大小等於min(CtbSizeY，64)，並且頂部邊界和左側邊界的參考亮度樣本數分別等於min(CtbSizeY，64)。變量CtbSizeY指定亮度 編解碼樹塊的亮度寬度和亮度高度。
在另一個實施例中，參考重建的亮度樣本沿著VPDU頂部邊界或左邊界或兩者，如第4圖所示。參考亮度樣本的數目是2的冪次方。
在另一實施例中，參考重建的亮度樣本僅僅是一個樣本值。在一個實施例中，該位置可以是當前VPDU的L形邊界的左上位置，例如第5圖中的TL位置。在另一實施例中，參考樣本的位置可以是當前VPDU上面的位置，例如第5圖中的A位置。在另一個實施例中，參考樣本的位置可以是當前VPDU的左側位置，例如第5圖中的L位置。
在另一實施例中，在每個VPDU中僅導出一次色度縮放，並且由每個VPDU中的第一CU導出縮放因子。詳細地，VPDU的大小等於Min(CtbSizeY，64)，並且對於Min(CtbSizeY，64)乘以Min(CtbSizeY，64)區域(即，在同一VPDU中)中的所有塊，根據本實施例，用於導出色度縮放因子的參考亮度樣本是相同的。變量CtbSizeY指定亮度編解碼樹塊的亮度寬度和亮度高度。
在另一個實施例中，根據與當前塊相對應的VPDU來導出用於色度縮放的參考編解碼單元(CU)(例如，即使色度縮放縮放不適用於該CU，色度縮放也總是由VPDU中的第一CU來導出)。詳細地，根據該實施例，VPDU的大小等於Min(CtbSizeY，64)，並且參考CU覆蓋當前VPDU的左上位置。參考亮度樣本包括沿參考CU頂部邊界的Min(CtbSizeY，64)重建的亮度樣本和沿參考CU左側邊界的Min(CtbSizeY，64)亮度重建樣本。在另一實施例中，如果沒有將色度縮放應用於當前VPDU中的第一CU，則縮放因子被設置為默認值。在一個實施例中，默認值等於(1<<PREC)，其中PREC是色度縮放的預測。
在另一個實施例中，色度縮放因子在圖片/切片級別中共享。在另一實施例中，色度縮放因子在APS水平中共享。換句話說，對於每個發信的映 射曲線，導出一個色度縮放因子。在一個示例中，通過對所有間隔(片段)中的縮放因子求平均來完成針對每個重塑曲線的色度縮放因子的推導。在另一個實施例中，通過選擇所有間隔(片段)中的大多數縮放因子來得出縮放因子。在另一實施例中，通過直接將最大亮度樣本與最小亮度樣本之間的差除以重塑域中的最大亮度樣本與重塑域中的最小亮度樣本之間的差來得出縮放因子。
具有減少的延遲的亮度殘差
代替映射亮度預測樣本，該映射可以僅應用於亮度殘差。換句話說，亮度分量的預測樣本在原始域中，並且亮度分量的殘差將通過縮放因子縮放。通過在不同位置或以不同方式引用亮度預測樣本來得出縮放因子。建議用於色度縮放的以上方法也可以應用於亮度殘差縮放。
在另一個實施例中，縮放因子是兩個連續間隔的兩個縮放因子的平均值。
在一個實施例中，用於亮度殘差縮放和色度殘差縮放的縮放因子相同。
信令色度縮放因子
替代在解碼器側隱式地導出色度縮放因子，本發明的實施例在TB、TU、CU、CTU、VPDU、切片級別、塊級或APS級別發信色度縮放因子。
在一個實施例中，在一個APS中發信一個或多個色度縮放因子。
在一個實施例中，如果以TU級別發信色度縮放因子，並且如果Cb和Cr的Cbfs(編碼塊標記)都等於0，則不發信色度縮放因子。
在另一個實施例中，如果以TU級別發信色度縮放因子，並且如果根Cbf等於0，則不發信色度縮放因子。
在一個實施例中，如果針對色度Cb分量在TB級別發信色度縮放因子，並且如果Cb的Cbf等於0，則不發信色度縮放因子；對於色度Cr分量，如 果Cr的Cbf等於0，則不發信色度縮放因子。
在一些實施例中，視訊編碼器必須遵循前述語法設計以便生成合法位元流，並且僅在解析過程符合前述語法設計的情況下，視訊解碼器才能夠正確地解碼位元流。當在位元流中跳過語法時，編碼器和解碼器應將語法值設置為推斷值，以確保編碼和解碼結果匹配。
第6圖示出了根據本發明實施例的用於基於並置亮度塊的相鄰預測或重建的亮度樣本來推導一個或多個色度殘差縮放因子的示例性解碼系統的流程圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟610中接收當前色度殘差塊。在步驟620中，基於與當前色度殘差塊相關聯的並置亮度塊的相鄰預測或重建的亮度樣本，導出一個或多個色度殘差縮放因子，其中並置亮度塊的相鄰預測或重建的亮度樣本對應於並置亮度塊頂部邊界的M個樣本和並置亮度塊左側邊界的N個樣本中的樣本，其中M和N為正整數。然後在步驟630中，根據所述一個或多個色度殘差縮放因子，將色度縮放應用於當前色度殘差塊的色度殘差樣本。
第7圖示出了根據本發明的實施例的另一示例性解碼系統的流程圖，該解碼系統用於基於並置亮度處理資料單元外部的一個或多個重建的亮度樣本來導出一個或多個色度殘差縮放因子。根據該方法，在步驟710中接收與圖片中的當前色度處理資料單元相關聯的色度殘差資料，其中，將圖片劃分為多個不重疊的處理資料單元，並且每個處理資料單元包括一個亮度處理資料單元和一個或多個色度處理資料單元。在步驟720中，基於與當前色度處理資料單元相關聯的並置亮度處理資料單元外部的一個或多個重建的亮度樣本，得出一個 或多個色度殘差縮放因子。在步驟730中，根據所述一個或多個色度殘差縮放因子將色度縮放應用於當前色度處理資料單位的色度殘差樣本。
第8圖示出了示例性的編解碼系統的流程圖，其中，根據本發明的實施例在編碼器側的視訊位元流的APS(自適應參數集)級別中發信一個或多個色度殘差縮放因子，或者自解碼器側的視訊位元流的APS級別解析一個或多個色度殘差縮放因子。根據該方法，在步驟810中接收當前色度殘差塊。在步驟820中，在視訊位元流的APS(自適應參數集)級別中發信一個或多個色度殘差縮放因子，或者在其視訊位元流的APS級別中中解析所述一個或多個色度殘差縮放因子。在步驟830中，將色度縮放應用於當前色度殘差塊的色度殘差樣本。
所示的流程圖旨在說明根據本發明的視訊編解碼的示例。所屬領域具有通常知識者可以修改每個步驟，重新佈置步驟，拆分步驟或組合步驟以實踐本發明，而不背離本發明的精神。在本公開中，已經使用特定的語法和語義來說明用於實現本發明的實施例的示例。所屬領域具有通常知識者可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。
呈現以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對所屬領域具有通常知識者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是與和本文所公開的原理和新穎特徵相一致的最廣範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體編解碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電子電路或集成到視訊壓縮軟體中以執行本文所述的處理的程式編解碼。 本發明的實施例還可以是將在數位信號處理器(DSP)上執行以執行本文描述的處理的程式編解碼。本發明還可涉及由計算機處理器、數位信號處理器、微處理器或現場可編程門陣列(FPGA)執行的許多功能。通過執行定義本發明所體現的特定方法的機器可讀軟體編解碼或韌體編解碼，可以將這些處理器配置為執行根據本發明的特定任務。可以以不同的編程語言和不同的格式或樣式來開發軟體代碼或韌體代碼。也可以針對不同的目標平台來編譯軟體代碼。然而，不同的編解碼格式、軟體編解碼的樣式和語言以及配置編解碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前面的描述指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。
710~730:步驟

Claims (20)

  1. 一種視訊解碼方法，該方法包括：接收圖片中與當前色度處理資料單元相關的色度殘差資料，其中，該圖片被劃分為多個不重疊的處理資料單元，每個處理資料單元包括一個亮度處理資料單元和一個或多個色度處理資料單元；基於與該當前色度處理資料單元相關聯的並置亮度處理資料單元外部的一個或多個重建的亮度樣本，得出一個或多個色度殘差縮放因子；以及根據導出的該一個或多個色度殘差縮放因子，將色度縮放應用於該當前色度處理資料單元的色度殘差樣本，其中該一個或多個重建的亮度樣本位於資料處理單元的外部。
  2. 根據請求項1所述之方法，其中，在該並置亮度處理資料單元外部的該一個或多個重建的亮度樣本對應於一個或多個先前編解碼的亮度處理資料單元的一個或多個重建的亮度樣本。
  3. 根據請求項2所述之方法，其中該一個或多個先前編解碼的亮度處理資料單元的一個或多個重建的亮度樣本對應於沿該並置亮度處理資料單元的頂部邊界的一個或多個重建的亮度樣本、沿該並置亮度處理資料單元的左邊界的一個或多個重建的亮度樣本，或兩者。
  4. 根據請求項1所述之方法，其中一個或多個非重疊處理資料單元的亮度大小等於Min(CtbSizeY，64)乘以Min(CtbSizeY，64)，並且其中CtbSizeY指定亮度編解碼樹塊的亮度寬度和亮度高度。
  5. 一種視訊解碼裝置，該裝置包括一個或多個電子電路或處理器，該電子電路或處理器被佈置為：接收圖片中與當前色度處理資料單元相關的色度殘差資料，其中，該圖片被劃分為多個不重疊的處理資料單元，每個處理資料單元包括一個亮度處理資 料單元和一個或多個色度處理資料單元；基於與該當前色度處理資料單元相關聯的並置亮度處理資料單元外部的一個或多個重建的亮度樣本，得出一個或多個色度殘差縮放因子；以及根據導出的該一個或多個色度殘差縮放因子，將色度縮放應用於該當前色度處理資料單元的色度殘差樣本，其中該一個或多個重建的亮度樣本位於資料處理單元的外部。
  6. 一種視訊解碼方法，該方法包括：接收圖片中與當前色度處理資料單元相關的色度殘差資料，其中，該圖片被劃分為多個不重疊的處理資料單元，每個處理資料單元包括亮度處理資料單元和一個或多個色度處理資料單元；基於一個或多個重建的亮度樣本，從第一編解碼單元推導一個或多個色度殘差縮放因子，其中該第一編解碼單元覆蓋與該當前色度處理資料單元相關聯的並置亮度處理資料單元的左上位置；以及根據導出的該一個或多個色度殘差縮放因子，將色度縮放應用於與該當前色度處理資料單元相關聯的該色度殘差資料的色度殘差樣本，其中該一個或多個重建的亮度樣本位於資料處理單元的外部。
  7. 根據請求項6所述之方法，其中該一個或多個不重疊的處理資料單元的亮度大小等於Min(CtbSizeY，64)乘以Min(CtbSizeY，64)，並且其中CtbSizeY指定亮度編解碼樹塊的亮度寬度和亮度高度。
  8. 根據請求項6所述之方法，其中，在覆蓋該並置亮度處理資料單元的該第一編解碼單元外部的該一個或多個重建的亮度樣本對應於一個或多個先前編解碼的亮度處理資料單元的一個或多個重建的亮度樣本。
  9. 根據請求項6所述之方法，其中，該一個或多個先前編解碼的亮度處理資料單元的該一個或多個重建的亮度樣本對應於沿著該第一編碼解碼 單元(CU)的頂部邊界的一個或多個重建的亮度樣本、沿著該第一編碼解碼單元(CU)的左邊界的一個或多個重建的亮度樣本，或二者，其中該第一編解碼單元覆蓋該並置亮度處理資料單元。
  10. 根據請求項9所述之方法，其中，沿著覆蓋該並置亮度處理資料單元的該第一編解碼單元的頂部邊界的參考重建的亮度樣本的數量等於該亮度處理資料單元的寬度或高度。
  11. 根據請求項9所述之方法，其中，沿著覆蓋該並置亮度處理資料單元的該第一編解碼單元的左邊界的參考重建的亮度樣本的數量等於該亮度處理資料單元的寬度或高度。
  12. 一種視訊編解碼方法，該方法包括：接收當前色度殘差塊；在視訊位元流的自適應參數集級別中發信一個或多個色度殘差縮放因子，或者在該視訊位元流的自適應參數集級別中解析該一個或多個色度殘差縮放因子；以及將色度縮放應用於該當前色度殘差塊的色度殘差樣本。
  13. 一種視訊解碼裝置，所述裝置包括一個或多個電子電路或處理器，該電子電路或處理器被佈置為：接收當前色度殘差塊；在視訊位元流的自適應參數集級別中發信一個或多個色度殘差縮放因子，或者在該視訊位元流的自適應參數集級別中解析該一個或多個色度殘差縮放因子；以及將色度縮放應用於該當前色度殘差塊的色度殘差樣本。
  14. 一種視訊解碼方法，該方法包括：接收當前色度殘差塊； 基於與該當前色度殘差塊相關聯的並置亮度塊的相鄰預測或重建的亮度樣本，推導一個或多個色度殘差縮放因子，其中，該並置亮度塊的該相鄰預測或重建的亮度樣本對應於沿該並置亮度塊的頂部邊界的M個樣本和沿該並置亮度塊的左邊界的N個樣本之中的樣本，其中M和N為正整數；以及根據導出的該一個或多個色度殘差縮放因子，將色度縮放應用於該當前色度殘差塊的色度殘差樣本，其中該並置亮度塊的該相鄰預測或重建的亮度樣本位於該並置亮度塊所在的資料處理單元外部，該處理資料單元的亮度大小等於Min(CtbSizeY，64)乘以Min(CtbSizeY，64)，並且其中CtbSizeY指定亮度編解碼樹塊的亮度寬度和亮度高度。
  15. 根據請求項14所述之方法，其中，該並置亮度塊的該相鄰預測或重建的亮度樣本對應於沿該並置亮度塊的該頂部邊界的該M個樣本。
  16. 根據請求項14所述之方法，其中，該並置亮度塊的該相鄰預測或重建的亮度樣本對應於沿該並置亮度塊的該左邊界的該N個樣本。
  17. 根據請求項14所述之方法，其中，該並置亮度塊的該相鄰預測或重建的亮度樣本既對應於沿該並置亮度塊的該頂部邊界的該M個樣本，又對應於沿該並置亮度塊的該左邊界的該N個樣本。
  18. 根據請求項14所述之方法，其中，如果在該並置亮度塊的左上位置的邊界樣本可用，則使用該並置亮度塊的該左上位置的該邊界樣本導出該一個或多個色度殘差縮放因子。
  19. 根據請求項18所述之方法，其中，如果在該並置亮度塊的左上位置的邊界樣本不可用，則使用沿該並置亮度塊的左邊界的左邊界樣本或沿該並置亮度塊的頂部邊界的頂部邊界樣本導出該一個或多個色度殘差縮放因子。
  20. 一種視訊解碼裝置，該裝置包括一個或多個電子電路或處理器，該電子電路或處理器被佈置為：接收當前色度殘差塊；基於與該當前色度殘差塊相關聯的並置亮度塊的相鄰預測或重建的亮度樣本，推導一個或多個色度殘差縮放因子，其中，該並置亮度塊的該相鄰預測或重建的亮度樣本對應於沿該並置亮度塊的頂部邊界的M個樣本和沿該並置亮度塊的左邊界的N個樣本之中的樣本，其中M和N為正整數；以及根據導出的該一個或多個色度殘差縮放因子，將色度縮放應用於該當前色度殘差塊的色度殘差樣本，其中該並置亮度塊的該相鄰預測或重建的亮度樣本位於該並置亮度塊所在的資料處理單元外部，該處理資料單元的亮度大小等於Min(CtbSizeY，64)乘以Min(CtbSizeY，64)，並且其中CtbSizeY指定亮度編解碼樹塊的亮度寬度和亮度高度。
TW109108450A 2019-03-15 2020-03-13 色度殘差縮放之延遲降低方法和裝置 TWI752438B (zh)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US201962818799P 2019-03-15 2019-03-15
US62/818,799 2019-03-15
US201962822866P 2019-03-23 2019-03-23
US62/822,866 2019-03-23
US201962837773P 2019-04-24 2019-04-24
US62/837,773 2019-04-24
US201962863333P 2019-06-19 2019-06-19
US62/863,333 2019-06-19
US201962866710P 2019-06-26 2019-06-26
US62/866,710 2019-06-26
US201962870757P 2019-07-04 2019-07-04
US62/870,757 2019-07-04
WOPCT/CN2020/079287 2020-03-13
PCT/CN2020/079287 WO2020187161A1 (en) 2019-03-15 2020-03-13 Method and apparatus of latency reduction for chroma residue scaling

Publications (2)

Publication Number Publication Date
TW202042556A TW202042556A (zh) 2020-11-16
TWI752438B true TWI752438B (zh) 2022-01-11

Family

ID=72519549

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108450A TWI752438B (zh) 2019-03-15 2020-03-13 色度殘差縮放之延遲降低方法和裝置

Country Status (5)

Country Link
US (1) US20220182633A1 (zh)
EP (1) EP3939298A4 (zh)
CA (1) CA3132744A1 (zh)
TW (1) TWI752438B (zh)
WO (1) WO2020187161A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114768A1 (ko) * 2020-11-24 2022-06-02 현대자동차주식회사 성분 간 참조를 이용하는 잔차신호 생성방법과 장치
WO2023197191A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723707A (zh) * 2013-11-01 2016-06-29 高通股份有限公司 用于视频译码的色彩残差预测
WO2018066849A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334253B2 (en) * 2013-04-08 2019-06-25 Qualcomm Incorporated Sample adaptive offset scaling based on bit-depth
CN108650514A (zh) * 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
US9883197B2 (en) * 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
JP2017522839A (ja) * 2014-06-20 2017-08-10 シャープ株式会社 整合パレット符号化
CN107079157B (zh) * 2014-09-12 2020-12-22 Vid拓展公司 用于视频编码的分量间去相关
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723707A (zh) * 2013-11-01 2016-06-29 高通股份有限公司 用于视频译码的色彩残差预测
WO2018066849A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Technicolor, "Chroma residual scaling with separate luma/chroma tree", Joint Video Experts Team (JVET), of ITU-T SG 16 WP 3 and ISO/IEC, JTC 1/SC 29/WG 11, 14th Meeting, CH, 19–27 March 2019(version 1 - date 2019-03-12), http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=6111 *

Also Published As

Publication number Publication date
US20220182633A1 (en) 2022-06-09
TW202042556A (zh) 2020-11-16
WO2020187161A1 (en) 2020-09-24
EP3939298A1 (en) 2022-01-19
CA3132744A1 (en) 2020-09-24
EP3939298A4 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
US20220224946A1 (en) Image reshaping in video coding using rate distortion optimization
CA2949542C (en) Block adaptive color-space conversion coding
CN106664405B (zh) 用调色板模式对经逸出编码的像素的稳健编码/解码
KR102585509B1 (ko) 비디오 프로세싱 시스템에서 크로마 양자화 파라미터 도출의 방법 및 장치
KR101366650B1 (ko) 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
WO2016123488A1 (en) Palette index grouping for high throughput cabac coding
EP3053340A1 (en) High precision explicit weighted prediction for video coding
US20230353745A1 (en) Method and system for processing luma and chroma signals
WO2021088951A1 (en) Quantization properties of adaptive in-loop color-space transform for video coding
TWI752438B (zh) 色度殘差縮放之延遲降低方法和裝置
KR20220138864A (ko) 이미지 또는 비디오 프로세싱 시스템에서의 루프 필터 파라미터 시그널링 방법 및 장치
CN113853787A (zh) 基于子块使用变换跳过模式
TWI734501B (zh) 視訊編解碼的方法和裝置
KR20230002329A (ko) 동적 범위 조정 파라미터 시그널링 및 가변 비트 깊이 지원의 실행
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
CN113632481B (zh) 色度残差缩放的延迟降低方法和装置
JP7069421B2 (ja) 符号化装置、復号装置、及びプログラム