TWI737137B - 視訊編碼之非線性適應性迴圈濾波方法和裝置 - Google Patents

視訊編碼之非線性適應性迴圈濾波方法和裝置 Download PDF

Info

Publication number
TWI737137B
TWI737137B TW109102352A TW109102352A TWI737137B TW I737137 B TWI737137 B TW I737137B TW 109102352 A TW109102352 A TW 109102352A TW 109102352 A TW109102352 A TW 109102352A TW I737137 B TWI737137 B TW I737137B
Authority
TW
Taiwan
Prior art keywords
adaptive loop
reconstructed
loop filter
alf
difference
Prior art date
Application number
TW109102352A
Other languages
English (en)
Other versions
TW202034701A (zh
Inventor
賴貞延
陳慶曄
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202034701A publication Critical patent/TW202034701A/zh
Application granted granted Critical
Publication of TWI737137B publication Critical patent/TWI737137B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公開了用於重建視訊的自適應迴圈濾波(ALF)處理的方法和裝置。 根據一種方法，根據中心重建像素的位元深度來確定用於ALF處理的限幅值。 導出用於當前塊的當前ALF輸出，其中，當前ALF輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素和中心重建像素之間計算每個原始差，並根據對應的限幅值對每個原始差進行限幅，以形成一個限幅差。 在另一種方法中，即使目標限幅值為零，目標限幅值也總是在編碼器側發信或在解碼器側解析。 在另一種方法中，使用固定長度代碼對限幅值進行編碼或解碼。

Description

視訊編碼之非線性適應性迴圈濾波方法和裝置
本發明涉及視訊編解碼系統中的自適應迴圈(亦稱為環路)濾波(adaptive loop filter，簡寫為ALF)處理。特別地，本發明涉及視訊編碼器或解碼器中的非線性ALF處理。
運動估計是一種有效的幀間編碼技術，以利用視訊序列中的時間冗餘。運動補償的幀間編解碼已在各種國際視訊編碼標準中廣泛使用。各種編解碼標準中採用的運動估計通常是基於塊的技術，其中為每個宏塊或類似塊配置確定運動資訊，例如編解碼模式和運動矢量。另外，還自適應地應用幀內編解碼，其中在不參考任何其他圖片的情況下處理圖片。幀間預測殘差或幀內預測殘差通常通過變換、量化和熵編解碼進一步處理以生成壓縮視訊位元流。在編編碼過程中，特別是在量化過程中，會引入編編碼偽像。為了減輕編碼偽像，已在重建的視訊中應用了附加處理，以提高新型編碼系統中的圖像質量。通常在迴圈操作中配置附加處理，以使編碼器和解碼器可以導出相同的參考圖片以實現改進的系統性能。
第1A圖示出了結合有迴圈處理的示例性自適應幀間/幀內視訊編解碼系統。對於幀間預測，運動估計(ME)/運動補償(MC)112用於基於來自其他圖片的視訊資料提供預測資料。開關114選擇幀內預測110或幀間預測資料，並 且所選擇的預測資料被提供給加法器116以形成預測誤差，也稱為殘差。預測誤差隨後由變換(T)118以及之後的量化(Q)120處理。然後，經變換和量化的殘差由熵編碼器122編碼，以形成與壓縮視訊資料相對應的視訊位元流。然後，將與變換係數相關聯的位元流與諸如運動、模式以及與圖像區域相關聯的其他資訊之類的輔助資訊(side information)打包在一起。輔助資訊還可以進行熵編解碼以減少所需帶寬。因此，如第1A圖所示，與輔助資訊相關的資料被提供給熵編碼器122。當使用幀間預測模式時，也必須在編碼器端重建參考圖片。因此，經逆量化(IQ)124和逆變換(IT)126處理經變換和量化的殘差以重建殘差。然後在重建(REC)128處將殘差加回到預測資料136以重建視訊資料。重建的視訊資料可以存儲在參考圖片緩衝器134中，並用於其他幀的預測。
如第1A圖所示，輸入視訊資料在編解碼系統中經歷了一系列處理。由於一系列處理，來自REC 128的重建視訊資料可能會遭受各種損害。因此，在將重建視訊資料存儲在參考圖片緩衝器134中之前，將各種迴圈處理應用於重建的視訊資料，以提高視訊質量。在正在開發的高效視訊編解碼(HEVC)標準中，已經開發了去塊濾波器(DF)130、樣本自適應偏移(SAO)131和自適應迴圈濾波器(ALF)132以增強圖像質量。迴圈濾波器資訊可能必須合併到位元流中，以便解碼器可以正確恢復所需的資訊。因此，來自SAO和ALF的迴圈濾波器資訊被提供給熵編碼器122以合併到位元流中。在第1A圖中，首先將DF 130應用於重建的視訊；然後將SAO 131應用於經DF處理的視訊；然後將ALF 132應用於經SAO處理的視訊。但是，可以重新安排DF、SAO和ALF之間的處理順序。
第1B圖中示出了用於第1A圖的編碼器的相應解碼器。視訊位元流由熵解碼器142解碼，以恢復經變換和量化的殘差、SAO/ALF資訊和其他系統資訊。在解碼器側，僅執行運動補償(MC)113，而不執行ME/MC。解碼過程類似於編碼器端的重建迴路。恢復的經過變換和量化的殘差、SAO/ALF資訊以 及其他系統資訊用於重建視訊資料。DF 130、SAO 131和ALF 132對重建的視訊進行進一步處理，以生成最終的增強解碼視訊。
HEVC中的編解碼處理根據最大編解碼單元(LCU)來應用。使用四叉樹將LCU自適應地劃分成編解碼單元。在每個葉子CU中，對每個8x8塊執行DF，在HEVC測試模型版本4.0(HM-4.0)中，DF適用於8x8塊邊界。對於每個8x8塊，首先應用跨垂直塊邊界的水平濾波，然後應用跨水平塊邊界的垂直濾波。在亮度塊邊界的處理期間，濾波器參數推導涉及每一側的四個像素，並且在濾波之後每側最多可以改變三個像素。對於跨垂直塊邊界的水平濾波，未濾波的重建像素(即，DF前像素(pre-DF pixel))用於濾波參數推導，並且還用作濾波的源像素。對於跨水平塊邊界的垂直濾波，未濾波的重建像素(即，DF前像素)用於濾波參數推導，而DF中間像素(DF intermediate pixel)(即，水平濾波後的像素)用於濾波。對於色度塊邊界的DF處理，濾波器參數推導涉及每一側的兩個像素，並且在濾波之後每側最多改變一個像素。對於跨越垂直塊邊界的水平濾波，未濾波的重建像素用於濾波參數推導，並用作濾波的源像素。對於跨越水平塊邊界的垂直濾波，將經DF處理的中間像素(即，水平濾波之後的像素)用於濾波參數推導，並且還用作濾波的源像素。
如第1A圖所示，在HM-4.0中也採用了樣本自適應偏移(SAO)131。SAO可以視為濾波的一種特殊情況，其中處理僅適用於一個像素。在SAO中，首先進行像素分類以將像素分為不同的組(也稱為類別或類)。每個像素的像素分類基於3x3窗口。在對圖片或區域中的所有像素進行分類後，將為每個像素組導出一個偏移量並進行傳輸。HEVC(高效視訊編解碼)未採用ALF。但是，正在考慮將ALF用於新興的視訊編碼標準，命名為VVC(通用視訊編解碼)。通過最小化濾波樣本和原始樣本之間的失真之和，可以得出ALF的濾波係數。此外，利用開/關控制標誌在位元流中發信得出的濾波器係數。可以在一個切片中 使用多個濾波器，並且濾波器選擇包括基於塊的分類的隱式選擇和通過發信語法的顯式選擇。
在HM-4.0中，將DF應用於8x8塊邊界，以減少在塊邊界處的偽像的可見性。第2圖示出了塊210中的垂直邊界212和塊220中的水平邊界222，其中部分地示出了8×8塊(4×8或8×4)。在一幅圖片中，所有垂直邊界可以並行地水平濾波，然後所有水平邊界可以並行地垂直濾波。在亮度邊界的處理過程中，濾波器參數推導涉及到每側的四個像素(p0-p3,q0-q3)，並且在濾波後每側最多可以改變三個像素(p0-p2,q0-q2)。對於亮度水平DF，使用DF前像素(即水平DF之前的像素)來導出濾波器參數和濾波。對於亮度垂直DF，DF前像素用於導出濾波器參數，而H-DF像素(即水平DF之後的像素)用於濾波。在色度邊界處理過程中，每側的兩個像素(p0-p1,q0-q1)參與濾波器參數推導，並且每側的最多一個像素(p0,q0)在濾波後發生變化。對於色度水平DF，使用DF前像素來導出濾波器參數和濾波。對於色度垂直DF，H-DF像素用於導出濾波器參數和濾波。
在HM-4.0中，將SAO應用於亮度和色度分量，並且每個亮度分量均被獨立處理。SAO可以將一張圖片劃分為多個LCU對齊區域，並且每個區域可以從兩種頻帶偏移(Band Offset，簡寫為BO)類型、四種邊緣偏移(Edge Offset，簡寫為EO)類型和無處理(OFF)中選擇一種SAO類型。對於每個要處理(也稱為要濾波)的像素，BO使用像素強度將像素分類為一個頻帶。如第3圖所示，像素強度範圍被平均分為32個頻帶。在像素分類之後，將為每個頻帶的所有像素得出一個偏移，然後選擇中心16個頻帶或外部16個頻帶的偏移並進行編解碼。至於EO，它使用待處理像素的兩個相鄰像素將像素分類。四種EO類型分別對應於0°、90°、135°、和45°，如第4圖所示。與BO相似，除了類別0外，每個類別的所有像素都獲得了一個偏移，類別0被強制使用零偏移。表1示出了EO像素分類，其中“C”表示要分類的像素。
Figure 109102352-A0305-02-0007-1
在HM-4.0中，ALF具有兩個濾波形狀選項，分別針對亮度和色度，分別為十字11x5(510)和雪花5x5(520)，如第5圖所示。在每張圖片中，亮度分量可以選擇一種形狀，並且色度分量可以選擇一種形狀。每張圖像最多可應用16個亮度濾波器和最多1個色度濾波器。為了允許ALF定位，有兩種模式用於亮度像素來選擇濾波器。一種是基於區域的自適應(region-based adaptation，簡寫為RA)模式，另一種是基於塊的自適應(block-based adaptation，簡寫為BA)模式。RA模式將一張亮度圖像分為16個區域。一旦知道圖片大小，就確定並固定了16個區域。區域可以合併，合併後的每個區域都使用一個濾波器。BA模式將邊緣活動性和方向用作每個4x4塊的屬性。如第6圖所示，計算4×4塊(610)的特性需要5×5像素(612)。在計算出4×4塊的特性之後，將它們分為15類。類別可以合併，合併後每個類別將使用一個濾波器。至於色度分量，因為它們是相對平坦的，所以不使用局部適應，並且圖片的兩個分量共享一個濾波器。
在正在開發的新興VVC(通用視訊編解碼)標準中，已經公開了更靈活的ALF以改善性能。對於基於塊的分類，將一張圖片劃分為幾個4x4亮度塊，並為每個4x4亮度塊導出一個組索引(group index)。組索引用於從濾波器集中選擇亮度濾波器。為了減少濾波器係數所需的資料，可以基於一個4x4塊的特徵來旋轉濾波器係數，從而不需要傳輸某些係數。在VVC中，一個亮度濾波器組的ALF最多可使用25個組，這與基於梯度大小的5個活動級別和基於梯度方向的5個方向相關。不同的組可以共享一個濾波器，其中多個組可以合併為一個合併 的組，而一個合併的組則具有一個濾波器。
當基於LCU的處理用於DF、SAO和ALF時，整個解碼過程可以逐LCU在光柵掃描中以LCU流水線方式進行，以並行處理多個LCU。在這種情況下，DF、SAO和ALF需要行緩衝器(line buffer)，因為處理一個LCU行(row)需要上方LCU行中的像素。如果使用片外行緩衝器(例如DRAM)，則外部記憶體帶寬和功耗將增加；如果使用了片上行緩衝器(例如SRAM)，則芯片面積將增加。因此，儘管行緩衝器已經比圖像緩衝器小得多，但是仍然希望減少行緩衝器。
第7圖解釋了基於LCU解碼的DF、SAO和ALF所需的亮度行緩衝器的數量。給定當前的LCU(較低的H.LCU邊界710和左側的V.LCU邊界712)，首先通過水平DF，然後通過垂直DF處理行A-J。接下來，建議延遲行K-N的水平DF，直至下層LCU可用，以避免H-DF像素的行緩衝器用於行K-N的垂直DF，此時不能處理行K-N的水平DF，由於下層LCU尚不可用，並且DF在水平邊界的每一側需要四個DF前像素和四個H-DF像素，以分別導出濾波器參數和濾波，如4像素條紋(720)所示。因此，DF必須存儲四行(K-N)的DF前像素。接下來，將在DF輸出像素上應用SAO。由於行K-N的垂直DF不會改變行K，因此可以將水平DF附加應用在行K上用於SAO以處理行J，如3x3正方形(730)所示。請注意，行K的H-DF像素將不會存儲在行緩衝器中，而在下層LCU出現時必須再次生成，這在硬體上不是問題。在SAO處理行A-J之後，可以計算4x4塊屬性，如4x4正方形(740)所示。指示了5x5支撐區域(supporting area)(742)。此時，ALF可以處理行A-H。此後，在下方LCU(lower LCU)出現之前，無法對當前LCU做進一步的處理。當下方LCU到來時，首先由DF處理行K-P，然後由SAO處理行K-P。當SAO應用於行K時，需要行J。因此，必須為SAO存儲DF輸出像素的一行(J)。接下來，計算行I-P的4×4塊屬性。最後，ALP可以濾波行I-P。當行I被ALF濾波時，它需要行G-K，如濾波形狀(750)所示，其中指示了濾波中心(752)。但是，計算行I-J 的塊屬性仍需要行F-J。因此，必須為ALF存儲五行(F-J)SAO輸出像素。總體而言，整個迴圈濾波需要10個亮度行緩衝器。當考慮整個解碼系統時，由於幀內亮度預測已經存儲了DF前像素的一行(N)，因此可以共享該亮度行緩衝器。此外，如果濾波器索引行緩衝器可用於存儲行G-J的BA模式濾波器選擇，則在行I-J的濾波期間不必再次計算塊屬性。這樣，可以為ALF保留一行(F)SAO輸出像素。濾波器索引行緩衝器每4x4塊僅需要4位元，與像素行緩衝器相比僅約10%。
第8圖解釋了基於LCU解碼的DF、SAO和ALF所需的色度行緩衝器的數量。給定當前的LCU(H.LCU邊界810和V.LCU邊界812)，首先通過水平DF處理行A-M，然後通過垂直DF處理行A-L。接下來，建議延遲行N的水平DF，直到下方LCU出現為止，以便與幀內色度預測共享行N的DF前像素的行緩衝器。至於行M-N的垂直DF，它必須等待下方LCU。請回想一下，色度DF讀取兩個H-DF像素，並且可能在邊界的每一側寫入一個像素，如2像素條紋所示。因此，對於DF，必須存儲一行(M)的H-DF像素和一行(N)的DF前像素。接下來，將在DF輸出像素上應用SAO。由於行M-N的垂直DF將不會改變行M，因此行M的H-DF像素也是行M的DF輸出像素，並且SAO可以處理行L，如3×3正方形(830)所示。在SAO處理行A-L之後，ALF可以處理行A-J。此後，在下一個LCU出現之前，無法對當前LCU做進一步的處理。當下方LCU到來時，首先通過水平DF處理行N-P，然後通過垂直DF和SAO處理行M-P。當SAO處理行M時，需要行L。因此，必須為SAO存儲DF輸出像素的一行(L)。最後，ALF可以濾波行K-P。當行K被濾波時，它需要行I-M，如由具有濾波器中心(822)的濾波形狀(820)所示。因此，必須為ALF存儲四行SAO輸出像素(I-L)。總體而言，整個迴圈濾波需要七個色度行緩衝器。
虛擬邊界以減少行緩衝器的使用
為了消除SAO和ALF的行緩衝器要求，我們引入了虛擬邊界 (virtual boundary，簡寫為VB)的概念。如第9A圖所示，VB是水平LCU邊界向上移動了N個像素。在第9B圖中，VB是左移N個像素的垂直LCU邊界。對於每個LCU，SAO和ALF可以在下層LCU出現之前處理VB之上的像素，但在下層LCU出現之前無法處理VB之下的像素，這是由DF引起的。考慮到HM-4.0中的DF，建議的VB和水平LCU邊界之間的間隔設置為亮度為三個像素(即第9A圖和第9B圖中的N=3)和色度為一個像素(即在第9A圖和第9B圖中N=1)。對SAO和ALF進行了修改，以確保VB一側上的每個要處理的像素都不需要從VB另一側進行任何資料訪問，除非可以在不使用任何其他行緩衝器的情況下及時獲取資料。
在第11屆JVET會議上，下一代視訊編解碼標準(通用視訊編解碼(VVC))的草案中採用了基於4x4塊自適應的ALF。對於一個4x4的塊，需要一個8x8的窗口來計算塊的屬性，並且濾波器足跡(filter footprint)是1個7x7菱形濾波器(用於亮度)和一個5x5菱形濾波器(用於色度)。因此，所需的沒有虛擬邊界的行緩衝器是在4個亮度DF行緩衝器和2個色度DF行緩衝器之上附加的7個亮度行緩衝器和3個色度行緩衝器。虛擬邊界的概念仍然可以在VVC中應用，以減少行緩衝器的使用。在以上描述中，最大編解碼單元(LCU)在VVC中被重命名為編解碼樹單元(CTU)。但是，提出了一些修改以適合當前ALF設計的功能。
非線性ALF
在VTM3.0(VVC(通用視訊編解碼)測試模型3.0版)中，自適應迴圈濾波器的濾波過程如下執行：O(x,y)=Σ(i,j) w(i,j).I(x+i,y+j), (1)
在上式中，樣本I(x+i,y+j)是輸入樣本，O(x,y)是濾波後的輸出樣本(即濾波結果)，而w(i,j)表示濾波係數。由於ALF被應用於重建樣本，所以樣本I(x+i,y+j)對應於重建樣本。在ALF處理的中心位置處的中心重建像素對應於(i，j)=(0，0)，即I(i，j)。實際上，在VTM3.0中，它是使用整數算法實現 的定點精度計算(fixed point precision computation)：
Figure 109102352-A0305-02-0011-29
在上式中，L表示濾波器長度，其中w(i，j)是定點精度的濾波器係數。
可以如下重新編寫公式(1)，而不會影響編解碼效率：O(x,y)=I(x,y)+Σ(i,j)≠(0,0) w(i,j).(I(x+i,y+j)-I(x,y)), (3)
在上式中，w(i,j)是與公式(1)中相同的濾波器係數，除了w(0,0)，它在公式(3)中等於1，而在公示(1)中等於(1-Σ(i,j)≠(0,0) w(i,j))。
使用上面的公式(3)的濾波器公式，當相鄰樣本值(I(x+i,y+j))與正在被濾波的當前樣本值(I(x,y))完全不同時，我們可以通過使用簡單的限幅函數來減少相鄰樣本值(I(x+i,y+j))的影響，從而輕鬆地引入非線性以提高ALF的效率。
在JVET-M0385((J.Taquet等人，“Non-Linear Adaptive Loop Filter”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組(JVET)，第13次會議：馬薩諸塞州馬拉喀什，2019年1月9日至18日，文檔：JVET-M0385)中，公開了一種非線性ALF。它在測試軟體VTM3.0中對自適應迴圈濾波器的輸入樣本值引入了自適應限幅操作。這種自適應限幅的目的是引入一些非線性，以限制要濾波的輸入樣本值與該濾波器的其他相鄰輸入樣本值之間的差異。
根據JVET-M0385，對ALF濾波器的操作進行了如下修改：O'(x,y)=I(x,y)+Σ(i,j)≠(0,0) w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)), (4)
在上式中，O’(x,y)對應於修改後的ALF濾波器輸出，I(x，y)對應於ALF之前的樣本，K(d,b)=min(b,max(-b,d))是限幅函數，而k(i,j)是限幅 參數，它取決於(i,j)處的濾波器係數。編碼器執行優化以找到最佳的k(i,j)。如等式(4)所示，將限幅函數應用於差異(I(x+i,y+j)-I(x,y))，該差異對應於偏離中心(off-center)重建像素(即，I(x+i,y+j),(i,j)≠(0,0))和ALF的中心重建像素(即，I(x,y))之間的差異。根據等式(4)，差異(I(x+i,y+j)-I(x,y))由具有k(i,j)限幅參數的限幅函數限幅。在本公開中，項K(I(x+i,y+j)-I(x,y),k(i,j))被稱為限幅差(clipped difference)。換句話說，修改後的ALF輸出O'(x,y)包括限幅差的加權和(即，Σ(i,j)≠(0,0) w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)))。如等式(4)所示，將非中心濾波位置與中心重建像素之差(I(x+i,y+j)-I(x,y))的加權和修改為一個新項K(I(x+i,y+j)-I(x,y),k(i,j))。項(I(x+i,y+j)-I(x,y))被稱為非中心濾波位置與中心重建像素之間的原始差。
在根據JVET-M0385的實施方式中，為每個ALF濾波器指定限幅參數k(i,j)，其中每個濾波器係數發信一個限幅值。這意味著每個亮度濾波器在位元流中發信12個限幅值，而色度濾波器則發信6個限幅值。
為了限制信令成本和編碼器複雜性，限幅值被限制為JVET-M0385中的一小部分可能值。此外，僅將4個可能的值用於幀間切片，將3個可能的值用於幀內切片。
由於亮度的局部差異的方差通常比色度的高，因此亮度和色度濾波器使用了兩個不同的集合。此外，每個組中都包含最大樣本值，因此可以在不需要時禁用限幅。
表2提供了根據JVET-M0385提出的一組限幅值。
Figure 109102352-A0305-02-0012-2
Figure 109102352-A0305-02-0013-4
使用與集合中的限幅值的索引相對應的Golomb編碼在切片標頭中對限幅值進行編碼。
使用與集合中的限幅值的索引相對應的第k個指數Golomb編碼，在切片標頭中對限幅值進行編碼。
此外，僅當非中心係數為非零時，才發信相應的限幅值。換句話說，在對限幅值進行解碼之前，應首先重建濾波器係數。表3中提供了語法表。
Figure 109102352-A0305-02-0013-5
Figure 109102352-A0305-02-0014-7
Figure 109102352-A0305-02-0015-8
Figure 109102352-A0305-02-0016-10
使用虛擬邊界降低了ALF的緩衝器要求
在JVET-M0301((A.Kotra等人，“Non-CE：Loop filter line buffer reduction”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視訊探索小組(JVET)，第13次會議：馬薩諸塞州馬拉喀什，2019年1月9日至18日，文檔：JVET-M0301)中，公開了一種降低ALF(自適應迴圈濾波器)的行緩衝器需求的機制。該貢獻使用虛擬邊界(VB)的概念，虛擬邊界是向上移動“N”個樣本的水平CTU邊界。修改後的ALF塊分類和修改後的ALF濾波應用於虛擬邊界附近的樣本，以減少所需的行緩衝器數量。修改後的ALF塊分類僅使用VB之上的樣本對給定的4 x 4塊(VB之上)進行分類。類似地，對於VB以下的4×4塊的分類，使用了屬於VB以下的線的樣本。修改後的ALF濾波使用了原始ALF濾波器的條件禁用(conditional disabling)和截斷版本的組合。
在虛擬邊界處截斷的ALF濾波
濾波器的截斷版本用於對屬於接近虛擬邊界的行的亮度樣本進行濾波。濾波器的這些截斷版本可用於N=4和N=6的情況。同樣，濾波器的截短版本也用於色度ALF濾波。
除了ALF濾波的截斷版本以外，還考慮了有條件地禁用ALF濾波。
如果填充係數的絕對和大於閾值(T)乘以非填充係數的絕對和， 則對於那些相應的行禁用濾波器。第10圖示出了在虛擬邊界處的修改的亮度ALF濾波器處理的示例。第10A圖示出了用于行M濾波的修改後的ALF；第10B圖示出了用于行H濾波的修改後的ALF；第10C圖示出了用于行L濾波的修改後的ALF；第10D圖示出了用于行I濾波的修改後的ALF；第10E圖示出了用于行J濾波的修改後的ALF；第10F圖示出了用于行K濾波的修改後的ALF。
例如，對於行M和H，如果(2＊abs(c0)>(T＊(2＊(abs(c1)+abs(c2)+abs(c3)+abs(c4)+abs(c5)+abs(c6)+abs(c7)+abs(c8)+abs(c9)+abs(c10)+abs(c11))+abs(c12)))，則對於行M和H，禁用ALF濾波。
類似地，對於行L和I，如果(2＊(abs(c0)+abs(c1)+abs(c2)+abs(c3))>(T＊(2＊(abs(c4)+abs(c5)+abs(c6)+abs(c7)+abs(c8)+abs(c9)+abs(c10)+abs(c11))+abs(c12)))，則對於行L和I，禁用ALF濾波。
類似地，對於行J和K，如果(2＊(abs(c0)+abs(c1)+abs(c2)+abs(c3)+abs(c4)+abs(c5)+abs(c6)+abs(c7)+abs(c8))>(T＊(2＊(abs(c9)+abs(c10)+abs(c11))+abs(c12)))，則對於行J和K，禁用ALF濾波。
在上文中，T通常是閾值，其可以採用介於0和1之間的分數值。例如，T值可以是0.5、0.6或0.7。
第11圖示出了在虛擬邊界處的修改的色度ALF濾波器處理的示例。第11A圖示出了用於行N濾波的修改的ALF；第11B圖示出了用於行K濾波的修改後的ALF；第11C圖示出了用於行M濾波的修改後的ALF；第11D圖示出了用於行L濾波的修改後的ALF。
對於行N和K，如果(2＊abs(c0)>(T＊(2＊(abs(c1)+ abs(c2)+abs(c3)+abs(c4)+abs(c5))+abs(c6))))，則對於行N和K禁用ALF濾波。
對於行M和L，如果((2＊(abs(c0)+abs(c1)+abs(c2)+abs(c3))>(T＊(2＊(abs(c4)+abs(c5))+abs(c6))))，則對於行M和L禁用ALF濾波，其中函數abs(x)定義如下：
Figure 109102352-A0305-02-0018-11
公開了一種用於重建視訊的自適應迴圈濾波(ALF)處理的方法和裝置。根據該方法，接收重建像素，其中重建像素包括當前塊。根據ALF處理的中心位置處的中心重建像素的位元深度來確定用於ALF處理的一個或多個限幅值。導出當前塊的當前ALF輸出，其中當前ALF輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素和中心重建像素之間計算每個原始差，並根據對應的限幅值對每個原始差進行限幅，以形成一個限幅差。提供濾波後重建的像素，其中濾波後重建的像素包括當前的ALF輸出。
在一個實施例中，針對不同的位元深度使用不同的限幅值集合。在另一個實施例中，不同的限幅值集合被用於幀內和幀間編碼模式。在又一個實施例中，將不同的限幅值集用於重建的亮度像素和重建的色度像素。在一實施例中，重建的像素對應於亮度像素。在另一個實施例中，重建的像素對應於色度像素。限幅值可以在切片、圖塊或圖塊組中發信。
在一個實施例中，通過與將第一限幅值左移或右移N位元相對應的至少一個操作，從針對第二位元深度的第二限幅值中獲得針對第一位元深度的第一限幅值，並且N為一個正整數。
在一個實施例中，將ALF處理應用於編碼器側的重建像素。在另 一實施例中，將ALF處理應用於解碼器側的重建像素。
公開了用於重建視訊的自適應迴圈濾波(ALF)處理的另一種方法和裝置。根據該方法，為ALF處理確定一個或多個限幅值，其中即使目標限幅值為零，也總是在編碼器側發信目標限幅值或在解碼器側解析目標限幅值。
公開了用於重建視訊的自適應迴圈濾波(ALF)處理的另一種方法和裝置。根據該方法，確定一個或多個限幅值用於ALF處理，其中所述一個或多個限幅值在編碼器側被編碼或在解碼器側使用固定長度代碼被解碼。在一個實施例中，固定長度代碼對應於兩位元代碼。在另一個實施例中，固定長度代碼對應於截斷的一元代碼。
112:ME/MC
113:運動補償
114:開關
110:幀內預測
116:加法器
118:變換
120:量化
122:熵編碼器
124:逆量化
126:逆變換
128:重建
136:預測資料
134:參考圖片緩衝器
130:去塊濾波器
131:樣本自適應偏移
132:自適應迴圈濾波器
142:熵解碼器
210、220、610:塊
212、222、710、712、810、812:邊界
510、520、750、820:濾波形狀
612:5×5像素
720:4像素條紋
730、740:正方形
742:5x5支撐區域
752、822:濾波中心
1210、1220:濾波器
1310~1340、1414~1440、1510~1540:步驟
第1A圖示出了結合了DF、SAO和ALF迴圈處理的示例性自適應幀間/幀內視訊編解碼系統。
第1B圖示出了結合了DF、SAO和ALF迴圈處理的示例性自適應幀間/幀內視訊解碼系統。
第2圖示出了應用於8x8塊邊界以減小在塊邊界處的偽像的可見性的去塊濾波處理的示例，其中示出了垂直邊界和水平邊界。
第3圖示出了頻帶偏移(BO)的示例，其中像素強度範圍被均分為32個頻帶，並且為每個頻帶確定偏移值。
第4圖示出了對應於HEVC(高效視訊編解碼)標準中用於確定當前像素的類別以應用SAO(樣本自適應偏移)的0°、90°、135°及45°的邊緣偏移窗口。
第5圖示出了自適應迴圈濾波器(ALF)的示例，其中ALF具有兩個濾波器形狀選項，分別對應於亮度和色度的十字11x5和雪花5x5。
第6圖示出了在用於自適應迴圈濾波器(ALF)的塊自適應(BA)模式下4x4塊的邊緣屬性計算的示例。
第7圖示出了利用基於LCU的解碼進行DF、SAO和ALF所需的亮度行緩衝器數量的示例。
第8圖示出了利用基於LCU的解碼進行DF、SAO和ALF所需的色度行緩衝器數量的示例。
第9A圖示出了通過將水平LCU邊界向上移動N個像素而得到的VB的示例。
第9B圖示出了通過將垂直LCU邊界左移N個像素而得到的VB的示例。
第10圖示出了在虛擬邊界處的修改後的亮度ALF濾波器處理的示例，其中第10A圖示出了用於行M濾波的修改後的ALF；第10B圖示出了用於行H濾波的修改後的ALF；第10C圖示出了用於行L濾波的修改後的ALF；第10D圖示出了用於行I濾波的修改後的ALF；第10E圖示出了用於行J濾波的修改後的ALF；第10F圖示出了用於行K濾波的修改後的ALF。
第11圖示出了在虛擬邊界處的修改的色度ALF濾波器處理的示例。其中第11A圖示出了用於行N濾波的修改後的ALF；第11B圖示出了用於行K濾波的修改後的ALF；第11C圖示出了用於行M濾波的修改後的ALF；第11D圖示出了用於行L濾波的修改後的ALF。
第12圖示出了對於亮度分量的7x7濾波器和色度分量的5x5濾波器，具有相同顏色的樣本使用相同的限幅值的示例。
第13圖示出了根據本發明的實施例的示例性的重建視訊的ALF處理的流程圖，其中用於ALF處理的限幅值取決於被濾波的中心重建像素的位元深度。
第14圖示出了根據本發明實施例的重建視訊的示例性ALF處理的流程圖，其中即使在目標限幅值為零的情況下，也總是在編碼器側發信或在解碼器側解析目標限幅值。
第15圖示出了根據本發明實施例的重建視訊的示例性ALF處理的流程圖，其中限幅值在編碼器側被編碼或在解碼器側使用固定長度代碼被解碼。
以下描述是實施本發明的最佳構想模式。進行該描述是為了說明本發明的一般原理，而不應被認為是限制性的。本發明的範圍最好通過參考所附的申請專利範圍來確定。
方法1
在JVET-M0385中，提出了一種非線性ALF。它介紹了VTM3.0中自適應迴圈濾波器的濾波過程的自適應限幅操作。提出了四組/集合(set)不同的限幅值，並且使用集合中限幅值的索引在片段頭中對限幅值進行了編碼。四組的所有裁切值都是預定義的，並且裁切值集的選擇基於當前的編解碼模式(即幀內或幀間)和當前的編解碼顏色分量(即亮度或色度)。根據該方法，基於當前樣本值的位元深度，提出了一組自適應限幅值，其中，這些當前樣本值對應於ALF處理的中心位置處的中心重建像素。例如，存在四個不同的限幅值集合，並且每個集合的選擇可以基於當前編解碼模式和當前編解碼分量。例如，當當前樣本的位元深度等於10位元時，將四個剪切集值(clipping set value)設置為{10，102，1024}，{6，32，181，1024}，{4，24，1024}，和{4，25，161，1024}。當當前樣本的位元深度等於8位元時，所有剪切集值將右移2，即{10>>2，102>>2，1024>>2}，{6>>2，32>>2、181>>2、1024>>2}，{4>>2、24>>2、1024>>2}和{4>>2、25>>2、161>>2，1024>>2}。當當前樣本的位元深度等於12位元時，所有剪切設置值將左移2，即{10<<2，102<<2，1024<<2}，{6<<2，32<<2、181<<2、1024<<2}，{4<<2、24<<2、1024<<2}和{4<<2、25<<2、161<<2，1024<<2}。
在另一個實施例中，限幅值的可用數量可以基於當前樣本的位元深度而不同。例如，如果當前樣本的位元深度等於10位元，則將四組限幅值設計為{10，102，1024}，{6，32，181，1024}，{4，24，1024}和{4，25，161，1024}。但是，如果當前樣本的位元深度等於12位元，則只能使用大於100的限幅值。如果當前樣本的位元深度等於8位元，則只能使用小於100的限幅值。可以通過ALF濾波器係數在切片標頭、圖塊組標頭或自適應參數集處發信索引選擇。
方法2
在JVET-M0385中，為了發信限幅值，在切片、圖塊或圖塊組中，對於亮度分量附加12個參數，對於色度分量附加6個參數，因為亮度分量的濾波器足跡是對稱的7x7菱形濾波器，色度分量的濾波器足跡是對稱的5x5菱形濾波器。
根據該方法，減少發信的限幅值的數量。在一個實施例中，為了進一步減少發信的限幅值的數量，距中心位置相同距離的ALF濾波器中的樣本可以共享相同的限幅值。以此方式，僅需要發信用於亮度分量的三個附加參數和用於色度分量的兩個附加參數。例如，如第12圖所示，對於亮度分量的7×7濾波器1210和色度分量的5×5濾波器1220，具有相同顏色的樣本使用相同的限幅值。在另一實施例中，僅需要發信一個限幅值，並且可以通過添加偏移量或乘以比率來導出具有不同距離的其他限幅值，其中，通過比較不同距離處的限幅值與發信的限幅值來決定偏移量或比率。偏移量或比率可以是預定義的非零值，並且該值取決於QP、圖片分辨率、樣本位元深度，或者可以在切片、圖塊、圖塊組或自適應參數集中發信偏移或比率。
以上方法也可以用於導出色度ALF濾波器限幅值。在另一個實施例中，對於色度分量，可以基於亮度分量的限幅值來得出限幅值集合。色度 限幅集合可以直接重用亮度分量的限幅集合，也可以在重用後進行一些修改。例如，可以使用預定義的非零偏移或比率來微調用於色度的限幅值集合。色度限幅值可以取決於QP、圖片分辨率或樣本位元深度來確定偏移或比率。此外，可以在切片、圖塊、圖塊組或自適應參數集中直接發信偏移或比率。
在另一個實施例中，限幅技術也可以用於ALF濾波和當前樣本的輸出。ALF濾波器修改如下：
Figure 109102352-A0305-02-0023-12
在上式中，M(d,b)=min(b,max(-b,d))是限幅函數，m(i,j)是限幅參數，其取決於(i,j)濾波器係數。編碼器執行優化以找到最佳的m(i,j)。
限幅參數m(i,j)可以如上文所述的k(i,j)一樣，應用限幅值的所有修改。
在另一個實施例中，限幅技術只能用於ALF濾波和當前樣本的輸出。ALF濾波器修改如下：
Figure 109102352-A0305-02-0023-13
限幅參數m(i,j)可以如上文所述的k(i,j)一樣，應用限幅值的所有修改。
方法3
在JVET-M0385中，僅當非中心係數不為零時，才會發信相應的 限幅值。換句話說，在對限幅值進行解碼之前，應首先重建濾波器係數。但是，這將引入一些延遲或解析吞吐量問題。為了解決該問題，提出了以下方法。在一個實施例中，即使非中心係數為零，也總是發信相應的限幅值。在另一個實施例中，當如表4的示例性語法表中所示使用由alf_luma_coeff_delta_prediction_flag表示的濾波器係數預測時，總是發信相應的限幅值(即，alf_luma_clip_idx[][])。但是，如果未啟用濾波器係數預測，則將有條件地發信相應的限幅值。如表4所示，僅當filterCoefficients[sigFiltIdx][j]或alf_luma_coeff_delta_prediction_flag不為零時，才發信alf_luma_clip_idx[sigFiltIdx][j]。
Figure 109102352-A0305-02-0024-14
Figure 109102352-A0305-02-0025-16
當允許固定的濾波器集合時，在固定的濾波器中定義的濾波器係數也可以用於預測濾波器係數。因此，發信限幅值的標準也應考慮這一因素。在表5中示出了包含實施例的示例性語法表。因此，當啟用濾波器係數預測時(即，預測子是由(alf_luma_use_fixed_filter_flag && alf_luma_fixed_filter_usage[filtidx])指示的一個固定濾波器或由alf_luma_coeff_delta_prediction_flag指示的先前發信的濾波器)，則總是發信限幅值。如果禁用了濾波器係數預測，則當濾波器係數不為零時發信限幅值。
Figure 109102352-A0305-02-0025-17
Figure 109102352-A0305-02-0026-18
在另一個實施例中，發信限幅值的語法被簡化。使用表6中的u(2)，用一個固定長度代碼(fixed-length code)替代第k階指數Golomb代碼，例如如表6和表7中的示例語法表所示的兩位元(即，使用表6中的u(2)的alf_luma_clip_idx[][]和alf_chroma_clip_idx[]，其中u(u)表示使用2位元的無正負號整數(unsigned integer))或截斷的一元代碼(即，使用表7中的tu(v)的alf_luma_clip_idx[][]和alf_chroma_clip_idx[]，其中tu(v)表示截斷的一元代碼，其最多使用maxVal位元，其中語法元素的語義中定義了maxVal)，其中灰色區域中的文本對應於已刪除的文本。
Figure 109102352-A0305-02-0026-19
Figure 109102352-A0305-02-0027-20
Figure 109102352-A0305-02-0028-22
Figure 109102352-A0305-02-0028-23
Figure 109102352-A0305-02-0029-24
可以在編碼器和/或解碼器中實現任何上述提議的方法。例如，可以在編碼器和/或解碼器的迴圈濾波模塊中實現任何所提出的方法。可替代地，任何提出的方法可以被實現為耦合到編碼器和/或解碼器的迴圈濾波模塊的電路。
第13圖示出了根據本發明的實施例的示例性的重建視訊的ALF處理的流程圖，其中用於ALF處理的限幅值取決於被濾波的中心重建像素的位元 深度。流程圖中示出的步驟可以被實現為在編碼器側的一個或多個處理器(例如，一個或多個CPU)上可執行的程序代碼。流程圖中所示的步驟也可以基於硬體來實現，例如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器。根據該方法，在步驟1310中接收重建像素，其中，重建像素包括當前塊。在步驟1320中，根據ALF處理的中心位置處的中心重建像素的位元深度，確定一個或多個限幅值用於ALF處理。在步驟1330中，為當前塊導出當前ALF輸出，其中當前ALF輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅每個原始差，以形成一個限幅差(clipped difference)。在步驟1340中提供濾波後的重建像素，其中濾波後的重建像素包括當前的ALF輸出。
第14圖示出了根據本發明實施例的重建視訊的示例性ALF處理的流程圖，其中即使在目標限幅值為零的情況下，也總是在編碼器側發信目標限幅值或在解碼器側解析目標限幅值。根據該方法，在步驟1410中接收重建像素，其中，重建像素包括當前塊。在步驟1420中，為ALF處理確定一個或多個限幅值，其中即使目標限幅值為零，也總是在編碼器側發信目標限幅值或在解碼器側解析目標限幅值。在步驟1430中，為當前塊導出當前ALF輸出，其中，當前ALF輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅每個原始差，以形成一個限幅差。在步驟1440中提供濾波後的重建像素，其中濾波後的重建像素包括當前的ALF輸出。
第15圖示出了根據本發明實施例的重建視訊的示例性ALF處理的流程圖，其中使用固定長度代碼在編碼器側編碼限幅值或在解碼器側解碼限幅值。根據該方法，在步驟1510中接收重建像素，其中，重建像素包括當前塊。在步驟1520中為ALF處理確定一個或多個限幅值，其中使用固定長度碼在編碼 器側編碼所述一個或多個限幅值或在解碼器側解碼所述一個或多個限幅值。在步驟1530中，為當前塊導出當前ALF輸出，其中，當前ALF輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅每個原始差，以形成一個限幅差。在步驟1540中提供濾波後的重建像素，其中濾波後的重建像素包括當前的ALF輸出。
所示的流程圖旨在說明根據本發明的視訊編解碼的示例所屬領域具有通常知識者可以在不脫離本發明的精神的情況下修改每個步驟、重新佈置步驟、拆分步驟或組合步驟以實施本發明。在本公開中，已經使用特定的語法和語義來說明用於實現本發明的實施例的示例。所屬領域具有通常知識者可以通過用等效的語法和語義替換語法和語義來實踐本發明，而不脫離本發明的精神。
呈現以上描述是為了使所屬領域具有通常知識者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於所屬領域具有通常知識者將是顯而易見的，並且本文中定義的一般原理可以應用於其他實施例。因此，本發明並不旨在限於所示出和描述的特定實施例，而是與和本文所公開的原理和新穎特徵相一致的最廣範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，所屬領域具有通常知識者將理解可以實施本發明。
如上所述的本發明的實施例可以以各種硬體、軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式代碼。本發明的實施例還可以是要在數位信號處理器(DSP)上執行以執行本文描述的處理的程式代碼。本發明還可涉及由計算機處理器、數位信號處理器、微處理器或 現場可編程門陣列(FPGA)執行的許多功能。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。可以以不同的編程語言和不同的格式或樣式來開發軟體代碼或固件代碼。也可以為不同的目標平台編譯軟體代碼。然而，不同的代碼格式、軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式來體現。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。落入申請專利範圍等同含義和範圍內的所有改變均應包含在其範圍之內。
1310~1340:步驟

Claims (19)

  1. 一種用於重建視訊的自適應迴圈濾波處理的方法，該方法包括： 接收多個重建像素，其中，該多個重建像素包括當前塊； 根據在該自適應迴圈濾波處理的中心位置處的中心重建像素的位元深度來確定用於該自適應迴圈濾波處理的一個或多個限幅值； 為該當前塊導出當前自適應迴圈濾波輸出，其中該當前自適應迴圈濾波輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅該每個原始差，以形成一個限幅差；以及 提供濾波後的重建像素，其中該濾波後的重建像素包括該當前自適應迴圈濾波輸出。
  2. 如申請專利範圍第1項所述之方法，其中不同的限幅值集合被用於不同的位元深度。
  3. 如申請專利範圍第1項所述之方法，其中，不同的限幅值集合用於幀內和幀間編解碼模式。
  4. 如申請專利範圍第1項所述之方法，其中，不同的限幅值集合用於重建的亮度像素和重建的色度像素。
  5. 如申請專利範圍第1項所述之方法，其中，通過與將第一限幅值左移或右移N位元相對應的至少一個操作，從針對第二位元深度的第二限幅值中獲得針對第一位元深度的該第一限幅值，其中N為正整數。
  6. 如申請專利範圍第1項所述之方法，其中，該重建像素對應於亮度像素。
  7. 如申請專利範圍第1項所述之方法，其中，該重建像素對應於色度像素。
  8. 如申請專利範圍第1項所述之方法，其中，該自適應迴圈濾波處理在編碼器側被應用於該重建像素。
  9. 如申請專利範圍第1項所述之方法，其中，該自適應迴圈濾波處理在解碼器側被應用於該重建像素。
  10. 如申請專利範圍第1項所述之方法，其中，該一個或多個限幅值在切片、圖塊或圖塊組中發信。
  11. 一種用於重建視訊的自適應迴圈濾波處理的裝置，該裝置包括一個或多個電子電路或處理器，其被佈置為： 接收多個重建像素，其中，該多個重建像素包括當前塊； 根據在該自適應迴圈濾波處理的中心位置處的中心重建像素的位元深度來確定用於該自適應迴圈濾波處理的一個或多個限幅值； 為該當前塊導出當前自適應迴圈濾波輸出，其中該當前自適應迴圈濾波輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅該每個原始差，以形成一個限幅差；以及 提供濾波後的重建像素，其中該濾波後的重建像素包括該當前自適應迴圈濾波輸出。
  12. 一種用於重建視訊的自適應迴圈濾波處理的方法，該方法包括： 接收多個重建像素，其中，該多個重建像素包括當前塊； 為該自適應迴圈濾波處理確定一個或多個限幅值，其中即使目標限幅值為零，也總是在編碼器側發信該目標限幅值或在解碼器側解析該目標限幅值； 為該當前塊導出當前自適應迴圈濾波輸出，其中該當前自適應迴圈濾波輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅該每個原始差，以形成一個限幅差；以及 提供濾波後的重建像素，其中該濾波後的重建像素包括該當前自適應迴圈濾波輸出。
  13. 如申請專利範圍第12項所述之方法，其中，該一個或多個限幅值在切片、圖塊或圖塊組中發信。
  14. 一種用於重建視訊的自適應迴圈濾波處理的裝置，該裝置包括一個或多個電子電路或處理器，用於：接收多個重建像素，其中，該多個重建像素包括當前塊； 為該自適應迴圈濾波處理確定一個或多個限幅值，其中即使目標限幅值為零，也總是在編碼器側發信該目標限幅值或在解碼器側解析該目標限幅值； 為該當前塊導出當前自適應迴圈濾波輸出，其中該當前自適應迴圈濾波輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅該每個原始差，以形成一個限幅差；以及 提供濾波後的重建像素，其中該濾波後的重建像素包括該當前自適應迴圈濾波輸出。
  15. 一種用於重建視訊的自適應迴圈濾波處理的方法，該方法包括： 接收多個重建像素，其中，該多個重建像素包括當前塊； 為該自適應迴圈濾波處理確定一個或多個限幅值，使用固定長度代碼在編碼器側發信該一個或多個限幅值或在解碼器側解析該一個或多個限幅值； 為該當前塊導出當前自適應迴圈濾波輸出，其中該當前自適應迴圈濾波輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅該每個原始差，以形成一個限幅差；以及 提供濾波後的重建像素，其中該濾波後的重建像素包括該當前自適應迴圈濾波輸出。
  16. 如申請專利範圍第15項所述之方法，其中，該固定長度代碼對應於兩位元代碼。
  17. 如申請專利範圍第15項所述之方法，其中，該固定長度代碼對應於截斷的一元代碼。
  18. 如申請專利範圍第15項所述之方法，其中，該一個或多個限幅值在切片、圖塊或圖塊組中發信。
  19. 一種用於重建視訊的自適應迴圈濾波處理的裝置，所述裝置包括一個或多個電子電路或處理器，其被佈置為： 接收多個重建像素，其中，該多個重建像素包括當前塊； 為該自適應迴圈濾波處理確定一個或多個限幅值，使用固定長度代碼在編碼器側發信該一個或多個限幅值或在解碼器側解析該一個或多個限幅值； 為該當前塊導出當前自適應迴圈濾波輸出，其中該當前自適應迴圈濾波輸出包括原始差的限幅差的加權和，並且在非中心濾波位置處的第一重建像素與中心重建像素之間計算每個原始差，並且其中，根據相應的限幅值限幅該每個原始差，以形成一個限幅差；以及 提供濾波後的重建像素，其中該濾波後的重建像素包括該當前自適應迴圈濾波輸出。
TW109102352A 2019-01-25 2020-01-22 視訊編碼之非線性適應性迴圈濾波方法和裝置 TWI737137B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962796608P 2019-01-25 2019-01-25
US62/796,608 2019-01-25
US201962832349P 2019-04-11 2019-04-11
US62/832,349 2019-04-11
WOPCT/CN2020/073567 2020-01-21
PCT/CN2020/073567 WO2020151714A1 (en) 2019-01-25 2020-01-21 Method and apparatus for non-linear adaptive loop filtering in video coding

Publications (2)

Publication Number Publication Date
TW202034701A TW202034701A (zh) 2020-09-16
TWI737137B true TWI737137B (zh) 2021-08-21

Family

ID=71735436

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109102352A TWI737137B (zh) 2019-01-25 2020-01-22 視訊編碼之非線性適應性迴圈濾波方法和裝置

Country Status (6)

Country Link
US (2) US11477448B2 (zh)
EP (1) EP3915253A4 (zh)
KR (1) KR20210117327A (zh)
CN (1) CN113785569B (zh)
TW (1) TWI737137B (zh)
WO (1) WO2020151714A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210151248A (ko) * 2019-05-04 2021-12-13 후아웨이 테크놀러지 컴퍼니 리미티드 적응 루프 필터를 사용하는 인코더, 디코더 및 대응하는 방법들
US11418779B2 (en) * 2019-06-11 2022-08-16 Qualcomm Incorporated Clipping indices coding for adaptive loop filter in video coding
CN115604488A (zh) * 2019-06-25 2023-01-13 北京大学（Cn） 环路滤波的方法与装置
EP4429242A2 (en) * 2019-12-28 2024-09-11 Beijing Dajia Internet Information Technology Co., Ltd. In-loop filters for video coding
US12120301B2 (en) 2020-09-30 2024-10-15 Qualcomm Incorporated Constraining operational bit depth of adaptive loop filtering for coding of video data at different bit depth
US11750846B2 (en) * 2021-03-22 2023-09-05 Tencent America LLC Method and apparatus for video filtering
CA3226754A1 (en) * 2021-08-06 2023-02-09 Samsung Electronics Co., Ltd. Device and method for ai-based filtering of image
WO2024017200A1 (en) * 2022-07-18 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with tap constraints for video coding
WO2024016983A1 (en) * 2022-07-20 2024-01-25 Mediatek Inc. Method and apparatus for adaptive loop filter with geometric transform for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017201011A1 (en) * 2016-05-16 2017-11-23 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
WO2012094750A1 (en) 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
US9807395B2 (en) * 2011-01-18 2017-10-31 Dolby International Ab Video decoder with reduced dynamic range transform with inverse transform shifting memory
US9277228B2 (en) 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
US9432700B2 (en) 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
CN107071436A (zh) 2011-11-08 2017-08-18 株式会社Kt 对视频信号进行解码的方法
US10708622B2 (en) * 2011-12-20 2020-07-07 Texas Instruments Incorporated Adaptive loop filtering (ALF) for video coding
US9596463B2 (en) 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
JP6345650B2 (ja) 2013-04-05 2018-06-20 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法
KR102124714B1 (ko) * 2015-09-03 2020-06-19 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치
US20190045224A1 (en) 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
EP3297282A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and apparatus for video coding with adaptive clipping
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
US10469876B2 (en) 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US10419758B2 (en) 2017-03-16 2019-09-17 Mediatek Inc. Non-local adaptive loop filter processing
EP3606077A4 (en) 2017-03-22 2021-01-06 Industry - University Cooperation Foundation Hanyang University LOOP FILTERING PROCESS ACCORDING TO AN ADAPTIVE PIXEL CLASSIFICATION STANDARD
CN116781893A (zh) * 2017-07-05 2023-09-19 艾锐势有限责任公司 对视频编码、解码的方法和计算机可读存储器或存储装置
WO2019135655A1 (ko) * 2018-01-08 2019-07-11 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017201011A1 (en) * 2016-05-16 2017-11-23 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jonathan Taquet et.al, Non-Linear Adaptive Loop Filter, JVET-M0385, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019 *

Also Published As

Publication number Publication date
US11477448B2 (en) 2022-10-18
TW202034701A (zh) 2020-09-16
US11909965B2 (en) 2024-02-20
US20220394246A1 (en) 2022-12-08
US20220094919A1 (en) 2022-03-24
KR20210117327A (ko) 2021-09-28
EP3915253A4 (en) 2022-11-09
EP3915253A1 (en) 2021-12-01
CN113785569B (zh) 2023-09-08
WO2020151714A1 (en) 2020-07-30
CN113785569A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
TWI737137B (zh) 視訊編碼之非線性適應性迴圈濾波方法和裝置
TWI738092B (zh) 減少環路濾波緩衝器的方法及裝置
CN113994670B (zh) 具有虚拟边界的跨分量自适应环路滤波的视频编解码方法及装置
TWI751703B (zh) 視訊編解碼之方法和裝置
EP4022914A1 (en) Method and apparatus for adaptive loop filtering at picture and sub-picture boundary in video coding
CN114710977B (zh) 用于视频编解码的方法及其装置
CN114885158B (zh) 位置相关预测组合的模式相关和大小相关块级限制的方法和装置
CN103947208A (zh) 减少解块滤波器的方法及装置
KR20210021577A (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
CN112514401A (zh) 环路滤波的方法与装置
US20220094937A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
CN114598873B (zh) 量化参数的解码方法和装置
RU2783342C1 (ru) Способ и устройство для нелинейной адаптивной контурной фильтрации при кодировании видео
TW202420816A (zh) 視頻編解碼的相依量化的視頻編解碼的方法和裝置