TW201820866A - 用以移除漣漪效應之平滑化濾波方法和裝置 - Google Patents

用以移除漣漪效應之平滑化濾波方法和裝置 Download PDF

Info

Publication number
TW201820866A
TW201820866A TW106135229A TW106135229A TW201820866A TW 201820866 A TW201820866 A TW 201820866A TW 106135229 A TW106135229 A TW 106135229A TW 106135229 A TW106135229 A TW 106135229A TW 201820866 A TW201820866 A TW 201820866A
Authority
TW
Taiwan
Prior art keywords
current
block
reconstruction
smoothing filter
filter
Prior art date
Application number
TW106135229A
Other languages
English (en)
Other versions
TWI669942B (zh
Inventor
蘇郁琪
莊子德
陳慶曄
徐志瑋
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201820866A publication Critical patent/TW201820866A/zh
Application granted granted Critical
Publication of TWI669942B publication Critical patent/TWI669942B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開一種使用漣漪平滑化濾波器的視訊編解碼的方法及裝置。根據一方法，將漣漪平滑化濾波器應用到複數個重構殘差以形成複數個已平滑重構殘差，或者將漣漪平滑化濾波應用到已環內濾波重構塊以形成已平滑濾波重構塊，以用於當前塊，其中漣漪平滑化濾波器對應於邊緣保持濾波器。漣漪平滑化濾波器亦可以對應於雙邊濾波器。根據另一方法，基於包括畫面內預測模式或者畫面間預測模式的資訊推導出適應性的漣漪平滑化濾波器。在又一方法中，基於一個或複數個控制旗標判斷是否將漣漪平滑化濾波器應用到當前圖像中的當前塊。如果控制旗標表示漣漪平滑化濾波器處於開啟狀態以用於當前塊，則將漣漪平滑化濾波器應用到當前塊。

Description

用以移除漣漪效應之平滑化濾波方法和裝置 【相關申請的交叉引用】
本申請主張2016年10月14日提出的申請號為62/408,145的美國臨時專利申請以及2016年10月20日提出的申請號為62/410,416的美國臨時專利申請的優先權。這些美國臨時專利申請整體以引用方式併入本文。
本發明涉及平滑化濾波以移除視訊編解碼中的漣漪效應(ringing artefact)。具體而言，本發明公開了基於重構視訊資料的特徵或者相關編解碼參數的適應性的漣漪平滑化濾波器(ringing smoothing filter，RSF)以提高編解碼性能。此外，RSF可以被應用到殘差、重構資料或者已濾波重構資料。
高效率視訊編碼(High Efficiency Video Coding，HEVC)標準是在ITU-T的視訊編碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC的運動圖像專家組(Moving Picture Experts Group，MPEG)標準化組織的聯合視訊專案下開發出來的，這個合作關係被特別的稱為視訊編碼聯合協作小組(Joint Collaborative Team on Video Coding，JCT-VC)的夥伴關係。在HEVC中。將一個片段(slice)分割成複數個編碼 樹單元(coding tree unit，CTU)。在主配置文件(profile)中，CTU的最小尺寸和最大尺寸由序列參數集(sequence parameter set，SPS)中的語法元素來指定。所允許的CTU尺寸可以是8x8,16x16,32x32或者64x64。對於每個片段而言，根據光柵掃描順序來處理該片段內的CTU。
CTU進一步被分割成複數個編碼單元(coding unit，CU)，以適應不同的局部特性。表示為編碼樹的四叉樹用於將CTU分割成複數個CU。CTU尺寸為MxM，其中M為64，32或者16中的一個。CTU可以是單個CU(即，不分割)，或者被分割成四個具有相同尺寸(即，每個尺寸為M/2xM/2)的更小單元，其對應於編碼樹的節點。另外，根據HEVC，每個CU可以被分割成一個或複數個預測單元(prediction unit，PU)。結合CU，PU用作基礎表示塊，以用於共用預測資訊。在每個PU內部，相同的預測流程被使用，並且基於PU，相關資訊被發送至解碼器。根據PU分割類型，一個CU可以被分割成1個、2個或者4個PU。在預測流程基於PU分割類型而得到殘差塊之後，根據類似於CU的編碼樹的另一四叉樹結構，CU的預測殘差可以被分割成變換塊(transform unit，TU)。隨後，2D變換被應用到TU，以用於進一步的編解碼流程。
第1A圖示出了包括基於HEVC的環內濾波流程的示例性的適應性的畫面間/畫面內視訊編解碼系統。對於畫面間/畫面內預測(即100)，其基於存儲在資訊框暫存器180中的輸入資訊框和之前編解碼資料，用於生成預測資料。透過自輸入資料中減去預測資料，使用加法器115，輸入資料與預測 資料之間的差被生成。這差也被稱為預測誤差、殘差(residual)或者殘餘(residue)，其隨後由變換(Transform，T)與量化(Quantization，Q)120處理，已變換與已量化殘差隨後由熵編碼器130編碼，以生成對應於已壓縮視訊資料的視訊位元流。與繪圖區域(第1A圖中未顯性示出)相關的諸如運動、編解碼模式和其他輔助資訊(side information)的輔助資訊，與變換係數相關的位元流隨後被封裝。
當畫面間/畫面內預測被使用時，編碼器側也得生成重構資料。因此，已變換與已量化殘差由逆量化(Inverse Quantization，IQ)與逆變換(Inverse Transformation，IT)140處理，以恢復殘差。隨後，使用重構單元(Reconstruction unit，REC)150，殘差被加回到預測資料，以形成重構視訊資料。由於在編碼系統中視訊資料經過一系列處理，來自於REC 150的重構視訊資料可能會受到由於一系列的編解碼流程而引起的各種損失的影響。因此，包括去塊濾波器(deblocking filter，DF)160和樣本適應性偏移(Sample Adaptive Offset，SAO)170的環內濾波器已在HEVC標準中被使用，以提供視覺品質，或者降低位元速率。隨後，重構視訊資料被存儲在資訊框暫存器180中，以推導出畫面內預測子/畫面間預測子以用於後續編解碼流程。
第1B圖示出了用於第1A圖中的編碼器的相應的視訊解碼器的系統結構示意圖。由於編碼器也包括本地解碼器以用於對視訊資料進行重構，除了熵解碼器132之外，一些解碼器元件已在編碼器中被使用。此外，雖然在編碼器側處運動 估計和運動補償均被需要以用於畫面內/畫面間預測110，但是在解碼器側處僅運動補償被需要以用於畫面內/畫面間預測112。自SAO 170的環內濾波輸出可以用作已解碼視訊輸出。
最近，雙邊濾波器(Bilateral filter)已由Paris等(“Bilateral Filtering：Theory and Applications,Foundations and Trends in Computer Graphics and Vision,Vol.4,No.1(2008),pp 1-73)公開，以在保護圖像中的邊緣和重要細節時降低雜訊和偽影。
為了進一步提高編解碼性能，本發明中公開了各種改善的濾波技術。
本發明公開了使用漣漪平滑化濾波器的視訊編解碼的方法及裝置。根據本發明，接收與當前圖像相關的輸入資料。自輸入資料推導出對應於與當前圖像中與當前塊相關的複數個重構殘差的已去量化與已逆變換資料。將漣漪平滑化濾波器應用到複數個重構殘差以形成複數個已平滑重構殘差，或者將漣漪平滑化濾波應用到已環內濾波重構塊以形成已平滑濾波重構塊，以用於當前塊，其中漣漪平滑化濾波器對應於一邊緣保持濾波器。透過採用複數個已平滑重構殘差或者已平滑濾波重構塊，生成一最終重構塊以用於當前塊。可以將最終重構塊存儲在一暫存器中，用作編碼器側中複數個後續圖像的預測的參考資料，或者將最終重構塊用作解碼器側中用於當前重構圖像的輸出。漣漪平滑化濾波器可以對應於一雙邊濾波器。
在一個實施例中，以相同的方式在編碼器側處與解碼器側處估計與漣漪平滑化濾波器相關的複數個參數，以使得無需從編碼器側發送複數個參數到解碼器側。例如，基於編解碼資訊、與當前圖像相關的重構殘差的特徵、當前重構圖像的特徵或者其組合，估計複數個參數。
在解碼器側處，輸入資料可以對應於包括當前圖像的已壓縮資料的位元流。在解碼器側處，透過將熵解碼應用到位元流，自輸入資料推導出已去量化與已逆變換資料。隨後，將逆變換與去量化應用到複數個已變換與已量化殘差上以形成重構殘差。在編碼器側處，輸入資料可以對應於當前圖像的像素資料。隨後，將畫面間預測或畫面內預測應用到當前圖像中的當前塊以生成與當前塊相關的複數個殘差。將變換和量化應用到複數個殘差以推導出複數個已變換與已量化殘差。隨後，將逆變換和去量化應用到複數個已變換與已量化殘差以形成複數個重構殘差。
根據另一方法，基於包括畫面內預測模式或者畫面間預測模式的資訊，確定一漣漪平滑化濾波器，其中漣漪平滑化濾波器對應於一邊緣保持濾波器。隨後，將漣漪平滑化濾波器應用到複數個重構殘差以形成已平滑重構殘差，將漣漪平滑化濾波器應用到當前重構塊以形成當前已平滑重構塊，或者將漣漪平滑化濾波器應用到當前已環內濾波重構塊以形成當前已平滑濾波重構塊。透過採用複數個已平滑重構殘差、當前已平滑重構塊或者已平滑濾波重構塊，生成一最終當前重構塊。在一個實施例中，如果當前塊以垂直畫面內預測模式或者 水平畫面內模式而被編解碼，則漣漪平滑化濾波器被配置為一維濾波器。在另一個實施例中，根據當前塊的預測模式，估計漣漪平滑化濾波器的複數個係數和覆蓋區(footprint)。在又一個實施例中，不同的漣漪平滑化濾波器用於當前塊的亮度塊和色度塊。在又一個實施例中，如果當前塊被畫面內預測編解碼，則調整漣漪平滑化濾波器的複數個係數和漣漪平滑化濾波器的覆蓋區的形狀，以適合當前畫面內預測的角度方向。在又一個實施例中，根據編解碼資訊，配置漣漪平滑化濾波器的濾波器尺寸，其中編解碼資訊包括量化參數、變換單元中的位置、編碼樹單元、預測單元或者變換單元的尺寸、預測模式或者其組合。在又一個實施例中，僅將漣漪平滑化濾波器應用到水平方向或者垂直方向上每N個待濾波樣本中的一個，其中N為正整數。在又一個實施例中，漣漪平滑化濾波器採用當前中心樣本的複數個子採樣相鄰樣本，以推導出用於當前塊的已平滑當前樣本。在又一個實施例中，應用漣漪平滑化濾波器包括將複數個已漣漪平滑化濾波器濾波樣本與複數個未濾波樣本進行組合。此外，本發明也公開了推導出歸一化權重參數的方程式。
在又一方法中，推導出關於是否將漣漪平滑化濾波器應用到當前圖像中的當前塊的一個或複數個控制旗標。如果控制旗標指示將漣漪平滑化濾波器應用到當前塊，則將漣漪平滑化濾波器應用到當前塊。
110、112‧‧‧畫面內/畫面間預測
115‧‧‧加法器
120‧‧‧變換與量化
130‧‧‧熵編碼器
132‧‧‧熵解碼器
140‧‧‧逆量化與逆變換
150‧‧‧重構單元
160‧‧‧去塊濾波器
170‧‧‧樣本適應性偏移
180‧‧‧資訊框暫存器
210、310、410、510‧‧‧漣漪平滑化濾波器
610、620‧‧‧3x3視窗
810~850‧‧‧步驟
910~960‧‧‧步驟
1010~1050‧‧‧步驟
第1A圖是包括基於HEVC的環內濾波流程的示例性的適應性畫面間/畫面內視訊編解碼系統。
第1B圖是用於第1A圖中的編碼器的相應的視訊解碼器的系統結構示意圖。
第2圖是具有被應用到殘差的RSF的基於第1A圖中的HEVC編碼器的編碼器的示例性結構示意圖。
第3A圖-第3C圖是具有被應用到位於不同位置處的重構資訊框的RSF的HEVC的結構示意圖的示例。在第3A圖中，RSF被放置在重構(即重構殘差加預測)之後和DF之前。在第3B圖中，RSF 310被放置在DF與SAO之間。
在第3C圖中，RSF 310被放置在SAO之後。本發明也可以被應用到其他編碼器，例如包括其他位於SAO之後的環內濾波器(例如，適應性環路濾波器(adaptive loop filter，ALF))的編碼器。在本情況中，RSF 310可以被應用到其他環內濾波器或者在輸出到資訊框暫存器之前被立即應用。
第4圖是具有被應用到殘差的RSF的基於第1B圖中的HEVC解碼器的解碼器的示例性結構示意圖。
第5A圖-第5C圖是基於具有被應用到位於不同位置處的重構資訊框的RSF的HEVC的結構示意圖的示例。在第5A圖中，RSF被放置在重構單元(即重構殘差加預測)與DF之間。在第5B圖中，RSF被放置在DF與SAO之間。在第5C圖中，RSF被放置在SAO之後。
第6圖是內核尺寸為3x3且“步幅”=2的RSF中的濾波器的示例。
第7圖是內核尺寸為3x3且子採樣距離等於2的RSF的示例。
第8圖是根據本發明一實施例的使用漣漪平滑化濾波器的示例性編解碼系統的流程圖。
第9圖是根據本發明一實施例的使用漣漪平滑化濾波器的示例性編解碼系統的流程圖，其中RSF被適應性推導出。
第10圖是根據本發明一實施例的使用漣漪平滑化濾波器的示例性編解碼系統的流程圖，其中RSF根據控制旗標而被應用。
以下描述為實施本發明的較佳實施例。本描述用於示出本發明的一般原理，並非用以限定作用。本發明的保護範圍當視所附上的申請專利範圍所界定為准。
如上所述，編解碼流程經常在重構視訊中引起偽影。例如，基於編解碼結構的塊經常引起塊邊界周圍的塊效應。因此，去塊濾波器已被使用以去除塊效應。同樣地，編解碼流程也可能引起重構視訊中的強度偏移。因此，SAO已被使用以補償強度偏移。在重構視訊中，也存在另一種偽影的類型，即“漣漪效應”，其由圖像中的尖銳過渡引起，例如強邊緣和線。這些強邊緣和線被變換成頻域表示中的很多係數。量化流程引入了這些係數的失真。當已量化係數被逆變換以重構這 些邊緣或者線時，稱為漣漪效應的波形偽影或者波紋結構，在附近區域中可見。
在本發明中，漣漪平滑化濾波器被公開以進一步移除或者降低漣漪效應，以便提高更好品質和/或提高編解碼性能。RSF被放置在逆變換之後的重構路徑的位置處，以補償編碼器和解碼器中的殘差或者已解碼資訊框。
根據本發明，RSF可以是任何種類的邊緣保持(edge-preserving)濾波器，其被應用到殘差或者重構資訊框，以移除由量化誤差引起的漣漪效應。Paris等(“Bilateral Filtering：Theory and Applications,Foundations and Trends in Computer Graphics and Vision,Vol.4,No.1(2008),pp 1-73)公開的雙邊濾波器旨在保護圖像中的邊緣和重要細節時降低雜訊和偽影。雙邊濾波器是一個較好的邊緣保持濾波器以用於RSF。為了減少從編碼器發送至解碼器的RSF的輔助資訊，基於重構資訊框的編解碼資訊和特徵屬性，RSF中所使用的雙邊濾波器或者任何其他邊緣保持濾波器的參數可以被估計。
第2圖示出了具有被應用到位於逆變換之後的殘差的RSF且基於第1A圖中的HEVC編碼器的編碼器的示例性結構示意圖。在本情況中，RSF 210被執行以用於每個TU塊。在本實例中，RSF 210的輸入對應於位於逆變換之後的重構殘差，且其輸出是已平滑重構殘差。
根據本發明，RSF也可以併入到編碼鏈/重構鏈的其他位置中。第3A圖-第3C圖示出了基於具有被應用到位於不同位置處的重構資訊框的RSF的HEVC的結構示意圖的示 例。在第3A圖中，RSF 310被放置在REC 150(即重構殘差加預測)與DF 160之間，使得RSF 310的輸入對應於重構資料(即重構殘差加預測)，且RSF 310的輸出對應於已平滑重構資料(the smoothed reconstructed data)。在第3B圖中，RSF 310被放置在DF 160與SAO 170之間。在第3C圖中，RSF 310被放置在SAO 170之後。本發明也可被應用到其他編碼器，例如包括位於SAO 170之後的其他環內濾波器(例如，適應性環形濾波器)的編碼器。在本情況中，RSF 310可以被應用到其他環內濾波器或者在輸出到畫面內暫存器180之前立即被應用。
第4圖示出了具有被應用到殘差的RSF且基於第1B圖中的HEVC解碼器的解碼器的示例性結構示意圖。在本情況中，RSF 410被執行以用於每個殘差塊。在本示例中，RSF 410的輸入對應於重構殘差，且其輸出是已平滑重構殘差。
根據本發明，RSF也可以被併入到解碼鏈中的其他位置。第5A圖-第5C圖示出了基於具有被應用到位於不同位置處的重構資訊框的RSF的HEVC的結構示意圖的示例。在第5A圖中，RSF 510被放置在REC 150與DF 160之間(即RSF 510的輸入對應於重構殘差加預測)。在第5B圖中，RSF 510被放置在DF 160與SAO 170之間。在第5C圖中，RSF 510被放置在SAO 170之後。本發明也可被應用到其他解碼器，例如包括位於SAO 170之後的其他環內濾波器(例如，適應性環形濾波器)的解碼器。在本情況中，RSF 510可以被應用到其 他環內濾波器或者在輸出到畫面內暫存器180之前立即被應用。
RSF可以是任何種類的邊緣保持濾波器。雙邊濾波器是一種已知的邊緣保持濾波器，其是用於RSF的一個較好的候選濾波器。雙邊濾波器包括空間濾波器(spatial filter)和範圍濾波器(range filter)。空間濾波器，為高斯權重濾波器(Gaussian weighting filter)，根據中心像素與由正在被濾波的當前像素所形成的視窗內附近像素之間的距離確定附近像素的影響。越更靠近中心像素的附近像素在空間濾波器中具有越更高的權重。範圍濾波器，也是高斯權重濾波器，如果附近像素的其強度不同於中心像素，透過降低附近像素的影響，其被採用以保護邊緣。強度具有與中心像素的強度相似的強度的附近像素在範圍濾波器中具有更高權重。方程式(1)顯示了由Paris等公開的雙邊濾波器的公式。在這個公式中，雙邊濾波器被標記為BF[．]。中心像素p將被附近像素q濾波。 是分配給q的權重，以濾波中心像素p。 是空間濾波器，其是高斯權重函數，其中σ s 是空間參 數。相似地，是範圍濾波器，其也是高斯權重函數， 具有範圍參數σ r 。在由Paris等公開的雙邊濾波器的方程式(2)中，W p 是歸一化因數，其用於確保像素權重和為1.0。
在一個實施例中，如果在畫面內預測中編解碼類型是垂直模式或者水平模式，則RSF可以是一維邊緣保持濾波 器，其旨在補償沿著正交於預測方向的方向上的偽影或者沿著預測方向的偽影。例如，如果畫面內預測模式是垂直模式，則水平方向或者垂直方向上的一維RSF可以是一個選擇以在保持編解碼效率的同時降低處理時間。
在另一實施例中，RSF的係數(例如，雙邊濾波器中的空間濾波器和範圍濾波器的高斯權重)和覆蓋區(footprint)可以根據重構資訊框中的紋理特徵而變化。重構資訊框中的紋理特徵可以自預測模式(例如畫面內預測中的角度方向)估計。例如，對於畫面內預測中的角度方向，沿著與角度預測方向相同或者正交的方向的係數的值可以被調整成比濾波器的剩餘係數更高。另外，RSF的覆蓋區的形狀和參數(例如，雙邊濾波器中的σ s 和σ r )也可以被調整以適合角度預測方向，以用於畫面內預測實例。同樣地，覆蓋區可以被適應於重構資訊框的紋理模型，以用於畫面內預測實例和畫面間預測實例。例如，如果使用畫面內預測中的垂直模式來預測當前塊，則覆蓋區可以被縮小成垂直濾波器(或者水平濾波器)。對於對角線相關模式，覆蓋區可以被縮小成沿著對角線方向(或者正交於對角線方向)。RSF的係數和覆蓋區也可以根據變化類型而變化。例如，σ s 與σ r 和濾波器覆蓋區可以根據不同的列/行變化及二次變換而調整。
在另一實施例中，由於亮度訊號與色度訊號之間的不同特徵，用於亮度和色度的RSF的配置設置可以被單獨確定。例如色度訊號通常包括比亮度訊號更多的中頻訊號或者低頻訊號。RSF的配置設置可以包括濾波器中所使用的抽頭(tap) 或者參數(例如，雙邊濾波器中的σ s 和σ r )的數量。因此，控制RSF中濾波器的平滑強度的不同參數設置可以幫助亮度訊號與色度訊號以移除適當的頻帶內的偽影。例如，由於在圖像的相同區域內，亮度訊號比色度訊號通常包括更多的高頻細節，用於亮度訊號的雙邊濾波器中的空間參數σ s 可以比色度訊號的空間參數σ s 更靈敏。
如果雙邊濾波器被用作RSF，則雙邊濾波器可以以如方程式(3)和方程式(4)所示的更歸一化的形式表達，權重W q 、σ s 和σ r 取決於覆蓋區中像素q的位置和內容資訊(例如，TU尺寸、TU中的位置、位元深度(bit-depth)、顏色格式、顏色分量、量化參數(quantization parameter，QP)、CU/PU/TU層模式(例如，畫面內/畫面內模式、畫面內預測模式)、變換類型或者上述的任意組合)。
W q 可以取決於變換類型。如果垂直變換被跳過或者垂直變換被應用到垂直方向，則W q 可以被設置成0，以用於像素q，其與像素p(即當前中心像素)不是位於相同的y位置處。
在另一實施例中，為了實現更好的編解碼效率，開啟控制旗標/關閉控制旗標可以被適應性地包含在各個層中，即序列層、圖像層、片段層、CTU層、CU層、PU層和/或TU層，或者上述的任意組合。開啟控制/關閉控制可以由編解碼資訊或者殘差或重構資訊框的特徵屬性來確定。
在另一實施例中，為了平滑化用於更好視覺品質和更高編解碼性能的已濾波結果，已平滑重構殘差/重構資訊框可以與原始重構殘差/重構資訊框被進一步融合。融合未平滑重構殘差/重構資訊框和已平滑重構殘差/重構資訊框的權重可以基於未平滑重構殘差/重構資訊框與已平滑重構殘差/重構資訊框之間的差值而調整。
在另一實施例中，未平滑重構殘差資料或者重構資訊框與已平滑重構殘差資料或者重構資訊框之間的差值可以被裁剪到一範圍。這個裁剪範圍可以是個固定範圍，或者適應性範圍。這個範圍可以取決於TU尺寸、殘差資料的幅度、TU中的位置、位元深度、顏色格式、顏色分量、QP、CU/PU/TU層模式(例如，畫面內/畫面內模式)、變換類型或者上述任意組合。
在另一實施例中，RSF的濾波器尺寸可以根據解析度相關資訊而適應性調整，例如，重構資訊框的解析度或者諸如QP、TU中的位置、CTU、CU、PU和/或TU的尺寸或者畫面內實例或畫面間實例中的預測模式或者上述的任意組合的編解碼資訊。也存在很多其他配置設置，其可以引用解析度相關資訊。例如，一個配置設置可以被設計為變數“步幅(stride)”，其確定當前像素與待濾波的下一像素之間的像素距離。第6圖示出了內核尺寸(kernel size)為3x3且步幅=2的RSF中的濾波器的示例。在第6圖中，於使用3x3視窗610內的相鄰像素(如粗線框所示)以過濾像素p之後，使用3x3視窗620(如粗虛線所示)以過濾下一像素p 2 。
在另一實施例中，RSF被應用到子採樣像素。待引用的兩個相鄰像素之間的採樣距離也可以是基於解析度相關資訊(例如，重構資訊框的解析度)、編解碼資訊(例如，QP、TU中的位置、CTU、CU、PU和/或TU的尺寸或者畫面內實例或畫面間實例中的預測模式)或上述任意組合而是可配置的。第7圖示出了內核尺寸為3x3且採樣距離(即dist_k)等於2的RSF的示例，其中用於RSF的子採樣像素由填充的方形表示。
第7圖示出了內核尺寸為3x3且dist_k等於2的RSF的示例。如果中心像素p的位置是(i,j)，則使用位於(i-2,j-2),(i-2,j),(i-2,j+2),(i,j-2),(i,j),(i,j+2),(i+2,j-2),(i+2,j)和(i+2,j+2)處的相鄰像素，p將被過濾。
為了減少計算量，使用存儲有用於二維陣列中的特定QP的所有權重的查閱資料表(Look-Up Table，LUT)，雙邊濾波器可以被實現。相同原理可以被擴展到具有更歸一化形式的RSF的本發明中。因此，在另一實施例中，與RSF相關的係數或者參數可以被存儲在查閱資料表中，以減少所需的計算。另外，為了減少從編碼器發送至解碼器的RSF的輔助資訊，可以基於編解碼資訊、殘差資料或者重構資訊框的特徵屬性而估計RSF的參數。此外，在另一實施例中，編碼器和解碼器可以採用相鄰視訊資訊框之間的時間相關性，並重新使用自之前編碼資訊框(previous encoded frame)所獲得的RSF的參數。
如果濾波器覆蓋區覆蓋了不可用像素，則根據一個實施例，可以重新形成這個覆蓋區。在另一實施例中，填充/鏡像可以用於生成不可用像素，以用於濾波器。
第8圖示出了使用RSF的一示例性編解碼系統的流程圖。本流程圖所示的步驟可以被實現為在編碼器側或者解碼器側處的一個或複數個處理器(例如一個或複數個CPU)上可執行的程式代碼。本流程圖所示的步驟也可以基於硬體來實現，例如，用於執行本流程圖中的步驟的一個或複數個電子設備或處理器。根據本方法，在步驟810中，接收與當前圖像相關的輸入資料。在步驟820中，自輸入資料推導出對應於與當前圖像中與當前塊相關的重構殘差的已去量化與已逆變換資料。在解碼器側處，輸入資料對應於包括當前圖像的已壓縮資料的位元流。透過應用熵解碼以自位元流推導出已變換與已量化殘差，並將逆變換與去量化應用到已變換與已量化殘差上以形成重構殘差，自輸入資料推導出已去量化與已逆變換資料。在編碼器側處，輸入資料對應於當前圖像的像素資料。透過將畫面間預測或畫面內預測應用到當前圖像中的當前塊以生成與當前塊相關的殘差，將變換和量化應用到殘差以推導出已變換與已量化殘差，並將逆變換和去量化應用到已變換與已量化殘差以形成重構殘差，自輸入資料推導出已去量化與已逆變換資料。在步驟830中，將RSF應用到重構殘差以形成已平滑重構殘差，或者將RSF應用到已環內濾波重構塊以形成已平滑濾波重構塊，以用於當前塊，其中RSF對應於邊緣保持濾波器。在步驟840中，透過採用已平滑重構殘差或者已平滑濾波重構 塊，生成最終重構塊以用於當前塊。在步驟850中，將最終重構塊存儲在暫存器中，用作編碼器側中後續圖像的預測的參考資料，或者將最終重構塊用作解碼器側中用於當前重構圖像的輸出。
第9圖示出了使用RSF的另一示例性編解碼系統的流程圖。根據本方法，在步驟910中，接收與當前圖像相關的輸入資料。在步驟920中，自輸入資料推導出對應於與當前圖像中當前塊相關的重構殘差的已去量化與已逆變換資料。在步驟930中，基於包括畫面內預測模式或者畫面間預測模式的資訊，確定RSF，其中RSF對應於邊緣保持濾波器。在步驟940中，將RSF應用到重構殘差以形成已平滑重構殘差，將RSF應用到當前重構塊以形成當前已平滑重構塊，或者將RSF應用到當前已環內濾波重構塊以形成當前已平滑與已濾波重構塊。在步驟950中，透過採用已平滑重構殘差、當前已平滑重構塊或者當前已平滑與已濾波重構塊，生成最終當前重構塊。在步驟960中，將最終重構塊存儲在暫存器，用作編碼器側中後續圖像的預測的參考資料，或者將最終重構塊用作解碼器側中用於當前重構圖像的輸出。
第10圖示出了使用RSF的又一示例性編解碼系統的流程圖。根據本方法，在步驟1010中，接收與當前圖像相關的輸入資料。在步驟1020中，檢測控制旗標是否指示RSF處於開啟狀態，如果RSF處於開啟狀態(即來自於步驟1020的“是”路徑)，則執行步驟1030到步驟1050。否則(即來自於步驟1020的“否”路徑)，跳過步驟1030至1050。在步驟1030 中，將RSF應用到重構殘差以形成已平滑重構殘差，將RSF應用到當前重構塊以形成當前已平滑重構塊，或者將RSF應用到當前已環內濾波重構塊以形成當前已平滑與已濾波重構塊。在步驟1040中，透過採用已平滑重構殘差、當前已平滑重構塊或者當前已平滑與已濾波重構塊，生成最終當前重構塊。在步驟1050中，將最終重構塊存儲在暫存器，用作編碼器側中後續圖像的預測的參考資料，或者將最終重構塊用作解碼器側中用於當前重構圖像的輸出。
本發明所示的流程圖用於示出根據本發明的視訊編碼的示例。在不脫離本發明的精神的情況，本領域的通常知識者可以修改每個步驟、重組這些步驟、將一個步驟進行分離或者組合這些步驟來實施本發明。在本發明中，已經使用特定語法和語義來示出不同示例，以實施本發明的實施例。在不脫離本發明的精神的情況，透過用等價的語法和語義來替換該語法和語義，本領域的技術人員可以實施本發明。
在又一實施例中，只要目標塊能透過兩個或者更多不同的分割來產生，也可以對其他靈活的塊分割變形使用上述提出的方法。
上述說明，使得本領域的普通通常知識者能夠在特定應用程式的內容及其需求中實施本發明。對本領域通常知識者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說 明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的通常知識者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式代碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行的程式代碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列(field programmable gate array，FPGA)所執行的若干函數。根據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者韌體代碼，這些處理器可以被配置為執行特定任務。軟體代碼或韌體代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以被編譯以用於不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由附加的申請專利範圍來表示，而不是前述的描述來表示。申請專利範圍的含義以及相同範圍內的所有變化都應納入其範圍內。

Claims (28)

  1. 一種視訊編碼或解碼方法，分別由一視訊編碼器或者一視訊解碼器使用，該方法包括：接收與當前圖像相關的輸入資料；自該輸入資料推導出對應於與該當前圖像中與當前塊相關的複數個重構殘差的已去量化與已逆變換資料；將一漣漪平滑化濾波器應用到該等重構殘差以形成複數個已平滑重構殘差，或者將一漣漪平滑化濾波器應用到已環內濾波重構塊以形成一已平滑濾波重構塊，以用於該當前塊，其中該漣漪平滑化濾波器對應於一邊緣保持濾波器；透過採用該等已平滑重構殘差或者該已平滑濾波重構塊，生成一最終重構塊以用於該當前塊；以及將該最終重構塊存儲在一暫存器中，用作編碼器側中複數個後續圖像的預測的參考資料，或者將該最終重構塊用作解碼器側中用於當前重構圖像的輸出。
  2. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中，該漣漪平滑化濾波器對應於一雙邊濾波器。
  3. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中，以相同的方式在該編碼器側處與該解碼器側處估計與該漣漪平滑化濾波器相關的複數個參數，以使得無需將該等參數從該編碼器側發送到該解碼器側。
  4. 如申請專利範圍第3項所述之視訊編碼或解碼方法，其中，該等參數是基於編解碼資訊、與該當前圖像相關的重構殘差的特徵、當前重構圖像的特徵或者其組合而估計。
  5. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中，與該漣漪平滑化濾波器相關的複數個係數或者參數係存儲在一查閱資料表中，以減少所需計算。
  6. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中根據編解碼資訊，與該漣漪平滑化濾波器相關的複數個參數被確定，其中該編解碼資訊包括量化參數、變換單元中的位置、變換單元的尺寸、編碼樹單元、預測單元或者變換單元的尺寸、預測模式或者其組合。
  7. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中，根據如下將該漣漪平滑化濾波器應用到當前像素： ，和 其中， p對應於正在被濾波的該當前像素， q表示該當前像素的相鄰像素， S表示該漣漪平滑化濾波器的覆蓋區內的像素集， I p 對應於 p的強度， I q 對應於 q的強度， 和 分別對應於用於範圍濾波器和空間濾波器的高斯權重函數，以及 BF[ I] p 表示位於 p處的已濾波輸出。
  8. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中，在該解碼器側處，該輸入資料對應於包括該當前圖像的已壓縮資料的位元流；自該輸入資料推導出已去量化與已逆變換資料，包括：應用熵解碼以自該位元流推導出複數個已變換與已量化殘差；以 及將逆變換與去量化應用到該等已變換與已量化殘差上以形成重構殘差。
  9. 如申請專利範圍第1項所述之視訊編碼或解碼方法，其中在該編碼器側處，該輸入資料對應於該當前圖像的像素資料；自該輸入資料推導出該已去量化與已逆變換資料，包括：將畫面間預測或畫面內預測應用到該當前圖像中的當前塊以生成與該當前塊相關的複數個殘差；將變換和量化應用到該等殘差以推導出複數個已變換與已量化殘差；以及將逆變換和去量化應用到該等已變換與已量化殘差以形成該等重構殘差。
  10. 一種視訊編碼或解碼裝置，分別由一視訊編碼器或者一視訊解碼器使用，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像相關的輸入資料；自該輸入資料推導出對應於與該當前圖像中與當前塊相關的複數個重構殘差的已去量化與已逆變換資料；將一漣漪平滑化濾波器應用到該等重構殘差以形成複數個已平滑重構殘差，或者將一漣漪平滑化濾波器應用到已環內濾波重構塊以形成一已平滑濾波重構塊，以用於該當前塊，其中該漣漪平滑化濾波器對應於一邊緣保持濾波器；透過採用該等已平滑重構殘差或者該已平滑濾波重構塊，生成一最終重構塊以用於該當前塊；以及將該最終重構塊存儲在一暫存器中，用作編碼器側中複數個 後續圖像的預測的參考資料，或者將該最終重構塊用作解碼器側中用於當前重構圖像的輸出。
  11. 一種視訊編碼或解碼方法，分別由一視訊編碼器或者一視訊解碼器使用，該方法包括：接收與當前圖像相關的輸入資料；自該輸入資料推導出對應於與該當前圖像中與當前塊相關的複數個重構殘差的已去量化與已逆變換資料；基於包括畫面內預測模式或者畫面間預測模式的資訊，確定一漣漪平滑化濾波器，其中該漣漪平滑化濾波器對應於一邊緣保持濾波器；將該漣漪平滑化濾波器應用到該等重構殘差以形成複數個已平滑重構殘差，將該漣漪平滑化濾波器應用到當前重構塊以形成一當前已平滑重構塊，或者將該漣漪平滑化濾波器應用到當前已環內濾波重構塊以形成一當前已平滑濾波重構塊；透過採用該等已平滑重構殘差、該當前已平滑重構塊或者該已平滑濾波重構塊，生成一最終當前重構塊；以及將該最終當前重構塊存儲在一暫存器中，用作編碼器側中複數個後續圖像的預測的參考資料，或者將該最終當前重構塊用作解碼器側中用於當前重構圖像的輸出。
  12. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，該漣漪平滑化濾波器對應於一雙邊濾波器。
  13. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，確定該漣漪平滑化濾波器包括： 如果該當前塊以垂直畫面內預測模式或者水平畫面內模式而被編解碼，則配置該漣漪平滑化濾波器作為一維濾波器。
  14. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，確定該漣漪平滑化濾波器包括：根據該當前塊的預測模式，估計該漣漪平滑化濾波器的複數個係數和覆蓋區。
  15. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，確定該漣漪平滑化濾波器包括：如果該當前塊被畫面內預測編解碼，則調整該漣漪平滑化濾波器的複數個係數和該漣漪平滑化濾波器的覆蓋區的形狀，以適合當前畫面內預測的角度方向。
  16. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，確定該漣漪平滑化濾波器包括：配置不同的該漣漪平滑化濾波器以用於該當前塊的亮度塊和色度塊。
  17. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，確定該漣漪平滑化濾波器包括：根據編解碼資訊，調整該漣漪平滑化濾波器的濾波器尺寸，其中該編解碼資訊包括變換單元中的位置、編碼樹單元、預測單元或者變換單元的尺寸、預測模式或者其組合。
  18. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，僅將該漣漪平滑化濾波器應用到水平方向或者垂直方向上每N個待濾波樣本中的一個，其中N為正整數。
  19. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中， 該漣漪平滑化濾波器採用當前中心樣本的複數個子採樣相鄰樣本，以推導出用於該當前塊的已平滑當前樣本。
  20. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，將複數個已漣漪平滑化濾波器濾波樣本與複數個未濾波樣本進行組合。
  21. 如申請專利範圍第20項所述之視訊編碼或解碼方法，其中，基於該等已漣漪平滑化濾波器濾波樣本與該等未濾波樣本之間的差，調整用於該等已漣漪平滑化濾波器濾波樣本與該等未濾波樣本的一個或複數個權重。
  22. 如申請專利範圍第21項所述之視訊編碼或解碼方法，其中，將該等已漣漪平滑化濾波器濾波樣本與該等未濾波樣本之間的差裁剪到一範圍。
  23. 如申請專利範圍第11項所述之視訊編碼或解碼方法，其中，將與該漣漪平滑化濾波器相關的複數個係數或者參數存儲在一查閱資料表中，以減少所需計算。
  24. 一種視訊編碼或解碼裝置，分別由一視訊編碼器或者一視訊解碼器使用，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像相關的輸入資料；自該輸入資料推導出對應於與該當前圖像中與當前塊相關的複數個重構殘差的已去量化與已逆變換資料；基於包括畫面內預測模式或者畫面間預測模式的資訊，確定一漣漪平滑化濾波器，其中該漣漪平滑化濾波器對應於一邊緣保持濾波器； 將該漣漪平滑化濾波器應用到該等重構殘差以形成複數個已平滑重構殘差，將該漣漪平滑化濾波器應用到當前重構塊以形成一當前已平滑重構塊，或者將該漣漪平滑化濾波器應用到當前已環內濾波重構塊以形成一當前已平滑濾波重構塊；透過採用該等已平滑重構殘差、該當前已平滑重構塊或者該已平滑濾波重構塊，生成一最終當前重構塊；以及將該最終當前重構塊存儲在一暫存器中，用作編碼器側中複數個後續圖像的預測的參考資料，或者將該最終當前重構塊用作解碼器側中用於當前重構圖像的輸出。
  25. 一種視訊編碼或解碼方法，分別由一視訊編碼器或者一視訊解碼器使用，該方法包括：接收與當前圖像相關的輸入資料；基於一個或複數個控制旗標，判斷是否將一漣漪平滑化濾波器應用到該當前圖像中的當前塊；以及如果該一個或複數個控制旗標指示將該漣漪平滑化濾波器應用到該當前塊，則：將該漣漪平滑化濾波器應用到該等重構殘差以形成複數個已平滑重構殘差，將該漣漪平滑化濾波器應用到當前重構塊以形成一當前已平滑重構塊，或者將該漣漪平滑化濾波器應用到當前已環內濾波重構塊以形成一當前已平滑濾波重構塊；透過採用該等已平滑重構殘差、該當前已平滑重構塊或者該已平滑濾波重構塊，生成一最終當前重構塊；以及 將該最終當前重構塊存儲在一暫存器中，用作編碼器側中複數個後續圖像的預測的參考資料，或者將該最終當前重構塊用作解碼器側中用於當前重構圖像的輸出。
  26. 如申請專利範圍第25項所述之視訊編碼或解碼方法，其中，該一個或複數個控制旗標被標示在序列層、圖像層、片段層、編碼樹單元層、編碼單元層、預測單元層、變換單元層或者其任何組合。
  27. 如申請專利範圍第25項所述之視訊編碼或解碼方法，其中，基於編解碼資訊、與該當前圖像相關的複數個殘差的特徵、當前重構圖像的特徵或者其組合，確定該一個或複數個控制旗標。
  28. 一種視訊編碼或解碼裝置，分別由一視訊編碼器或者一視訊解碼器使用，該裝置包括一個或複數個電子電路或處理器，用於：接收與當前圖像相關的輸入資料；基於一個或複數個控制旗標，判斷是否將一漣漪平滑化濾波器應用到該當前圖像中的當前塊；以及如果該一個或複數個控制旗標指示將該漣漪平滑化濾波器應用到該當前塊，則：將該漣漪平滑化濾波器應用到該等重構殘差以形成複數個已平滑重構殘差，將該漣漪平滑化濾波器應用到當前重構塊以形成一當前已平滑重構塊，或者將該漣漪平滑化濾波器應用到當前已環內濾波重構塊以形成一當前已平滑濾波重構塊； 透過採用該等已平滑重構殘差、該當前已平滑重構塊或者該已平滑濾波重構塊，生成一最終當前重構塊；以及將該最終當前重構塊存儲在一暫存器中，用作編碼器側中複數個後續圖像的預測的參考資料，或者將該最終當前重構塊用作解碼器側中用於當前重構圖像的輸出。
TW106135229A 2016-10-14 2017-10-12 用以移除漣漪效應之平滑化濾波方法和裝置 TWI669942B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662408145P 2016-10-14 2016-10-14
US62/408,145 2016-10-14
US201662410416P 2016-10-20 2016-10-20
US62/410,416 2016-10-20
PCT/CN2017/105845 WO2018068744A1 (en) 2016-10-14 2017-10-12 Method and apparatus of smoothing filter for ringing artefact removal
??PCT/CN2017/105845 2017-10-12

Publications (2)

Publication Number Publication Date
TW201820866A true TW201820866A (zh) 2018-06-01
TWI669942B TWI669942B (zh) 2019-08-21

Family

ID=61905853

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135229A TWI669942B (zh) 2016-10-14 2017-10-12 用以移除漣漪效應之平滑化濾波方法和裝置

Country Status (5)

Country Link
US (1) US10931974B2 (zh)
EP (1) EP3516876A4 (zh)
CN (2) CN109845266B (zh)
TW (1) TWI669942B (zh)
WO (1) WO2018068744A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073884A1 (en) * 2018-10-08 2020-04-16 Mediatek Singapore Pte. Ltd. Method and apparatus of last significant coefficient coding in image and video coding
TWI755653B (zh) * 2018-12-17 2022-02-21 日商佳能股份有限公司 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180841A1 (en) * 2017-03-29 2018-10-04 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using bilateral filtering techniques
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
US10708626B2 (en) * 2018-11-19 2020-07-07 Google Llc Iterative IDCT with adaptive non-linear filtering
US11438583B2 (en) 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
US20220159250A1 (en) * 2019-03-20 2022-05-19 V-Nova International Limited Residual filtering in signal enhancement coding
WO2020256595A2 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of still picture and video coding with shape-adaptive resampling of residual blocks
CN114078134A (zh) * 2020-08-21 2022-02-22 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN112233156B (zh) * 2020-10-14 2022-02-15 俐玛精密测量技术(苏州)有限公司 微纳米ct投影数据的中心切片对齐方法
WO2023038916A1 (en) * 2021-09-07 2023-03-16 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive bilateral filtering for video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046224B2 (ja) * 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
JP4026238B2 (ja) * 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
US6965395B1 (en) 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
US7289562B2 (en) * 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
CN101567964B (zh) * 2009-05-15 2011-11-23 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
KR20180039757A (ko) * 2010-08-17 2018-04-18 엠앤케이홀딩스 주식회사 영상 복호화 장치
US20120263225A1 (en) * 2011-04-15 2012-10-18 Media Excel Korea Co. Ltd. Apparatus and method for encoding moving picture
ES2715782T3 (es) * 2011-04-21 2019-06-06 Hfi Innovation Inc Procedimiento y aparato para un filtrado en bucle mejorado
KR101892329B1 (ko) * 2011-11-03 2018-08-27 톰슨 라이센싱 이미지 정교화에 기초한 비디오 인코딩 및 디코딩
CN110234012B (zh) * 2012-01-17 2021-12-31 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
CN102938837B (zh) * 2012-09-19 2016-06-01 中山大学 一种基于边缘保持全分模型的色调映射方法
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
KR20140129607A (ko) * 2013-04-30 2014-11-07 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
CN104182932B (zh) * 2013-05-27 2017-04-12 株式会社日立制作所 Ct 装置、ct 图像系统及ct 图像生成方法
US9118932B2 (en) * 2013-06-14 2015-08-25 Nvidia Corporation Adaptive filtering mechanism to remove encoding artifacts in video data
JP2015144423A (ja) 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
CN103763564B (zh) * 2014-01-09 2017-01-04 太原科技大学 基于边缘无损压缩的深度图编码方法
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
CN104732492B (zh) * 2015-03-09 2018-03-09 北京工业大学 一种深度图像的去噪方法
CN104994397B (zh) * 2015-07-08 2018-11-09 北京大学深圳研究生院 基于时域信息的自适应视频预处理方法
CN105141948A (zh) * 2015-09-22 2015-12-09 天津师范大学 一种改进的hevc样点自适应补偿方法
CN108700961B (zh) * 2016-03-22 2022-05-31 三菱电机株式会社 坐标校正装置、坐标校正方法及计算机可读取的记录介质
CN105654448B (zh) * 2016-03-29 2018-11-27 微梦创科网络科技（中国）有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
WO2018047995A1 (ko) * 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073884A1 (en) * 2018-10-08 2020-04-16 Mediatek Singapore Pte. Ltd. Method and apparatus of last significant coefficient coding in image and video coding
US11343539B2 (en) 2018-10-08 2022-05-24 Hfi Innovation Inc. Method and apparatus of last significant coefficient coding in image and video coding
TWI755653B (zh) * 2018-12-17 2022-02-21 日商佳能股份有限公司 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法
TWI782853B (zh) * 2018-12-17 2022-11-01 日商佳能股份有限公司 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法

Also Published As

Publication number Publication date
EP3516876A1 (en) 2019-07-31
CN109845266A (zh) 2019-06-04
EP3516876A4 (en) 2020-07-22
CN113518221B (zh) 2024-03-01
US20190342582A1 (en) 2019-11-07
TWI669942B (zh) 2019-08-21
WO2018068744A1 (en) 2018-04-19
US10931974B2 (en) 2021-02-23
CN113518221A (zh) 2021-10-19
CN109845266B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
TWI669942B (zh) 用以移除漣漪效應之平滑化濾波方法和裝置
KR101972407B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
US10009612B2 (en) Method and apparatus for block partition of chroma subsampling formats
US20180160134A1 (en) Indication of bilateral filter usage in video coding
WO2018183533A1 (en) Filter information sharing among color components
KR102357142B1 (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
CN113196783A (zh) 去块效应滤波自适应的编码器、解码器及对应方法
US20230090641A1 (en) Filtering method and video decoding apparatus
JP2023506009A (ja) クロス成分適応ループフィルタリングのためのサンプルパディング
CN113243106A (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
CN112262574A (zh) 一种用于帧内预测的设备和方法
US20210306628A1 (en) Filtering method and video decoding apparatus
CA3093048C (en) Inter prediction apparatus and method for video coding
WO2024006231A1 (en) Methods and apparatus on chroma motion compensation using adaptive cross-component filtering
CN118077197A (zh) 组合用于视频编码和/或解码的去块滤波和另一滤波
Amiri Bilateral and adaptive loop filter implementations in 3D-high efficiency video coding standard