TWI682661B - 在計算設備中實現的方法 - Google Patents

在計算設備中實現的方法 Download PDF

Info

Publication number
TWI682661B
TWI682661B TW107112058A TW107112058A TWI682661B TW I682661 B TWI682661 B TW I682661B TW 107112058 A TW107112058 A TW 107112058A TW 107112058 A TW107112058 A TW 107112058A TW I682661 B TWI682661 B TW I682661B
Authority
TW
Taiwan
Prior art keywords
noise suppression
reconstructed image
filter
suppression filter
image
Prior art date
Application number
TW107112058A
Other languages
English (en)
Other versions
TW201904300A (zh
Inventor
杉 劉
傅佳莉
馬祥
羅馬 車雅克
阿列克謝耶維奇 維克多 斯蒂平
伊戈爾 帕西尼克
謝爾蓋 伊庫寧
Original Assignee
大陸商華為技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商華為技術有限公司 filed Critical 大陸商華為技術有限公司
Publication of TW201904300A publication Critical patent/TW201904300A/zh
Application granted granted Critical
Publication of TWI682661B publication Critical patent/TWI682661B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一種在計算設備中實現的方法。所述方法包括從已 編碼視訊流生成已重構圖像。對所述已重構圖像進行濾波以創建濾波後的圖像。濾波包括將雜訊抑制濾波器應用於所述已重構圖像。可以在對所述已重構圖像應用去塊濾波器之前、在去塊濾波器和取樣自我調整偏移(sample adaptive offset，SAO)濾波器之間、在所述SAO濾波器和自我調整環路濾波器之間，或者在所述自我調整環路濾波器之後應用所述雜訊抑制濾波器。然後，將所述濾波後的圖像存儲在記憶體的圖像緩衝區中，以在編碼時使用或者在解碼時用於輸出給顯示器。

Description

在計算設備中實現的方法 相關申請案交叉申請
本發明要求2018年3月27日遞交的發明名稱為“雜訊抑制濾波器(Noise Suppression Filter)”的第15/937,256號美國非臨時專利申請案的在先申請優先權，該在先申請要求2017年4月6日Liu Shan等遞交的發明名稱為“雜訊抑制濾波器(Noise Suppression Filter)”的第62/482,619號美國臨時專利申請案以及2017年7月7日Roman Chernyak等遞交的發明名稱為“用於視訊壓縮的環內濾波(In-loop Filtering for Video Compression)”的第62/529,972號美國臨時專利申請案的在先申請優先權，所有這些在先申請的教導和公開內容均以引入的方式併入本文本中。
本發明是有關於一種在計算設備中實現的方法。
即便描繪相對較短的視頻，也可能需要大量的視頻資料量，當需要在頻寬容量有限的通信網路中流傳輸或傳送資料時，可能會使難度加大。因此，在現代電信網路中傳送視頻資料之前通常會壓縮視頻資料。當在存放裝置上存儲視頻時，視頻的大小 也可能成為問題，因為記憶體資源可能有限。在傳輸或存儲視頻資料之前，視訊壓縮設備經常在信源處使用軟體和/或硬體對視頻資料進行編碼，從而減少表示數位視訊圖像所需的資料量。然後，壓縮資料由解碼視頻資料的視頻解壓設備在目的地處接收。在網路資源有限同時對更高視頻品質的需求不斷增長的情況下，需要可以提高壓縮率且幾乎無損圖像品質的改進型壓縮和解壓技術。
在一實施例中，本發明包括一種在計算設備中實現的方法，所述方法包括：所述計算設備的處理器從已編碼視訊流生成已重構圖像；所述處理器對所述已重構圖像進行濾波以創建濾波後的圖像，其中，所述濾波包括：採用雜訊抑制濾波器對所述已重構圖像濾波，緊接著採用去塊濾波器對所述已重構圖像濾波；以及將濾波後的圖像存儲在記憶體的圖像緩衝區中。
可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的已編碼視訊流圖像序列。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述 已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的分片。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的編碼樹單元。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括一個或多個雜訊抑制濾波器標誌的位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的亮度分量或所述已重構圖像的色度分量。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示基於與所述已重構圖像的相鄰塊相對應的語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的當前塊。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括最大深度標誌的位元流中編碼，所述最大深度標誌指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最大深度。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括大小限制的位元流中編碼，所述大小限制指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最小大小。可選地，在任一前述方面中，所述方面的另一實施方式包括：基 於所述已重構圖像的應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊。
在一實施例中，本發明包括一種在計算設備中實現的方法，所述方法包括：所述計算設備的處理器從已編碼視訊流生成已重構圖像；所述處理器對所述已重構圖像進行濾波以創建濾波後的圖像，其中，所述濾波包括：對所述已重構圖像應用去塊濾波器，緊接著對所述已重構圖像應用雜訊抑制濾波器，然後對所述已重構圖像應用取樣自我調整偏移濾波器；以及將濾波後的圖像存儲在記憶體的圖像緩衝區中。
可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的已編碼視訊流圖像序列。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的分片。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波 器應用於所述已重構圖像的編碼樹單元。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括一個或多個雜訊抑制濾波器標誌的位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的亮度分量或所述已重構圖像的色度分量。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示基於與所述已重構圖像的相鄰塊相對應的語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的當前塊。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括最大深度標誌的位元流中編碼，所述最大深度標誌指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最大深度。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括大小限制的位元流中編碼，所述大小限制指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最小大小。可選地，在任一前述方面中，所述方面的另一實施方式包括：基於所述已重構圖像的應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊。
在一實施例中，本發明包括一種在計算設備中實現的方法，所述方法包括：所述計算設備的處理器從已編碼視訊流生成已重構圖像；所述處理器對所述已重構圖像進行濾波以創建濾波 後的圖像，其中，所述濾波包括：對所述已重構圖像應用取樣自我調整偏移濾波器，緊接著對所述已重構圖像應用雜訊抑制濾波器，然後對所述已重構圖像應用自我調整環路濾波器；以及將濾波後的圖像存儲在記憶體的圖像緩衝區中。
可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的已編碼視訊流圖像序列。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的分片。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的編碼樹單元。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括一個或多個雜訊抑制濾波器標誌的位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的亮度分量或所述已重構圖像的色度分量。可選地，在 任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示基於與所述已重構圖像的相鄰塊相對應的語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的當前塊。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括最大深度標誌的位元流中編碼，所述最大深度標誌指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最大深度。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括大小限制的位元流中編碼，所述大小限制指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最小大小。可選地，在任一前述方面中，所述方面的另一實施方式包括：基於所述已重構圖像的應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊。
在一實施例中，本發明包括一種在計算設備中實現的方法，所述方法包括：所述計算設備的處理器從已編碼視訊流生成已重構圖像；所述處理器對所述已重構圖像進行濾波以創建濾波後的圖像，其中，所述濾波包括：對所述已重構圖像應用自我調整環路濾波器，緊接著對所述已重構圖像應用雜訊抑制濾波器；以及將濾波後的圖像存儲在記憶體的圖像緩衝區中。
可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中 編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的已編碼視訊流圖像序列。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的分片。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的編碼樹單元。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括一個或多個雜訊抑制濾波器標誌的位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的亮度分量或所述已重構圖像的色度分量。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括雜訊抑制濾波器標誌的位元流中編碼，所述雜訊抑制濾波器標誌指示基於與所述已重構圖像的相鄰塊相對應的語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的當前塊。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括最大深度標誌的位元流中編碼，所述最大深度 標誌指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最大深度。可選地，在任一前述方面中，所述方面的另一實施方式包括：所述已編碼視訊流在包括大小限制的位元流中編碼，所述大小限制指示所述雜訊抑制濾波器應用的、所述已重構圖像的子部分的編碼樹中編碼單元的最小大小。可選地，在任一前述方面中，所述方面的另一實施方式包括：基於所述已重構圖像的應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊。
為了清晰起見，在本發明的範圍內，任一上述實施例可以與上述其它實施例的任何一個或多個組合來創建新的實施例。
在下文結合附圖的詳細描述和權利要求中，可以更清楚地理解這些和其它特徵。
200‧‧‧編解碼系統
201、301‧‧‧分區後的視訊訊號
211‧‧‧通用編碼器控制組件
213‧‧‧變換縮放和量化組件
215‧‧‧幀內估計組件
217、317、417‧‧‧幀內預測組件
219、321、421‧‧‧運動補償組件
221‧‧‧運動估計組件
223、323、423‧‧‧已解碼圖像緩衝區組件
225、325、425‧‧‧環內濾波器組件
227‧‧‧濾波器控制分析組件
229‧‧‧縮放和逆變換組件
231‧‧‧報頭格式化和CABAC組件
300‧‧‧編碼器
313‧‧‧變換和量化組件
329‧‧‧逆變換和量化組件
331、433‧‧‧熵編碼組件
400‧‧‧解碼器
429‧‧‧逆變換和量化組件
500、600、700、800‧‧‧環內濾波器
523、623、723、823‧‧‧圖像緩衝區
541、641、741、841‧‧‧雜訊抑制濾波器
543、643、743、843‧‧‧去塊濾波器
545、645、745、845‧‧‧取樣自我調整偏移濾波器
547、647、747、847‧‧‧自我調整環路濾波器
900、1000、1100‧‧‧應用地圖
100、1200‧‧‧方法
1300‧‧‧計算設備
1310‧‧‧收發單元(Tx/Rx)
1314‧‧‧編碼/解碼模組
1320‧‧‧下游埠
1330‧‧‧處理器
1332‧‧‧
1350‧‧‧上游埠
1360‧‧‧I/O設備
步驟101‧‧‧輸入視訊訊號
步驟103‧‧‧塊分區
步驟105‧‧‧塊壓縮
步驟107‧‧‧濾波
步驟109‧‧‧位元流
步驟111‧‧‧確定分區
步驟113‧‧‧塊解碼
步驟115‧‧‧濾波
步驟117‧‧‧輸出視訊訊號
步驟1201‧‧‧從已編碼視頻流生成已重構圖像，其中，當在編碼器處操作時，從變換和量化過程的輸出獲取已編碼視訊流，當在解碼器處操作時，從位元流中獲取已編碼視訊流
步驟1203‧‧‧通過應用雜訊抑制濾波器(以及其他環內濾波器)對已重構圖像進行濾波以創建濾波後的圖像，其中，根據位元流中的對應雜訊抑制濾波器標誌和應用地圖來應用雜訊抑制濾波器
步驟1205‧‧‧將濾波後的圖像存儲在記憶體中的圖像緩衝區中，以隨後用於編碼處的預測或解碼器處的輸出
步驟1207‧‧‧當在編碼器處操作時，運用濾波後的圖像進行預測，或者，當在解碼器處操作時，顯示濾波後的圖像
為了更透徹地理解本發明，現參閱結合附圖和具體實施方式而描述的以下簡要說明，其中的相同參考標號表示相同部件。
圖1為示例視訊訊號編碼方法的流程圖；圖2為用於視頻編碼的示例編碼和解碼(轉碼器)系統的示意圖；圖3為示出了可以實現雜訊抑制濾波器的示例視訊轉碼器的框圖；圖4為示出了可以實現雜訊抑制濾波器的示例視頻解碼器的 框圖；圖5為示出了包括雜訊抑制濾波器的示例環內濾波器的框圖；圖6為示出了包括雜訊抑制濾波器的另一示例環內濾波器的框圖；圖7為示出了包括雜訊抑制濾波器的另一示例環內濾波器的框圖；圖8為示出了包括雜訊抑制濾波器的另一示例環內濾波器的框圖；圖9為示出了用於雜訊抑制濾波器應用的示例應用地圖的圖；圖10為示出了具有最大深度限制的示例應用地圖的圖；圖11為示出了具有最大深度限制的另一示例應用地圖的圖；圖12為示出了用於應用雜訊抑制濾波器的示例編碼方法的流程圖；圖13為用於視頻編碼的計算設備的示意圖。
首先應理解，儘管下文提供一項或多項實施例的說明性實施方式，但所公開的系統和/或方法可以使用任何數量的技術來實施，無論該技術是當前已知還是現有的。本發明決不應限於下文所說明的說明性實施方式、附圖和技術，包括本文所說明並描 述的示例性設計和實施方式，而是可以在所附權利要求書的範圍以及其等效物的完整範圍內修改。
視頻編碼方案將視訊訊號細分成圖像幀，然後將圖像幀細分成各種類型的塊。然後壓縮圖像塊。在重構和顯示壓縮視訊訊號時，這種方法可能會產生可見的偽影。例如，圖像壓縮過程能人為地添加塊狀形狀。這稱為成塊效應，並且通常發生在塊劃分邊界處。而且，稱為量化雜訊的非線性信號相關的四捨五入誤差也可以被人為地添加到壓縮圖像中。可以運用各種濾波器來糾正這些偽影。濾波器可以應用於後處理中的已重構幀。後處理發生在大部分壓縮視訊訊號已經被重構之後且在顯示給使用者之前。也可以通過運用一種稱為環內濾波的機制將濾波器作為壓縮/解壓過程的一部分進行應用。環內濾波是一種濾波方案，該方案為：在編碼和/或解碼過程中將濾波器應用于已重構視頻圖像，以使得相關圖像的壓縮更準確。例如，幀間預測基於先前和/或後續圖像幀對圖像幀進行編碼。在編碼器處，通過環內濾波來對壓縮圖像進行重構和濾波，使得已重構圖像提供更準確的圖像以用於通過幀間預測對先前/後續圖像幀進行編碼。在解碼器處，通過環內濾波對壓縮圖像進行重構和濾波，以創建更準確的圖像供終端使用者查看並使得幀間預測更準確。環內濾波運用了若干濾波器，例如去塊濾波器、取樣自我調整偏移(sample adaptive offset，SAO)濾波器和自我調整環路濾波器。環內濾波也可以包括雜訊抑制濾波器。雜訊抑制濾波器用於減少量化雜訊，並且在一些配 置中，可以減少與視訊擷取裝置相關聯的感測器雜訊。應用雜訊抑制濾波器可以提高預測和對應的壓縮準確度。然而，在一些情況下，雜訊抑制濾波器也可能會增加編碼複雜度並增加所得檔的大小(例如降低壓縮效率)。因此，雜訊抑制濾波器的使用視情況而異。從而，可能不宜全域應用雜訊抑制濾波器。
本文公開了控制雜訊抑制濾波器應用於視訊訊號的各種機制。可以在應用去塊濾波器之前將雜訊抑制濾波器用作第一濾波器。也可以在應用去塊濾波器之後且在應用SAO濾波器之前將雜訊抑制濾波器用作第二濾波器。也可以在應用SAO濾波器之後且在應用自我調整環路濾波器之前將雜訊抑制濾波器用作第三濾波器。也可以在應用自我調整環路濾波器之後將雜訊抑制濾波器用作第四濾波器。雜訊抑制濾波器的位置可以視濾波器鏈中是否有環內濾波器或者環內濾波器的順序而定。例如，在一些情況下，可以省略去塊濾波器、SAO濾波器和自我調整濾波器中的一項或多項，並相應地移動雜訊抑制濾波器的位置。還公開了指示雜訊抑制濾波器使用的各種標誌。標誌可以指示應在圖像序列級、圖像級、圖像分片級、編碼樹級和/或塊級應用雜訊抑制濾波器。這些標誌還可以指示應該將雜訊抑制濾波器應用於亮度分量、色度分量或者亮度分量和色度分量。這些標誌還可以指示編碼樹深度、塊大小限制或應用雜訊抑制濾波器的其它閾值。標誌還可以指示基於用於支援濾波而生成的應用地圖來應用雜訊抑制濾波器。標誌還可以指示與用於當前塊的雜訊抑制濾波器相關聯的參 數應當基於用於相鄰塊中的雜訊抑制濾波器的參數來確定。下文論述了用於控制雜訊抑制濾波器應用於已重構圖像的各個子部分的上述和其它機制。
圖1為示例視訊訊號編碼方法100的流程圖。具體而言，視訊訊號在編碼器處進行編碼。編碼過程通過運用各種減小視頻檔大小的機制來壓縮視訊訊號。檔大小越小，將壓縮視頻檔案傳輸給使用者時，相關的頻寬開銷就會越小。然後，解碼器對壓縮視頻檔進行解碼，以重構原始視訊訊號以顯示給終端使用者。解碼過程通常是編碼過程的鏡像，以便解碼器能原原本本地重構視訊訊號。
在步驟101處，將視訊訊號輸入編碼器。例如，視訊訊號可以是存儲在記憶體中的未壓縮視頻檔。又例如，視頻檔可以由攝像機等視訊擷取裝置捕獲，然後進行編碼以支援視頻的即時流傳輸。視頻檔可以包括音訊分量和視頻分量。視頻分量包含一系列圖像幀，當按順序查看時，這些圖像幀會產生運動的視覺效果。這些幀包含用光表示的本文稱為亮度分量的圖元和稱為色度分量的顏色。在一些示例中，幀還可以包含深度值以支援三維查看。
在步驟103處，將視頻劃分成塊。劃分包括將每個幀中的圖元細分為方形和/或矩形塊以進行壓縮。例如，可以運用編碼樹來對塊進行劃分，然後重複地對塊進行細分，直到達到支援後續編碼的配置。這樣，這些塊在高效率視頻編碼(High Efficiency Video Coding，HEVC)(也稱為H.265和MPEG-H第2部分)中可以稱為編碼樹單元。例如，可以細分幀的亮度分量，直到各個塊包含相對均勻的照度值。此外，可以細分幀的色度分量，直到各個塊包含相對均勻的色值。因此，劃分機制視視頻幀的內容而定。
在步驟105處，運用各種壓縮機制來壓縮在步驟103處劃分的圖像塊。例如，可以運用幀間預測和/或幀內預測。設計幀間預測是為了利用以下這一點：普通場景中的物體傾向於出現在連續的幀中。因此，參考幀中描繪了物件的塊不需要在後續幀中重複描述。具體而言，表格等物件在多個幀中的位置可以保持恒定。因此，表格只需要描述一次，後續幀可以回參參考幀。可以運用圖案匹配機制來在多個幀中匹配物件。此外，由於物件移動或相機移動等，移動物件可以出現在多個幀中。作為一特定示例，視頻中一輛汽車移動穿過螢幕可能會在多個幀中顯示。可以運用運動向量來描述這種運動。運動向量是二維向量，提供了從某幀內物件的座標到參考幀內該對象的座標的偏移。這樣，幀間預測可以將當前幀中的圖像塊編碼為一組運動向量，該組運動向量指示與參考幀內的對應塊的偏移。
幀內預測對公共幀中的塊進行編碼。幀內預測利用了以下這一點：亮度分量和色度分量在某幀內有聚集的傾向。例如，樹的某部分的一片綠的位置往往鄰近相似的幾片綠。幀內預測運用多個定向預測模式(例如在HEVC中為33個)，平面模式和直 流(direct current，DC)模式。定向模式是指在對應方向上，當前塊與相鄰塊相似/相同。平面模式是指可以基於某行(例如平面)邊緣處的相鄰塊內插該行中的一系列塊。實際上，平面模式通過對變化值運用相對恒定的斜率的方式指示某行中光/顏色的平滑過渡。DC模式用於邊界平滑，是指塊與以下項相似/相同：與定向預測模式的角方向相關聯的所有相鄰塊的相關平均值。因此，幀內預測塊可以將圖像塊表示為各種相關預測模式值而非實際值。此外，幀間預測塊可以將圖像塊表示為運動向量值而非實際值。在任一場景中，預測塊在某些情況下可能不會準確表示圖像塊。任何差異都會存儲在殘差塊中。可以將變換應用於殘差塊以進一步壓縮檔。
在步驟107處，可以應用各種濾波技術。在HEVC中，根據環內濾波方案應用濾波器。上文論述的基於塊的預測可能會導致解碼器處產生塊狀圖像。此外，基於塊的預測方案可以對塊進行編碼，然後對已編碼塊進行重構以便稍後用作參考塊。環內濾波方案反覆運算地將雜訊抑制濾波器、去塊濾波器、自我調整環路濾波器和SAO濾波器應用於塊/幀。這些濾波器可以減少這些成塊偽影，從而可以準確對已編碼檔進行重構。此外，這些濾波器減少了已重構參考塊中的偽影，使得偽影不大可能在後續塊中產生額外的偽影，其中，後續塊是基於已重構參考塊進行編碼。下文更詳細地論述了環內濾波過程。
對視訊訊號進行劃分、壓縮和濾波後，在步驟109處將 所得資料編碼到位元流中。位元流包括上文論述的資料以及任何適宜的支援在解碼器處對視訊訊號進行恰當重構的信令資料。例如，這種資料可以包括劃分資料、預測資料、殘差塊以及向解碼器提供編碼指令的各種標誌。可以將位元流存儲在記憶體中，以便根據請求傳輸給解碼器。也可以向多個解碼器廣播和/或多播位元流。位元流的創建是一個反覆運算過程。因此，步驟101、103、105、107和109可以在許多幀和塊中連續和/或同時發生。呈現圖1所示的順序是為了清晰和易於論述目的，並不旨在給視頻編碼過程限制特定順序。
在步驟111處，解碼器接收位元流並開始解碼過程。具體而言，解碼器運用熵解碼方案來將位元流轉換為對應的語法資料和視頻資料。在步驟111處，解碼器運用來自位元流的語法資料來確定幀的劃分。劃分應與步驟103處的塊劃分結果匹配。現在描述步驟111中運用的熵編碼/解碼。編碼器在壓縮過程中會做出多個選擇，例如根據輸入圖像中值的空間位置從幾種可能的選擇中選擇塊劃分方案。指示確切的選擇可能會使用大量的bin。如本文所使用的，bin是一個被視為變數的二進位值(例如，可能會根據上下文而變化的位元值)。熵編碼允許編碼器丟棄顯然不可用於特定情況的任何選項，只留下一組可允許選項。然後，為每個可允許選項分配碼字。碼字的長度基於可允許選項的數量(例如，兩個選項用一個bin，三到四個選項用兩個bin等)。編碼器然後對所選選項的碼字進行編碼。該方案減小了碼字的大小，因為碼 字僅與期望一樣大，以唯一地指示從小的可允許選項子集做出的選擇，而不是唯一地指示從可能是一大組的所有可能選項做出的選擇。然後，解碼器通過與編碼器相似的方式確定一組允許選項來對該選擇進行解碼。通過確定一組可允許選項，解碼器可以讀取碼字並確定編碼器做出的選擇。
在步驟113處，解碼器執行塊解碼。具體而言，解碼器運用逆變換來生成殘差塊。然後，解碼器根據劃分使用殘差塊和對應的預測塊來對圖像塊進行重構。預測塊可以包括如步驟105中在編碼器處生成的幀內預測塊和幀間預測塊。然後，根據在步驟111處確定的劃分資料將已重構圖像塊放置到已重構視訊訊號幀中。還可以通過如上所述的熵編碼在位元流中發送用於步驟113的語法。
在步驟115處，在編碼器處以類似步驟107的方式對已重構視訊訊號幀進行濾波。例如，可以將雜訊抑制濾波器、去塊濾波器、自我調整環路濾波器和SAO濾波器應用於幀以去除成塊偽影。對幀進行濾波後，在步驟117處，可以將視訊訊號輸出給顯示器以供終端使用者查看。
圖2為用於視頻編碼的示例編碼和解碼(轉碼器)系統200的示意圖。具體而言，編解碼系統200提供支援實現方法100的功能。將編解碼系統200概化為用於描繪在編碼器和解碼器中都有運用的組件。如方法100中的步驟101和步驟103所述，編解碼系統200接收並劃分視訊訊號，從而產生劃分後的視訊訊號 201。然後，在用作編碼器時，編解碼系統200將劃分後的視訊訊號201壓縮到已編碼位元流中，如方法100中的步驟105、107和109所述。當用作解碼器時，編解碼系統200從位元流中生成輸出視訊訊號，如方法100中的步驟111、113、115和117所述。編解碼系統200包括通用編碼器控制組件211、變換縮放和量化組件213、幀內估計組件215、幀內預測組件217、運動補償組件219、運動估計組件221、縮放和逆變換組件229、濾波器控制分析組件227、環內濾波器組件225、已解碼圖像緩衝區組件223，以及報頭格式化和基於上下文的自我調整二進位算術編碼(Context adaptive binary arithmetic coding，CABAC)組件231。這些組件如圖所示進行耦合。在圖2中，黑線表示待編碼/待解碼資料的移動，而虛線表示控制其它組件操作的控制資料的移動。編解碼系統200的組件可全部存在於編碼器中。解碼器可以包括編解碼系統200的組件的子集。例如，解碼器可以包括幀內預測組件217、運動補償組件219、縮放和逆變換組件229、環內濾波器組件225和已解碼圖像緩衝區組件223。現在對這些組件進行描述。
劃分後的視訊訊號201是一個捕獲的視訊流，該視訊流已由編碼樹劃分成區塊。編碼樹運用各種劃分模式將區塊細分為較小的區塊。然後，這些塊可以進一步細分為更小的塊。這些塊可以稱為編碼樹的節點。較大的父節點被分成較小的子節點。節點被細分的次數稱為節點/編碼樹的深度。在一些情況下，劃分的塊稱為編碼單元(coding unit，CU)。劃分模式可以包括二叉樹 (binary tree，BT)、三叉樹(triple tree，TT)和四叉樹(quad tree，QT)，用於根據使用的劃分模式分別將節點分成兩個、三個或四個不同形狀的子節點。將劃分後的視訊訊號201轉發給通用編碼器控制組件211、變換縮放和量化組件213、幀內估計組件215、濾波器控制分析組件227和運動估計組件221以進行壓縮。
通用編碼器控制組件211用於根據應用限制做出與以下內容相關的決定：將視頻序列的圖像編碼到位元流中。例如，通用編碼器控制組件211管理位元速率/位元流大小與重構品質的優化。可以基於存儲空間/頻寬可用性和圖像解析請求做出這些決定。通用編碼器控制組件211還根據傳送速率管理緩衝區利用率，以緩解緩衝區欠載和超載問題。為了管理這些問題，通用編碼器控制組件211管理由其它組件進行的劃分、預測和濾波。例如，通用編碼器控制組件211可以動態地增加壓縮複雜度以增加解析和提高頻寬使用率，或降低壓縮複雜度以降低解析和頻寬使用率。因此，通用編碼器控制組件211控制編解碼系統200的其它組件，以平衡視訊訊號重構品質和位元速率。通用編碼器控制組件211創建控制其它組件操作的控制資料。控制資料還會轉發給報頭格式化和CABAC組件231以編碼到位元流中，從而指示用於在解碼器處進行解碼的參數。
劃分後的視訊訊號201還會發送到運動估計組件221和運動補償組件219以用於幀間預測。劃分後的視訊訊號201的幀或分片可以分成多個視頻塊。運動估計組件221和運動補償組件 219根據用於提供時間預測的一個或多個參考幀中的一個或多個塊對接收的視頻塊進行幀間預測性編碼。編解碼系統200可以執行多個編碼方式，以便為每個視頻資料塊選擇適當的編碼模式等。
運動估計組件221和運動補償組件219可以是高度集成的，但是出於概念目的而單獨示出。由運動估計組件221執行的運動估計是生成運動向量的過程，其中，運動向量估計視頻塊的運動。例如，運動向量可以指示視頻塊的預測單元(prediction unit，PU)相對於參考幀內預測塊(或其它編碼單元)的位移，或相對於當前幀內正在編碼的當前塊(或其它編碼單元)的位移。就圖元差而言，預測塊是找到的最匹配待編碼塊的塊，圖元差可以通過絕對差之和(sum of absolute difference，SAD)、平方差之和(sum of square difference，SSD)或其它差值度量來確定。在一些示例中，編解碼系統200可以計算存儲在已解碼圖像緩衝區223中的參考圖像的分段整數圖元位置的值。例如，視頻編解碼系統200可以內插參考圖像的四分之一圖元位置、八分之一圖元位置或其它分數圖元位置的值。因此，運動估計組件221可以執行針對全圖元位置和分數圖元位置的運動搜索，並輸出具有分數圖元精度的運動向量。運動估計組件221通過對PU的位置與參考圖像的預測塊的位置進行比較來計算已進行幀間編碼的分片中視頻塊的PU的運動向量。運動估計組件221將所計算的運動向量作為運動資料輸出給報頭格式化和CABAC組件231以進行編碼，以及作為運動資料輸給給運動補償組件219。
運動補償組件219執行的運動補償可能涉及基於運動估計組件221確定的運動向量來提取或生成預測塊。同樣，在一些示例中，運動估計組件221和運動補償組件219在功能上可以集成。在接收到當前視頻塊的PU的運動向量後，運動補償組件219可以定位預測塊，其中，運動向量向該預測塊指出參考圖像清單。然後，通過將正在編碼的當前視頻塊的圖元值減去預測塊的圖元值形成殘差視頻塊，從而形成圖元差值。通常，運動估計組件221執行與亮度分量相關的運動估計，而運動補償組件219對色度分量和亮度分量使用基於亮度分量計算的運動向量。將預測塊和殘差塊轉發到變換縮放和量化組件213。
還將劃分後的視訊訊號201發送到幀內估計組件215和幀內預測組件217。同運動估計組件221和運動補償組件219一樣，幀內估計組件215和幀內預測組件217可以是高度集成的，但是出於概念目的而單獨示出。作為如上所述的運動估計組件221和運動補償組件219在幀間執行的幀間預測的替代方案，幀內估計組件215和幀內預測組件217根據當前幀中的塊對當前塊進行幀內預測。具體而言，幀內估計組件215確定用於對當前塊進行編碼的幀內預測模式。在一些示例中，幀內估計組件215從多個測試幀內預測模式中選擇適當的幀內預測模式對當前塊進行編碼。然後，將所選的幀內預測模式轉發到報頭格式化和CABAC組件231以進行編碼。
例如，幀內估計組件215使用速率-失真分析來計算各種 測試幀內預測模式的速率-失真值，並選擇測試模式中具有最佳速率-失真特徵的幀內預測模式。速率-失真分析通常會確定已編碼塊與原始的未編碼塊之間的失真(或者誤差)量以及會確定用於產生已編碼塊的位元速率(例如位元數量)，其中，原始的未編碼塊經編碼後產生該已編碼塊。幀內估計組件215根據各個已編碼塊的失真和速率計算比值，以確定針對該塊哪個幀內預測模式提供最佳速率-失真值。另外，幀內估計組件215可以用於基於速率-失真優化(rate-distortion optimization，RDO)對使用深度建模模式(depth modeling mode，DMM)的深度圖的深度塊進行編碼。
幀內預測組件217可以基於幀內估計組件215確定的選定幀內預測模式從預測塊生成殘差塊。殘差塊包括預測塊與原始塊之間值的差，其中，該差用矩陣表示。然後，將殘差塊轉發給變換縮放和量化組件213。幀內估計組件215和幀內預測組件217可以對亮度分量和色度分量兩者進行操作。
變換縮放和量化組件213用於進一步壓縮殘差塊。變換縮放和量化組件213將離散余弦變換(discrete cosine transform，DCT)、離散正弦變換(discrete sine transform，DST)或概念上類似的變換等變換應用於殘差塊，從而產生包括殘差變換系數值的視頻塊。也可以使用小波變換、整數變換、子帶變換或其它類型的變換。變換可以將殘差資訊從圖元值域轉換為頻域等變換域。變換縮放和量化組件213還用於基於頻率等對已變換殘差資訊進行縮放。這種縮放涉及將縮放因數應用於殘差資訊，從而用不同 細微性來量化不同頻率資訊，這可能會影響已重構視頻的最終視覺品質。變換縮放和量化組件213還用於量化變換係數以進一步降低位元速率。量化過程可以減小與一些或全部係數相關聯的位元深度。量化的程度可以通過調整量化參數來修改。在一些示例中，變換縮放和量化組件213然後可以對包括量化後的變換係數的矩陣進行掃描。將量化後的變換係數轉發給報頭格式化和CABAC組件231以編碼到位元流中。
縮放和逆變換組件229應用變換縮放和量化組件213的逆操作來支持運動估計。縮放和逆變換組件229應用逆縮放、變換和/或量化來重構圖元域中的殘差塊，以便稍後用作參考塊等，該參考塊可能會是用於另一當前塊的預測塊。運動估計組件221和/或運動補償組件219可以通過將殘差塊回添到用於後續塊/幀的運動估計的對應預測塊來計算參考塊。將濾波器應用於已重構參考塊，以減少縮放、量化和變換過程中產生的偽影。在預測後續塊時，這些偽影可能會導致預測不準確(並產生額外的偽影)。
濾波器控制分析組件227和環內濾波器組件225將濾波器應用於殘差塊和/或已重構圖像塊。例如，可以將來自縮放和逆變換組件229的已變換殘差塊與來自幀內預測組件217和/或運動補償組件219的對應預測塊進行組合，以重構原始圖像塊。然後，可以將濾波器應用於已重構圖像塊。在一些示例中，可以將濾波器應用於殘差塊。同圖2中的其它組件一樣，濾波器控制分析組件227和環內濾波器組件225是高度集成的，可以一起實現，但 是出於概念目的而單獨描述。把應用於已重構參考塊的濾波器應用於特定空間區域，應用於已重構參考塊的濾波器包括用於調整這些濾波器應該如何應用的多個參數。濾波器控制分析組件227分析已重構參考塊以確定這些濾波器應該應用的位置，並設置對應的參數。將這些資料作為用於編碼的濾波器控制資料轉發給報頭格式化和CABAC組件231。環內濾波器組件225基於濾波器控制資料應用這些濾波器。濾波器可以包括去塊濾波器、雜訊抑制濾波器、SAO濾波器和自我調整環路濾波器。可以根據示例將這些濾波器應用於空間/圖元域(例如已重構區塊)或頻域。
當作為編碼器運行時，將濾波後的已重構圖像塊、殘差塊和/或預測塊存儲在已解碼圖像緩衝區223中，以供稍後在如上所述的運動估計中使用。當作為解碼器操作時，已解碼圖像緩衝區223存儲重構後和濾波後的塊，並將其作為輸出視訊訊號的一部分轉發給顯示器。已解碼圖像緩衝區223可以是能夠存儲預測塊、殘差塊和/或已重構圖像塊的任何記憶體設備。
報頭格式化和CABAC組件231從編解碼系統200的各種組件接收資料，並將這些資料編碼到已編碼位元流中以便傳輸給解碼器。具體而言，報頭格式化和CABAC組件231生成各種報頭來對一般控制資料和濾波器控制資料等控制資料進行編碼。此外，將預測資料，包括幀內預測和運動資料，以及量化後的變換係數資料形式的殘差數據都編碼到位元流中。最終位元流包括解碼器對原始劃分後的視訊訊號201進行重構所期望的所有資訊。 這些資訊還可以包括幀內預測模式索引表(也稱為碼字映射表)、各種塊的編碼上下文的定義、最可能的幀內預測模式的指示、劃分資訊的指示等。這些資料可以運用熵編碼進行編碼。例如，可以通過運用上下文自我調整可變長度編碼(context adaptive variable length coding，CAVLC)、CABAC、基於語法的上下文自我調整二進位算術編碼(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率區間劃分熵(probability interval partitioning entropy，PIPE)編碼或其它熵編碼技術來對資訊進行編碼。在熵編碼之後，可以將編碼位元流發送給另一設備(例如視頻解碼器)或存檔以用於稍後的傳輸或檢索。
圖3為示出了可以實現雜訊抑制濾波器的示例視訊轉碼器300的框圖。可運用視訊轉碼器300來實現編解碼系統200的編碼功能和/或執行方法100的步驟101、103、105、107和/或109。編碼器300對輸入視訊訊號進行劃分，從而產生與劃分後的視訊訊號201基本類似的劃分後的視訊訊號301。然後，劃分後的視訊訊號301由編碼器300的組件進行壓縮並編碼到位元流中。
具體而言，將劃分後的視訊訊號301轉發給幀內預測組件317以進行幀內預測。幀內預測組件317與幀內估計組件215和幀內預測組件217可以基本相似。還將劃分後的視訊訊號301轉發給運動補償組件321，以基於已解碼圖像緩衝區323中的參考塊進行幀間預測。運動補償組件321與運動估計組件221和運動補償組件219可以基本相似。將來自幀內預測組件317和運動補 償組件321的預測塊及殘差塊轉發給變換和量化組件313，以對殘差塊進行變換和量化。變換和量化組件313和變換縮放和量化組件213可以基本相似。將已變換和量化的殘差塊和對應的預測塊(連同相關聯的控制資料)轉發給熵編碼組件331以編碼到位元流中。熵編碼組件331和報頭格式化和CABAC組件231可以基本相似。
還將已變換和量化的殘差塊和/或對應的預測塊從變換和量化組件313轉發給逆變換和量化組件329，以重構成參考塊供運動補償組件321使用。逆變換和量化組件329和縮放和逆變換組件229可以基本相似。根據不同示例，還將環內濾波器組件325中的環內濾波器應用於殘差塊和/或已重構參考塊。環內濾波器組件325與濾波器控制分析組件227和環內濾波器組件225可以基本相似。環內濾波器組件325可以包括多個濾波器，包括下文所述的雜訊抑制濾波器。然後，將濾波後的塊存儲在已解碼圖像緩衝區323中，以供運動補償組件321用作參考塊。已解碼圖像緩衝區323與已解碼圖像緩衝區223可以基本相似。
如下文更詳細討論的，環內濾波器組件325應用的濾波器順序會影響運動補償組件321運動估計的準確性和/或幀內預測組件317的準確性，從而會影響解碼器處已重構視訊訊號的視頻品質和/或已編碼位元流的壓縮。如本文所述，環內濾波器組件325可以自我調整地應用雜訊抑制濾波器。可以在對已重構圖像應用去塊濾波器之前、在去塊濾波器與SAO濾波器之間、在SAO濾 波器與自我調整環路濾波器之間或在自我調整環路濾波器之後應用雜訊抑制濾波器。此外，可以在劃分後的視訊訊號301的各種劃分層級應用雜訊抑制濾波器，這繼而又會影響壓縮和視頻品質。在一些示例中，可以省略去塊濾波器、SAO濾波器和/或自我調整環路濾波器。此外，也可以使用其它濾波器。因此，可以將雜訊抑制濾波器設為環內濾波器組件325中的第一個、第二個、第三個、第四個、最後一個濾波器等。
圖4為示出了可以實現雜訊抑制濾波器的示例視頻解碼器400的框圖。視頻解碼器400可以用於實現編解碼系統200的解碼功能和/或實施方法100的步驟111、113、115和/或117。解碼器400從編碼器300等接收位元流，並基於位元流生成已重構輸出視訊訊號以顯示給終端使用者。
位元流由熵解碼組件433接收。熵解碼組件433執行熵編碼組件331的逆功能。熵解碼組件433用於實施熵解碼方案，例如CAVLC、CABAC、SBAC、PIPE編碼或其它熵編碼技術。例如，熵解碼組件433可以運用報頭資訊來提供上下文，以解析位元流中編碼為碼字的額外資料。解碼後的資訊包括解碼視訊訊號所需的任何期望資訊，例如通用控制資料、濾波器控制資料、劃分資訊、運動資料、預測資料和來自殘差塊的量化後的變換係數。將量化後的變換係數轉發給逆變換和量化組件429以重構為殘差塊。逆變換和量化組件429和逆變換和量化組件329可以基本相似。
將已重構殘差塊和/或預測塊轉發給幀內預測組件417，以基於幀內預測操作重構為圖像塊。幀內預測組件417和幀內預測組件317可以基本相似，但是操作相反。具體而言，幀內預測組件417運用預測模式來定位幀中的參考塊，並將殘差塊應用於上述結果以對幀內預測後的圖像塊進行重構。通過環內濾波器組件425將已重構、幀內預測後的圖像塊和/或殘差塊以及對應的幀間預測資料轉發給已解碼圖像緩衝區組件423，環內濾波器組件425和已解碼圖像緩衝區組件423與環內濾波器組件325和已解碼圖像緩衝區組件323可以基本相似。環內濾波器組件425對已重構圖像塊、殘差塊和/或預測塊進行濾波，並且將這些資訊存儲在解碼圖像緩衝區組件423中。將來自已解碼圖像緩衝區組件423的已重構圖像塊轉發給運動補償組件421以進行幀間預測。運動補償組件421和運動補償組件321可以基本類似，但是操作可以相反。具體而言，運動補償組件421運用來自參考塊的運動向量來生成預測塊，並將殘差塊應用於上述結果以重構圖像塊。還可以將得到的已重構塊通過環內濾波器組件425轉發給已解碼圖像緩衝區組件423。已解碼圖像緩衝區組件423繼續存儲其它已重構圖像塊，其它已重構圖像塊可以通過劃分資訊重構為幀。也可以將這些幀放置在序列中。將該序列作為已重構輸出視訊訊號輸出給顯示器。
同環內濾波器組件325一樣，環內濾波器組件425應用的濾波器順序會影響運動補償組件421的運動估計的準確性和/或 幀內預測組件417的準確性，繼而會影響解碼器處已重構輸出視訊訊號的視頻品質。如本文所述，環內濾波器組件425可以自我調整地應用雜訊抑制濾波器。可以在對已重構圖像應用去塊濾波器之前、在去塊濾波器與SAO濾波器之間、在SAO濾波器與自我調整環路濾波器之間或在自我調整環路濾波器之後應用雜訊抑制濾波器。此外，可以在已重構輸出視訊訊號的各種劃分層級應用雜訊抑制濾波器，這繼而會影響已重構輸出視訊訊號的視頻品質。
圖5為示出了包括雜訊抑制濾波器541的示例環內濾波器500的框圖。環內濾波器500可以用於實現環內濾波器225、325和/或425。環內濾波器500包括雜訊抑制濾波器541、去塊濾波器543、SAO濾波器545和自我調整環路濾波器547。依次將環內濾波器500的濾波器應用於已重構圖像塊和/或殘差塊。
雜訊抑制濾波器541用於去除圖像壓縮引起的量化雜訊。具體而言，運用雜訊抑制濾波器541來去除在圖像邊緣發生的偽影。例如，在圖像中的不同色斑/光斑之間的急劇過渡(邊緣)附近，圖像壓縮可能會產生明顯不同的且不正確的色/光值。這稱為振鈴，由以下原因引起：將變換應用於圖像資料中與銳化邊緣相關聯的高頻部分。運用雜訊抑制濾波器541來減少這種振鈴偽影。雜訊抑制濾波器541在空間域(例如圖元的空間方向)和頻域(例如與圖元資料相關的已變換系數值的關係)兩者中操作。在編碼器處，雜訊抑制濾波器541將已重構幀劃分為參考宏塊。 這些塊也可以細分為更小的參考塊。雜訊抑制濾波器541首先基於塊的量化雜訊的估計量生成應用地圖，其中，應用地圖指示幀中應該進行濾波的部分。然後，針對應用地圖指示的每個參考塊，雜訊抑制濾波器541運用匹配組件確定與對應的參考塊類似的一組分塊，其中，“類似”是指色度值/亮度值在預定範圍內。隨後，雜訊抑制濾波器541將這些分塊分組成集群，然後可以運用二維(two dimensional，2D)變換將這些集群變換到頻域中，得到頻域分塊。雜訊抑制濾波器541還可以運用逆2D變換來將頻域分塊轉換回空間域。
雜訊抑制濾波器541會運用協同濾波，協同濾波包括確定描述圖像幀在頻域和圖元域中的公共部分的協同濾波參數。例如，可以通過對已變換分塊中的元素進行重新分組以獲得矩陣Ti的方式來確定協作濾波參數，其中，矩陣Ti的每一行包括空間頻率相同的頻率分量。變換矩陣Ti來獲得已變換矩陣
Figure 107112058-A0305-02-0032-44
，其中矩陣
Figure 107112058-A0305-02-0032-45
的每行為矩陣Ti的對應行的一維變換，然後根據以下等式確定記為
Figure 107112058-A0305-02-0032-46
的濾波參數：
Figure 107112058-A0305-02-0032-2
其中，Ω為矩陣
Figure 107112058-A0305-02-0032-47
內的列數，空間頻率v,w對應於矩陣
Figure 107112058-A0305-02-0032-48
的第j行，N為量化雜訊值。將確定的參數和應用地圖編碼進位元流中。在解碼器處，運用應用地圖來確定應用濾波器的位置，運用參數來設置濾波器以減少已重構圖像中的振鈴雜訊。
去塊濾波器543用於去除基於塊的幀間預測和幀內預測產生的塊狀邊緣。去塊濾波器543掃描圖像部分(例如圖像分片)以找出在劃分邊界處出現的不連續色度值和/或亮度值。去塊濾波器543然後將平滑函數應用於塊邊界，以去除這種不連續性。去塊濾波器543的強度可以視以下內容而定：與塊邊界相鄰的區域中發生的空間活動(例如亮度分量/色度分量的變化)。
SAO濾波器545用於去除與編碼過程導致的樣本失真相關的偽影。基於相關的去塊邊緣形狀和/或方向，編碼器處的SAO濾波器545將已重構圖像的去塊後樣本分成若干類別。然後，根據類別確定偏移並將其添加到樣本中。隨後，將偏移編碼到位元流中，並由解碼器處的SAO濾波器545運用這些偏移。SAO濾波器545去除帶化偽影(值的帶而非平滑過渡)和振鈴偽影(靠近銳化邊緣的偽信號)。
編碼器處的自我調整環路濾波器547用於將已重構圖像與原始圖像進行比較。自我調整環路濾波器547通過基於維納(Wiener)的自我調整濾波器等來確定描述已重構圖像與原始圖像之間的差異的係數。將這些係數編碼到位元流中，且由解碼器處的自我調整環路濾波器547運用這些係數來消除已重構圖像與原始圖像之間的差異。儘管自我調整環路濾波器547在校正偽影方面很有效，但是已重構圖像與原始圖像之間的更大的差異導致要發送更多數量的係數。這繼而造成了更大的位元流，從而降低了壓縮效率。這樣，在應用自我調整環路濾波器547之前使用其 它濾波器將差異最小化會改善壓縮。
如上所述，雜訊抑制濾波器541相對於其它濾波器的位置會影響濾波過程。環內濾波器500從已編碼視訊流接收已重構圖像。然後，環內濾波器500對已重構圖像進行濾波以創建濾波後的圖像。濾波包括：對已重構圖像應用雜訊抑制濾波器541，緊接著對已重構圖像應用去塊濾波器543。該方法使得雜訊抑制濾波器541抑制量化雜訊的同時又根據雜訊抑制處理的結果執行去塊功能。因此，去塊濾波器543會接收到改進的圖像並執行較少的計算。這可以縮短處理時間和/或減少位元流中的信令開銷。然後，可以將濾波後的圖像存儲在記憶體的已解碼圖像緩衝區523中，以傳輸給解碼器(編碼器側)或顯示給終端使用者(解碼器側)。已解碼圖像緩衝區523和已解碼圖像緩衝區223、323和/或423可以基本相似。
圖6為示出了包括雜訊抑制濾波器641的另一示例環內濾波器600的框圖。環內濾波器600可以用於實現環內濾波器225、325和/或425。環內濾波器600包括雜訊抑制濾波器641、去塊濾波器643、SAO濾波器645和自我調整環路濾波器647，分別和雜訊抑制濾波器541、去塊濾波器543、SAO濾波器545和自我調整環路濾波器547基本相似。依次將環內濾波器600的濾波器應用於已重構圖像塊和/或殘差塊。
如圖所示，環內濾波器600從已編碼視訊流接收已重構圖像。然後，環內濾波器600對已重構圖像進行濾波以創建濾波 後的圖像。濾波包括：對已重構圖像應用去塊濾波器643，緊接著對已重構圖像應用雜訊抑制濾波器641，然後對已重構圖像應用SAO濾波器645。該方法首先應用去塊濾波器643，這可以在去塊期間去除一些量化雜訊。這樣，可以對已重構圖像的較少部分應用雜訊抑制濾波器641。從而可以生成較小的應用地圖，進而減少對應的編碼大小，並減少編碼器和解碼器處與雜訊抑制濾波器641相關的處理時間。然後，可以將濾波後的圖像存儲在記憶體的已解碼圖像緩衝區623中，以傳輸給解碼器(編碼器側)或顯示給終端使用者(解碼器側)。已解碼圖像緩衝區623和已解碼圖像緩衝區223、323和/或423可以基本相似。
圖7為示出了包括雜訊抑制濾波器741的另一示例環內濾波器700的框圖。環內濾波器700可以用於實現環內濾波器225、325和/或425。環內濾波器700包括雜訊抑制濾波器741、去塊濾波器743、SAO濾波器745和自我調整環路濾波器747，分別和雜訊抑制濾波器541、去塊濾波器543、SAO濾波器545和自我調整環路濾波器547基本相似。依次將環內濾波器700的濾波器應用於已重構圖像塊和/或殘差塊。
如圖所示，環內濾波器700從已編碼視訊流接收已重構圖像。然後，環內濾波器700對已重構圖像進行濾波以創建濾波後的圖像。濾波包括：對已重構圖像應用SAO濾波器745，緊接著對已重構圖像應用雜訊抑制濾波器741，然後對已重構圖像應用自我調整環路濾波器747。這種放置能使去塊濾波器743和SAO 濾波器745去除更多的量化雜訊，從而進一步減少雜訊抑制濾波器741的工作量。因此，該配置可以進一步減小應用地圖大小並減小對應的編碼大小，以及減少編碼器和解碼器處與雜訊抑制濾波器741有關的處理時間。此外，仍然在自我調整環路濾波器747之前應用雜訊抑制濾波器741，雜訊抑制濾波器741通常是最強大的濾波器。因此，雜訊抑制濾波器741也會減少自我調整環路濾波器747的工作量，繼而減少與自我調整環路濾波器747生成的參數相關的編碼大小。然後，可以將濾波後的圖像存儲在記憶體的已解碼圖像緩衝區723中，以傳輸給解碼器(編碼器側)或顯示給終端使用者(解碼器側)。已解碼圖像緩衝區723和已解碼圖像緩衝區223、323和/或423可以基本相似。
圖8為示出了包括雜訊抑制濾波器841的另一示例環內濾波器800的框圖。環內濾波器800可以用於實現環內濾波器225、325和/或425。環內濾波器800包括雜訊抑制濾波器841、去塊濾波器843、SAO濾波器845和自我調整環路濾波器847，分別和雜訊抑制濾波器541、去塊濾波器543、SAO濾波器545和自我調整環路濾波器547基本相似。依次將環內濾波器800的濾波器應用於已重構圖像塊和/或殘差塊。
如圖所示，環內濾波器800從已編碼視訊流接收已重構圖像。然後，環內濾波器800對已重構圖像進行濾波以創建濾波後的圖像。濾波包括：對已重構圖像應用自我調整環路濾波器847，緊接著對已重構圖像應用雜訊抑制濾波器841。然後，可以 將濾波後的圖像存儲在記憶體的已解碼圖像緩衝區823中，以傳輸給解碼器(編碼器側)或顯示給終端使用者(解碼器側)。已解碼圖像緩衝區823和已解碼圖像緩衝區223、323和/或423可以基本相似。
這樣，把雜訊抑制濾波器用作視訊壓縮/解壓過程中的環內濾波器，並且雜訊抑制濾波器可以位於所有環內濾波器的各種位置，所述環內濾波器包括但不限於去塊濾波器、SAO濾波器和自我調整環路濾波器(adaptive loop filter，ALF)。
圖9為示出了用於雜訊抑制濾波器541、641、741和/或841等雜訊抑制濾波器的應用的示例應用地圖900的圖。如上文結合圖5所示，編碼器處的雜訊抑制濾波器生成應用地圖900等應用地圖，以向解碼器指示應該由解碼器處的對應雜訊抑制濾波器進行濾波的圖像幀的部分。將該應用地圖與相關雜訊抑制參數一起編碼在位元流中。應用地圖900示出了針對示例圖像幀的這種地圖。雜訊抑制濾波器可以將宏塊細分為更小的塊以支持精細的細節濾波，但代價是複雜度變高和編碼空間使用率上升。應用地圖900沒有深度限制，這是指允許雜訊抑制濾波器按照期望繼續細分宏塊，以獲得優化的濾波而不考慮複雜度。應用地圖900包括指示雜訊抑制濾波器未應用於對應塊的空白框。應用地圖900還包括用虛線X標記的框。這些框指示雜訊抑制濾波器已應用於對應的塊。
圖10為示出了用於對圖像進行劃分的示例應用地圖 1000的圖，其中，應用地圖1000具有最大深度限制，並在應用雜訊抑制濾波器541、641、741和/或841等雜訊抑制濾波器時使用。應用地圖1000和應用地圖900類似，但是包括兩個最大深度限制。該最大深度限制允許雜訊抑制濾波器將宏塊細分兩次，以確定應用雜訊抑制濾波器的最小塊。雖然深度限制降低了濾波精度，但是卻減少了信令開銷、濾波複雜度、處理時間和編碼空間。相應地，深度限制可以基於頻寬可用性、記憶體可用性、解析要求等根據需要而改變。
圖11為示出了用於對圖像進行劃分的另一示例應用地圖1100的圖，其中，應用地圖1100具有最大深度限制，並在應用雜訊抑制濾波器541、641、741和/或841等雜訊抑制濾波器時使用。應用地圖1100和應用地圖900類似，但是包括一個最大深度限制。該最大深度限制允許雜訊抑制濾波器將宏塊細分一次，以確定應用雜訊抑制濾波器的最小塊。雖然深度限制進一步降低了濾波精度，但是卻減少了濾波複雜度、處理時間和編碼空間。如圖所示，可以將深度限制設置為任何期望值，以平衡視頻解析限制與記憶體空間和處理資源限制。
如上所述，應用地圖900、1000和/或1100等應用地圖由編碼器處的雜訊抑制濾波器541、641、741和/或841等雜訊抑制濾波器計算，並通過位元流發送給解碼器處的對應雜訊抑制濾波器，以指示對幀的哪些區域進行濾波。可以運用各種標誌來指示雜訊抑制濾波器資料，包括應用地圖資料。例如，可以運用序列 參數集(sequence parameter set，SPS)控制標誌、圖像參數集(picture parameter set，PPS)控制標誌、分片頭自我調整標誌、分片頭控制標誌、分片頭最大深度大小標誌和/或CU控制標誌來指示應用地圖和相關資料。下文論述了這些標誌。
在一些示例中，可以通過在位元流中使用SPS集合中的標誌(例如一位元標誌)在序列級打開或關閉雜訊抑制濾波器。該標誌控制是否將雜訊抑制濾波器應用於整個幀序列。例如，表1指示了通用序列參數集原始位元組序列載荷(raw byte sequence payload，RBSP)語法，該語法用於運用SPS雜訊抑制濾波器啟用標誌(sps_ns_filter_enabled_flag)來控制序列級上雜訊抑制濾波器的使用。
Figure 107112058-A0305-02-0039-4
在本示例中，可以將sps_ns_filter_enabled_flag設為1來指示將雜訊抑制濾波器應用於當前序列中的已重構圖像，設為0來指示不將雜訊抑制濾波器應用於已重構圖像/序列。
在另一示例中，可以通過在位元流中使用PPS集合中的標誌(例如一位元標誌)在圖像級打開或關閉雜訊抑制濾波器。該標誌控制是否將雜訊抑制濾波器應用於特定幀。例如，表2指 示了RBSP語法，該語法用於運用PPS雜訊抑制濾波器啟用標誌(pps_ns_filter_enabled_flag)來控制圖像級的雜訊抑制濾波器使用。
Figure 107112058-A0305-02-0040-5
在本示例中，可以將pps_ns_filter_enabled_flag設為1來指示將雜訊抑制濾波器應用於當前圖像，設為0來指示不將雜訊抑制濾波器應用於當前圖像。當不存在pps_ns_filter_enabled_flag時，可以推斷該標誌被設為0。
在一些示例中，單獨在SPS級或PPS級指示雜訊抑制濾波器的使用，而不是在兩者都指示。例如，如果有sps_ns_filter_enabled_flag，則不存在pps_ns_filter_enabled_flag，反之亦然。在另一示例中，在SPS級和PPS級兩者處指示雜訊抑制濾波器的使用。當這些標誌衝突時，例如，SPS標誌指示濾波器打開/關閉，而PPS標誌指示濾波器關閉/打開，PPS標誌(啟用或關閉)覆蓋與PPS標誌關聯的圖像的SPS標誌。
在另一示例中，運用分片頭雜訊抑制濾波器自我調整標記(slice_ns_filter_adaptive_flag)。可以將雜訊抑制濾波器應用於整個分片(例如宏塊的條帶)，或者當以CU為單位時，可以將雜 訊抑制濾波器自我調整地應用在CU上。根據表3，可以在分片頭中發送用於指示濾波類型的標誌。
Figure 107112058-A0305-02-0041-6
可以將在位元流中指示的slice_ns_filter_adaptive_flag設為0來指示可以將雜訊抑制濾波器應用於整個分片，設為等於1來指示基於編碼在位元流中的應用地圖將雜訊抑制濾波器自我調整地應用於CU。當不存在slice_ns_filter_adaptive_flag時，可以推斷其被設為0。
當slice_ns_filter_adaptive_flag指示可以將雜訊抑制濾波器應用於整個分片(例如，而非自我調整地應用于CU)時，可以在分片頭中發送分片雜訊抑制控制標誌(slice_ns_control_flag)以指示是否將雜訊抑制濾波器應用於整個分片，如表4所示。
Figure 107112058-A0305-02-0041-7
可以將slice_ns_filter_control_flag設為0來指示不將雜訊抑制濾波器應用於整個分片，設為1來指示將雜訊抑制濾波器應用於整個分片。當不存在slice_ns_filter_control_flag時，可以推斷其被設為0。
當slice_ns_filter_adaptive_flag指示以CU為單位將雜訊抑制濾波器自我調整地應用在CU上時，在CU級將應用地圖900、1000和/或1100等應用地圖在位元流中進行發送。為了減少信令開銷，可以在分片頭中發送應用地圖的最大CU深度，如表5所示的分片雜訊抑制濾波器最大CU深度(slice_ns_max_cu_depth)標誌。
Figure 107112058-A0305-02-0042-8
slice_ns_max_cu_depth的大小可以視用來唯一指示對應編碼樹所允許的最大深度的位元數而定。slice_ns_max_cu_depth指示對應應用地圖中CU級雜訊抑制濾波器應用的最大深度(例如，深度限制)。例如，對於應用地圖900，slice_ns_max_cu_depth可以設為0，對於應用地圖1000，可以設為2，或者對於應用地圖1100，可以設為1。當slice_ns_max_cu_depth設為0時，只發送 基於編碼樹單元(coding tree unit，CTU)的標誌來指示雜訊抑制濾波器是否應該對指示的CTU進行濾波。
當slice_ns_filter_adaptive_flag指示以CU為單位將雜訊抑制濾波器自我調整地應用在CU上時，可以在分片頭中指示slice_ns_max_cu_depth，並在CU級指示基於CU的應用地圖。這可能包括作為四叉樹結構的一部分的信令，如表6所示。
Figure 107112058-A0305-02-0043-9
在本示例中，將CU雜訊抑制濾波器啟用標誌(cu_ns_filter_enabled_flag)設為1來指示針對當前編碼單元啟用雜訊抑制濾波器，設為0來指示針對當前編碼單元禁用雜訊抑制濾波器。當CU級處不存在cu_ns_filter_enabled_flag時，標誌值會繼承在較高深度(例如分片級)處指示的上一個濾波器標誌。
也可以通過從分片頭獲取值的方式來控制雜訊抑制濾波器。例如，針對一分片內相同大小的塊，可以運用碼字來控制打開/關閉/自我調整打開-關閉狀態。也可以運用雜訊抑制濾波塊大小(ns_block_size)標誌來指示應用雜訊抑制濾波器的塊的大小。每個分片中的雜訊抑制濾波可以使用相同的塊大小。可以根據標 誌自我調整地確定用於處理塊的雜訊抑制濾波的使用(例如打開/關閉)。應用地圖表示分片中每個塊的雜訊抑制濾波的使用。塊大小與編碼樹單元/CU大小可以相同或者不同。表7中示出了示例塊大小規範語法。
Figure 107112058-A0305-02-0044-10
在本示例中，將slice_ns_filter_enabled_flag設為0來指示對當前分片中的塊自我調整地啟用雜訊抑制濾波器。將slice_ns_filter_enabled_flag設為1來指示在當前分片中啟用雜訊抑制濾波器，設為2來指示在當前分片中禁用雜訊抑制濾波器。當不存在slice_ns_filter_enabled_flag時，可以推斷其被設為0。log2_ns_block_size_minus3指示雜訊抑制濾波塊的大小。ns_app_map指示與當前分片中的每個雜訊抑制濾波塊相關的一組標誌。將ns_app_map[i]設為0來指示當前分片中的第i個雜訊抑制塊處於關閉狀態，設為1來指示當前分片中的第i個雜訊抑制塊 處於打開狀態。ns_blocks_finish()機制計算雜訊抑制塊的數量，並在當前值小於或等於當前分片中雜訊抑制塊的總數時返回0。
在另一示例中，始終在解碼器和編碼器處自我調整地啟用雜訊抑制濾波器。在這種情況下，從編碼器傳輸並在解碼器處從位元流中解析出應用地圖和塊大小，無需表8所示的條件。
Figure 107112058-A0305-02-0045-12
log2_ns_block_size_minus3標誌指示雜訊抑制濾波塊的大小。ns_app_map標誌指示與當前分片中的每個雜訊抑制塊相關的一組標誌。將ns_app_map[i]設為0來指示當前分片中的第i個塊處於關閉狀態，設為1來指示當前分片中的第i個塊處於打開狀態。ns_blocks_finish()機制計算雜訊抑制塊的數量，並在當前值小於或等於當前分片中雜訊抑制塊的總數時返回0。
在另一示例中，可以根據指示雜訊抑制塊的大小的寬度標誌(log2_ns_width_minus3)和高度標誌(log2_ns_height_minus3)來表示塊大小，如表9所示。
Figure 107112058-A0305-02-0045-13
Figure 107112058-A0305-02-0046-32
在本示例中，log2_ns_width_minus3指示雜訊抑制濾波塊的寬度，log2_ns_height_minus3指示雜訊抑制濾波塊的高度。ns_app_map標誌指示與當前分片中的每個雜訊抑制塊相關的一組標誌。將ns_app_map[i]設為0來指示當前分片中的第i個抑制塊處於關閉狀態，設為1來指示當前分片中的第i個雜訊抑制塊處於打開狀態。ns_blocks_finish()機制計算雜訊抑制塊的數量，並在當前值小於或等於當前分片中雜訊抑制塊的總數時返回0。
在另一示例中，塊大小可以表示為ns_max_depth，其中，ns_max_depth充分利用了與雜訊抑制塊相對應的編碼樹單元的塊劃分(例如QT、BT、TT)。例如，當塊劃分是QT時，將ns_max_depth設為0來指示在當前分片中雜訊抑制塊的大小是兩個2ns_max_depth，設為1來指示在當前分片中雜訊抑制塊的大小是2ns_max_depth-1。
應用地圖900、1000和/或1100等應用地圖可以是上下文 編碼的。上下文可以從相鄰的編碼樹單元或塊中獲取。在一示例中，對應標誌用一個上下文進行熵編碼，並且上下文是按照編碼順序從緊鄰的前一相鄰編碼樹單元或塊中獲取而來。在另一示例中，對應標誌使用N(N>1)個上下文來進行熵編碼，並且這些上下文是按編碼順序從當前編碼樹單元/塊的緊鄰N個先前相鄰編碼樹單元或塊中獲取而來。在又一示例中，可以用三個上下文對標誌進行熵編碼，這三個上下文與以下三個條件相關聯：(1)左邊鄰居和上邊鄰居都啟用了濾波器；(2)左邊鄰居和上邊鄰居都禁用了濾波器；(3)左邊鄰居和上邊鄰居之一啟用了濾波器。slice_ns_filter_enabled_flag的二值化可以是固定長度的碼字或可變長度的碼字，如表10所示。
Figure 107112058-A0305-02-0047-15
表11示出了使用一元截斷碼的slice_ns_filter_enabled_flag的示例二值化。
Figure 107112058-A0305-02-0047-17
 表11
slice_ns_filter_enabled_flag等本文公開的標誌的含義可以運用不同的二進位值。例如，0可以指示將雜訊抑制濾波器應用於整個分片/幀，1可以指示將雜訊抑制濾波器過程自我調整地應用於分片/幀的一部分或整個分片/幀，2可指示不將雜訊抑制濾波器應用於整個分片/幀。
編碼樹單元中的雜訊抑制塊也可以通過運用編碼樹單元的塊劃分樹(例如QT、BT、TT)、編碼樹單元的雜訊抑制劃分樹等來獲得。編碼樹單元的雜訊抑制劃分與編碼樹單元的塊劃分樹可能不同。劃分樹產生的最小塊大小取決於劃分深度。可以在分片頭中發送slice_max_ns_cu_depth以指示最大編碼單元深度，其中，在最大編碼單元深度處指示有雜訊抑制濾波器標誌。深度小於slice_max_ns_cu_depth的CU的雜訊抑制濾波器標誌值被分組到深度為slice_max_ns_cu_depth的塊中，並且共用相同的標誌。表12至表14給出了可能的實施方式中的一種實施方式。
Figure 107112058-A0305-02-0048-19
Figure 107112058-A0305-02-0049-34
Figure 107112058-A0305-02-0049-35
在本示例中，將slice_ns_filter_enabled_flag設為0來指示針對當前分片中的濾波塊自我調整地啟用雜訊抑制濾波器，設為1來指示在當前分片中啟用雜訊抑制濾波器。將slice_ns_filter_enabled_flag設為2來指示在當前分片中禁用雜訊抑制濾波器。當不存在slice_ns_filter_enabled_flag時，可以推斷其為0。slice_ns_max_cu_depth指示雜訊抑制濾波器應用的編碼塊 的最大等級深度。slice_ns_max_cu_depth的取值範圍可以為0到CtbLog2SizeY。例如，當slice_ns_max_cu_depth設為0時，僅發送基於編碼樹單元的標誌來指示對應的編碼樹單元是否應該由雜訊抑制濾波器進行濾波。當不存在slice_ns_max_cu_depth時，可以推斷其為0。slice_ns_max_cu_depth可以運用編碼樹單元的塊劃分(例如QT、BT、TT)。例如，當由QT對編碼樹單元進行劃分時，將slice_ns_max_cu_depth設為0來指示在當前分片中雜訊抑制塊的大小為2CtbLog2SizeY，設為1來指示在當前分片中大小為2CtbLog2SizeY-1，設為2來指示大小為2CtbLog2SizeY-2，設為3來指示大小為2CtbLog2SizeY-3。將cu_ns_filter_enabled_flag設為1來指示針對當前編碼單元啟用雜訊抑制濾波器，設為0來指示針對當前編碼單元禁用雜訊抑制濾波器。
在另一示例中，通過大小限制在CU級自我調整地啟用雜訊抑制濾波器。在本示例中，允許在CU級上使用雜訊抑制濾波器，直到大小達到閾值。閾值可以是CU的最小允許圖元數量、最小允許CU大小、寬度的最小允許圖元數量、高度的最小允許圖元數量、最小(寬度、高度)的最小允許圖元數量，最大(寬度、高度)的最小允許圖元數量，和/或寬度與高度之間的最小允許比值。表15和表16分別包括示例分片頭控制標誌和編碼語法。
Figure 107112058-A0305-02-0050-36
Figure 107112058-A0305-02-0051-38
Figure 107112058-A0305-02-0051-25
在本示例中，將slice_ns_filter_enabled_flag設為0來指示在當前分片中自我調整啟用雜訊抑制濾波器，設為1來指示在當前分片中啟用雜訊抑制濾波器，設為2來指示在當前分片中禁用雜訊抑制濾波器。當不存在slice_ns_filter_enabled_flag時，可以推斷其等於0。將cu_ns_filter_enabled_flag設為1來指示針對當前編碼單元啟用雜訊抑制濾波器，設為0來指示針對當前編碼單元禁用雜訊抑制濾波器。當不存在cu_ns_filter_enabled_flag時，可以推斷其等於0。
在另一示例中，可以通過兩個指示亮度和色度的使用的一位元標誌來在分片、塊和/或編碼樹單元級上控制雜訊抑制濾波器。例如，表17示出了當位元流中有sps_ns_filter_enabled_flag時，用於色度信令/亮度信令的分片分割頭語法。
Figure 107112058-A0305-02-0052-26
其中，設置slice_ns_filter_luma_enabled_flag來指示對分片中的亮度分量使用雜訊抑制濾波，設置slice_ns_filter_chroma_enabled_flag來指示對分片中的色度分量使用雜訊抑制濾波。
表18示出了當位元流中有pps_ns_filter_enabled_flag時，用於色度信令/亮度信令的分片分割頭語法。
Figure 107112058-A0305-02-0052-27
Figure 107112058-A0305-02-0053-40
將slice_ns_filter_luma_enabled_flag設為1來指示針對當前分片中的亮度分量啟用雜訊抑制濾波器過程，設為0來指示針對當前分片中的亮度分量禁用雜訊抑制濾波器。當不存在slice_ns_filter_luma_enabled_flag時，可以推斷其為0。將slice_ns_filter_chroma_enabled_flag設為1來指示針對當前分片中的色度分量啟用雜訊抑制濾波器過程，設為0來指示針對當前分片中的色度分量禁用雜訊抑制濾波器過程。當不存在slice_ns_filter_chroma_enabled_flag時，可以推斷其為0。類似的標誌，例如block_ns_filter_chroma_enabled_flag和block_ns_filter_luma_enabled_flag，可以分別用於指示塊的色度和亮度。類似的標誌，例如ctu_ns_filter_chroma_enabled_flag和ctu_ns_filter_luma_enabled_flag，可以分別用於指示編碼樹單元的色度和亮度。
在又一示例中，可以通過從相鄰塊獲取標誌來控制雜訊抑制濾波器。該示例可以使用一個標誌來控制所有組件，或者使用單獨的標誌來分別控制每個組件。表19示出了一個這樣的示例。
Figure 107112058-A0305-02-0053-29
Figure 107112058-A0305-02-0054-49
在本示例中，將ns_filter_merge_left_flag設為1來指示ns_filter_block_flags的語法元素是從當前編碼樹塊左邊的編碼樹塊的對應語法元素獲取而來，設為0來指示這些語法元素不是從左邊的編碼樹塊的對應語法元素獲取而來。當不存在ns_filter_merge_left_flag時，可以推斷其為0。將ns_filter_merge_up_flag設為1來指示ns_filter_block_flags的語法元素是從當前編碼樹塊上邊的編碼樹塊的對應語法元素獲取而來，設為0來指示這些語法元素不是從上邊的編碼樹塊的對應語法元素獲取而來。當不存在ns_filter_merge_up_flag時，可以推斷其為0。
也可以將block_ns_filter_enabled_flag設為1來指示在當前塊中啟用雜訊抑制濾波器，設為0來指示在當前塊中禁用雜訊 抑制濾波器。當不存在block_ns_filter_enabled_flag時，可以推斷其為0。
這樣，在壓縮和解壓過程中，可以在各種序列/圖像級控制雜訊抑制濾波器過程，且CU級的雜訊抑制濾波器可以基於深度限制或大小限制來控制。
圖12為示出了用於應用雜訊抑制濾波器541、641、741和/或841等雜訊抑制濾波器的示例編碼方法1200的流程圖。可以將方法1200作為方法100的步驟107和/或115的一部分來開始。後續的方法1200應用環內濾波器225、325和/或425等環內濾波器。同樣，方法1200運用應用地圖900、1000和/或1100等應用地圖。
當來自輸入視訊流的幀被編碼且隨後被指定為進行幀間預測的參考幀時，在編碼器處開始方法1200。在這種情況下，將已編碼視訊流作為變換和量化過程的輸出來接收。當從位元流中獲得殘差塊和預測塊時，也可以在解碼器處開始方法1200。在這種情況下，從位元流中接收已編碼視訊流。在任一情況下，在步驟1201處，從已編碼視訊流中生成已重構圖像。可以通過對一個或多個預測塊和一個或多個對應殘差塊進行組合來生成已重構圖像。已重構圖像可能包含偽影，例如由與視訊壓縮的有損性質相關的量化雜訊引起的帶狀偽影和/或振鈴偽影。
在步驟1203處，對已重構圖像進行濾波以創建濾波後的圖像。濾波包括對已重構圖像應用雜訊抑制濾波器和其它環內濾 波器，例如去塊濾波器、SAO濾波器和/或自我調整環路濾波器。在第一示例中，濾波包括對已重構圖像應用雜訊抑制濾波器，緊接著對已重構圖像應用去塊濾波器，如環內濾波器500所示。在第二示例中，濾波包括對已重構圖像應用去塊濾波器，緊接著對已重構圖像應用雜訊抑制濾波器，然後對已重構圖像應用取樣自我調整偏移濾波器，如環內濾波器600所示。在第三示例中，濾波包括對已重構圖像應用取樣自我調整偏移濾波器，緊接著對已重構圖像應用雜訊抑制濾波器，然後對已重構圖像應用自我調整環路濾波器，如環內濾波器700所示。在第四示例中，濾波包括對已重構圖像應用自我調整環路濾波器，緊接著對已重構圖像應用雜訊抑制濾波器，如環內濾波器800所示。
根據位元流中的對應雜訊抑制濾波器標誌和應用地圖將步驟1203中的雜訊抑制濾波器應用於已重構圖像，如上述結合圖9至圖11和表1至表17所述。在一些示例中，將已編碼視訊流編碼到包含雜訊抑制濾波器標誌的位元流中，雜訊抑制濾波器標誌指示將雜訊抑制濾波器應用於包含已重構圖像的已編碼視訊流圖像序列(例如表1)。在一些示例中，將已編碼視訊流編碼到包含雜訊抑制濾波器標誌的位元流中，雜訊抑制濾波器標誌指示將雜訊抑制濾波器應用於已重構圖像(例如表2)。在一些示例中，將已編碼視訊流編碼到包含雜訊抑制濾波器標誌的位元流中，該雜訊抑制濾波器標誌指示將雜訊抑制濾波器應用於已重構圖像的分片(例如表3)。在一些示例中，將已編碼視訊流編碼到包含雜訊 抑制濾波器標誌的位元流中，該雜訊抑制濾波器標誌指示將雜訊抑制濾波器應用於已重構圖像的編碼樹單元(例如表5)。在一些示例中，將已編碼視訊流編碼到包括一個或多個雜訊抑制濾波器標誌的位元流中，該一個或多個雜訊抑制濾波器標誌指示將雜訊抑制濾波器應用於已重構圖像的亮度分量或已重構圖像的色度分量(例如表15至表16)。在另一示例中，將已編碼視訊流編碼到包含雜訊抑制濾波器標誌的位元流中，該雜訊抑制濾波器標誌指示基於與已重構圖像的相鄰塊相對應的語法元素將雜訊抑制濾波器應用於已重構圖像的當前塊(例如表17)。在另一示例中，將已編碼視訊流編碼到包含最大深度標誌的位元流中，最大深度標誌指示該雜訊抑制濾波器應用的、已重構圖像的子部分的編碼樹中編碼單元的最大深度(例如表5至表6)。在另一示例中，將已編碼視訊流編碼到包含大小限制的位元流中，大小限制指示該雜訊抑制濾波器應用的、已重構圖像的子部分的編碼樹中編碼單元的最小大小(例如表9)。在另一示例中，基於已重構圖像的應用地圖，例如應用地圖900、1000和/或1100，將雜訊抑制濾波器應用於已重構圖像的一個或多個塊。
在步驟1205處，將濾波後的圖像存儲在記憶體中的圖像緩衝區中，例如已解碼圖像緩衝區223、323和/或423中。然後，當方法1200在編碼器處操作時，濾波後的圖像可以用作參考幀/圖像，或當1200在解碼器處操作時，可以向終端使用者顯示濾波後的圖像。
在步驟1207處，當在編碼器處應用方法1200時，將濾波後的圖像用作進行幀間預測的參考幀。在另一示例中，當在解碼器處運用方法1200時，將圖像緩衝區中的濾波後的圖像排列成序列，並在顯示器上顯示給使用者。
圖13為根據本發明一實施例的用於視頻編碼的計算設備1300的示意圖。計算設備1300適用于實施如本文所述的公開實施例。計算設備1300包括用於通過網路將資料向上游和/或下游傳送的下游埠1320、上游埠1350和/或收發單元(Tx/Rx)1310。計算設備1300還包括處理器1330和用於存儲資料的記憶體1332，其中，處理器1330包括用於處理資料的邏輯單元和/或中央處理器(central processing unit，CPU)。計算設備1300還可以包括光電(optical-to-electrical，OE)組件、電光(electrical-to-optical，EO)組件和/或無線通訊組件，以上組件耦合到上游埠1350和/或下游埠1320，用於通過光通信網路或無線通訊網路傳送資料。計算設備1300還可以包括輸入和/或輸出(input and/or output，I/O)設備1360，用於向使用者以及從使用者傳送資料。I/O設備1360可以包括輸出設備，例如用於顯示視頻資料的顯示器、用於輸出音訊資料的揚聲器等。I/O設備1360還可以包括鍵盤、滑鼠、軌跡球等輸入裝置和/或用於與這些輸出設備進行交互的對應介面。
處理器1330由硬體和軟體實現。處理器1330可以實現為一個或多個CPU晶片、核(例如，實施為多核處理器)、現場可程式設計閘陣列(field-programmable gate array，FPGA)、專用 積體電路(application specific integrated circuit，ASIC)和數位訊號處理器(digital signal processor，DSP)。處理器1330與下游埠1320、Tx/Rx單元1310、上游埠1350和記憶體1332進行通信。處理器1330包括編碼/解碼模組1314。編碼/解碼模組1314實現上述公開的實施例，例如方法100、方法1200和/或用於執行如上所述環內濾波的任何其它機制。此外，編碼/解碼模組1314可以實現編解碼系統200、編碼器300、解碼器400和/或環內濾波器500至800。例如，編碼/解碼模組1314選擇環內濾波器的應用順序，確定/運用雜訊抑制濾波相關參數以平衡編碼複雜度、編碼記憶體使用率和/或視頻品質，和/或指示應用地圖900、1000和/或1100等應用地圖以及其它如上所述的雜訊抑制濾波器標誌。因此，包含編碼/解碼模組1314對計算設備1300的功能有實質性改進，並且實現了計算設備1300到不同狀態的轉換。或者，可以將編碼/解碼模組1314實現為存儲在記憶體1332中並由處理器1330執行的指令(例如，作為存儲在非暫態性介質上的電腦程式產品)。
記憶體1332包括一種或多種記憶體類型，例如磁片、磁帶驅動器、固態驅動器、唯讀記憶體(read only memory，ROM)、隨機存取記憶體(random access memory，RAM)、快閃記憶體、三態內容定址記憶體(ternary content-addressable memory，TCAM)、靜態隨機存取記憶體(static random-access memory，SRAM)等。記憶體1332可以用作溢出資料存放裝置，用於當選擇程式用於執行時，存儲這些程式並存儲在程式執行期間讀取的 指令和資料。
一種在計算設備中實現的方法，該方法包括：一種從已編碼視訊流生成已重構圖像的方式；一種對已重構圖像進行濾波以創建濾波後的圖像的方式，其中，濾波包括：對已重構圖像應用雜訊抑制濾波器，緊接著對已重構圖像應用去塊濾波器；以及一種將濾波後的圖像存儲在記憶體的圖像緩衝區中的方式。
一種在計算設備中實現的方法，該方法包括：一種從已編碼視訊流生成已重構圖像的方式；一種對已重構圖像進行濾波以創建濾波後的圖像的方式，其中，濾波包括：對已重構圖像應用去塊濾波器，緊接著對已重構圖像應用雜訊抑制濾波器，然後對已重構圖像應用取樣自我調整偏移濾波器；以及一種將濾波後的圖像存儲在記憶體的圖像緩衝區中的方式。
一種在計算設備中實現的方法，該方法包括：一種從已編碼視訊流生成已重構圖像的方式；一種對已重構圖像進行濾波以創建濾波後的圖像的方式，其中，濾波包括：對已重構圖像應用取樣自我調整偏移濾波器，緊接著對已重構圖像應用雜訊抑制濾波器，然後對已重構圖像應用自我調整環路濾波器；以及一種將濾波後的圖像存儲在記憶體的圖像緩衝區中的方式。
一種在計算設備中實現的方法，該方法包括：一種從已編碼視訊流生成已重構圖像的方式；一種對已重構圖像進行濾波以創建濾波後的圖像的方式，其中，濾波包括：對已重構圖像應用自我調整環路濾波器，緊接著對已重構圖像應用雜訊抑制濾波 器；以及一種將濾波後的圖像存儲在記憶體的圖像緩衝區中的方式。
當第一組件與第二組件之間不存在除了線、軌跡或其它介質之外的中間組件時，將第一組件直接耦合到第二組件。當第一組件與第二組件之間存在除了線、軌跡或其它介質之外的中間組件時，將第一組件間接耦合到第二組件。術語“耦合”及其變體包括直接耦合和間接耦合。除非另有說明，使用術語“約”是指包括後續數位的±10%的範圍。
雖然本發明中已提供若干實施例，但應理解，在不脫離本發明的精神或範圍的情況下，本發明所公開的系統和方法可以以許多其它特定形式來體現。應將本發明的示例視為說明性而非限制性的，且本發明並不限於本文中所給出的細節。例如，各種組件或組件可以在另一系統中組合或整合，或者某些特徵可以省略或不實施。
此外，在不脫離本發明的範圍的情況下，各種實施例中描述和示為離散或單獨的技術、系統、子系統和方法可以與其它系統、組件、技術或方法進行組合或集成。其它變更、替換、更替示例對本領域技術人員而言是顯而易見的，均不脫離本文公開的精神和範圍。
500‧‧‧環內濾波器
523‧‧‧圖像緩衝區
541‧‧‧雜訊抑制濾波器
543‧‧‧去塊濾波器
545‧‧‧取樣自我調整偏移濾波器
547‧‧‧自我調整環路濾波器

Claims (18)

  1. 一種在計算設備中實現的方法，其中，所述方法包括：所述計算設備的一處理器從一已編碼視訊流生成一已重構圖像；其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的一已編碼視訊流圖像序列，或者，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像；所述處理器對所述已重構圖像進行一濾波以創建一濾波後的圖像，其中，所述濾波包括：採用一雜訊抑制濾波器對所述已重構圖像濾波，緊接著採用一去塊濾波器對所述已重構圖像濾波；以及將所述濾波後的圖像存儲在記憶體的一圖像緩衝區中。
  2. 如申請專利範圍第1項所述的方法，其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的一分片。
  3. 如申請專利範圍第1項所述的方法，其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的一編碼樹單元。
  4. 如申請專利範圍第1項所述的方法，其中，所述已編碼視訊流在包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的一亮度分量或所述已重構圖像的一色度分量。
  5. 如申請專利範圍第1項所述的方法，其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示基於與所述已重構圖像的一相鄰塊相對應的一語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的一當前塊。
  6. 如申請專利範圍第1項所述的方法，其中，所述已編碼視訊流在包括一最大深度標誌的一位元流中編碼，所述最大深度標誌指示所述雜訊抑制濾波器應用的、所述已重構圖像的一子部分的一編碼樹中一編碼單元的一最大深度。
  7. 如申請專利範圍第1項所述的方法，其中，所述已編碼視訊流在包括一大小限制的一位元流中編碼，所述大小限制指示所述雜訊抑制濾波器應用的、所述已重構圖像的一子部分的一編碼樹中一編碼單元的一最小大小。
  8. 如申請專利範圍第1項所述的方法，其中，基於所述已重構圖像的一應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊。
  9. 一種在計算設備中實現的方法，其中，所述方法包括： 所述計算設備的一處理器從一已編碼視訊流生成一已重構圖像；其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的一已編碼視訊流圖像序列，或者，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像；所述處理器對所述已重構圖像進行一濾波以創建一濾波後的圖像，其中，所述濾波包括：對所述已重構圖像應用一去塊濾波器，緊接著對所述已重構圖像應用一雜訊抑制濾波器，然後對所述已重構圖像應用一取樣自我調整偏移濾波器；以及將所述濾波後的圖像存儲在一記憶體的一圖像緩衝區中。
  10. 如申請專利範圍第9項所述的方法，其中，所述已編碼視訊流在還包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的一分片、所述已重構圖像的一編碼樹單元、所述已重構圖像的一色度分量、所述已重構圖像的一亮度分量或以上的組合。
  11. 如申請專利範圍第9項所述的方法，其中，所述已編碼視訊流在還包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示：基於與所述已重構圖像的一相鄰塊相對應的一語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的一當前塊；所述雜訊抑制濾波器應用的、 所述已重構圖像的一子部分的一編碼樹中一編碼單元的一最大深度；所述雜訊抑制濾波器應用的、所述已重構圖像的所述子部分的所述編碼樹中所述編碼單元的一最小大小；基於所述已重構圖像的一應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊；或以上的組合。
  12. 一種在計算設備中實現的方法，其中，所述方法包括：所述計算設備的一處理器從一已編碼視訊流生成一已重構圖像；其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的一已編碼視訊流圖像序列，或者，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像；所述處理器對所述已重構圖像進行一濾波以創建一濾波後的圖像，其中，所述濾波包括：對所述已重構圖像應用一取樣自我調整偏移濾波器，緊接著對所述已重構圖像應用一雜訊抑制濾波器，然後對所述已重構圖像應用一自我調整環路濾波器；以及將所述濾波後的圖像存儲在一記憶體的一圖像緩衝區中。
  13. 如申請專利範圍第12項所述的方法，其中，所述已編碼視訊流在還包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的一分片、所述已重構圖像的一編 碼樹單元、所述已重構圖像的一色度分量、所述已重構圖像的一亮度分量或以上的組合。
  14. 如申請專利範圍第12項所述的方法，其中，所述已編碼視訊流在還包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示：基於與所述已重構圖像的一相鄰塊相對應的一語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的一當前塊；所述雜訊抑制濾波器應用的、所述已重構圖像的一子部分的一編碼樹中一編碼單元的一最大深度；所述雜訊抑制濾波器應用的、所述已重構圖像的所述子部分的所述編碼樹中所述編碼單元的一最小大小；基於所述已重構圖像的一應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊；或以上的組合。
  15. 一種在計算設備中實現的方法，其中，所述方法包括：所述計算設備的一處理器從一已編碼視訊流生成一已重構圖像；其中，所述已編碼視訊流在包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於包含所述已重構圖像的一已編碼視訊流圖像序列，或者，所述雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像；所述處理器對所述已重構圖像進行一濾波以創建一濾波後的圖像，其中，所述濾波包括：對所述已重構圖像應用一自我調 整環路濾波器，緊接著對所述已重構圖像應用一雜訊抑制濾波器；以及將所述濾波後的圖像存儲在一記憶體的一圖像緩衝區中。
  16. 如申請專利範圍第15項所述的方法，其中，所述已編碼視訊流在還包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示將所述雜訊抑制濾波器應用於所述已重構圖像的一分片、所述已重構圖像的一編碼樹單元、所述已重構圖像的一色度分量、所述已重構圖像的一亮度分量或以上的組合。
  17. 如申請專利範圍第15項所述的方法，其中，所述已編碼視訊流在還包括一個或多個雜訊抑制濾波器標誌的一位元流中編碼，所述一個或多個雜訊抑制濾波器標誌指示：基於與所述已重構圖像的一相鄰塊相對應的一語法元素將所述雜訊抑制濾波器應用於所述已重構圖像的一當前塊；所述雜訊抑制濾波器應用的、所述已重構圖像的一子部分的一編碼樹中一編碼單元的一最大深度；所述雜訊抑制濾波器應用的、所述已重構圖像的所述子部分的所述編碼樹中所述編碼單元的一最小大小；或以上的組合。
  18. 如申請專利範圍第15項所述的方法，其中，所述已編碼視訊流在還包括一雜訊抑制濾波器標誌的一位元流中編碼，所述雜訊抑制濾波器標誌指示基於所述已重構圖像的一應用地圖將所述雜訊抑制濾波器應用於所述已重構圖像的一個或多個塊。
TW107112058A 2017-04-06 2018-04-09 在計算設備中實現的方法 TWI682661B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762482619P 2017-04-06 2017-04-06
US62/482,619 2017-04-06
US201762529972P 2017-07-07 2017-07-07
US62/529,972 2017-07-07
US201762560555P 2017-09-19 2017-09-19
US62/560,555 2017-09-19
US15/937,256 US10623738B2 (en) 2017-04-06 2018-03-27 Noise suppression filter
US15/937,256 2018-03-27

Publications (2)

Publication Number Publication Date
TW201904300A TW201904300A (zh) 2019-01-16
TWI682661B true TWI682661B (zh) 2020-01-11

Family

ID=63712393

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112058A TWI682661B (zh) 2017-04-06 2018-04-09 在計算設備中實現的方法

Country Status (5)

Country Link
US (1) US10623738B2 (zh)
EP (1) EP3566454B1 (zh)
CN (1) CN110199524B (zh)
TW (1) TWI682661B (zh)
WO (1) WO2018184499A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117895A1 (en) * 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd Mixed domain collaborative in-loop filter for lossy video coding
JP7304343B2 (ja) * 2017-07-06 2023-07-06 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化方法及びその装置、ビデオ復号方法及びその装置
US11218716B2 (en) 2018-07-13 2022-01-04 Telefonaktiebolaget Lm Ericsson (Publ) Transform selection in a video encoder and/or video decoder
CN113316931B (zh) 2018-11-22 2024-04-12 北京字节跳动网络技术有限公司 视频处理中的脉冲编解码调制技术
US20200213595A1 (en) * 2018-12-31 2020-07-02 Comcast Cable Communications, Llc Methods, Systems, And Apparatuses For Adaptive Processing Of Non-Rectangular Regions Within Coding Units
WO2020256595A2 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of still picture and video coding with shape-adaptive resampling of residual blocks
US11197030B2 (en) * 2019-08-08 2021-12-07 Panasonic Intellectual Property Corporation Of America System and method for video coding
KR20220038670A (ko) 2019-08-08 2022-03-29 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 비디오 코딩을 위한 시스템 및 방법
WO2021049593A1 (en) 2019-09-11 2021-03-18 Panasonic Intellectual Property Corporation Of America System and method for video coding
CN116600125A (zh) * 2019-09-17 2023-08-15 华为技术有限公司 基于子图像的视频译码中的子图像id指示
CN114731404A (zh) * 2019-09-23 2022-07-08 交互数字Vc控股法国有限公司 使用基于块区域的量化矩阵进行视频编码和解码

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222597A1 (en) * 2008-11-25 2011-09-15 Thomson Licensing Method and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US20110243249A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by performing in-loop filtering based on tree-structured data unit, and method and apparatus for decoding video by performing the same
US20130028327A1 (en) * 2010-04-12 2013-01-31 Matthias Narroschke Filter positioning and selection

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254277B2 (en) * 2002-12-30 2007-08-07 Texas Instruments Incorporated Image processing with minimization of ringing artifacts and noise
US9445128B2 (en) 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US20120044992A1 (en) 2010-08-17 2012-02-23 Qualcomm Incorporated Low complexity adaptive filter
US8526495B2 (en) 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9049452B2 (en) 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
WO2012155553A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
CN106412585A (zh) 2011-06-17 2017-02-15 联发科技股份有限公司 内部预测模式编码的方法
CN103748877B (zh) 2011-08-17 2017-05-10 联发科技（新加坡）私人有限公司 帧内预测方法和装置
US9363511B2 (en) 2011-09-13 2016-06-07 Mediatek Singapore Pte. Ltd. Method and apparatus for Intra mode coding in HEVC
KR20130034566A (ko) 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
WO2013106986A1 (en) 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding
US9591331B2 (en) 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
EP2936816B1 (en) 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
CN106134201B (zh) 2014-05-23 2019-10-25 华为技术有限公司 在块预测技术中使用的预处理预测滤波的方法和装置
EP3395073A4 (en) * 2016-02-04 2019-04-10 Mediatek Inc. VIDEO ENCODING METHOD AND APPARATUS USING NON-LOCAL ADAPTIVE LOOP FILTERS
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US10397569B2 (en) 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US20170374369A1 (en) 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
US11477492B2 (en) * 2017-08-04 2022-10-18 Google Inc. Adaptation for entropy coding of blocks of image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222597A1 (en) * 2008-11-25 2011-09-15 Thomson Licensing Method and apparatus for sparsity-based de-artifact filtering for video encoding and decoding
US20110243249A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by performing in-loop filtering based on tree-structured data unit, and method and apparatus for decoding video by performing the same
US20130028327A1 (en) * 2010-04-12 2013-01-31 Matthias Narroschke Filter positioning and selection

Also Published As

Publication number Publication date
US20190020870A9 (en) 2019-01-17
TW201904300A (zh) 2019-01-16
EP3566454A1 (en) 2019-11-13
CN110199524B (zh) 2021-05-18
EP3566454B1 (en) 2024-07-31
US10623738B2 (en) 2020-04-14
CN110199524A (zh) 2019-09-03
US20180295364A1 (en) 2018-10-11
WO2018184499A1 (en) 2018-10-11
EP3566454A4 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
TWI682661B (zh) 在計算設備中實現的方法
US11800094B2 (en) Intra-prediction with multiple reference lines
JP7485803B2 (ja) ルマおよびクロマブロックパーティショニング
CN113545064A (zh) 用于处理视频内容的方法和系统
US11606571B2 (en) Spatial varying transform for video coding
JP7454657B2 (ja) ピクチャーレベルでの非ピクチャーレベルの構文要素のシグナリング
US20230239518A1 (en) Constrained Coding Tree for Video Coding
US11323749B2 (en) Video coding with successive codecs
US11102484B2 (en) Block partitioning in video coding
WO2019192490A1 (en) Adaptive quantization in video coding