TW201840185A - 非局部適應性環路濾波器處理 - Google Patents

非局部適應性環路濾波器處理 Download PDF

Info

Publication number
TW201840185A
TW201840185A TW107108636A TW107108636A TW201840185A TW 201840185 A TW201840185 A TW 201840185A TW 107108636 A TW107108636 A TW 107108636A TW 107108636 A TW107108636 A TW 107108636A TW 201840185 A TW201840185 A TW 201840185A
Authority
TW
Taiwan
Prior art keywords
patch
pixel
bits
value
patch group
Prior art date
Application number
TW107108636A
Other languages
English (en)
Other versions
TWI672940B (zh
Inventor
陳慶曄
莊子德
徐志瑋
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201840185A publication Critical patent/TW201840185A/zh
Application granted granted Critical
Publication of TWI672940B publication Critical patent/TWI672940B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本發明的一方面提供了一種非局部適應性環路濾波方法。本方法可以包括接收重構圖像，將該圖像分割為複數個當前補塊，形成複數個補塊組，每個補塊組包括當前補塊和相似於當前補塊的複數個參考補塊；確定該複數個補塊組中每個的雜訊水平，並用非局部去雜訊化技術去雜訊化該複數個補塊組。確定該複數個補塊組中每個的雜訊水平可以包括計算各自補塊組的複數個像素值的像素方差；透過在表示複數個補塊組像素標準差和複數個補塊組像素方差之間的映射關係的第一查閱資料表中進行搜索，根據所計算的該各自補塊組的該像素方差，確定該各自補塊組的像素標準差；以及基於為該各自補塊組的像素標準差的函數的壓縮雜訊模型，計算該各自補塊組的雜訊水平。

Description

非局部適應性環路濾波器處理 【相關申請的交叉引用】
本發明要求要求在2017年03月16日提出申請號為62/472,000的名稱為"Method of Non-local Adaptive Loop Filter for Video Coding"的美國臨時專利申請的優先權。上述美國臨時專利發明整體以引用方式併入本文中。
本發明涉及視訊編解碼技術。
此處提供的先前技術描述通常用作說明本發明的上下文的目的。目前署名發明人的工作內容，既包含在本先前技術部分中所描述的工作的內容，也包含在申請時未被認為是先前技術的說明書的各方面，這些既不明確也不暗示地被承認是本發明的先前技術。
基於塊的運動補償、變換和量化被廣泛地用於視訊壓縮，以提高視訊通訊系統的性能。然而，由於粗糙的量化和運動補償，壓縮雜訊會被引入，其在已重構圖像中引起偽影，例如，塊效應、漣漪化效應和模糊效應。環路濾波器可以用來減少壓縮雜訊，其不但可以提高已解碼圖像的品質，而且為後續圖像提供高品質參考圖像，以節省編解碼位元。非局部 適應性環路濾波器是這種類型環路濾波器之一。
本發明的方面提供了一種非局部適應性環路濾波的方法。該方法可以包括接收對應於圖像的已重構視訊資料；將圖像分割為複數個當前補塊；形成複數個補塊組，其中每個補塊組包括當前補塊和相似於當前補塊的複數個參考補塊；確定複數個補塊組中每個的雜訊水平；以及基於複數個補塊組中的每個的確定的雜訊水平，用非局部去雜訊化技術去雜訊化複數個補塊組，以創建已濾波圖像。確定複數個補塊組中每個的雜訊水平可以包括：基於補塊組中的像素或者補塊組的當前補塊中的像素，計算各自補塊組的複數個像素值的像素方差；透過在表示複數個補塊組像素標準差和複數個補塊組像素方差之間的映射關係的第一查閱資料表中進行搜索，根據所計算的各自補塊組的像素方差，確定各自補塊組的像素標準差；以及基於為各自補塊組的像素標準差的函數的壓縮雜訊模型，計算各自補塊組的雜訊水平。
在一個示例中，第一查閱資料表可以包括複數個補塊組像素標準差的第一序列和複數個補塊組像素方差的第二序列。複數個兩個連續補塊組標準差的平方值之間的平均值形成複數個補塊組方差的第二序列。在一個示例中，在第一查閱資料表中進行搜索可以包括搜索包括各自補塊組的像素方差的第二序列中的兩個連續平均值所定義的範圍；以及確定第一序列中的補塊組標準差為各自補塊組的像素標準差。確定的補塊組標準差的平方值被包括在由第二序列中的兩個連續的 平均值所定義的相同的範圍內。
在一個示例中，構造第一查閱資料表可以包括確定複數個補塊組標準差的第一序列的範圍，確定複數個補塊組標準差的第一序列的精度；以及根據確定的範圍和精度確定複數個補塊組標準差的第一序列。
在一個實施例中，第一查閱資料表可以包括複數個補塊組標準差的第一序列和複數個補塊組方差的第二序列。複數個補塊組標準差的第一序列中的每個是複數個補塊組方差的第二序列中的一個的標準差。在第一查閱資料表中進行搜索可以包括在第二序列中查找等於各自補塊組的補塊方差的補塊組方差；以及確定對應於第二序列的查找到的補塊組方差的複數個補塊組標準差的第一序列中的一個為各自補塊組的像素標準差。
在不同的示例中，非局部去雜訊化技術可以是非局部均值(non-local mean，NLM)去雜訊化技術、塊匹配和3D濾波(block matching and 3D filtering，BM3D)去雜訊化技術或者低階近似(low-rank approximation，LRA)去雜訊化技術中的一個。
在一個實施例中，用非局部去雜訊化技術去雜訊化複數個補塊組，以創建已濾波圖像可以包括計算ASSE/Var值以用於計算相對於當前補塊的參考補塊的加權因子，ASSE是參考補塊和當前補塊之間的平方誤差之和的平均值，Var是為包括參考補塊和當前補塊的補塊組的雜訊水平的平方的雜訊方差。計算ASSE/Var值可以包括：將Var右移Nx個位元以 定位K個最重要位元，K為預設數量；透過基於定位的K-MSB查找第二查閱資料表，確定2^M/K-MSB的值，M是預設數量；將ASSE右移Nx個位元；將右移的ASSE乘以確定的2^M/K-MSB的值，以獲得乘積；以及將乘積右移M個位元，以獲得ASSE/Var值。
在一個示例中，第二查閱資料表表示2^M/K-MSB的值序列和每個具有K個位元的K-MSB的序列之間的映射關係。
根據本發明所提方法的實施例還可以包括以下中的一個：在將Var右移Nx個位元之前，將舍入偏移添加到Var；在將ASSE右移Nx個位元之前，將舍入偏移添加到ASSE；以及在將乘積右移M個位元之前，將舍入偏移添加到乘積中。
在一個實施例中，用非局部去雜訊化技術去雜訊化複數個補塊組，以創建已濾波圖像可以包括計算對應於包括複數個像素值的複數個部分的累加像素值XA的歸一化像素值，複數個部分中的每個對應于乘以增益的分割的圖像的原始像素值。計算歸一化像素值可以包括：(a)將對應於該累加像素值XA的複數個增益之和SG右移Nx個位元，以定位K個最重要位元，其中K為預設數量，(b)透過基於定位的K-MSB搜索第三查閱資料表，確定2^M/K-MSB的值，M為預設數，(c)將XA右移Nx個位元，(d)將確定的2^M/K-MSB的值乘以右移的XA，以獲得乘積，以及(e)將乘積右移M個位元，以獲得第一歸一化像素值。
在一個示例中，第三查閱資料表表示2^M/K-MSB 的值序列和每個具有K個位元的K-MSB的序列之間的映射關係。
在一個實施例中，計算歸一化像素值還可以包括執行具有舍入偏移操作的步驟(a)-步驟(e)，以獲得第二歸一化像素值，並且平均第一歸一化像素值和第二歸一化像素值，以獲得計算的歸一化像素值。舍入偏移操作可以包括以下中的至少一個：在將SG右移Nx個位元之前，將舍入偏移添加到SG；在將XA右移Nx個位元之前，將舍入偏移添加到XA；或者在將乘積右移M個位元之前，將舍入偏移添加到乘積。
本發明的方面提供了一種非局部適應性環路濾波器。非局部適應性環路濾波器可以包括電路，其用於：接收對應於圖像的已重構視訊資料；將圖像分割為複數個當前補塊；形成複數個補塊組，其中每個補塊組包括當前補塊和相似於當前補塊的複數個參考補塊；確定複數個補塊組中每個的雜訊水平；以及用非局部去雜訊化技術去雜訊化複數個補塊組，以基於複數個補塊組中的每個的確定的雜訊水平創建已濾波圖像。確定複數個補塊組中每個的雜訊水平可以包括基於補塊組中的像素或者補塊組的當前補塊中的像素，計算各自補塊組的複數個像素值的像素方差；透過在表示複數個補塊組像素標準差和複數個補塊組像素方差之間的映射關係的第一查閱資料表中進行搜索，根據所計算的各自補塊組的像素方差，確定各自補塊組的像素標準差；以及基於為各自補塊組的像素標準差的函數的壓縮雜訊模型，計算各自補塊組的雜訊水平。
本發明的方面提供了一種非易失性電腦可讀介 質，存儲有實施非局部適應性環路濾波方法的複數個指令。
100‧‧‧熵編碼器
101‧‧‧輸入視訊資料
102、201‧‧‧位元流
103、203‧‧‧開啟/關閉控制標誌
110、210‧‧‧已解碼圖像暫存器
112、212‧‧‧畫面間-畫面內預測模組
114‧‧‧第一加法器
116‧‧‧殘差編碼器
118‧‧‧熵編碼器
120、220‧‧‧殘差解碼器
122‧‧‧第二加法器
130、230‧‧‧去塊濾波器
132、232‧‧‧樣本適應性偏移濾波器
134、234‧‧‧適應性環路濾波器
136、236‧‧‧非局部適應性環路濾波器
200‧‧‧解碼器
202‧‧‧輸出視訊資料
218‧‧‧熵解碼器
222‧‧‧加法器
300、400、700、800、900‧‧‧流程
S301、S310~S360、S399、S401、S410~S450、S499、S701、S710~S750、S799、S801、S810~S850、S899、S901、S910~S930、 S999‧‧‧步驟
500、600‧‧‧查閱資料表
501、601‧‧‧第一行
502、602‧‧‧第二行
511~516、611~616‧‧‧像素方差值
521~527、621~626‧‧‧像素標準差值
將結合下面的圖式對被提供作為示例的本發明的各種實施例進行詳細描述，其中相同的符號表示相同的元件，以及其中：第1圖是本發明一實施例的視訊編碼器；第2圖是本發明一實施例的視訊解碼器；第3圖是本發明一實施例的去雜訊化重構圖像的流程；第4圖是本發明一實施例的去雜訊化的示例性流程；第5圖是本發明一實施例的第一示例的補塊(patch)組像素標準差(standard deviation，SD)查閱資料表；第6圖是本發明一實施例的的第二示例的補塊組像素標準差查閱資料表；第7圖是本發明一實施例的使用第三除法查閱資料表計算項ASSE/Var的流程；第8圖是本發明一實施例的計算項XA/SG的流程；以及第9圖是本發明一實施例的具有舍入偏移操作的流程。
I.非局部適應性環路濾波器
第1圖顯示了根據本發明實施例的編碼器100。編碼器100可以包括已解碼圖像暫存器110、畫面間-畫面內預測模組112、第一加法器114、殘差編碼器116、熵編碼器118、殘差解碼器120、第二加法器122和一個或複數個環路濾波 器，例如去塊濾波器(deblocking filter，DF)130、樣本適應性偏移濾波器(sample adaptive offset filter，SAO)132、適應性環路濾波器(adaptive loop filter，ALF)134和非局部適應性環路濾波器(non-local adaptive loop filter，NL-ALF)136。如第1圖所示，這些元件可以被耦接在一起。
編碼器100接收輸入視訊資料101，並執行視訊壓縮流程，以生成位元流102，作為輸出。輸入視訊資料101可以包括圖像序列。每個圖像可以包括一個或複數個顏色分量，例如，亮度分量或者色度分量。位元流102可以具有符合視訊編解碼標準的格式，例如，高級視訊編解碼(Advanced Video Coding，AVC)標準、高效視訊編解碼(High Efficiency Video Coding，HEVC)標準等。
根據本發明的一方面，非局部適應性環路濾波器136可以採用非局部去雜訊化技術以提高編碼器100的性能。具體地，在一個示例中，非局部適應性環路濾波器136可以將重構圖像分割為複數個補塊(稱為當前補塊)。對於每個當前補塊，非局部適應性環路濾波器136在重構圖像中搜索相似補塊(稱為參考補塊)以形成補塊組。隨後，非局部適應性環路濾波器136可以將去雜訊化技術應用於每個補塊組以修改各個補塊組中的一個或複數個補塊的像素值，以降低這些補塊組中的壓縮雜訊。已修改的像素值返回到圖像以形成已濾波圖像。
另外，當應用去雜訊化技術來處理每個補塊組時，非局部適應性環路濾波器136可以採用一些技術來降低計算複雜度並簡化各個處理操作。例如，平方根操作或者除法操 作可以被轉換為查閱資料表搜索、位元平移、乘法操作等。因此，可以降低非局部適應性環路濾波器136的實作成本，並可以提高非局部適應性環路濾波器136的性能。
此外，根據本發明的一方面，不能保證已濾波圖像中的已處理像素在雜訊水平方面比重構圖像中的相應的未濾波像素更好。因此，非局部適應性環路濾波器136可以為圖像中的不同塊(區域)，適應性地確定塊是將採用已處理像素值還是保留已重構視訊資料的未濾波像素值。開啟/關閉控制標誌103可以被用來發信各個塊中已處理像素值的適應性採用。
在第1圖中，已解碼圖像暫存器110存儲參考圖像以用於在畫面間-畫面內預測模組112處所執行的運動估計和運動補償。畫面間-畫面內預測模組112執行畫面間圖像預測或者畫面內圖像預測，以在視訊壓縮流程期間確定用於當前圖像的塊的預測。當前圖像指的是輸入視訊資料101中的圖像，其在畫面間-畫面內預測模組112中正在被處理。當前圖像可以被分割成具有相同尺寸或者不同尺寸的複數個塊，以用於畫面間預測操作或者畫面內預測操作。
在一個示例中，畫面間-畫面內預測模組112使用畫面間編解碼技術或者畫面內圖像編解碼技術來處理塊。因此，使用畫面間圖像編解碼進行編碼的塊稱為畫面間已編碼塊，而使用畫面內圖像編解碼進行編碼的塊稱為畫面內已編碼塊。畫面間圖像編解碼技術使用參考圖像以獲得當前正被處理的塊(稱為當前塊)的預測。例如，當用畫面間圖像編解碼技 術編碼當前塊時，運動估計可以被執行，以在參考圖像中搜索匹配區域。匹配區域用作當前塊的預測。相對地，畫面內圖像編解碼技術使用當前塊的相鄰像素以生成當前塊的預測。相鄰像素和當前塊均是處於相同圖像內。塊的預測被提供給第一加法器114和第二加法器122。
第一加法器114自畫面間-畫面內預測模組112接收塊的預測，並自輸入視訊資料101接收塊的原始像素。隨後，加法器114自塊的原始像素提取預測，以獲得塊的殘差。塊的殘差被發送至殘差編碼器116。
殘差編碼器116接收塊的殘差，並壓縮殘差以生成已壓縮殘差。例如，殘差編碼器116可以先將諸如離散余弦變換(discrete cosine transform，DCT)、小波變換等的變換應用到對應於變換塊的接收殘差，並生成變換塊的變換係數。將圖像分割成變換塊，該分割可以與用於畫面間-畫面內預測處理的、將圖像分割成預測塊的分割相同或者不同。
隨後，殘差編碼器116可以對係數進行量化以壓縮殘差。量化可以用量化參數(quantization parameter，QP)來控制。量化參數表示步長以用於將變換係數與步驟的有限集相關聯。越大的量化參數值表示粗略近似於變換的越大的步驟，使得變換塊中的大部分訊號可以透過越少的係數來捕獲。相反地，越小的量化參數值可以越準確近似於變換，但是，以增加的位元數量為代價，以用於編碼殘差。因此，越大的量化參數可能將越多的失真或者壓縮雜訊引進到自視訊壓縮流程而得到的圖像中。已壓縮殘差(已量化變換係數)被發送至殘 差解碼器120和熵編碼器118。
殘差解碼器120接收已壓縮殘差，並執行在殘差編碼器116處執行的量化操作與變換操作的逆流程，以重構變換塊的殘差。由於量化操作，已重構殘差與自加法器114生成的原始殘差相似，但通常不同於原始版本。
第二加法器122自畫面間-畫面內預測模組112接收塊的預測，並自殘差解碼器120接收變換塊的已重構殘差。第二加法器122因此將已重構殘差與對應於圖像中的相應區域的所接收到的預測進行結合，以生成已重構視訊資料。隨後，例如，重構視訊資料可以被傳輸到去塊濾波器130。
在一個示例中，去塊濾波器130將低通濾波器的集合應用到塊邊界，以降低塊偽影。基於重構圖像中位於塊分界線兩側的重構樣本的特徵以及畫面間-畫面內預測模組112處所確定的預測參數(編解碼模式或者運動向量)，這些濾波器可以被使用。隨後，已去塊已重構視訊資料可以被提供給樣本適應性偏移濾波器132。在一個示例中，樣本適應性偏移濾波器132接收已去塊已重構視訊資料，並將已重構視訊資料中的像素分組。隨後，樣本適應性偏移濾波器132可以確定用於每個組的強度偏移(偏移值)，以補償每個組的強度偏移。隨後，已偏移已重構視訊資料可以自樣本適應性偏移濾波器提供到適應性環路濾波器134。在一個示例中，適應性環路濾波器134被配置為將濾波器應用到已重構視訊資料，以降低時域中的編解碼偽影。例如，適應性環路濾波器134自濾波器候選集選擇一濾波器，並將所選擇的濾波器應用到已重構視訊資料的 區域。另外，適應性環路濾波器134可以被選擇性地開啟或者關閉，以用於已重構視訊資料的每個塊。隨後，已處理已重構視訊資料可以被發送至非局部適應性環路濾波器136。
如上所述，非局部適應性環路濾波器136可以使用非局部去雜訊化技術流程所接收到的已重構視訊資料，以降低重構視訊資料中的壓縮雜訊。另外，非局部適應性環路濾波器136可以確定非局部適應性濾波是否應用於已去雜訊化圖像中的塊。例如，非局部適應性環路濾波器136處理接收到的重構視訊資料，並生成已濾波視訊資料。然後非局部適應性環路濾波器136可以比較已濾波視訊資料的已濾波塊與接收到的重構視訊資料的對應塊來確定已濾波圖像的失真是否相對於原始圖像已經被改善。當濾波塊的失真被改善時，該已濾波塊的像素值可以被用於形成已去雜訊化圖像。否則，接收到的重構視訊資料的對應塊的像素值被用在已去雜訊化圖像中。因此，基於是否採用已濾波像素值以用於已去雜訊化圖像中的各自塊的決策，去雜訊化圖像可以被重構。然後，已去雜訊化圖像可以被存儲在已解碼圖像暫存器110。
開啟/關閉控制標誌可以用於將上述用於各自塊的決策發信至解碼器，使得解碼器可以以相同方式處理此塊。如第1圖所示，在一個示例中，表示非局部適應性環路濾波是否被應用到各自塊的開啟/關閉控制標誌103被發送至熵編碼器118。
熵編碼器118自殘差編碼器116接收已壓縮殘差。在一些示例中，熵編碼器118也自非局部適應性環路濾波 器136接收去雜訊化技術的選擇以及開啟/關閉控制標誌103。熵編碼器118也可以接收其他參數和/或控制資訊，例如畫面內預測模式資訊、運動資訊、量化參數等。熵編碼器118編碼接收到的參數或者其他資訊，以形成位元流102。包括以已壓縮格式的資料的位元流102可以透過通信網路被發送至解碼器，或者被發送至位元流102所承載的視訊資料可以被存儲的存放裝置(例如，非易失性電腦可讀介質)。
第2圖顯示了根據本發明實施例的解碼器200。解碼器200包括熵解碼器218、殘差解碼器220、已解碼圖像暫存器210、畫面間-畫面內預測模組212、加法器222和諸如的去塊濾波器230、樣本適應性偏移濾波器232、適應性環路濾波器234和非局部適應性環路濾波器236一個或複數個環路濾波器。如第2圖所示，這些元件可以被耦接在一起。在一個示例中，解碼器200自編碼器接收位元流201，例如自編碼器100接收位元流102，並執行去壓縮流程以生成輸出視訊資料202。輸出視訊資料202可以包括圖像序列，例如，其可以在顯示裝置上被顯示，例如監測器、觸控式螢幕等。
同樣於第1圖示例中的編碼器100，解碼器200使用具有與非局部適應性環路濾波器136相似的功能的非局部適應性環路濾波器236，以去雜訊化已重構圖像來獲得已濾波圖像。例如，當應用去雜訊化技術來處理每個補塊組時，非局部適應性環路濾波器236可以採用一些技術以降低計算複雜性並簡化各個處理操作。因此，非局部適應性環路濾波器236的實作成本可以被降低，並且非局部適應性環路濾波器236的性能 可以被改善。然而，不同於第1圖示例中的非局部適應性環路濾波器136，非局部適應性環路濾波器236從位元流201中接收開啟/關閉控制標誌203，並且因此確定濾波圖像中的哪個圖元像素值的塊將被包括已去雜訊化圖像中或者排除在已去雜訊化圖像之外。例如，當塊的開啟/關閉控制標誌203處於開啟的狀態時，已濾波圖像中的塊的已濾波像素值被用於已去雜訊化圖像的對應塊，而當塊的開啟/關閉控制標誌203處於關閉的狀態時，重構圖像中的塊的像素值被採用。
熵解碼器218接收位元流201，並執行解碼流程，其是第1圖示例中熵編碼器118所執行的編碼流程的逆流程。因此，已壓縮殘差、預測參數、去雜訊化技術的選擇和開啟/關閉控制標誌203等被獲得。已壓縮殘差被提供給殘差解碼器220，預測參數被提供給畫面間-畫面內預測模組212。畫面間-畫面內預測模組212基於接收到的預測參數生成圖像的塊的預測，並將預測提供到加法器222。已解碼圖像暫存器210存儲用於在畫面間-畫面內預測模組212處執行的運動補償的參考圖像。例如，參考圖像可以自非局部適應性環路濾波器236接收。另外，參考圖像自已解碼圖像暫存器210獲得，並被包含在圖像視訊資料202中，以用於顯示到顯示裝置。
殘差解碼器220、加法器222、去塊濾波器230、樣本適應性偏移濾波器232和適應性環路濾波器234在功能和結構上與殘差解碼器120、第二加法器122、去塊濾波器130、樣本適應性偏移濾波器132和適應性環路濾波器134相似。這些組件的描述被省略。
解碼器或者編碼器中的非局部適應性環路濾波器的使用，例如非局部適應性環路濾波器136和非局部適應性環路濾波器236，降低了已重構視訊資料中的雜訊水平，形成了高品質輸出圖像。另外，當這些高品質圖像用作參考圖像以用於編碼後續圖像時，用於已壓縮圖像的傳輸的位元速率可以被降低。因此，此處公開的去雜訊化技術可以提高包括非局部適應性環路濾波器的解碼器或者編碼器的性能和能力。
雖然第1圖和第2圖示例顯示了一系列濾波器，即130、132和134，或者230、232和234，其被包含在編碼器100或者解碼器200中，但是應該理解的是，在其他實施例中，沒有或者更少這類濾波器可以被包含在編碼器或者解碼器中。另外，相對於其他濾波器的非局部適應性環路濾波器136或者非局部適應性環路濾波器236的位置可以不同於第1圖示例或者第2圖示例中所示的位置。例如，非局部適應性環路濾波器136可以被設置在其他濾波器之前，使得其直接耦接到加法器122，或者被設置在此系列濾波器的一端處，或者此系列濾波器中。
在不同實施例中，非局部適應性環路濾波器136和非局部適應性環路濾波器236可以用硬體、軟體或者其結合來實作。例如，非局部適應性環路濾波器136或者非局部適應性環路濾波器236可以用一個或複數個積體電路(integrated circuit，IC)來實作，例如專用積體電路(application specific integrated circuit，ASIC)，現場可程式設計閘陣列(field programmable gate array，FPGA)等。又例如，非局部適應性 環路濾波器136或者非局部適應性環路濾波器236可以被實作為軟體或者包括存儲在電腦可讀非易失性存儲介質的指令的韌體。這些指令在由處理電路執行時使得處理電路執行非局部適應性環路濾波器136或者非局部適應性環路濾波器236的功能。
注意的是，實施此處所公開的去雜訊化技術的非局部適應性環路濾波器136和非局部適應性環路濾波器236可以被包含在其他解碼器或者編碼器中，其可以具有與第1圖或者第2圖所示的結構相似或者不同的結構。另外，在不同示例中，編碼器100和解碼器200可以被包含在相同設備或者獨立設備中。
II.非局部去雜訊化技術
第3圖顯示了根據本發明的一實施例的去雜訊化重構圖像的流程300。在第1圖或者第2圖的示例中，流程300可以在非局部適應性環路濾波器136或者非局部適應性環路濾波器236處被執行，並且第1圖的示例用於解釋流程300。
流程300從S301開始，繼續至S310。在S310中，在非局部適應性環路濾波器136處，接收已重構視訊資料。例如，第二加法器122自畫面間-畫面內預測模組122接收預測，並自殘差解碼器120接收殘差，並組合預測和殘差來生成已重構視訊資料。在流程300的不同實施例中，已重構視訊資料可以對應於圖像、資訊框、圖像的片段或者圖像的預定義區域。因此，在本發明中，對應於已重構視訊資料的圖像或者重構圖像可以指的是圖像、資訊框、圖像的片段或者圖像的預定義區 域等等。另外，在本發明中，自對應於已重構視訊資料的圖像而得到的已濾波圖像或者已去雜訊化圖像可以相應地指圖像、資訊框、圖像的片段或者圖像的預定義區域等等。根據環路濾波器所使用的環路濾波器的數量和非局部適應性環路濾波器136在這些環路濾波器中的位置，已重構視訊資料可以對應於自殘差解碼器120生成的已重構視訊資料，或者自與非局部適應性環路濾波器136相鄰且位於其之前的濾波器生成的已濾波已重構視訊資料。
在S320中，將接收到的已重構視訊資料(對應於重構圖像)分割成複數個補塊。在一個示例中，這些補塊有相同的尺寸和形狀，並且互相不重疊。在其他示例中，這些補塊可以有不同的尺寸或形狀。在進一步的示例中，這些補塊可以相互重疊。每個補塊包括複數個像素，並被稱為當前補塊。
在S330中，對於每個當前補塊，在重構圖像中，或者在一些示例中，在重構圖像內部的搜索視埠中，查找複數個相似補塊(稱為參考補塊)。在一個示例中，每個參考補塊具有與各自的當前補塊相似的形狀和尺寸。另外，參考補塊可以互相重疊，參考補塊和各自的當前補塊可以互相重疊。每個當前補塊和各自的相似參考補塊形成補塊組。在一個示例中，對於每個當前補塊，K個最相似補塊被查找到，並且當前補塊和各自的K個最相似補塊形成包括K+1個補塊的補塊組。K表示對應於當前補塊的相似補塊的數量，以及K可以具有不同值以用於不同當前補塊或者補塊組。在一個示例中，查找到以用於各自的當前補塊的相似匹配不是最相似的參考補塊，而是 具有超過閾值的相似度測量的參考補塊。相似度測量可以基於相似度度量(metric)來獲得。在一個示例中，補塊組被形成以用於當前補塊的一部分，而不是每個當前補塊。
在不同的實施例中，不同的搜索方法可以被用來搜索各自當前補塊的K個最相似補塊。另外，在不同的實施例中，不同的相似度度量可以用於測量當前補塊與參考補塊之間的相似度。例如，相似度度量可以是當前補塊和相應的參考補塊中的相應像素值之間的絕對差之和(sum of absolute differences，SAD)，或者均方差之和(sum of square differences，S標準差)。又例如，當前補塊和相應的參考補塊中的相應像素值可以被設置為兩個向量，這兩個向量之間的歐幾里德距離(L2 norm distance)可以用作相似度度量。
在S340中，將去雜訊化技術應用於每個補塊組，以修改各自補塊組中一個或者複數個補塊的像素值。具有地，當應用去雜訊化技術來處理補塊組時，非局部適應性環路濾波器136可以使用一些技術來降低計算複雜度和簡化各自的處理操作。例如，平方根或者除法操作可以被轉換成查閱資料表搜索、位元平移和/或乘法操作。
然後，屬於同一補塊組或不同補塊組的不同補塊的已修改像素值被聚合以形成已濾波圖像，例如，透過加權和的操作。在不同的實施例中，不同的去雜訊化技術可以被用於處理補塊組。例如，去雜訊化技術可以是非局部均值(non-local means，NLM)去雜訊化技術、塊匹配和3D濾波(block matching and 3D filtering，BM3D)去雜訊化技術或者低階近似(low-rank approximation，LRA)去雜訊化技術。然而，適用於處理補塊組的去雜訊化技術並不限於非局部均值技術、塊匹配和3D濾波技術或者低階近似技術。
在S350中，以如上述描述的方式確定與已去雜訊化圖像中的控制塊相關的開啟/關閉控制標誌。開啟/關閉控制標誌表示控制塊是否採用已濾波圖像中的濾波像素值或者對應於接收到的已重構視訊資料的重構圖像的像素值。開啟/關閉控制標誌可以從編碼器到解碼器進行發信。也就是說，編碼器確定開啟/關閉控制標誌的值，並將具有所確定的值的開啟/關閉控制標誌包括在在位元流中，使得解碼器從位元流中解析開啟/關閉控制標誌，以確定開啟/關閉控制標誌的值。在不同的實施例中，用於是否採用自S340中的去雜訊化操作而得到的已濾波像素值的控制的控制塊可以以不同方式被定義或者被分割。例如，控制塊的分割可以與HEVC標準中所定義的編碼單元的分割一致。或者，控制塊的分割可以與諸如去塊濾波器130、樣本適應性偏移濾波器132或者適應性環路濾波器134的濾波器中使用的塊分割一致，以為了控制濾波操作的目的。可選地，控制塊分割可以根據圖像中的不同分割的雜訊特徵進行確定。在不同的示例中，控制塊分割的資訊可以從編碼器到解碼器進行發信，在解碼器處被推導出，或者在編碼器和解碼器處均被預定義為默認配置。
在S360中，基於開啟/關閉控制標誌確定，重構已去雜訊化圖像。對於與開啟標誌相關的控制塊，自如S340中的去雜訊化操作而得到的已濾波像素值被採用以用於各自的 控制塊，而對於與關閉標誌相關的控制塊，接收到的重構圖像的像素值被採用以用於各自的控制塊。隨後，基於已去雜訊化圖像，參考圖像可以被生成。例如，已去雜訊化圖像可以被存儲在已解碼圖像暫存器110中，以作為參考圖像。可選地，根據非局部適應性環路濾波器136在其他環路濾波器中的位置，在被存儲到已解碼圖像暫存器110之前，已去雜訊化圖像可以先由其他環路濾波器處理。流程300進行到S399，並結束於S399。
第4圖示出了根據本發明的一實施例的去雜訊化的示例性流程400。流程400中的去雜訊化使用去雜訊化技術，其是流程300中S340所採用的不同去雜訊化技術中的一個。因此，流程400可以被執行以替代流程300中的S340，以獲得已去雜訊化圖像。同樣地，對於S340中所使用的其他去雜訊化技術，對應於各自的去雜訊化技術的流程可以被執行，以替代S340。非局部適應性環路濾波器136可以用作示例以解釋流程400。
流程400從S401開始，繼續至S410。在流程400開始之前，對應於非局部適應性環路濾波器136處所接收的已重構視訊資料的補塊組可以已被形成，例如，透過執行流程300中的步驟S310-步驟S330。接收到的已重構視訊資料可以對應於重構圖像或者重構圖像的一部分(例如，重構圖像的片段)。下面假設接收到的已重構視訊資料對應於重構圖像。步驟S410-步驟S440被迭代以用於重構圖像的每個補塊組。在迭代中，每輪迭代中正被處理的補塊組稱為當前補塊組。
在S410中，計算當前補塊組中的每個參考補塊的加權因子。基於當前參考補塊組中的參考補塊與各自的當前補塊之間的相似度，參考補塊的加權因子可以被計算。參考補塊與當前補塊越相似，參考補塊的加權因子越大。在一個示例中，加權因子使用以下運算式被確定：w i,j =e -(ASSE/Var)。在上面的運算式中，i和j是補塊索引，wi,j表示相對於各自當前補塊i的參考補塊j的加權因子；ASSE表示補塊i和補塊j中的相應像素值之間的均方差之和的平均值，並表示補塊i和j之間的相似程度；Var可以被定義為當前補塊組的壓縮雜訊的方差或者當前補塊組的當前補塊的壓縮雜訊的方差，Var可以被稱為雜訊方差。因此，當雜訊方差Var的定義是當前補塊組中的壓縮雜訊的方差時，方差Var可以等於當前補塊組的壓縮雜訊的標準差的平方；或者當雜訊方差Var的定義是當前補塊組的當前補塊中的壓縮雜訊的方差時，雜訊方差Var可以等於當前補塊的壓縮雜訊的標準差的平方。當前補塊組或者當前補塊的壓縮雜訊的標準差還可以稱為各自補塊組的雜訊標準差。補塊組的雜訊標準差表示各自補塊組的雜訊水平。因此，補塊組的雜訊標準差可以稱為各自補塊組的雜訊水平。另外，雜訊方差Var可以表示濾波操作的強度。壓縮雜訊水平越高，Var越高，且當前補塊組的相應的加權因子越大。
在上述示例中，每個參考補塊的加權因子基於運算式e -(ASSE/Var)而被推導出。在一個示例中，為了降低計算參考 補塊的加權因子的計算成本，分段線性插值用於近似運算式e -(ASSE/Var)的值。例如，位於6個控制點處的(ASSE/Var)的值為{0，0.5，1.0，2.0，4.0，6.0}，相應的加權因子為{1.0000，0.6065，0.3679，0.1353，0.0183，0.0025}。假設(ASSE/Var)的當前值，即VC已被獲得，當前值VC的兩個最接近控制點可以用於執行線性內插值(或者外插值)來生成(ASSE/Var)的相應加權因子。
在S420中，累加當前補塊中的像素值。在一個示例中，當前補塊像素值的累加以基於每個參考補塊的各自加權因子而將每個參考補塊中的相應像素的加權像素值聚合成當前補塊的相應像素值的方式被執行。在一個示例中，根據以下運算式，累加被執行： 其中，p是像素索引，x Ai (p)表示聚合而來的當前補塊i中像素p的聚合像素值，x i (p)表示聚合之前的當前補塊i中像素p的原始像素值，y j (p)表示參考補塊j中的像素p的原始像素值。
在S430中，將當前補塊組的每個參考補塊的像素值進行累加。在一個示例中，參考補塊的像素值的累加以基於參考補塊的加權因子將當前補塊中的相應像素的加權像素值添加到當前補塊的相應像素值的方式被執行。在第一示例中，根據以下運算式，累加被執行：y Aj (p)=w i,j ．x Ai (p),其中p是像素索引，y Aj (p)表示聚合而來的參考補塊j中像素p 的聚合像素值，x Ai (p)表示自S420中的聚合而來的當前補塊i中像素p的原始像素值。在第二示例中，當前補塊i中的x i (p)在上述累加中使用，而不是x Ai (p)。
在S440中，將自S420和S430得到的當前補塊的累加像素值和參考補塊的累加像素值累加成圖像中的相應像素，其稱為累加圖像。由於當前補塊組的參考補塊和當前補塊可以互相重疊，累加圖像中的像素可以接收來自於複數個補塊的像素值，當前補塊或者一個或複數個參考補塊。由於步驟S410-步驟S440均被執行以用於每個補塊組，所以在S440中，可以將每輪迭代的各自的當前補塊或參考補塊的累加像素值累加成累加圖像。因此，累加圖像中的像素可以接收來自一個或者複數個補塊組的累加像素值。例如，累加圖像中的累加像素值x A (p)可以被重新寫成： 其中i是一個圖像中的補塊組的索引，並且一個圖像中總共有m個補塊組。
在S450中，將累加圖像中的累加像素值歸一化，以獲得已濾波圖像。由於S440，最終累加圖像中的累加像素可以包括複數個部分的像素值，每個部分對應於當前補塊或參考補塊中的原始像素值乘以一增益。每個增益對應加權因子，或者一個或者複數個加權因子的乘積。因此，在累加圖像中的累加像素可以除以這些增益之和，以獲得歸一化的像素值。這些歸一化的像素值形成已濾波圖像。流程400繼續到S499， 並結束於S499。
例如，在流程400的執行之後，可以對已濾波器圖像執行流程300中的步驟S350和步驟S360，以確定開啟/關閉控制標誌並構造已去雜訊化圖像。
III.壓縮雜訊模型
流程400中所呈現的去雜訊化技術，如運算式w i,j =e -(ASSE/Var)所示，當前補塊組中的壓縮雜訊的雜訊方差Var用於計算各自加權因子。根據本發明的一方面，Var可以基於壓縮雜訊模型被推導出。除了流程400中所呈現的去雜訊化技術之外，壓縮雜訊模型也可以在用於推導補塊組中的壓縮雜訊的方差的其他去雜訊化技術中使用，例如，如上所述的流程300的S340中所應用的去雜訊化技術。例如，壓縮雜訊模型可以用於推導用於塊匹配和3D濾波去雜訊化技術或低階近似去雜訊化技術中的軟閥值或者硬閥值的閥值。下面描述壓縮雜訊模型的示例和壓縮雜訊模型的使用。
通常，壓縮雜訊模型描述補塊組中的壓縮雜訊水平和影響壓縮雜訊水平的因素之間的關係。這些因素可以包括補塊組的內容的特徵，與補塊組(例如，由畫面內預測或者畫面間預測進行編碼)相關的編解碼類型，以及與補塊組相關的變換量化參數。基於實驗，壓縮雜訊模型可以被確定。隨後，基於處理重構圖像的非局部去雜訊化流程中確定的壓縮雜訊模型，補塊組的壓縮雜訊水平可以被估計。在不同的示例中，壓縮雜訊模型可以採用不同的形式，可以具有不同的精確度，以及可以被不同地表述以用於不同的應用。
在一個示例中，用於不同去雜訊化技術的壓縮雜訊模型可以用多項式函數來表述。例如，壓縮雜訊模型採用下述形式：y=ax 3+bx 2+cx+d,其中y表示補塊組的壓縮雜訊的雜訊標準差，其表示補塊組的壓縮雜訊水平，並且其平方等於補塊組的雜訊Var；x表示當前補塊組或者當前補塊的像素值的標準差(稱為像素標準差)，並表示各自補塊組的內容的特徵；稱為模型參數的參數(係數)，即a、b、c和d是常量。例如，在壓縮雜訊模型的使用期間，基於與各自補塊組相關的編解碼類型或者量化參數，常量a、常量b、常量c和常量d可以首先從複數個模型參數集中進行選擇。然後，當前補塊組或者當前補塊的像素值的像素標準差x可以被計算。最後，基於獲得的模型參數a、b、c和d以及像素值的像素標準差x，補塊組的壓縮雜訊的雜訊標準差可以被計算。
在一個示例中，壓縮雜訊模型的模型參數候選集可以透過指導實驗流程來確定。例如，測試圖像的共同序列可以在編碼器處的複數個編解碼流程中使用，例如編碼器100。對於每個編解碼流程，圖像編解碼類型與變換量化參數的集合可以用於圖像序列。對應於每個編碼類型與變換量化參數的集合，對應於圖像中的不同補塊組的壓縮雜訊和像素值可以被獲得。因此，對應於每個補塊組的壓縮雜訊和像素值的標準差的複數個數據點可以被獲得。基於複數個數據點，對應於編解碼類型與變換量化參數的集合的壓縮雜訊模型的模型參數(係 數)集可以透過對資料點進行的迴歸分析(regression analysis)來確定。由於實驗流程，壓縮雜訊模型的複數個模型參數集可以被獲得，每個模型參數集對應於不同的編解碼類型與變換量化參數的集合。下面的表1顯示了模型參數候選集的示例。如表所示，模型參數候選集被獲得以用於每對編解碼類型與量化參數。
在傳統的去雜訊化技術中，冪函數用於表述壓縮雜訊模型。在一個這種示例中，壓縮雜訊模型採用冪函數y=ax b 的形式，其中y表示補塊組的壓縮雜訊的標準差，x表示補塊組的像素值的標準差，a和b為待選擇的模型參數。根據本發明的一方面，表述壓縮雜訊模型的多項式函數而不是冪函數的使用，可以降低與壓縮雜訊模型有關的計算複雜度。
在一個示例中，為了保證多項式函數的單調遞增特性，舍入操作被應用於多項式壓縮雜訊模型。例如，舍入操作可以被添加到各自補塊組的像素值的像素標準差的值，或者自多項式函數得到的各自補塊組的壓縮雜訊的雜訊標準差的值。
在傳統的去雜訊化技術中，壓縮雜訊模型的模型 參數的選擇是基於圖像或者片段層資訊。例如，步驟S310-步驟S330中所形成的補塊組被包括在圖像或片段中，並且相應地，圖像層或者片段層處定義的編解碼類型和量化參數用於選擇每個補塊組的壓縮雜訊模型的模型參數，而無需區分不同的補塊組。然而，根據本發明的一方面，圖像中不同的區域的壓縮雜訊水平根據預測類型、量化參數和各自區域的預測而變化。因此，壓縮雜訊模型的不同的模型參數集可以被選擇以用於分佈在圖像內的不同位置處的補塊組。因此，不同補塊組的壓縮雜訊的雜訊方差或者雜訊標準差可以被更精確地推導出。
因此，在一個示例中，當選擇壓縮雜訊模型的模型參數時，編碼單元層資訊被利用。已編碼圖像的編碼單元可以包括複數個顏色分量(例如，一個亮度分量，兩個色度分量)的同位塊的編解碼資料。對於每個顏色分量，編碼單元可以包括一個或者複數個編碼塊以及一個或者複數個變換塊。例如，編碼單元的使用在HEVC標準中進行指定。在一個示例中，編碼單元層資訊包括預測類型和變換量化參數，其分別被應用到各自的編碼單元中的各自的編碼塊或變換塊。
在一個示例中，重構圖像或者片段包括複數個編碼單元，並且包括預測類型和量化參數的編碼單元層資訊與每個各自的編碼單元相關。預測類型資訊可以用於預測操作，例如，第1圖中的畫面間-畫面內預測模組112處，量化參數資訊可以用於量化操作，例如，殘差編碼器116處。當例如在流程300的S340中將去雜訊化技術應用於當前補塊組，並計算當前補塊組的壓縮雜訊的Var以用於獲得加權因子時，編碼單 元層資訊可以用於確定壓縮雜訊模型的模型參數。例如，編碼單元具有(一個顏色分量的)塊，其重疊(同一顏色分量的)當前補塊組的當前補塊(例如，當前補塊的左上像素位於編碼單元的塊中)，然後這個編碼單元的預測類型和量化參數用於選擇當前補塊組的壓縮雜訊模型的模型參數集，例如，自表1。
另外，在上述示例中，對於編碼單元用畫面間預測進行編碼的情景，對應於編碼單元的殘差的狀態也被考慮，以用於壓縮雜訊模型參數的選擇。例如，當自預測操作得到的編碼單元中存在非零殘差時，編碼單元的量化參數用於模型參數的選擇，而當編碼單元不存在殘差時，編碼單元的量化參數和相應的編碼單元的編碼塊的一個或者複數個預測的一個或複數個量化參數之間的平均值用作選擇模型參數的量化參數。在一個示例中，對應於編碼單元中的編碼塊的預測的量化參數是重疊包括預測的參考圖像中該預測的編碼單元的量化參數。或者在其他示例中，對應於編碼單元中的編碼塊的預測的量化參數是參考圖像的片段頭中的量化參數。
IV.降低計算複雜度的技術
當應用去雜訊化技術處理每個補塊組時，非局部適應性環路濾波器136或者非局部適應性環路濾波器236可以使用一些技術以降低計算複雜度并簡化各個處理操作。例如，平方根操作或者除法操作可以被變換成查閱資料表搜索、位元平移、乘法操作等等。因此，非局部適應性環路濾波器136或者非局部適應性環路濾波器236的實作成本可以被降低，非局部適應性環路濾波器136或者非局部適應性環路濾波器236的 性能可以被改善。
第5圖顯示了根據本發明的一實施例的第一個示例的補塊組像素標準差查閱資料表500。如上所述，當應用非局部去雜訊化技術來處理補塊組時，用壓縮雜訊模型，其是各自補塊組的像素標準差的函數，補塊組的雜訊水平可以被估計。為了獲得補塊組的像素標準差，基於補塊組中的像素或者補塊組的當前補塊中的像素，補塊組的像素方差可以先被計算。隨後，可以對像素方差執行平方根操作，以獲得像素標準差。例如，用以下運算式，補塊組的像素方差可以被計算： 其中n表示補塊組中的參考補塊和當前補塊中的像素的數量，x表示補塊組的像素值，u表示補塊組的平均像素值。因此，補塊組的像素標準差可以用以下運算式被計算，
在另一個示例中，補塊組的像素方差被定義為當前補塊的方差而不是當前補塊組。
在一些示例中，查閱資料表500可以用於代替平方根操作來獲得補塊組的像素標準差，使得各自的計算可以被簡化。在一個示例中，查閱資料表500可以包括兩行：第一行501包括像素標準差值序列，第一行502包括像素方差值序列。在一個示例中，像素標準差值位於從0到40的範圍內，並用編號，即521-527來標記。像素方差值用編號，即511-516來標記。像素方差值511-像素方差值516中的每個分別對應像 素標準差值，即521-526。
具體地，行502中每個像素方差值是行501中的兩個連續的像素標準差值的平方值(方差)的平均值。例如，像素方差值511等於像素標準差值521和522的平方值的平均值。因此，像素方差值511是運算式(0^2+1^2)/2的值，其被顯示在像方差值511的位置處。同樣，像素方差值512等於像素標準差值522和像素標準差值523的平方值的平均值。因此，像素方差值512是運算式(1^2+2^2)/2的值，其被顯示在像素方差值512的位置處。以同樣的方式，像素方差值513-像素方差值516可以被計算。值得注意的是，計算像素標準差值的平方值的平均值的運算式如第5圖的行502中所示，以為了解釋的目的，並且不是查閱資料表500的一部分。相反，在不同示例中，每個運算式的結果被包括在行502中。
當補塊組的像素方差被獲得時，透過搜索查閱資料表500，已估計像素標準差值可以被確定。例如，當像素方差小於像素方差值511時，像素標準差值521可以用作為已估計像素標準差值。當像素方差在像素方差511和像素方差512之間的範圍之間時，像素標準差值522可以用作已估計像素標準差值。可以看出，當像素方差的值落入兩個相鄰像素方差之間時，一個像素標準差，有著落入兩個相鄰像素方差之間的範圍內的像素方差的平方值(方差)可以被確定為相對應的已估計像素標準差。對於大於最後一個的像素方差516的像素方差，最後一個的像素標準差527可以用作各自的已估計像素標準差。
在一個示例中，在對應於獲得的像素方差的查閱資料表500中搜索已估計像素標準差，可以以如下方式來執行。首先，從最小的方差511搜索行502中的像素方差序列，直到大於所獲得的像素方差的像素方差被找到。其次，在對應於所找到的像素方差(例如，在查閱資料表500的同一列)的行501中的像素標準差序列中的像素標準差可以被確定為已估計像素標準差。
值得注意的是，在不同的示例中，查閱資料表500的結構可以不同於第5圖中所示的。例如，行501或者行502的序列可以被不同地排序。因此，特定的搜索演算法可以被採用以適合於查閱資料表500的各自順序。
在一些示例中，在執行補塊組去雜訊化操作之前，查閱資料表500可以被構造。在一個示例中，查閱資料表500中的像素標準差的範圍和精度被首先定義，以便構造查閱資料表500。例如，當壓縮雜訊模型是基於實驗來表述的時，補塊組像素標準差的範圍和精度可以被相應地確定。例如，基於重構圖像的統計特性，從雜訊模型推導出的壓縮雜訊水平可以被限制於某個範圍。壓縮雜訊水平的精度也可以被考慮和確定。因此，壓縮雜訊模型可以具有足夠高的某個精確度，以實作目標非局部去雜訊化處理性能，並且同時，各自執行成本可以被控制成位於某一水平之下。根據壓縮雜訊模型和各自範圍與精度，補塊組像素標準差的範圍和精度可以被定義。
例如，在不同示例中，補塊組像素標準差的範圍可以被定義為0-10、0-40或者0-100，以用於對應於不同重構 像素的8位元的像素深度。例如，補塊組像素標準差的精度可以是二進位點之後的2個二進位位元。因此，對於範圍0-40中的補塊組像素標準差，查閱資料表500中的行501中存在160個像素標準差值。例如，以二進位格式的160個像素標準差值可以為0.00,0.01,0.10,0.11,1.00,1.01,1.10,1.11,...,101000.11。
因此，在一個示例中，構造補塊組像素標準差查閱資料表的流程可以包括以下步驟。首先，像素標準差的範圍和精度可以被確定。其次，根據確定的像素標準差的範圍和精度，像素標準差值序列可以被確定。第三，根據確定的像素標準差，像素方差序列可以被確定。例如，每個像素方差可以是兩個連續像素標準差的平方值的平均值。
第6圖顯示了根據本發明一實施例的第二個示例的補塊組像素標準差查閱資料表600。查閱資料表600可以包括行602中的像素方差值序列，即611-616，例如，從0到1600，以及行601中的像素標準差值序列，即621-626。具體地，在查閱資料表600的每列中，像素標準差值取相同行中的像素方差值的平方根。例如，像素標準差623取像素方差613的平方根。儘管平方根操作運算式在行601中被示出，但平方根操作運算式不是查閱資料表600的一部分。在不同的示例中，平方根操作的結果被包括在查閱資料表600的行601中。
查閱資料表600可以以與查閱資料表500不同的方式被構建。例如，在創建查閱資料表600的流程中，行 602中的像素方差可以首先被確定。例如，行601中的像素標準差的範圍可以首先以與第5圖示例相似的方式被定義。因此，各個像素方差的範圍可以被定義。例如，如果像素標準差的範圍為從0到40，則對應的像素方差的範圍可以是從0到1600。基於像素方差的範圍，像素方差序列可以被創建。例如，在第6圖中，對應於整數像素方差值的精度被採用，行602中的序列可以包括對應於範圍0-1600的1601個值。因此，當計算補塊組的像素方差時，相同的整數精度可以被採用。換言之，計算補塊組的像素方差的結果可以被四捨五入成與待使用的查閱資料表600一致的整數值。
在行602的像素方差被確定之後，行601的像素標準差可以透過對各自像素方差執行平方根操作來確定。例如，像素標準差624可以被確定為1.7。
當搜索查閱資料表600時，補塊組的計算的像素方差可以被使用。當匹配的計算的像素方差的像素方差在行602中被找到時，相同行中的像素標準差可以被確定為目標像素標準差，其可以用於估計壓縮雜訊水平的壓縮雜訊模型。
對比查閱資料表600和查閱資料表500，查閱資料表500基於像素標準差被創建，並且範圍內的像素方差被映射到一個像素標準差。然而，查閱資料表600基於像素方差被創建，並且一個像素方差被映射到一個像素標準差。查閱資料表600可能具有比對應于相同應用的查閱資料表500更大的尺寸。
本發明的各方面提供了用於簡化加權因子的計算 的示例方法，例如，第4圖示例中的S410處所執行的。在S410中，基於如下運算式，相對於補塊組的當前補塊的參考補塊的加權因子可以被推導出：w i,j =e -(ASSE/Var)。
在上述運算式中，ASSE表示參考補塊和當前補塊中的像素值之間的平方誤差之和的平均值；雜訊Var表示補塊組中的壓縮雜訊水平。不同的方法可以被使用以簡化項ASSE/Var的計算。
在一個示例中，項ASSE/Var的除法操作1/Var用表示為LUT1[Var]的除法查閱資料表搜索操作來代替。因此，ASSE/Var的計算被轉換成如下所示：ASSE/Var → ASSE x LUT1[Var]。
在除法查閱資料表搜索操作中，在存儲每個用Var的值來映射的1/Var的值序列的第一除法查閱資料表中執行搜索。
在上述示例中，Var的值的範圍可以是較大的。例如，Var值的範圍可以是從0到60,000。因此，第一除法查閱資料表的尺寸可以是較大的。為了減小除法查閱資料表的尺寸，在一個示例中，對Var執行動態右移操作以獲得Var的K個最重要位元(K number of most significant bits，K-MSB)，其中K為預設數量。然後，第二除法查閱資料表可以被使用，以基於所獲得的K-MSB確定1/K-MSB的值。
例如，Var的值可以自壓縮雜訊模型來獲得，並且具有表示為L的10個二進位位元的長度。K被配置為4。因此，在一個示例中，Var可以被右移Nx個位元直到K個最重要位元被保留。在本示例中，右移位元的數量等於L-K=10-4=6個 位元。至於不同的補塊組，雜訊方差Var可以變化，因此待平移的位元數量Nx可以相應地變化。
第二除法查閱資料表可以存儲1/K-MSB的值序列，其中每個對應於第二除法查閱資料表中另一序列的K-MSB。在第二除法查閱資料表中搜索可以是基於K-MSB。對比於第一除法查閱資料表，第二除法查閱資料表的尺寸由K的數量來確定，從而被減小。
對應於對Var(即項ASSE/Var的分母)所執行的Nx個位元右移操作，分子ASSE可以同樣地被右移Nx個位元以保持ASSE/Var的適當值。因此，基於第二除法查閱資料表的ASSE/Var的計算的轉換可以被表示為如下：ASSE/Var → (ASSE>>Nx)x(LUT2[Var>>Nx])，其中>>表示右移操作，LUT2[Var>>Nx]表示具有右移Nx個位元的雜訊方差Var的第二除法查閱資料表中所執行的查找操作。
在上述示例中，1/K-MSB的值可以是較小的，因為K-MSB的值可以是較大的整數。為了降低與用1/K-MSB的較小值進行存儲和計算相關的成本，在一個示例中，第二除法查閱資料表被修改，得到第三除法查閱資料表。具體地，第三除法查閱資料表可以存儲2^M/K-MSB的值，其中M為預設整數。這樣，對應於K-MSB，為1/K-MSB的2^M倍的放大值可以被定位。相比於1/K-MSB的值，放大值，即2^M/K-MSB可以更適合於存儲或者操作，從而形成更高的處理效率。
對應於在第三除法查閱資料表中的放大操作，結 果值可以被右移M個位元，以獲得各自的ASSE/Var的適當值。因此，用第三除法查閱資料表的計算ASSE/Var可以被表示為如下：ASSE/Var → ((ASSE>>Nx)x(LUT3[Var>>Nx]))>>M
其中LUT3[Var>>Nx]表示具有右移Nx個位元的雜訊方差Var的第三除法查閱資料表中所執行的查找操作。
在一些示例中，舍入偏移可以被應用，以進一步提高計算項ASSE/Var的精確度。例如，在對雜訊方差Var執行右移之前，舍入偏移可以被添加Var。例如，舍入偏移的值可以採用(1<<Nx)/2，其中<<表示左移操作。在不同的示例中，舍入偏移的值可以處於0到(1<<Nx)-1的範圍。同樣地，在執行各自右移操作之前，舍入偏移可以被添加ASSE的值或((ASSE>>Nx)x(LUT3[Var>>Nx]))的值。另外，舍入偏移可以用於如下項中的一個或者複數個：ASSE、Var或者((ASSE>>Nx)x(LUT3[Var>>Nx]))，以用於一個去雜訊化流程。在不同的示例中，關於哪個項應用舍入偏移的不同的選擇可以被選擇以用於不同的視訊序列、重構圖像或者補塊組。
作為示例，第7圖顯示了根據本發明的一實施例的使用第三除法查閱資料表計算項ASSE/Var的流程700。流程700開始於S701，繼續至S710。
在S710中，可以將Var右移Nx個位元，以定位K個最重要位元。
在S720中，透過基於定位的K-MSB搜索第三除法查閱資料表，可以確定2^M/K-MSB的值。
在S730中，可以將ASSE右移Nx個位元。
在S740中，將右移的ASSE乘以確定的2^M/K-MSB的值，以獲得乘積。
在S750中，可以將乘積右移M個位元，以獲得目標ASSE/Var值。然後流程700繼續至S799，結束於S799。
本發明的各個方面提供了用於簡化對累加像素值所執行的歸一化操作的示例方法，例如，在第4圖的示例中的S450處。在S450中，將累加圖像中累加像素值進行歸一化，以獲得已濾波圖像。例如，表示為XA的累加像素可以包括像素值的複數個部分，其中每個部分對應當前補塊或者參考補塊的原始像素值乘以增益。每個增益對應加權因子，或者一個或者複數個加權因子的乘積。因此，累加像素值可以除以這些增益之和(表示為SG)，以獲得歸一化像素值XA/SG。XA/SG中的除法操作可以被簡化以提高補塊組處理的效率。
在一個示例中，用類似於第一除法查閱資料表、第二除法查閱資料表或第三除法查閱資料表的查閱資料表計算ASSE/Var的方式，項XA/SG的計算可以被執行。作為一個示例，第8圖顯示了根據本發明一實施例的計算XA/SG的流程800。流程800開始於S801，繼續至S810。
在S810中，可以將增益SG之和右移Nx個位元，以定位K個最重要位元。
在S820中，透過基於定位的K-MSB搜索類似於上述的第三除法查閱資料表的查閱資料表，可以確定2^M/K-MSB的值。
在S830中，將XA右移Nx個位元。
在S840中，將右移的XA乘以確定的2^M/K-MSB的值，以獲得乘積。
在S850中，可以將乘積右移M個位元，以獲得歸一化像素值。然後流程800繼續至S899，結束於S899。
在不同的示例中，舍入偏移可以被應用于提高計算項XA/SG的精確度。作為一示例，第9圖顯示了根據本發明一實施例的具有舍入偏移操作的流程900。流程900開始於S901，繼續至S910。
在S910中，可以先計算項XA/SG而不添加舍入偏移，例如，使用相似于本文所描述的第二除法查閱資料表的查閱資料表或者第三除法查閱資料表的查閱資料表。
在S920中，使用第一步驟中的同一查閱資料表，可以用所添加的舍入偏移來計算項XA/SG。具體地，舍入偏移可以被添加到如下項中的一個或者複數個：XA、SG和((XA>>Nx)x(LUT3[SG>>Nx]))。例如，舍入偏移可以被添加到XA或者SG中的至少一個。
在S930中，平均第一步驟的結果和第二步驟的結果，平均值用作為項XA/SG的目標值。然後流程900繼續至S999，結束於S999。
由於已經結合本發明的被提出用作示例的具體實施例描述了本發明的各個方面，可以做出這些示例的替代、修改和變形。因此，此處所說明的實施例用作示意目的，但不用於限制。在不脫離請求項的範圍的情況下，可以做出改變。

Claims (20)

  1. 一種方法，包括：接收對應於圖像的已重構視訊資料；將該圖像分割為複數個當前補塊；形成複數個補塊組，其中每個補塊組包括當前補塊和相似於當前補塊的複數個參考補塊；確定該複數個補塊組中每個的雜訊水平，包括：計算各自補塊組的複數個像素值的像素方差；透過在表示複數個補塊組像素標準差和複數個補塊組像素方差之間的映射關係的第一查閱資料表中進行搜索，根據該各自補塊組的所計算的該像素方差，確定該各自補塊組的像素標準差；以及基於為該各自補塊組的像素標準差的函數的壓縮雜訊模型，計算該各自補塊組的雜訊水平；以及基於該複數個補塊組中的每個的確定的雜訊水平，用非局部去雜訊化技術去雜訊化該複數個補塊組，以創建已濾波圖像。
  2. 如申請專利範圍第1項所述之方法，其中，該第一查閱資料表包括複數個補塊組像素標準差的第一序列和複數個補塊組像素方差的第二序列，其中，複數個連續補塊組標準差中的每兩個連續補塊組標準差的平方值之間的平均值形成複數個補塊組方差的該第二序列。
  3. 如申請專利範圍第2項所述之方法，其中，在該第一查閱 資料表中進行搜索包括：搜索包括該各自補塊組的該像素方差的該第二序列中的兩個連續平均值所定義的範圍；以及確定該第一序列中的該補塊組標準差為該各自補塊組的該像素標準差，其中，確定的該補塊組標準差的平方值被包括在由該第二序列中的兩個連續的平均值所定義的相同的範圍內。
  4. 如申請專利範圍第2項所述之方法，其中，還包括：構造該第一查閱資料表，包括：確定複數個補塊組標準差的該第一序列的範圍；確定複數個補塊組標準差的該第一序列的精度；以及根據確定的該範圍和該精度確定複數個補塊組標準差的該第一序列。
  5. 如申請專利範圍第1項所述之方法，其中，該第一查閱資料表包括複數個補塊組標準差的第一序列和複數個補塊組方差的第二序列，其中，複數個補塊組標準差的該第一序列中的每個是複數個補塊組方差的該第二序列中的一個的標準差。
  6. 如申請專利範圍第5項所述之方法，其中，在該第一查閱資料表中進行搜索包括：在該第二序列中查找等於用於該各自補塊組的像素方差的補塊組方差；以及確定對應於該第二序列的查找到的補塊組方差的複數個補塊組標準差的第一序列中的一個為該各自補塊組的像素標 準差。
  7. 如申請專利範圍第1項所述之方法，其中，該非局部去雜訊化技術是如下中的一個：非局部均值去雜訊化技術，塊匹配和3D濾波去雜訊化技術，或者低階近似去雜訊化技術。
  8. 如申請專利範圍第1項所述之方法，其中，基於該複數個補塊組中的每個的確定的雜訊水平，用非局部去雜訊化技術去雜訊化該複數個補塊組，以創建已濾波圖像包括：計算ASSE/Var值以用於計算相對於當前補塊的參考補塊的加權因子，ASSE是該參考補塊和該當前補塊之間的平方誤差之和的平均值，Var是為包括該參考補塊和該當前補塊的補塊組的雜訊水平的平方的雜訊方差，其中，計算該ASSE/Var值包括：將該Var右移N x個位元以定位K個最重要位元，K為預設數量；透過基於定位的該K個最重要位元查找第二查閱資料表，確定2^M/K個最重要位元的值，M是預設數量；將ASSE右移N x個位元；將右移的ASSE乘以2^M/K個最重要位元的確定的值，以獲得乘積；以及將該乘積右移M個位元，以獲得該ASSE/Var值。
  9. 如申請專利範圍第8項所述之方法，其中，該第二查閱資料表表示2^M/K個最重要位元的值序列和每個具有K個位 元的K個最重要位元的序列之間的映射關係。
  10. 如申請專利範圍第8項所述之方法，其中，還包括如下中的一個：在將該Var右移N x個位元之前，將舍入偏移添加到該Var；在將ASSE右移N x個位元之前，將舍入偏移添加到該ASSE；以及在將該乘積右移M個位元之前，將舍入偏移添加到該乘積。
  11. 如申請專利範圍第1項所述之方法，其中，基於該複數個補塊組中的每個的確定的雜訊水平，用非局部去雜訊化技術去雜訊化該複數個補塊組，以創建已濾波圖像包括：計算對應於包括複數個像素值的複數個部分的累加像素值X A的歸一化像素值，複數個部分中的每個對應于已分割的圖像的原始像素值乘以增益，其中，計算該歸一化像素值包括：(a)將對應於該累加像素值X A的複數個增益之和S G右移N x個位元，以定位K個最重要位元，其中K為預設數量，(b)透過基於定位的K個最重要位元搜索第三查閱資料表，確定2^M/K個最重要位元的值，M為預設數，(c)將X A右移N x個位元，(d)將確定的2^M/K個最重要位元的值乘以右移的X A，以獲得乘積，(e)將該乘積右移M個位元，以獲得第一歸一化像素值。
  12. 如申請專利範圍第11項所述之方法，其中，該第三查閱資料表表示2^M/K個最重要位元的值序列和每個具有K個位 元的K個最重要位元的序列之間的映射關係。
  13. 如申請專利範圍第8項所述之方法，其中，計算歸一化像素值還包括：執行具有舍入偏移操作的步驟(a)-步驟(e)，以獲得第二歸一化像素值，其中該舍入偏移操作包括以下中的至少一個：在將該S G右移N x個位元之前，將舍入偏移添加到該S G；在將X A右移N x個位元之前，將舍入偏移添加到該X A；或者在將該乘積右移M個位元之前，將舍入偏移添加到該乘積；以及平均第一歸一化像素值和第二歸一化像素值，以獲得計算的該歸一化像素值。
  14. 一種非局部適應性環路濾波器，包括電路，用於：接收對應於圖像的已重構視訊資料；將該圖像分割為複數個當前補塊；形成複數個補塊組，其中每個補塊組包括當前補塊和相似於當前補塊的複數個參考補塊；確定該複數個補塊組中每個的雜訊水平，其中確定雜訊水平包括：計算各自補塊組的複數個像素值的像素方差；透過在表示複數個補丁補塊組像素標準差和複數個補塊組像素方差之間的映射關係的第一查閱資料表中進行搜索，根據該各自補塊組的所計算的該像素方差，確定該各自補塊組的像素標準差；以及 基於為該各自補塊組的像素標準差的函數的壓縮雜訊模型，計算該各自補塊組的雜訊水平；以及基於該複數個補塊組中的每個的確定的雜訊水平，用非局部去雜訊化技術去雜訊化該複數個補塊組，以創建已濾波圖像。
  15. 如申請專利範圍第14項所述之非局部適應性環路濾波器，其中，該第一查閱資料表包括複數個補塊組像素標準差的第一序列和複數個補塊組像素方差的第二序列，其中，複數個連續補塊組標準差中的每兩個連續補塊組標準差的平方值之間的平均值形成複數個補塊組方差的該第二序列。
  16. 如申請專利範圍第14項所述之非局部適應性環路濾波器，其中，該第一查閱資料表包括複數個補塊組標準差的第一序列和複數個補塊組方差的第二序列，其中，複數個補塊組標準差的該第一序列中的每個是複數個補塊組方差的該第二序列中的一個的標準差。
  17. 如申請專利範圍第14項所述之非局部適應性環路濾波器，其中，該電路還用於：計算ASSE/Var值以用於計算相對於當前補塊的參考補塊的加權因子，ASSE是該參考補塊和該當前補塊之間的平方誤差之和的平均值，Var是為包括該參考補塊和該當前補塊的補塊組的雜訊水平的平方的雜訊方差，其中，計算該ASSE/Var值包括： 將該Var右移N x個位元以定位數量K個最重要位元，K為預設數量，透過基於定位的該K個最重要位元查找第二查閱資料表，確定2^M/K個最重要位元的值，M是預設數量，將ASSE右移N x個位元，將右移的ASSE乘以確定的2^M/K個最重要位元的值，以獲得乘積，以及將該乘積右移M個位元，以獲得該ASSE/Var值。
  18. 如申請專利範圍第14項所述之非局部適應性環路濾波器，其中，該電路還用於：計算對應於包括複數個像素值的複數個部分的累加像素值X A的歸一化像素值，複數個部分中的每個對應于已分割的圖像的原始像素值乘以增益，其中，計算該歸一化像素值包括：(a)將對應於該累加像素值X A的複數個增益之和S G右移N x個位元，以定位K個最重要位元，其中K為預設數量，(b)透過基於定位的K個最重要位元搜索第三查閱資料表，確定2^M/K個最重要位元的值，M為預設數，(c)將X A右移N x個位元，(d)將2^M/K個最重要位元的確定的值乘以右移的X A，以獲得乘積，以及(e)將該乘積右移M個位元，以獲得第一歸一化像素值。
  19. 如申請專利範圍第14項所述之非局部適應性環路濾波器，其中，該電路還用於： 執行具有舍入偏移操作的步驟(a)-步驟(e)，以獲得第二歸一化像素值，其中該舍入偏移操作包括以下中的至少一個：在將該S G右移N x個位元之前，將舍入偏移添加到該S G；在將X A右移N x個位元之前，將舍入偏移添加到該X A；或者在將該乘積右移M個位元之前，將舍入偏移添加到該乘積；以及平均第一歸一化像素值和第二歸一化像素值，以獲得計算的該歸一化像素值。
  20. 一種非易失性電腦可讀介質，存儲有複數個指令，在由處理器執行時，使得該處理器執行一方法，該方法包括：接收對應於圖像的已重構視訊資料；將該圖像分割為複數個當前補塊；形成複數個補塊組，其中每個補塊組包括當前補塊和相似於當前補塊的複數個參考補塊；確定該複數個補塊組中每個的雜訊水平，包括：計算各自補塊組的複數個像素值的像素方差；透過在表示複數個補塊組像素標準差和複數個補塊組像素方差之間的映射關係的第一查閱資料表中進行搜索，根據該各自補塊組的所計算的該像素方差，確定該各自補塊組的像素標準差；以及基於為該各自補塊組的像素標準差的函數的壓縮雜訊模型，計算該各自補塊組的雜訊水平；以及基於該複數個補塊組中的每個的確定的雜訊水平，用非局 部去雜訊化技術去雜訊化該複數個補塊組，以創建已濾波圖像。
TW107108636A 2017-03-16 2018-03-14 非局部適應性環路濾波器處理 TWI672940B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762472000P 2017-03-16 2017-03-16
US62/472,000 2017-03-16
US15/918,646 US10419758B2 (en) 2017-03-16 2018-03-12 Non-local adaptive loop filter processing
US15/918,646 2018-03-12

Publications (2)

Publication Number Publication Date
TW201840185A true TW201840185A (zh) 2018-11-01
TWI672940B TWI672940B (zh) 2019-09-21

Family

ID=63519744

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107108636A TWI672940B (zh) 2017-03-16 2018-03-14 非局部適應性環路濾波器處理

Country Status (4)

Country Link
US (1) US10419758B2 (zh)
CN (1) CN110383331B (zh)
TW (1) TWI672940B (zh)
WO (1) WO2018166513A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10944991B2 (en) * 2018-10-03 2021-03-09 Samsung Electronics Co., Ltd. Prediction for matched patch index coding
CN109712099B (zh) * 2018-12-04 2022-12-27 山东大学 基于slic和自适应滤波的声呐图像均衡化方法
CN115665407B (zh) * 2018-12-31 2023-08-04 华为技术有限公司 用于帧内预测的分量间线性建模方法和装置
EP3915253A4 (en) 2019-01-25 2022-11-09 HFI Innovation Inc. METHOD AND APPARATUS FOR NON-LINEAR ADAPTIVE LOOP FILTERING IN VIDEO CODING
TWI739386B (zh) 2019-04-11 2021-09-11 聯發科技股份有限公司 具有適應性參數集之適應性迴路濾波器
JP7328096B2 (ja) * 2019-09-13 2023-08-16 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111580784B (zh) * 2020-04-10 2023-07-25 科大讯飞股份有限公司 一种幂函数计算装置及幂函数计算方法
CN112817255B (zh) * 2020-12-31 2022-03-18 深圳贝特莱电子科技股份有限公司 一种触摸数据去噪声处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3853628T2 (de) * 1988-09-07 1995-09-28 Agfa Gevaert Nv Digitalbildverarbeitung unter Berücksichtigung der Standardabweichung.
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
JP4978402B2 (ja) * 2007-09-28 2012-07-18 富士通セミコンダクター株式会社 画像処理フィルタ、画像処理フィルタの画像処理方法及び画像処理フィルタを備える画像処理装置の画像処理回路
CA2748234A1 (en) 2008-12-25 2010-07-01 Medic Vision - Imaging Solutions Ltd. Denoising medical images
US8588535B2 (en) * 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
US8203116B2 (en) 2010-10-19 2012-06-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays
IT1403150B1 (it) * 2010-11-24 2013-10-04 St Microelectronics Srl Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico.
US20170084007A1 (en) 2014-05-15 2017-03-23 Wrnch Inc. Time-space methods and systems for the reduction of video noise
CN106133788B (zh) 2014-11-13 2019-11-12 华为技术有限公司 处理数字图像的图像处理装置
CN105763881A (zh) * 2016-02-23 2016-07-13 北京大学 利用图像非局部结构相似性特征的视频编码图像滤波方法
CN105791877B (zh) * 2016-03-15 2019-06-07 北京大学 视频编解码中自适应环路滤波的方法
US10462459B2 (en) 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter

Also Published As

Publication number Publication date
CN110383331B (zh) 2023-08-18
US10419758B2 (en) 2019-09-17
WO2018166513A1 (en) 2018-09-20
US20180270479A1 (en) 2018-09-20
TWI672940B (zh) 2019-09-21
CN110383331A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
TWI672940B (zh) 非局部適應性環路濾波器處理
RU2767752C1 (ru) Новые наборы выборок и новые схемы понижающей дискретизации для предсказания выборки линейной компоненты
US10462459B2 (en) Non-local adaptive loop filter
CN110036637B (zh) 去噪声化已重构图像的方法及装置
JP6701391B2 (ja) 改良情報を用いてダウンサンプリング／アップサンプリングすることによるデジタルフレームの符号化／復号化
JP5890520B2 (ja) 画像の輝度成分を用いて画像の色差成分を予測する方法及び予測装置
JP2021044811A (ja) サンプルアダプティブオフセット制御
CN111819853A (zh) 变换域中预测的信令残差符号
CA2935332A1 (en) Video decoder, video encoder, video decoding method, and video encoding method
KR102598789B1 (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
JP6360841B2 (ja) 画像ダイナミックレンジ変換演算子を選択するための方法およびデバイス
Wennersten et al. Bilateral filtering for video coding
CN111971963A (zh) 图像编码和解码、图像编码器以及图像解码器
CN112470468A (zh) 解码预测方法、装置及计算机存储介质
CA3114816C (en) Video image component prediction method and apparatus, and computer storage medium
Ameer et al. Image compression using plane fitting with inter-block prediction
CN113709459B (zh) 帧内预测方法、装置及计算机存储介质
JP6564315B2 (ja) 符号化装置、復号装置、及びプログラム
RU2781233C2 (ru) Устройство и способ фильтрации при кодировании видео
CN118247362A (zh) 数据压缩方法
KR20220007523A (ko) 영상 부호화/복호화 방법 및 장치
CN113261279A (zh) 预测值的确定方法、编码器、解码器以及存储介质
JP2016165065A (ja) 画像用ノイズ低減装置、画像用符号化装置、及びプログラム