TW201742456A - 搜索參考區塊的方法 - Google Patents

搜索參考區塊的方法 Download PDF

Info

Publication number
TW201742456A
TW201742456A TW106112346A TW106112346A TW201742456A TW 201742456 A TW201742456 A TW 201742456A TW 106112346 A TW106112346 A TW 106112346A TW 106112346 A TW106112346 A TW 106112346A TW 201742456 A TW201742456 A TW 201742456A
Authority
TW
Taiwan
Prior art keywords
block
search
blocks
similar
current block
Prior art date
Application number
TW106112346A
Other languages
English (en)
Other versions
TWI634777B (zh
Inventor
陳慶曄
林建良
莊子德
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201742456A publication Critical patent/TW201742456A/zh
Application granted granted Critical
Publication of TWI634777B publication Critical patent/TWI634777B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明的方面提供了一種用於去噪聲重建圖像的方法。該方法可以包括接收對應於圖像的重建視訊資料，將圖像劃分為當前區塊，形成區塊組，每一個區塊組包括當前區塊和多個參考區塊，該多個參考區塊相似於當前區塊，對區塊組進行去噪聲以修改區塊組的像素值以創建濾波圖像，並且基於用於對圖像進行編碼或解碼的濾波圖像來生成參考圖像。去噪聲區塊組的操作包括基於壓縮噪聲模型導出相應區塊組中壓縮噪聲的方差。基於編碼單位級訊息確定模型參數的選擇。

Description

非本地自適應環路濾波器 【相關申請的交叉引用】
本申請的申請專利範圍依35 U.S.C.§119要求如下申請的優先權：2016年4月14日遞交的申請號為62/322,308，標題為「Searching Methods for Non-local Adaptive In-loop Filters in Video Coding」的美國臨時案；2016年4月22日遞交的申請號為62/326,030，標題為「Non-local Adaptive Loop Filters(NL-ALF)and larger CU improvement」的美國臨時案。在此合併參考這些申請案的申請標的。
本發明係相關於視訊編碼，尤指一種視訊編碼系統中的非本地自適應環路濾波技術。
本文提供的背景描述是為了通常呈現本發明的上下文的目的。在發明人呈現的本發明中，在很大程度上背景部分描述的內容，與實施方式描述的內容一樣不能被視為申請日之前的先前技術。也就是說，既不被明確地也不暗示承認為本發明的先前技術。
基於塊的運動補償，變換和量化被廣泛地用於視訊壓縮以提高視訊通訊系統的性能。然而，由於粗量化(coarse quantization)和運動補償，可以引入壓縮噪聲，這導致重建圖 像中的偽像(artifacts)，例如阻塞，振鈴和模糊。可以採用環路濾波器(in-loop filters)來減小壓縮噪聲，這不僅可以提高解碼圖像的質量，而且可以為後續圖像提供高質量的參考圖像來保存編碼位元。非本地自適應環路濾波器是這種環路濾波器的一種類型。
本發明的一方面提供了一種用於去噪聲重建圖像的方法。該方法可以包括接收對應於圖像的重建視訊資料，將圖像劃分為當前區塊，形成區塊組，每一個區塊組包括當前區塊和多個參考區塊，該多個參考區塊相似於當前區塊，對區塊組進行去噪聲以修改區塊組的像素值以創建濾波圖像，並且基於用於對圖像進行編碼或解碼的濾波圖像來生成參考圖像。去噪聲區塊組的操作包括基於壓縮噪聲模型導出相應區塊組中壓縮噪聲的方差。基於編碼單位級訊息確定模型參數的選擇。
在一個示例中，編碼單元級訊息可以包括與相應區塊組中的相應當前區塊相關聯的編碼單元的量化參數(QP)的一個或組合，以及與對應區塊組中的對應當前區塊相關聯的編碼單元的預測類型。
在另一示例中，編碼單元級訊息還可以進一步包括編碼單元預測的的一個或複數個QP。當編碼單元中存在非零殘差時，編碼單元的QP用於確定模型參數，而在編碼單元中不存在殘差的情況下，編碼單元的QP與編碼單元預測的一個或複數個QP的平均值用於確定模型參數。
在一個實施例中，應用去噪聲技術可以包括基於 每個參考區塊和當前區塊之間的相似度來計算每個參考區塊的權重因子。可以基於表達式e -(SSE/Var)導出每個參考區塊的權重因子，其中SSE表示當前區塊和相應區塊之間的平方誤差之和的平均值，Var表示相應區塊組中壓縮噪聲的變化。可以使用分段線性插值來近似表達式的值e -(SSE/Var)，用於計算相應的權重因子。
在一個實施例中，對應區塊組中的壓縮噪聲的標準偏差(SD)是壓縮噪聲模型中對應區塊組的像素值的SD的函數，並且該函數被表示為多項式函數。剪輯操作可以應用於相應區塊組中的壓縮噪聲的SD或相應區塊組的像素值的SD，以保證多項式函數的單調增加屬性。
本發明的一方面提供了用於搜索類似區塊以形成區塊組的方法。該方法可以包括接收對應於圖像的重建視訊資料，將圖像劃分為當前區塊，以及搜索圖片中的K個相似參考區塊以用於當前區塊形成包括K個相似參考區塊和當前區塊的區塊組。搜索K個相似參考區塊的操作可以包括執行第一搜索策略的第一搜索過程來獲得包括於候選列表中的K個相似區塊，以及執行第二搜索策略的第二搜索過程來更新候選列表。
在一個實施例中，利用第一搜索策略獲得K個相似區塊的執行第一搜索過程包括，透過執行第一搜索策略遍歷候選參考區塊，當執行第一搜索策略時包括在候選列表中的首先K個遍歷候選參考區塊，以及包括已遍歷的候選參考區塊，其中與候選列表的成員相比，已編碼的候選參考區塊更相似于 當前區塊。
在一個實施例中，利用第二搜索策略來更新候選列表的執行第二搜索過程包括，透過執行第二搜索策略遍歷候選參考區塊，以及包括已遍歷的候選參考區塊，其中與候選列表的候選成員相比，已遍歷的候選參考區塊更相似於當前區塊。
在一個示例中，第一搜索策略與第二搜索策略不同。在各種示例中，第一搜索策略或第二搜索策略採用全搜索，三步搜索，鑽石搜索，四步搜索，六邊形搜索或二維log搜索中之其一。在一個示例中，第一搜索處理的初始候選參考區塊與第二搜索處理的初始候選參考區塊相同或不同。在一個示例中，第二搜索處理的初始候選參考區塊是由第一搜索處理遍歷的候選參考區塊中之其一。
在一個實施例中，第一搜索過程或第二搜索過程可以包括在定義的搜索窗口中搜索K個相似的參考區塊，以用於搜索網格上對應的當前區塊。搜索窗口可以具有第一搜索區域，該搜索區域在對應的當前區塊的位置的中心並由至少一個其他非重疊搜索區域同中心地包圍。此外，位於離對應當前區塊的位置更遠的搜索區域具有較低的自樣本比率。在一個示例中，每個搜索區域是矩形形狀。
在一個示例中，當部分地導出候選參考區塊的第一相似性度量大於閾值時，搜索K個相似參考區塊進一步包括終止候選參考區塊的第一相似性度量的推導。閾值可以等於K個先前發現的相似參考區塊中之其一乘以控制參數的第二相 似性度量。
在一個實施例中，第一搜索處理在搜索網格上的當前區塊的位置中心的第一搜索區域中執行，並且第二搜索過程在第一搜索區域同心的第二搜索區域中執行。第二搜索區域包括第一搜索區域，第一搜索區域和第二搜索區域具有不同的子樣本比率。
在另一個實施例中，第一搜索處理在搜索網格上的當前區塊的位置中心的第一搜索區域中執行，以及第二搜索處理在與第一搜索區域同心的第二搜索區域中執行。然而第二搜索區域圍繞第一搜索區域，並且第一搜索區域和第二搜索區域具有不同的子樣本比率。
在一個實施例中，搜索K個相似的參考區塊還可以包括在更新的候選列表上的參考區塊的位置周圍的區域中執行精細搜索。在一個示例中，複數個搜索過程至少包括第一搜索過程和第二搜索過程以用於搜索K個相似參考區塊並且對應的搜索策略被定義或被發送於序列級，圖片級，切片級或塊級。
本發明的一方面提供了一種用於重新使用第一顏色分量的搜索結果以用於第二顏色分量的方法。該方法包括接收對應於具有第一顏色分量和第二顏色分量的圖像的重建視訊資料，將圖像中的第一顏色分量的複數個像素劃分為複數個第一當前區塊，將圖片中的第二顏色分量的複數個像素劃分為複數個第二當前區塊，搜索圖像中複數個相似第一參考區塊以用於相應第一當前區塊形成對應於第一當前區塊的第一區塊 組，以及使用相應第一當前區塊的複數個相似第一參考區塊的複數個運動向量來搜索圖像中的複數個相似第二參考區塊以用於相應第二當前區塊。
在一個實施例中，第一顏色分量和第二顏色分量具有相同的樣本比率，並且每個第一當前區塊對應於第二當前區塊中的一個。因此，在一個示例中，相應第一當前區塊的相似第一參考區塊的運動向量被用作對應第二當前區塊的相似的第二參考區塊的運動向量。在另一示例中，執行圍繞相應第一當前區塊的相似第一參考區塊之一的位置的搜索區域的精細搜索以確定相應的第二當前區塊的相似的第二參考區塊中的一個。
在另一個實施例中，第一顏色分量和第二顏色分量具有不同的樣本比，並且每個第一當前區塊對應於第二當前分塊中之其一。因此，對相應第一當前區塊的相似的第一參考區塊的運動向量執行依據不同樣本率的縮放操作，以獲得縮放運動矢量。在一個示例中，縮放的運動矢量被用作對應的第二當前區塊的相似的第二參考區塊的運動矢量。在另一示例中，執行圍繞由縮放的運動矢量之一指示的位置的搜索區域的精細搜索，以確定相應的第二當前區塊的相似的第二參考區塊中的一個。
在另一實施例中，第一顏色分量和第二顏色分量具有不同的樣本比，並且每個第二當前分量對應於複數個第一當前區塊。因此，對於對應的複數個第一當前區塊中的每一個的相似的第一參考區塊的運動向量執行依據不同樣本比率的 縮放操作，以獲得縮放運動矢量。相似第二參考區塊隨後被搜索以用於形成由縮放運動向量指示的候選第二參考區塊。
100‧‧‧編碼器
101‧‧‧輸入視訊資料
102、201‧‧‧位元流
103、203‧‧‧開/關控制標誌
110、210‧‧‧解碼圖像緩衝器
112、212‧‧‧畫面間-畫面內預測模組
114‧‧‧第一加法器
116‧‧‧殘差編碼器
118‧‧‧熵編碼器
120、220‧‧‧殘差解碼器
122‧‧‧第二加法器
130、230‧‧‧去塊濾波器
132、232‧‧‧樣本自適應偏移濾波器
134、234‧‧‧自適應環路濾波器
136、236‧‧‧非本地自適應環路濾波器
200‧‧‧解碼器
202‧‧‧輸出視訊資料
218‧‧‧熵解碼器
222‧‧‧加法器
300、400、600、700、800、900‧‧‧過程
S301、S310、S320、S330、S340、S350、S360、S399、S401、S410、S420、S430、S440、S450、S499、S601、S610、S620、S699、S701、S710、S720、S730、S799、S801、S810、S820、S830、S840、S899、S901、S910、S920、S930、S940、S950、S999‧‧‧步驟
500A、500B、500C‧‧‧搜索模式
501A、501B、501C‧‧‧搜索網格
502A、502B、502C‧‧‧中心位置
510A、510B、510C‧‧‧第一區域
520A、520B、520C‧‧‧第二區域
530A、530B、530C‧‧‧第三區域
850‧‧‧序列
851、852、853‧‧‧區域
855‧‧‧中間位置
將參考以下圖式詳細描述作為示例提出的本發明的各種實施例，其中相同的圖式標記表示相同的元件，並且其中：第1圖示出了依據本發明的實施例的編碼器；第2圖示出了依據本發明的實施例的解碼器；第3圖示出了依據本發明的實施例的用於重建圖像去噪聲的處理；第4圖示出了依據本發明的實施例的示例性去噪聲處理；第5A圖-第5C圖示出了依據本發明的示例的搜索模式500A-500C的示例；第6圖示出了依據本發明的示例性實施例的搜索當前區塊(patch)的K個最相似的參考區塊以形成區塊組的第一過程；第7圖示出了依據本發明的示例性實施例的搜索當前區塊的K個最相似的參考區塊以形成區塊組的第二過程；第8圖示出了依據本發明的實施例的搜索當前區塊的K個最相似的參考區塊以形成區塊組的第三過程；和第9圖示出了依據本發明的實施例的重新使用第一顏色分量的搜索結果以搜索相似參考區塊並形成用於第二顏色分量的區塊組的過程。
第1圖示出了依據本發明的實施例的編碼器100。 編碼器100可以包括解碼圖像緩衝器110，畫面間-畫面內預測模組112，第一加法器114，殘差編碼器116，熵編碼器118，殘差解碼器120，第二加法器122，以及一個或複數個環路濾波器，例如去塊濾波器(deblocking filter,DF)130，樣本自適應偏移濾波器(sample adaptive offset filter,SAO)132，自適應環路濾波器(adaptive loop filter,ALF)134和非本地自適應環路濾波器(non-local adaptive loop filter，以下簡稱為NL-ALF)136。這些組件可以如第1圖所示耦合在一起。
編碼器100接收輸入視訊資料101並執行視訊壓縮處理以產生位元流102作為輸出。輸入視訊資料101可以包括一系列圖像。每個圖像可以包括一個或複數個顏色分量，例如亮度分量或色度分量。位元流102可以具有符合諸如高級視訊編碼(Advanced Video Coding,AVC)標準，高效率視訊編碼(High Efficiency Video Coding,HEVC)標準等視訊編碼標準的格式。
依據本發明的一個方面，非本地自適應環路濾波器136可以採用非本地去噪聲技術來改善編碼器100的性能。具體地，在一個示例中，非本地自適應環路濾波器136可以將已重建的圖像劃分成複數個區塊(patches)(稱為當前區塊)。對於每個當前區塊，非本地自適應環路濾波器136在已重建圖片中搜索類似區塊(稱為參考區塊)以形成區塊組。隨後，非本地自適應環路濾波器136可以對每個區塊組應用去噪聲技術來修改各個區塊組中的一個或複數個區塊的像素值，以減少這些區塊中壓縮的噪聲。將修改的像素值返回到圖像以形成已濾 波圖像。
此外，依據本發明的一個方面，不能保證濾波圖像中的經處理的像素在噪聲水平上優於重建圖像中的相應原始像素。因此，非本地自適應環路濾波器136可以自適應地確定一個塊是否將採用經處理的像素值或保留重建的視訊資料的原始像素值以用於圖像中的不同塊(區域)。可以採用開/關控制標誌以用於發送相應塊中採用自適應的經處理的像素值。
如第1圖所示，解碼圖像緩衝器110儲存在畫面間-畫面內預測模組112處執行的用於運動估計和運動補償的參考圖像。畫面間-畫面內預測模組112執行畫面間圖像預測或畫面內圖像預測，以確定預測(或預測子)以用於在視訊壓縮過程期間當前圖像的塊。當前圖像是指在畫面間-畫面內預測模組112中正在處理的輸入視訊資料101中的圖像。當前圖像可以被劃分為具有相同或不同大小的複數個塊用於畫面間或畫面內預測操作。
在一個示例中，畫面間-畫面內預測模組112使用畫面間圖像編碼技術或畫面內圖像編碼技術來處理塊。因此，使用畫面間圖像編碼的塊被稱為畫面間編碼塊，而使用畫面內圖像編碼的塊被稱為畫面內編碼塊。畫面間圖像編碼技術使用參考圖像來獲得當前正在處理的塊(稱為當前塊)的預測。例如，當利用畫面間圖像編碼技術對當前塊進行編碼時，可以執行運動估計來搜索參考圖像中的匹配區域。匹配區域用作當前塊的預測。相反，畫面內圖像編碼技術使用當前塊的相鄰塊來 生成當前塊的預測。相鄰的塊和當前塊在同一個圖片內。塊的預測被提供給第一加法器114和第二加法器122。
第一加法器114接收來自畫面間-畫面內預測模組112的塊的預測和來自輸入視訊資料101的塊的原始像素。然後，加法器114從塊的原始像素值減去預測獲得塊的殘差。塊的殘差被發送到殘差編碼器116。
殘差編碼器116接收塊的殘差，並壓縮殘差以產生已壓縮的殘差。例如，殘差編碼器116可以首先應用變換，諸如離散餘弦變換(discrete cosine transform,DCT)，小波變換(wavelet transform)等的變換，以接收對應於變換塊的殘差，並生成變換塊的變換係數。將圖像分割成變換塊的分割可以與將圖像分割用於畫面內-畫面間預測處理的預測塊的分割相同或不同。
隨後，殘差編碼器116可以量化係數以壓縮殘差。可以用量化參數(quantization parameter，以下簡稱為QP)來控制量化。QP表示用於將變換係數與步驟的有限集合相關聯的步長。較大的QP值表示粗略近似變換的較大步驟，使得變換塊中的大多數訊號可以被更少的係數捕獲。相比之下，較小的QP值可以更準確地近似該變換，然而，代價是增加用於編碼殘差的位元數。因此，較大的QP可以引起更多的失真或壓縮噪聲於由視訊壓縮處理產生的圖像中。壓縮殘差(量化變換係數)被發送到殘差解碼器120和熵編碼器118。
殘差解碼器120接收已壓縮的殘差並執行與在殘差編碼器116處執行量化和變換操作的逆過程，以重建變換塊 的殘差。由於量化操作，重建的殘差類似於從加法器114產生的原始殘差，但通常與原始版本不同。
第二加法器122接收來自畫面間-畫面內預測模組112的塊的預測和來自殘差解碼器120的變換塊的重建殘差。第二加法器122隨後將重建的殘差與對應於圖像中的相同區域的接收的預測相結合，以產生已重建的視訊資料。然後可以將重建的視訊資料傳送到去塊濾波器130。
在一個示例中，去塊濾波器130將一組低通濾波器應用於塊邊界以減少塊偽像。可以基於重建圖像中的塊邊界的兩側的重建樣本的特性以及在畫面間-畫面內預測模組112處確定的預測參數(編碼模式或運動矢量)來應用濾波器。然後去塊的重建視訊資料可以提供給樣本自適應偏移濾波器132。在一個示例中，樣本自適應偏移濾波器132接收去塊的重建視訊資料，並將重建的視訊資料中的像素分組成複數個組。然後，樣本自適應偏移濾波器132可以確定每組的強度偏移(偏移值)以補償每組的強度偏移。然後可以將已偏移的、已重建的視訊資料從樣本自適應偏移濾波器提供給自適應環路濾波器134。在一個示例中，自適應環路濾波器134被配置為對跨複數個圖像的已重建的視訊資料應用濾波器以減少時域中的編碼偽像。例如，自適應環路濾波器134從一組濾波器候選中選擇一個濾波器，並將選出的濾波器應用於已重建的視訊資料的一個區域。此外，對於已重建的視訊資料的每個塊，可以選擇性地打開或關閉自適應環路濾波器134。然後，經處理的已重建的視訊資料可以被發送到非本地自適應環路濾波 器136。
如上所述，非本地自適應環路濾波器136可以使用非本地去噪技術來處理所接收的重建視訊資料，以減少重建的視訊資料中的壓縮噪聲。此外，非本地自適應環路濾波器136可以確定是否將非本地自適應濾波應用於去噪聲圖像中的塊。例如，非本地自適應環路濾波器136處理所接收的重建視訊資料並產生濾波後的視訊資料。然後，非本地自適應環路濾波器136可以將經濾波的視訊資料的濾波塊與所接收的重建視訊資料的對應塊進行比較，以確定濾波塊相對於原始圖像的失真是否得到改善。當改善濾波塊的失真時，可以採用該濾波塊的像素值來形成去噪聲圖像。否則，在去噪聲圖像中採用接收到的重建視訊資料的相應塊的像素值。因此，可以基於是否對去噪圖像中的各個塊採用已濾波的像素值的決定來構造去噪聲圖像。然後將去噪圖像儲存到解碼圖像緩衝器110。
可以採用開/關控制標誌來向解碼器發送針對相應塊的上述決定，使得解碼器可以以相同的方式處理塊。如第1圖所示，在一個示例中，向熵編碼器118發送指示是否將非本地自適應環路濾波應用於各個塊的開/關控制標誌103。
熵編碼器118接收來自殘差編碼器116的已壓縮殘差和來自非本地自適應環路濾波器136的開/關控制標誌103。熵編碼器118還可以接收其它參數和/或控制訊息，例如畫面內預測模式訊息，運動訊息，量化參數等。熵編碼器118對所接收的參數或其他訊息進行編碼以形成位元流102。包括壓縮格式的資料的位元流102可以經由通訊網路被發送到解碼 器，或者被發送到儲存設備(例如，非暫態電腦可讀媒體)，其中可以儲存由位元流102攜帶的視訊資料。
第2圖示出了依據本發明的實施例的解碼器200。解碼器200包括熵解碼器218，殘差解碼器220，解碼圖像緩衝器210，畫面間-畫面內預測模組212，加法器222以及一個或複數個環路濾波器，例如去塊濾波器230，樣本自適應偏移濾波器232，自適應環路濾波器234和非本地自適應環路濾波器236。這些組件如第2圖所示耦合在一起。在一個示例中，解碼器200從編碼器接收位元流201(例如來自編碼器100的位元流102)，並且執行解壓縮處理以產生輸出視訊資料202。輸出視訊資料202可以包括一系列圖像，例如可以在諸如監視器，觸摸屏等的顯示裝置上顯示的圖像。
類似於第1圖中的編碼器100。在第1圖的示例中，解碼器200使用具有與非本地自適應環路濾波器136類似的功能的非本地自適應環路濾波器236來去噪聲重建的圖像以獲得已濾波的圖像。然而，不同於非本地自適應環路濾波器136，在第2圖的示例中非本地自適應環路濾波器236從編碼器接收開/關控制標誌203，並且因此確定將包括或排除濾波圖像中的哪些像素值的塊於去噪聲圖像中。例如，當塊的控制標誌203處於接通狀態時，濾波圖像中的塊的濾波像素值被採用到去噪聲圖像的相應塊中，而當塊的控制標誌203處於關閉的狀態，採用重建圖像中的塊的像素值。
熵解碼器218接收位元流201並執行解碼處理，該處理是由第1圖的示例中的熵編碼器118執行的編碼處理的 逆處理。如此一來，獲得已壓縮殘差，預測參數，開/關控制標誌203等。將已壓縮殘差提供給殘差解碼器220，並將預測參數提供給畫面間-畫面內預測模組212。畫面間-畫面內預測模組212基於接收的預測參數生成圖像的塊的預測，並且提供預測至加法器222。解碼圖像緩衝器210儲存對畫面間-畫面內預測模組執行的運動補償有用的參考圖像。例如，可以從非本地自適應環路濾波器236接收參考圖像。此外，從解碼圖像緩衝器210獲得參考圖像，並將其包括於圖像視訊資料202中以顯示於顯示設備。
殘差解碼器220，加法器222，去塊濾波器230，樣本自適應偏移濾波器232和自適應環路濾波器234在功能和結構方面類似於殘差解碼器120，第二加法器122，去塊濾波器130，樣本自適應偏移濾波器132和自適應環路濾波器134。省略對這些組件的說明。
在解碼器或編碼器中使用諸如非本地自適應環路濾波器136和非本地自適應環路濾波器236之類的非本地自適應環路濾波器來降低重建的視訊資料中的噪聲位準，產生高質量的輸出圖像。此外，當將這些高質量圖像用作用於編碼後續圖像的參考圖像時，可以減少用於傳輸壓縮圖像的位元率。因此，本文發明的用於改善非本地自適應環路濾波器的性能的去噪聲技術可以提高包括非本地自適應環路濾波器的解碼器或編碼器的性能和能力。
儘管第1圖和第2圖的示例示出了包括於編碼器100或解碼器200中的一系列濾波器130,132,134、或230,232 和234，應當理解，其他實施例的編碼器或解碼器中可以包括較少的這樣的濾波器或者不包括這樣的濾波器。此外，非本地自適應環路濾波器136或非本地自適應環路濾波器236相對於其它濾波器的位置可以不同於第1圖或第2圖所示。例如，非本地自適應環路濾波器136可以佈置在其他濾波器的前面，使得其直接耦合到加法器122，或者在該系列濾波器的末端，或者在一系列濾波器之間。
在各種實施例中，非本地自適應環路濾波器136和236可以用硬體，軟體或其組合來實作。例如，非本地自適應環路濾波器136或非本地自適應環路濾波器236可以用一個或複數個集成電路(IC)來實作，例如特殊應用積體電路(application specific integrated circuit,ASIC)，現場可程式邏輯閘陣列(field programmable gate array,FPGA)等。對於另一示例，非本地自適應環路濾波器136或非本地自適應環路濾波器236可以被實作為軟體或韌體，該軟體或韌體包括儲存在非暫態電腦可讀媒體中的指令。該指令在由處理電路執行時使處理電路執行非本地自適應環路濾波器136或非本地自適應環路濾波器236的功能。
注意，實作本文發明的去噪聲技術的非本地自適應環路濾波器136和非本地自適應環路濾波器236可以包括於與第1圖或第2圖所示的相似或不同結構的其他解碼器或編碼器中。此外，編碼器100和解碼器200可以包括在相同的設備中，或者在各種示例的單獨的設備中。
第3圖示出了依據本發明的實施例的用於去噪聲 重建圖像的過程300。過程300可以在第1圖或第2圖示例中的非本地自適應環路濾波器136或非本地自適應環路濾波器236處執行，以及第1圖的示例用於說明過程300。
過程300從S301開始並進行到S310。在S310，在非本地自適應環路濾波器136處接收重建的視訊資料。例如，第二加法器122接收來自畫面間-畫面內預測模組122的預測和來自殘差解碼器120的殘差，並組合預測和殘差以產生重建的視訊資料。在過程300的各種實施例中，重建的視訊資料可以對應於圖像，畫面，圖像的切片(slice)或圖像的預定義區域。因此，在本發明中，與重建的視訊資料相對應的圖像或重建圖像可以用於參考圖像，畫面，圖像的切片或圖像的預定義區域等。另外，來自與已重建的視訊資料對應的圖像的濾波圖像或去噪聲圖像可相應地用於參考圖像，畫面，圖像的切片或圖像的預定區域等。取決於所採用的環路濾波器的數目和非本地自適應環路濾波器136在這些環路濾波器中的位置，重建的視訊資料可以對應於從殘差解碼器120產生的重建的視訊資料，或從與非本地自適應環路濾波器136相鄰和之前的濾波器產生的已濾波的、已重建的視訊資料。
在S320，所接收的重建視訊資料(對應於重建圖像)被分成複數個區塊。在一個示例中，區塊具有相同的尺寸和形狀，並且彼此不重疊。在其他示例中，區塊可以具有不同的尺寸或形狀。在另外的例子中，區塊可以彼此重疊。每個區塊包括複數個像素，並且被稱為當前區塊。
在S330，對於每個當前區塊，複數個相似區塊(稱 為參考區塊)在重建圖像中被發現，或在一些示例中，在重建圖像的搜索窗口(search window)中被發現。在一個示例中，每個參考區塊具有與相應的當前區塊相似的形狀和尺寸。此外，參考區塊可以彼此重疊，並且參考區塊和相應的當前區塊可以彼此重疊。每個當前區塊和相應的相似參考區塊組成一個區塊組。在一個示例中，對於每個當前區塊，找到K個最相似的區塊，並且當前區塊和相應的K個最相似的區塊形成包括K+1個區塊的區塊組。K表示與當前區塊相對應的類似區塊的數目，K可以具有不同的值以用於不同的當前區塊或區塊組。在一個示例中，針對相應的當前區塊找到的相似匹配不是最相似的參考區塊，而是具有高於閾值的相似性度量的參考區塊。可以基於相似性度量標準(similarity metric)來獲得相似性度量。在一個示例中，針對當前區塊的一部分而不是針對每個當前區塊形成區塊組。
在各種實施例中，可以使用各種搜索方法來搜索用於相應的當前區塊的K個最相似的參考區塊。此外，在各種實施例中，可以使用各種相似性度量標準來測量當前區塊和參考區塊之間的相似度。例如，相似性度量標準可以是當前區塊和對應參考區塊中對應像素值之間的絕對差(absolute differences,SAD)之和或平方差(square differences,SSD)之和。對於另一示例，當前區塊和對應的參考區塊中的像素值可以被佈置為兩個向量，並且這兩個向量之間的L2範數距離可以被用作相似性度量標準。
在S340，將去噪聲技術應用於每個區塊組以修改 相應區塊組中的一個或複數個區塊的像素值。屬於相同區塊組或不同區塊組的不同區塊的已修改的像素值然後被聚合以形成經濾波的圖像，例如透過加權和的操作被聚合以形成經濾波的圖像。在各種實施例中，可以採用各種去噪聲技術來處理區塊組。例如，去噪聲技術可以是非本地手段(non-local means,NLM)去噪技術，塊匹配和3D濾波(block matching and 3D filtering,BM3D)去噪聲技術，或低等級近似(low-rank approximation,LRA)去噪聲技術。然而，適用於處理區塊組的去噪聲技術不限於NLM，BM3D或LRA技術。
在S350，以如上所述的方式確定與去噪圖像中的控制塊相關聯的開/關控制標誌。開/關控制標誌指示控制塊是否採用於濾波圖像中的濾波像素值或者對應於接收的重建視訊資料的重建圖像的像素值。可以從編碼器向解碼器發送開/關控制標誌。在各種實施例中，控制塊用於控制採用結果來自S340處的去噪聲操作的濾波像素值是否可以各種方式定義或分割。例如，控制塊的分割可以與HEVC標準中定義的編碼單元的分割一致。或者，為了控製過濾操作的目的，控制塊的分割可以與濾波器(例如去塊濾波器130，樣本自適應偏移濾波器132或自適應環路濾波器134)中使用的塊分割一致。或者，可以依據圖像中的不同區域的噪聲特性來確定控制塊分割。在各種示例中，控制塊分區訊息可以從編碼器發送到解碼器，在解碼器處導出，或者在編碼器和解碼器均預定義為默認配置。
在S360，去噪圖像是基於開/關控制標誌判定構成的。對於與開標誌(on flag)相關聯的控制塊，結果自S340 的去噪聲操作的濾波像素值被採用以用於各個控制塊，而對於與關標誌(off flag)相關的控制塊，接收的已重建圖像的像素值被採用以用於各個控制塊。隨後，可以基於去噪聲圖像來生成參考圖像。例如，去噪聲圖像可以被儲存到解碼圖像緩衝器110之間的位置，以用作參考圖像。或者，依據非本地自適應環路濾波器136在其它環路濾波器中的位置，在儲存到解碼圖像緩衝器110中之前，首先可以透過其它的環路濾波器對去噪聲圖像進行處理。處理300進行到S399，並且終止在S399。
第4圖示出了依據本發明的實施例的去噪聲的示例性過程400。過程400中的去噪聲可以是在過程300中在S340採用的各種去噪技術聲之一。因此，可以在過程300中執行過程400來代替S340以獲得去噪聲圖像。類似地，對於在S340中採用的其它去噪技術，可以代替S340執行對應於各自去噪聲技術的處理。以非本地自適應環路濾波器136為例來說明過程400。
過程400從S401開始，並進行到S410。在開始處理400之前，對應於在非本地自適應環路濾波器136處接收到的重建視訊資料的區塊組已形成，例如，透過執行過程300中的步驟S310-S330來形成。所接收的重建視訊資料可以對應到重建圖像或重建圖像的一部分(例如重建圖像的切片)。假設所接收的重建視訊資料對應於下面的重建圖像。對於重建圖像的每個區塊組，迭代步驟S410-S440。在迭代期間，在每一輪迭代中處理的區塊組被稱為當前區塊組。
在S410中，計算當前區塊組中每個參考區塊的權 重因子。可以基於參考區塊和當前參考區塊組中的相應當前區塊之間的相似度來計算參考區塊的權重因子。參考區塊與當前區塊相似越多，參考區塊的權重因子越大。在一個示例中，使用以下表達式確定權重因子，W i,j =e -(SSE/Var)。在上述表達式中，i和j是區塊索引，W i,j 表示相對於相應的當前區塊i的參考區塊j的權重因子；SSE表示區塊i和j中相應像素值之間的平方誤差(square errors)之和的平均值，並表示區塊i和j之間的相似度；Var表示當前區塊組中壓縮噪聲的變化。例如，Var可以等於當前區塊組的壓縮噪聲的標準偏差(standard deviation,SD)的平方。Var可以表示過濾操作的強度。壓縮噪聲水平越高，Var越高，當前區塊組的相應權重因子越大。
在上述示例中，基於表達式e -(SSE/Var)導出每個參考區塊的權重因子。為了減少計算參考區塊的權重因子的計算成本，在一個例子中使用分段線性插值(piece-wise linear interpolation)近似表達式e -(SSE/Var)的值。例如，6個控制點處的(SSE/Var)值為{0,0.5,1.0,2.0,4.0,6.0}，相應的權重係數為{1.0000,0.6065,0.36979,0.1353,0.0183,0.0025}。假設已經獲得了(SSE/Var)的當前值VC，可以使用指向當前值VC的兩個最近控制點，來執行線性內插(或外插)以產生(SSE/Var)相應的權重因子。
在S420，累積當前區塊中的像素值。在一個示例中，基於每個參考區塊的各個權重因子，將每個參考區塊中的 相應像素的加權像素值聚合到當前區塊的相應像素值的方式執行當前區塊補像素值的累積。在一個示例中，依據以下表達式執行累積， 其中p是像素索引，x Ai (p)表示自聚合得到的當前區塊i中的像素p的聚合值(aggregated pixel value)，x i (p)表示在聚合之前當前區塊i中的像素p的原始像素值，y j (p)表示在參考區塊j中的像素p的原始像素值。
在S430，累積當前區塊組的每個參考區塊中的像素值。在一個示例中，以基於參考區塊的權重因子，將當前區塊中的對應像素的加權像素值加到參考區塊的相應像素值的方式執行參考區塊的像素值的累積。在一個示例中，依據以下表達式執行累積，y Aj (p)=y j (p)+w i,j ˙x Ai (p)，其中p是像素索引，y Aj (p)表示自聚合得到的參考區塊j中的像素p的聚合值，x Ai (p)表示自S420處的聚合得到的當前區塊i中的像素p的聚合值；y j (p)表示在參考區塊j中的像素p的原始像素值。在另一個實施例中，當前區塊i中的x i (p)用於上述積累中以代替x Ai (p)。
在S440，由S420和S430產生的當前區塊和參考區塊的累積像素值被累積到被稱為累積圖像的圖像中的相應像素。由於當前區塊組中的參考區塊和當前區塊可以彼此重疊，所以累積圖像中的像素可以從複數個區塊接收像素值，即，從當前區塊或一個或複數個參考區塊接收像素值。由於對 於每個區塊組執行步驟S410~S440，所以在S440中，每一次迭代的各個當前圖像區塊或參考圖像區塊的累積像素值可累積到積累圖像。因此，累積圖像中的像素可以接收來自一個或複數個區塊組的累積像素值。作為示例，積累圖像中的累積像素值x A (p)可以被重寫為 其中i是一張照片中的區塊組的索引，並且在一張照片中總共有m個區塊組。
在S450，累積圖像中的累積像素值被標準化以獲得已濾波圖像。作為S440的結果，最終累積圖像中的累積像素可以包括像素值的複數個部分，並且每個部分對應於當前圖像區塊或參考區塊的原始像素值乘以增益。每個增益對應於權重因子，或一個或複數個權重因子的乘積。因此，積累圖像中的累積像素可以除以這些增益，以獲得標準化的像素值。這些標準化的像素值形成濾波圖像。過程400進行到S499，並在S499結束。
作為示例，在執行處理400之後，可以對過濾圖像執行處理300中的S350和S360的步驟以確定開/關控制標誌並構造去噪聲圖像。
在過程400中提出的去噪聲技術中，使用當前區塊組Var中的壓縮噪聲的方差來計算各個權重因子，如表達式w i,j =e -(SSE/Var)。依據本發明的一個方面，基於壓縮噪聲模型導出Var。除了在過程400中呈現的去噪聲技術之外，壓縮噪聲模型還可以用於其他去噪技術中，用於導出區塊組中的壓縮噪聲 的方差，例如在所描述的過程300的S340處應用的去噪技術以上。例如，可以使用壓縮噪聲模型來導出塊匹配和3D濾波(block matching and 3D filtering,BM3D)去噪聲技術或低階逼近(low-ran approximation,LRA)去噪聲技術中的軟閾值或硬閾值的閾值。下面描述壓縮噪聲模型的示例和壓縮噪聲模型的使用。
通常，壓縮噪聲模型描述了區塊組中的壓縮噪聲位準與影響壓縮噪聲位準的因素之間的關係。這些因素可以包括區塊組的內容的特徵，與區塊組相關聯的編碼類型(例如，透過畫面內預測或畫面間預測編碼)以及與區塊組相關聯的變換量化參數(transform quantization parameters,QP)。可以基於實驗確定壓縮噪聲模型。
在一個示例中，用於各種去噪聲技術的壓縮噪聲模型用多項式函數來表示。例如，壓縮噪聲模型採用以下形式，y=ax 3+bx 2+cx+d，其中y表示區塊組的壓縮噪聲的標準差，其指示區塊組的壓縮噪聲位準以及其平方等於區塊組的Var；x表示區塊組的像素值的標準差，表示各個區塊組的內容的特徵；以及參數(係數)a,b,c，和d為常數，該參數也稱為模型參數。作為示例，在使用壓縮噪聲模型期間，可以首先基於與相應區塊組相關聯的編碼類型或QP來從複數組模型參數中選擇常數a,b,c，和d。然後，可以計算區塊組的像素值的標準差x。最後，基於獲得的模型參數a,b,c，和d以及區塊組的像素值標準差x，可以計算出一個區塊組的壓縮噪聲的標準差。
在一個示例中，透過進行實驗過程來確定壓縮噪聲模型的模型參數候選集合。例如，測試圖像的公共序列可以在諸如編碼器100的編碼器的複數個編碼處理中使用。對於每個編碼處理，可以為一系列圖像配置一組圖像編碼類型和變換QP。對應於每組編碼類型和變換QP，可以獲得對應於圖片中的不同區塊組的壓縮噪聲和像素值。因此，可以獲得壓縮噪聲的標準差的複數個資料點(data points)和對應於每個區塊組的像素值。基於複數個資料點，可以透過對資料點的回歸分析(regression analysis)來確定對應於編碼類型和變換QP集合的壓縮噪聲模型的一組模型參數(係數)。作為上述實驗過程的結果，可以獲得壓縮噪聲模型的多組模型參數，每組對應於不同組的編碼類型和變換QP。如下所示，表1顯示了模型參數候選集的示例。如圖所示，對於每對編碼類型和QP，獲得模型參數候選集。
在傳統的去噪聲技術中，冪函數用於製定壓縮噪聲模型。在一個這樣的例子中，壓縮噪聲模型採用冪函數的形式y=ax b ，其中y表示區塊組的壓縮噪聲的標準差，x表示區塊組的像素值的標準差，a和b是要選擇的模型參數。依據本發明的一個方面，使用多項式函數代替冪函數來製定壓縮噪聲模型可以減少與壓縮噪聲模型相關的計算複雜度。
在一個示例中，剪切操作被應用於多項式壓縮噪聲模型，以便保證多項式函數的單調增加屬性。例如，可以將修剪操作添加到各個區塊組的像素值的標準差中或由多項式函數得到的各個區塊組的壓縮噪聲的標準差中。
在傳統的去噪聲技術中，壓縮噪聲模型的模型參數的選擇基於圖像或切片級訊息。例如，在S310~S330的步驟中形成的區塊組被包括在圖像或切片中，因此利用在圖像級或切片級別定義的編碼類型和QP來選擇每個區塊組的壓縮噪聲模型的模型參數組，而不區分不同的區塊組。然而，依據本發明的一個方面，依據預測類型，QP和各個區域的預測，壓縮噪聲位準對於圖像中的不同區域而變化。因此，可以為分佈在圖片內的不同位置的區塊組選擇壓縮噪聲模型的不同組模型參數。如此一來，可以更精確地導出不同區塊組的壓縮噪聲的方差或標準差。
因此，在一個示例中，當選擇壓縮噪聲模型的模型參數時，利用編碼單元級訊息。編碼圖像的編碼單元可以包括複數個顏色分量(諸如一個亮度分量，兩個色度分量)的並置塊(collocated blocks)的編碼資料。對於每個顏色分量，編碼單元可以包括一個或複數個編碼塊和一個或複數個變換塊。作為示例，在HEVC標準中指定了編碼單元的使用。在一個示例中，編碼單元級訊息包括在各個編碼單元中分別應用於各個編碼塊或變換塊的預測類型和變換QP。
在一個示例中，重建的圖像或切片包括複數個編碼單元，並且包括預測類型和QP的編碼單元級訊息與每個相 應的編碼單元相關聯。預測類型訊息可以用於例如第1圖中的畫面間-畫面內預測模組112的預測操作，並且QP訊息可以用於量化操作，例如在殘差編碼器116處。例如，當在過程300中S340處對當前區塊組應用去噪技術，並且計算當前區塊組的壓縮噪聲的Var時，編碼單元級訊息可用於確定壓縮噪聲模型的模型參數。例如，編碼單元具有(一個顏色分量)塊，該塊與(相同顏色分量的)當前區塊組的當前區塊重疊(例如，當前區塊的左上像素在編碼單元中)，並且然後該編碼單元的預測類型和QP用於從表1中選擇當前區塊組的壓縮噪聲模型的一組模型參數。
此外，在上述示例中，對於使用畫面間預測對編碼單元進行編碼的場景，也考慮與編碼單元相對應的殘差狀態用於選擇壓縮噪聲模型參數。例如，當從預測操作得到的編碼單元中存在非零殘差時，編碼單元的QP用於選擇模型參數，而當在編碼單元中沒有殘差時，編碼單元的QP與對應編碼單元的編碼塊的一個或複數個預測的一個或複數個QP之間的平均值被用作QP以用於選擇模型參數。在一個示例中，與編碼單元中的編碼塊相對應的預測的QP是與包括預測的參考圖像中的預測重疊的編碼單元的QP。或者在另一示例中，與編碼單元中的編碼塊相對應的預測的QP是參考圖像的切片標頭中的QP。
第5A圖-第5C圖示出了依據本發明的示例的搜索模式500A-500C的示例。搜索模式500A-500C可以用於在去噪過程(例如過程300)期間搜索K個最相似的參考區塊以形 成區塊組。搜索模式500A-500C各自顯示複數個候選位置(陰影單元)於搜索網格(search grid)501A-501C上。每個搜索網格501A-501C對應於重建圖像或切片中的搜索窗口501A-501C。每個搜索網格501A-501C包括當前區塊的可能參考區塊的位置(單元)。搜索網格501A-501C中的每個位置(單元格)可以對應於參考區塊或當前區塊的像素，例如區塊中的左上角像素。
每個搜索網格501A-501C分別以中心位置502A-502C為中心，其代表區塊組的當前區塊的位置。搜索網格中的候選位置(陰影單元格)是搜索網格的所有位置(單元格)的子集，並且每個表示要檢查的候選區塊的位置，用於選擇當前區塊的K個最相似的參考區塊。將候選區塊的位置數目與搜索網格的區域中所有位置數目的比率稱為該區域的子樣本率。搜索網格區域中的子樣本(subsampling)位置導致比同一區域中的原始位置少的候選位置。如此一來，搜索複雜度可以隨候選位置的減少而降低。
如圖所示，每個搜索窗口501A-501C被劃分成複數個區域。每個搜索窗口501A-501C具有以當前區塊的位置為中心的第一搜索區域，並且被至少一個其他非重疊搜索區域同心地包圍。此外，位於距離當前區塊位置更遠的搜索區域具有較低的子樣本比率。
具體地，如第5A圖所示，搜索網格501A具有M×N的大小，並且被劃分為三個區域510A至530A。第一區域510A相對於中心位置502A在水平方向上距離為N1以及在垂直方 向上距離為M1。第二區域520A相對於中心位置510A在水平方向上距離為N2以及在垂直方向上距離為M2。第三區域530A在第二區域520A的外部。此外，每個區域510A-530A分別具有100%，50%或25%的子樣本率。遠離中心位置502A的區域具有較小的子樣本比率。
在一個示例中，距離N1等於N/4，並且N2等於N/2，而距離M1等於M/4，並且M2等於M/2。在各種示例中，區域的數量或大小可以變化。
如第5B圖所示，搜索模式500B包括三個搜索區域510B-530B，每個搜索區域具有100%，50%或25%的子樣本率。在第5C圖中，搜索模式500C包括三個搜索區域510C-530C，每個搜索區域具有100%，50%或25%的子樣本比率。然而，第5A圖和第5C圖中的區域的尺寸彼此不同。
第6圖示出了依據本發明的示例性實施例的用於搜索當前區塊的K個最相似參考區塊以形成區塊組的第一過程600。過程600基於與第5A圖和第5C圖中定義的搜索窗口類似的搜索窗口。過程600用於過程300中以去噪聲重建的圖像或切片。具體地，可以在過程300的S330處執行過程600，以搜索K個最相似的區塊，以用於在S320處獲得的每個當前區塊而形成區塊組。處理600從S601開始進入S610。
在S610，為當前區塊定義搜索窗口，例如，在過程300的S320處獲得。搜索窗口可以類似於搜索窗口501A-501C。特別地，搜索窗口可以具有第一搜索區域。第一區域可以位於表示當前區塊的中心位置的中間，並且被至少一 個其他非重疊區域同心地圍繞。此外，位於更遠離中心位置的搜索區域具有較低的子樣本比率。
在步驟S620，在搜索窗口中找到當前區塊的K個最相似的參考區塊。K個最相似的參考區塊和當前區塊可以形成區塊組。以第5A圖中的搜索窗口501A為例，搜索操作可以從初始候選位置開始，然後經過其他候選位置。初始候選位置可以是搜索窗口501A中的候選位置中的任何一個。第一K個候選區塊可以被包括在候選列表中，並且例如，按照每個候選參考區塊相對於當前區塊的相似性的順序排列。隨後，可以依據與當前區塊的相似性，將其他候選參考區塊與候選列表中的候選區塊進行比較。與候選列表的成員相比，更類似於當前區塊的那個候選區塊可被包括於候選列表中。搜索操作可以繼續，直到檢查窗口中的所有候選參考區塊。
在上述搜索操作期間，在一個示例中，針對每個候選參考補片導出稱為相似度得分的相似性度量。相似性得分可以基於各種相似性度量。假設絕對誤差和(sum of absolute difference,SAD)用於測量區塊組中參考區塊和當前區塊之間的相似度。在推導相似性得分的過程中，逐個像素地計算和聚集各個參考區塊和各個當前區塊中的每對像素之間的絕對差。稱為部分相似性評分的部分派生的相似性評分包括總像素對的一部分的絕對誤差和。
在一個示例中，為了減少計算複雜度，在完全計算相似度得分之前，候選參考區塊的相似性得分的偏差被更早地終止。例如，可以為提前終止目的定義閾值。在計算候選參 考區塊的相似性度量的過程中，可以將部分導出的相似性度量與該閾值進行比較。當部分導出的相似性度量大於閾值(意味著相應的參考區塊在相似度方面與當前區塊相距太遠時)，可以終止相似性度量的推導。因此，相應的候選參考區塊將不包括在候選列表中。否則，計算將繼續。在一個示例中，閾值被定義為包括在候選列表中的候選參考區塊之一乘以控制參數的相似性得分。參數可以是常數。可以調整控制參數以控制相似性度量的推導如何終止。
雖然參考過程600描述了早期終止相似性偏差的方案，但早期終止方案不限於過程600。早期終止方案可以應用於在任意去噪聲過程中搜索K個最相似參考區塊的任意搜索過程。
第7圖示出了依據本發明的示例性實施例的用於搜索當前區塊的K個最相似的參考區塊以形成區塊組的第二進程700。過程700組合至少兩個搜索策略以搜索K個最相似的參考區塊。由於不同的搜索策略可能遍歷重建圖片或切片中當前區塊周圍的搜索網格的不同區域，因此可以增加找到最佳候選參考斑塊的概率。過程700可以在過程300中用於去噪聲重建的圖像或切片。具體地，可以在過程300的S330處執行過程700，以搜索K個最相似的區塊，以用於在S320獲得的每個當前區塊形成區塊組。處理700從S701開始，進入S710。
在S710，進行搜索的第一次運行。在第一次運行中，將搜索策略A應用於搜索窗口以獲得相應的當前搜索區塊的K個最相似的候選參考區塊。例如，三步搜索的搜索策略用 於第一次運行。在三步搜索的搜索過程中，可以遍歷複數個候選參考區塊。在執行三步搜索時，可以將第一個K個遍歷的候選參考區塊包含在候選列表中。此後，對於每個遍歷的候選參考區塊，可以導出每個遍歷的候選參考區塊與相應的當前區塊的相似度，並與候選列表的成員進行比較。當遍歷的候選參考區塊被發現與複數個候選列表更相似時，候選列表的成員可以被該遍歷的候選參考區塊代替。以這種方式，當從遍歷的候選參考區塊中找到更好的候選參考區塊時，候選列表可以不斷更新。
在S720，進行搜索的第二次運行。在第二次運行中，將搜索策略B應用於搜索窗口以更新候選列表中的最佳K個候選參考區塊。搜索窗口可能具有與S710中的搜索窗口相同或不同的大小或形狀。例如，在搜索策略B的搜索過程中，可以訪問搜索網格中的複數個候選位置。可以將每個被訪問的候選位置處的候選參考區塊與候選列表的成員進行比較。當遍歷候選參考區塊優於候選列表中的一個候選時，候選列表中的該候選可以被遍歷的候選參考區塊代替。
在S730，進行搜索的第三次運行。在第三次運行中，將搜索策略C應用於相同或不同的搜索窗口，以繼續更新最佳的K個候選參考區塊。最後，可以獲得更新的最佳K個參考區塊。例如，可以使用與搜索窗口中最佳K個參考區塊的位置相對應的運動矢量來指示相應的參考區塊。過程700進行到S799，並在S799終止。
在替代示例中，搜索的運行次數可以比上述描述 的更少或更大。搜索策略可以是全搜索，三步搜索，鑽石搜索，四步搜索，六邊形搜索，二維Log搜索(2D-log search)，搜索過程600等其中之一。不同搜索過程中的搜索策略可以相同或不同。此外，在每次搜索運行中的相應搜索網格中的初始候選位置可以是不同的或相同的，或者從先前的搜索運行結果(例如，先前檢查的位置)中選擇。此外，搜索處理700的參數可以按序列級，圖片級，切片(slice)級或塊級預定義或發送至解碼器。這些參數可以包括搜索運行的數目，每個搜索運行的初始候選位置，與每個搜索運行相對應的搜索策略等。
第8圖示出了依據本發明的實施例的用於搜索當前區塊的K個最相似的參考區塊以形成區塊組的第三進程800。過程800可用於過程300中，用於去噪聲重建的圖像或切片。具體地，可以在過程300的S330處執行過程800，以搜索K個最相似的區塊以形成區塊組并用於在S320獲得的每個當前區塊。過程800類似於過程700，並且組合至少兩個搜索策略以搜索K個最相似的參考區塊。然而，過程800可以包括每個在搜索區域851到區域853的序列850之一上執行的複數輪子進程。
如第8圖所示，在一個示例中，搜索區域851-853的序列850在中間位置855的中間，中間位置855對應於區塊組中當前區塊的位置。此外，搜索區域851至搜索區域853的序列可具有不同的大小，並且後一區域包括搜索區域851至搜索區域853的序列中的先前區域並與之重疊。在一個示例中，搜索區域851至搜索區域853的序列中的每一個為正方形。在 其他示例中，其他形狀也是可能的。此外，不同的區域可以具有不同的子樣本比率。在一個示例中，具有較大尺寸的區域具有較小的子樣本比。在一個示例中，搜索區域851-搜索區域853各自具有1,0.5和0.25的子樣本比率。
過程800從S801開始，並進入到S810。在S810中，在第一區域851中執行具有第一搜索策略的第一搜索處理，以獲得K個最相似的參考區塊作為候選。在一個示例中，第一搜索策略是在第一區域851上的完整搜索。在S820，在第二區域852中執行具有第二搜索策略的第二搜索處理，以更新K個候選。在S830中，在第三區域853中執行具有第三搜索策略的第三搜索處理，以將K個最相似的參考區塊更新為候選。如此一來，更新了K個最相似的參考區塊。
在步驟S840，針對每個更新的K個區塊執行精細搜索。例如，可以搜索圍繞每個更新的K個區塊的位置的搜索區域以找到與當前區塊更相似的參考區塊。過程800進行到S899，並在S899結束。注意，精細搜索的操作可以在用於在任何去噪聲處理中搜索K個最相似的參考區塊的任何其他搜索過程(例如過程600和700)的最後階段中執行。
在替代示例中，過程800可以在與搜索區域851-853的序列850不同的搜索區域的序列上執行。例如，在第5A圖示例的搜索窗口501A中的搜索區域510A，520A和530A的序列可以利用過程800來搜索。類似地，搜索窗口501B中的搜索區域510B，520B和530B的序列，或者搜索窗口501C中的搜索區域510C，520C和530C的序列也可以使用過程800 搜索。
類似於第7圖的示例7，在替換示例中，過程800中的搜索輪次可以比上述描述更少或更大。搜索策略可以是全搜索，三步搜索，鑽石搜索，四步搜索，六邊形搜索，二維Log搜索(2D-log search)，搜索過程600等其中之一。不同搜索過程中採用的搜索策略可以相同或不同。此外，在每次搜索運行中的相應搜索網格中的初始候選位置可以是不同的或相同的，或者從先前的搜索運行結果(例如，先前檢查的位置)中選擇。此外，搜索過程800的參數可以在序列級，圖片級，切片級或塊級中預先定義或被發送至解碼器。這些參數可以包括搜索區域配置的參數，搜索的輪次，每輪搜索的初始候選位置，與每輪搜索相對應的搜索策略等。
在各種示例中，搜索過程600,700和800中的一個顏色分量的搜索結果或其他搜索技術可以重用於其他顏色分量。例如，在去噪處理300期間，在S310處接收到的重建視訊資料可以包括多於一個顏色分量，例如一個亮度分量和兩個色度分量。對應於不同顏色分量的樣本陣列可以形成不同的重建圖像或切片。在步驟300中的S320中，當重建的視訊資料被劃分為非重疊的當前區塊時，每個當前區塊可以包括不同的顏色分量。換句話說，對應於一個當前區塊的不同顏色分量的樣本可以形成不同的當前區塊，稱為分量當前區塊，例如亮度當前區塊或色度當前區塊。
因此，在S340，針對每個組件當前區塊(例如亮度或色度當前區塊)執行K個最相似的區塊的搜索。在這個階 段，一個顏色分量的搜索結果可以重用於另一個顏色分量。例如，在針對亮度當前區塊找到並確定K個最相似的參考區塊之後，可以重新使用位置訊息，例如與K個最相似的亮度參考區塊相對應的運動矢量，以確定相似色度參考區塊以用於對應於亮度當前區塊的色度當前區塊。
第9圖示出了依據本發明的實施例的用於重新使用第一顏色分量的搜索結果以搜索類似參考區塊並形成用於第二顏色分量的區塊組的過程900。過程900從S901開始，進入S910。
在S910，接收重建的資料。重建資料對應於具有第一顏色分量和第二顏色分量的重建圖像，例如亮度分量和色度分量。
在S920，將重建圖像中的第一顏色分量的像素劃分成第一當前區塊。每個第一當前區塊包括對應於第一顏色分量的像素。
在S930，重建圖像中的第二顏色分量的像素被劃分為第二當前區塊。每個第二當前區塊包括對應於第二顏色分量的像素。
在S940，找到相似的第一參考區塊用於相應的第一當前區塊以形成第一區塊組。例如，如此一來，對於每個第一區塊組，可以獲得指示相對於相應的當前區塊的相似的第一參考區塊的位置的運動矢量。
在S950，從S940得到的諸如運動矢量的位置訊息可用於搜索相應的第二當前區塊的相似的第二參考區塊以形 成第二區塊組。依據重建圖像的格式，使用第一顏色分量的運動矢量以用於第二顏色分量的方式可以不同。
具體地，在第一示例中，重建的視訊資料包括亮度分量和色度分量。亮度和色度分量具有相同的樣本比率(例如，圖像格式為YUV 444)。此外，以相同的方式執行亮度和色度當前區塊的分區。如此一來，(依據每個區塊內的樣本數量)每個亮度區塊對應於具有相同形狀和相同尺寸的色度區塊。因此，亮度當前區塊的類似亮度參考區塊的運動矢量指示的位置可以重新用作相應色度當前區塊的相似色度參考區塊的位置。因此，可以避免搜索類似的色度參考區塊用於第二顏色分量。
在第二示例中，類似於第一示例，重建的視訊資料包括具有相同樣本比率的亮度分量和色度分量。亮度當前區塊和色度當前區塊的分區是相同的，並且每個亮度區塊對應於具有相同尺寸和形狀的色度區塊。在確定與色度當前區塊相對應的相似色度參考區塊之後，可以對已經找到的色度參考區塊的每個位置進行精細搜索，以確定相應色度當前區塊的最相似的色度參考區塊。例如，每個精細搜索在已經找到的第一分量參考區塊之一的位置周圍的搜索區域內執行。如此一來，可以減少搜索類似色度參考區塊的成本。
在第三示例中，重建的視訊資料中的顏色分量具有不同的樣本比率，例如，重建的圖像具有YUV420或YUV422的格式。假設相應的重建圖像具有類似於YUV 420的格式，並且包括亮度分量和色度分量。因此，重建圖像中的色度分量 在垂直和水平方向都被二次取樣為具有0.5的樣本率。此外，在該示例中，可以以類似的方式執行亮度分量和色度分量的分區，使得亮度當前區塊或色度當前區塊的數量可以相同，並且每個亮度當前區塊對應於色度當前區塊。每對亮度當前區塊和色度當前區塊可以具有相似的形狀，但包括不同數量的像素。
在這種情況下，例如，為了重新使用亮度參考區塊的運動矢量，色度當前區塊和與對應的亮度區塊並置的對應參考區塊的區塊大小(以像素數為單位)可以依據相應的樣本比率進行縮放。例如，當亮度區塊尺寸為8×8時，色度區塊尺寸可以相應地定義為4×4，以形成區塊組。此後，為了重新使用用於色度參考區塊的亮度參考區塊的運動矢量，可以依據不同顏色分量的樣本比率對亮度分量的運動矢量執行縮放操作。例如，依據上述色度樣本比率為0.5，可以縮放包括一對坐標(x，y)的運動矢量，以獲得具有一對坐標(x/2，y/2)的縮放運動矢量。因此，舍入偏移或直接截斷可用於縮放運動矢量。
所獲得的縮放的運動矢量然後可以在對應於色度當前區塊的搜索網格中使用，以指示候選色度參考區塊的位置。具體地說，對應於亮度區塊中的亮度參考區塊的縮放運動矢量可以直接用於定位相應色度區塊組的色度參考區塊而不進行任何搜索。或者，在另一示例中，可以在由縮放運動矢量指示的位置周圍的區域中執行精細搜索，以確定該區域中最相似的色度參考區塊。該區域中最相似的色度參考區塊可以包含在相應的色度區塊組中。
在第四示例中，對於不同顏色分量具有不同樣本率的重建視訊資料，色度分量的區塊大小(以像素數為單位)可以保持與亮度分量的相同。因此，尺寸為8×8的色度當前區塊可以在相應的重建圖像中重疊四個亮度當前區塊，每個具有8×8的尺寸，例如用於YUV 420的格式。因此，可以在這四個當前亮度區塊的相似亮度參考區塊的位置處執行色度當前區塊的類似色度參考區塊的搜索。搜索複雜性也可以減少。
例如，在已經確定亮度區塊的亮度參考區塊的運動矢量之後，可以對運動矢量執行依據色度分量的樣本比的縮放操作以獲得縮放的運動矢量。假設每個色度當前區塊與具有YUV 420格式的重建圖像中的四個亮度當前區塊重疊。對應於色度當前區塊的相似色度參考區塊可自由對應於與色度當前區塊重疊的四個亮度當前區塊的縮放的運動矢量指示的候選色度參考區塊而得到。
儘管已經結合作為示例提出的具體實施例描述了本發明的各方面，但是可以對示例的替代，修改和變化進行說明。因此，本文所闡述的實施例旨在是說明性的而不是限制性的。在不脫離下面提出的權利要求的範圍的情況下，可以進行改變。
900‧‧‧過程
S901、S910、S920、S930、S940、S950、S999‧‧‧步驟

Claims (6)

  1. 一種方法，包括：接收對應於具有一第一顏色分量和一第二顏色分量的一圖像的重建視訊資料；將該圖像中的該第一顏色分量的複數個像素劃分為複數個第一當前區塊；將該圖像中的該第二顏色分量的複數個像素劃分為複數個第二當前區塊；在該圖像中搜索複數個相似第一參考區塊，以用於一相應第一當前區塊以形成對應於該複數個第一當前區塊的複數個第一區塊組；以及使用該相應第一當前區塊的該複數個相似第一參考區塊的複數個運動向量來搜索圖像中的複數個相似第二參考區塊以用於一相應第二當前區塊。
  2. 如申請專利範圍第1項所述之方法，其中該第一顏色分量和該第二顏色分量具有相同的樣本比率，並且每個第一當前區塊對應於該複數個第二當前區塊中的一個，使用該相應第一當前區塊的該複數個相似第一參考區塊的複數個運動向量來搜索複數個相似第二參考區塊包括：使用該相應第一當前區塊的該複數個相似第一參考區塊的該複數個運動矢量作為該相應第二當前區塊的該複數個相似第二參考區塊的複數個運動矢量。
  3. 如申請專利範圍第1項所述之方法，其中 該第一顏色分量和該第二顏色分量具有相同的樣本比率，並且每個第一當前區塊對應於該複數個第二當前區塊中的一個，使用該相應第一當前區塊的該複數個相似第一參考區塊的複數個運動向量來搜索複數個相似第二參考區塊包括：在圍繞該相應第一當前區塊的該複數個相似第一參考區塊之一的一位置的一搜索區域上執行一精細搜索以確定該相應第二當前區塊的該複數個相似第二參考區塊中的一個。
  4. 如申請專利範圍第1項所述之方法，其中該第一顏色分量和該第二顏色分量具有不同的樣本比率，並且每個第一當前區塊對應於該複數個第二當前區塊中之其一，使用該相應第一當前區塊的該複數個相似第一參考區塊的複數個運動向量來搜索複數個相似第二參考區塊包括：依據與該相應第一當前區塊的該複數個相似第一參考塊的複數個運動矢量不同的樣本比率，執行一縮放操作以獲得複數個縮放的運動矢量；以及使用該複數個縮放的運動矢量作為該相應第二當前區塊的該複數個相似第二參考區塊的複數個運動矢量。
  5. 如申請專利範圍第1項所述之方法，其中該第一顏色分量和該第二顏色分量具有不同的樣本比率，並且每個第一當前區塊對應於該複數個第二當前區塊中之其一，以及使用該相應第一當前區塊的該複數個相似第一參考區塊的 複數個運動向量來搜索複數個相似第二參考區塊包括：依據與該相應第一當前區塊的該複數個相似第一參考塊的複數個運動矢量不同的樣本比率，執行一縮放操作以獲得複數個縮放的運動矢量；以及在圍繞由複數個縮放運動矢量中的一個所指示的一位置周圍的一搜索區域上執行一精確搜索，以確定該相應第二當前區塊的該複數個相似第二參考區塊中之其一。
  6. 如申請專利範圍第1項所述之方法，其中該第一顏色分量和該第二顏色分量具有不同的樣本比率，並且每個第二當前區塊對應於該複數個第一當前區塊，以及使用該相應第一當前區塊的該複數個相似第一參考區塊的複數個運動向量來搜索複數個相似第二參考區塊包括：依據與該相應複數個第一當前區塊中的每一個的該複數個相似第一參考區塊的複數個運動矢量不同的樣本比率，執行一縮放操作以獲得複數個縮放的運動矢量；以及從由該複數個縮放的運動矢量指示的複數個候選第二參考區塊中搜索該複數個相似第二參考區塊。
TW106112346A 2016-04-14 2017-04-13 搜索參考區塊的方法 TWI634777B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662322308P 2016-04-14 2016-04-14
US62/322,308 2016-04-14
US201662326030P 2016-04-22 2016-04-22
US62/326,030 2016-04-22
US15/485,694 US10462459B2 (en) 2016-04-14 2017-04-12 Non-local adaptive loop filter
US15/485,694 2017-04-12

Publications (2)

Publication Number Publication Date
TW201742456A true TW201742456A (zh) 2017-12-01
TWI634777B TWI634777B (zh) 2018-09-01

Family

ID=60038636

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106112346A TWI634777B (zh) 2016-04-14 2017-04-13 搜索參考區塊的方法

Country Status (4)

Country Link
US (1) US10462459B2 (zh)
CN (1) CN108886621B (zh)
TW (1) TWI634777B (zh)
WO (1) WO2017177957A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US10419758B2 (en) * 2017-03-16 2019-09-17 Mediatek Inc. Non-local adaptive loop filter processing
WO2019050426A1 (en) * 2017-09-05 2019-03-14 Huawei Technologies Co., Ltd. METHOD FOR QUICKLY ADAPTING BLOCKS FOR COLLABORATIVE FILTERING IN LOSS VIDEO CODECS
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction
CN110633399A (zh) * 2018-06-01 2019-12-31 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
JP2021145157A (ja) * 2018-06-14 2021-09-24 ソニーグループ株式会社 画像処理装置および方法
CN113115046A (zh) * 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
TWI675718B (zh) 2019-01-03 2019-11-01 財團法人工業技術研究院 工具機的加工件負載特性判斷及加速度調整方法
US11418787B2 (en) 2019-06-28 2022-08-16 Qualcomm Incorporated Chroma delta QP in video coding
US11381819B2 (en) 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
WO2021061748A1 (en) * 2019-09-23 2021-04-01 Apple Inc. Video compression with in-loop sub-image level controllable noise generation

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
US6363116B1 (en) * 1997-04-04 2002-03-26 Tektronix, Inc. Picture quality assessment using spatial location with or without subsampling
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
JP2006508475A (ja) * 2002-11-29 2006-03-09 ブラッコ イメージング ソチエタ ペル アチオニ 三次元表示装置におけるスケーリング制御装置とその方法
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US9071840B2 (en) * 2004-01-30 2015-06-30 Thomson Licensing Encoder with adaptive rate control for H.264
WO2006124885A2 (en) * 2005-05-12 2006-11-23 Kylintv, Inc. Codec for iptv
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR100995294B1 (ko) * 2006-06-30 2010-11-19 주식회사 메디슨 누적 빈도수를 이용한 초음파 영상의 압축 방법
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US7856150B2 (en) * 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid
CN101505427A (zh) 2009-02-20 2009-08-12 杭州爱威芯科技有限公司 视频压缩编码算法中的运动估计装置
CN101883280B (zh) * 2009-05-07 2014-08-27 香港科技大学 一种恢复噪声的视频编解码方法和系统
US8644374B2 (en) * 2009-08-31 2014-02-04 Cisco Technology, Inc. Multiple description coding with spatial shifting
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US8861617B2 (en) 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
EP2656610A4 (en) 2010-12-21 2015-05-20 Intel Corp SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING
EP2661879B1 (en) 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
JP2014514833A (ja) * 2011-06-10 2014-06-19 メディアテック インコーポレイテッド スケーラブルビデオコーディングの方法及び装置
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5868157B2 (ja) * 2011-12-14 2016-02-24 日本電信電話株式会社 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
CN102567973B (zh) * 2012-01-06 2014-08-06 西安电子科技大学 基于改进的形状自适应窗口的图像去噪方法
US9406138B1 (en) * 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
US10574965B2 (en) * 2014-03-13 2020-02-25 Qualcomm Incorporated Simplified advanced residual prediction for 3D-HEVC
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
CN105120294B (zh) * 2015-06-26 2018-01-02 中国电子科技集团公司第二十八研究所 一种jpeg格式图像来源鉴别方法
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备

Also Published As

Publication number Publication date
CN108886621A (zh) 2018-11-23
US20170302929A1 (en) 2017-10-19
WO2017177957A1 (en) 2017-10-19
US10462459B2 (en) 2019-10-29
TWI634777B (zh) 2018-09-01
CN108886621B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
TWI634777B (zh) 搜索參考區塊的方法
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
US11902575B2 (en) Image encoding method using a skip mode, and a device using the method
CA2935336C (en) Video decoder, video encoder, video decoding method, and video encoding method
CN110036637B (zh) 去噪声化已重构图像的方法及装置
US20150049818A1 (en) Image encoding/decoding apparatus and method
KR102393178B1 (ko) 복원 블록을 생성하는 방법 및 장치
US20200404339A1 (en) Loop filter apparatus and method for video coding
CN111837389A (zh) 适用于多符号位隐藏的块检测方法及装置
CN106688238B (zh) 改进后的深度图帧内编码的参考像素点选择和滤波
KR20170093833A (ko) 인트라 모드들의 코딩
WO2018224006A1 (en) Improved non-local adaptive loop filter processing
US20220417511A1 (en) Methods and systems for performing combined inter and intra prediction
CN113196783A (zh) 去块效应滤波自适应的编码器、解码器及对应方法
JP2023521295A (ja) 映像符号化データをシグナリングするための方法
JP2023507259A (ja) ラップアラウンド動き補償を実行する方法
US20220060702A1 (en) Systems and methods for intra prediction smoothing filter
US20230090025A1 (en) Methods and systems for performing combined inter and intra prediction
KR20190140820A (ko) 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
US20230269399A1 (en) Video encoding and decoding using deep learning based in-loop filter
US10764577B2 (en) Non-MPM mode coding for intra prediction in video coding
CN116601960A (zh) 使用自适应环路滤波器的方法及其系统
US20230412811A1 (en) Method and apparatus for video coding using spiral scan order
CN118042136A (zh) 编解码方法和装置
TW202406336A (zh) 用於重構視訊的適應性環路濾波器處理方法和裝置