TWI499305B - 編碼視訊資料的方法及其裝置 - Google Patents
編碼視訊資料的方法及其裝置 Download PDFInfo
- Publication number
- TWI499305B TWI499305B TW101137608A TW101137608A TWI499305B TW I499305 B TWI499305 B TW I499305B TW 101137608 A TW101137608 A TW 101137608A TW 101137608 A TW101137608 A TW 101137608A TW I499305 B TWI499305 B TW I499305B
- Authority
- TW
- Taiwan
- Prior art keywords
- video data
- adaptive filter
- adaptive
- loop
- filter
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明係相關於視訊編碼系統,尤指一種減少視訊編碼器或解碼器中有關迴路濾波(例如去塊(Deblocking),樣本自適應偏移(Sample Adaptive Offset,SAO)及自適應迴路濾波器(Adaptive Loop Filter,ALF))的處理延遲和/或緩衝器需求的方法以及相關的裝置。
運動估計係一有效的訊框間編碼技術,以利用(exploit)視訊序列中的時間冗餘度(temporal redundancy)。運動補償訊框間編碼已在各種國際視訊編碼標準中廣泛採用。在各種編碼標準中採用的運動估計通常是基於塊(block-based)的技術,其中運動資訊(例如編碼模式及運動向量)用以判定每一宏模塊(macroblock)或類似塊配置(similar block configuration)。此外,訊框內編碼也相應得到應用,其中該圖像無須參考任意其他圖像而被處理。間預測(inter-predicted)或內預測(intra-predicted)的殘餘量(residue)通常藉由轉換、量化及熵編碼作進一步處理以產生壓縮的視訊位元流。在編碼處理期間,尤其在量化過程中,會引入編碼噪聲(coding artifact)。為了減輕編碼噪聲,附加的處理被應用於重建過的視訊以提高更新的(newer)編碼系統中的圖像品質。該附加的處理通常在迴路操作(in-loop operation)中進行配置,以使編碼器和解碼器可得到同樣的參考圖像以達到提高系統性能的目的。
第1圖係包含迴路濾波過程之示範性自適應間/內視訊編碼系統。對於間預測,運動估計(Motion Estimation,ME)/運動補償(Motion Compensation,MC)方塊112用以基於其他圖像中的視訊資料來提供預測資料。開關114選擇內預測方塊110中的內預測資料或ME/MC方塊112中的間預測資
料,且被選擇的預測資料被提供至加法器116以產生預測誤差(prediction errors),也稱為預測殘餘量(prediction residues)或殘餘量。預測誤差接著藉由轉換(Transformation,T)方塊118進行處理,進而再藉由量化(Quantization,Q)方塊120進行處理。熵編碼器122對轉換後和量化後的殘餘量進行編碼以形成對應於被壓縮的視訊資料之一視訊位元流。與轉換系數(transform coefficient)相關的該位元流隨著邊資訊(side information)(例如運動、模式及其他與圖像單元相關的資訊)一起被封裝(packed)。該邊資訊也可藉由熵編碼來處理以減少所需帶寬。相應地,該邊資訊被提供至熵編碼器122,如第1圖(至熵編碼器122的運動/模式路徑(motion/mode path)未繪示)所示。當使用間預測模式時,必須使用先前重建過的參考圖像以產生預測殘餘量。因此,一重建迴路(reconstruction loop)被用來在編碼器尾端產生重建過的圖像。從而,該轉換後和量化後的殘餘量藉由反量化(Inverse Quantization,IQ)方塊124和逆轉換(Inverse Transformation,IT)方塊126處理以恢復該處理過的殘餘量。該恢復過的殘餘量接著藉由重建(Reconstruction,REC)方塊128加回至預測資料136以重建該視訊資料。該重建過的視訊資料可儲存於參考圖像緩衝器(Reference Picture Buffer)134中並用來對其他訊框進行預測。
如第1圖所示,輸入的視訊資料在編碼系統中會經過一系列的處理。由重建方塊128得到的重建過的視訊資料由於一系列的處理可能會遭受各種損害。因此,在重建過的視訊資料被用作預測資料之前,對該重建過的視訊資料採用各種迴路處理以提高視訊品質。於正在發展的高性能視訊編碼(High Efficiency Video Coding,以下簡稱為HEVC)標準中,去塊濾波器(Deblocking Filter,DF)130、樣本自適應偏移(SAO)方塊131及自適應迴路濾波器(ALF)132已被開發以提高圖像品質。去塊濾波器130用於邊界圖元,並且去塊濾波處理依賴於基礎(underlying)圖元資料及對應塊的
有關編碼資訊。在視訊位元元流中不需要包含去塊濾波器特有的邊資訊。另一方面,樣本自適應偏移處理及自適應迴路濾波處理係自適應的,其中濾波器資訊(例如濾波器參數及濾波器類型)可依據基礎視訊資料而動態地改變。因此,有關於樣本自適應偏移資訊及自適應迴路濾波器資訊的濾波器資訊包含在視訊位元流中,如此一來,解碼器可正確地恢復所需資訊。所以,從樣本自適應偏移及自適應迴路濾波器得到濾波器資訊被提供至熵編碼器122以合併至位元流中。在第1圖中,去塊濾波器130首先用於重建過的視訊;樣本自適應偏移方塊131接著用於去塊濾波器處理過的視訊;然後自適應迴路濾波器132用於樣本自適應偏移處理過的視訊。然而,去塊濾波器、樣本自適應偏移及自適應迴路濾波器之間的處理順序可以重新安排。於H.264/AVC視訊標準中,自適應濾波器僅包含去塊濾波器。於正在發展的HEVC視訊標準中,迴路濾波處理包含去塊濾波器、樣本自適應偏移及自適應迴路濾波器。在本揭露書中,迴路濾波器(in-loop filter)指的是操作於基礎視訊資料上而不需要合併於視訊位元流中之邊資訊之迴路濾波處理(loop filter processing)。另一方面,自適應濾波器指的是自適應地操作於基礎視訊資料上並使用合併於視訊位元流中之邊資訊之迴路濾波處理。舉例來說,去塊濾波器被視為迴路濾波器而樣本自適應偏移方塊及自適應迴路濾波器被視為自適應濾波器。
與第1圖中的編碼器對應之解碼器如第2圖所示。視訊位元流藉由熵解碼器142進行解碼以恢復該處理過(亦即轉換後和量化後)的預測殘餘量、SAO/ALF資訊及其他系統資訊。在解碼器端,僅僅執行運動補償(MC)方塊113來代替ME/MC方塊。解碼過程類似於編碼器端的重建迴路。該恢復的轉換後和量化後的預測殘餘量、SAO/ALF資訊及其他系統資訊用於重建該視訊資料。該重建過的視訊進一步被去塊濾波器130、樣本自適應偏移方塊131及自適應迴路濾波器132處理以產生最終增強(enhanced)的解
碼視訊,其被作為解碼器輸出用於顯示,並且儲存在參考圖像緩衝器134中以產生預測資料。
H.264/AVC中的編碼過程應用於16 x16的處理單元或圖像單元,稱為宏模塊(MB)。HEVC中的編碼過程係依據最大編碼單元(Largest Coding Unit,LCU)而應用。最大編碼單元使用四叉樹自適應地分割為複數個編碼單元。在每一影像單元(image unit)(亦即宏模塊或葉編碼單元(leaf CU))中,針對亮度分量(luma component)基於8 x8的塊(block)(針對色度分量(chroma component)基於4 x4的塊),執行去塊濾波器,同時去塊濾波器依據邊界強度(boundary strength)應用於8 x8的亮度塊邊界(對於色度分量應用於4 x4的塊邊界)。在以下的討論中,亮度分量用來作為迴路濾波處理的一實施例。然而,很容易知道迴路處理也可應用於色度分量。對於每一8 x8的塊,首先水準濾波應用於垂直塊邊界,接著垂直濾波應用於水準塊邊界。在亮度塊邊界的處理期間,每一邊(side)的四個圖元涉及到濾波器參數推導,並且可在濾波後改變每一邊上的多達三個圖元。對於應用於垂直塊邊界的水準濾波,預迴路(pre-in-loop)視訊資料(亦即此實施例中未濾波之重建過的視訊資料或預去塊濾波之視訊資料)用於濾波器參數推導以及對於濾波而言作為源視訊資料(source video data)。對於應用於水準塊邊界的垂直濾波,預迴路視訊資料(亦即此實施例中未濾波之重建過的視訊資料或預去塊濾波之視訊資料)用於濾波器參數推導,並且去塊濾波器中間(intermediate)圖元(亦即水準濾波後的圖元)用於濾波。對於色度塊邊界的去塊濾波器處理,每一邊的兩個圖元涉及到濾波器參數推導,並且在濾波後至多改變每一邊上的一個圖元。對於應用於垂直塊邊界的水準濾波,未濾波之重建過的圖元用於濾波器參數推導且作為濾波的源圖元;對於應用於水準塊邊界的垂直濾波,去塊濾波器處理過的中間圖元(亦即水準濾波後的圖元)用於濾波器參數推導且也作為濾波的源圖元。
去塊濾波過程可用於一圖像的複數個塊中。另外,去塊濾波過程也可用於一圖像的每一影像單元(巨集模塊或最大編碼單元)中。在基於影像單元的去塊濾波過程中,影像單元邊界的去塊濾波過程依賴於鄰近影像單元的資料。一圖像中的該影像單元係通常以光柵掃描順序(raster scan order)來處理。因此,上影像單元或左影像單元的資料對於影像單元邊界的上側及左側的去塊濾波處理是可用的。然而,對於影像單元邊界的底部或右側,去塊濾波處理必須被延遲直到相應的資料變為可用。由於鄰近影像單元的資料緩衝原因,有關去塊濾波的資料相關性問題(data dependency issue)使系統設計變得複雜,同時增加了系統成本。
在後續的自適應濾波器的系統中,例如操作於由迴路濾波器(例如去塊濾波器)處理的資料上的樣本自適應偏移及自適應迴路濾波器,附加的自適應濾波器處理使系統設計更為複雜,並增加系統成本/延遲(latency)。舉例來說,在HEVC測試模組版本4.0(HM-4.0)中,樣本自適應偏移及自適應迴路濾波器自適應地被採用,允許樣本自適應偏移參數及自適應迴路濾波器參數可針對每一圖像(“WD4:Working Draft 4 of High-Efficiency Video Coding”,Bross et.al.,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting:Torino,IT,14-22 July,2011,Document:JCTVC-F803)自適應地被判定。在一圖像的樣本自適應偏移處理期間,該圖像的樣本自適應偏移參數基於該圖像的去塊濾波器輸出圖元及原始圖元而得到,接著樣本自適應偏移處理應用於具有所得到的樣本自適應偏移參數的去塊濾波器處理過的圖像上。類似地,在一圖像的自適應迴路濾波器處理期間,圖像的自適應迴路濾波器參數基於該圖像的樣本自適應偏移輸出圖元及原始圖元而得到,接著自適應迴路濾波器處理應用於具有所得到的自適應迴路濾波器參數的樣本自適應偏移處理過的圖像上。基於樣本自適應偏移及自適應迴路濾波器處理的圖像需要
訊框緩衝器來儲存一去塊濾波器處理過的訊框及一樣本自適應偏移處理過的訊框。該些系統由於附加的訊框緩衝器需求會導致更高的系統成本,亦會造成更長的編碼延遲。
第3圖係在編碼器端基於順序的(sequential)樣本自適應偏移處理及自適應迴路濾波器處理的一編碼器的系統方塊圖。在採用樣本自適應偏移方塊320之前,樣本自適應偏移參數必須被獲取到,如樣本自適應偏移參數推導方塊310所示。樣本自適應偏移參數是基於去塊濾波器處理過的資料而得到的。在樣本自適應偏移應用於去塊濾波器處理過的資料後,如自適應迴路濾波器參數推導方塊330所示,樣本自適應偏移處理過的資料用來獲得自適應迴路濾波器參數。根據自適應迴路濾波器參數的判定,自適應迴路濾波器應用於樣本自適應偏移處理過的資料,如自適應迴路濾波器方塊340所示。如上所述,由於樣本自適應偏移參數係基於去塊濾波器處理過的視訊資料的完整訊框(whole frame)而得到的,需要訊框緩衝器來儲存去塊濾波器輸出圖元,以用於後續的樣本自適應偏移處理。類似地,同樣需要訊框緩衝器來存儲樣本自適應偏移輸出圖元,以用於後續的自適應迴路濾波器處理。該些緩衝器沒有在第3圖中明確表示出來。在較新的HEVC發展中,基於最大編碼單元的樣本自適應偏移及自適應迴路濾波器用來降低緩衝器的需求,同時用來降低編碼器延遲。然而,第3圖所示的同樣的處理工作流程可用於基於最大編碼單元的迴路處理中。換句話說,藉由最大編碼單元的基礎,在一最大編碼單元上,樣本自適應偏移參數從去塊濾波器輸出圖元中來判定,自適應迴路濾波器參數從樣本自適應偏移輸出圖元中來判定。如前面討論的,直到來自鄰近最大編碼單元(最大編碼單元下方及最大編碼單元的右方)所需資料變得可用,一當前最大編碼單元的去塊濾波處理才能被完成。因此,對一當前最大編碼單元的樣本自適應偏移處理會被延遲大致最大編碼單元的一圖像列(picture-row),並且
需要一相應的緩衝器來儲存最大編碼單元的該圖像列。自適應迴路濾波處理也有類似的問題。
根據HM-5.0,如第4圖所示,針對基於最大編碼單元的處理,壓縮的視訊位元流被構造(structured)來緩解解碼過程。位元流400相當於圖像區域之被壓縮的視訊資料,該圖像區域可以係為一完整圖像或一部分(slice)圖像。針對對應的圖像,構造位元流400以包含一訊框頭部(frame header)410(或者,如果使用部分構造則為一部分頭部(slice header)),在一圖像中針對單獨的最大編碼單元,被壓縮的資料係跟隨於該對應的圖像。每一最大編碼單元資料包含一最大編碼單元頭部420及最大編碼單元殘餘資料430(residual data)。該最大編碼單元頭部位於每一最大編碼單元位元流的起始處並且包含最大編碼單元共有的(common)資訊,例如樣本自適應偏移參數控制資訊及自適應迴路濾波器控制資訊。因此,在最大編碼單元殘餘量之解碼起動(start)之前,解碼器可依據包含於最大編碼單元頭部中之資訊被正確地設置,如此一來便可降低解碼器端的緩衝器需求。然而,由於殘餘量必須被緩衝,直到欲併入最大編碼單元頭部之頭部資訊準備好,因此對於編碼器來說,產生符合第4圖中位元流構造的一位元流係一負擔。
如第4圖所示,最大編碼單元頭部係插入最大編碼單元殘餘資料的前面。對於最大編碼單元,樣本自適應偏移參數包含於最大編碼單元頭部中。最大編碼單元中的樣本自適應偏移參數係基於最大編碼單元之去塊濾波器處理過的圖元而得到的。因此完整最大編碼單元的去塊濾波器處理過的圖元在樣本自適應偏移處理能夠應用於去塊濾波器處理過的資料之前必須被緩衝。此外,樣本自適應偏移參數包含樣本自適應偏移濾波器打開/關閉決定(On/Off decision),其係關於樣本自適應偏移是否應用於當前最大編碼單元。樣本自適應偏移濾波器打開/關閉決定係基於當前最大編碼單元之原
始圖元資料及去塊濾波器處理過的圖元資料而得到的。因此,當前最大編碼單元之原始圖元資料也必須被緩衝。當最大編碼單元選擇打開決定時,樣本自適應偏移濾波器類型(亦即邊界偏移(Edge Offset,EO)或帶寬偏移(Band Offset,BO))會進一步被判定。針對已選擇的樣本自適應偏移濾波器類型,對應的邊界偏移參數或帶寬偏移參數會被判定。如HM-5.0所描述的,打開/關閉決定、EO/BO決定以及對應的EO/BO參數係包含於最大編碼單元頭部中。在解碼器端,由於樣本自適應偏移參數包含於位元流中,所以並沒有要求樣本自適應偏移參數的來源。自適應迴路濾波器的情形係同樣本自適應偏移過程類似。然而,樣本自適應偏移過程係基於去塊濾波處理過的圖元,而自適應迴路濾波器過程係基於樣本自適應偏移過程處理過的圖元。
如前所述,去塊濾波器處理係確定性的(deterministic),其中該些運作係依賴於基礎重建過的圖元(underlying reconstructed pixel)及已準備好的可用資訊。附加資訊無須藉由編碼器而得到且無須包含於位元流中。因此,在無自適應濾波器(如樣本自適應偏移及自適應迴路濾波器)的視訊編碼系統中,編碼器處理管線(processing pipeline)係相對簡單的。第5圖係有關於編碼器之關鍵處理步驟之示範性處理管線的示意圖。間/內預測方塊(Inter/Intra Prediction)510分別表示對應於第1圖的ME/MC方塊112及內預測方塊110之間預測及內預測之運動估計/運動補償。重建方塊520係負責產生重建過的圖元,其對應於第1圖中的轉換方塊118,量化方塊120,反量化方塊124,逆轉換方塊126及重建方塊128。首先在每一最大編碼單元執行間/內預測方塊510以產生殘餘量,接著重建方塊520應用於該殘餘量以產生重建過的圖元。間/內預測510方塊及重建520方塊係順序執行的。然而,由於在熵編碼530方塊及去塊540方塊之間沒有資料相關性(data dependency),熵編碼530方塊及去塊540方塊可並行執行。第5圖係說明
實作一無自適應濾波處理之編碼系統之一示範性編碼器管線之示意圖。編碼器系統之處理管線可作不同的設置。
當使用自適應濾波器處理時,處理管線需要被小心地設置。第6A圖係為有關於具有樣本自適應偏移610之一編碼器之關鍵處理步驟之一示範性處理管線的示意圖。如前所述,樣本自適應偏移操作於去塊濾波器處理過的圖元。因此,樣本自適應偏移方塊610於去塊540方塊後執行。因為樣本自適應偏移參數會包含於最大編碼單元頭部中,因此熵編碼530方塊需要等待直到得到樣本自適應偏移參數。相應地,第6A圖中所示的熵編碼530方塊開始於得到樣本自適應偏移參數之後。第6B圖係為具有樣本自適應偏移之一編碼器之另一管線架構(pipeline architecture)的示意圖,其中熵編碼530方塊開始於樣本自適應偏移方塊610結束時。最大編碼單元尺寸可為64x64圖元。當在管線階段發生附加延遲時,一最大編碼單元資料需要被緩衝。緩衝器尺寸會相當大。因此,需要在處理管線中縮短延遲。
第7A圖係為有關於具有樣本自適應偏移方塊610及自適應迴路濾波器方塊710之一編碼器之關鍵處理步驟之一示範性處理管線的示意圖。如前所述,自適應迴路濾波器操作於樣本自適應偏移處理過的圖元。因此,自適應迴路濾波器710在樣本自適應偏移方塊610之後被執行。因為自適應迴路濾波器控制資訊會包含於最大編碼單元頭部中,所以熵編碼530方塊需要等待直到得到自適應迴路濾波器控制資訊。相應地,第7A圖中所示的熵編碼530方塊開始於得到自適應迴路濾波器控制資訊之後。第7B圖係為具有樣本自適應偏移及自適應迴路濾波器之一編碼器之另一管線架構的示意圖,其中熵編碼530方塊開始於自適應迴路濾波器710結束時。
如第6A-6B圖及第7A-7B圖所示,由於自適應濾波器處理的順序流程性質(sequential process nature),具有自適應濾波器處理的一系統會導致更長的處理延遲。需要開發一種能夠減少有關自適應濾波器處理的處理延
遲及緩衝器尺寸的方法及裝置。
迴路濾波器能夠有效增強圖像品質,相關的處理需要至編碼端圖像級資料(picture-level data)的多路訪問(multi-pass access),以執行參數生成及濾波器操作。第8圖係為包含去塊、樣本自適應偏移及自適應迴路濾波器之一示範性HEVC編碼器的示意圖。第8圖中的編碼器係基於第1圖中的HEVC編碼器。然而,樣本自適應偏移參數推導(SAO parameter derivation)方塊831及自適應迴路濾波器參數推導(ALF parameter derivation)方塊832都明確顯示出來。樣本自適應偏移參數推導方塊831需要存取(access)原始視訊資料及去塊濾波器處理過的資料以產生樣本自適應偏移參數。樣本自適應偏移方塊131接著基於所得到的樣本自適應偏移參數,操作於去塊濾波器處理過的資料上。類似地,自適應迴路濾波器參數推導方塊832需要存取原始視訊資料及樣本自適應偏移處理過的資料以產生自適應迴路濾波器參數。自適應迴路濾波器132接著基於所得到的自適應迴路濾波器參數,操作於樣本自適應偏移處理過的資料上。如果片上緩衝器(on-chip buffer)(例如SRAM)用於圖像級多路編碼,晶片面積會非常大。因此,片外(off-chip)訊框緩衝器(例如DRAM)用來儲存圖像。外部記憶體帶寬及系統功耗會大幅增加。相應地,需要開發一種能夠緩解高記憶體存取需求的機制。
本發明提供一種對編碼系統中重建過的視訊資料的編碼方法及裝置。該編碼方法中的迴路處理包含一迴路濾波器及一個或多個自適應濾波器。在本發明一實施例中,自適應濾波處理係應用於迴路處理過的視訊資料。該自適應濾波器的濾波器參數得自於預迴路視訊資料,以便一旦後續自適應濾波器處理有足夠的迴路處理過的資料變得可用,自適應濾波器處理便可
應用於該迴路處理過的視訊資料。編碼系統可以為基於圖像的處理或基於影像單元的處理。迴路處理及自適應濾波器處理可以同時應用於基於圖像系統的圖像的一部分。針對一基於影像單元系統,自適應濾波器處理可與迴路濾波器同時應用於該影像單元的一部分。在另一實施例中,兩個自適應濾波器基於同樣的預迴路視訊資料得到它們各自的自適應濾波器參數。該影像單元可以為一最大編碼單元或一宏模塊。濾波器參數也可依賴於部分迴路濾波器處理過的視訊資料。
本發明提供一種編碼視訊資料的方法,該方法包含:從原始視訊資料及預測訊號中產生預測殘餘量;從該預測殘餘量及該預測訊號中產生重建過的視訊資料;基於該原始視訊資料及預迴路視訊資料估計一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;使用該迴路濾波器來處理該預迴路視訊資料以產生第一處理過的視訊資料;以及使用具有被估計之該第一自適應濾波器參數之該第一自適應濾波器來處理該第一處理過的視訊資料,以產生第二處理過的視訊資料。
本發明另提供一種編碼視訊資料的方法,該方法包含:從原始視訊資料及預測訊號中產生預測殘餘量;從該預測殘餘量及該預測訊號中產生重建過的視訊資料;基於一影像單元之該原始視訊資料及預迴路視訊資料,估計用於該影像單元之一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;使用該迴路濾波器及該第一自適應濾波器來處理該預迴路視訊資料之一移動視窗,其中該移動視窗包含對應於一當前圖像之一個或多個影像單元之一個或多個次區域;其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動視窗之至少一部分,或者該第一自適應濾波器係應用於一第二移動視窗且該迴路濾波器係同時應用於一第一移動視窗,其中該第二移動視窗係從該第一移動
視窗延遲一個或多個移動窗口;其中該迴路濾波器係應用於該預迴路視訊資料以產生第一處理過的資料;以及該第一自適應濾波器係應用於使用被估計之該第一自適應濾波器參數之該第一處理過的資料上以產生第二處理過的視訊資料。
在另一實施例中,一移動窗口係用於包含迴路濾波器及一個或多個自適應濾波器的基於影像單元的編碼系統中。該第一濾波器參數可依賴於部分迴路濾波器處理過的視訊資料。針對基於該影像單元之原始視訊資料及預迴路視訊資料的影像單元,該方法更包含估計一第二自適應濾波器之第二自適應濾波器參數,以及在該移動視窗使用該第二自適應濾波器來處理該移動窗口。估計該第二自適應濾波器之第二自適應濾波器參數也可依賴於部分迴路濾波器處理過的視訊資料。本發明提供一種編碼視訊資料的裝置,該裝置包含:一預測殘餘量產生方塊,用以從原始視訊資料及預測訊號中產生預測殘餘量;一重建方塊,用以從該預測殘餘量及該預測訊號中產生重建過的視訊資料;一第一自適應濾波器參數估計方塊,用以基於該原始視訊資料及該預迴路視訊資料估計一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;一迴路濾波器,用以處理該預迴路視訊資料以產生第一處理過的視訊資料;以及該第一自適應濾波器,其具有被估計之該第一自適應濾波器參數,該第一自適應濾波器用來處理該第一處理過的視訊資料以產生第二處理過的視訊資料。
本發明另提供一種編碼視訊資料的裝置,該裝置包含:一預測殘餘量產生方塊,用以從原始視訊資料及預測訊號中產生預測殘餘量;一重建方塊,用以從該預測殘餘量及該預測訊號中產生重建過的視訊資料;一第一自適應濾波器參數估計方塊,用以基於一影像單元之該原始視訊資料及預迴路視訊資料,估計用於該影像單元之一第一自適應濾波器之第一自適應濾波
器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;一迴路濾波器及該第一自適應濾波器,用來處理該預迴路視訊資料之一移動視窗,其中該移動視窗包含對應於一當前圖像之一個或多個影像單元之一個或多個次區域;其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動視窗之至少一部分,或者該第一自適應濾波器係應用於一第二移動視窗且該迴路濾波器係同時應用於一第一移動視窗,其中該第二移動視窗係從該第一移動視窗延遲一個或多個移動窗口;其中該迴路濾波器係應用於該預迴路視訊資料以產生第一處理過的資料;以及該第一自適應濾波器係應用於使用被估計之該第一自適應濾波器參數之該第一處理過的資料以產生第二處理過的視訊資料。
上述方法及裝置可減少有關迴路濾波的處理延遲和/或緩衝器需求。
如前所述,迴路處理的各種類型用於視訊編碼器或解碼器中順序地重建過的視訊資料。舉例來說,在HEVC中,首先採用去塊濾波器處理;接著採用樣本自適應偏移處理;然後再採用自適應迴路濾波器處理,如第1圖所示。此外,自適應濾波器(亦即此例中樣本自適應偏移及自適應迴路濾波器)各自的濾波器參數係基於前一級(previous-stage)迴路處理之處理過的輸出而得到的。舉例來說,樣本自適應偏移參數係基於去塊濾波器處理過的圖元而得到的,以及自適應迴路濾波器參數係基於樣本自適應偏移處理過的圖元而得到的。在基於影像單元(image-unit-based)的編碼系統中,針對一完整的影像單元,自適應濾波器參數推導係基於處理過的圖元。所以,後續的自適應濾波器處理不能開始,直到影像單元的前一階段迴路處理完成。換言之,影像單元的去塊濾波器處理過的圖元必須被緩衝以用於後續的樣本自適應偏移處理,並且影像單元的樣本自適應偏移處理過的圖
元必須被緩衝以用於後續的自適應迴路濾波器處理。影像單元的尺寸可為64x64圖元,同時緩衝器會相當大。另外,上述系統也會導致從一個級到下一級的處理延遲及增加整體處理延遲。
本發明一實施例可緩解緩衝器尺寸需求及減少處理延遲。於一實施例中,自適應濾波器參數推導係基於重建過的圖元,而不是基於去塊濾波器處理過的資料。換言之,自適應濾波器參數推導係基於在前一級迴路處理之前的視訊資料。第9圖係本發明實施例之編碼器之一示範性處理流程的示意圖。自適應濾波器參數推導方塊930係基於重建過的資料進行自適應濾波器參數推導,而不是基於去塊濾波器處理過的資料。因此,無論何時有足夠的去塊濾波器處理過的資料變得可用,自適應濾波器920都可開始處理,而不需要等待當前影像單元去塊濾波器910的處理完成。相應地,針對後續的自適應濾波器920處理,無須儲存整個影像單元的去塊濾波器910處理過的資料。自適應濾波器處理可為樣本自適應偏移處理或自適應迴路濾波器處理。自適應濾波器參數推導方塊930也可依賴於去塊濾波器910處理的部分輸出912。舉例來說,除重建過的視訊資料之外,對應於第一少數方塊(block)的去塊濾波器910的輸出,還可以包含於自適應濾波器參數推導方塊930中。由於僅使用去塊濾波器方塊910的部分輸出,後續自適應濾波器方塊920可在去塊濾波器910處理完成之前開始。
在另一實施例中,自適應濾波處理的兩種或多種類型的自適應濾波器參數推導係基於相同的源(source)。舉例來說,自適應迴路濾波器參數推導與樣本自適應偏移參數推導可基於相同的源資料,即去塊濾波處理過的資料,而不是使用樣本自適應偏移處理過的圖元。因此,自適應迴路濾波器參數可以不需要等待當前影像單元的樣本自適應偏移處理完成就能得到。實際上,自適應迴路濾波器參數的獲得可於樣本自適應偏移處理開始之前或於樣本自適應偏移處理開始之後一段短時期內完成。同時,無論何時有
足夠的樣本自適應偏移處理過的資料變得可用,自適應迴路濾波處理都可開始,而不需要等待影像單元的樣本自適應偏移處理完成。第10A圖係依據本發明實施例之一示範性系統設置的示意圖,其中樣本自適應偏移參數推導方塊1010及自適應迴路濾波器參數推導方塊1040都基於相同的源資料(亦即本例中的去塊濾波器處理過的圖元)。所得到的參數接著被提供至樣本自適應偏移方塊1020及自適應迴路濾波器1030中處理。由於針對自適應迴路濾波器處理,無論何時有足夠的樣本自適應偏移處理過的資料變得可用,後續自適應迴路濾波器處理都可開始來操作,第10A圖緩解了緩衝完整影像單元的樣本自適應偏移處理過的圖元的需求。自適應迴路濾波器參數推導方塊1040也可依賴於樣本自適應偏移方塊1020的部分輸出1022。舉例來說,除去塊濾波器的輸出資料之外,對應於第一少數線(line)或方塊的樣本自適應偏移方塊1020的輸出,亦可以包含於自適應迴路濾波器參數推導方塊1040中。由於僅使用樣本自適應偏移方塊1020的部分輸出,後續自適應迴路濾波器1030可在樣本自適應偏移方塊1020完成之前開始。
在又一例子中,樣本自適應偏移參數推導方塊及自適應迴路濾波器參數推導方塊進一步被移至前一級,如第10B圖所示。樣本自適應偏移參數推導及自適應迴路濾波器參數推導可基於預去塊濾波器資料(pre-DF data)(亦即重建過的資料),而不使用去塊濾波器處理過的圖元。此外,樣本自適應偏移參數推導及自適應迴路濾波器參數推導可並行執行。樣本自適應偏移參數不需要等待當前影像單元去塊濾波器處理的完成便可得到。實際上,樣本自適應偏移參數的獲得可於去塊濾波器處理開始之前或於去塊濾波器處理開始之後一段短時期內完成。而且,無論何時有足夠的去塊濾波器處理過的資料變得可用,樣本自適應偏移處理都可開始,而不需要等待影像單元的去塊濾波器處理完成。類似地,無論何時有足夠的樣本自適應
偏移處理過的資料變得可用,自適應迴路濾波器處理都可開始,而不需要等待影像單元的樣本自適應偏移處理完成。樣本自適應偏移參數推導方塊1010也可依賴於去塊濾波器1050的部分輸出1012。舉例來說,除重建過的輸出資料之外,對應於第一少數塊的去塊濾波器1050的輸出可包含於樣本自適應偏移參數推導方塊1010中。由於僅使用去塊濾波器1050的部分輸出,後續樣本自適應偏移方塊1020可在去塊濾波器1050完成之前開始。類似地,自適應迴路濾波器參數推導方塊1040也可依賴於去塊濾波器1050的部分輸出1012以及樣本自適應偏移方塊1020的部分輸出1024。由於僅使用樣本自適應偏移方塊1020的部分輸出,後續自適應迴路濾波器1030可在樣本自適應偏移方塊1020完成之前開始。第10A圖及第10B圖所示的系統設置可減少緩衝器需求及處理延遲,而所得到的樣本自適應偏移參數及自適應迴路濾波器參數在視覺效果(PSNR)方面可能不是最佳的。
為了降低樣本自適應偏移及自適應迴路濾波器的DRAM帶寬需求,依據本發明一實施例將自適應迴路濾波器處理的記憶體存取與下一圖像編碼過程的間預測(Inter prediction)階段的記憶體存取相結合,如第11A圖所示。由於間預測需要存取參考圖像以執行運動估計或運動補償,自適應迴路濾波器過程可在此階段被執行。與傳統的自適應迴路濾波器實作相比較,ME/MC方塊112及自適應迴路濾波器132的結合處理方塊1110可減少對DRAM的一次附加讀及一次附加寫來產生參數及應用濾波器處理。在濾波器處理被應用之後,改進的(modified)參考資料可藉由替換未被濾波的資料而被儲存回參考圖像緩衝器以供將來使用。第11B圖係結合迴路處理的間預測的另一實施例,包含ME/MC方塊112及迴路處理的結合處理方塊1120,其中迴路處理包含樣本自適應偏移方塊131以及自適應迴路濾波器132,以進一步降低記憶體帶寬需求。樣本自適應偏移參數推導方塊831以及自適應迴路濾波器參數推導方塊832都需要使用去塊濾波器130輸出
的圖元來作為輸入,如第11B圖所示。與傳統的迴路處理相比較,第11B圖的實施例可減少外部記憶體(例如DRAM)兩次附加讀及兩次附加寫來用於參數推導及濾波器操作。此外,樣本自適應偏移參數及自適應迴路濾波器參數可並行產生,如第11B圖所示。在此實施例中,自適應迴路濾波器參數推導可能不是最佳的。然而,本發明實施例相關的編碼損失可依據DRAM記憶體存取的實質性減少而被調整。
在HM-4.0中,對於去塊濾波器,不需要濾波器參數推導。在本發明另一實施例中,去塊濾波器的線緩衝器(line buffer)與ME搜索範圍緩衝器共用,包含ME/MC方塊112及迴路處理的結合處理方塊1130,其中迴路處理方塊包含去塊濾波器130、樣本自適應偏移方塊131以及自適應迴路濾波器132,如第11C圖所示。在此設置中,樣本自適應偏移參數推導方塊831及自適應迴路濾波器參數推導方塊832使用預去塊濾波器圖元(亦即重建過的圖元)作為輸入。
第10A圖及第10B圖係基於相同的源的多個自適應濾波器參數推導的兩個實施例。為了得到基於相同的源的自適應濾波器處理的兩種或多種類型的自適應濾波器參數,基於前一級迴路處理之前的資料,得到至少一組的自適應濾波器參數。第10A圖及第10B圖的實施例係依據本發明的處理流程方面的示意圖,第12A-12B圖及第13A-13B圖係依據本發明實施例的時間方面的示意圖。第12A-12B圖係為包含自適應濾波器處理(例如樣本自適應偏移或自適應迴路濾波器)一種類型之一編碼系統之一示範性時間表(time profile)。首先執行間/內預測方塊1210,接著執行重建方塊1220。如前所述,轉換、量化、反量化及逆轉換(inverse transformation)都隱含包含於間/內預測方塊1210及重建方塊1220中。由於自適應濾波器參數推導係基於預去塊濾波器資料,當重建過的資料變得可用時,自適應濾波器參數推導可開始。一旦當前影像單元的重建完成或不久之後,自適應濾波
器參數推導也可完成。
第12A圖所示的示範性處理管線流程圖中,去塊方塊1230於當前影像單元重建完成之後執行。此外,第12A圖的實施例於去塊方塊1230及熵編碼方塊1240開始之前完成自適應濾波器參數推導方塊1260,如此一來,自適應濾波器參數對於熵編碼方塊1240併入對應的影像單元位元元流的頭部來說便是及時的。在第12A圖的例子中,當重建過的資料被產生且被寫入至訊框緩衝器之前,可存取該重建過的資料用於自適應濾波器參數推導。無論何時有足夠的迴路處理過的資料(亦即此例中去塊濾波器處理過的資料)變得可用,對應的自適應濾波器處理(例如樣本自適應偏移或自適應迴路濾波器)都可開始,而不需要等待影像單元上的迴路濾波器處理的完成。第12B圖所示的實施例在重建方塊1220完成之後執行自適應濾波器參數推導方塊1260。換言之,自適應濾波器參數推導方塊1260與去塊方塊1230並行執行。在第12B圖的例子中,當重建過的資料從緩衝器讀回用於去塊時,可存取該重建過的資料用於自適應濾波器參數推導。當獲得自適應濾波器參數時,熵編碼方塊1240可開始將自適應濾波器參數併入對應的影像單元位元元流的頭部中。如第12A圖及第12B圖所示,針對影像單元週期(period)的一部分(portion),迴路濾波器處理(即此例中的去塊)及自適應濾波器處理(即此例中的樣本自適應偏移)方塊1250係同時執行的。根據第12A圖及第12B圖的實施例,在該影像單元週期的一部分期間,迴路濾波器可應用於影像單元的第一部分中的重建過的視訊資料,同時自適應濾波器可應用於影像單元的第二部分中該迴路處理過的資料。因為自適應濾波器操作可依賴於一基礎圖元的鄰近圖元,所以自適應濾波器操作必須等待有足夠的迴路處理過的資料變得可用。相應地,該影像單元的該第二部分係相當於有關該影像單元的該第一部分的延遲的視訊資料。針對該影像單元週期的一部分,當迴路濾波器應用於該影像單元的該第一部分
的重建過的視訊資料,同時自適應濾波器應用於影像單元的第二部分中該迴路處理過的資料時,這種情況被稱為迴路濾波器及自適應濾波器同時應用於該影像單元的一部分。依賴於迴路濾波器處理及自適應濾波器處理的濾波器特性,該並發的(concurrent)處理可表示該影像單元週期的大部分。
有關於並發的迴路濾波器及自適應濾波器的管線流程,如第12A圖及第12B圖所示,可應用於基於圖像的編碼系統,也可應用於基於影像的編碼系統。在基於圖像的編碼系統中,一旦有足夠的去塊濾波器處理過的視訊資料變得可用,後續的自適應濾波器處理便可應用於去塊濾波器處理過的視訊資料。因此,在去塊濾波器及樣本自適應偏移之間無須儲存完整的去塊濾波器處理過的圖像。在基於影像單元的編碼系統中,並發的迴路濾波器及自適應濾波器可應用於如前所述的影像單元的一部分。然而,在本發明另一實施例中,兩個連續的(consecutive)迴路濾波器(loop filter)(例如去塊濾波器處理及樣本自適應偏移處理)應用於兩個影像單元,該兩個影像單元被一個或多個影像單元所分離。舉例來說,當去塊濾波器應用於當前影像單元時,樣本自適應偏移應用於一先前去塊濾波器處理過的影像單元,其係從當前影像單元分離的影像單元。
第13A圖及第13B圖係包含樣本自適應偏移及自適應迴路濾波器的一編碼系統的一示範性時間表。間/內預測方塊1210、重建方塊1220及去塊方塊1230在一影像單元基礎上被順序地執行。由於樣本自適應偏移參數及自適應迴路濾波器參數係基於重建過的資料來得到的,第13A圖所示的實施例在去塊方塊1230開始前便執行樣本自適應偏移參數推導方塊1330及自適應迴路濾波器參數推導方塊1340。因此,樣本自適應偏移參數推導及自適應迴路濾波器參數推導可並行執行。當樣本自適應偏移參數變得可用或者當樣本自適應偏移參數及自適應迴路濾波器參數變得可用時,熵編碼方塊1240可開始將樣本自適應偏移參數及自適應迴路濾波器參數併入到影
像單元資料的頭部。第13A圖係在重建方塊1220期間,執行樣本自適應偏移參數推導及自適應迴路濾波器參數推導的一實施例。如前所述,針對自適應濾波器參數推導,重建過的資料的存取可發生於產生該重建過的資料時或將該資料寫入訊框緩衝器之前。樣本自適應偏移參數推導及自適應迴路濾波器參數推導可在同一時間開始,也可交錯(stagger)進行。無論何時有足夠的去塊濾波器處理過的資料變得可用,樣本自適應偏移處理方塊1310都可開始,而不需要等待影像單元上的去塊濾波器處理的完成。無論何時有足夠的樣本自適應偏移處理過的資料變得可用,自適應迴路濾波器處理方塊1320都可開始,而不需要等待影像單元上的樣本自適應偏移處理的完成。第13B圖所示的實施例在重建方塊1220完成之後執行樣本自適應偏移參數推導方塊1330及自適應迴路濾波器參數推導方塊1340。在獲得樣本自適應偏移參數及自適應迴路濾波器參數之後,熵編碼方塊1240可開始將該些參數併入到對應的影像單元位元元流的頭部。在第13B圖的例子中,針對自適應濾波器參數推導,重建過的資料的存取可發生於當重建過的資料從緩衝器讀回以用於去塊時。如第13A圖及第13B圖所示,針對影像單元週期的一部分,迴路濾波器處理(即此例中的去塊)及多個自適應濾波器處理(即此例中的樣本自適應偏移及自適應迴路濾波器)係同時發生。依賴於迴路濾波器處理及自適應濾波器處理的濾波器特性,該並發的處理可表示該影像單元週期的大部分。
有關於並發的迴路濾波器及一個或多個自適應濾波器的管線流程,如第13A圖及第13B圖所示,可應用於基於圖像的編碼系統,也可應用於基於影像的編碼系統。在基於圖像的編碼系統中,一旦有足夠的去塊濾波器處理過的視訊資料變得可用,後續的自適應濾波器處理便可應用於去塊濾波器處理過的視訊資料。因此,在去塊濾波器及樣本自適應偏移之間無須儲存完整的去塊濾波器處理過的圖像。類似地,一旦有足夠的樣本自適應偏
移處理過的資料變得可用,自適應迴路濾波器處理便可開始,而在樣本自適應偏移及自適應迴路濾波器之間無須儲存完整的樣本自適應偏移處理過的圖像。在基於影像單元的編碼系統中,並發的迴路濾波器及一個或多個自適應濾波器可應用於如前所述的影像單元的一部分。然而,在本發明另一實施例中,兩個連續的迴路濾波器(例如去塊濾波器處理及樣本自適應偏移處理,或者樣本自適應偏移處理及自適應迴路濾波器處理)應用於兩個影像單元,該兩個影像單元係被一個或多個影像單元所分離。舉例來說,當去塊濾波器應用於當前影像單元時,樣本自適應偏移應用於一先前去塊濾波器處理過的影像單元,其係從當前影像單元分離的影像單元。
第12A-12B圖及第13A-13B圖係為依據本發明不同實施例的自適應濾波器參數推導及處理的示範性時間表。該些例子不是對本發明的時間表的詳盡說明,所屬領域具有通常知識者可以在不脫離本發明精神的前提下重新安排或修改該時間表以實現本發明。
如前所述,在HEVC中,採用基於影像單元的編碼過程,其中每一影像單元可使用其特有的樣本自適應偏移參數及自適應迴路濾波器參數。去塊濾波器處理應用於垂直塊邊界與水準塊邊界。針對與影像單元邊界對齊(aligned with)的塊邊界,去塊濾波器處理也依賴於鄰近影像單元的資料。因此,在邊界處或邊界附近的某些圖元不能被處理,直到所需的鄰近影像單元的圖元變得可用。樣本自適應偏移處理及自適應迴路濾波器處理也包含正在處理的一圖元附近的鄰近圖元。因此,當樣本自適應偏移及自適應迴路濾波器應用於影像單元邊界時,需要附加的緩衝器來容納(accommodate)鄰近影像單元的資料。相應地,編碼器及解碼器需要分配一個相當大的緩衝器以儲存去塊濾波器處理、樣本自適應偏移處理及自適應迴路濾波器處理期間的中間資料。該相當大的緩衝器本身會引起長時間的編碼或解碼延遲。第14圖係用於連續影像單元的具有去塊濾波器迴路處
理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理的一傳統HEVC解碼器的解碼管線流程的一實施例。輸入的位元流藉由執行位元流語法分析(bitstream parsing)及熵解碼之位元流解碼方塊1410來處理。該被分析過的及熵解碼過的符元接著經過視訊解碼步驟以產生重建過的殘餘量,該視訊解碼步驟包含反量化及逆轉換(IQ/IT)方塊1420、內預測/運動補償(IP/MC)方塊1430。重建方塊(REC)1440接著操作於該重建過的殘餘量及先前重建過的視訊資料以針對一當前影像單元或塊產生重建過的視訊資料。包含去塊濾波器1450、樣本自適應偏移方塊1460及自適應迴路濾波器1470的各種迴路處理接著應用於該繼續重建過的資料。在第一影像單元時間(t=0),影像單元0藉由位元流解碼方塊1410處理。在下一影像單元時間(t=1),影像單元0移動到管線的下一階段(亦即IQ/IT 1420及IP/MC 1430),並且一新影像單元(亦即影像單元1)藉由位元流解碼方塊1410處理。處理繼續進行,在t=5,當一新影像單元(亦即影像單元5)進入位元流解碼方塊1410時,影像單元0到達自適應迴路濾波器1470。如第14圖所示,需要6個影像單元週期來藉由各種迴路處理以解碼、重建及處理一影像單元。因此需要降低解碼延遲。此外,任意兩個連續階段之間,會有一緩衝器來儲存一影像單元的視訊資料。
依據本發明一實施例的一解碼器可降低解碼延遲。如第13A圖及第13B圖所描述的,樣本自適應偏移參數及自適應迴路濾波器參數可基於重建過的資料而得到,並且該些參數在重建的最後或者不久之後變得可用。因此,無論何時有足夠的去塊濾波器處理過的資料可用,樣本自適應偏移都可開始。第15圖係依據本發明實施例之一解碼器之解碼管線流程圖。針對最初的三個處理週期,管線流程與傳統解碼器一樣。然而,去塊濾波處理、樣本自適應偏移處理及自適應迴路濾波處理可以交錯方式(staggered fashion)開始,並且該些處理於三種迴路處理類型之間係實質上重疊。換言之,針
對影像單元資料的一部分,迴路濾波器(即此例中去塊濾波器)以及一個或多個自適應濾波器(即此例中樣本自適應偏移及自適應迴路濾波器)係同時執行。相應地,相較於傳統HEVC解碼器來說,解碼延遲得以降低。
第15圖所示之實施例有助於降低解碼延遲,其係藉由允許去塊濾波、樣本自適應偏移及自適應迴路濾波以交錯方式來執行,如此一來,在一完整影像單元上,後續處理便不需要等待前一階段處理的完成。然而,去塊濾波處理、樣本自適應偏移處理及自適應迴路濾波可依賴於鄰近圖元,對於影像單元邊界附近的圖元來說,會導致鄰近影像單元上的資料相關性。第16圖係依據本發明一實施例之基於影像單元之具有去塊濾波處理及至少一自適應濾波處理之解碼器之一示範性解碼管線流程圖。塊1601~1605表示五個影像單元,其中每一影像單元包含16x16圖元且每一圖元以一小正方形1646表示。影像單元1605係當前要處理的影像單元。由於影像單元邊界有關去塊濾波器的資料相關性,當前影像單元的一次區域(sub-region)及從先前處理過的鄰近影像單元而來的三個次區域可由去塊濾波器處理。視窗(也稱為移動窗口)由粗虛線框1610及四個次區域表示,該四個次區域係分別對應於影像單元1601、1602、1604及1605中的四個白色區域(white area)。依據光柵掃描順序處理該些影像單元,亦即從影像單元1601至影像單元1605。第16圖所示的窗口對應於有關影像單元1605的一時間段內被處理的圖元。此時,陰影區域1620完全係被去塊濾波器處理。陰影區域1630由水準去塊濾波處理,而不由垂直去塊濾波處理。影像單元1605中的陰影區域1640既不由水準去塊濾波處理,也不由垂直去塊濾波處理。
第15圖顯示一編碼系統,允許對影像單元的至少一部分同時執行去塊濾波、樣本自適應偏移及自適應迴路濾波,以降低緩衝器需求及處理延遲。第15圖所示的去塊濾波處理、樣本自適應偏移處理及自適應迴路濾波處理可應用於第16圖所示的系統中。針對當前視窗1610,可首先應用水準去塊
濾波,接著應用垂直去塊濾波。樣本自適應偏移操作需要鄰近圖元以獲得濾波器類型資訊。因此,本發明一實施例儲存移動窗口外之右邊界及底邊界的相關圖元的資訊,該資訊係獲得類型資訊所需要的。類型資訊可基於邊界標誌(edge sign)(亦即視窗中一基礎圖元與一鄰近圖元之間差異的標誌)得到。儲存標誌資訊(sign information)比儲存圖元值(pixel value)更加緊湊(compact)。相應地,如第16圖中白色圓圈1644所示,獲得標誌資訊以用於窗口中右邊界及底邊界的圖元。當前窗口中右邊界及底邊界的有關圖元的標誌資訊會被儲存以用於後續窗口的樣本自適應偏移處理。換言之,當樣本自適應偏移用於窗口內左邊界及上邊界的圖元時,視窗外的邊界圖元已經被去塊濾波器處理且不能用於類型資訊推導。然而,視窗中與邊界圖元有關的先前儲存的標誌資訊可被取回(retrieve)以獲得類型資訊。用於當前窗口的樣本自適應偏移處理的與先前儲存的標誌資訊有關的圖元位置由第16圖中黑色圓圈1648表示。系統會儲存先前計算過的標誌資訊以用於與當前窗口的頂列對齊的一列1652、當前視窗底部之下的一列1654以及與當前視窗最左列對齊的一行1656。在當前窗口的樣本自適應偏移處理完成之後,當前窗口向右移且儲存的標誌資訊可被更新。當窗口在右側達到圖像邊界時,該窗口向下移且從左側圖像邊界開始。
第16圖所示的當前窗口1610覆蓋了穿過四個鄰近影像單元(亦即最大編碼單元1601、1602、1604及1605)中的圖元。然而,視窗可覆蓋一個或兩個最大編碼單元。處理視窗從位元於圖像左上角第一最大編碼單元開始,且以光柵掃描方式穿過圖像移動。第17A圖至第17C圖係處理進展(processing progression)的一實施例。第17A圖係有關於一圖像的一第一最大編碼單元1710a的處理視窗。LCU_x及LCU_y分別表示最大編碼單元水準及垂直索引(index)。當前窗口以具有右側邊界1702a及底側邊界1704a的白色背景的區域表示。頂視窗邊界及左視窗邊界被圖像邊界界化
(bound)。在第17A圖中,16x16最大編碼單元尺寸被用來作為一個例子且每一正方形對應於一圖元。完整的去塊濾波處理(亦即水準去塊濾波處理及垂直去塊濾波處理)可用於視窗1720a(亦即白色背景區域)中的圖元。針對區域1730a,由於最大編碼單元之下的邊界圖元不可用,可採用水準去塊濾波處理而不能採用垂直去塊濾波處理。針對區域1740a,由於右邊最大編碼單元的邊界圖元不可用,不能採用水準去塊濾波處理。因此,後續的垂直去塊濾波處理也不能應用於區域1740a。針對視窗1720a內的圖元,樣本自適應偏移處理可於去塊濾波處理之後採用。如前所述,窗口底部邊界1740a之下的圖元列1751及右視窗邊界1702a之外的圖元行1712a有關的標誌資訊被計算及儲存以用於獲得後續最大編碼單元的樣本自適應偏移處理的類型資訊。標誌資訊被計算及儲存的圖元位置以白色圓圈表示。在第17A圖中,視窗包含一次區域(亦即區域1720a)。
第17B圖係下一視窗的處理管線流程圖,其中該視窗覆蓋穿過兩個最大編碼單元1710a及1710b的圖元。最大編碼單元1710b的處理管線流程與在前一視窗週期的最大編碼單元1710a的處理管線流程一樣。當前視窗被視窗邊界1702b、1704b及1706b圍繞(enclose)。當前視窗1720b內的圖元包含(cover)最大編碼單元1710a及1710b的圖元,如第17B圖中白色背景區域所示。行1712a中圖元的標誌資訊變成先前儲存的資訊且用來獲得當前窗口邊界1706b內邊界圖元的樣本自適應偏移類型資訊。鄰近右側視窗邊界1702b之行圖元1712b中的標誌資訊,以及底部視窗邊界1704b之下的列圖元1753被計算及儲存以用於後續最大編碼單元的樣本自適應偏移處理。先前視窗區域1720a變成完全由迴路濾波器及一個或多個自適應濾波器(即此例中的樣本自適應偏移)處理。區域1730b表示由水準去塊濾波處理的圖元,以及區域1740b表示既不由水準去塊濾波處理也不由垂直去塊濾波處理的圖元。在當前窗口1720b被去塊濾波處理及樣本自適應
偏移處理之後,處理管線流程移至下一視窗。在第17B圖中,該視窗包含兩個次區域(亦即最大編碼單元1710a中的白色區域及最大編碼單元1710b中的白色區域)。
第17C圖係在一圖像之一第二最大編碼單元列的起始處的一最大編碼單元的處理管線流程圖。當前視窗由具有白色背景及窗口邊界1702d、1704d及1708d的區域1720d表示。該視窗包含兩個最大編碼單元(亦即最大編碼單元1710a及1710d)的圖元。區域1760d被去塊濾波及樣本自適應偏移處理。區域1730d只被水準去塊濾波處理,以及區域1740d既不由水準去塊濾波處理也不由垂直去塊濾波處理。圖元列1755表示經計算及儲存的標誌資訊,以用於與當前窗口頂列對齊的圖元的樣本自適應偏移處理。底部視窗邊界1704d之下的圖元列1757及臨近右側視窗邊界的圖元行1712d的標誌資訊被計算及儲存,以用於判定後續最大編碼單元的對應視窗邊界處的圖元的樣本自適應偏移類型資訊。在完成當前窗口(亦即LCU_x=0及LCU_y=1)之後,處理管線流程移至下一視窗(亦即LCU_x=1及LCU_y=1)。在下一窗口週期,對應於(LCU_x=1及LCU_y=1)的視窗變成當前視窗,如第16圖所示。在第17C圖中,該視窗包含兩個次區域(亦即最大編碼單元1710a中的白色區域及最大編碼單元1710d中的白色區域)。
第16圖中的例子係依據本發明一實施例之編碼系統,其中移動視窗係用來利用迴路濾波器(即此例中的去塊濾波器)及自適應濾波器(即此例中的樣本自適應偏移)來處理基於最大編碼單元的編碼。該視窗係配置為考慮穿過最大編碼單元邊界的基礎迴路濾波器及自適應濾波器的資料相關性。每一移動視窗包含1個、2個或4個最大編碼單元的圖元以處理視窗邊界內的所有圖元。此外,視窗中圖元的自適應濾波處理需要附加的緩衝器。舉例來說,對於底部視窗邊界之下的圖元以及右側視窗邊界外的圖元,邊
緣標誌資訊被計算及儲存以用於後續窗口的樣本自適應偏移處理,如第16圖所示。當在上述實施例中僅使用樣本自適應偏移作為唯一的自適應濾波器,也會包含附加的自適應濾波器,例如自適應迴路濾波器。如果包含自適應迴路濾波器,移動窗口必須被重新設置以考慮到與自適應迴路濾波器有關的附加資料相關性。
在第16圖中的例子中,在迴路濾波器應用於一當前窗口之後,自適應濾波器應用於該當前窗口。在基於圖像的系統中,自適應濾波器不能應用於基礎視訊資料,直到去塊濾波器處理完一完整的圖像。基於圖像的去塊濾波的完成,針對該圖像,可判定樣本自適應偏移資訊,樣本自適應偏移從而應用於該圖像。在基於最大編碼單元的處理中,不需要緩衝完整的圖像,並且後續自適應濾波器可應用於去塊濾波器處理過的視訊資料而不需要等待該圖像的去塊濾波處理的完成。此外,針對最大編碼單元的一部分,迴路濾波器及一個或多個自適應濾波器可同時應用於最大編碼單元。然而,在本發明另一實施例中,兩個連續的迴路濾波器(例如去塊濾波器處理及樣本自適應偏移處理,或者樣本自適應偏移處理及自適應迴路濾波器處理)應用於兩個視窗,該兩個視窗係被一個或多個窗口分離。舉例來說,當去塊濾波器應用於一當前窗口,樣本自適應偏移應用於一先前去塊濾波器處理過的視窗,此視窗係從當前視窗分離的。
如前所述,依據本發明實施例當去塊濾波處理、樣本自適應偏移及自適應迴路濾波處理同時應用於該移動窗口的一部分時,迴路濾波及自適應濾波也可順序應用於每一窗口中。例如,一移動視窗可被分成多個部分,其中迴路濾波及自適應濾波可順序應用於該視窗的該些部分。例如,迴路濾波可應用於該窗口的第一部分。在第一部分的迴路濾波完成之後,自適應濾波可應用於該第一部分。在迴路濾波及自適應濾波應用於該第一部分之後,迴路濾波及自適應濾波可順序應用於該視窗的第二部分。
以上描述可使所屬領域具有通常知識者依據特定應用及要求實作本發明。所述實施例的各種修改對於所屬領域具有通常知識者都是顯而易見的,並且此處定義的一般原理可應用於其他實施例中。因此,本發明並非限定於本說明書揭露的特定實施例,而是符合此處揭露之原理及新穎特徵之最大範圍。在上述詳細說明中,列舉各種具體細節以提供本發明的全面理解。然而,所屬領域具有通常知識者容易理解本發明可被實作。
上述本發明實施例可透過各種硬體碼、軟體碼、或者二者的結合來實作。舉例來說,本發明一實施例可以是整合到視訊壓縮晶片上之一電路或者是整合到視訊壓縮軟體中之程式碼,以執行上述處理。本發明一實施例也可為於數位訊號處理器(Digital Signal Processor,DSP)上執行之程式編碼,以執行上述處理。本發明也可包含藉由計算機處理器、數位訊號處理器、微處理器或現場可程式控制閘陣列(field programmable gate array,FPGA)執行的若干功能。依據本發明,透過執行定義本發明之特定方法之機器可讀軟體碼或韌體(firmware)碼,該些處理器可被設置以執行特定的任務。軟體碼或韌體碼可以不同的程式語言及不同的格式或類型來開發。軟體碼也可對不同的目標平臺進行編譯。然而,依據本發明用來執行任務的軟體碼不同的碼格式、類型及語言以及其他設置碼的方式都不會脫離本發明之精神及範圍。
本發明可以其他特定形式體現而不脫離本發明之精神和基本特徵。上述實施例僅作為說明而非用來限制本發明,本發明之保護範圍當視後附之申請專利範圍所界定者為準。凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
110‧‧‧內預測
112‧‧‧運動估計/運動補償
113‧‧‧運動補償
114‧‧‧開關
116‧‧‧加法器
118‧‧‧轉換
120‧‧‧量化
122‧‧‧熵編碼器
124‧‧‧反量化
126‧‧‧逆轉換
128、520、1220、1440‧‧‧重建
130、1050、1450‧‧‧去塊濾波器
131、320、610、1020、1460‧‧‧樣本自適應偏移
132、340、1030、1470‧‧‧自適應迴路濾波器
134‧‧‧參考圖像緩衝器
142‧‧‧熵解碼器
310、831、1010、1330‧‧‧樣本自適應偏移參數推導
330、832、1040、1340‧‧‧自適應迴路濾波器參數推導
400‧‧‧位元流
410‧‧‧訊框頭部
420‧‧‧最大編碼單元頭部
430‧‧‧最大編碼單元殘餘資料
510、1210‧‧‧間/內預測
530、1240‧‧‧熵編碼
540、1230‧‧‧去塊
910‧‧‧去塊濾波器
920‧‧‧自適應濾波器
930‧‧‧自適應濾波器參數推導
1110、1120、1130‧‧‧結合處理
1250‧‧‧自適應濾波器處理
1260‧‧‧自適應濾波器參數推導
1310‧‧‧樣本自適應偏移處理
1320‧‧‧自適應迴路濾波器處理
1410‧‧‧位元流解碼
1420‧‧‧反量化及逆轉換
1430‧‧‧內預測/運動補償
1601~1605‧‧‧影像單元
1610、1720a、1720b、1720d‧‧‧窗口
1710a、1710b、1710c、1710d‧‧‧最大編碼單元
第1圖為包含去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適
應迴路濾波器迴路處理之一示範性HEVC視訊編碼系統的示意圖。
第2圖係包含去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一示範性HEVC視訊解碼系統的示意圖。
第3圖係包含管線樣本自適應偏移處理及自適應迴路濾波器處理之一傳統視訊編碼的方塊示意圖。
第4圖係一示範性基於最大編碼單元的視訊位元流架構,其中最大編碼單元的頭部插入每一最大編碼單元位元流的起始處。
第5圖係包含去塊作為迴路濾波器之一編碼器之一示範性處理管線流程圖。
第6A圖係包含去塊作為迴路濾波器及樣本自適應偏移作為自適應濾波器之一編碼器之一示範性處理管線流程圖。
第6B圖係包含去塊作為迴路濾波器及樣本自適應偏移作為自適應濾波器之一編碼器之另一示範性處理管線流程圖。
第7A圖係包含去塊作為迴路濾波器及樣本自適應偏移和自適應迴路濾波器作為自適應濾波器之一傳統編碼器之一示範性處理管線流程圖。
第7B圖係包含去塊作為迴路濾波器及樣本自適應偏移和自適應迴路濾波器作為自適應濾波器之一傳統編碼器之另一示範性處理管線流程圖。
第8圖係包含去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一示範性HEVC視訊編碼系統,其中清楚顯示了樣本自適應偏移參數推導和自適應迴路濾波器參數推導。
第9圖係依據本發明一實施例之具有去塊濾波器處理及自適應濾波器處理之一編碼器之一示範性方塊示意圖。
第10A圖係依據本發明一實施例之具有去塊濾波器、樣本自適應偏移及自適應迴路濾波器之一編碼器之一示範性方塊示意圖。
第10B圖係依據本發明一實施例之具有去塊濾波器、樣本自適應偏移
及自適應迴路濾波器之一編碼器之另一示範性方塊示意圖。
第11A圖係於間預測及迴路處理之間包含共用記憶體存取之一示範性HEVC視訊編碼系統,其中ME/MC與自適應迴路濾波器共用記憶體存取。
第11B圖係於間預測及迴路處理之間包含共用記憶體存取之一示範性HEVC視訊編碼系統,其中ME/MC與自適應迴路濾波器、樣本自適應偏移共用記憶體存取。
第11C圖係於間預測及迴路處理之間包含共用記憶體存取之一示範性HEVC視訊編碼系統,其中ME/MC與自適應迴路濾波器、樣本自適應偏移及去塊濾波器共用記憶體存取。
第12A圖係依據本發明一實施例之具有去塊濾波器及一個自適應濾波器之一編碼器之一示範性處理管線流程圖。
第12B圖係依據本發明一實施例之具有去塊濾波器及一個自適應濾波器之一編碼器之另一示範性處理管線流程圖。
第13A圖係依據本發明一實施例之具有去塊濾波器及兩個自適應濾波器之一編碼器之一示範性處理管線流程圖。
第13B圖係依據本發明一實施例之具有去塊濾波器及兩個自適應濾波器之一編碼器之另一示範性處理管線流程圖。
第14圖係具有去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一傳統的基於最大編碼單元的解碼器之處理管線流程圖及緩衝器管線示意圖。
第15圖係依據本發明一實施例之具有去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一基於最大編碼單元的解碼器/編碼器之示範性處理管線流程圖及緩衝器管線示意圖。
第16圖係依據本發明一實施例之具有迴路濾波器及自適應濾波器之一基於最大編碼單元的解碼器/編碼器之一示範性移動視窗示意圖。
第17A-C圖係依據本發明一實施例之具有迴路濾波器及自適應濾波器之一基於最大編碼單元的解碼器之一示範性移動視窗各個階段的示意圖。
910‧‧‧去塊濾波器
920‧‧‧自適應濾波器
930‧‧‧自適應濾波器參數推導
Claims (32)
- 一種編碼視訊資料的方法,該方法包含:從原始視訊資料及預測訊號中產生預測殘餘量;從該預測殘餘量及該預測訊號中產生重建過的視訊資料;基於該原始視訊資料及預迴路視訊資料估計一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;使用該迴路濾波器來處理該預迴路視訊資料以產生第一處理過的視訊資料;以及使用具有被估計之該第一自適應濾波器參數之該第一自適應濾波器來處理該第一處理過的視訊資料,以產生第二處理過的視訊資料。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中該第一自適應濾波器參數被判定以用於一當前圖像之一單獨影像單元。
- 如申請專利範圍第2項所述之編碼視訊資料的方法,其中該估計該第一自適應濾波器參數更依賴於先前估計之相鄰影像單元之第一自適應濾波器參數。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中該估計該第一自適應濾波器之該第一自適應濾波器參數更基於部分該第一處理過的視訊資料。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中該第一自適應濾波器參數係包含於與該第一處理過的視訊資料有關之一視訊位元流中。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中該迴路濾波器係一去塊濾波器。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中該第一自適 應濾波器係對應於樣本自適應偏移。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中該第一自適應濾波器係一自適應迴路濾波器。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,該方法更包含:基於該原始視訊資料及預迴路視訊資料估計一第二自適應濾波器之第二自適應濾波器參數;以及使用具有被估計之該第二自適應濾波器參數之該第二自適應濾波器來處理該第二處理過的視訊資料。
- 如申請專利範圍第9項所述之編碼視訊資料的方法,其中該第一自適應濾波器係對應於樣本自適應偏移以及該第二自適應濾波器係一自適應迴路濾波器。
- 如申請專利範圍第9項所述之編碼視訊資料的方法,其中該估計該第二自適應濾波器之該第二自適應濾波器參數更基於部分該第一處理過的視訊資料。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,該方法更包含:基於該原始視訊資料及該第一處理過的視訊資料估計一第二自適應濾波器之第二自適應濾波器參數;以及使用具有被估計之該第二自適應濾波器參數之該第二自適應濾波器來處理該第二處理過的視訊資料。
- 如申請專利範圍第12項所述之編碼視訊資料的方法,其中該估計該第二自適應濾波器之該第二自適應濾波器參數更基於都分該第二處理過的視訊資料。
- 如申請專利範圍第1項所述之編碼視訊資料的方法,其中用於產生重建過的視訊資料之預測殘餘量可經過部分或全部轉換、量化、反量化、逆轉換運算被處理。
- 一種編碼視訊資料的方法,該方法包含:從原始視訊資料及預測訊號中產生預測殘餘量;從該預測殘餘量及該預測訊號中產生重建過的視訊資料;基於一影像單元之該原始視訊資料及預迴路視訊資料,估計用於該影像單元之一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;使用該迴路濾波器及該第一自適應濾波器來處理該預迴路視訊資料之一移動視窗,其中該移動視窗包含對應於一當前圖像之一個或多個影像單元之一個或多個次區域;其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動視窗之至少一部分,或者該第一自適應濾波器係應用於一第二移動視窗且該迴路濾波器係同時應用於一第一移動視窗,其中該第二移動視窗係從該第一移動視窗延遲一個或多個移動窗口;其中該迴路濾波器係應用於該預迴路視訊資料以產生一第一處理過的資料;以及該第一自適應濾波器係應用於使用被估計之該第一自適應濾波器參數之該第一處理過的資料上以產生一第二處理過的視訊資料。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,其中該估計該第一自適應濾波器之該第一自適應濾波器參數更基於部分該第一處理過的視訊資料。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,該方法更包含有:針對該影像單元,基於該影像單元之該原始視訊資料及該預迴路視訊資料來估計一第二自適應濾波器之第二自適應濾波器參數;應用該第二自適應濾波器於使用被估計之該第二自適應濾波器參數之該第二處理過的視訊資料;以及 其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係同時應用於該當前移動視窗之至少一部分,或者該第二自適應濾波器係同時應用於一第三移動視窗,其中該第三移動視窗係從該第二移動視窗延遲一個或多個移動窗口。
- 如申請專利範圍第17項所述之編碼視訊資料的方法,其中該估計該第二自適應濾波器之該第二自適應濾波器參數更基於部分該第二處理過的視訊資料。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,其中該迴路濾波器係一去塊濾波器。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,其中該第一自適應濾波器係對應於樣本自適應偏移。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,該方法另包含:針對該移動視窗之至少部分邊界圖元,判定有關於該第一自適應濾波器之至少部分資料相關性;以及儲存該至少部分邊界圖元之至少部分資料相關性,其中該至少部分邊界圖元之至少部分資料相關性係用於後續移動視窗之該第一自適應濾波器。
- 如申請專利範圍第21項所述之編碼視訊資料的方法,其中該第一自適應濾波器係對應於樣本自適應偏移,該至少部分資料相關性係有關於該樣本自適應偏移之類型資訊,該至少部分邊界圖元包含該移動視窗之右側或底部之邊界圖元。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,其中該移動視窗係依據影像單元邊界處與該迴路濾波器有關的資料相關性來設置。
- 如申請專利範圍第23項所述之編碼視訊資料的方法,其中該移動視 窗另依據該影像單元邊界處與該第一自適應濾波器有關的資料相關性來設置。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,其中該影像單元係一最大編碼單元或一宏塊。
- 如申請專利範圍第15項所述之編碼視訊資料的方法,其中用於產生重建過的視訊資料之預測殘餘量可經過部分或全部轉換、量化、反量化、逆轉換運算被處理。
- 一種編碼視訊資料的裝置,該裝置包含:一預測殘餘量產生方塊,用以從原始視訊資料及預測訊號中產生預測殘餘量;一重建方塊,用以從該預測殘餘量及該預測訊號中產生重建過的視訊資料;一第一自適應濾波器參數估計方塊,用以基於該原始視訊資料及該預迴路視訊資料估計一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;一迴路濾波器,用以處理該預迴路視訊資料以產生第一處理過的視訊資料;以及一第一自適應濾波器,其具有被估計之該第一自適應濾波器參數,該第一自適應濾波器用來處理該第一處理過的視訊資料以產生第二處理過的視訊資料。
- 如申請專利範圍第27項所述之編碼視訊資料的裝置,該裝置更包含:一第二自適應濾波器參數估計方塊以及一第二自適應濾波器,其中,該第二自適應濾波器參數估計方塊用以基於該原始視訊資料及預迴路視訊資料估計該第二自適應濾波器之第二自適應濾波器參數;該第二自適應濾 波器用來處理該第二處理過的視訊資料。
- 如申請專利範圍第27項所述之編碼視訊資料的裝置,該裝置更包含:一預測殘餘量處理方塊,用以經過部分或全部轉換、量化、反量化、逆轉換運算來處理用於產生重建過的視訊資料之預測殘餘量。
- 一種編碼視訊資料的裝置,該裝置包含:一預測殘餘量產生方塊,用以從原始視訊資料及預測訊號中產生預測殘餘量;一重建方塊,用以從該預測殘餘量及該預測訊號中產生重建過的視訊資料;一第一自適應濾波器參數估計方塊,用以基於一影像單元之該原始視訊資料及預迴路視訊資料,估計用於該影像單元之一第一自適應濾波器之第一自適應濾波器參數,其中該預迴路視訊資料係對應於該重建過的視訊資料;一迴路濾波器及該第一自適應濾波器,用來處理該預迴路視訊資料之一移動視窗,其中該移動視窗包含對應於一當前圖像之一個或多個影像單元之一個或多個次區域;其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動視窗之至少一部分,或者該第一自適應濾波器係應用於一第二移動視窗且該迴路濾波器係同時應用於一第一移動視窗,其中該第二移動視窗係從該第一移動視窗延遲一個或多個移動窗口;其中該迴路濾波器係應用於該預迴路視訊資料以產生第一處理過的資料;以及該第一自適應濾波器係應用於使用被估計之該第一自適應濾波器參數之該第一處理過的資料以產生第二處理過的視訊資料。
- 如申請專利範圍第30項所述之編碼視訊資料的裝置,該裝置更包 含:一第二自適應濾波器參數估計方塊以及一第二自適應濾波器,其中,該第二自適應濾波器參數估計方塊用以基於該影像單元之該原始視訊資料及該預迴路視訊資料來估計該第二自適應濾波器之第二自適應濾波器參數;該第二自適應濾波器用來處理該第二處理過的視訊資料;以及其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係同時應用於該當前移動視窗之至少一部分,或者該第二自適應濾波器係同時應用於一第三移動視窗,其中該第三移動視窗係從該第二移動視窗延遲一個或多個移動窗口。
- 如申請專利範圍第30項所述之編碼視訊資料的裝置,該裝置更包含:一預測殘餘量處理方塊,用以經過部分或全部轉換、量化、反量化、逆轉換運算來處理用於產生重建過的視訊資料之預測殘餘量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161547285P | 2011-10-14 | 2011-10-14 | |
US201161557046P | 2011-11-08 | 2011-11-08 | |
PCT/CN2012/082782 WO2013053324A1 (en) | 2011-10-14 | 2012-10-11 | Method and apparatus for loop filtering |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201330629A TW201330629A (zh) | 2013-07-16 |
TWI499305B true TWI499305B (zh) | 2015-09-01 |
Family
ID=48081387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101137608A TWI499305B (zh) | 2011-10-14 | 2012-10-12 | 編碼視訊資料的方法及其裝置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9860530B2 (zh) |
EP (1) | EP2767089A4 (zh) |
CN (1) | CN103891277B (zh) |
TW (1) | TWI499305B (zh) |
WO (1) | WO2013053324A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014197723A (ja) * | 2012-01-06 | 2014-10-16 | ソニー株式会社 | 画像処理装置および方法 |
WO2014087861A1 (ja) * | 2012-12-06 | 2014-06-12 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9635360B2 (en) | 2012-08-01 | 2017-04-25 | Mediatek Inc. | Method and apparatus for video processing incorporating deblocking and sample adaptive offset |
US9344717B2 (en) | 2012-08-06 | 2016-05-17 | Mediatek Inc. | Method and apparatus for sample adaptive offset in a video decoder |
US10694214B2 (en) * | 2012-12-21 | 2020-06-23 | Qualcomm Incorporated | Multi-type parallelized sample adaptive offset in video coding |
KR102166335B1 (ko) * | 2013-04-19 | 2020-10-15 | 삼성전자주식회사 | Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US10003805B2 (en) * | 2013-07-01 | 2018-06-19 | Samsung Electronics Co., Ltd. | Video encoding and decoding method accompanied with filtering, and device thereof |
US10104397B2 (en) * | 2014-05-28 | 2018-10-16 | Mediatek Inc. | Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method |
KR102276854B1 (ko) * | 2014-07-31 | 2021-07-13 | 삼성전자주식회사 | 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
KR102299573B1 (ko) * | 2014-10-22 | 2021-09-07 | 삼성전자주식회사 | 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템 |
CN105992011B (zh) * | 2015-02-26 | 2019-04-09 | 扬智科技股份有限公司 | 环路滤波的计算方法及装置 |
KR101676792B1 (ko) | 2015-06-01 | 2016-11-16 | 삼성전자주식회사 | 데이터를 효율적으로 임베디드 압축 하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
US10230948B2 (en) * | 2016-02-03 | 2019-03-12 | Mediatek Inc. | Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system |
CN107040778A (zh) * | 2016-02-04 | 2017-08-11 | 联发科技股份有限公司 | 环路滤波方法以及环路滤波装置 |
US10609417B2 (en) * | 2016-05-23 | 2020-03-31 | Mediatek Inc. | High efficiency adaptive loop filter processing for video coding |
EP3529986A1 (en) * | 2016-12-23 | 2019-08-28 | Huawei Technologies Co., Ltd. | Low complexity mixed domain collaborative in-loop filter for lossy video coding |
US20180343449A1 (en) * | 2017-05-26 | 2018-11-29 | Ati Technologies Ulc | Application specific filters for high-quality video playback |
US20200236355A1 (en) * | 2017-08-01 | 2020-07-23 | Sharp Kabushiki Kaisha | Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques |
US20190116359A1 (en) * | 2017-10-12 | 2019-04-18 | Qualcomm Incorporated | Guided filter for video coding and processing |
EP3525461A1 (en) * | 2018-02-12 | 2019-08-14 | InterDigital VC Holdings, Inc. | Adaptive loop filtering |
EP4315852A1 (en) * | 2021-03-30 | 2024-02-07 | Telefonaktiebolaget LM Ericsson (publ) | Combined loop filtering |
CN116962688A (zh) * | 2022-04-20 | 2023-10-27 | 腾讯科技(深圳)有限公司 | 环路滤波方法、视频编解码方法、装置、介质及电子设备 |
US20240214564A1 (en) * | 2022-12-22 | 2024-06-27 | Qualcomm Incorporated | Area optimized storage scheme for cross-component adaptive loop filtering |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI332799B (en) * | 2006-09-13 | 2010-11-01 | Realtek Semiconductor Corp | A video data source system and an analog back end device |
TWI334311B (en) * | 2006-07-12 | 2010-12-01 | Mediatek Inc | Method and system for synchronizing audio and video data signals |
US20100329361A1 (en) * | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same |
WO2011043797A2 (en) * | 2009-10-05 | 2011-04-14 | Thomson Licensing | Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding |
CN102165774A (zh) * | 2008-09-25 | 2011-08-24 | 联发科技股份有限公司 | 适应性滤波器 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8175168B2 (en) * | 2005-03-18 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
EP1989876A2 (en) * | 2005-08-31 | 2008-11-12 | Micronas USA, Inc. | Systems and methods for video transformation and in loop filtering |
US8005308B2 (en) * | 2005-09-16 | 2011-08-23 | Sony Corporation | Adaptive motion estimation for temporal prediction filter over irregular motion vector samples |
US8582666B2 (en) * | 2006-12-18 | 2013-11-12 | Koninklijke Philips N.V. | Image compression and decompression |
US20100245672A1 (en) * | 2009-03-03 | 2010-09-30 | Sony Corporation | Method and apparatus for image and video processing |
KR101647376B1 (ko) * | 2009-03-30 | 2016-08-10 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
JP5233897B2 (ja) * | 2009-07-31 | 2013-07-10 | ソニー株式会社 | 画像処理装置および方法 |
JP5359657B2 (ja) * | 2009-07-31 | 2013-12-04 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
JP5604825B2 (ja) * | 2009-08-19 | 2014-10-15 | ソニー株式会社 | 画像処理装置および方法 |
TW201121331A (en) * | 2009-12-10 | 2011-06-16 | Novatek Microelectronics Corp | Picture decoder |
WO2011152425A1 (ja) * | 2010-06-03 | 2011-12-08 | シャープ株式会社 | フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造 |
DK2461617T3 (en) * | 2010-12-02 | 2018-07-23 | Telia Co Ab | Method, system and apparatus for communication |
US8630356B2 (en) * | 2011-01-04 | 2014-01-14 | The Chinese University Of Hong Kong | High performance loop filters in video compression |
US20120230423A1 (en) * | 2011-03-10 | 2012-09-13 | Esenlik Semih | Line memory reduction for video coding and decoding |
WO2012175195A1 (en) * | 2011-06-20 | 2012-12-27 | Panasonic Corporation | Simplified pipeline for filtering |
US10230989B2 (en) * | 2011-06-21 | 2019-03-12 | Texas Instruments Incorporated | Method and apparatus for video encoding and/or decoding to prevent start code confusion |
WO2013006310A1 (en) * | 2011-07-01 | 2013-01-10 | Vidyo, Inc. | Loop filter techniques for cross-layer prediction |
US9344743B2 (en) * | 2011-08-24 | 2016-05-17 | Texas Instruments Incorporated | Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF) |
US9432700B2 (en) * | 2011-09-27 | 2016-08-30 | Broadcom Corporation | Adaptive loop filtering in accordance with video coding |
WO2013053314A1 (en) | 2011-10-14 | 2013-04-18 | Mediatek Inc. | Method and apparatus for loop filtering |
US20130188686A1 (en) * | 2012-01-19 | 2013-07-25 | Magnum Semiconductor, Inc. | Methods and apparatuses for providing an adaptive reduced resolution update mode |
-
2012
- 2012-10-11 CN CN201280050445.XA patent/CN103891277B/zh active Active
- 2012-10-11 EP EP12839403.8A patent/EP2767089A4/en not_active Withdrawn
- 2012-10-11 WO PCT/CN2012/082782 patent/WO2013053324A1/en active Application Filing
- 2012-10-11 US US14/348,660 patent/US9860530B2/en active Active
- 2012-10-12 TW TW101137608A patent/TWI499305B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI334311B (en) * | 2006-07-12 | 2010-12-01 | Mediatek Inc | Method and system for synchronizing audio and video data signals |
TWI332799B (en) * | 2006-09-13 | 2010-11-01 | Realtek Semiconductor Corp | A video data source system and an analog back end device |
CN102165774A (zh) * | 2008-09-25 | 2011-08-24 | 联发科技股份有限公司 | 适应性滤波器 |
US20100329361A1 (en) * | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same |
WO2011043797A2 (en) * | 2009-10-05 | 2011-04-14 | Thomson Licensing | Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding |
Also Published As
Publication number | Publication date |
---|---|
US9860530B2 (en) | 2018-01-02 |
WO2013053324A1 (en) | 2013-04-18 |
EP2767089A1 (en) | 2014-08-20 |
TW201330629A (zh) | 2013-07-16 |
EP2767089A4 (en) | 2016-03-09 |
CN103891277B (zh) | 2018-01-26 |
CN103891277A (zh) | 2014-06-25 |
US20140269913A1 (en) | 2014-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI499305B (zh) | 編碼視訊資料的方法及其裝置 | |
TWI507019B (zh) | 解碼視訊資料的方法及其裝置 | |
KR101567467B1 (ko) | 루프내 필터 버퍼의 감소를 위한 방법 및 장치 | |
US11303900B2 (en) | Method and apparatus for motion boundary processing | |
US20170272758A1 (en) | Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus | |
US10306246B2 (en) | Method and apparatus of loop filters for efficient hardware implementation | |
US10003798B2 (en) | Method and apparatus for reduction of deblocking filter | |
TWI751623B (zh) | 具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置 | |
US20160241881A1 (en) | Method and Apparatus of Loop Filters for Efficient Hardware Implementation | |
US8913656B2 (en) | Method and apparatus for in-loop filtering | |
US9813730B2 (en) | Method and apparatus for fine-grained motion boundary processing | |
US20080130745A1 (en) | Method and Apparatus for Intra Prediction for Rru | |
JP7005854B2 (ja) | ビデオ符号化のためのインター予測装置の補間フィルタ及び方法 | |
US20140036991A1 (en) | Method and Apparatus for Sample Adaptive Offset in a Video Decoder | |
US10939102B2 (en) | Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method | |
US9635360B2 (en) | Method and apparatus for video processing incorporating deblocking and sample adaptive offset | |
JPWO2014174591A1 (ja) | 画像符号化装置、画像符号化方法、及び撮像装置 |