TWI507019B - 解碼視訊資料的方法及其裝置 - Google Patents

解碼視訊資料的方法及其裝置 Download PDF

Info

Publication number
TWI507019B
TWI507019B TW101137607A TW101137607A TWI507019B TW I507019 B TWI507019 B TW I507019B TW 101137607 A TW101137607 A TW 101137607A TW 101137607 A TW101137607 A TW 101137607A TW I507019 B TWI507019 B TW I507019B
Authority
TW
Taiwan
Prior art keywords
filter
adaptive
moving window
video data
image
Prior art date
Application number
TW101137607A
Other languages
English (en)
Other versions
TW201332362A (zh
Inventor
Yi Hau Chen
Kun Bin Lee
Chi Cheng Ju
Yu Wen Huang
Shaw Min Lei
Chih Ming Fu
Ching Yeh Chen
Chia Yang Tsai
Chih Wei Hsu
Original Assignee
Mediatek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediatek Inc filed Critical Mediatek Inc
Publication of TW201332362A publication Critical patent/TW201332362A/zh
Application granted granted Critical
Publication of TWI507019B publication Critical patent/TWI507019B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

解碼視訊資料的方法及其裝置
本發明係相關於視訊編碼系統，尤指一種減少視訊編碼器或解碼器中有關迴路濾波(例如去塊(Deblocking)，樣本自適應偏移(Sample Adaptive Offset,SAO)及自適應迴路濾波器(Adaptive Loop Filter,ALF))的處理延遲和/或緩衝器需求的方法以及相關的裝置。
運動估計係一有效的訊框間編碼技術，以利用(exploit)視訊序列中的時間冗餘度(temporal redundancy)。運動補償訊框間編碼已在各種國際視訊編碼標準中廣泛採用。在各種編碼標準中採用的運動估計通常是基於塊(block-based)的技術，其中運動資訊(例如編碼模式及運動矢量)用以判定每一宏模塊(macroblock)或類似塊配置(similar block configuration)。此外，訊框內編碼也相應得到應用，其中該圖像無須參考任意其他圖像而被處理。間預測(inter-predicted)或內預測(intra-predicted)的殘餘量(residue)通常藉由轉換、量化及熵編碼作進一步處理以產生壓縮的視訊位元流。在編碼處理期間，尤其在量化過程中，會引入編碼噪聲(coding artifact)。為了減輕編碼噪聲，附加的處理被應用於重建過的視訊以提高更新的(newer)編碼系統中的圖像品質。該附加的處理通常在迴路操作(in-loop operation)中進行配置，以使編碼器和解碼器可得到同樣的參考圖像以達到提高系統性能的目的。
第1圖係包含迴路濾波過程之示範性自適應間/內視訊編碼系統。對於間預測，運動估計(Motion Estimation,ME)/運動補償(Motion Compensation,MC)方塊112用以基於其他圖像中的視訊資料來提供預測資料。開關114選擇內預測方塊110中的內預測資料或ME/MC方塊112中的間預測資 料，且被選擇的預測資料被提供至加法器116以產生預測誤差(prediction errors)，也稱為預測殘餘量(prediction residues)或殘餘量。預測誤差接著藉由轉換(Transformation,T)方塊118進行處理，進而再藉由量化(Quantization,Q)方塊120進行處理。熵編碼器122對轉換後和量化後的殘餘量進行編碼以形成對應於被壓縮的視訊資料之一視訊位元流。與轉換系數(transform coefficient)相關的該位元流隨著邊資訊(side information)(例如運動、模式及其他與圖像單元相關的資訊)一起被封裝(packed)。該邊資訊也可藉由熵編碼來處理以減少所需帶寬。相應地，該邊資訊被提供至熵編碼器122，如第1圖(至熵編碼器122的運動/模式路徑(motion/mode path)未繪示)所示。當使用間預測模式時，必須使用先前重建過的參考圖像以產生預測殘餘量。因此，一重建迴路(reconstruction loop)被用來在編碼器尾端產生重建過的圖像。從而，該轉換後和量化後的殘餘量藉由反量化(Inverse Quantization,IQ)方塊124和逆轉換(Inverse Transformation,IT)方塊126處理以恢復該處理過的殘餘量。該恢復過的殘餘量接著藉由重建(Reconstruction,REC)方塊128加回至預測資料136以重建該視訊資料。該重建過的視訊資料可儲存於參考圖像緩衝器(Reference Picture Buffer)134中並用來對其他訊框進行預測。
如第1圖所示，輸入的視訊資料在編碼系統中會經過一系列的處理。由重建方塊128得到的重建過的視訊資料由於一系列的處理可能會遭受各種損害。因此，在重建過的視訊資料被用作預測資料之前，對該重建過的視訊資料採用各種迴路處理以提高視訊品質。於正在發展的高性能視訊編碼(High Efficiency Video Coding，以下簡稱為HEVC)標準中，去塊濾波器(Deblocking Filter,DF)130、樣本自適應偏移(SAO)方塊131及自適應迴路濾波器(ALF)132已被開發以提高圖像品質。去塊濾波器130用於邊界像素，並且去塊濾波處理依赖於基礎(underlying)像素資料及對應塊的 有關編碼資訊。在視訊位元流中不需要包含去塊濾波器特有的邊資訊。另一方面，樣本自適應偏移處理及自適應迴路濾波處理係自適應的，其中濾波器資訊(例如濾波器參數及濾波器類型)可依據基礎視訊資料而動態地改變。因此，有關於樣本自適應偏移資訊及自適應迴路濾波器資訊的濾波器資訊包含在視訊位元流中，如此一來，解碼器可正確地恢復所需資訊。所以，從樣本自適應偏移及自適應迴路濾波器得到濾波器資訊被提供至熵編碼器122以合併至位元流中。在第1圖中，去塊濾波器130首先用於重建過的視訊；樣本自適應偏移方塊131接著用於去塊濾波器處理過的視訊；然後自適應迴路濾波器132用於樣本自適應偏移處理過的視訊。然而，去塊濾波器、樣本自適應偏移及自適應迴路濾波器之間的處理順序可以重新安排。於H.264/AVC視訊標準中，自適應濾波器僅包含去塊濾波器。於正在發展的HEVC視訊標準中，迴路濾波處理包含去塊濾波器、樣本自適應偏移及自適應迴路濾波器。在本揭露書中，迴路濾波器(in-loop filter)指的是操作於基礎視訊資料上而不需要合併於視訊位元流中之邊資訊之迴路濾波處理(loop filter processing)。另一方面，自適應濾波器指的是自適應地操作於基礎視訊資料上並使用合併於視訊位元流中之邊資訊之迴路濾波處理。舉例來說，去塊濾波器被視為迴路濾波器而樣本自適應偏移方塊及自適應迴路濾波器被視為自適應濾波器。
與第1圖中的編碼器對應之解碼器如第2圖所示。視訊位元流藉由熵解碼器142進行解碼以恢復該處理過(亦即轉換後和量化後)的預測殘餘量、SAO/ALF資訊及其他系統資訊。在解碼器端，僅僅執行運動補償(MC)方塊113來代替ME/MC方塊。解碼過程類似於編碼器端的重建迴路。該恢復的轉換後和量化後的預測殘餘量、SAO/ALF資訊及其他系統資訊用於重建該視訊資料。該重建過的視訊進一步被去塊濾波器130、樣本自適應偏移方塊131及自適應迴路濾波器132處理以產生最終增強(enhanced)的解 碼視訊，其被作為解碼器輸出用於顯示，並且儲存在參考圖像緩衝器134中以產生預測資料。
H.264/AVC中的編碼過程應用於16 x16的處理單元或圖像單元，稱為宏模塊(MB)。HEVC中的編碼過程係依據最大編碼單元(Largest Coding Unit,LCU)而應用。最大編碼單元使用四叉樹自適應地分割為複數個編碼單元。在每一影像單元(image unit)(亦即宏模塊或葉編碼單元(leafCU))中，針對亮度分量(luma component)基於8 x8的塊(block)(針對色度分量(chroma component)基於4 x4的塊)，執行去塊濾波器，同時去塊濾波器依據邊界强度(boundary strength)應用於8 x8的亮度塊邊界(對於色度分量應用於4 x4的塊邊界)。在以下的討論中，亮度分量用來作為迴路濾波處理的一實施例。然而，很容易知道迴路處理也可應用於色度分量。對於每一8 x8的塊，首先水平濾波應用於垂直塊邊界，接著垂直濾波應用於水平塊邊界。在亮度塊邊界的處理期間，每一邊(side)的四個像素涉及到濾波器參數推導，並且可在濾波後改變每一邊上的多達三個像素。對於應用於垂直塊邊界的水平濾波，預迴路(pre-in-loop)視訊資料(亦即此實施例中未濾波之重建過的視訊資料或預去塊濾波之視訊資料)用於濾波器參數推導以及對於濾波而言作為源視訊資料(source video data)。對於應用於水平塊邊界的垂直濾波，預迴路視訊資料(亦即此實施例中未濾波之重建過的視訊資料或預去塊濾波之視訊資料)用於濾波器參數推導，並且去塊濾波器中間(intermediate)像素(亦即水平濾波後的像素)用於濾波。對於色度塊邊界的去塊濾波器處理，每一邊的兩個像素涉及到濾波器參數推導，並且在濾波後至多改變每一邊上的一個像素。對於應用於垂直塊邊界的水平濾波，未濾波之重建過的像素用於濾波器參數推導且作為濾波的源像素；對於應用於水平塊邊界的垂直濾波，去塊濾波器處理過的中間像素(亦即水平濾波後的像素)用於濾波器參數推導且也作為濾波的源像素。
去塊濾波過程可用於一圖像的複數個塊中。另外，去塊濾波過程也可用於一圖像的每一影像單元(宏模塊或最大編碼單元)中。在基於影像單元的去塊濾波過程中，影像單元邊界的去塊濾波過程依赖於鄰近影像單元的資料。一圖像中的該影像單元係通常以光柵掃描順序(raster scan order)來處理。因此，上影像單元或左影像單元的資料對於影像單元邊界的上側及左側的去塊濾波處理是可用的。然而，對於影像單元邊界的底部或右側，去塊濾波處理必須被延遲直到相應的資料變為可用。由於鄰近影像單元的資料緩衝原因，有關去塊濾波的資料相關性問題(data dependency issue)使系統設計變得複雜，同時增加了系統成本。
在後續的自適應濾波器的系統中，例如操作於由迴路濾波器(例如去塊濾波器)處理的資料上的樣本自適應偏移及自適應迴路濾波器，附加的自適應濾波器處理使系統設計更為複雜，並增加系統成本/延遲(latency)。舉例來說，在HEVC測試模組版本4.0(HM-4.0)中，樣本自適應偏移及自適應迴路濾波器自適應地被採用，允許樣本自適應偏移參數及自適應迴路濾波器參數可針對每一圖像(“WD4：Working Draft 4 of High-Efficiency Video Coding”,Bross et.al.,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,6th Meeting：Torino,IT,14-22 July,2011,Document：JCTVC-F803)自適應地被判定。在一圖像的樣本自適應偏移處理期間，該圖像的樣本自適應偏移參數基於該圖像的去塊濾波器輸出像素及原始像素而得到，接著樣本自適應偏移處理應用於具有所得到的樣本自適應偏移參數的去塊濾波器處理過的圖像上。類似地，在一圖像的自適應迴路濾波器處理期間，圖像的自適應迴路濾波器參數基於該圖像的樣本自適應偏移輸出像素及原始像素而得到，接著自適應迴路濾波器處理應用於具有所得到的自適應迴路濾波器參數的樣本自適應偏移處理過的圖像上。基於樣本自適應偏移及自適應迴路濾波器處理的圖像需要 訊框緩衝器來儲存一去塊濾波器處理過的訊框及一樣本自適應偏移處理過的訊框。該些系統由於附加的訊框緩衝器需求會導致更高的系統成本，亦會造成更長的編碼延遲。
第3圖係在編碼器端基於順序的(sequential)樣本自適應偏移處理及自適應迴路濾波器處理的一編碼器的系統方塊圖。在採用樣本自適應偏移方塊320之前，樣本自適應偏移參數必須被獲取到，如樣本自適應偏移參數推導方塊310所示。樣本自適應偏移參數是基於去塊濾波器處理過的資料而得到的。在樣本自適應偏移應用於去塊濾波器處理過的資料後，如自適應迴路濾波器參數推導方塊330所示，樣本自適應偏移處理過的資料用來獲得自適應迴路濾波器參數。根據自適應迴路濾波器參數的判定，自適應迴路濾波器應用於樣本自適應偏移處理過的資料，如自適應迴路濾波器方塊340所示。如上所述，由於樣本自適應偏移參數係基於去塊濾波器處理過的視訊資料的完整訊框(whole frame)而得到的，需要訊框緩衝器來儲存去塊濾波器輸出像素，以用於後續的樣本自適應偏移處理。類似地，同樣需要訊框緩衝器來存儲樣本自適應偏移輸出像素，以用於後續的自適應迴路濾波器處理。該些緩衝器沒有在第3圖中明確表示出來。在較新的HEVC發展中，基於最大編碼單元的樣本自適應偏移及自適應迴路濾波器用來降低緩衝器的需求，同時用來降低編碼器延遲。然而，第3圖所示的同樣的處理工作流程可用於基於最大編碼單元的迴路處理中。換句話說，藉由最大編碼單元的基礎，在一最大編碼單元上，樣本自適應偏移參數從去塊濾波器輸出像素中來判定，自適應迴路濾波器參數從樣本自適應偏移輸出像素中來判定。如前面討論的，直到來自鄰近最大編碼單元(最大編碼單元下方及最大編碼單元的右方)所需資料變得可用，一當前最大編碼單元的去塊濾波處理才能被完成。因此，對一當前最大編碼單元的樣本自適應偏移處理會被延遲大致最大編碼單元的一圖像列(picture-row)，並且 需要一相應的緩衝器來儲存最大編碼單元的該圖像列。自適應迴路濾波處理也有類似的問題。
根據HM-5.0，如第4圖所示，針對基於最大編碼單元的處理，壓縮的視訊位元流被構造(structured)來緩解解碼過程。位元流400相當於圖像區域之被壓縮的視訊資料，該圖像區域可以係為一完整圖像或一部分(slice)圖像。針對對應的圖像，構造位元流400以包含一訊框頭部(frame header)410(或者，如果使用部分構造則為一部分頭部(slice header))，在一圖像中針對單獨的最大編碼單元，被壓縮的資料係跟隨於該對應的圖像。每一最大編碼單元資料包含一最大編碼單元頭部420及最大編碼單元殘餘資料430(residual data)。該最大編碼單元頭部位於每一最大編碼單元位元流的起始處並且包含最大編碼單元共有的(common)資訊，例如樣本自適應偏移參數控制資訊及自適應迴路濾波器控制資訊。因此，在最大編碼單元殘餘量之解碼起動(start)之前，解碼器可依據包含於最大編碼單元頭部中之資訊被正確地設置，如此一來便可降低解碼器端的緩衝器需求。然而，由於殘餘量必須被緩衝，直到欲併入最大編碼單元頭部之頭部資訊準備好，因此對於編碼器來說，產生符合第4圖中位元流構造的一位元流係一負擔。
如第4圖所示，最大編碼單元頭部係插入最大編碼單元殘餘資料的前面。對於最大編碼單元，樣本自適應偏移參數包含於最大編碼單元頭部中。最大編碼單元中的樣本自適應偏移參數係基於最大編碼單元之去塊濾波器處理過的像素而得到的。因此完整最大編碼單元的去塊濾波器處理過的像素在樣本自適應偏移處理能夠應用於去塊濾波器處理過的資料之前必須被緩衝。此外，樣本自適應偏移參數包含樣本自適應偏移濾波器打開/關閉決定(On/Off decision)，其係關於樣本自適應偏移是否應用於當前最大編碼單元。樣本自適應偏移濾波器打開/關閉決定係基於當前最大編碼單元之原 始像素資料及去塊濾波器處理過的像素資料而得到的。因此，當前最大編碼單元之原始像素資料也必須被緩衝。當最大編碼單元選擇打開決定時，樣本自適應偏移濾波器類型(亦即邊界偏移(Edge Offset,EO)或帶寬偏移(Band Offset,BO))會進一步被判定。針對已選擇的樣本自適應偏移濾波器類型，對應的邊界偏移參數或帶寬偏移參數會被判定。如HM-5.0所描述的，打開/關閉決定、EO/BO決定以及對應的EO/BO參數係包含於最大編碼單元頭部中。在解碼器端，由於樣本自適應偏移參數包含於位元流中，所以並沒有要求樣本自適應偏移參數的來源。自適應迴路濾波器的情形係同樣本自適應偏移過程類似。然而，樣本自適應偏移過程係基於去塊濾波處理過的像素，而自適應迴路濾波器過程係基於樣本自適應偏移過程處理過的像素。
如前所述，去塊濾波器處理係確定性的(deterministic)，其中該些運作係依赖於基礎重建過的像素(underlying reconstructed pixel)及已準備好的可用資訊。附加資訊無須藉由編碼器而得到且無須包含於位元流中。因此，在無自適應濾波器(如樣本自適應偏移及自適應迴路濾波器)的視訊編碼系統中，編碼器處理管線(processing pipeline)係相對簡單的。第5圖係有關於編碼器之關鍵處理步驟之示範性處理管線的示意圖。間/內預測方塊(Inter/Intra Prediction)510分別表示對應於第1圖的ME/MC方塊112及內預測方塊110之間預測及內預測之運動估計/運動補償。重建方塊520係負責產生重建過的像素，其對應於第1圖中的轉換方塊118，量化方塊120,反量化方塊124，逆轉換方塊126及重建方塊128。首先在每一最大編碼單元執行間/內預測方塊510以產生殘餘量，接著重建方塊520應用於該殘餘量以產生重建過的像素。間/內預測510方塊及重建520方塊係順序執行的。然而，由於在熵編碼530方塊及去塊540方塊之間沒有資料相關性(data dependency)，熵編碼530方塊及去塊540方塊可並行執行。第5圖係說明 實作一無自適應濾波處理之編碼系統之一示範性編碼器管線之示意圖。編碼器系統之處理管線可作不同的設置。
當使用自適應濾波器處理時，處理管線需要被小心地設置。第6A圖係為有關於具有樣本自適應偏移610之一編碼器之關鍵處理步驟之一示範性處理管線的示意圖。如前所述，樣本自適應偏移操作於去塊濾波器處理過的像素。因此，樣本自適應偏移方塊610於去塊540方塊後執行。因為樣本自適應偏移參數會包含於最大編碼單元頭部中，因此熵編碼530方塊需要等待直到得到樣本自適應偏移參數。相應地，第6A圖中所示的熵編碼530方塊開始於得到樣本自適應偏移參數之後。第6B圖係為具有樣本自適應偏移之一編碼器之另一管線架構(pipeline architecture)的示意圖，其中熵編碼530方塊開始於樣本自適應偏移方塊610結束時。最大編碼單元尺寸可為64x64像素。當在管線階段發生附加延遲時，一最大編碼單元資料需要被緩衝。緩衝器尺寸會相當大。因此，需要在處理管線中縮短延遲。
第7A圖係為有關於具有樣本自適應偏移方塊610及自適應迴路濾波器方塊710之一編碼器之關鍵處理步驟之一示範性處理管線的示意圖。如前所述，自適應迴路濾波器操作於樣本自適應偏移處理過的像素。因此，自適應迴路濾波器710在樣本自適應偏移方塊610之後被執行。因為自適應迴路濾波器控制資訊會包含於最大編碼單元頭部中，所以熵編碼530方塊需要等待直到得到自適應迴路濾波器控制資訊。相應地，第7A圖中所示的熵編碼530方塊開始於得到自適應迴路濾波器控制資訊之後。第7B圖係為具有樣本自適應偏移及自適應迴路濾波器之一編碼器之另一管線架構的示意圖，其中熵編碼530方塊開始於自適應迴路濾波器710結束時。
如第6A-6B圖及第7A-7B圖所示，由於自適應濾波器處理的順序流程性質(sequential process nature)，具有自適應濾波器處理的一系統會導致更長的處理延遲。需要開發一種能夠減少有關自適應濾波器處理的處理延 遲及緩衝器尺寸的方法及裝置。
迴路濾波器能夠有效增強圖像品質，相關的處理需要至編碼端圖像級資料(picture-level data)的多路訪問(multi-pass access)，以執行參數生成及濾波器操作。第8圖係為包含去塊、樣本自適應偏移及自適應迴路濾波器之一示範性HEVC編碼器的示意圖。第8圖中的編碼器係基於第1圖中的HEVC編碼器。然而，樣本自適應偏移參數推導(SAO parameter derivation)方塊831及自適應迴路濾波器參數推導(ALF parameter derivation)方塊832都明確顯示出來。樣本自適應偏移參數推導方塊831需要存取(access)原始視訊資料及去塊濾波器處理過的資料以產生樣本自適應偏移參數。樣本自適應偏移方塊131接著基於所得到的樣本自適應偏移參數，操作於去塊濾波器處理過的資料上。類似地，自適應迴路濾波器參數推導方塊832需要存取原始視訊資料及樣本自適應偏移處理過的資料以產生自適應迴路濾波器參數。自適應迴路濾波器132接著基於所得到的自適應迴路濾波器參數，操作於樣本自適應偏移處理過的資料上。如果晶片上緩衝器(on-chip buffer)(例如SRAM)用於圖像級多路編碼，晶片面積會非常大。因此，片外(off-chip)訊框緩衝器(例如DRAM)用來儲存圖像。外部記憶體帶寬及系統功耗會大幅增加。相應地，需要開發一種能夠緩解高記憶體存取需求的機制。
本發明提供一種對解碼系統中重建過的視訊資料的解碼方法及裝置。該解碼方法中的迴路處理包含一迴路濾波器及一個或多個自適應濾波器。在本發明一實施例中，自適應濾波處理係應用於迴路處理過的視訊資料。該自適應濾波器的濾波器參數得自於預迴路視訊資料，以便一旦後續自適應濾波器處理有足夠的迴路處理過的資料變得可用，自適應濾波器處理便可 應用於該迴路處理過的視訊資料。解碼系統可以為基於圖像的處理或基於影像單元的處理。迴路處理及自適應濾波器處理可以同時應用於基於圖像系統的圖像的一部分。針對一基於影像單元系統，自適應濾波器處理可與迴路濾波器同時應用於該影像單元的一部分。該影像單元可以為一最大編碼單元或一宏模塊。
在一實施例中，一移動窗口用於包含迴路濾波器及一個或多個自適應濾波器的基於影像單元的解碼系統。預迴路視訊資料使用一移動窗口上的迴路濾波器及第一自適應濾波器來被處理，該移動窗口包含一當前圖像的一個或多個影像單元對應的一個或多個次區域。迴路濾波器應用於該預迴路視訊資料以產生該第一處理過的資料，且該第一自適應濾波器應用於使用包含於視訊位元流中的該第一自適應濾波器參數的該第一處理過的資料，以產生該第二處理過的視訊資料。在另一實施例中，該迴路濾波器及該第一自適應濾波器可同時應用於一當前移動窗口之至少一部分，或者該第一自適應濾波器應用於一第二移動窗口且該迴路濾波器同時應用於一第一移動窗口，其中該第二移動窗口延遲該第一移動窗口一個或多個移動窗口。
本發明提供一種解碼視訊資料的裝置，該裝置包含有：一重建方塊，用以從一視訊位元流中產生重建過的視訊資料；一迴路濾波器及一第一自適應濾波器，應用於該重建過的視訊資料的一移動窗口，其中該移動窗口包含一當前圖像的一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動窗口的至少一部分，或者該第一自適應濾波器應用於一第二移動窗口且該迴路濾波器同時應用於一第一移動窗口，其中該第二移動窗口係從該第一移動窗口延遲一個或多個移動窗口；其中該迴路濾波器應用於該重建過的視訊資料以產生一第一處理過的資料；以及該第一自適應濾波器應用於該第一處理過的資料以產生一第二處理過的視訊資料。
本發明另提供一種解碼視訊資料的方法，該方法包含：從一視訊位元流中產生重建過的視訊資料；在該重建過的視訊資料的一移動窗口應用一迴路濾波器及一第一自適應濾波器，其中該移動窗口包含一當前圖像之一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係順序應用於一當前移動窗口之至少一第一部分；其中該迴路濾波器及該第一自適應濾波器係在該第一部分之後順序應用於該當前移動窗口之至少一第二部分；其中該迴路濾波器應用於該重建過的視訊資料以產生一第一處理過的資料；以及該第一自適應濾波器應用於該第一處理過的資料以產生一第二處理過的視訊資料。
本發明另提供一種解碼視訊資料的裝置，該裝置包含有：一重建方塊，用以從一視訊位元流中產生重建過的視訊資料；一迴路濾波器及一第一自適應濾波器，應用於該重建過的視訊資料的一移動窗口，其中該移動窗口包含一當前圖像之一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係順序應用於一當前移動窗口之至少一第一部分；其中該迴路濾波器及該第一自適應濾波器係在該第一部分之後順序應用於該當前移動窗口之至少一第二部分；其中該迴路濾波器應用於該重建過的視訊資料以產生一第一處理過的資料；以及該第一自適應濾波器應用於該第一處理過的資料以產生一第二處理過的視訊資料。
上述方法及裝置可減少有關迴路濾波的處理延遲和/或緩衝器需求。
如前所述，迴路處理的各種類型用於視訊編碼器或解碼器中順序地重建過的視訊資料。舉例來說，在HEVC中，首先採用去塊濾波器處理；接著採用樣本自適應偏移處理；然後再採用自適應迴路濾波器處理，如第1圖所示。此外，自適應濾波器(亦即此例中樣本自適應偏移及自適應迴路濾 波器)各自的濾波器參數係基於前一級(previous-stage)迴路處理之處理過的輸出而得到的。舉例來說，樣本自適應偏移參數係基於去塊濾波器處理過的像素而得到的，以及自適應迴路濾波器參數係基於樣本自適應偏移處理過的像素而得到的。在基於影像單元(image-unit-based)的編碼系統中，針對一完整的影像單元，自適應濾波器參數推導係基於處理過的像素。所以，後續的自適應濾波器處理不能開始，直到影像單元的前一階段迴路處理完成。換言之，影像單元的去塊濾波器處理過的像素必須被緩衝以用於後續的樣本自適應偏移處理，並且影像單元的樣本自適應偏移處理過的像素必須被緩衝以用於後續的自適應迴路濾波器處理。影像單元的尺寸可為64x64像素，同時緩衝器會相當大。另外，上述系統也會導致從一個級到下一級的處理延遲及增加整體處理延遲。
本發明一實施例可緩解緩衝器尺寸需求及減少處理延遲。於一實施例中，自適應濾波器參數推導係基於重建過的像素，而不是基於去塊濾波器處理過的資料。換言之，自適應濾波器參數推導係基於在前一級迴路處理之前的視訊資料。第9圖係本發明實施例之編碼器之一示範性處理流程的示意圖。自適應濾波器參數推導方塊930係基於重建過的資料進行自適應濾波器參數推導，而不是基於去塊濾波器處理過的資料。因此，無論何時有足夠的去塊濾波器處理過的資料變得可用，自適應濾波器920都可開始處理，而不需要等待當前影像單元去塊濾波器910的處理完成。相應地，針對後續的自適應濾波器920處理，無須儲存整個影像單元的去塊濾波器910處理過的資料。自適應濾波器處理可為樣本自適應偏移處理或自適應迴路濾波器處理。自適應濾波器參數推導方塊930也可依赖於去塊濾波器910處理的部分輸出912。舉例來說，除重建過的視訊資料之外，對應於第一少數方塊(block)的去塊濾波器910的輸出，還可以包含於自適應濾波器參數推導方塊930中。由於僅使用去塊濾波器方塊910的部分輸出，後續自 適應濾波器方塊920可在去塊濾波器910處理完成之前開始。
在另一實施例中，自適應濾波處理的兩種或多種類型的自適應濾波器參數推導係基於相同的源(source)。舉例來說，自適應迴路濾波器參數推導與樣本自適應偏移參數推導可基於相同的源資料，即去塊濾波處理過的資料，而不是使用樣本自適應偏移處理過的像素。因此，自適應迴路濾波器參數可以不需要等待當前影像單元的樣本自適應偏移處理完成就能得到。實際上，自適應迴路濾波器參數的獲得可於樣本自適應偏移處理開始之前或於樣本自適應偏移處理開始之後一段短時期內完成。同時，無論何時有足夠的樣本自適應偏移處理過的資料變得可用，自適應迴路濾波處理都可開始，而不需要等待影像單元的樣本自適應偏移處理完成。第10A圖係依據本發明實施例之一示範性系統設置的示意圖，其中樣本自適應偏移參數推導方塊1010及自適應迴路濾波器參數推導方塊1040都基於相同的源資料(亦即本例中的去塊濾波器處理過的像素)。所得到的參數接著被提供至樣本自適應偏移方塊1020及自適應迴路濾波器1030中處理。由於針對自適應迴路濾波器處理，無論何時有足夠的樣本自適應偏移處理過的資料變得可用，後續自適應迴路濾波器處理都可開始來操作，第10A圖緩解了緩衝完整影像單元的樣本自適應偏移處理過的像素的需求。自適應迴路濾波器參數推導方塊1040也可依赖於樣本自適應偏移方塊1020的部分輸出1022。舉例來說，除去塊濾波器的輸出資料之外，對應於第一少數線(line)或方塊的樣本自適應偏移方塊1020的輸出，亦可以包含於自適應迴路濾波器參數推導方塊1040中。由於僅使用樣本自適應偏移方塊1020的部分輸出，後續自適應迴路濾波器1030可在樣本自適應偏移方塊1020完成之前開始。
在又一例子中，樣本自適應偏移參數推導方塊及自適應迴路濾波器參數推導方塊進一步被移至前一級，如第10B圖所示。樣本自適應偏移參數推 導及自適應迴路濾波器參數推導可基於預去塊濾波器資料(pre-DF data)(亦即重建過的資料)，而不使用去塊濾波器處理過的像素。此外，樣本自適應偏移參數推導及自適應迴路濾波器參數推導可並行執行。樣本自適應偏移參數不需要等待當前影像單元去塊濾波器處理的完成便可得到。實際上，樣本自適應偏移參數的獲得可於去塊濾波器處理開始之前或於去塊濾波器處理開始之後一段短時期內完成。而且，無論何時有足夠的去塊濾波器處理過的資料變得可用，樣本自適應偏移處理都可開始，而不需要等待影像單元的去塊濾波器處理完成。類似地，無論何時有足夠的樣本自適應偏移處理過的資料變得可用，自適應迴路濾波器處理都可開始，而不需要等待影像單元的樣本自適應偏移處理完成。樣本自適應偏移參數推導方塊1010也可依赖於去塊濾波器1050的部分輸出1012。舉例來說，除重建過的輸出資料之外，對應於第一少數塊的去塊濾波器1050的輸出可包含於樣本自適應偏移參數推導方塊1010中。由於僅使用去塊濾波器1050的部分輸出，後續樣本自適應偏移方塊1020可在去塊濾波器1050完成之前開始。類似地，自適應迴路濾波器參數推導方塊1040也可依赖於去塊濾波器1050的部分輸出1012以及樣本自適應偏移方塊1020的部分輸出1024。由於僅使用樣本自適應偏移方塊1020的部分輸出，後續自適應迴路濾波器1030可在樣本自適應偏移方塊1020完成之前開始。第10A圖及第10B圖所示的系統設置可減少緩衝器需求及處理延遲，而所得到的樣本自適應偏移參數及自適應迴路濾波器參數在視覺效果(PSNR)方面可能不是最佳的。
為了降低樣本自適應偏移及自適應迴路濾波器的DRAM帶寬需求，依據本發明一實施例將自適應迴路濾波器處理的記憶體存取與下一圖像編碼過程的間預測(Inter prediction)階段的記憶體存取相結合，如第11A圖所示。由於間預測需要存取參考圖像以執行運動估計或運動補償，自適應迴路濾波器過程可在此階段被執行。與傳統的自適應迴路濾波器實作相比 較，ME/MC方塊112及自適應迴路濾波器132的結合處理方塊1110可減少對DRAM的一次附加讀及一次附加寫來產生參數及應用濾波器處理。在濾波器處理被應用之後，改進的(modified)參考資料可藉由替換未被濾波的資料而被儲存回參考圖像緩衝器以供將來使用。第11B圖係結合迴路處理的間預測的另一實施例，包含ME/MC方塊112及迴路處理的結合處理方塊1120，其中迴路處理包含樣本自適應偏移方塊131以及自適應迴路濾波器132，以進一步降低記憶體帶寬需求。樣本自適應偏移參數推導方塊831以及自適應迴路濾波器參數推導方塊832都需要使用去塊濾波器130輸出的像素來作為輸入，如第11B圖所示。與傳統的迴路處理相比較，第11B圖的實施例可減少外部記憶體(例如DRAM)兩次附加讀及兩次附加寫來用於參數推導及濾波器操作。此外，樣本自適應偏移參數及自適應迴路濾波器參數可並行產生，如第11B圖所示。在此實施例中，自適應迴路濾波器參數推導可能不是最佳的。然而，本發明實施例相關的編碼損失可依據DRAM記憶體存取的實質性減少而被調整。
在HM-4.0中，對於去塊濾波器，不需要濾波器參數推導。在本發明另一實施例中，去塊濾波器的線緩衝器(line buffer)與ME搜索範圍緩衝器共享，包含ME/MC方塊112及迴路處理的結合處理方塊1130，其中迴路處理方塊包含去塊濾波器130、樣本自適應偏移方塊131以及自適應迴路濾波器132，如第11C圖所示。在此設置中，樣本自適應偏移參數推導方塊831及自適應迴路濾波器參數推導方塊832使用預去塊濾波器像素(亦即重建過的像素)作為輸入。
第10A圖及第10B圖係基於相同的源的多個自適應濾波器參數推導的兩個實施例。為了得到基於相同的源的自適應濾波器處理的兩種或多種類型的自適應濾波器參數，基於前一級迴路處理之前的資料，得到至少一組的自適應濾波器參數。第10A圖及第10B圖的實施例係依據本發明的處理 流程方面的示意圖，第12A-12B圖及第13A-13B圖係依據本發明實施例的時間方面的示意圖。第12A-12B圖係為包含自適應濾波器處理(例如樣本自適應偏移或自適應迴路濾波器)一種類型之一編碼系統之一示範性時間表(time profile)。首先執行間/內預測方塊1210，接著執行重建方塊1220。如前所述，轉換、量化、反量化及逆轉換(inverse transformation)都隱含包含於間/內預測方塊1210及重建方塊1220中。由於自適應濾波器參數推導係基於預去塊濾波器資料，當重建過的資料變得可用時，自適應濾波器參數推導可開始。一旦當前影像單元的重建完成或不久之後，自適應濾波器參數推導也可完成。
第12A圖所示的示範性處理管線流程圖中，去塊方塊1230於當前影像單元重建完成之後執行。此外，第12A圖的實施例於去塊方塊1230及熵編碼方塊1240開始之前完成自適應濾波器參數推導方塊1260，如此一來，自適應濾波器參數對於熵編碼方塊1240併入對應的影像單元位元流的頭部來說便是及時的。在第12A圖的例子中，當重建過的資料被產生且被寫入至訊框緩衝器之前，可存取該重建過的資料用於自適應濾波器參數推導。無論何時有足夠的迴路處理過的資料(亦即此例中去塊濾波器處理過的資料)變得可用，對應的自適應濾波器處理(例如樣本自適應偏移或自適應迴路濾波器)都可開始，而不需要等待影像單元上的迴路濾波器處理的完成。第12B圖所示的實施例在重建方塊1220完成之後執行自適應濾波器參數推導方塊1260。換言之，自適應濾波器參數推導方塊1260與去塊方塊1230並行執行。在第12B圖的例子中，當重建過的資料從緩衝器讀回用於去塊時，可存取該重建過的資料用於自適應濾波器參數推導。當獲得自適應濾波器參數時，熵編碼方塊1240可開始將自適應濾波器參數併入對應的影像單元位元流的頭部中。如第12A圖及第12B圖所示，針對影像單元週期(period)的一部分(portion)，迴路濾波器處理(即此例中的去塊)及自 適應濾波器處理(即此例中的樣本自適應偏移)方塊1250係同時執行的。根據第12A圖及第12B圖的實施例，在該影像單元週期的一部分期間，迴路濾波器可應用於影像單元的第一部分中的重建過的視訊資料，同時自適應濾波器可應用於影像單元的第二部分中該迴路處理過的資料。因為自適應濾波器操作可依赖於一基礎像素的鄰近像素，所以自適應濾波器操作必須等待有足夠的迴路處理過的資料變得可用。相應地，該影像單元的該第二部分係相當於有關該影像單元的該第一部分的延遲的視訊資料。針對該影像單元週期的一部分，當迴路濾波器應用於該影像單元的該第一部分的重建過的視訊資料，同時自適應濾波器應用於影像單元的第二部分中該迴路處理過的資料時，這種情況被稱為迴路濾波器及自適應濾波器同時應用於該影像單元的一部分。依赖於迴路濾波器處理及自適應濾波器處理的濾波器特性，該並發的(concurrent)處理可表示該影像單元週期的大部分。
有關於並發的迴路濾波器及自適應濾波器的管線流程，如第12A圖及第12B圖所示，可應用於基於圖像的編碼系統，也可應用於基於影像的編碼系統。在基於圖像的編碼系統中，一旦有足夠的去塊濾波器處理過的視訊資料變得可用，後續的自適應濾波器處理便可應用於去塊濾波器處理過的視訊資料。因此，在去塊濾波器及樣本自適應偏移之間無須儲存完整的去塊濾波器處理過的圖像。在基於影像單元的編碼系統中，並發的迴路濾波器及自適應濾波器可應用於如前所述的影像單元的一部分。然而，在本發明另一實施例中，兩個連續的(consecutive)迴路濾波器(loop filter)(例如去塊濾波器處理及樣本自適應偏移處理)應用於兩個影像單元，該兩個影像單元被一個或多個影像單元所分離。舉例來說，當去塊濾波器應用於當前影像單元時，樣本自適應偏移應用於一先前去塊濾波器處理過的影像單元，其係從當前影像單元分離的影像單元。
第13A圖及第13B圖係包含樣本自適應偏移及自適應迴路濾波器的一 編碼系統的一示範性時間表。間/內預測方塊1210、重建方塊1220及去塊方塊1230在一影像單元基礎上被順序地執行。由於樣本自適應偏移參數及自適應迴路濾波器參數係基於重建過的資料來得到的，第13A圖所示的實施例在去塊方塊1230開始前便執行樣本自適應偏移參數推導方塊1330及自適應迴路濾波器參數推導方塊1340。因此，樣本自適應偏移參數推導及自適應迴路濾波器參數推導可並行執行。當樣本自適應偏移參數變得可用或者當樣本自適應偏移參數及自適應迴路濾波器參數變得可用時，熵編碼方塊1240可開始將樣本自適應偏移參數及自適應迴路濾波器參數併入到影像單元資料的頭部。第13A圖係在重建方塊1220期間，執行樣本自適應偏移參數推導及自適應迴路濾波器參數推導的一實施例。如前所述，針對自適應濾波器參數推導，重建過的資料的存取可發生於產生該重建過的資料時或將該資料寫入訊框緩衝器之前。樣本自適應偏移參數推導及自適應迴路濾波器參數推導可在同一時間開始，也可交錯(stagger)進行。無論何時有足夠的去塊濾波器處理過的資料變得可用，樣本自適應偏移處理方塊1310都可開始，而不需要等待影像單元上的去塊濾波器處理的完成。無論何時有足夠的樣本自適應偏移處理過的資料變得可用，自適應迴路濾波器處理方塊1320都可開始，而不需要等待影像單元上的樣本自適應偏移處理的完成。第13B圖所示的實施例在重建方塊1220完成之後執行樣本自適應偏移參數推導方塊1330及自適應迴路濾波器參數推導方塊1340。在獲得樣本自適應偏移參數及自適應迴路濾波器參數之後，熵編碼方塊1240可開始將該些參數併入到對應的影像單元位元流的頭部。在第13B圖的例子中，針對自適應濾波器參數推導，重建過的資料的存取可發生於當重建過的資料從緩衝器讀回以用於去塊時。如第13A圖及第13B圖所示，針對影像單元週期的一部分，迴路濾波器處理(即此例中的去塊)及多個自適應濾波器處理(即此例中的樣本自適應偏移及自適應迴路濾波器)係同時發生。 依赖於迴路濾波器處理及自適應濾波器處理的濾波器特性，該並發的處理可表示該影像單元週期的大部分。
有關於並發的迴路濾波器及一個或多個自適應濾波器的管線流程，如第13A圖及第13B圖所示，可應用於基於圖像的編碼系統，也可應用於基於影像的編碼系統。在基於圖像的編碼系統中，一旦有足夠的去塊濾波器處理過的視訊資料變得可用，後續的自適應濾波器處理便可應用於去塊濾波器處理過的視訊資料。因此，在去塊濾波器及樣本自適應偏移之間無須儲存完整的去塊濾波器處理過的圖像。類似地，一旦有足夠的樣本自適應偏移處理過的資料變得可用，自適應迴路濾波器處理便可開始，而在樣本自適應偏移及自適應迴路濾波器之間無須儲存完整的樣本自適應偏移處理過的圖像。在基於影像單元的編碼系統中，並發的迴路濾波器及一個或多個自適應濾波器可應用於如前所述的影像單元的一部分。然而，在本發明另一實施例中，兩個連續的迴路濾波器(例如去塊濾波器處理及樣本自適應偏移處理，或者樣本自適應偏移處理及自適應迴路濾波器處理)應用於兩個影像單元，該兩個影像單元係被一個或多個影像單元所分離。舉例來說，當去塊濾波器應用於當前影像單元時，樣本自適應偏移應用於一先前去塊濾波器處理過的影像單元，其係從當前影像單元分離的影像單元。
第12A-12B圖及第13A-13B圖係為依據本發明不同實施例的自適應濾波器參數推導及處理的示範性時間表。該些例子不是對本發明的時間表的詳盡說明，所屬領域具有通常知識者可以在不脫離本發明精神的前提下重新安排或修改該時間表以實現本發明。
如前所述，在HEVC中，採用基於影像單元的編碼過程，其中每一影像單元可使用其特有的樣本自適應偏移參數及自適應迴路濾波器參數。去塊濾波器處理應用於垂直塊邊界與水平塊邊界。針對與影像單元邊界對齊(aligned with)的塊邊界，去塊濾波器處理也依赖於鄰近影像單元的資料。 因此，在邊界處或邊界附近的某些像素不能被處理，直到所需的鄰近影像單元的像素變得可用。樣本自適應偏移處理及自適應迴路濾波器處理也包含正在處理的一像素附近的鄰近像素。因此，當樣本自適應偏移及自適應迴路濾波器應用於影像單元邊界時，需要附加的緩衝器來容納(accommodate)鄰近影像單元的資料。相應地，編碼器及解碼器需要分配一個相當大的緩衝器以儲存去塊濾波器處理、樣本自適應偏移處理及自適應迴路濾波器處理期間的中間資料。該相當大的緩衝器本身會引起長時間的編碼或解碼延遲。第14圖係用於連續影像單元的具有去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理的一傳統HEVC解碼器的解碼管線流程的一實施例。輸入的位元流藉由執行位元流語法分析(bitstream parsing)及熵解碼之位元流解碼方塊1410來處理。該被分析過的及熵解碼過的符元接著經過視訊解碼步驟以產生重建過的殘餘量，該視訊解碼步驟包含反量化及逆轉換(IQ/IT)方塊1420、內預測/運動補償(IP/MC)方塊1430。重建方塊(REC)1440接著操作於該重建過的殘餘量及先前重建過的視訊資料以針對一當前影像單元或塊產生重建過的視訊資料。包含去塊濾波器1450、樣本自適應偏移方塊1460及自適應迴路濾波器1470的各種迴路處理接著應用於該繼續重建過的資料。在第一影像單元時間(t=0)，影像單元0藉由位元流解碼方塊1410處理。在下一影像單元時間(t=1)，影像單元0移動到管線的下一階段(亦即IQ/IT 1420及IP/MC 1430)，並且一新影像單元(亦即影像單元1)藉由位元流解碼方塊1410處理。處理繼續進行，在t=5，當一新影像單元(亦即影像單元5)進入位元流解碼方塊1410時，影像單元0到達自適應迴路濾波器1470。如第14圖所示，需要6個影像單元週期來藉由各種迴路處理以解碼、重建及處理一影像單元。因此需要降低解碼延遲。此外，任意兩個連續階段之間，會有一緩衝器來儲存一影像單元的視訊資料。
依據本發明一實施例的一解碼器可降低解碼延遲。如第13A圖及第13B圖所描述的，樣本自適應偏移參數及自適應迴路濾波器參數可基於重建過的資料而得到，並且該些參數在重建的最後或者不久之後變得可用。因此，無論何時有足夠的去塊濾波器處理過的資料可用，樣本自適應偏移都可開始。第15圖係依據本發明實施例之一解碼器之解碼管線流程圖。針對最初的三個處理週期，管線流程與傳統解碼器一樣。然而，去塊濾波處理、樣本自適應偏移處理及自適應迴路濾波處理可以交錯方式(staggered fashion)開始，並且該些處理於三種迴路處理類型之間係實質上重疊。換言之，針對影像單元資料的一部分，迴路濾波器(即此例中去塊濾波器)以及一個或多個自適應濾波器(即此例中樣本自適應偏移及自適應迴路濾波器)係同時執行。相應地，相較於傳統HEVC解碼器來說，解碼延遲得以降低。
第15圖所示之實施例有助於降低解碼延遲，其係藉由允許去塊濾波、樣本自適應偏移及自適應迴路濾波以交錯方式來執行，如此一來，在一完整影像單元上，後續處理便不需要等待前一階段處理的完成。然而，去塊濾波處理、樣本自適應偏移處理及自適應迴路濾波可依赖於鄰近像素，對於影像單元邊界附近的像素來說，會導致鄰近影像單元上的資料相關性。第16圖係依據本發明一實施例之基於影像單元之具有去塊濾波處理及至少一自適應濾波處理之解碼器之一示範性解碼管線流程圖。塊1601~1605表示五個影像單元，其中每一影像單元包含16x16像素且每一像素以一小正方形1646表示。影像單元1605係當前要處理的影像單元。由於影像單元邊界有關去塊濾波器的資料相關性，當前影像單元的一次區域(sub-region)及從先前處理過的鄰近影像單元而來的三個次區域可由去塊濾波器處理。窗口(也稱為移動窗口)由粗虛線框1610及四個次區域表示，該四個次區域係分別對應於影像單元1601、1602、1604及1605中的四個白色區域(white area)。依據光柵掃描順序處理該些影像單元，亦即從影像單元1601至影 像單元1605。第16圖所示的窗口對應於有關影像單元1605的一時間段內被處理的像素。此時，陰影區域1620完全係被去塊濾波器處理。陰影區域1630由水平去塊濾波處理，而不由垂直去塊濾波處理。影像單元1605中的陰影區域1640既不由水平去塊濾波處理，也不由垂直去塊濾波處理。
第15圖顯示一編碼系統，允許對影像單元的至少一部分同時執行去塊濾波、樣本自適應偏移及自適應迴路濾波，以降低緩衝器需求及處理延遲。第15圖所示的去塊濾波處理、樣本自適應偏移處理及自適應迴路濾波處理可應用於第16圖所示的系統中。針對當前窗口1610，可首先應用水平去塊濾波，接著應用垂直去塊濾波。樣本自適應偏移操作需要鄰近像素以獲得濾波器類型資訊。因此，本發明一實施例儲存移動窗口外之右邊界及底邊界的相關像素的資訊，該資訊係獲得類型資訊所需要的。類型資訊可基於邊界標誌(edge sign)(亦即窗口中一基礎像素與一鄰近像素之間差異的標誌)得到。儲存標誌資訊(sign information)比儲存像素值(pixel value)更加緊湊(compact)。相應地，如第16圖中白色圓圈1644所示，獲得標誌資訊以用於窗口中右邊界及底邊界的像素。當前窗口中右邊界及底邊界的有關像素的標誌資訊會被儲存以用於後續窗口的樣本自適應偏移處理。換言之，當樣本自適應偏移用於窗口內左邊界及上邊界的像素時，窗口外的邊界像素已經被去塊濾波器處理且不能用於類型資訊推導。然而，窗口中與邊界像素有關的先前儲存的標誌資訊可被取回(retrieve)以獲得類型資訊。用於當前窗口的樣本自適應偏移處理的與先前儲存的標誌資訊有關的像素位置由第16圖中黑色圓圈1648表示。系統會儲存先前計算過的標誌資訊以用於與當前窗口的頂列對齊的一列1652、當前窗口底部之下的一列1654以及與當前窗口最左列對齊的一行1656。在當前窗口的樣本自適應偏移處理完成之後，當前窗口向右移且儲存的標誌資訊可被更新。當窗口在右側達到圖像邊界時，該窗口向下移且從左側圖像邊界開始。
第16圖所示的當前窗口1610覆蓋了穿過四個鄰近影像單元(亦即最大編碼單元1601、1602、1604及1605)中的像素。然而，窗口可覆蓋一個或兩個最大編碼單元。處理窗口從位於圖像左上角第一最大編碼單元開始，且以光柵掃描方式穿過圖像移動。第17A圖至第17C圖係處理進展(processing progression)的一實施例。第17A圖係有關於一圖像的一第一最大編碼單元1710a的處理窗口。LCU_x及LCU_y分別表示最大編碼單元水平及垂直索引(index)。當前窗口以具有右側邊界1702a及底側邊界1704a的白色背景的區域表示。頂窗口邊界及左窗口邊界被圖像邊界界化(bound)。在第17A圖中，16x16最大編碼單元尺寸被用來作為一個例子且每一正方形對應於一像素。完整的去塊濾波處理(亦即水平去塊濾波處理及垂直去塊濾波處理)可用於窗口1720a(亦即白色背景區域)中的像素。針對區域1730a，由於最大編碼單元之下的邊界像素不可用，可採用水平去塊濾波處理而不能採用垂直去塊濾波處理。針對區域1740a，由於右邊最大編碼單元的邊界像素不可用，不能採用水平去塊濾波處理。因此，後續的垂直去塊濾波處理也不能應用於區域1740a。針對窗口1720a內的像素，樣本自適應偏移處理可於去塊濾波處理之後採用。如前所述，窗口底部邊界1740a之下的像素列1751及右窗口邊界1702a之外的像素行1712a有關的標誌資訊被計算及儲存以用於獲得後續最大編碼單元的樣本自適應偏移處理的類型資訊。標誌資訊被計算及儲存的像素位置以白色圓圈表示。在第17A圖中，窗口包含一次區域(亦即區域1720a)。
第17B圖係下一窗口的處理管線流程圖，其中該窗口覆蓋穿過兩個最大編碼單元1710a及1710b的像素。最大編碼單元1710b的處理管線流程與在前一窗口週期的最大編碼單元1710a的處理管線流程一樣。當前窗口被窗口邊界1702b、1704b及1706b圍繞(enclose)。當前窗口1720b內的像素包含(cover)最大編碼單元1710a及1710b的像素，如第17B圖中白 色背景區域所示。行1712a中像素的標誌資訊變成先前儲存的資訊且用來獲得當前窗口邊界1706b內邊界像素的樣本自適應偏移類型資訊。鄰近右側窗口邊界1702b之行像素1712b中的標誌資訊，以及底部窗口邊界1704b之下的列像素1753被計算及儲存以用於後續最大編碼單元的樣本自適應偏移處理。先前窗口區域1720a變成完全由迴路濾波器及一個或多個自適應濾波器(即此例中的樣本自適應偏移)處理。區域1730b表示由水平去塊濾波處理的像素，以及區域1740b表示既不由水平去塊濾波處理也不由垂直去塊濾波處理的像素。在當前窗口1720b被去塊濾波處理及樣本自適應偏移處理之後，處理管線流程移至下一窗口。在第17B圖中，該窗口包含兩個次區域(亦即最大編碼單元1710a中的白色區域及最大編碼單元1710b中的白色區域)。
第17C圖係在一圖像之一第二最大編碼單元列的起始處的一最大編碼單元的處理管線流程圖。當前窗口由具有白色背景及窗口邊界1702d、1704d及1708d的區域1720d表示。該窗口包含兩個最大編碼單元(亦即最大編碼單元1710a及1710d)的像素。區域1760d被去塊濾波及樣本自適應偏移處理。區域1730d只被水平去塊濾波處理，以及區域1740d既不由水平去塊濾波處理也不由垂直去塊濾波處理。像素列1755表示經計算及儲存的標誌資訊，以用於與當前窗口頂列對齊的像素的樣本自適應偏移處理。底部窗口邊界1704d之下的像素列1757及臨近右側窗口邊界的像素行1712d的標誌資訊被計算及儲存，以用於判定後續最大編碼單元的對應窗口邊界處的像素的樣本自適應偏移類型資訊。在完成當前窗口(亦即LCU_x=0及LCU_y=1)之後，處理管線流程移至下一窗口(亦即LCU_x=1及LCU_y=1)。在下一窗口週期，對應於(LCU_x=1及LCU_y=1)的窗口變成當前窗口，如第16圖所示。在第17C圖中，該窗口包含兩個次區域(亦即最大編碼單元1710a中的白色區域及最大編碼單元1710d中的白色區 域)。
第16圖中的例子係依據本發明一實施例之編碼系統，其中移動窗口係用來利用迴路濾波器(即此例中的去塊濾波器)及自適應濾波器(即此例中的樣本自適應偏移)來處理基於最大編碼單元的編碼。該窗口係配置為考慮穿過最大編碼單元邊界的基礎迴路濾波器及自適應濾波器的資料相關性。每一移動窗口包含1個、2個或4個最大編碼單元的像素以處理窗口邊界內的所有像素。此外，窗口中像素的自適應濾波處理需要附加的緩衝器。舉例來說，對於底部窗口邊界之下的像素以及右側窗口邊界外的像素，邊緣標誌資訊被計算及儲存以用於後續窗口的樣本自適應偏移處理，如第16圖所示。當在上述實施例中僅使用樣本自適應偏移作為唯一的自適應濾波器，也會包含附加的自適應濾波器，例如自適應迴路濾波器。如果包含自適應迴路濾波器，移動窗口必須被重新設置以考慮到與自適應迴路濾波器有關的附加資料相關性。
在第16圖中的例子中，在迴路濾波器應用於一當前窗口之後，自適應濾波器應用於該當前窗口。在基於圖像的系統中，自適應濾波器不能應用於基礎視訊資料，直到去塊濾波器處理完一完整的圖像。基於圖像的去塊濾波的完成，針對該圖像，可判定樣本自適應偏移資訊，樣本自適應偏移從而應用於該圖像。在基於最大編碼單元的處理中，不需要緩衝完整的圖像，並且後續自適應濾波器可應用於去塊濾波器處理過的視訊資料而不需要等待該圖像的去塊濾波處理的完成。此外，針對最大編碼單元的一部分，迴路濾波器及一個或多個自適應濾波器可同時應用於最大編碼單元。然而，在本發明另一實施例中，兩個連續的迴路濾波器(例如去塊濾波器處理及樣本自適應偏移處理，或者樣本自適應偏移處理及自適應迴路濾波器處理)應用於兩個窗口，該兩個窗口係被一個或多個窗口分離。舉例來說，當去塊濾波器應用於一當前窗口，樣本自適應偏移應用於一先前去塊濾波 器處理過的窗口，此窗口係從當前窗口分離的。
如前所述，依據本發明實施例當去塊濾波處理、樣本自適應偏移及自適應迴路濾波處理同時應用於該移動窗口的一部分時，迴路濾波及自適應濾波也可順序應用於每一窗口中。例如，一移動窗口可被分成多個部分，其中迴路濾波及自適應濾波可順序應用於該窗口的該些部分。例如，迴路濾波可應用於該窗口的第一部分。在第一部分的迴路濾波完成之後，自適應濾波可應用於該第一部分。在迴路濾波及自適應濾波應用於該第一部分之後，迴路濾波及自適應濾波可順序應用於該窗口的第二部分。
以上描述可使所屬領域具有通常知識者依據特定應用及要求實作本發明。所述實施例的各種修改對於所屬領域具有通常知識者都是顯而易見的，並且此處定義的一般原理可應用於其他實施例中。因此，本發明並非限定於本說明書揭露的特定實施例，而是符合此處揭露之原理及新穎特徵之最大範圍。在上述詳細說明中，列舉各種具體細節以提供本發明的全面理解。然而，所屬領域具有通常知識者容易理解本發明可被實作。
上述本發明實施例可透過各種硬體碼、軟體碼、或者二者的結合來實作。舉例來說，本發明一實施例可以是整合到視訊壓縮晶片上之一電路或者是整合到視訊壓縮軟體中之程式碼，以執行上述處理。本發明一實施例也可為於數位訊號處理器(Digital Signal Processor,DSP)上執行之程式編碼，以執行上述處理。本發明也可包含藉由計算機處理器、數位訊號處理器、微處理器或現場可程控閘陣列(field programmable gate array,FPGA)執行的若干功能。依據本發明，透過執行定義本發明之特定方法之機器可讀軟體碼或韌體(firmware)碼，該些處理器可被設置以執行特定的任務。軟體碼或韌體碼可以不同的程式語言及不同的格式或類型來開發。軟體碼也可對不同的目標平臺進行編譯。然而，依據本發明用來執行任務的軟體碼不同的碼格式、類型及語言以及其他設置碼的方式都不會脫離本發明之精 神及範圍。
本發明可以其他特定形式體現而不脫離本發明之精神和基本特徵。上述實施例僅作為說明而非用來限制本發明，本發明之保護範圍當視後附之申請專利範圍所界定者為準。凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
110‧‧‧內預測
112‧‧‧運動估計/運動補償
113‧‧‧運動補償
114‧‧‧開關
116‧‧‧加法器
118‧‧‧轉換
120‧‧‧量化
122‧‧‧熵編碼器
124‧‧‧反量化
126‧‧‧逆轉換
128、520、1220、1440‧‧‧重建
130、1050、1450‧‧‧去塊濾波器
131、320、610、1020、1460‧‧‧樣本自適應偏移
132、340、1030、1470‧‧‧自適應迴路濾波器
134‧‧‧參考圖像緩衝器
142‧‧‧熵解碼器
310、831、1010、1330‧‧‧樣本自適應偏移參數推導
330、832、1040、1340‧‧‧自適應迴路濾波器參數推導
400‧‧‧位元流
410‧‧‧訊框頭部
420‧‧‧最大編碼單元頭部
430‧‧‧最大編碼單元殘餘資料
510、1210‧‧‧間/內預測
530、1240‧‧‧熵編碼
540、1230‧‧‧去塊
910‧‧‧去塊濾波器
920‧‧‧自適應濾波器
930‧‧‧自適應濾波器參數推導
1110、1120、1130‧‧‧結合處理
1250‧‧‧自適應濾波器處理
1260‧‧‧自適應濾波器參數推導
1310‧‧‧樣本自適應偏移處理
1320‧‧‧自適應迴路濾波器處理
1410‧‧‧位元流解碼
1420‧‧‧反量化及逆轉換
1430‧‧‧內預測/運動補償
1601~1605‧‧‧影像單元
1610、1720a、1720b、1720d‧‧‧窗口
1710a、1710b、1710c、1710d‧‧‧最大編碼單元
第1圖為包含去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一示範性HEVC視訊編碼系統的示意圖。
第2圖係包含去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一示範性HEVC視訊解碼系統的示意圖。
第3圖係包含管線樣本自適應偏移處理及自適應迴路濾波器處理之一傳統視訊編碼的方塊示意圖。
第4圖係一示範性基於最大編碼單元的視訊位元流架構，其中最大編碼單元的頭部插入每一最大編碼單元位元流的起始處。
第5圖係包含去塊作為迴路濾波器之一編碼器之一示範性處理管線流程圖。
第6A圖係包含去塊作為迴路濾波器及樣本自適應偏移作為自適應濾波器之一編碼器之一示範性處理管線流程圖。
第6B圖係包含去塊作為迴路濾波器及樣本自適應偏移作為自適應濾波器之一編碼器之另一示範性處理管線流程圖。
第7A圖係包含去塊作為迴路濾波器及樣本自適應偏移和自適應迴路濾波器作為自適應濾波器之一傳統編碼器之一示範性處理管線流程圖。
第7B圖係包含去塊作為迴路濾波器及樣本自適應偏移和自適應迴路濾波器作為自適應濾波器之一傳統編碼器之另一示範性處理管線流程圖。
第8圖係包含去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一示範性HEVC視訊編碼系統，其中清楚顯示了樣本自適應偏移參數推導和自適應迴路濾波器參數推導。
第9圖係依據本發明一實施例之具有去塊濾波器處理及自適應濾波器處理之一編碼器之一示範性方塊示意圖。
第10A圖係依據本發明一實施例之具有去塊濾波器、樣本自適應偏移及自適應迴路濾波器之一編碼器之一示範性方塊示意圖。
第10B圖係依據本發明一實施例之具有去塊濾波器、樣本自適應偏移及自適應迴路濾波器之一編碼器之另一示範性方塊示意圖。
第11A圖係於間預測及迴路處理之間包含共享記憶體存取之一示範性HEVC視訊編碼系統，其中ME/MC與自適應迴路濾波器共享記憶體存取。
第11B圖係於間預測及迴路處理之間包含共享記憶體存取之一示範性HEVC視訊編碼系統，其中ME/MC與自適應迴路濾波器、樣本自適應偏移共享記憶體存取。
第11C圖係於間預測及迴路處理之間包含共享記憶體存取之一示範性HEVC視訊編碼系統，其中ME/MC與自適應迴路濾波器、樣本自適應偏移及去塊濾波器共享記憶體存取。
第12A圖係依據本發明一實施例之具有去塊濾波器及一個自適應濾波器之一編碼器之一示範性處理管線流程圖。
第12B圖係依據本發明一實施例之具有去塊濾波器及一個自適應濾波器之一編碼器之另一示範性處理管線流程圖。
第13A圖係依據本發明一實施例之具有去塊濾波器及兩個自適應濾波器之一編碼器之一示範性處理管線流程圖。
第13B圖係依據本發明一實施例之具有去塊濾波器及兩個自適應濾波器之一編碼器之另一示範性處理管線流程圖。
第14圖係具有去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一傳統的基於最大編碼單元的解碼器之處理管線流程圖及緩衝器管線示意圖。
第15圖係依據本發明一實施例之具有去塊濾波器迴路處理、樣本自適應偏移迴路處理及自適應迴路濾波器迴路處理之一基於最大編碼單元的解碼器/編碼器之示範性處理管線流程圖及緩衝器管線示意圖。
第16圖係依據本發明一實施例之具有迴路濾波器及自適應濾波器之一基於最大編碼單元的解碼器/編碼器之一示範性移動窗口示意圖。
第17A-C圖係依據本發明一實施例之具有迴路濾波器及自適應濾波器之一基於最大編碼單元的解碼器之一示範性移動窗口各個階段的示意圖。
1410‧‧‧位元流解碼
1420‧‧‧反量化及逆轉換
1430‧‧‧內預測/運動補償
1440‧‧‧重建
1450‧‧‧去塊濾波器
1460‧‧‧樣本自適應偏移
1470‧‧‧自適應迴路濾波器

Claims (20)

  1. 一種解碼視訊資料的方法，該方法包含：從一視訊位元流中產生重建過的視訊資料；以及在該重建過的視訊資料的一移動窗口應用一迴路濾波器及一第一自適應濾波器，其中該移動窗口包含一當前圖像的一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動窗口之至少一部分，或者該第一自適應濾波器應用於一第二移動窗口且該迴路濾波器同時應用於一第一移動窗口，其中該第二移動窗口係從該第一移動窗口延遲一個或多個移動窗口；其中該迴路濾波器應用於該重建過的視訊資料以產生一第一處理過的資料；以及該第一自適應濾波器應用於該第一處理過的資料以產生一第二處理過的視訊資料。
  2. 如申請專利範圍第1項所述之解碼視訊資料的方法，該方法另包含有：應用一第二自適應濾波器於該第二處理過的視訊資料；以及其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係同時應用於該當前移動窗口之至少一部分，或者該第一自適應濾波器應用於該第二移動窗口且該第二自適應濾波器同時應用於一第三移動窗口，其中該第三移動窗口係從該第二移動窗口延遲一個或多個移動窗口。
  3. 如申請專利範圍第2項所述之解碼視訊資料的方法，其中該第二自適應濾波器係自適應迴路濾波器。
  4. 如申請專利範圍第1項所述之解碼視訊資料的方法，其中該迴路濾波器係一去塊濾波器。
  5. 如申請專利範圍第1項所述之解碼視訊資料的方法，其中該第一自適 應濾波器係對應於樣本自適應偏移。
  6. 如申請專利範圍第1項所述之解碼視訊資料的方法，該方法另包含有：判定有關該第一自適應濾波器的至少部分資料相關性，以用於該移動窗口的至少部分邊界像素；以及儲存該至少部分邊界像素之該至少部分資料相關性，其中該至少部分邊界像素之該至少部分資料相關性係用於後續移動窗口之該第一自適應濾波器。
  7. 如申請專利範圍第6項所述之解碼視訊資料的方法，其中該第一自適應濾波器係對應於樣本自適應偏移，該至少部分資料相關性係關於該樣本自適應偏移之類型資訊，以及該至少部分邊界像素包含該移動窗口右側或底部之邊界像素。
  8. 如申請專利範圍第1項所述之解碼視訊資料的方法，其中該影像單元係一最大編碼單元或一宏模塊。
  9. 如申請專利範圍第1項所述之解碼視訊資料的方法，其中該移動窗口係依據影像單元邊界處與該迴路濾波器有關的資料相關性來設置。
  10. 如申請專利範圍第9項所述之解碼視訊資料的方法，其中該移動窗口包含一個影像單元中的一個次區域，其中該一個影像單元係對應於該當前圖像的一個左上角影像單元。
  11. 如申請專利範圍第9項所述之解碼視訊資料的方法，其中該移動窗口包含兩個影像單元中的兩個次區域，其中該兩個影像單元係對應於該當前圖像之一第一影像單元列之兩個水平鄰近影像單元。
  12. 如申請專利範圍第9項所述之解碼視訊資料的方法，其中該移動窗口包含兩個影像單元中的兩個次區域，其中該兩個影像單元係對應於該當前圖像之一第一影像單元行之兩個垂直鄰近影像單元。
  13. 如申請專利範圍第9項所述之解碼視訊資料的方法，其中該移動窗口包含四個影像單元中的四個次區域，其中該四個影像單元係來自於該當前圖像之兩個鄰近影像單元列及兩個鄰近影像單元行。
  14. 如申請專利範圍第9項所述之解碼視訊資料的方法，其中該移動窗口另依據該影像單元邊界處與該第一自適應濾波器有關的資料相關性來設置。
  15. 一種解碼視訊資料的裝置，該裝置包含有：一重建方塊，用以從一視訊位元流中產生重建過的視訊資料；一迴路濾波器，用於該重建過的視訊資料以產生一第一處理過的資料；以及一第一自適應濾波器，用於該第一處理過的資料以產生一第二處理過的視訊資料，其中，該迴路濾波器及該第一自適應濾波器應用於該重建過的視訊資料的一移動窗口，其中該移動窗口包含一當前圖像的一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係同時應用於一當前移動窗口的至少一部分，或者該第一自適應濾波器應用於一第二移動窗口且該迴路濾波器同時應用於一第一移動窗口，其中該第二移動窗口係從該第一移動窗口延遲一個或多個移動窗口。
  16. 如申請專利範圍第15項所述之解碼視訊資料的的裝置，該裝置更包含有：一第二自適應濾波器，應用於該第二處理過的視訊資料；其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係同時應用於該當前移動窗口的至少一部分，或者該第一自適應濾波器應用於該第二移動窗口且該第二自適應濾波器同時應用於一第三移動窗口，其中 該第三移動窗口係從該第二移動窗口延遲一個或多個移動窗口。
  17. 一種解碼視訊資料的方法，該方法包含：從一視訊位元流中產生重建過的視訊資料；在該重建過的視訊資料的一移動窗口應用一迴路濾波器及一第一自適應濾波器，其中該移動窗口包含一當前圖像之一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係順序應用於一當前移動窗口之至少一第一部分；其中該迴路濾波器及該第一自適應濾波器係在該第一部分之後順序應用於該當前移動窗口之至少一第二部分；其中該迴路濾波器應用於該重建過的視訊資料以產生一第一處理過的資料；以及該第一自適應濾波器應用於該第一處理過的資料以產生一第二處理過的視訊資料。
  18. 如申請專利範圍第17項所述之解碼視訊資料的方法，該方法另包含：應用一第二自適應濾波器於該第二處理過的視訊資料；其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係順序應用於該當前移動窗口之該至少第一部分；以及其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係順序應用於該當前移動窗口之該至少第二部分。
  19. 一種解碼視訊資料的裝置，該裝置包含有：一重建方塊，用以從一視訊位元流中產生重建過的視訊資料；一迴路濾波器，應用於該重建過的視訊資料以產生一第一處理過的資料；以及一第一自適應濾波器，應用於該第一處理過的資料以產生一第二處理 過的視訊資料，其中該迴路濾波器及該第一自適應濾波器應用於該重建過的視訊資料的一移動窗口，其中該移動窗口包含一當前圖像之一個或多個影像單元相應的一個或多個次區域；其中該迴路濾波器及該第一自適應濾波器係順序應用於一當前移動窗口之至少一第一部分；其中該迴路濾波器及該第一自適應濾波器係在該第一部分之後順序應用於該當前移動窗口之至少一第二部分。
  20. 如申請專利範圍第19項所述之解碼視訊資料的裝置，該裝置另包含：一第二自適應濾波器，應用於該第二處理過的視訊資料；其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係順序應用於該當前移動窗口之該至少第一部分；以及其中該迴路濾波器、該第一自適應濾波器及該第二自適應濾波器係順序應用於該當前移動窗口之該至少第二部分。
TW101137607A 2011-10-14 2012-10-12 解碼視訊資料的方法及其裝置 TWI507019B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161547285P 2011-10-14 2011-10-14
US201161557046P 2011-11-08 2011-11-08
US201261670831P 2012-07-12 2012-07-12
PCT/CN2012/082671 WO2013053314A1 (en) 2011-10-14 2012-10-10 Method and apparatus for loop filtering

Publications (2)

Publication Number Publication Date
TW201332362A TW201332362A (zh) 2013-08-01
TWI507019B true TWI507019B (zh) 2015-11-01

Family

ID=48081385

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101137607A TWI507019B (zh) 2011-10-14 2012-10-12 解碼視訊資料的方法及其裝置

Country Status (5)

Country Link
US (1) US20150326886A1 (zh)
EP (1) EP2769550A4 (zh)
CN (1) CN103843350A (zh)
TW (1) TWI507019B (zh)
WO (1) WO2013053314A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2767089A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTERING
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
US9762906B2 (en) * 2013-02-18 2017-09-12 Mediatek Inc. Method and apparatus for video decoding using multi-core processor
KR102166335B1 (ko) * 2013-04-19 2020-10-15 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN103338374B (zh) * 2013-06-21 2016-07-06 华为技术有限公司 图像处理方法及装置
KR102276914B1 (ko) * 2013-10-24 2021-07-13 삼성전자주식회사 비디오 인코딩 장치 그리고 이의 구동 방법
US10104397B2 (en) * 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
CN105430417B (zh) * 2014-09-22 2020-02-07 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
EP3395073A4 (en) * 2016-02-04 2019-04-10 Mediatek Inc. VIDEO ENCODING METHOD AND APPARATUS USING NON-LOCAL ADAPTIVE LOOP FILTERS
CN107040778A (zh) * 2016-02-04 2017-08-11 联发科技股份有限公司 环路滤波方法以及环路滤波装置
KR20230079466A (ko) * 2017-04-11 2023-06-07 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
US20190320172A1 (en) * 2018-04-12 2019-10-17 Qualcomm Incorporated Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding
CN112218097A (zh) * 2019-07-12 2021-01-12 富士通株式会社 环路滤波装置和图像解码装置
CN113489984A (zh) * 2021-05-25 2021-10-08 杭州博雅鸿图视频技术有限公司 Avs3的样点自适应补偿方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007027418A2 (en) * 2005-08-31 2007-03-08 Micronas Usa, Inc. Systems and methods for video transformation and in loop filtering
US20070064804A1 (en) * 2005-09-16 2007-03-22 Sony Corporation And Sony Electronics Inc. Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
CN101959008A (zh) * 2009-03-03 2011-01-26 索尼株式会社 用于图像和视频处理的方法和装置
TW201116064A (en) * 2009-10-29 2011-05-01 Ind Tech Res Inst Deblocking apparatus and method for video compression
CN102075755A (zh) * 2005-03-18 2011-05-25 夏普株式会社 用于图像上采样的方法和系统
TW201119410A (en) * 2008-12-22 2011-06-01 Qualcomm Inc Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20100329361A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
TW201121331A (en) * 2009-12-10 2011-06-16 Novatek Microelectronics Corp Picture decoder
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
DK2461617T3 (en) * 2010-12-02 2018-07-23 Telia Co Ab Method, system and apparatus for communication
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
US10230989B2 (en) * 2011-06-21 2019-03-12 Texas Instruments Incorporated Method and apparatus for video encoding and/or decoding to prevent start code confusion
US20130163660A1 (en) * 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
US9432700B2 (en) * 2011-09-27 2016-08-30 Broadcom Corporation Adaptive loop filtering in accordance with video coding
CA2861043C (en) * 2012-01-19 2019-05-21 Magnum Semiconductor, Inc. Methods and apparatuses for providing an adaptive reduced resolution update mode

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075755A (zh) * 2005-03-18 2011-05-25 夏普株式会社 用于图像上采样的方法和系统
WO2007027418A2 (en) * 2005-08-31 2007-03-08 Micronas Usa, Inc. Systems and methods for video transformation and in loop filtering
US20070064804A1 (en) * 2005-09-16 2007-03-22 Sony Corporation And Sony Electronics Inc. Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
TW201119410A (en) * 2008-12-22 2011-06-01 Qualcomm Inc Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
CN101959008A (zh) * 2009-03-03 2011-01-26 索尼株式会社 用于图像和视频处理的方法和装置
TW201116064A (en) * 2009-10-29 2011-05-01 Ind Tech Res Inst Deblocking apparatus and method for video compression

Also Published As

Publication number Publication date
EP2769550A1 (en) 2014-08-27
US20150326886A1 (en) 2015-11-12
WO2013053314A1 (en) 2013-04-18
TW201332362A (zh) 2013-08-01
EP2769550A4 (en) 2016-03-09
CN103843350A (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
TWI499305B (zh) 編碼視訊資料的方法及其裝置
TWI507019B (zh) 解碼視訊資料的方法及其裝置
KR101567467B1 (ko) 루프내 필터 버퍼의 감소를 위한 방법 및 장치
US10306246B2 (en) Method and apparatus of loop filters for efficient hardware implementation
US11303900B2 (en) Method and apparatus for motion boundary processing
US20170272758A1 (en) Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US20160241881A1 (en) Method and Apparatus of Loop Filters for Efficient Hardware Implementation
US10003798B2 (en) Method and apparatus for reduction of deblocking filter
US8913656B2 (en) Method and apparatus for in-loop filtering
US9813730B2 (en) Method and apparatus for fine-grained motion boundary processing
US9344717B2 (en) Method and apparatus for sample adaptive offset in a video decoder
EP2880861B1 (en) Method and apparatus for video processing incorporating deblocking and sample adaptive offset
US10939102B2 (en) Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees