TWI729549B - 後處理裝置和後處理方法 - Google Patents

後處理裝置和後處理方法 Download PDF

Info

Publication number
TWI729549B
TWI729549B TW108139481A TW108139481A TWI729549B TW I729549 B TWI729549 B TW I729549B TW 108139481 A TW108139481 A TW 108139481A TW 108139481 A TW108139481 A TW 108139481A TW I729549 B TWI729549 B TW I729549B
Authority
TW
Taiwan
Prior art keywords
super
resolution
area
ready
pixels
Prior art date
Application number
TW108139481A
Other languages
English (en)
Other versions
TW202037162A (zh
Inventor
張永昌
王智鳴
鄭佳韻
陳奇宏
林凱鈞
楊志文
彭玄文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202037162A publication Critical patent/TW202037162A/zh
Application granted granted Critical
Publication of TWI729549B publication Critical patent/TWI729549B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種後處理裝置和後處理方法。後處理裝置包括：超解析度濾波電路，用於對在先電路的處理結果進行超解析度濾波；以及環路恢復濾波電路，用於對超解析度濾波電路的處理結果進行環路恢復濾波；其中，超解析度濾波電路完成對由在先電路生成的幀的所有像素的超解析度濾波之前，環路恢復濾波電路開始對通過對幀中包括的像素應用超解析度濾波而得到的像素的環路恢復濾波。本發明的後處理裝置和後處理方法可以具有更少的處理延遲、更低的緩衝區要求及/或更低的內存帶寬。

Description

後處理裝置和後處理方法
本發明涉及視訊編解碼，尤其涉及在塊級流水綫中具有超解析度(super-resolution)濾波器和環路恢復(loop restoration)濾波器的後處理(post processing)裝置以及相關的後處理方法。
常規視訊編解碼標準通常採用基於塊的編解碼技術來利用空間和時間冗餘。例如，基本方法是將整個源幀劃分為多個塊，對每個塊執行預測，變換每個塊的殘差，並執行量化、掃描和熵編碼。此外，在視訊編碼器的內部解碼循環中生成重構幀，以提供用於對後續塊進行編碼的參考像素資料。例如，逆掃描、逆量化和逆變換可以被包括在視訊編碼器的內部解碼循環中，以恢復將被添加到每個塊的預測樣本以生成重構幀的每個塊的殘差。視訊編碼器的內部解碼循環的功能也實現在視訊解碼器中，用於恢復每個塊的殘差並生成重構幀。
為了減少由視訊編解碼產生的偽像，可以在將重構幀存儲到參考幀緩衝器中之前使用環路濾波工具來處理重構幀。在常規的環路濾波設計中，可以採用成幀級的流水綫結構，其中不同的環路濾波器充當不同的流水綫階段 (pipeline stage)，並且一個幀緩衝器耦合在兩個流水綫階段之間。因此，在前一個流水綫階段完全處理該幀並且該幀在幀緩衝器中可用之前，後一個流水綫階段不會開始處理該幀。由於幀級別的流水綫結構的固有特性，處理延遲長且緩衝器要求高。
依據本發明的示範性實施例，提出以下技術方案。
依據本發明的一個實施例，提出一種後處理裝置，包括：超解析度濾波電路，用於對在先電路的處理結果進行超解析度濾波；以及環路恢復濾波電路，用於對該超解析度濾波電路的處理結果進行環路恢復濾波；其中，在該超解析度濾波電路完成對由該在先電路生成的幀的所有像素的超解析度濾波之前，該環路恢復濾波電路開始對通過對該幀中包括的像素應用超解析度濾波而得到的像素的環路恢復濾波。
依據本發明的另一實施例，提出一種後處理方法，包括：對在先操作的處理結果進行超解析度濾波；以及對該超解析度濾波的處理結果進行環路恢復濾波；其中，在完成對由該在先操作生成的幀的所有像素的超解析度濾波之前，開始對通過對該幀中包括的像素應用超解析度濾波而得到的像素的環路恢復濾波。
本發明的後處理裝置和後處理方法可以具有更少的處理延遲、更低的緩衝區要求及/或更低的內存帶寬。
100:視訊解碼器
102:熵解碼電路
104:逆掃描、逆量化和逆變換電路
108:運動向量生成電路
106:幀內預測電路
110:運動補償電路
112:多路複用電路
114:重構電路
116、600:後處理裝置
118:參考幀緩衝器
120、602、802:環路濾波器
122、604、804:約束方向增強濾波器
124、606、806、1002:超解析度濾波器
126、608、808、1004:環路恢復濾波器
502:MC就緒區域
504:LF-CDEF就緒區域
506:SR就緒區域
508:LR處理區域
610、612:幀緩衝器
613、810、812、815:塊緩衝器
614、816:LR相鄰緩衝器
616、818:LR頂部緩衝器
618、820:LR左側緩衝器
814、1006:SR相鄰緩衝器
1010:SR頂部緩衝器
1012:SR左緩衝器
1202~1210:步驟
第1圖是示出根據本發明的實施例的視訊解碼器的圖。
第2圖是示出根據本發明的實施例的後處理裝置的第一流水綫設計的圖。
第3圖是示出根據本發明的實施例的後處理裝置的第二流水綫設計的圖。
第4圖是示出根據本發明的實施例的後處理裝置的第三流水綫設計的圖。
第5圖是示出根據本發明的實施例的在不同流水綫階段之間的移位偏移的圖。
第6圖是示出根據本發明的實施例的後處理裝置採用的第一緩衝器設計的圖。
第7圖是根據本發明的實施例示出第6圖所示的SR濾波器和LR濾波器的塊級流水綫處理操作的圖。
第8圖是示出根據本發明的實施例的後處理裝置採用的第二緩衝器設計的圖。
第9圖是根據本發明的實施例示出第8圖所示的SR濾波器和LR濾波器的塊級流水綫處理操作的示意圖。
第10圖是示出根據本發明實施例的後處理裝置採用的第三緩衝器設計的圖。
第11圖是根據本發明的實施例示出第10圖所示的SR濾波器和LR濾波器的塊級流水綫處理操作的圖。
第12圖是示出根據本發明實施例的SR放大方法的流程圖。
第13圖中示出了SR操作示例。
在說明書及申請專利範圍當中使用了某些詞匯來指稱特定的組件。所屬領域中的技術人員應可理解，製造商可能會用不同的名詞來稱呼同樣的組件。本說明書及申請專利範圍並不以名稱的差異來作為區分組件的方式，而是 以組件在功能上的差異來作為區分的基準。在通篇說明書及申請專利範圍當中所提及的「包含」是開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接於第二裝置，則代表第一裝置可直接電氣連接於第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。
第1圖是示出根據本發明的實施例的視訊解碼器的圖。舉例來說但非限制性地，視訊解碼器100可以是AV1視訊解碼器。視訊解碼器100包括熵解碼電路(由“熵解碼”表示)102、逆掃描、逆量化和逆變換電路(由“IS/IQ/IT”表示)104、運動向量生成電路(由“MV生成”表示)108、幀內預測電路(由“IP”表示)106、運動補償電路(由“MC”表示)110、多路複用電路(由“MUX”表示)112、重構電路(由“REC”表示)114、後處理裝置116和一個或多個參考幀緩衝器118。當通過幀內預測模式對塊進行編碼時，幀內預測電路106用於確定預測子，以及重構電路114根據從多路複用電路112輸出的幀間預測子(inter predictor)以及逆掃描、逆量化和逆變換電路104提供的殘差，生成重構塊。當通過幀間預測模式對塊進行編碼時，使用運動向量生成電路108和運動補償電路110來確定預測子，並且重構電路114根據從複用電路112輸出的幀間預測子和由逆掃描、逆量化和逆變換電路104提供的殘差來生成重構塊。從重構電路114生成的重構幀在將重構幀存儲到一個或多個參考幀緩衝器118中用作參考幀之前經過後處理(例如，環路濾波)。由於相關領域的技術人員可以容易地理解熵解碼電路102、逆掃描、逆量化和逆變換電路104、運動向量生成電路108、幀內預測電路106、運動補償電路110、複用電路112、重構電路114和一個或多個參考幀緩衝器118的細節，因此，為簡潔起見，在此省略進一步的描述。
在視訊解碼器100是AV1視訊解碼器的情況下，後處理裝置116包括多個環路濾波電路，諸如環路濾波器(由“LF”表示)120、約束方向增強濾波器 (由“CDEF”表示)122、超解析度濾波器(由“SR”表示)124和環路恢復濾波器(由“LR”表示)126。與僅使用幀級(frame-level)流水綫結構的常規環路濾波設計相反，本文提出的後處理設計可以全部或部分採用塊級(block-level)流水綫體系結構。在一種示例性設計中，環路濾波器120、CDEF 122、SR濾波器124和LR濾波器126被布置為以塊級流水綫方式操作。在另一示例性設計中，環路濾波器120和CDEF 122被布置為以幀級流水綫方式操作，而SR濾波器124和LR濾波器126被布置為以塊級流水綫方式操作。一幀可以被分為多個超級塊(super-block，簡寫為SB)。例如，每個SB可以是AV1/VP9的一個塊或多個塊。對於另一個示例，每個SB可以是最大編解碼單元(LCU)或用於高效視訊編解碼(HEVC)的多個LCU。
應當注意，可以在視訊解碼器中使用相同的後處理裝置116。因此，任何使用全部或部分採用塊級流水綫架構的提議的後處理設計的視訊解碼器也落入本發明的範圍內。
第2圖是示出根據本發明的實施例的後處理裝置116的第一流水綫設計的圖。在該實施例中，使用幀級流水綫方法來實現環路濾波器120和CDEF 122中的每一個，並且使用塊級流水綫方法來實現SR濾波器124和LR濾波器126中的每一個。應當注意的是，SR濾波器124按比例放大(up-scale)前一個流水綫階段(即，CDEF 122)的輸出，並且將按比例放大的結果發送給隨後的流水綫階段(即，LR濾波器126)，其中，縮放比例在8/8至16/8的範圍內，並且僅在水平方向上進行縮放。在該實施例中，每個塊(BLK)(由SR濾波器124處理)的一個恢復單元(restoration unit，簡寫為RU)(由LR濾波器126處理)可以是環路恢復單元(LRU)或多個LRU。SR濾波器124和LR濾波器126是塊級流水綫階段。因此，在SR濾波器124完成對由在先電路生成的幀的所有像素的SR濾波之前，LR濾波器126開始對通過對幀中包括的像素施加SR濾波而得到的像素的LR 濾波。與僅使用幀級流水綫體系結構的常規環路濾波設計相比，第2圖中所示的提議的後處理設計可以具有更少的處理延遲，更低的緩衝區要求和更低的內存帶寬。
第3圖是示出根據本發明的實施例的後處理裝置116的第二流水綫設計的圖。在該實施例中，使用SB級流水綫方法來實現環路濾波器120、CDEF 122、SR濾波器124和LR濾波器126中的每一個。如上所述，SR濾波器124按比例放大前一個流水綫階段(即，CDEF 122)的輸出，並且將按比例縮放的結果發送到隨後的流水綫階段(即，LR濾波器126)，其中按比例放大比率在8/8到16/8的範圍內，並且僅在水平方向上進行放大。在該實施例中，由SR濾波器124處理的每個超級塊(SB)的由LR濾波器126處理的一個恢復單元(RU)可以是環路恢復單元(LRU)或多個LRU。SR濾波器124和LR濾波器126是SB級流水綫階段。因此，在SR濾波器124完成對由在先電路生成的幀的所有像素的SR濾波之前，LR濾波器126開始對通過對幀中包括的像素施加SR濾波而得到的像素的LR濾波。與僅使用幀級流水綫體系結構的常規環路濾波設計相比，第3圖中所示的提議的後處理設計可以具有更少的處理延遲，更低的緩衝區要求和更低的內存帶寬。
第4圖是示出根據本發明的實施例的後處理裝置116的第三流水綫設計的圖。在該實施例中，使用塊級流水綫方法來實現環路濾波器120、CDEF 122、SR濾波器124和LR濾波器126中的每一個。每個塊(BLK)可以是一個超級塊(SB)的子集。如上所述，SR濾波器124按比例放大前一個流水綫階段(即，CDEF 122)的輸出，並且將按比例放大的結果發送到隨後的流水綫階段(即，LR濾波器126)，其中按比例放大比率在8/8到16/8的範圍內，並且僅在水平方向上進行放大。在該實施例中，由SR濾波器124處理的每個塊的一個恢復單元(RU)(由LR濾波器126處理)可以是環路恢復單元(LRU)或多個LRU。SR濾波器124 和LR濾波器126是塊級流水綫階段。因此，在SR濾波器124完成對由在先電路生成的幀的所有像素的SR濾波之前，LR濾波器126開始對通過對該幀中包括的像素施加SR濾波而得到的像素的LR濾波。與僅使用幀級流水綫體系結構的常規環路濾波設計相比，第4圖中所示的提議的後處理設計可以具有更少的處理延遲，更低的緩衝區要求和更低的內存帶寬。
應當注意，取決於實際的設計考慮，建議的塊級流水綫可以基於SB或較小尺寸的塊進行操作。因此，術語“超級塊(SB)”和“塊”在以下段落中可以互換。
為了實現塊級流水綫處理，由於採用了濾波演算法，因此在不同流水綫階段之間存在移位偏移(shift-offset)。第5圖是示出根據本發明的實施例的在不同流水綫階段之間的移位偏移的圖。當在幀間預測模式下對一個SB進行解碼時，在重構電路114上將生成一個相應的MC就緒區域(ready area)502。在MC就緒區域502可用之後，環路濾波器120和CDEF 122可操作以根據MC就緒區域502中包括的像素的一部分和相鄰MC就緒區域中包括的像素的一部分生成一個LF-CDEF就緒區域504。由於包括在右相鄰MC就緒區域和底部相鄰MC就緒區域中的像素尚不可用，因此當前MC就緒區域502的最右列(column)和最底行(row)的像素不能被環路濾波器120和CDEF 122濾波。因此，與當前的MC就緒區域502相比，LF-CDEF就緒區域504左移和上移。
在LF-CDEF就緒區域504可用之後，SR濾波器124可操作以根據包括在LF-CDEF就緒區域504中的一部分像素和包括在左相鄰LF-CDEF就緒區域中的一部分像素來生成一個SR就緒區域506。由於包括在右相鄰的LF-CDEF就緒區域中的像素尚不可用，因此當前的LF-CDEF就緒區域504的M個最右列處的像素不能由SR濾波器124以8(8=5+M，其中M=3)抽頭(tap)濾波。因此，與當前的LF-CDEF就緒區域504相比，SR就緒區域506向左移動。
在SR就緒區域506可用之後，LR濾波器126可操作以根據當前SR就緒區域506中包括的一部分像素和相鄰SR就緒區域中包括的一部分像素對LR處理區域508中包括的像素執行LR濾波。LR濾波器126可採用水平維納濾波器(wiener filter)和垂直維納濾波器，每一個均具有7(7=2Q+1，其中Q=3)個抽頭，或者可採用尺寸為5×5的自導(self-guided)濾波器。由於包括在右相鄰SR就緒區域和底部相鄰SR就緒區域中的像素尚不可用，因此當前SR就緒區域506的Q個最右列和Q個最下方行的像素不能被LR濾波器126濾波。因此，與當前的SR就緒區域506相比，LR處理區域508向左和向上方移動。應當注意，LR處理區域508的寬度W2由從CDEF階段生成的LF-CDEF就緒區域504的寬度W1和SR階段使用的放大比例確定。
由於採用的濾波演算法而在不同流水綫階段之間存在移位偏移，因此可能需要一個或多個緩衝器來緩衝與當前塊相關聯的一些濾波後的像素資料，使得可以通過對其他塊進行濾波來使用緩衝後的像素資料。第6圖是示出根據本發明的實施例的後處理裝置採用的第一緩衝器設計的圖。在該示例中，採用第2圖中所示的流水綫設計。第1圖所示的後處理裝置116可以使用第6圖所示的後處理裝置600來實現。後處理裝置600包括多個環路濾波電路，例如環路濾波器(以“LF”表示)602、約束方向增強濾波器(以“CDEF”表示)604、超解析度濾波器(由“SR”表示)606和環路恢復濾波器(由“LR”表示)608，其中環路濾波器602具有幀緩衝器610，該幀緩衝器610用於存儲已經由環路濾波(例如，解塊濾波)處理的一幀，CDEF 604具有幀緩衝器612，用於存儲已通過約束定向增強濾波處理的一幀，SR濾波器606具有塊緩衝器613，用於存儲一個SR就緒塊，該塊是通過將SR濾波應用於一個塊(例如，一個超級塊或一個超級塊的子集)而生成的，並且LR濾波器608具有LR相鄰緩衝器614，該LR相鄰緩衝器614包括用於緩衝SR就緒塊的一些像素的LR頂部緩衝器616和LR左側緩衝器618。
第7圖是根據本發明的實施例示出第6圖所示的SR濾波器606和LR濾波器608的塊級流水綫處理操作的圖。SR濾波器606直接從CDEF 604的幀緩衝器612讀取塊(由“A1”表示)及其相鄰列(由“A2”和“A3”表示)。SR濾波器606至少按比例放大SR預處理(pre-SR)區域A(由A1、A2和A3組成)的一部分以生成SR就緒區域B，並將SR就緒區域B存儲到塊緩衝器613中。LR濾波器608從塊緩衝器613讀取包括在SR準備區域B中的像素。LR濾波器608根據SR就緒區域F將LR濾波應用於SR就緒區域E(其是LR處理區域)，其中SR就緒區域(LR處理區域)E是SR就緒區域F的一部分，並且SR就緒區域F包括SR就緒區域B、具有直接從LR頂部緩衝器616讀取的像素的頂部相鄰區域D，以及具有直接從LR左緩衝器618讀取的像素的左相鄰區域C。從SR就緒區域獲得包括在頂部相鄰區域D和左相鄰區域C中的像素，其中SR就緒區域由SR濾波器606在先生成。
在完成對SR就緒區域(LR處理區域)E的LR濾波之後，SR就緒區域B的最右邊的Q+Q列和最底部的Q+Q行中包括的像素被存儲到LR相鄰緩衝器614中以用於LR塊域中的下一個或未來的LR流水綫階段處理，除非SR就緒區域B遇到幀的右邊界或底邊界。例如，包括在部分SR就緒區域B1(其為SR就緒區域B的右側部分)中的像素被存儲在LR左緩衝器618中，並且包括在部分SR就緒區域B2(其為SR就緒區域B的底部部分)中的像素被存儲到LR頂部緩衝器616中。當LR濾波器608將LR濾波應用於與SR就緒區域(LR處理區域)E相鄰的另一個SR就緒區域(LR處理區域)時，使用存儲在LR相鄰緩衝器614中的像素。具體地，LR濾波器608根據包含SR就緒區域(LR處理區域)的較大的SR就緒區域，將LR濾波應用於SR就緒區域(LR處理區域)，其中，較大的SR就緒區域包括從LR相鄰緩衝器614取回的像素。例如，當LR濾波器608將LR濾波應用於位於當前SR就緒區域(LR處理區域)E的右邊界的右邊的相鄰SR就緒區域(LR處理區域)時，從LR左緩衝器618取回包含在部分SR就緒區域B1中的像素以用 於LR濾波。對於另一示例，當LR濾波器608將LR濾波應用於位於當前SR就緒區域(LR處理區域)D的底部邊界下方的相鄰SR就緒區域(LR處理區域)時，從LR頂部緩衝器616取回包括在部分SR就緒區域B2中的像素以用於LR濾波。
第8圖是示出根據本發明的實施例的後處理裝置採用的第二緩衝器設計的圖。在該示例中，採用第3圖或第4圖中所示的流水綫設計。第1圖所示的後處理裝置116可以使用第8圖所示的後處理裝置800來實現。後處理裝置800包括多個環路濾波電路，例如環路濾波器(以“LF”表示)802、約束方向增強濾波器(以“CDEF”表示)804、超解析度濾波器(由“SR”表示)806和環路恢復濾波器(由“LR”表示)808，其中環路濾波器802具有塊緩衝器810，該塊緩衝器810用於存儲已經由環路濾波(例如，去塊濾波)處理的一個LF就緒塊，CDEF 804具有塊緩衝器812，該塊緩衝器812用於存儲已經由約束方向增強濾波處理的一個LF-CDEF就緒塊，超解析度濾波器806具有SR相鄰緩衝器814，用於緩衝LF-CDEF就緒塊的某些像素，以及具有塊緩衝器815，用於存儲通過將SR濾波應用於一個LF-CDEF就緒塊而生成的一個SR就緒塊，並且環路恢復濾波器808具有LR相鄰緩衝器816，其包括LR頂部緩衝器818和LR左緩衝器820，用於緩存SR就緒塊的一些像素。
第9圖是根據本發明的實施例示出第8圖所示的SR濾波器806和LR濾波器808的塊級流水綫處理操作的示意圖。SR濾波器806從CDEF 804的塊緩衝器812讀取移位後的塊(其為由“A”表示的LF-CDEF就緒區域)，並從SR濾波器806的SR相鄰緩衝器814讀取具有M+M列的左相鄰區域(由“B”表示)。包括在左相鄰區域B的像素從與移位後的塊A相鄰的LF-CDEF就緒區域獲得，且其由CDEF 804在先生成。
SR濾波器806按比例放大至少SR預處理區域(pre-SR area)(由A和B組成)的一部分以生成SR就緒區域C，並將SR就緒區域C存儲到塊緩衝器815 中。LR濾波器808從塊緩衝器815中讀取包括在SR就緒區域C中的像素。LR濾波器808根據SR就緒區域G將LR濾波應用於SR就緒區域F(其是LR處理區域)，其中SR就緒區域(LR處理區域)F是SR就緒區域G的一部分，並且SR就緒區域G包括SR就緒區域C、具有直接從LR頂部緩衝器818讀取的像素的頂部相鄰區域E和具有直接從LR左緩衝器820讀取的像素的左相鄰區域D。包括在頂部相鄰區域E和左相鄰區域D中的像素是從與SR就緒區域C相鄰的SR就緒區域獲得的，並且是由SR濾波器806預先生成的。
在完成對SR預處理區域A+B的一部分的SR濾波之後，將包含在已移位塊A的最右M+M列中的像素存儲到SR相鄰緩衝器814中，以進行SR流水綫階段的下一個或將來處理；除非已移位塊A遇到幀的右邊界。當SR濾波器806將SR濾波應用於另一SR預處理區域的一部分時，使用存儲在SR相鄰緩衝器814中的像素。具體地，SR濾波器806根據圍繞SR預處理區域(SR處理區域)的較大的SR預處理區域，將SR濾波應用於SR預處理區域(其為SR處理區域)，該較大的SR預處理區域包括從SR相鄰緩衝器814取回的像素。例如，當SR濾波器806將SR濾波應用於另一個SR預處理區域(該區域包括位於已移位塊A的右邊界的下一個已移位塊)時，從SR相鄰緩衝器814中取回該部分區域A1中的像素以進行SR濾波。
在完成對SR就緒區域(LR處理區域)F的LR濾波之後，包括在SR就緒區域C的最右邊的Q+Q列和最底部的Q+Q行中的像素被存儲到LR相鄰緩衝器816中以用於LR塊域中的下一個或未來的LR流水綫階段處理，除非SR就緒區域C遇到幀的右邊界或底邊界。例如，包括在部分SR就緒區域C1(其為SR就緒區域C的右側部分)中的像素被存儲在LR左緩衝器820中，並且包括在部分SR就緒區域C2(其為SR就緒區域C的底部部分)中的像素被存儲到LR頂部緩衝器818中。當LR濾波器808將LR濾波應用於與SR就緒區域(LR處理區域)F相鄰的另 一個SR就緒區域(LR處理區域)時，使用存儲在LR相鄰緩衝器816中的像素。具體地，LR濾波器808根據包含SR就緒區域(LR處理區域)的較大的SR就緒區域，將LR濾波應用於SR就緒區域(LR處理區域)，其中，較大的SR就緒區域包括從LR相鄰緩衝器816取回的像素。例如，當LR濾波器808將LR濾波應用於位於SR就緒區域(LR處理區域)F的右邊界的右邊的另一SR就緒區域(LR處理區域)時，從LR左緩衝器820取回包含在部分SR就緒區域C1中的像素以用於LR濾波。對於另一示例，當LR濾波器808將LR濾波應用於位於SR就緒區域(LR處理區域)F的底部邊界下方的另一SR就緒區域(LR處理區域)時，從LR頂部緩衝器818取回包括在部分SR就緒區域C2中的像素以用於LR濾波。
如上所述，SR就緒區域的寬度被放大，從而LR處理區域的寬度取決於放大率。關於第6圖和第8圖所示的實施例，當採用塊級流水綫處理方法時，LR濾波器608和808需要支持所有的放大的寬度。因此，LR濾波器608和808需要複雜的控制。另外，在CDEF和LR處理之間存在放大處理，LR濾波器608和808需要大的LR相鄰緩衝器。為了解決這些問題，本發明提出將LR左緩衝器和LR頂緩衝器合並到SR流水綫階段中。由於相鄰資料是在放大之前存儲的，因此可以減小相鄰緩衝器的大小。另外，由於LR流水綫階段不需要將相鄰像素保持在LR左緩衝器和LR頂緩衝器中，所以可以簡化LR控制。
第10圖是示出根據本發明實施例的後處理裝置採用的第三緩衝器設計的圖。例如，可以使用後處理裝置600來實現後處理裝置116，其中SR濾波器606和LR濾波器608分別被SR濾波器1002和LR濾波器1004代替。對於另一示例，可以使用前述的後處理裝置800來實現後處理裝置116，其中SR濾波器806和LR濾波器808分別被SR濾波器1002和LR濾波器1004代替。如第10圖所示，SR濾波器1002包括SR相鄰緩衝器1006，其中SR相鄰緩衝器1006包括SR頂部緩衝器1010和SR左緩衝器1012。應當注意，LR濾波器1004不具有LR相鄰緩衝器。因 此，LR濾波器1004所需的所有SR就緒資料由SR濾波器1002以即時的按比例放大的方式提供。
第11圖是根據本發明的實施例示出第10圖所示的SR濾波器1002和LR濾波器1004的塊級流水綫處理操作的圖。SR濾波器1002從前面的約束方向增強濾波器的幀緩衝器(或塊緩衝器)中讀取LF-CDEF就緒區域(由“A”表示)，從SR濾波器1002的SR左緩衝器1012中讀取左相鄰區域(由“B”表示)，並且從SR濾波器1002的SR頂部緩衝器1010讀取頂部相鄰區域(由“C”表示)。左相鄰區域B和頂部相鄰區域C中包括的像素是從與LF-CDEF就緒區域A相鄰的LF-CDEF就緒區域獲得的值，該值在先由前面的約束方向增強濾波器生成。假設一個LR處理單元的大小是N×N，其中N是一個正整數。在該實施例中，SR濾波器1002對SR預處理區域A+B+C的一部分進行SR濾波，以生成大小為(2Q+N)*(2Q+N)的SR就緒區域D，並以即時的方式輸出包括在SR就緒區域C中的像素到LR濾波器1004。LR濾波器1004根據SR就緒區域D將SR濾波應用於SR就緒區域E(其是LR處理區域)，其中SR就緒區域(LR處理區域)E是SR就緒區域D的一部分。
在完成對SR就緒區域(LR處理區域)E的LR濾波之後，LF-CDEF就緒區域A的最右側列和最底部行中包括的像素被存儲到SR相鄰緩衝器1006中以用於放大下一個或將來的(2Q+N)*(2Q+N)塊，除非LF-CDEF就緒區域A遇到幀的右邊界或底邊界。例如，包括在部分LF-CDEF就緒區域A1(其為LF-CDEF就緒區域A的右側部分)中的像素被存儲到SR左緩衝器1012中，並且包括在部分LF-CDEF就緒區域A2中的像素(其為LF-CDEF就緒區域A的底部部分)被存儲到SR頂部緩衝器1010中。當SR濾波器1002讀取與LF-CDEF就緒區域A相鄰的另一個LF-CDEF就緒區域時，使用存儲在SR相鄰緩衝器1006中的像素。具體地，SR濾波器1002根據包圍SR預處理區域(SR處理區域)的較大的SR 預處理區域，將SR濾波應用於SR預處理區域(SR處理區域)，其中，較大的SR預處理區域包括從SR相鄰緩衝器1006取回到的像素。
應當注意，在放大比例大於1的情況下，可以將包括在SR預處理區域A+B+C中的像素用於放大一個以上(2Q+N)*(2Q+N)塊用於後面的LR濾波器1004。第12圖是示出根據本發明實施例的SR放大方法的流程圖。SR放大方法可以由第10圖所示的SR濾波器1002採用。在步驟1202，SR濾波器1002接收LF-CDEF就緒區域A。在步驟1204，SR濾波器1002使用包括在SR預處理區域A+B+C中的幾個像素來放大一個(2Q+N)*(2Q+N)塊，用於LR濾波。在步驟1206，SR濾波器1002檢查在SR預處理區域A+B+C中可用的剩餘像素是否足以放大一個(2Q+N)*(2Q+N)塊。如果在SR預處理區域A+B+C中可用的剩餘像素不足以進一步放大一個(2Q+N)*(2Q+N)塊，則流程進行到步驟1210。如果SR預處理區域A+B+C中可用的剩餘像素足以放大一個(2Q+N)*(2Q+N)塊，SR濾波器1002使用SR預處理區域A+B+C中包含的幾個像素放大下一個(2Q+N)*(2Q+N)塊以進行LR濾波。在步驟1210，SR濾波器1002將LF-CDEF就緒區域A的最右邊的列和最下面的行存儲到SR相鄰緩衝器1006中。
為了更好地理解SR放大方法，在第13圖中示出了SR操作示例。假設SR預處理區域A+B+C的尺寸是32×22，一個LR處理單元E1/E2的尺寸是16×16，並且放大比例是2(即16/8)。SR預處理區域A+B+C的一部分按比例放大以生成一個大小為22x22(即(2Q+N)*(2Q+N)=22x22)的SR就緒區域。SR預處理區域A+B+C的另一部分按比例放大以生成下一個SR就緒區域，其大小為22x22(即(2Q+N)*(2Q+N)=22x22)。通過SR放大生成兩個(2Q+N)*(2Q+N)塊後，剩餘像素不足以再放大一個(2Q+N)*(2Q+N)塊。
以上所述僅為本發明的較佳實施例，所屬領域相關的技術人員依據 本發明的精神所做的等效變化與修改，都應當涵蓋在申請專利範圍內。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
1202~1210:步驟

Claims (18)

  1. 一種後處理裝置，包括：超解析度濾波電路，用於對在先電路的處理結果進行超解析度濾波；以及環路恢復濾波電路，用於對該超解析度濾波電路的處理結果進行環路恢復濾波；其中，在該超解析度濾波電路完成對由該在先電路生成的幀的所有像素的超解析度濾波之前，該環路恢復濾波電路開始對通過對該幀中包括的像素應用超解析度濾波而得到的像素的環路恢復濾波。
  2. 如申請專利範圍第1項所述之後處理裝置，其中，該超解析度濾波電路和該環路恢復濾波電路是塊級流水綫的流水綫階段。
  3. 如申請專利範圍第1項所述之後處理裝置，其中，該環路恢復濾波電路被布置為：根據具有從該超解析度濾波電路產生的像素的第二超解析度就緒區域，將環路恢復濾波應用於具有由該超解析度濾波電路產生的像素的第一超解析度就緒區域，其中該第一超解析度就緒區域是該第二超解析度就緒區域的一部分；該環路恢復濾波電路包括：環路恢復相鄰緩衝器，其布置為緩衝包括在該第二超解析度就緒區域的一部分中的像素，其中，該環路恢復濾波電路還布置為根據具有從該超解析度濾波電路產生的像素的第四超解析度就緒區域，將環路恢復濾波應用於具有由該超解析度濾波電路產生的像素的第三超解析度就緒區域，其中該第三超解析度就緒區域與該第一超解析度就緒區域相鄰並且是該第四超解析度就緒區域的一部分，並且該第四 超解析度就緒區域包括從該環路恢復相鄰緩衝器取回的像素。
  4. 如申請專利範圍第3項所述之後處理裝置，其中，該第二超解析度就緒區域包括部分區域，該部分區域具有未從該環路恢復相鄰緩衝器取回的像素，並且該第二超解析度就緒區域的該部分區域包括該部分區域的多個最右列和多個最底行。
  5. 如申請專利範圍第3項所述之後處理裝置，其中，該超解析度濾波電路被布置為根據具有從該在先電路產生的像素的第二超解析度預處理區域，將超解析度濾波應用於具有由該在先電路產生的像素的第一超解析度預處理區域，其中該第一超解析度預處理區域是該第二超解析度預處理區域的一部分；以及該超解析度濾波電路包括：超解析度相鄰緩衝器，其布置為緩衝包括在該第二超解析度預處理區域的一部分中的像素，其中，該環路恢復濾波電路還布置為根據具有從該在先電路產生的像素的第四超解析度預處理區域，將超解析度濾波應用於具有由該在先電路產生的像素的第三超解析度預處理區域，其中該第三超解析度預處理區域與該第一超解析度預處理區域相鄰並且是該第四超解析度預處理區域的一部分，並且該第四超解析度預處理區域包括從該超解析度相鄰緩衝器取回的像素。
  6. 如申請專利範圍第5項所述之後處理裝置，其中，該第二超解析度預處理區域的該部分包括該第二超解析度預處理區域的多個最右列。
  7. 如申請專利範圍第1項所述之後處理裝置，其中，該環路恢復濾波電 路被布置為：通過使用由該在先電路生成的第一超解析度預處理區域中包括的像素，根據具有從該超解析度濾波電路生成的像素的第二超解析度就緒區域，將環路恢復濾波應用於具有從該超解析度濾波電路生成的像素的第一超解析度就緒區域，其中該第一超解析度就緒區域是該第二超解析度就緒區域的一部分；該超解析度濾波電路包括：超解析度相鄰緩衝器，被布置為緩衝包括在該第一超解析度預處理區域的一部分中的像素，其中，該環路恢復濾波電路還被布置為通過使用由該在先電路生成的第二超解析度預處理區域中包括的像素，根據具有從該超解析度濾波電路生成的像素的第四超解析度就緒區域，將環路恢復濾波應用於具有從該超解析度濾波電路生成的像素的第三超解析度就緒區域，其中該第三超解析度就緒區域與該第一超解析度就緒區域相鄰，並且是該第四超解析度就緒區域的一部分，並且該第二超解析度預處理區域包括從該超解析度相鄰緩衝器取回的像素。
  8. 如申請專利範圍第7項所述之後處理裝置，其中，該第一超解析度預處理區域的該部分包括該第一超解析度預處理區域的多個最右列和多個最底行。
  9. 如申請專利範圍第1項所述之後處理裝置，其中，該在先電路包括約束方向增強濾波器。
  10. 一種後處理方法，包括：對在先操作的處理結果進行超解析度濾波；以及 對該超解析度濾波的處理結果進行環路恢復濾波；其中，在完成對由該在先操作生成的幀的所有像素的超解析度濾波之前，開始對通過對該幀中包括的像素應用超解析度濾波而得到的像素的環路恢復濾波。
  11. 如申請專利範圍第10項所述之後處理方法，其中，超解析度濾波和環路恢復濾波以塊級流水綫方式執行。
  12. 如申請專利範圍第10項所述之後處理方法，其中，對該處理結果進行環路恢復濾波包括：根據具有從該超解析度濾波產生的像素的第二超解析度就緒區域，將環路恢復濾波應用於具有由該超解析度濾波產生的像素的第一超解析度就緒區域，其中該第一超解析度就緒區域是該第二超解析度就緒區域的一部分；將包括在該第二超解析度就緒區域的一部分中的像素存儲至環路恢復相鄰緩衝器；以及根據具有從該超解析度濾波產生的像素的第四超解析度就緒區域，將環路恢復濾波應用於具有由該超解析度濾波電路產生的像素的第三超解析度就緒區域，其中該第三超解析度就緒區域與該第一超解析度就緒區域相鄰並且是該第四超解析度就緒區域的一部分，並且該第四超解析度就緒區域包括從該環路恢復相鄰緩衝器取回的像素。
  13. 如申請專利範圍第12項所述之後處理方法，其中，該第二超解析度就緒區域包括部分區域，該部分區域具有未從該環路恢復相鄰緩衝器取 回的像素，並且該第二超解析度就緒區域的該部分區域包括該部分區域的多個最右列和多個最底行。
  14. 如申請專利範圍第12項所述之後處理方法，其中，對該在先操作的該處理結果進行超解析度濾波包括：根據具有從該在先操作產生的像素的第二超解析度預處理區域，將超解析度濾波應用於具有由該在先操作產生的像素的第一超解析度預處理區域，其中該第一超解析度預處理區域是該第二超解析度預處理區域的一部分；將包括在該第二超解析度預處理區域的一部分中的像素存儲在超解析度相鄰緩衝器中；以及根據具有從該在先操作產生的像素的第四超解析度預處理區域，將超解析度濾波應用於具有由該在先操作產生的像素的第三超解析度預處理區域，其中該第三超解析度預處理區域與該第一超解析度預處理區域相鄰並且是該第四超解析度預處理區域的一部分，並且該第四超解析度預處理區域包括從該超解析度相鄰緩衝器取回的像素。
  15. 如申請專利範圍第14項所述之後處理方法，其中，該第二超解析度預處理區域的該部分包括該第二超解析度預處理區域的多個最右列。
  16. 如申請專利範圍第10項所述之後處理方法，其中，對該超解析度濾波的該處理結果進行環路恢復濾波包括：通過使用由該在先操作生成的第一超解析度預處理區域中包括的像素，根據具有從該超解析度濾波生成的像素的第二超解析度就緒區域，將 環路恢復濾波應用於具有從該超解析度濾波生成的像素的第一超解析度就緒區域，其中該第一超解析度就緒區域是該第二超解析度就緒區域的一部分；將包括在該第一超解析度預處理區域的一部分中的像素存儲在超解析度相鄰緩衝器中；以及通過使用由該在先操作生成的第二超解析度預處理區域中包括的像素，根據具有從該超解析度濾波生成的像素的第四超解析度就緒區域，將環路恢復濾波應用於具有從該超解析度濾波生成的像素的第三超解析度就緒區域，其中該第三超解析度就緒區域與該第一超解析度就緒區域相鄰，並且是該第四超解析度就緒區域的一部分，並且該第二超解析度預處理區域包括從該超解析度相鄰緩衝器取回的像素。
  17. 如申請專利範圍第16項所述之後處理方法，其中，該第一超解析度預處理區域的該部分包括該第一超解析度預處理區域的多個最右列和多個最底行。
  18. 如申請專利範圍第10項所述之後處理方法，其中，該在先操作包括約束方向增強濾波。
TW108139481A 2018-11-01 2019-10-31 後處理裝置和後處理方法 TWI729549B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862754027P 2018-11-01 2018-11-01
US62/754,027 2018-11-01
US16/666,380 US10939102B2 (en) 2018-11-01 2019-10-28 Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method
US16/666,380 2019-10-28

Publications (2)

Publication Number Publication Date
TW202037162A TW202037162A (zh) 2020-10-01
TWI729549B true TWI729549B (zh) 2021-06-01

Family

ID=70458679

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108139481A TWI729549B (zh) 2018-11-01 2019-10-31 後處理裝置和後處理方法

Country Status (3)

Country Link
US (1) US10939102B2 (zh)
CN (1) CN111147849B (zh)
TW (1) TWI729549B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding
US11997298B2 (en) * 2022-08-03 2024-05-28 Qualcomm Incorporated Systems and methods of video decoding with improved buffer storage and bandwidth efficiency

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129236A1 (en) * 2006-03-20 2013-05-23 Panasonic Corporation Image processing apparatus, image processing method, program and semiconductor integrated circuit
EP2996338A2 (en) * 2013-01-30 2016-03-16 Intel Corporation Content adaptive super resolution prediction generation for next generation video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306826C (zh) * 2004-07-30 2007-03-21 联合信源数字音视频技术（北京）有限公司 基于多级并行流水线方式的环路滤波装置
CN103780914B (zh) * 2012-02-27 2017-04-12 英特尔公司 环路滤波加速电路及环路滤波方法
KR20170052143A (ko) * 2015-11-04 2017-05-12 전자부품연구원 동영상 디코더에 적용되는 메모리 기반의 루프 필터
US10009622B1 (en) * 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US10645409B2 (en) * 2018-06-26 2020-05-05 Google Llc Super-resolution loop restoration
US10911799B2 (en) * 2018-07-31 2021-02-02 Intel Corporation Video refinement mechanism

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129236A1 (en) * 2006-03-20 2013-05-23 Panasonic Corporation Image processing apparatus, image processing method, program and semiconductor integrated circuit
EP2996338A2 (en) * 2013-01-30 2016-03-16 Intel Corporation Content adaptive super resolution prediction generation for next generation video coding

Also Published As

Publication number Publication date
US20200145658A1 (en) 2020-05-07
US10939102B2 (en) 2021-03-02
TW202037162A (zh) 2020-10-01
CN111147849A (zh) 2020-05-12
CN111147849B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Jia et al. Spatial-temporal residue network based in-loop filter for video coding
TWI729549B (zh) 後處理裝置和後處理方法
TWI499305B (zh) 編碼視訊資料的方法及其裝置
TWI507019B (zh) 解碼視訊資料的方法及其裝置
JP6535744B2 (ja) 画像符号化装置、画像復号化装置、及びこれらのプログラム
US20060133504A1 (en) Deblocking filters for performing horizontal and vertical filtering of video data simultaneously and methods of operating the same
JP2008529412A (ja) 中間ループフィルタデータを格納するスクラッチパッド
JP7005854B2 (ja) ビデオ符号化のためのインター予測装置の補間フィルタ及び方法
KR20210132708A (ko) 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체
JP2023517350A (ja) ビデオコーディングのための方法および装置
WO2007148619A1 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP7481332B2 (ja) デコードのための予測方法及びその装置、並びにコンピュータ記憶媒体
US20240089440A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
JP4395174B2 (ja) 動画像符号化方法，動画像並列符号化用符号化器，動画像並列符号化方法，動画像並列符号化装置，それらのプログラム，およびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
TW202315411A (zh) 視訊編解碼方法及裝置
KR101331093B1 (ko) 프레임 메모리의 단일뱅크 내 참조 영상의 픽셀 인터리빙 방법 및 장치, 이를 포함하는 영상코덱 시스템
US8503537B2 (en) System, method and computer readable medium for decoding block wise coded video
JP7359653B2 (ja) 動画像符号化装置
CN114430904A (zh) 利用环内子图像级可控噪声生成进行的视频压缩
JP2006340300A (ja) 信号処理方法及び信号処理装置、並びに信号処理プログラム及び情報記録媒体
WO2024079965A1 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2012151690A (ja) デブロッキングフィルタ装置、デブロッキングフィルタ処理方法、それを用いた符号化装置および復号化装置
US20240187589A1 (en) Image encoding apparatus, image decoding apparatus, control methods and non-transitory computer-readable storage medium
US20240195967A1 (en) Image encoding apparatus, image decoding apparatus, control methods and non-transitory computer-readable storage medium
US20240187590A1 (en) Image encoding apparatus, image decoding apparatus, control methods and non-transitory computer-readable storage medium