TWI826792B - 圖像增強方法及裝置 - Google Patents

圖像增強方法及裝置 Download PDF

Info

Publication number
TWI826792B
TWI826792B TW110120516A TW110120516A TWI826792B TW I826792 B TWI826792 B TW I826792B TW 110120516 A TW110120516 A TW 110120516A TW 110120516 A TW110120516 A TW 110120516A TW I826792 B TWI826792 B TW I826792B
Authority
TW
Taiwan
Prior art keywords
filtering
pixel value
enhancement
pixel
threshold
Prior art date
Application number
TW110120516A
Other languages
English (en)
Other versions
TW202201959A (zh
Inventor
陳方棟
Original Assignee
大陸商杭州海康威視數字技術股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商杭州海康威視數字技術股份有限公司 filed Critical 大陸商杭州海康威視數字技術股份有限公司
Publication of TW202201959A publication Critical patent/TW202201959A/zh
Application granted granted Critical
Publication of TWI826792B publication Critical patent/TWI826792B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本發明提供一種圖像增強方法及裝置，該圖像增強方法包括：對於當前塊的任一滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值；基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，得到增強處理後的該像素點的第三像素值。

Description

圖像增強方法及裝置
本發明涉及視訊圖像編解碼技術，尤其涉及一種圖像增強方法及裝置。
完整的視訊編碼一般包括預測、變換、量化、熵編碼、濾波等操作。
目前，標準中常用濾波技術包括去塊濾波(DeBlocking Filter，DBF)技術、樣本自我調整補償(Sample Adaptive Offset，SAO)技術以及自我調整環路濾波(Adaptive Loop Filter，ALF)技術。
DBF技術用於去除分塊編碼產生的塊邊界效應。SAO技術通過基於樣本的像素值和周圍塊的梯度值進行分類，對於每個類別的像素值加上不同的補償值，使得重建圖像更接近於原始圖像。ALF技術通過維納濾波器，對重建圖像進行增強濾波，使得重建圖像更接近於原始圖像。
上述DBF、SAO以及ALF濾波技術，均是基於當前像素值，或當前像素值和周圍像素值的關係進行分類，再基於不同類別進行不同濾波操作，其可能會出現過濾波現象，即濾波後的像素值遠大於或遠小於濾波前的像素值，也遠大於或遠小於原始像素值。
有鑑於此，本發明提供一種圖像增強方法及裝置。
具體地，本發明是通過如下技術方案實現的：根據本發明實施例的第一方面，提供一種圖像增強方法，包括：對於當前塊的任一 滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值；基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第三像素值；其中，所述基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，包括：基於所述第一像素值和所述第二像素值二者之間的差值與預設閾值的比較結果，對該像素點的所述像素值進行增強處理。
根據本發明實施例的第二方面，提供一種圖像增強裝置，包括處理器和記憶體，其中，所述記憶體存放有電腦程式，所述處理器被所述電腦程式促使：對於當前塊的任一滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值；基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第三像素值；其中，所述基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，包括：基於所述第一像素值和所述第二像素值二者之間的差值與預設閾值的比較結果，對該像素點的所述像素值進行增強處理。
本發明實施例的圖像增強方法，對於當前圖像塊的任一滿足第一濾波處理條件的像素點，通過確定該像素點經過第一濾波處理後的第一像素值，並基於第一像素值與該像素點未經過第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第三像素值，提升了圖像品質，提高了編解碼性能。
310:當前塊
320:左邊塊
330:上邊塊
S400,S410:步驟
501:處理器
502:記憶體
503:通信介面
504:通信匯流排
610:確定單元
620:增強單元
630:編碼/解碼單元
圖1A~1B是本發明示例性實施例示出的塊劃分的示意圖；圖2是本發明示例性實施例示出一種編解碼方法的示意圖；圖3是本發明示例性實施例示出一種DBF濾波像素示意圖； 圖4是本發明示例性實施例示出一種圖像增強方法的流程示意圖；圖5是本發明示例性實施例示出一種圖像增強裝置的硬體結構示意圖；圖6是本發明示例性實施例示出一種圖像增強裝置的功能結構示意圖；圖7是本發明示例性實施例示出另一種圖像增強裝置的功能結構示意圖。
這裡將詳細地對示例性實施例進行說明，其示例表示在圖式中。下面的描述涉及圖式時，除非另有表示，不同圖式中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本發明相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本發明的一些方面相一致的裝置和方法的例子。
在本發明使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本發明。在本發明和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。
為了使本領域技術人員更好地理解本發明實施例提供的技術方案，下面先對本發明實施例涉及的部分技術術語以及現有視訊編解碼的主要流程進行簡單說明。
一、技術術語
1、位元率-失真最佳化(Rate-Distortion Optimization，RDO)原則。評價編碼效率的指標包括：碼率和峰值信噪比(Peak Signal to Noise Ratio，PSNR)。碼率越小，則壓縮率越大；PSNR越大，重建圖像品質越好。在模式選擇的時候，判別公式實質上也就是對二者的綜合評價。模式對應的代價(cost)：J(mode)=D+λ*R。其中，D表示失真(Distortion)，通常使用SSE(Sum of the Squared Errors，差值均方和) 指標來衡量，SSE是指重建塊與源圖像塊的差值均方和；λ是拉格朗日乘子；R就是該模式下圖像塊編碼所需的實際比特數，包括編碼模式資訊、運動資訊、殘差等所需的比特總和。在模式選擇時，若使用RDO原則去對編碼模式做比較決策，通常可以保證編碼性能最佳。
2、序列參數集(Sequence Parameter Set，SPS)。該集合中，存在確定整個序列中是否允許某些工具(方法)開關的標記位元。若該標記位元為1，則該視訊序列中，允許啟用對應工具(方法)；否則，該工具(方法)無法在該序列的編碼過程中啟用。
3、圖像參數集(Picture Parameter Set，PPS)。該集合中，存在確定某一幀圖像中是否允許某些工具(方法)開關的標記位元。若該標記位元為1，則該幀圖像中，允許啟用對應工具(方法)；否則，該工具(方法)無法在該幀圖像的編碼過程中啟用。
4、圖像頭(picture header)，針對某一幀圖像的共同資訊。
5、片頭(Slice header)。一幀圖像，可以包含1個slice或多個slice。在片頭資訊中，存在確定某個slice中是否允許某些工具(方法)開關的標記位元。若該標記位元為1，則該slice中，允許啟用對應工具(方法)；否則，該工具(方法)無法在該slice的編碼過程中啟用。
6、SAO濾波，用於消除振鈴效應。振鈴效應是由於高頻交流係數的量化失真，解碼後會在邊緣周圍產生波紋的現象，變換塊尺寸越大振鈴效應越明顯。SAO的基本原理就是對重構曲線中的波峰像素加上負值進行補償，波谷像素加上正值進行補償。SAO以CTU(Coding Tree Unit，編碼樹單元)為基本單位，包括兩大類補償形式：邊界補償(Edge Offset，EO)和邊帶補償(Band Offset，BO)，此外還引入了參數融合技術。
7、ALF濾波。根據原始訊號和失真訊號計算得到均方意義下的最優濾波器，即維納濾波器。ALF的濾波器一般為7x7或5x5的菱 形濾波器。
二、現有視訊編碼標準中塊劃分技術
在HEVC(High Efficiency Video Coding，高效率視訊編碼)中，一個編碼樹單元(Coding Tree Unit，CTU)使用四叉樹遞迴劃分成CU(Coding Unit，編碼單元)。在葉子節點CU級確定是否使用幀內編碼或者幀間編碼。CU可以進一步劃分成兩個或者四個預測單元(Prediction Unit，簡稱PU)，同一個PU內使用相同的預測資訊。在預測完成後得到殘差資訊後，一個CU可進一步四叉劃分成多個變換單元(Transform Units，簡稱TU)。例如，本發明中的當前圖像塊即為一個PU。
但是在最新提出的通用視訊編碼(Versatile Video Coding，VVC)中的塊劃分技術有了較大變化。一種混合了二叉樹/三叉樹/四叉樹的劃分結構取代了原先的劃分模式，取消了原先CU，PU，TU的概念的區分，支持了CU的更靈活的劃分方式。其中，CU可以是正方形也可以是矩形劃分。CTU首先進行四叉樹的劃分，然後四叉樹劃分的葉子節點可以進一步進行二叉樹和三叉樹的劃分。參見圖1A，如(a)部分所示的CU共有五種劃分類型，分別為如(b)部分所示的四叉樹劃分，如(c)部分所示的水平二叉樹劃分，如(d)部分所示的垂直二叉樹劃分，如(e)部分所示的水平三叉樹劃分和如(f)部分所示的垂直三叉樹劃分。如圖1B所示，一種CTU內的CU劃分可以是上述五種劃分類型的任意組合。由上可知不同的劃分方式，使得各個PU的形狀有所不同，如不同尺寸的矩形，正方形。
三、現有視訊編解碼的主要流程
請參考圖2中的a部分，以視訊編碼為例，視訊編碼一般包括預測、變換、量化、熵編碼等過程，進一步地，編碼過程還可以按照圖2中的b部分的框架來實現。
其中，預測可以分為幀內預測和幀間預測，幀內預測是 利用周圍已編碼塊作為參考對當前未編碼塊進行預測，有效去除空域上的冗餘。幀間預測是使用鄰近已編碼圖像對當前圖像進行預測，有效去除時域上的冗餘。
變換是指將圖像從空間域轉換至變換域，利用變換係數對圖像加以表示。絕大多數圖像都含有較多平坦區域和緩慢變化的區域，適當的變換可以使圖像由在空間域的分散分佈轉換為在變換域的相對集中分佈，去除訊號之間的頻域相關性，配合量化過程，可以有效壓縮碼流。
熵編碼是一種無損編碼方式，可以把一系列元素符號轉變為一個用來傳輸或存儲的二進位碼流，輸入的符號可能包括量化後的變換係數、運動向量資訊、預測模式資訊，變換量化相關語法等。熵編碼可以有效地去除視訊元素符號的冗餘。
上述是以編碼為例進行介紹，視訊解碼與視訊編碼的過程是相對的，即視訊解碼通常包括熵解碼、預測、反量化、反變換、濾波等過程，各個過程的實現原理與熵編碼相同或相似。
下面再對DBF濾波處理的實現進行簡單說明。
DBF濾波處理包括兩個過程：濾波決策和濾波操作。
濾波決策包括：1)獲取邊界強度(即BS值)；2)濾波開關決策；3)濾波強弱選擇。對於色度分量，僅存在步驟1)，且直接複用亮度分量的BS值。對於色度分量，只有BS值為2時(即當前塊兩側的塊至少有一個採用intra(幀內)模式)，才進行濾波操作。
濾波操作包括：1)對於亮度分量的強濾波和弱濾波；2)對於色度分類的濾波。DBF濾波處理一般以8*8為單位進行水平邊界濾波處理(可以稱為水平DBF濾波處理)和垂直邊界濾波處理(可以稱為垂直DBF濾波處理)，且最多對邊界兩側的3個像素點進行濾波，且最多利用到邊界兩側的4個像素點進行濾波，因此，不同塊的水平/垂直DBF濾波互不影響，可並行進行。
如圖3所示，對於當前塊310(以8*8為例)，先進行當 前塊310左側3列和左邊塊320右側3列像素點的垂直DBF濾波，再進行當前塊310上側3行和上邊塊330下側3行像素點的水平DBF濾波。
示例性的，對於需要分別進行垂直DBF濾波和水平DBF濾波的像素點，通常先進行垂直DBF濾波，後進行水平DBF濾波。
不管是DBF濾波、SAO濾波還是ALF濾波，均是基於當前像素值，或當前像素值和周圍像素的關係進行分類，再基於不同類別進行不同濾波操作。而本發明提出的圖像增強方法是一種基於濾波殘差的二次濾波方法(本文稱為增強濾波)。濾波殘差，是指濾波處理前後像素值的差別。例如，若進行DBF濾波處理前的重建值為Y1，經過DBF濾波處理後的像素值為Y2，則可基於Y2-Y1的結果進行分類。基於濾波殘差分類的主要好處是，可以對於一些過濾波或偽濾波的像素值進行特殊增強，以使這些類別的像素更接近原始值。過濾波，是指Y2遠大於(或遠小於)Y1，以至於Y2遠大於(或遠小於)原始像素值。偽濾波，是指Y2-Y1為0，或接近於0，這些像素值經過濾波後仍保持不變，可以相當於未進行濾波。
本發明假設某一像素，其座標可表示為(i，j)，進行首次濾波處理(這些首次濾波包括DBF濾波處理、SAO濾波處理或ALF濾波處理等未利用到濾波殘差的濾波方法)前的重建值為Y1，經過濾波處理後的像素值為Y2，則可基於Y2-Y1的結果進行殘差分類。根據殘差分類結果，再進行增強處理，得到Y3。其中，Y3既可以是對Y2進行增強獲得，又可以是基於Y1進行增強獲得，還可以是基於Y1和Y2進行增強獲得。其中，所述的增強處理，既可以是加一個補償值(可為正數，也可為負數)，又可以是進行一個加權濾波過程，如Y3=w1*Y1+w2*Y2，或者Y3=w1*Y2+w2*Y2(i-1，j)+w2*Y2(i，j-1)，其中，Y2(i-1，j)和Y2(i，j-1)為Y2的空域相鄰像素值，等等。
為了使本發明實施例的上述目的、特徵和優點能夠更加明顯易懂，下面結合圖式對本發明實施例中技術方案作進一步詳細的說 明。
請參見圖4，為本發明實施例提供的一種圖像增強方法的流程示意圖，如圖4所示，該圖像增強方法可以包括以下步驟。
步驟S400、對於當前塊的任一滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值。
本發明實施例中，第一濾波處理可以包括但不限於垂直DBF濾波處理、水平DBF濾波處理、SAO濾波處理或ALF濾波處理等。
以第一濾波處理為垂直DBF濾波處理或水平DBF濾波處理為例，當前塊各像素點是否滿足第一濾波處理條件可以基於像素點在當前塊中的位置，以及上文中DBF濾波處理的濾波決策策略確定。例如，當按照上文中DBF濾波處理的濾波策略確定當前塊需要進行DBF濾波處理時，當前塊中需要進行垂直DBF濾波或/和水平DBF濾波處理的像素點可以如圖3所示。
對於當前塊的任一滿足第一濾波處理條件的像素點，可以確定該像素點經過第一濾波處理後的像素值(本文中稱為第一像素值)。
步驟S410、基於第一像素值與該像素點未經過第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，得到增強處理後的該像素點的第三像素值。
本發明實施例中，當確定了該像素點經過第一濾波處理後的第一像素值時，可以基於該第一像素值與該像素點未經過第一濾波處理前的像素值(本文中稱為第二像素值)，對該像素點的像素值進行增強處理，即對該像素點的像素值進行增強濾波處理，得到增強處理後的該像素點的像素值(本文中稱為第三像素值)，以使增強處理後的該像素點的像素值相比第一像素值，更接近原始像素值，避免由於過濾波導致的濾波後的像素值遠大於或遠小於像素點的原像素值，提升圖像品質。
示例性的，該第三像素值相對第一像素值更接近該像素 點的原像素值，以避免由於過濾波而導致濾波後的像素值遠大於或遠小於像素點的原像素值。
示例性的，對像素點的像素值的增強處理可以通過增加一個補償值(也可以稱為偏移量，可為正數，也可為負數)，或者，進行加權濾波處理實現。
以進行加權濾波處理為例，假設該像素的座標點為(i，j)，第一像素值為Y2，第二像素值為Y1，第三像素值為Y3，則Y3=w1*Y1+w2*Y2，或者Y3=w1*Y2+w2*Y2(i-1，j)+w2*Y2(i，j-1)，Y2(i-1，j)和Y2(i，j-1)為該像素點的空域相鄰像素點的像素值。
可見，在圖4所示方法流程中，通過在對像素點進行濾波處理後，基於像素點進行濾波處理前和濾波處理後的像素值，對像素點的像素值進行增強處理，可以提高編解碼性能，提升圖像品質。
作為一種可能的實施例，步驟S410中，基於第一像素值與該像素點未經過第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，可以包括：基於第一像素值和第二像素值二者之間的差值，對該像素點的像素值進行增強處理。
示例性的，考慮到像素點濾波前後的像素值的殘差通常可以表徵濾波處理後像素點的像素值與該像素點原始像素值之間的殘差，因而，基於像素點濾波前後的像素值殘差對像素點進行增強處理，可以有效地保證增強處理後的像素點的像素值更接近像素點的原始像素值，提升圖像品質。
在確定了像素點經過第一濾波處理後的第一像素值時，可以計算第一像素值與該像素點未經過第一濾波處理前的第二像素值之間的差值，並基於該差值對該像素點的像素值進行增強處理。
在一個示例中，上述基於第一像素值和第二像素值之間的差值，對該像素點的像素值進行增強處理，可以包括：基於第一像素值 和第二像素值之間的差值，與預設閾值的比較結果，對該像素點進行增強處理。
示例性的，可以基於像素點的第一像素值和第二像素值之間的差值，與預設閾值的比較結果，對該像素點進行分類，並基於該像素點的類別對該像素點的像素值進行增強處理。示例性的，不同類別的像素點，進行增強處理的策略不同。
在一個示例中，基於第一像素值和第二像素值之間的差值與預設閾值的比較結果，對該像素點的像素值進行增強處理，可以包括：若第一像素值和第二像素值二者之間的差值大於第一增強濾波閾值，則基於第一增強濾波偏移量對該像素點的像素值進行增強處理；若第一像素值和第二像素值二者之間的差值小於第二增強濾波閾值，則基於第二增強濾波偏移量對該像素點的像素值進行增強處理；第二增強濾波閾值小於第一增強濾波閾值。
示例性的，預設閾值可以包括第一增強濾波閾值和第二增強濾波閾值，第二增強濾波閾值小於第一增強濾波閾值。
當確定了第一像素值和第二像素值之間的差值時，可以比較該差值與第一增強濾波閾值和第二增強濾波閾值。當該差值大於第一增強濾波閾值時，可以基於第一增強濾波偏移量對該像素點的像素值進行增強處理。當該差值小於第二增強濾波閾值時，可以基於第二增強濾波偏移量對該像素點的像素值進行增強處理。
舉例來說，對該像素點的像素值進行增強處理時，可以基於第一像素值和第二像素值，確定第四像素值。當第一像素值和第二像素值二者之間的差值大於第一增強濾波閾值時，可以基於第一增強濾波偏移量對該第四像素值進行增強處理，以得到第三像素值；當第一像素值和第二像素值二者之間的差值小於第二增強濾波閾值時，可以基於第二增強濾波偏移量對該第四像素值進行增強處理，以得到第三像素值。
又舉例來說，對該像素點的像素值進行增強處理時，可 以通過對第一像素值進行增強處理實現。當第一像素值和第二像素值二者之間的差值大於第一增強濾波閾值時，可以基於第一增強濾波偏移量對該第一像素值進行增強處理，以得到第三像素值；當第一像素值和第二像素值二者之間的差值小於第二增強濾波閾值時，可以基於第二增強濾波偏移量對該第一像素值進行增強處理，以得到第三像素值。
需要說明的是，在本發明實施例中，當第一像素值和第二像素值二者之間的差值小於等於第一增強濾波閾值，且大於等於第二增強濾波閾值時，可以將第一像素值作為第三像素值，或者，對第一像素值進行濾波處理(本文中稱為第二濾波處理)，以得到第三像素值。
例如，可以將第一像素值與預設的第三增強濾波偏移量二者之和確定為第三像素值。又例如，第二濾波處理可以為ALF濾波處理，即對第一像素值進行ALF濾波處理，得到第三像素值。
考慮到像素像素點的像素像素值會處於指定的取值範圍，該取值範圍通常由圖像比特深度確定，如[0，2D-1]，D為圖像比特深度。例如，對於8比特圖像，該取值範圍為[0，255]；對於10比特圖像，該取值範圍為[0，1023]。為了避免增強處理後的像素像素點的第三像素像素值超出像素像素值的取值範圍，在得到第三像素像素值時，可以通過clip(修剪)操作，將第三像素像素值限制到預設取值範圍。
當第三像素值大於預設取值範圍的上限時，將第三像素值設置為預設取值範圍的上限；當第三像素值小於預設取值範圍的下限時，將第三像素值設置為預設取值範圍的下限。以8比特圖像為例，當第三像素值小於0時，將第三像素值設置為0；當第三像素值大於255時，將第三像素值設置為255。
考慮到編碼端設備對當前塊的像素點進行了上述增強處理時，編碼端設備和解碼端設備需要在增強濾波閾值和增強濾波偏移量的取值上保持一致。
示例性的，編碼端設備和解碼端設備可以通過構建相同 的增強濾波閾值候選列表(後文簡稱閾值候選列表)和相同的增強濾波偏移量候選清單，編碼端設備在碼流中攜帶增強濾波閾值索引(後文簡稱閾值索引)和增強濾波偏移量索引(後文簡稱偏移量索引)，該閾值索引用於表徵增強濾波閾值，如第一增強濾波閾值或第二增強濾波閾值在閾值候選列表中的位置，偏移量索引用於表徵增強濾波偏移量，如第一增強濾波偏移量或第二增強濾波偏移量在偏移量候選列表中的位置。
解碼端設備接收到碼流時，可以從碼流中對閾值索引和偏移量索引進行解碼，並基於閾值索引從閾值候選清單中查詢第一增強濾波閾值或第二增強濾波閾值，以及，基於偏移量索引從偏移量候選清單中查詢第一增強濾波偏移量或第二增強濾波偏移量。
在一個示例中，為了減少需要編碼的閾值索引消耗的比特數，第一增強濾波閾值和第二增強濾波閾值可以互為相反數。
示例性的，由於第二增強濾波閾值小於第一增強濾波閾值，因此，第一增強濾波閾值為正數，第二增強濾波閾值為負數。例如，第一增強濾波閾值為2，第二增強濾波閾值為-2。同理，第一增強濾波係數和第二增強濾波係數也可以互為相反數。
需要說明的是，在本發明實施例中，在構建增強濾波閾值候選列表和增強濾波偏移量候選列表時，可以以參數集的形式構建。即候選列表中每一個候選值為一個參數集，該參數集包括一個候選的第一增強濾波閾值、一個候選的第二增強濾波閾值(當第一增強濾波閾值和第二增強濾波閾值互為相反數時，可以僅包括其中一個)、一個候選的第一增強濾波偏移量以及一個候選的第二增強濾波偏移量(當第一增強濾波偏移量和第二增強濾波偏移量互為相反數時，可以僅包括其中一個)。
當對索引進行編解碼時，可以以參數集索引的形式進行編解碼，即通過參數集索引表徵參數集在參數集候選列表中的位置，其具體實現可以在下文的具體實施例中進行說明。
此外，在本發明實施例中，當前塊的增強濾波參數，如 增強濾波閾值和增強濾波偏移量，還可以複用周圍塊，如上側塊或左側塊，的相應參數。
編解碼端可以在碼流中對用於指示當前塊是否複用周圍塊的增強濾波參數的標記位元，當確定複用周圍塊的增強濾波參數時，可以不需要再額外對當前塊進行增強濾波參數的編解碼。
在另一個示例中，為了減少需要編碼的閾值索引消耗的比特數，第一增強濾波閾值或/和第二增強濾波閾值為固定值。示例性，可以將第一增強濾波閾值或/和第二增強濾波閾值設置為固定值，從而，可以不需要對第一增強濾波閾值對應的閾值索引或/和第二增強濾波閾值對應的閾值索引進行編碼。同理，第一增強濾波係數或/和第二增強濾波係數也可以為固定值。
作為另一種可能的實施例，步驟S410中，基於第一像素值與該像素點未經過第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，可以包括：以第一像素值和第二像素值為輸入參數，利用機器學習或深度學習，確定第三像素值。
示例性的，還可以利用機器學習或深度學習方法實現像素值的增強處理。當對像素點進行第一濾波處理確定了該像素點的第一像素值時，可以以第一像素值和未經過第一濾波處理前的第二像素值為輸入參數，利用機器學習或深度學習，對該像素點的像素值進行增強處理，得到增強處理後的第三像素值。
需要說明的是，上述實施例中描述的確定第三像素值的方式僅僅屬於本發明實施例中確定第三像素值的實現方式的幾種具體示例，而並不是對本發明保護範圍的限定，即本發明實施例中，也可以按照其他方式，基於第一像素值和第二像素值，確定第三像素值，例如，以第一像素值和第二像素值二者之差作為輸入，利用維納濾波器，確定第三像素值，或者，基於第一像素值和第二像素值二者之差，對第二像素值進行分類，並基於第二像素值的類別，利用維納濾波器對該像素點的像素值進 行增強處理，以確定第三像素值。
作為一種可能的實施例，步驟S410中，基於第一像素值與該像素點未經過第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，可以包括：當當前塊使能增強濾波時，基於第一像素值與該第二像素值，對該像素點的像素值進行增強處理。
示例性的，為了提高增強濾波的靈活性和可控性，可以選擇使能或不使能增強濾波方案，即在對像素點進行濾波處理後，對像素點的像素值進行增強處理(使能增強濾波)或不對像素點的像素值進行增強處理(不使能增強濾波)。
對於當前塊的任一滿足第一濾波處理條件的像素點，在確定了該像素點經過第一濾波處理後的第一像素值時，可以基於當前塊是否使能增強濾波，確定是否對該像素點的像素值進行增強處理。當當前塊使能增強濾波時，基於該第一像素值與該第二像素值，對該像素點進行增強處理。
在一個示例中，利用指定語法標識當前塊是否使能當前塊是否使能增強濾波。示例性的，該指定語法可以包括但不限於以下之一或多個：序列參數集級語法、圖像參數集級語法以及Slice級語法；或，該指定語法可以但不限於包括以下之一或多個：序列參數集級語法、圖像參數集級語法、CTU級語法以及CU級語法。
示例性的，為了提高增強濾波的靈活性和可控性，可以在不同層級實現增強濾波的使能或不使能。例如，可以從序列參數集級、圖像參數集級或/和Slice級，實現增強濾波的使能或不使能。例如，當圖像序列使能增強濾波時，還可以在圖像參數集語法中設置增強濾波的使能或不使能，從而該圖像序列中的各圖像可以選擇性的使能或不使能增強濾波。又例如，當圖像使能增強濾波時，還可以在Slice級語法中設置增強濾波的使能或不使能，從而該圖像的各Slice可以選擇性的使能或不使能增強濾波。需要說明的是，當一幀圖像包括的Slice的數量為1時，該圖 像使能增強濾波時，該Slice也使能增強濾波；反之亦然。
同理，還可以從序列參數集級、圖像參數集級、CTU級或/和CU級，實現增強濾波的使能或不使能。
在一個示例中，當指定語法的候選級別包括至少兩個級別時，基於預設標誌位元確定指定語法的級別，預設標誌位元用於指示所述指定語法的級別。
示例性的，當指定語法的候選級別包括至少兩個級別時，還可以通過專門的標記位元來指示上述指定語法的級別。例如，當指定語法的級別包括圖像參數集級和CTU級時，可以在圖像參數集級增加一個標誌位元，用於指示上述指定語法的級別為圖像參數集級或CTU級。
示例性的，上述預設標誌位元的語法級別與指定語法的候選級別中的非最低級別匹配。例如，當指定語法的候選級別包括序列參數集級語法和圖像參數集級語法時，該預設標誌位元的語法級別為序列參數集級；當指定語法的候選級別包括圖像參數集級語法和Slice級語法時，該預設標誌位元的語法級別為圖像參數集級；當指定語法的候選級別包括序列參數集級語法、圖像參數集級語法以及Slice級語法時，該預設標誌位元包括序列參數集級的標誌位元和圖像參數集級的標誌位元；當指定語法的候選級別包括圖像參數集級語法和CTU級語法時，該預設標誌位元的語法級別為圖像參數集級；當指定語法的候選級別包括CTU級語法和CU級語法時，該預設標誌位元的語法級別為CTU級；當指定語法的候選級別包括圖像參數集級語法、CTU級語法以及CU級語法時，該預設標誌位元包括CTU級的標誌位元和CU級的標誌位元，其具體實現可以在下文中結合具體實施例進行說明。
作為一種可能的實施例，當第一濾波處理為對該像素點的連續多次濾波處理中的非首次濾波處理時，第二像素值為該像素點上一次濾波處理後的像素值經過增強處理後得到的像素值。
示例性的，當一個像素點需要經過連續多次濾波處理時，每一次對該像素點進行濾波處理後，均可以對該像素點的像素值進行增強處理，下一次濾波處理前的像素點的像素值為上一次濾波處理後經過增強處理後的像素值。
在一個示例中，當第一濾波處理為水平DBF濾波處理；當該像素點滿足垂直DBF濾波處理條件時，第二像素值為對該像素點的第五像素值進行增強處理後該像素點的像素值，第五像素值為該像素點經過垂直DBF濾波處理後的像素值。
示例性的，當第一濾波處理為水平DBF濾波處理，且該像素點滿足垂直DBF濾波處理條件時，且該像素點經過垂直DBF濾波處理後的像素值為第五像素值，則第二像素值為該像素點經過垂直DBF濾波處理後，按照上述實施例中描述的方式進行增強處理後的該像素點的像素值。
作為一種可能的實施例，當第一濾波處理為垂直DBF濾波處理；步驟S410中，對該像素點的像素值進行增強處理之後，還可以包括：當該像素點滿足水平DBF濾波條件時，對第三像素值進行水平DBF濾波處理，以得到該像素點的第六像素值；基於第三像素值與第六像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第七像素值。
示例性的，當按照步驟S400~步驟S410中描述的方式對該像素點進行了垂直DBF濾波處理和增強處理時，還可以確定該像素點是否滿足水平DBF濾波條件，例如，基於該像素點的位置確定該像素點是否滿足水平DBF濾波條件。
當該像素點滿足水平DBF濾波條件時，可以對第三像素值進行水平DBF濾波處理，得到該像素點經過水平DBF濾波處理後的像素值(本文中稱為第六像素值)，並基於該像素點未經過水平DBF濾波處理前的像素值，即第三像素值，以及該像素點經過水平DBF濾波處理後的 像素值，即第六像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的像素值(本文中稱為第七像素值)。
需要說明的是，基於第三像素值與第六像素值對像素點的像素值進行增強處理的具體實現流程可以參見上述實施例中描述的基於第一像素值與第二像素值對像素點的像素值進行增強處理的相關描述，本發明實施例在此不再贅述。
此外，本發明實施例中，上述連續多次濾波處理的實現流程是以像素點在進行各次濾波處理時均使能增強濾波為例進行說明的，若存在不使能增強濾波的情況，則在相應濾波處理後，可以不需要進行增強處理。
舉例來說，以垂直DBF濾波處理和水平DBF濾波處理為例，當像素點滿足垂直DBF濾波處理條件和水平DBF濾波處理條件，但是針對垂直DBF濾波處理未使能增強濾波，則對該像素點進行垂直DBF濾波處理之後，不需要對垂直DBF濾波處理後的像素值進行增強處理，在此情況下，當對該像素點進行水平DBF濾波處理時，該像素點未經過水平DBF濾波處理前的像素值為該像素點經過垂直DBF濾波處理後的像素值。
為了使本領域技術人員更好地理解本發明實施例提供的技術方案，下面結合具體實例對本發明實施例提供的技術方案進行說明。分別以首次濾波處理為DBF濾波處理、SAO濾波處理或ALF濾波處理為例，對本發明實施例提供的技術方案進行說明。
假設進行首次濾波處理前的重建值為Y1，經過首次濾波處理後的像素值為Y2，則可以基於Y2-Y1或Y1-Y2進行分類，基於分類結果，對不同類別的殘差，進行相應的增強處理(也可以稱為增強濾波處理)，得到增強處理後的像素值Y3。
示例性的，Y3既可以是對Y2進行增強獲得，也可以是基於Y1進行增強獲得，還可以是基於Y1和Y2進行增強獲得。示例性 的，上述增強處理，可以是加一個補償值(可為正數，也可為負數)；或，可以是進行一個加權濾波過程，如Y3=w1*Y1+w2*Y2，或者Y3=w1*Y2+w2*Y2(i-1，j)+w2*Y2(i，j-1)。其中，Y2(i-1，j)和Y2(i，j-1)為Y2的空域相鄰像素值。
首先以首次濾波處理為DBF濾波處理進行說明。
實施例一：以像素點i滿足垂直DBF濾波處理條件和水平DBF濾波處理條件為例。
步驟1、Y1(i)經過垂直DBF濾波處理後得到Y2(i)；步驟2、基於Y1(i)和Y2(i)，對像素點的像素值進行增強處理，得到Y3(i)；步驟3、Y3(i)經過水平DBF濾波處理後得到Y4(i)；步驟4、基於Y4(i)和Y3(i)，對像素點的像素值進行增強處理，得到Y5(i)。
示例性的，當上文中的第一濾波處理為垂直DBF濾波處理時，Y1(i)為上文中的第二像素值，Y2(i)為上文中的第一像素值，Y3(i)為上文中的第三像素值。Y4(i)為上文中的第六像素值，Y5(i)為上文中的第七像素值。示例性的，當上文中的第一濾波處理為水平DBF濾波處理時，Y3(i)為上文中的第二像素值，Y4(i)為上文中的第一像素值，Y5(i)為上文中的第三像素值，Y2(i)為上文中的第五像素值。
實施例二
在實施例一的基礎上，步驟2中，假設Yv(i)=(Y1(i)+Y2(i)+1)/2；若Y1(i)-Y2(i)>Tv，則Y3(i)=clip(Yv(i)+f0v)；若Y1(i)-Y2(i)<NTv，則Y3(i)=clip(Yv(i)+f1v)；若NTv
Figure 110120516-A0305-02-0020-12
Y1(i)-Y2(i)
Figure 110120516-A0305-02-0020-13
Tv，則Y3(i)=Y2(i)，或者，Y3(i)=Y2(i)+f2v。Y3(i)=Y2(i)+f2v表示對Y2(i)進行濾波 處理(即上述第二濾波處理)，得到Y3(i)。
示例性的，Tv和NTv為增強濾波閾值，f0v、f1v和f2v為增強濾波偏移量。clip(x)表示將x限制在預設的取值範圍內。示例性的，當第一濾波處理為垂直BDF濾波處理時，Tv為上文中的第一增強濾波閾值，NTv為上文中的第二增強濾波閾值；f0v為上文中的第一增強濾波偏移量，f1v為上文中的第二增強濾波偏移量，f2v為上文中的第三增強濾波偏移量，Yv(i)為上文中的第四像素值，clip(x)表示將x限制在預設的取值範圍內。
示例性的，NTv=-Tv，即Tv和NTv互為相反數。
類似的，步驟4中，假設Yh(i)=(Y3(i)+Y4(i)+1)/2；若Y3(i)-Y4(i)>Th，則Y3(i)=clip(Yh(i)+f0h)；若Y3(i)-Y4(i)<NTh，則Y3(i)=clip(Yh(i)+f1h)；若NTh
Figure 110120516-A0305-02-0021-19
Y3(i)-Y4(i)
Figure 110120516-A0305-02-0021-20
Th，則Y5(i)=Y4(i)，或者，Y5(i)=Y4(i)+f2h。Y5(i)=Y4(i)+f2h表示對Y4(i)進行濾波處理(即上述第二濾波處理)，得到Y5(i)。
示例性的，Th和NTh為增強濾波閾值，f0h、f1h和f2h為增強濾波偏移量
示例性的，當第一濾波處理為水平BDF濾波處理時，Th為上文中的第一增強濾波閾值，NTh為上文中的第二增強濾波閾值；f0h為上文中的第一增強濾波偏移量，f1h為上文中的第二增強濾波偏移量，f2h為上文中的第三增強濾波偏移量。
示例性的，NTh=-Th，即Th和NTh互為相反數。
實施例三
在實施例一的基礎上，步驟2中，假設Yv(i)=Y2 (i)；若Y1(i)-Y2(i)>Tv，則Y3(i)=clip(Yv(i)+f0v)；若Y1(i)-Y2(i)<NTv，則Y3(i)=clip(Yv(i)+f1v)；若NTv
Figure 110120516-A0305-02-0022-15
Y1(i)-Y2(i)
Figure 110120516-A0305-02-0022-16
Tv，則Y3(i)=Y2(i)，或者，Y3(i)=Y2(i)+f2v。Y3(i)=Y2(i)+f2v表示對Y2(i)進行濾波處理(即上述第二濾波處理)，得到Y3(i)。
示例性的，Tv和NTv為增強濾波閾值，f0v、f1v和f2v為增強濾波偏移量。clip(x)表示將x限制在預設的取值範圍內。
示例性的，NTv=-Tv，即Tv和NTv互為相反數。
類似的，步驟4中，假設Yh(i)=Y4(i)；若Y3(i)-Y4(i)>Th，則Y3(i)=clip(Yh(i)+f0h)；若Y3(i)-Y4(i)<NTh，則Y3(i)=clip(Yh(i)+f1h)；若NTh
Figure 110120516-A0305-02-0022-17
Y3(i)-Y4(i)
Figure 110120516-A0305-02-0022-18
Th，則Y5(i)=Y4(i)，或者，Y5(i)=Y4(i)+f2h。Y5(i)=Y4(i)+f2h表示對Y4(i)進行濾波處理(即上述第二濾波處理)，得到Y5(i)。
示例性的，Th和NTh為增強濾波閾值，f0h、f1h和f2h為增強濾波偏移量。示例性的，NTh=-Th，即Th和NTh互為相反數。
雖然上述實施例一到實施例三是以像素點i滿足垂直DBF濾波處理條件和水平DBF濾波處理條件為例進行說明，還可以將該方法應用於像素點i滿足垂直DBF濾波處理條件或水平DBF濾波處理條件的情況。例如，在像素點i只滿足垂直DBF濾波處理條件的情況下，只包括上述實施例的前2個步驟。例如，在像素點i只滿足水平DBF濾波處理條件的情況下，只包括2個步驟，其中步驟1為Y1(i)經過水平DBF 濾波處理後得到Y2(i)；步驟2為基於Y1(i)和Y2(i)，對像素點的像素值進行增強處理，得到Y3(i)，而步驟2的具體實現可以參考實施例二和實施例三中步驟2的具體實現，只需把垂直DBF濾波處理的各參數替換成水平DBF濾波處理的各參數，在此不再贅述。
實施例四
在幀級採用實施例二或實施例三描述的方案。幀級包括圖像參數集級或slice級，圖像參數集級即一幀圖像，而一幀圖像可以包括N(N為正整數)個slice。
對於編碼端設備，需要在圖像頭或slice頭編碼傳遞如下語法資訊，即一幀圖像或一個slice採用一套下面的語法(該語法的級別為圖像參數集級或slice級)，該圖像或slice內的所有編碼塊均複用同一套係數。
示例性的，該一套係數可以包括：增強濾波閾值(可以包括垂直方向增強濾波閾值或/和水平方向增強濾波閾值)以及增強濾波偏移量(可以包括垂直方向增強濾波偏移量或/和水平方向增強濾波偏移量)。
對於解碼端設備，需要在圖像頭或slice頭解碼如下語法資訊。
1、垂直方向增強濾波使能標記，該標記用於標識當前圖像或slice在垂直方向是否使能增強濾波。
若未使能，則在上述步驟1之後，不需要執行上述步驟2，也不需要對相關的閾值索引和偏移量索引進行編解碼。
若使能，則在上述步驟1之後，需要執行上述步驟2，並編解碼如下資訊：垂直方向增強濾波閾值索引和垂直方向增強濾波偏移量索引。
垂直方向增強濾波閾值索引可以為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可 以為其他包括兩個候選值的候選列表。
示例性的，當Tv和NTv互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Tv=2，NTv=-2，則無需編解碼閾值索引。
垂直方向增強濾波偏移量索引f0v和f1v的候選值可以相同，也可以不同，偏移量索引可以為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0v和f1v的候選列表可以相同，也可以不同，例如，f0v的候選列表{-1，-2，-3，-4}，f1v的候選列表為{1，2，3，4}。
2、水平方向增強濾波使能標記，該標記用於標識當前圖像或slice在水平方向是否使能增強濾波。
若未使能，則上述步驟3之後，不需要執行上述步驟4，也不需要對相關的閾值索引和偏移量索引進行編解碼。
若使能，則在上述步驟3之後，需要執行上述步驟4，並編解碼如下資訊：水平方向增強濾波閾值索引和水平方向增強濾波偏移量索引。
水平方向增強濾波閾值索引可以為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可以為其他包括兩個候選值的候選列表。
示例性的，當Th和NTh互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Th=2，NTh=-2，則無需編解碼閾值索引。
水平方向增強濾波偏移量索引f0h和f1h的候選值可以相同，也可以不同，偏移量索引可以為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6， 8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0h和f1h的候選列表可以相同，也可以不同，例如，f0h的候選列表{-1，-2，-3，-4}，f1h的候選列表為{1，2，3，4}。
實施例五
區別於實施例四，在實施例五中，增強濾波參數(包括增強濾波閾值和/或增強濾波偏移量)以參數集的形式出現，即不再單獨編解碼增強濾波閾值和/或增強濾波偏移量的索引資訊，而是編解碼增強濾波閾值和增強濾波偏移量構成的參數集的索引資訊。
在幀級採用實施例二或實施例三描述的方案。幀級包括圖像參數集級或slice級，圖像參數集級即一幀圖像，而一幀圖像可以包括N(N為正整數)個slice。
對於編碼端設備，需要在圖像頭或slice頭編碼傳遞如下語法資訊，即一幀圖像或一個slice採用一套下面的語法(該語法的級別為圖像參數集級或slice級)，該圖像或slice內的所有編碼塊均複用同一套係數。
示例性的，該一套係數可以包括：由增強濾波閾值和增強濾波偏移量構成的增強濾波參數集。對於解碼端設備，需要在圖像頭或slice頭解碼如下語法資訊。
1、垂直方向增強濾波使能標記，該標記用於標識當前圖像或slice在垂直方向是否使能增強濾波。
若未使能，則上述步驟1之後，不需要執行上述步驟2，也不需要對相關的參數索引進行編解碼。
若使能，則在上述步驟1之後，需要執行上述步驟2，則需要編解碼如下資訊：垂直方向增強濾波參數索引。
垂直方向增強濾波參數可以以參數集的形式出現，該垂直方向增強濾波參數索引可以包括但不限於{Tv，f0v，f1v}在參數集候選列 表T{Tv，f0v，f1v}中的索引，即基於該索引，可以從參數集候選列表T中確定Tv，f0v和f1v的值。
示例性的，垂直方向增強濾波參數可以為編解碼端預設的固定參數集，或，存儲的時域上已編碼其他幀的垂直方向濾波參數，此時，可以不需要對該參數索引進行編解碼。
2、水平方向增強濾波使能標記，該標記用於標識當前圖像或slice在水平方向是否使能增強濾波。
若未使能，則在上述步驟3之後，不需要執行上述步驟4，也不需要對相關的參數索引進行編解碼。
若使能，則在步驟3之後，需要執行上述步驟4，則需要編解碼如下資訊：水平方向增強濾波參數索引。
水平方向增強濾波參數可以以參數集的形式出現，水平方向增強濾波參數索引可以包括但不限於{Th，f0h，f1h}在參數集候選列表T{Th，f0h，f1h}中的索引，即基於該索引，可以從參數集候選列表T中確定Th，f0h和f1h的值。
示例性的，水平方向增強濾波參數可以為編解碼端預設的固定參數集，或，存儲的時域上已編碼其他幀的水平方向濾波參數，此時，可以不需要對該參數索引進行編解碼。
實施例六
在CTU級採用實施例二或實施例三描述的方案。CTU為最大編碼單元，對於I幀，CTU的尺寸一般為64*64；對於非I幀(如B幀或P幀)，CTU的尺寸一般為128*128。
每個CTU編碼一套係數，即該CTU下的每個編碼塊均採用該套係數，在每個CTU內編解碼該係數的具體實現可以參見實施例四或實施例五中編解碼相應係數的具體實現。示例性的，該一套係數可以包括增強濾波閾值以及增強濾波偏移量(對應實施例四)，或，由增強濾波閾值和增強濾波偏移量構成的增強濾波參數集(對應實施例五)。
示例性的，對於解碼端設備，需要在CTU頭解碼如下語法資訊。
1、垂直方向增強濾波使能標記，該標記用於標識當前圖像或slice在垂直方向是否使能增強濾波。
若未使能，則在上述步驟1之後，不需要執行上述步驟2，也不需要對相關的閾值索引和偏移量索引進行編解碼。
若使能，則在上述步驟1之後，需要執行上述步驟2，並編解碼如下資訊：垂直方向增強濾波閾值索引和垂直方向增強濾波偏移量索引。
垂直方向增強濾波閾值索引可以為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可以為其他包括兩個候選值的候選列表。
示例性的，當Tv和NTv互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Tv=2，NTv=-2，則無需編解碼閾值索引。
垂直方向增強濾波偏移量索引f0v和f1v的候選值可以相同，也可以不同，偏移量索引可以為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0v和f1v的候選列表可以相同，也可以不同，例如，f0v的候選列表{-1，-2，-3，-4}，f1v的候選列表為{1，2，3，4}。
2、水平方向增強濾波使能標記，該標記用於標識當前圖像或slice在水平方向是否使能增強濾波。
若未使能，則上述步驟3之後，不需要執行上述步驟4，也不需要對相關的閾值索引和偏移量索引進行編解碼。
若使能，則在上述步驟3之後，需要執行上述步驟4， 並編解碼如下資訊：水平方向增強濾波閾值索引和水平方向增強濾波偏移量索引。
水平方向增強濾波閾值索引可以為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可以為其他包括兩個候選值的候選列表。
示例性的，當Th和NTh互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Th=2，NTh=-2，則無需編解碼閾值索引。
水平方向增強濾波偏移量索引f0h和f1h的候選值可以相同，也可以不同，偏移量索引可以為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0h和f1h的候選列表可以相同，也可以不同，例如，f0h的候選列表{-1，-2，-3，-4}，f1h的候選列表為{1，2，3，4}。
實施例七
在CU級採用實施例二或實施例三描述的方案。CU的尺寸一般在4*4~128*128範圍內。
每個CU編碼一套係數，即該CU下的每個編碼塊均採用該套係數，在每個CU內編解碼該係數的具體實現可以參見實施例四或實施例五中編解碼相應係數的具體實現。示例性的，該一套係數可以包括增強濾波閾值以及增強濾波偏移量(對應實施例四)，或，由增強濾波閾值和增強濾波偏移量構成的增強濾波參數集(對應實施例五)。
示例性的，對於解碼端設備，需要在每個CU解碼如下語法資訊。
1、垂直方向增強濾波使能標記，該標記用於標識當前圖像或slice在垂直方向是否使能增強濾波。
若未使能，則在上述步驟1之後，不需要執行上述步驟2，也不需要對相關的閾值索引和偏移量索引進行編解碼。
若使能，則在上述步驟1之後，需要執行上述步驟2，並編解碼如下資訊：垂直方向增強濾波閾值索引和垂直方向增強濾波偏移量索引。
垂直方向增強濾波閾值索引可以為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可以為其他包括兩個候選值的候選列表。
示例性的，當Tv和NTv互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Tv=2，NTv=-2，則無需編解碼閾值索引。
垂直方向增強濾波偏移量索引f0v和f1v的候選值可以相同，也可以不同，偏移量索引可以為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0v和f1v的候選列表可以相同，也可以不同，例如，f0v的候選列表{-1，-2，-3，-4}，f1v的候選列表為{1，2，3，4}。
2、水平方向增強濾波使能標記，該標記用於標識當前圖像或slice在水平方向是否使能增強濾波。
若未使能，則上述步驟3之後，不需要執行上述步驟4，也不需要對相關的閾值索引和偏移量索引進行編解碼。
若使能，則在上述步驟3之後，需要執行上述步驟4，並編解碼如下資訊：水平方向增強濾波閾值索引和水平方向增強濾波偏移量索引。
水平方向增強濾波閾值索引可以為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可 以為其他包括兩個候選值的候選列表。
示例性的，當Th和NTh互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Th=2，NTh=-2，則無需編解碼閾值索引。
水平方向增強濾波偏移量索引f0h和f1h的候選值可以相同，也可以不同，偏移量索引可以為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0h和f1h的候選列表可以相同，也可以不同，例如，f0h的候選列表{-1，-2，-3，-4}，f1h的候選列表為{1，2，3，4}。
實施例八
在CU級採用實施例二或實施例三描述的方案。
每個CU均編解碼一套如下係數。
1、是否複用周圍塊的增強濾波參數標記位元。
1.1、若複用，則複用周圍塊，如左側塊或上側塊的增強濾波參數。
1.2、若不復用，則編碼如下參數。
1.2.1、垂直方向增強濾波使能標記位元，該標記用於標識當前CU在垂直方向是否使能增強濾波。
1.2.1.1、若使能，則在步驟1之後，需要執行上述步驟2，則需要編解碼如下資訊。
1.2.1.1.1、垂直方向增強濾波閾值索引。該閾值索引優選為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可以為其他包括兩個候選值的候選列表。示例性的，當Tv和NTv互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Tv=2，NTv=-2，則無需編解碼閾值索引。
1.2.1.1.2、垂直方向增強濾波偏移量索引。f0v和f1v的候選值可以相同，也可以不同，偏移量索引優選為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0v和f1v的候選列表可以相同，也可以不同，例如，f0v的候選列表{-1，-2，-3，-4}，f1v的候選列表為{1，2，3，4}。
1.2.1.2、若未使能，則步驟1之後，不需要執行上述步驟2，也不需要對1.2.1.1.1和1.2.1.1.2中的閾值索引和偏移量索引進行編解碼。
1.2.2、水平方向增強濾波使能標記，該標記用於標識當前CU在水平方向是否使能增強濾波。
1.2.2.1、若使能，則在步驟3之後，需要執行上述步驟4，則需要編解碼如下資訊：
1.2.2.1.1、水平方向增強濾波閾值索引。該閾值索引優選為1個bin，即有兩個候選閾值。示例性的，增強濾波閾值候選列表可以為{1，2}或{2，4}，也可以為其他包括兩個候選值的候選列表。示例性的，當Th和NTh互為相反數時，僅需編碼一個閾值索引。示例性的，當增強濾波閾值為固定值，如Th=2，NTh=-2，則無需編解碼閾值索引。
1.2.2.1.2、水平方向增強濾波偏移量索引。f0h和f1h的候選值可以相同，也可以不同，偏移量索引優選為2個bin，即包括4個候選偏移量。示例性的，增強濾波偏移量候選列表可以為{1，2，3，4}或{2，4，6，8}，也可以為其他包括4個候選值的候選列表。示例性的，當增強濾波偏移量為固定值，則無需編碼該偏移量索引。示例性的，f0h和f1h的候選列表可以相同，也可以不同，例如，f0h的候選列表{-1，-2，-3，-4}，f1h的候選列表為{1，2，3，4}。
1.2.2.2、若未使能，則步驟3之後，不需要執行上述步 驟4，也不需要對1.2.2.1.1和1.2.2.1.2中閾值索引和偏移量索引進行編解碼。
實施例九
在幀級和CTU級採用實施例二或實施例三描述的方案。
在幀級增加一個標誌位元(即上述預設標誌位元)，該標誌位元用於指示當前幀採用幀級語法使能增強濾波或CTU級語法使能增強濾波。編解碼端需要在幀級編解碼該標誌位元。
當當前幀採用幀級語法使能增強濾波時，在每幀圖像內編解碼係數的具體實現可以參見實施例四或實施例五。
當當前幀採用CTU級語法使能增強濾波時，在每個CTU內編解碼係數的具體實現可以參見實施例六。
實施例十
在幀級、CTU級和CU級採用實施例二或實施例三描述的方案。
在幀級增加一個標誌位元，該標誌用於指示當前幀是採用幀級語法使能增強濾波或CTU級語法使能增強濾波。編解碼端需要在幀級編解碼該標誌位元。
當當前幀採用幀級語法使能增強濾波時，在每幀圖像內編解碼係數的具體實現可以參見實施例四或實施例五。
當當前幀採用CTU級語法使能增強濾波時，還需要在CTU級增加一個標誌位元，該標誌位元用於指示當前CTU採用CTU級語法使能增強濾波或CU級語法使能增強濾波。編解碼端需要在CTU級編解碼該標誌位元。
當當前幀採用CTU級語法使能增強濾波時，在每個CTU內編解碼係數的具體實現可以參見實施例六。
當當前幀採用CU級語法使能增強濾波時，在每個CU內編解碼係數的具體實現可以參見實施例七或實施例八。
其次以首次濾波為SAO濾波為例進行說明。
實施例十一
步驟1、Y1(i)經過SAO濾波處理後得到Y2(i)；步驟2、基於Y1(i)和Y2(i)，對像素點的像素值進行增強處理，得到Y3(i)。
示例性的，當上文中的第一濾波處理為SAO濾波處理時，Y1(i)為上文中的第二像素值，Y2(i)為上文中的第一像素值，Y3(i)為上文中的第三像素值。
實施例十二
實施例十一中的步驟2可以採用實施例二到實施例十中任一實施例描述的方案。需要注意的是，實施例二到實施例十主要是以兩次濾波處理為例進行地說明，而在本實施例中，只進行了一次濾波處理，只要將上述實施例中相對於兩次濾波處理各自對應的步驟和參數替換成本實施例中的一次濾波處理對應的步驟和參數即可。
然後以首次濾波為ALF濾波為例進行說明。
實施例十三
步驟1、Y1(i)經過ALF濾波處理後得到Y2(i)；步驟2、基於Y1(i)和Y2(i)，對像素點的像素值進行增強處理，得到Y3(i)。
示例性的，當上文中的第一濾波處理為ALF濾波處理時，Y1(i)為上文中的第二像素值，Y2(i)為上文中的第一像素值，Y3(i)為上文中的第三像素值。
實施例十四
實施例十三中的步驟2可以採用實施例二到實施例十中任一實施例描述的方案。需要注意的是，實施例二到實施例十主要是以兩次濾波處理為例進行地說明，而在本實施例中，只進行了一次濾波處理，只要將上述實施例中相對於兩次濾波處理各自對應的步驟和參數替換成本 實施例中的一次濾波處理對應的步驟和參數即可。
最後以首次濾波為任一種濾波方式為例進行說明。
實施例十五
步驟1、Y1(i)經過濾波處理後得到Y2(i)；步驟2、基於Y1(i)和Y2(i)，對像素點的像素值進行增強處理，得到Y3(i)。
示例性的，當上文中的第一濾波處理為步驟1中的濾波處理時，Y1(i)為上文中的第二像素值，Y2(i)為上文中的第一像素值，Y3(i)為上文中的第三像素值。
實施例十六
實施例十五中的步驟2可以採用實施例二~實施例十中任一實施例描述的方案。需要注意的是，實施例二到實施例十主要是以兩次濾波處理為例進行地說明，而在本實施例中，只進行了一次濾波處理，只要將上述實施例中相對於兩次濾波處理各自對應的步驟和參數替換成本實施例中的一次濾波處理對應的步驟和參數即可。
實施例十七
實施例十五中的步驟2可以以Y1(i)和Y2(i)作為輸入，利用機器學習或深度學習，確定Y3(i)。
實施例十八
實施例十五中的步驟2可以以Y1(i)-Y2(i)或Y2(i)-Y1(i)作為輸入，利用維納濾波器，確定Y3(i)。其中，維納濾波器可以為：
Figure 110120516-A0305-02-0034-2
該濾波器表示對Y2(i)和其鄰域的像素點進行加權求和，得到Y3(i)，K為正整數，表示用於濾波的像素點個數(包括當前像素點和周圍像素點)。
實施例十九
實施例十五中的步驟2可以基於Y1(i)-Y2(i)或Y2(i)-Y1(i)的大小，對Y2(i)進行分類，對於不同類別的Y2(i)，利用不同的維納濾波器，確定Y3(i)。
例如，基於Y1(i)-Y2(i)或Y2(i)-Y1(i)的大小，以及已設定的分段閾值，確定Y1(i)-Y2(i)或Y2(i)-Y1(i)所處的分段，Y1(i)-Y2(i)或Y2(i)-Y1(i)所處分段不同，Y2(i)的類別不同。
實施例二十
解碼或編碼一個SPS級的標記位元，該標記位元用來控制當前圖像序列中的所有圖像是否使用上述技術，該技術包括實施例一到實施例十九中任一實施例描述的增強濾波技術的實施方式。示例性的，當解碼端設備解碼得到的該標記位元表徵使用上述技術時，按照實施例一到實施例十九中任一實施例描述的增強濾波技術進行處理。
本發明實施例中，對於當前圖像塊的任一滿足第一濾波處理條件的像素點，通過確定該像素點經過第一濾波處理後的第一像素值，並基於第一像素值與該像素點未經過第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第三像素值，提升了圖像品質，提高了編解碼性能。
以上對本發明提供的方法進行了描述。下面對本發明提供的裝置進行描述。
請參見圖5，為本發明實施例提供的一種圖像增強裝置的硬體結構示意圖。該圖像增強裝置可包括處理器501、存儲有電腦程式的記憶體502。該裝置還包括通信介面503和通信匯流排504。處理器501、記憶體502與通信介面503可經由通信匯流排504相互通信。並且，通過讀取並執行記憶體502中與圖像增強控制邏輯對應的電腦程式，如機器可執行指令，處理器501可執行上文描述的圖像增強方法。
本文中提到的記憶體502可以是任何電子、磁性、光學或其它物理存儲裝置，可以包含或存儲資訊，如可執行指令、資料，等等。例如，記憶體可以是：RAM(Radom Access Memory，隨機存取記憶體)、動態記憶體、非易失性記憶體、快閃記憶體、存儲驅動器(如硬碟驅動器)、固態硬碟、任何類型的存儲盤(如光碟、DVD等)，或者類似的存儲介質，或者它們的組合。
如圖6所示，從功能上劃分，上述圖像增強裝置可以包括：確定單元610，用於對於當前塊的任一滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值；增強單元620，用於基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，得到增強處理後的該像素點的第三像素值。
作為一種可能的實施例，所述增強單元620，具體用於基於所述第一像素值和所述第二像素值二者之間的差值，對該像素點的像素值進行增強處理。
作為一種可能的實施例，所述增強單元620，具體用於基於所述差值與預設閾值的比較結果，對該像素點的像素值進行增強處理。
作為一種可能的實施例，所述增強單元620，具體用於若所述差值大於第一增強濾波閾值，則基於第一增強濾波偏移量對該像素點的像素值進行增強處理；若所述差值小於第二增強濾波閾值，則基於第二增強濾波偏移量對該像素點的像素值進行增強處理；所述第二增強濾波閾值小於所述第一增強濾波閾值。
作為一種可能的實施例，所述增強單元620，具體用於基於所述第一像素值和所述第二像素值，確定第四像素值；基於所述第一增強濾波偏移量對所述第四像素值進行增強處理，得到所述第三像素值。
作為一種可能的實施例，所述增強單元620，具體用於 基於所述第一增強濾波偏移量對所述第一像素值進行增強處理，得到所述第三像素值。
作為一種可能的實施例，所述增強單元620，具體用於基於所述第一像素值和所述第二像素值，確定第四像素值；基於所述第二增強濾波偏移量對所述第四像素值進行增強處理，得到所述第三像素值。
作為一種可能的實施例，所述增強單元620，具體用於基於所述第二增強濾波偏移量對所述第一像素值進行增強處理，得到所述第三像素值。
作為一種可能的實施例，所述增強單元620，還用於若所述差值小於等於所述第一增強濾波閾值，且大於等於所述第二增強濾波閾值，則將所述第一像素值作為所述第三像素值。
作為一種可能的實施例，所述增強單元620，還用於若所述差值小於等於所述第一增強濾波閾值，且大於等於所述第二增強濾波閾值，則對所述第一像素值進行第二濾波處理，得到所述第三像素值。
作為一種可能的實施例，所述第一增強濾波閾值和所述第二增強濾波閾值互為相反數；或/和，所述第一增強濾波偏移量和所述第二增強濾波偏移量互為相反數。
作為一種可能的實施例，如圖7所示，所述裝置還包括：編碼/解碼單元630，用於對閾值索引進行編碼/解碼，所述閾值索引用於表徵所述第一增強濾波閾值或所述第二增強濾波閾值在閾值候選列表中的位置；以及，對偏移量索引進行編碼/解碼，所述偏移量索引用於表徵所述第一增強濾波偏移量或所述第二增強濾波偏移量在偏移量候選列表中的位置。
作為一種可能的實施例，所述第一增強濾波閾值或/和所述第二增強濾波閾值為固定值。作為一種可能的實施例，所述第一增強濾波偏移量或/和所述第二增強濾波偏移量為固定值。
作為一種可能的實施例，所述增強單元620，還用於當 所述第三像素值大於預設取值範圍的上限時，將所述第三像素值設置為所述預設取值範圍的上限；當所述第三像素值小於預設取值範圍的下限時，將所述第三像素值設置為所述預設取值範圍的下限。
作為一種可能的實施例，所述增強單元620，具體用於以所述第一像素值和所述第二像素值為輸入參數，利用機器學習或深度學習，確定所述第三像素值。
作為一種可能的實施例，所述增強單元620，具體用於當所述當前塊使能增強濾波時，基於所述第一像素值與所述第二像素值，對該像素點的像素值進行增強處理。
作為一種可能的實施例，利用指定語法標識所述當前塊是否使能增強濾波；所述指定語法包括以下之一或多個：序列參數集級語法、圖像參數集級語法以及片Slice級語法；或，所述指定語法包括以下之一或多個：序列參數集級語法、圖像參數集級語法、編碼樹單元CTU級語法以及編碼單元CU級語法。
作為一種可能的實施例，當所述指定語法的候選級別包括至少兩個級別時，基於預設標誌位元確定所述指定語法的級別，所述預設標誌位元用於指示所述指定語法的級別。
作為一種可能的實施例，所述預設標誌位元的語法級別與所述指定語法的候選級別中的非最低級別匹配。
作為一種可能的實施例，當所述指定語法的候選級別包括序列參數集級語法和圖像參數集級語法時，所述預設標誌位元的語法級別為序列參數集級；當所述指定語法的候選級別包括圖像參數集級語法和Slice級語法時，所述預設標誌位元的語法級別為圖像參數集級；當所述指定語法的候選級別包括序列參數集級語法、圖像參數集級語法以及Slice級語法時，所述預設標誌位元包括序列參數集級的標誌位元和圖像參數集級的標誌位元；當所述指定語法的候選級別包括圖像參數集級語法和CTU級語法時，所述預設標誌位元的語法級別為圖像參數集級；當所述指定語 法的候選級別包括CTU級語法和CU級語法時，所述預設標誌位元的語法級別為CTU級；當所述指定語法的候選級別包括圖像參數集級語法、CTU級語法以及CU級語法時，所述預設標誌位元包括CTU級的標誌位元和CU級的標誌位元。
作為一種可能的實施例，所述第一濾波處理包括垂直去塊濾波DBF濾波處理、水平DBF濾波處理、樣本自我調整補償SAO濾波處理或自我調整環路濾波ALF濾波處理。
作為一種可能的實施例，當所述第一濾波處理為對該像素點的連續多次濾波中的非首次濾波處理時，所述第二像素值為該像素點上一次濾波處理後的像素值經過增強處理後得到的像素值。所述第一濾波處理為水平DBF濾波處理；當該像素點滿足垂直DBF濾波處理條件時，所述第二像素值為對該像素點的第五像素值進行增強處理後該像素點的像素值，所述第五像素值為該像素點經過垂直DBF濾波處理後的像素值。
作為一種可能的實施例，所述第一濾波處理為垂直去塊濾波DBF濾波處理；所述增強單元，還用於當該像素點滿足水平DBF濾波條件時，對所述第三像素值進行水平DBF濾波處理，以得到該像素點的第六像素值；基於所述第三像素值與所述第六像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第七像素值。
在一些實施例中，本發明還提供了一種攝像機設備，包括上述任一實施例中的圖像增強裝置，該裝置可以應用在編碼裝置中，也可以用在解碼裝置中。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過 程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
S400,S410:步驟

Claims (12)

  1. 一種圖像增強方法，其中，包括：對於當前塊的任一滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值；基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，得到增強處理後的該像素點的第三像素值；其中，所述基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，包括：基於所述第一像素值和所述第二像素值二者之間的差值與第一增強濾波閾值和第二增強濾波閾值兩個預設閾值的比較結果，對該像素點的所述像素值進行增強處理，包括：若所述差值大於所述第一增強濾波閾值，則基於第一增強濾波偏移量對該像素點的所述像素值進行增強處理；若所述差值小於所述第二增強濾波閾值，則基於第二增強濾波偏移量對該像素點的所述像素值進行增強處理；其中，所述第二增強濾波閾值小於所述第一增強濾波閾值，所述方法還包括：對閾值索引進行編碼/解碼，其中，所述閾值索引用於表徵所述第一增強濾波閾值或所述第二增強濾波閾值在閾值候選列表中的位置；以及對偏移量索引進行編碼/解碼，其中，所述偏移量索引用於表徵所述第一增強濾波偏移量或所述第二增強濾波偏移量在偏移量候選列表中的位置。
  2. 如請求項1所述的方法，其中，所述基於第一增強濾波偏移量對該像素點的所述像素值進行增強處理，包括：基於所述第一像素值和所述第二像素值，確定第四像素值；基於所述第一增強濾波偏移量對所述第四像素值進行增強處理，得到所述第三像素值；或 基於所述第一增強濾波偏移量對所述第一像素值進行增強處理，得到所述第三像素值。
  3. 如請求項1所述的方法，其中，所述基於第二增強濾波偏移量對該像素點的所述像素值進行增強處理，包括：基於所述第一像素值和所述第二像素值，確定第四像素值；基於所述第二增強濾波偏移量對所述第四像素值進行增強處理，得到所述第三像素值；或基於所述第二增強濾波偏移量對所述第一像素值進行增強處理，得到所述第三像素值。
  4. 如請求項1-3任一項所述的方法，其中，所述基於所述差值與預設閾值的比較結果，對該像素點的所述像素值進行增強處理，還包括：若所述差值小於等於所述第一增強濾波閾值，且大於等於所述第二增強濾波閾值，則將所述第一像素值作為所述第三像素值；或若所述差值小於等於所述第一增強濾波閾值，且大於等於所述第二增強濾波閾值，則對所述第一像素值進行第二濾波處理，得到所述第三像素值。
  5. 如請求項1-3任一項所述的方法，其中，所述第一增強濾波閾值和所述第二增強濾波閾值的設置為以下任一：所述第一增強濾波閾值和所述第二增強濾波閾值互為相反數；所述第一增強濾波閾值為固定值；所述第二增強濾波閾值為固定值；或/和，所述第一增強濾波偏移量和所述第二增強濾波偏移量的設置為以下任一：所述第一增強濾波偏移量和所述第二增強濾波偏移量互為相反數；所述第一增強濾波偏移量為固定值；所述第二增強濾波偏移量為固定值。
  6. 如請求項1-3任一項所述的方法，其中，所述基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，包括：當所述當前塊使能增強濾波時，基於所述第一像素值與所述第二像素值，對該像素點的所述像素值進行增強處理。
  7. 如請求項6所述的方法，其中，利用指定語法標識所述當前塊是否使能增強濾波；所述指定語法包括以下之一或多個：序列參數集級語法、圖像參數集級語法以及片Slice級語法；或，所述指定語法包括以下之一或多個：序列參數集級語法、圖像參數集級語法、編碼樹單元CTU級語法以及編碼單元CU級語法；其中，當所述指定語法的候選級別包括至少兩個級別時，基於預設標誌位元確定所述指定語法的級別，所述預設標誌位元用於指示所述指定語法的級別，所述預設標誌位元的語法級別與所述指定語法的候選級別中的非最低級別匹配。
  8. 如請求項1-3任一項所述的方法，其中，所述第一濾波處理包括垂直去塊濾波DBF濾波處理、水平DBF濾波處理、樣本自我調整補償SAO濾波處理或自我調整環路濾波ALF濾波處理。
  9. 如請求項1-3任一項所述的方法，其中，當所述第一濾波處理為對該像素點的連續多次濾波中的非首次濾波處理時，所述第二像素值為該像素點上一次濾波處理後的像素值經過增強處理後得到的像素值。
  10. 如請求項9所述的方法，其中，所述第一濾波處理為水平DBF濾波處理；當該像素點滿足垂直DBF濾波處理條件時，所述第二像素值為對該像素點的第五像素值進行增強處理後該像素點的像素值，所述第五像素值為 該像素點經過垂直DBF濾波處理後的像素值。
  11. 如請求項1-3任一項所述的方法，其中，所述第一濾波處理為垂直去塊濾波DBF濾波處理；所述對該像素點的像素值進行增強處理之後，所述方法還包括：當該像素點滿足水平DBF濾波條件時，對所述第三像素值進行水平DBF濾波處理，以得到該像素點的第六像素值；基於所述第三像素值與所述第六像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第七像素值。
  12. 一種圖像增強裝置，其中，包括處理器和記憶體，其中，所述記憶體存放有電腦程式，所述處理器被所述電腦程式促使：對於當前塊的任一滿足第一濾波處理條件的像素點，確定該像素點經過第一濾波處理後的第一像素值；基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，以得到增強處理後的該像素點的第三像素值；其中，所述基於所述第一像素值與該像素點未經過所述第一濾波處理前的第二像素值，對該像素點的像素值進行增強處理，包括：基於所述第一像素值和所述第二像素值二者之間的差值與第一增強濾波閾值和第二增強濾波閾值兩個預設閾值的比較結果，對該像素點的所述像素值進行增強處理，包括：若所述差值大於所述第一增強濾波閾值，則基於第一增強濾波偏移量對該像素點的所述像素值進行增強處理；若所述差值小於所述第二增強濾波閾值，則基於第二增強濾波偏移量對該像素點的所述像素值進行增強處理；其中，所述第二增強濾波閾值小於所述第一增強濾波閾值，所述方法還包括：對閾值索引進行編碼/解碼，其中，所述閾值索引用於表徵所述第一增 強濾波閾值或所述第二增強濾波閾值在閾值候選列表中的位置；以及對偏移量索引進行編碼/解碼，其中，所述偏移量索引用於表徵所述第一增強濾波偏移量或所述第二增強濾波偏移量在偏移量候選列表中的位置。
TW110120516A 2020-06-05 2021-06-05 圖像增強方法及裝置 TWI826792B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010508167.4A CN113766224B (zh) 2020-06-05 2020-06-05 图像增强方法及装置
CN202010508167.4 2020-06-05

Publications (2)

Publication Number Publication Date
TW202201959A TW202201959A (zh) 2022-01-01
TWI826792B true TWI826792B (zh) 2023-12-21

Family

ID=78785185

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110120516A TWI826792B (zh) 2020-06-05 2021-06-05 圖像增強方法及裝置

Country Status (9)

Country Link
US (1) US20230214969A1 (zh)
EP (1) EP4142276A4 (zh)
JP (2) JP7460802B2 (zh)
KR (1) KR20230003203A (zh)
CN (2) CN114339224B (zh)
AU (1) AU2021283592B2 (zh)
TW (1) TWI826792B (zh)
WO (1) WO2021244617A1 (zh)
ZA (1) ZA202213049B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640845B (zh) 2021-02-23 2023-02-28 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446501A (en) * 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
US6778692B1 (en) * 2000-08-11 2004-08-17 General Electric Company Image processing method and apparatus including image improving circuit
US20170013280A1 (en) * 2011-01-14 2017-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking Filtering

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970010087B1 (en) * 1994-04-30 1997-06-21 Daewoo Electronics Co Ltd Postprocessing method for digital image
JP4294887B2 (ja) 2001-05-24 2009-07-15 富士通株式会社 画像処理装置，画像処理方法および画像処理用プログラム
JP4677376B2 (ja) * 2006-07-07 2011-04-27 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2013250588A (ja) * 2010-09-27 2013-12-12 Shimadzu Corp 画像強調処理方法およびそれを用いた画像強調処理装置
BR112013006832A2 (pt) * 2010-09-28 2017-05-23 Samsung Electronics Co Ltd método de filtragem adaptativa, e aparelho de filtragem adaptativa
WO2012071417A1 (en) * 2010-11-24 2012-05-31 Thomson Licensing Adaptive loop filtering
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR20180019548A (ko) * 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치
US20190297320A1 (en) * 2016-05-13 2019-09-26 Sharp Kabushiki Kaisha Image decoding device and image encoding device
CN110495168B (zh) * 2017-04-06 2021-12-07 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
WO2019065261A1 (ja) * 2017-09-27 2019-04-04 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446501A (en) * 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
US6778692B1 (en) * 2000-08-11 2004-08-17 General Electric Company Image processing method and apparatus including image improving circuit
US20170013280A1 (en) * 2011-01-14 2017-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking Filtering

Also Published As

Publication number Publication date
AU2021283592A1 (en) 2023-02-02
KR20230003203A (ko) 2023-01-05
AU2021283592B2 (en) 2024-03-21
EP4142276A4 (en) 2023-11-08
ZA202213049B (en) 2024-04-24
JP7460802B2 (ja) 2024-04-02
WO2021244617A1 (zh) 2021-12-09
JP2024060091A (ja) 2024-05-01
JP2023528430A (ja) 2023-07-04
CN113766224B (zh) 2022-11-25
TW202201959A (zh) 2022-01-01
US20230214969A1 (en) 2023-07-06
EP4142276A1 (en) 2023-03-01
CN114339224A (zh) 2022-04-12
CN114339224B (zh) 2022-12-23
CN113766224A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110393011B (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
KR20200007671A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20230209051A1 (en) Filtering method and apparatus, and device
JP2024060091A (ja) 画像強調方法及び装置
JP2024045346A (ja) ループ内フィルタリングの方法及び装置
CN116389737B (zh) 视频编解码中变换系数的编解码
JP2013098988A (ja) 符号化および復号のためのマルチレベル有効性写像
CN114125445B (zh) 解码方法、装置、设备及机器可读存储介质
CN114640847B (zh) 编解码方法、装置及其设备
CN114501004B (zh) 滤波处理方法、装置及机器可读存储介质
CN114189683B (zh) 增强滤波方法及装置
TW202325024A (zh) 影像處理裝置、及影像處理方法
WO2019156757A1 (en) Methods for picture encoding and decoding and corresponding devices
CN113709477B (zh) 编码方法、解码方法、装置及机器可读存储介质
RU2810607C1 (ru) Способ и устройство для улучшения изображения
RU2803189C1 (ru) Способ и устройство для улучшения качества изображения
US20190335171A1 (en) Intra prediction method and apparatus for performing adaptive filtering on reference pixel
KR20130070195A (ko) 문맥 기반의 샘플 적응적 오프셋 필터 방향 추론 및 적응적 선택에 대한 비디오 방법 및 장치