TWI760879B

TWI760879B - 壓縮影像雜訊處理方法及其電路系統

Info

Publication number: TWI760879B
Application number: TW109134705A
Authority: TW
Inventors: 陳彥鋒; 黃文聰
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2020-10-07
Filing date: 2020-10-07
Publication date: 2022-04-11
Also published as: US20220108428A1; TW202215369A

Abstract

一種壓縮影像雜訊處理方法及其電路系統，在壓縮影像雜訊處理方法中，電路系統接收以一壓縮格式壓縮的影像，經解壓縮影像後得出各畫素的畫素值，即可計算相鄰畫素的畫素值差異，之後將影像的某一範圍分為多區，可得出各區中畫素最大值與畫素最小值，經比對各區的最大差異值以得出此範圍中的最大差異值，因此可根據此最大差異值判斷對應的範圍是否要執行去除雜訊，例如影像中的平坦區與高頻區，還可以當前畫素附近畫素得出的加權平均亮度調整其中差異，並僅對此範圍執行去雜訊程序，最終輸出經過降低壓縮時產生的雜訊的影像。

Description

壓縮影像雜訊處理方法及其電路系統

說明書提出一種影像雜訊處理方法，特別是指針對影像壓縮產生的雜訊的後續處理方法，以及相關電路系統。

目前廣泛使用的影像壓縮技術例如：JPG、JPEG、MJPEG與H.26x等，這些主要是基於區塊的壓縮方法，其中MPEG-4是動態影像專家組（Moving Picture Experts Group，MPEG）制定用於音訊與視訊的壓縮編碼標準，MPEG-4具有高壓縮比、節省儲存空間以及畫質佳等優點。

MPEG-4規格書中提出解區塊效應（deblocking）和解波紋雜訊（deringing）的方法，其中解區塊的方法對影像區塊邊緣的畫素進行濾波以確認邊緣，這是需要耗費較大計算量的方法。所述解波紋雜訊的方法需先求出整個影像區塊（block）的最大及最小值，然後以門檻判斷區塊中的畫素是否需要進行解波紋雜訊，如果需要，對其中畫素進行一整平運算。

以上所提到目前常見的影像壓縮技術主要是基於區塊的壓縮方法，壓縮過程中的量化步驟會遺失部分高頻資訊，使得解壓縮後會在高頻附近出現雜訊，習知的壓縮技術所採用的整平運算（smoothing algorithm）會使影像細節變模糊；判斷影像中邊緣方向再針對此邊緣方向做濾波的方式中，由於邊緣為高頻特徵，執行一階或二階運算時，水平、垂直與45度斜角的運算上需要較大的運算量與儲存空間，硬體成本高。

為了改善習知壓縮技術中採用整平運算會使得細節變模糊以及進行邊緣運算會使得硬體成本變高的缺點，揭露書提出一種壓縮影像雜訊處理方法及其電路系統，其中通過計算與偵測影像內容以閾值決定影像中需要處理與不處理的部份，僅針對需要處理的部份以濾波處理來減緩影像壓縮造成之雜訊，如此可以降低運算需求，進而降低硬體成本，還能避免細節被模糊的缺點。

根據實施例，執行所述壓縮影像雜訊處理方法的電路系統如電子裝置中的影像處理器，用以處理自電子裝置之一視訊鏡頭取得的影像。

在電路系統中處理電路執行所述的壓縮影像雜訊處理方法中，先接收以一壓縮格式壓縮的影像，經解壓縮影像後，可得出影像中各畫素的畫素值，接著可以計算相鄰畫素的畫素值差異，得出影像中一範圍中多區的畫素最大值與畫素最小值，比對各區的最大差異值後可得出此範圍中的一最大差異值，這個最大差異值即為方法中用以判斷所對應的範圍是否執行去除雜訊程序的依據。

進一步地，其中，若範圍為需要執行去雜訊程序的區域，即執行去雜訊程序；若範圍為不需要執行去除雜訊的區域，即不執行去雜訊程序；最終得出經過降低壓縮時產生的雜訊的一輸出影像。

進一步地，在所述壓縮影像雜訊處理方法中，可設有一下閾值與一上閾值，以範圍的最大差異值比對此下閾值與上閾值，可以將影像劃分為平坦區、一般紋理區以及高頻區，或至少其中之一，其中平坦區與高頻區為需要執行去雜訊程序的區域。

進一步地，可以影像中各畫素的畫素值以及畫素附近畫素的畫素值計算一加權平均亮度，再以各畫素的加權平均亮度計算得出各範圍的平均亮度，引入一亮度調整曲線，用各範圍的平均亮度對應得出亮度係數，用以調整各範圍中的最大差異值。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

揭露書揭示一種壓縮影像雜訊處理方法及其電路系統，其中應用在影像壓縮的目的，其中主要壓縮影像處理的概念是對輸入的影像，在執行壓縮的過程中，通過計算與偵測影像內容後，以一閾值（threshold）決定是否需要濾波處理來減緩影像壓縮造成之雜訊，因此可以將影像區分為要處理與不處理的部份，藉此降低運算需求。

實現壓縮影像雜訊處理方法的電路系統可參考圖1顯示的電路系統實施例電路方塊圖。所述壓縮影像雜訊處理方法適用於任何需要壓縮與解壓縮的動態或靜態影像上，可實施於圖示的電路系統10中，電路系統例如可為電子裝置（如手機、筆記型電腦）上的視訊鏡頭（或裝置）中的影像處理器，其中包括以韌體或軟體搭配電路實現的處理電路（如CPU、微處理器），以此處理通過視訊鏡頭取得的影像，執行所述壓縮影像雜訊處理方法，實現各種功能，如圖示依照功能區分的解壓縮單元101、差異計算單元103、平均亮度計算單元105、差異調整單元107以及雜訊去除單元109等。

如圖所示，電路系統10接收一輸入影像11，影像可為靜態影像，或是一幀一幀輸入的動態影像。輸入影像11為以特定壓縮格式（如JPG、JPEG、MJPEG與H.26x等）的影像數據，經輸入此電路系統10後，其中以韌體或軟體搭配處理電路實現的解壓縮單元101先根據壓縮格式進行解壓縮，得出影像中各畫素的畫素值。之後經差異計算單元103計算出相鄰畫素之間的畫素值差異，其中之一實施例是將影像區分為多個範圍，一個範圍可區分為多區，從各區中找出其中最大畫素值與最小畫素值，也就可計算出各區的最大差異值，最終從一張影像中的各區最大差異值比對得出整張影像中特定範圍內的最大差異值。再以平均亮度計算單元105基於當前畫素附近的畫素值再依照加權值算出加權平均亮度，使得差異調整單元107可以根據當前畫素附近的亮度資訊調整之前計算的差異值，其中主要是根據亮度曲線調整差異值，用以突顯影像中暗部，也能將亮暗部的差異調整到一致。

在流程最後，針對一或多個範圍中的最大差異值，可以根據影像中某個範圍中的最大差異值判斷這個範圍是否執行去除雜訊的步驟。其中，若此範圍為需要執行去雜訊程序的區域，執行一去雜訊程序；若此範圍為不需要執行去除雜訊的區域，即不執行去雜訊程序，直接輸出此範圍的影像。最終得出部份經過降低壓縮時產生的雜訊的一輸出影像。在另一實施例中，可得出影像中的每個範圍中的各區平均畫素值，在兩兩比對後得出各範圍的最大差異值，也可根據此最大差異值判斷此範圍是否執行去除雜訊的程序。

在一實施例中，可利用兩個閾值將影像劃分出幾個區域，包括要以雜訊去除單元109執行去除雜訊（如波紋雜訊）的區域，以及不用執行去雜訊的區域，在需要執行去除雜訊的區域中，還能讓平坦區平滑，也能減少高頻區的雜訊。以上過程沒有特別處理影像中邊緣的部份，即沒有需要尋求邊緣方向的動作，因此可以減少運算的需求，最後得出經過降低壓縮時產生的雜訊的輸出影像12。

圖2顯示可實現於特定電路系統中的壓縮影像雜訊處理方法的實施例流程圖。

在此流程中，一開始如步驟S201，接收一根據特定格式壓縮的輸入影像，可以是靜態影像或是逐幀（frame）輸入的連續影像。為了能夠減緩影像壓縮時造成的雜訊，影像經解壓縮後，如步驟S203，通過電路系統中影像處理的手段計算出影像畫素值，並計算當前畫素與其附近畫素之間的差異值。

計算畫素差異的方式可參考圖3顯示在此壓縮影像雜訊處理方法中計算一定範圍內的最大差異值的範例示意圖，此例顯示5x5影像，影像中每個畫素處理時即當前畫素30，標示為X。圖示範例顯示當前畫素30四周區分有4區（分區數量並不限於此圖例所示），各區編號i，i=1至4，i=1,2表示同時在分區1與分區2的畫素；i=1,3表示同時在分區1與分區3的畫素；i=3,4表示同時在分區3與分區4的畫素；以及i=2,4表示同時在分區2與分區4的畫素。

在上述步驟S203中，可以在整張影像中特定範圍內得出畫素最大值（M）與畫素最小值（m），兩者之差即最大差異值（maximum difference）。若以分區來看，在各分區中得出畫素最大值M[i]以及最小值m[i]，兩者之差（M[i]-m[i]）即為該區的最大差異值（此例i=1至4），之後如方程式一，即步驟S205，可從一個範圍內多區中各區的最大差異值（M[i]-m[i]）得出多區的最大差異值，也就是此範圍（如5x5影像）內最大差異值（MD）。

方程式一：

根據實施例，影像中特定物件的邊緣附近的畫素值具有較大的差異，因此影像中某個範圍內中具有「最大差異值（MD）」的區域可判斷為邊緣。因此，在揭露書所提出的壓縮影像雜訊處理方法中，並沒有直接判斷影像中邊緣方向，也無須對邊緣執行濾波，即有效降低運算需求。

當方法從各分區找出最大畫素值（M）與最小畫素值（m），將各區最大畫素值（M[i]）減去最小畫素值（m[i]），可以其中差異值中最大的當作最大差異值，此最大差異值可以反映影像（或影像中的多個範圍）的影像特性，例如有最大差異值的部份可能是邊緣處，因此可以在不用判斷邊緣方向而得出邊緣處，如此，利用最大差異值可判斷某範圍是平坦區、高頻區等需要執行去除雜訊程序的區域，或是有一般不需要執行去除雜訊程序的範圍。經得出影像中各範圍最大差異值後，所述方法可以通過閾值以各範圍的最大差異值判斷此範圍是否需要執行去除雜訊的步驟。實施例可以設有一個下閾值與一個上閾值，將影像根據各範圍的最大差異值比對這兩個閾值，可劃分影像為三種區域：平坦區、一般紋理區，以及高頻區，可以是至少其中之一。

在執行去除雜訊的步驟之前，在一實施例中，在所述方法中，可以根據當前畫素四周的亮度資訊調整差異值，這是因為影像中暗部（亮度較低）有許多細節可能在解壓縮中被忽略，因此通過加權平均亮度來調整差異值，避免過度忽略暗部細節。舉例來說，影像中的暗部表示光線較弱或不足，但在壓縮過程中反而不容易突顯其中雜訊，如此，可能會出現暗部在高頻處的差異值還比亮部差異值小的情況，所以需要調整曲線來調整差異值，來減少此情況的發生，因此在影像中應去平衡兩者差異。例如，影像中亮部中的畫素差異較大，暗部畫素差異較小，通過調整將差異大的部份降低差異，可將差異小的部份增加差異。因此，可通過實施例所提出加權平均亮度以有效處理影像中暗部在高頻處的差異值還比亮部差異值小的情況。

如步驟S207，使用當前畫素X附近的畫素值算出加權平均亮度，如此能根據當前畫素附近的畫素亮度調整上述計算的差異值，可參考圖4所示壓縮影像雜訊處理方法中當前畫素附近畫素值權值範例示意圖。如圖顯示範例中以當前畫素40為主要畫素，對其亮度值設有權值4，針對四周畫素的亮度值依照距離設有大小不同權值，表示四周畫素依其距離對當前畫素40有不同的亮度影響，藉此計算每個畫素（每次針對當前畫素）的加權平均亮度。其中，即以影像中各畫素（當前畫素）的畫素值以及此畫素附近畫素的畫素值，應用如圖4顯示的權值計算一加權平均亮度，因此，可以得出影像中每個畫素的加權平均亮度，以此為依據調整差異值。

如步驟S209，以上述得到各畫素的加權平均亮度可繼續計算得出各範圍的平均亮度，作為調整上述各區差異值（M[i]-m[i]）以至於調整各範圍最大差異值（MD=

）的依據，也就能再取得調整後的最大差異值（MD’，如方程式二）。根據實施例之一，以亮度調整差異值的方法可以採用如圖5所示壓縮影像雜訊處理方法中亮度調整曲線範例示意圖。

圖5顯示一個經過演算（如對數（logarithm）演算）過的亮度曲線，橫軸表示步驟S207得出各範圍的加權平均亮度，此例分為8個區段（實際實施並不限制特定的區段數量），每個區段對應到縱軸表示的亮度係數。依據此根據輸入影像特性形成的亮度調整曲線，可以依照影像中特定範圍的加權平均亮度所算出的平均亮度來對應出曲線上點的位置，得出亮度係數，若落於區段中間部份，也可以內插法得出亮度係數，再以此亮度係數調整最大差異值（MD）。根據圖例，可看出，當平均亮度較低者，對應到較大的亮度係數，當平均亮度較高者，則對應到較低的亮度係數，對於最大差異值的調整可參考方程式二。

方程式二：

，

其中MD即步驟S205根據方程式一得出的各範圍最大差異值，經過亮度調整曲線決定其亮度係數時，當平均亮度愈高，可將差異值壓的較小，當平均亮度愈低，表示比較暗，反而要放大差異值，目的是將整張影像的差異值壓到一致，在此例中即通過方程式二得出經調整後的最大差異值（MD’）。然而，在方法的主要實施例中，是可以忽略所述步驟S207與步驟S209。

經過以上差異值調整後（或在特定實施例中，不一定要根據亮度調整差異值），如步驟S211，針對最大差異值，根據系統提供的幾個閾值將影像中特定範圍中的最大差異值劃分在幾個區域中。步驟S211採用的最大差異值可以是經過亮度調整的最大差異值（MD’），但仍適用沒有經過調整的最大差異值（MD）。

舉例來說，系統設計有兩個閾值：MD_THD0（下閾值）與MD_THD1（上閾值），將影像中所有最大差異值都劃分在三個區域中，可參考方程式三。

方程式三：

當最大差異值（MD）（或可為根據亮度資訊調整後的最大差異值（MD’））小於MD_THD0（下閾值），表示這個最大差異值相對較小，也就是表示當前畫素對應的區域屬於平坦區，這部份可以執行後續去除雜訊的步驟；當最大差異值（MD）在MD_THD0（下閾值）與MD_THD1（上閾值）之間，這區域有特定細節（紋理），不用執行去除雜訊；當最大差異值（MD或MD’）大於MD_THD1（上閾值），表示這個最大差異值相對較大，也就是表示當前畫素對應的區域具有高頻影像特徵，這部份應執行後續去除雜訊的步驟。也就是說，除了不需要執行去雜訊程序的區域外，其中平坦區與高頻區為需要執行去雜訊程序的區域。

進一步地，當於步驟S211中得出需要執行去除雜訊的區域後，於此區域中，再根據系統提供的閾值（

、

）決定其中各畫素的權值（

），這是讓去除雜訊步驟之前根據當前畫素與附近畫素之間的特性設定一權值，以加強對各區域的處理，例如對差異大者賦予較小權值，甚至是0，對差異小者賦予較大權值，甚至是最大值，在此差異化處理的過程中，可以讓平坦區更平坦，在高頻區還能有效去除雜訊，如步驟S213。

在此階段中，可以對各畫素（當前畫素）與附近畫素的差值

與所述兩個閾值（

）比對，應用方程式四決定需要執行除雜訊區域中的各畫素附近的權值（

）。根據方程式四所示實施例，當各畫素與其附近畫素的差值很小（

），給予最大權值（

）；當各畫素與其附近畫素的差值較大，但不是很大，給予權值（(

)/(

)）；當各畫素與其附近畫素的差值很大（

），即賦予權值0（

=0）。

方程式四：

之後，即如步驟S215，根據影像中各畫素的權值（

），對各畫素的畫素值（

）執行去除雜訊，特別是針對判斷為平坦區的部份以及高頻區等需要執行去除雜訊程序的範圍，如方程式五所示。

方程式五：

其中

表示當前畫素值（

）附近的每個畫素值（

）乘上其對應的權值（

），而

表示有不夠時就用當前畫素乘上總權值（

）減掉全部各畫素權值的和（

）來補償，之後除以總權值後，可得經過去除雜訊後的畫素值（

）。

值得一提的是，利用所述壓縮影像雜訊處理方法，經得出畫素值後，畫素之間差異值表示影像的特性，包括判斷出平坦區與高頻區，計算出加權平均亮度，再以亮度資訊調整差異，主要目的之一是將差異弄到差不多，使得整張影像的差異可以有統一的差異標準，然而卻沒有處理影像邊緣之處，因此不用判斷邊緣方向，因此減少了計算的需求，但對於細節部份並不處理，可以保留細節，還能有效處理亮部的雜訊，可以解決習知影像壓縮方法產生的蚊子雜訊、波紋雜訊等，整體技術手段是對需要處理的畫素進行濾波。

綜上所述，根據以上描述的壓縮影像雜訊處理方法與電路系統的實施例，電路系統如應用在具有視訊鏡頭的電子裝置中的影像處理電路，為了減緩影像壓縮造成的雜訊，利用差異值判斷影像特性，之後通過閾值判斷其中需要處理與不須處理的部份，僅對需要處理的畫素進行去雜訊處理，如此可以有效降低運算以節省硬體成本。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

10:電路系統 11:輸入影像 12:輸出影像 101:解壓縮單元 103:差異計算單元 105:平均亮度計算單元 107:差異調整單元 109:雜訊去除單元 30:當前畫素 40:當前畫素步驟S201～步驟S215:壓縮影像雜訊處理流程

圖1顯示電路系統實施例電路方塊圖；

圖2顯示壓縮影像雜訊處理方法的實施例流程圖；

圖3顯示壓縮影像雜訊處理方法中計算一定範圍內的最大差異值的範例示意圖；

圖4顯示壓縮影像雜訊處理方法中當前畫素附近畫素值權值範例示意圖；以及

圖5顯示壓縮影像雜訊處理方法中亮度調整曲線範例示意圖。

10:電路系統

11:輸入影像

12:輸出影像

101:解壓縮單元

103:差異計算單元

105:平均亮度計算單元

107:差異調整單元

109:雜訊去除單元

Claims

一種壓縮影像雜訊處理方法，應用於一電路系統中，包括：接收以一壓縮格式壓縮的一影像；解壓縮該影像，得出該影像中各畫素的畫素值；計算相鄰畫素的畫素值差異，將該影像的一範圍分為多區，得出各區中一畫素最大值與一畫素最小值，比對各區的最大差異值以得出該範圍中的一最大差異值；以及根據該範圍中的該最大差異值判斷該範圍是否執行去除雜訊的步驟；其中，若該範圍為需要執行去雜訊程序的區域，執行一去雜訊程序；若該範圍為不需要執行去除雜訊的區域，即不執行該去雜訊程序；最終得出經過降低壓縮時產生的雜訊的一輸出影像。
如請求項1所述的壓縮影像雜訊處理方法，其中設有一下閾值與一上閾值，以該範圍的該最大差異值比對該下閾值與該上閾值，將該影像劃分為一平坦區、一般紋理區以及一高頻區，或至少其中之一，其中該平坦區與該高頻區為需要執行該去雜訊程序的區域。
如請求項1所述的壓縮影像雜訊處理方法，其中，以該影像中各畫素的畫素值以及該畫素附近畫素的畫素值計算一加權平均亮度，以各畫素的該加權平均亮度計算得出各範圍的平均亮度，以調整各範圍中的該最大差異值。
如請求項3所述的壓縮影像雜訊處理方法，其中引入一亮度調整曲線，根據各範圍的該最大差異值對應得出一亮度係數，用以調整各範圍的該最大差異值。
如請求項4所述的壓縮影像雜訊處理方法，其中設有一下閾值與一上閾值，以該範圍中經調整後的該最大差異值比對該下閾值與該上閾值，將該影像劃分為一平坦區、一般紋理區以及一高頻區，或至少其中之一，其中該平坦區與該高頻區為需要執行該去雜訊程序的區域。
如請求項1至5中任一項所述的壓縮影像雜訊處理方法，其中，於得出需要執行去雜訊程序的區域時，根據此區域中的各畫素與附近畫素的差值（
）比對兩個閾值（
、
）以決定各畫素的權值（
），取得各畫素權值的方程式如下：
。
如請求項6所述的壓縮影像雜訊處理方法，其中，根據各畫素的權值（
），針對各畫素的畫素值（
）執行去雜訊程序，得出去除雜訊的畫素值（
）的方程式如下：
其中，
表示當前畫素值（
）附近的每個畫素值（
）乘上其對應的權值（
），而
表示有不夠時就用當前畫素乘上總權值（
）減掉全部各畫素權值的和（
）來補償，之後除以總權值後，可得經過去除雜訊後的畫素值（
）。
一種電路系統，包括：一處理電路，執行一壓縮影像雜訊處理方法，方法包括：接收以一壓縮格式壓縮的一影像；解壓縮該影像，得出該影像中各畫素的畫素值；計算相鄰畫素的畫素值差異，將該影像的一範圍分為多區，得出各區中一畫素最大值與一畫素最小值，比對各區的最大差異值以得出該範圍中的一最大差異值；以及根據該範圍中的該最大差異值判斷該範圍是否執行去除雜訊的步驟；其中，若該範圍為需要執行去雜訊程序的區域，執行一去雜訊程序；若該範圍為不需要執行去除雜訊的區域，即不執行該去雜訊程序；最終得出經過降低壓縮時產生的雜訊的一輸出影像。
如請求項8所述的電路系統，其中，於該處理電路執行的該壓縮影像雜訊處理方法中，設有一下閾值與一上閾值，以該範圍的該最大差異值比對該下閾值與該上閾值，將該影像劃分為一平坦區、一般紋理區以及一高頻區，或至少其中之一，其中該平坦區與該高頻區為需要執行該去雜訊程序的區域。
如請求項8或9所述的電路系統，其中，於得出需要執行去雜訊程序的區域時，根據此區域中的各畫素與附近畫素的差值（
）比對兩個閾值（
、
）以決定各畫素的權值（
），取得各畫素權值的方程式如下：
。