TWI692970B

TWI692970B - 影像處理電路及相關的影像處理方法

Info

Publication number: TWI692970B
Application number: TW107137126A
Authority: TW
Inventors: 林銘達
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2018-10-22
Filing date: 2018-10-22
Publication date: 2020-05-01
Also published as: US11127125B2; TW202017371A; US20200126199A1

Abstract

本發明揭露一種影像處理電路，其包含有一區域型式判斷電路以及一濾波電路。在該影像處理電路的操作中，該區域型式判斷電路接收一影像圖框之一區域的多個像素的像素值，並使用一高通濾波器以對該區域的該多個像素進行多次的高通濾波操作以產生多個濾波後像素值，且根據該多個濾波後像素值以判斷該區域是屬於一邊緣區域、一非邊緣區域或是一蚊狀雜訊區域，以產生一判斷結果；以及該濾波電路根據該判斷結果以產生多個權重值，並根據該多個權重值來對該區域之該多個像素中的一中心像素進行濾波操作，以產生一調整後像素值。

Description

影像處理電路及相關的影像處理方法

本發明係有關於影像處理電路，尤指一種可以消除蚊狀雜訊(mosquito noise)的影像處理電路。

近年來由於影像資料量的快速增加，故影像資料需要進行壓縮以節省儲存空間以及傳輸頻寬，然而，由於影像壓縮的過程中通常會造成失真，因此在顯示器端對影像資料進行解壓縮後，所產生的影像在邊緣處可能會變的模糊，而這些因為解壓縮而造成影像邊緣模糊的現象一般稱為蚊狀雜訊。由於蚊狀雜訊會對影像品質造成不好的影響，故先前技術中已針對這些雜訊做改善，然而先前技術所採用的方法通常需要用到複雜的運算，甚至牽涉到指數型運算，且在雜訊消除的過程中也或許會誤將其他沒有發生蚊狀雜訊的邊緣進行處理而造成無謂的影像邊緣損失。因此，如何提出一種計算較為簡單且有效率的雜訊消除方法，是一個重要的課題。

因此，本發明的目的之一在於提供一種影像處理電路，其可以透過較為簡單的計算方法來有效地消除蚊狀雜訊，以解決先前技術中的問題。

在本發明的一個實施例中，揭露了一種影像處理電路，其包含有一區域型式判斷電路以及一濾波電路。在該影像處理電路的操作中，該區域型式判斷電路接收一影像圖框之一區域的多個像素的像素值，並使用一高通濾波器以對該區域的該多個像素進行多次的高通濾波操作以產生多個濾波後像素值，且根據該多個濾波後像素值以判斷該區域是屬於一邊緣區域、一非邊緣區域或是一蚊狀雜訊區域，以產生一判斷結果；以及該濾波電路根據該判斷結果以產生多個權重值，並根據該多個權重值來對該區域之該多個像素中的一中心像素進行濾波操作，以產生一調整後像素值。

在本發明的另一個實施例中，揭露了一種影像處理方法，其包含有以下步驟：接收一影像圖框之一區域的多個像素的像素值；使用一高通濾波器以對該區域的該多個像素進行多次的高通濾波操作以產生多個濾波後像素值；根據該多個濾波後像素值以判斷該區域是屬於一邊緣區域、一非邊緣區域或是一蚊狀雜訊區域，以產生一判斷結果；以及根據該判斷結果以產生多個權重值，並根據該多個權重值來對該區域之該多個像素中的一中心像素進行濾波操作，以產生一調整後像素值至一顯示面板並顯示於其上。

100:影像處理電路

102:後端處理電路

104:顯示面板

110:區域型式判斷電路

120:濾波電路

200~208、400~410、500~512、700~714:步驟

Din:影像圖框

Din’:調整後影像圖框

DRT:判斷結果

第1圖為根據本發明一實施例之影像處理電路的示意圖。

第2圖為根據本發明一實施例之區域型式判斷電路的操作流程圖。

第3圖為使用高通濾波器來對5*5區域進行濾波操作以產生3*3濾波後像素值的示意圖。

第4圖為根據本發明一實施例之濾波電路的操作流程圖。

第5圖為根據本發明一實施例之濾波電路根據判斷結果以決定出多個參數值的流程圖。

第6圖為5*5距離權重值的示意圖。

第7圖為濾波電路決定出多個強度權重值的流程圖。

第8圖為計算根據5*5距離權重值以及5*5強度權重值來計算出5*5權重值的示意圖。

第1圖為根據本發明一實施例之影像處理電路100的示意圖。如第1圖所示，影像處理電路100包含了一區域型式判斷電路110以及一濾波電路120，其中影像處理電路100係用來接收一影像圖框Din後進行雜訊消除操作，以產生一調整後影像圖框Din’，且調整後影像圖框Din’透過一後端處理電路102的處理之後被傳送到一顯示面板104並顯示在其上。

在影像處理電路100的操作中，區域型式判斷電路110首先接收影像圖框Din，並針對每一個像素來判斷所屬區域是屬於邊緣區域、非邊緣區域或是蚊狀雜訊區域，以產生一判斷結果DRT。具體來說，參考第2圖所示之區域型式判斷電路110的操作流程圖。首先，在步驟200中，流程開始且區域型式判斷電路110接收影像圖框Din。接著，在步驟202中，區域型式判斷電路110根據目前所要處理的一像素來選擇一5*5區域，其中該像素為5*5區域的一中心像素。如第3圖所示，假設目前所要處理是像素P33，則區域型式判斷電路110以像素P33為中心選擇包含了像素P11~P55的5*5區域。接著，區域型式判斷電路110使用3*3的高通濾波器，例如第2圖所示的拉普拉斯運算子，來對5*5區域內的像素進行9 次濾波操作，以產生3*3濾波後像素值。在本實施例中，區域型式判斷電路110係針對像素P22、P23、P24、P32、P33、P34、P42、P43、P44來進行高通濾波操作，以分別產生濾波後像素值P22’、P23’、P24’、P32’、P33’、P34’、P42’、P43’、P44’。舉一例子來說，當區域型式判斷電路110對像素P22進行高通濾波操作時，3*3高通濾波器的中心點係對準像素P22，且使用3*3高通濾波器的係數來對像素P11~P33進行加權平均或是加權相加以產生濾波後像素值P22’，例如濾波後像素值P22’的計算方式可以表示如下：P22’=(-1)*P11+(-1)*P12+(-1)*P13+(-1)*P21+8*P22+(-1)*P23+(-1)*P31+(-1)*P32+(-1)*P33。

在步驟206中，區域型式判斷電路110根據上述之9個濾波後像素值以計算出一非邊緣計數值以及一邊緣計數值，其中該非邊緣計數值為9個濾波後像素值中低於一第一參考像素值(例如，像素值為256)的數量，該邊緣計數值為9個濾波後像素值中高於一第二參考像素值(例如，像素值為512)的數量。

在步驟208中，區域型式判斷電路110根據該非邊緣計數值以及該邊緣計數值以判斷第2圖所示的5*5區域為邊緣區域、非邊緣區域或是蚊狀雜訊區域。舉例來說，當該非邊緣計數值大於一第一臨界值(例如，8)時，區域型式判斷電路110判斷5*5區域為非邊緣區域；當該邊緣計數值大於一第二臨界值時(例如，5)，區域型式判斷電路110判斷5*5區域為邊緣區域；以及當該非邊緣計數值不大於該第一臨界值，且該邊緣計數值不大於該第二臨界值時，區域型式判斷電路110判斷5*5區域為蚊狀雜訊區域。

在第2~3圖的實施例中，由於區域型式判斷電路110係使用3*3高通濾波器來對5*5區域進行多次濾波後來產生3*3濾波後像素值，之後再根據3*3濾波後像素值來判斷出5*5區域為邊緣區域、非邊緣區域或是蚊狀雜訊區域，因此，上述計算方式僅牽涉到整數的運算，因此在電路設計上具有較為簡單的架構，因此可以降低區域型式判斷電路110在設計上以及製造上的成本。

在區域型式判斷電路110判斷出5*5區域為邊緣區域、非邊緣區域或是蚊狀雜訊區域之後，濾波電路120根據判斷結果DRT來對中心像素P33進行雜訊消除操作以產生一調整後像素值P33”。具體來說，參考第4圖所示之濾波電路120的操作流程圖。在步驟400中，流程開始且濾波電路120接收判斷結果DRT以及第2圖所示之5*5區域的像素值。在步驟402中，濾波電路120根據判斷結果DRT以決定出多個參數值。舉例來說，參考第5圖所示之濾波電路120根據判斷結果DRT以決定出多個參數值的流程圖。如第5圖所示，其流程如所述：

步驟500：流程開始。

步驟502：判斷5*5區域是否為非邊緣區域，若是則流程進入步驟504，若否則流程進入步驟506。

步驟504：分別設定參數TH1、TH2、TH3為64、100、256。

步驟506：判斷5*5區域是否為邊緣區域，若是則流程進入步驟508，若否則流程進入步驟510。

步驟508：分別設定參數TH1、TH2、TH3為100、256、576。

步驟510：判斷5*5區域為蚊狀雜訊區域。

步驟512：分別設定參數TH1、TH2、TH3為256、576、1024。

需注意的是，第5圖所示之參數TH1、TH2、TH3的數值僅是作為範例說明，而非是本發明的限制，只要邊緣區域的參數大於非邊緣區域的參數，且蚊狀雜訊區域的參數大於邊緣區域的參數，其參數數值可以根據設計者的需求而改變。

接著，在步驟404中，濾波電路120決定出多個距離權重值，而在本實施例中該多個距離權重值係為5*5距離權重值。如第6圖所示，左圖繪示了每一個像素到中心點的距離，而右圖繪示了根據每一個像素到中心點的距離所轉換出的5*5距離權重值(僅為範例說明)，其中與中心點距離越近則距離權重值越高。

在步驟406中，濾波電路120根據參數值TH1、TH2、TH3以及5*5區域內的像素值來產生多個強度權重值。參考第7圖所示之濾波電路120決定出多個強度權重值的流程圖。如第7圖所示，其流程如所述：

步驟700：針對每一個像素，計算其像素值與中心像素P33的一像素值差異。

步驟702：判斷像素值差異是否小於參數值TH1，若是則流程進入步驟704，若否則流程進入步驟706。

步驟704：使用以下公式來計算強度權重值：4+(TH1-diff)*4/TH1，其中“diff”為像素值差異。

步驟706：判斷像素值差異是否小於參數值TH2，若是則流程進入步驟708，若否則流程進入步驟710。

步驟708：決定強度權重值為“4”。

步驟710：判斷像素值差異是否小於參數值TH3，若是則流程進入步驟712，若否則流程進入步驟714。

步驟712：決定強度權重值為“1”。

步驟714：決定強度權重值為“0”。

需注意的是，上述強度權重值的數值僅是作為範例說明，而非是本發明的限制，只要像素值差異越高時所對應到的強度權重值越低，其強度權重值的計算方式可以根據設計者的需求而改變。在本實施例中，由於像素值差異越高時所對應到的強度權重值越低，因此可以避免在後續對像素P33進行雜訊消除操作時降低周邊像素值差異較大之像素的影像，以避免過度模糊影像的邊緣。

在步驟408中，濾波電路120將多個距離權重值分別於多個強度權重值相乘，以產生多個權重值。以第8圖為例來進行說明，由於在步驟404所產生的是5*5距離權重值(例如第8圖所示之DW11~DW55)，且在步驟406所產生的是5*5強度權重值(例如第8圖所示之IW11~IW55)，因此濾波電路120可以直接地將5*5距離權重值與5*5強度權重值中具有相同位置的數值相乘以得到5*5權重值。舉例來說，W11=DW11*IW11、W12=DW12*IW12、W13=DW13*IW13...以此類推。

在決定出5*5權重值之後，於步驟410，濾波電路120使用5*5權重值來對像素值P33進行濾波操作，亦即將像素P11~P55的像素值分別與權重值W11~W55進行加權平均計算，以得到調整後像素值P33”，亦即調整後像素值P33”的計算方式如下：

。

如上所述，便完成了像素值P33的濾波操作(雜訊消除操作)。基於同樣的方式，影像處理電路100可以使用上述的計算方式對影像圖框Din中的每一個像素作濾波操作，以得到調整後影像圖框Din’。

在第4~8圖的實施例中，由於濾波電路120所使用的5*5權重值會基於非邊緣區域、邊緣區域以及蚊狀雜訊區域而有不同的設定，且上述5*5權重值的決定過程僅牽涉到整數的運算，因此在電路設計上具有較為簡單的架構，因此可以降低濾波電路120在設計上以及製造上的成本。

此外，雖然在以上的實施例中採用了5*5區域、3*3高通濾波器、3*3濾波後像素值、5*5距離權重值、5*5強度權重值以及5*5權重值來做為說明，但上述資料的大小並非是本發明的限制。亦即，在本發的其他實施例中，區域型式判斷電路110可以採用M*M高通濾波器來對N*N區域進行多次濾波操作以產生多個濾波後像素值，其中N可以為大於M的任意適合正整數；且濾波電路120可以將K*K距離權重值分別乘以K*K強度權重值以得到K*K權重值，其中K可以為任意適合的正整數。

簡要歸納本發明，在本發明的影像處理電路及相關的影像處理方法中，係先透過判斷出影像的一區域為非邊緣區域、邊緣區域或是蚊狀雜訊區域之後，濾波電路會根據區域的判斷結果來計算出不同的權重值來對影像圖框進行雜訊消除操作。在本發明中，相關的處理電路僅需要簡單的計算方式便可以正確且有效率地消除影像雜訊，故可降低影像處理電路在設計與製造上的成本。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。