TWI388201B - 利用遮罩加速濾除雜訊之影像處理裝置、影像處理方法及數位相機 - Google Patents

Description

利用遮罩加速濾除雜訊之影像處理裝置、影像處理方法及數位相機

本揭示內容是有關於一種影像處理裝置，且特別是有關於一種消除雜訊的影像處理裝置。

隨著科技的發達，數位影像的處理技術已並非單純靠著電腦軟體來改善影像品質，而漸漸著手於利用硬體來直接對影像進行調整。透過軟硬體技術的結合，可以同時加快處理速度與縮小硬體設備之體積。在擷取數位影像或是影像資料傳輸的過程中，經常會因為許多的因素而使得影像產生雜訊的干擾。例如電荷耦合元件(Charge-coupled Device,CCD)相機在擷取影像時，環境光度與感測器的溫度都是造成影像中存在雜訊的重要因素。另一方面，如果使用無線網路傳輸數位影像，也有機會因受到大氣中的干擾而損壞，從而造成影像的品質變差。在品質不佳的影像上進行分析處理，結果自然不會太理想。因此，為了改善影像的品質，以便於電腦分析甚至人眼的辨識，影像中雜訊的處理技術便成為一個很重要的課題。

因此，本揭示內容之一技術態樣是在提供一種利用遮罩加速濾除雜訊之影像處理裝置，來消除影像中的雜訊。

依據本揭示內容一實施方式，提出一種利用遮罩加速濾除雜訊之影像處理裝置，包含一影像擷取裝置、一雙向濾波器及一顯示裝置。影像擷取裝置用以取得至少一待處理影像，此待處理影像包含至少一待處理畫素。雙向濾波器，用以處理待處理影像之待處理畫素。上述之雙向濾波器包含一遮罩、一計算單元及一模糊化單元。遮罩以待處理畫素為中心，界定待處理畫素之多個周圍畫素，遮罩在水平方向的尺寸較垂直方向的尺寸大。計算單元用以根據上述多個周圍畫素的資料，計算出一修正畫素資料。模糊化單元用以利用修正畫素資料取代待處理畫素的資料，使待處理影像成為修正影像。顯示裝置用以顯示修正影像。

本揭示內容之另一技術態樣是在提供一種利用遮罩加速濾除雜訊之影像處理方法，以利用遮罩來減少影像處理所需的運算量。

依據本揭示內容另一實施方式，提出一種利用遮罩加速濾除雜訊之影像處理方法，包括：從一待處理影像中區隔出一待處理畫素。以待處理畫素為中心，利用一遮罩界定待處理畫素之多個周圍畫素；其中，遮罩在水平方向的尺寸較垂直方向的尺寸大。根據上述多個周圍畫素的資料，計算出一修正畫素資料。以修正畫素資料取代待處理畫素的資料，使得待處理影像成為一修正影像。最後，顯示修正影像。

本揭示內容之又一技術態樣是在提供一種利用遮罩加速濾除雜訊之數位相機，其可結合軟硬體技術，消除影像中的雜訊。

依據本揭示內容又一實施方式，提出一種利用遮罩加速濾除雜訊之數位相機，包括一影像擷取裝置、一影像處理晶片以及一顯示裝置。影像擷取裝置係用以取得一待處理影像；影像處理晶片係搭載一程式，以濾除待處理影像之雜訊，進而產生一修正影像。最後，顯示裝置係用以顯示前述之修正影像。具體而言，當影像處理晶片載入程式後，能夠執行下列步驟：從待處理影像中區隔出一待處理畫素。以待處理畫素為中心，利用一遮罩界定待處理畫素之多個周圍畫素；其中，遮罩在水平方向的尺寸較垂直方向的尺寸大。根據上述多個周圍畫素的資料，計算出一修正畫素資料。以修正畫素資料取代待處理畫素的資料，使得待處理影像成為上述之修正影像。

藉此，本揭示內容之上述諸實施方式，可以利用遮罩減少影像處理所需的硬體需求。

請參考第1圖，第1圖是本揭示內容一實施方式之利用遮罩加速濾除雜訊之影像處理裝置的功能方塊圖。第1圖中，影像處理裝置100包含一影像擷取裝置110、一雙向濾波器120以及一顯示裝置130。影像擷取裝置110係用以取得至少一待處理影像101，此待處理影像101包含至少一待處理畫素102。雙向濾波器120，用以處理待處理影像101之待處理畫素102。上述之雙向濾波器120包含一遮罩121、一計算單元122及一模糊化單元123。遮罩121以待處理畫素102為中心，界定待處理畫素102之多個周圍畫素，遮罩121在水平方向的尺寸較垂直方向的尺寸大。計算單元122用以根據上述多個周圍畫素的資料，計算出一修正畫素資料。模糊化單元123用以利用修正畫素資料取代待處理畫素102的資料，使待處理影像101成為修正影像。顯示裝置用以顯示修正影像。

值得注意的是，遮罩121之所以水平方向的尺寸較垂直方向的尺寸大，是考量了一般數位影像處理晶片的運作方式。具體請參考第2圖，第2圖是數位影像處理晶片截取畫素資料的示意圖。一般數位影像處理晶片係以8x8視窗的格式大小，先水平後垂直掃描一畫面。以第2圖為例，數位影像處理晶片水平掃描過第一列之後，才會垂直移動到第二列繼續掃描。因此，遮罩121之設計係配合數位影像處理晶片之硬體運作方式，可以使數位影像處理晶片在相對較短的時間週期內，取得足夠進行運算的畫素資料量，以合理化減少軟體運算量。

請參考第3圖，第3圖是第1圖之遮罩的結構示意圖。第3圖中，遮罩121可以設計為界定待處理畫素(S16)及其同一列左右兩側各七個畫素點(S9-S15,S17-S23)，位於待處理畫素正上方第一列五個畫素點(S4-S8)，位於待處理畫素正上方第二列三個畫素點(S1-S3)，位於待處理畫素正下方第一列五個畫素點(S24-S28)，以及位於待處理畫素正下方第二列三個畫素點(S29-S31)。

具體來說，計算單元122係計算上述每一個畫素點與待處理畫素之距離與畫素差異值，且利用一高斯函數來計算每一個畫素點之權重，進而產生修正畫素資料來取代待處理畫素。

譽例而言，計算單元122可將上述畫素點(S1-S15,S17-S31)之位置表示為d _i ，待處理畫素之位置表示為d _j ，則每一個畫素點與待處理畫素之距離表示為dis =d _i -d _j 。與此同時，每一個畫素點之畫素值表示為Z _i ，待處理畫素之畫素值表示為Z _j ，則每一個畫素點與待處理畫素之畫素差異值表示為dif =Z _i -Z _j 。接下來，利用高斯函數賦予每一個畫素點之距離權重參數表示為vdis ，且高斯函數賦予每一個畫素點之畫素值權重參數表示為vdif 。最後，遮罩內之所有畫素點權重總和為w ，且每一個畫素點與其相對應之權重的乘積總和為P ，則w 與P 及前述各參數的關係可以整理如下：

最後，計算單元122可藉由P /W 的比例關係來產生修正畫素資料。具體而言，w 為遮罩內所有畫素點的權重總和，P 為遮罩內畫素點乘以本身權重的總和，因此P /W 使擁有權重越高的畫素點對於修正的影響程度越高。

換句話說，計算單元122先根據周圍畫素與待處理畫素102之距離與畫素差異值，分別以高斯函數決定這些周圍畫素的權重。然後，計算單元122再根據這些周圍畫素的權重，加權平均這些周圍畫素的畫素值，以獲得修正畫素資料。

值得注意的是在第1圖中，影像處理裝置100內部更設計有一轉換單元111及一區隔單元112。轉換單元111及區隔單元112可設計於影像擷取裝置110內或雙向濾波器120內，當然亦可單獨存在於兩者之間。轉換單元111係用以處理影像擷取裝置110所攝入或取得之待處理影像101，使其轉換為適切的資料格式；而區隔單元112則係用以從待處理影像101中區隔出待處理畫素102。因為對一張影像來說，如果所有的畫素都一視同仁地進行處理，會造成色塊邊緣或細節處反而模糊而不清楚。因此，區隔單元112可以從影像101中區隔出非邊緣畫素群以及非細節畫素群，以逐一作為待處理畫素102，來進行處理。換句話說，只有當畫素不是位於影像之線條邊緣，也不是影像之局部細節的時候，此畫素方適合被當作待處理畫素102。

區隔單元112先將待處理影像101區分為多個視窗，再分別計算這些視窗之畫素值變異數；然後在這些視窗之畫素值變異數中，取最低者作為一門檻值。接下來，區隔單元112以一檢測畫素為中心，劃定一區域視窗；再計算此區域視窗之畫素值變異數。如果區域視窗之畫素值變異數小於門檻值，則判定檢測畫素為待處理畫素102。

舉例而言，區隔單元112可分割待處理影像101為一8x8視窗，以視窗不重疊方式計算各視窗內畫素值之變異數，取最小變異數為一門檻值B。接下來，區隔單元112再任選一畫素為檢測點，取5x5視窗來計算檢測點之一檢測點變異數V。若檢測點變異數V小於門檻基B，則定義檢測點為非邊緣或細節畫素群。此時，檢測點便被當作待處理畫素102來進行處理。

換句話說，區隔單元112將影像101以8x8=64個畫素為一組，在各組不重疊的前提下，分割成許多組；再逐一計算各組的變異數，以取得最小變異數作為門檻值B。接下來，區隔單元111開始任選一個畫素作為目標畫素，以其周邊5x5=25個畫素為基準，計算出目標畫素的變異數。如果目標畫素的變異數小於門檻值B，則其既不是位於影像之線條邊緣，也不是影像之局部細節的機率便很高，因而可被選作為待處理畫素102。

當然，若考量設計上的餘裕度，區隔單元112也可被設定一調整參數T；然後，若前述檢測點變異數V小於門檻值B乘以調整參數T，亦即V<BT，則定義其為非邊緣或細節畫素群。具體而言，當T值越大則經濾波器處理的範圍越多，但相對的影像細節與邊緣部份保存就較少，因此可針對不同影像特性與需求進行調整。

另一方面，由於影像101的亮度/色度/濃度資料(YUV)在處理上比影像101的三原色資料(RGB)更具代表性；所以，轉換單元111係用以將影像101之三原色資料(RGB)轉換為亮度/色度/濃度資料(YUV)，再饋入區隔單元112。更進一步的說，由於人眼對於亮度的敏銳度遠高於色彩；所以，轉換單元更可只提供影像101之亮度資料(Y)予區隔單元112來進行處理即可。上述兩種做法都有利於進一步精簡硬體設備的需求。

值得一提的是，上述影像擷取裝置110若不包含轉換單元111及區隔單元112，可逕由一般光學鏡頭實現之，例如電荷耦合元件(Charge-coupled Device,CCD)鏡頭；若影像擷取裝置110並非直接攝錄一實物之光學影像，而是用來擷取其他裝置內的影像資料，則影像擷取裝置110可為一影像處理晶片；此時轉換單元111及區隔單元112便可以軟體編程或硬體電路的形式，內建於影像擷取裝置110內。另一方面，雙向濾波器120可利用一離散訊號處理器(DSP)來實現之；此時，遮罩121、計算單元122或模糊化單元123可採用軟體編程的方式，內建於雙向濾波器120內，或利用雙向濾波器120內部之硬體電路來實現之。當然，若轉換單元111及區隔單元112係被設計在雙向濾波器120內，則其亦可為軟體編程或硬體電路。

請參照第4圖，第4圖是本揭示內容一實施方式之利用遮罩加速濾除雜訊的影像處理方法的步驟流程圖。影像處理方法包括下列步驟。首先，如步驟210所示，從一待處理影像中區隔出一待處理畫素。然後，如步驟220所示，以待處理畫素為中心，利用一遮罩界定待處理畫素之多個周圍畫素；其中，遮罩在水平方向的尺寸較垂直方向的尺寸大。接下來，如步驟230所示，根據上述多個周圍畫素的資料，計算出一修正畫素資料。然後，如步驟240所示，以修正畫素資料取代待處理畫素的資料，使得待處理影像成為一修正影像。最後，如步驟250所示，顯示修正影像。

在第4圖中，進行步驟210前，更可先執行一步驟201，此步驟201係將影像之三原色資料(RGB)轉換為亮度/色度/濃度資料(YUV)，再進行步驟210。如前所述，步驟201亦可僅提取影像之亮度資料(Y)來進行步驟210。

請參考第5圖，第5圖是本揭示內容一實施方式之利用遮罩加速濾除雜訊的數位相機的結構示意圖。第5圖中，數位相機300包括包括一影像擷取裝置310、一影像處理晶片320以及一顯示裝置330。影像擷取裝置310係用以取得一待處理影像；影像處理晶片320係搭載一程式，以濾除待處理影像之雜訊，進而產生一修正影像。最後，顯示裝置330係用以顯示前述之修正影像。具體而言，當影像處理晶片320載入程式後，能夠執行下列步驟：從待處理影像中區隔出一待處理畫素。以待處理畫素為中心，利用一遮罩321界定待處理畫素之多個周圍畫素；其中，遮罩321在水平方向的尺寸較垂直方向的尺寸大。根據上述多個周圍畫素的資料，計算出一修正畫素資料。以修正畫素資料取代待處理畫素的資料，使得待處理影像成為上述之修正影像。

接下來，本揭示內容以上述諸實施方式實際處理樣本影像，並比較其效果如下：請參考附件一，附件一中第1A及2A圖是未受雜訊污染的影像。第1B及2B圖是受到高斯雜訊污染的影像。第1C及2C圖分別是第1B及2B圖經本實施方式處理後的影像。在應用本實施方式產生第1C及2C圖時，係先將畫素值512x512的第1B及2B圖以8x8視窗大小切割為4096組，進而找出門檻值B=178；且設定調整參數T=8。

附件一中第3A圖為受到高斯雜訊污染的影像。第3B圖是第3A圖經平均濾波器處理後的影像。第3C圖是第3A圖經本實施方式處理後的影像。第4A、4B及4C圖分別是第3A、3B及3C圖的局部放大圖。在應用本實施方式產生第3C圖時，係先將第3A圖以8x8視窗大小切割為4800組，進而找出門檻值B=11；且設定調整參數T=30。

附件一中第5圖是以Canon公司所生產的EOS 40D數位相機，在光圈設定F11，快門時間1/6秒下所拍攝的3492x2328影像。此影像任取三個視窗進行局部放大，比較本實施方式與習知之5x5平均濾波器的處理結果如下：附件一中第6A、7A及8A圖為原始影像。第6B、7B及8B圖分別是原始影像經平均濾波器處理後的影像。第6C、7C及8C圖分別是原始影像經本實施方式處理後的影像。

雖然本發明已以諸實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．影像處理裝置

110、310．．．影像擷取裝置

111．．．轉換單元

112．．．區隔單元

101．．．影像

102．．．待處理畫素

120．．．雙向濾波器

121、321．．．遮罩

122．．．計算單元

123．．．模糊化單元

130．．．顯示裝置

201-250．．．步驟

300．．．數位相機

320．．．影像處理晶片

330．．．顯示裝置

為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：

第1圖是本揭示內容一實施方式之利用遮罩加速濾除雜訊的影像處理裝置的功能方塊圖。

第2圖是數位影像處理晶片截取畫素資料的示意圖。

第3圖是第1圖之遮罩的結構示意圖。

第4圖是本揭示內容一實施方式之利用遮罩加速濾除雜訊的影像處理方法的步驟流程圖。

第5圖是本揭示內容一實施方式之利用遮罩加速濾除雜訊的數位相機的結構示意圖。

100．．．影像處理裝置

110．．．影像擷取裝置

111．．．轉換單元

112．．．區隔單元

101．．．待處理影像

102．．．待處理畫素

120．．．雙向濾波器

121．．．遮罩

122．．．計算單元

123．．．模糊化單元

130．．．顯示裝置

Claims (10)

1. 一種利用遮罩加速濾除雜訊之影像處理裝置，包含：一影像擷取裝置，用以取得至少一待處理影像，其中該待處理影像包含至少一待處理畫素；一雙向濾波器，用以處理該待處理影像之該待處理畫素，該雙向濾波器包含：一遮罩，係以該待處理畫素為中心，界定該待處理畫素之複數個周圍畫素，其中該遮罩在水平方向的尺寸較垂直方向的尺寸大；一計算單元，用以根據該些周圍畫素的資料，計算出一修正畫素資料；以及一模糊化單元，用以利用該修正畫素資料取代該待處理畫素的資料，使得該待處理影像成為一修正影像；以及一顯示裝置，用以顯示該修正影像。
2. 如請求項1所述之利用遮罩加速濾除雜訊之影像處理裝置，更包括：一區隔單元，用以從該待處理影像中區隔出該待處理畫素。
3. 如請求項2所述之利用遮罩加速濾除雜訊之影像處理裝置，更包括：一轉換單元，用以將該待處理影像之三原色資料(RGB)轉換為亮度/色度/濃度資料(YUV)，再饋入該區隔單元。
4. 如請求項1所述之利用遮罩加速濾除雜訊之影像處理裝置，其中該遮罩係界定該待處理畫素及其同一列兩側各七個畫素點，位於該待處理畫素正上方第一列五個畫素點，位於該待處理畫素正上方第二列三個畫素點，位於該待處理畫素正下方第一列五個畫素點，以及位於該待處理畫素正下方第二列三個畫素點為該些周圍畫素。
5. 一種利用遮罩加速濾除雜訊之影像處理方法，包括：從一待處理影像中區隔出一待處理畫素；以該待處理畫素為中心，利用一遮罩界定該待處理畫素之複數個周圍畫素，其中該遮罩在水平方向的尺寸較垂直方向的尺寸大；根據該些周圍畫素的資料，計算出一修正畫素資料；以該修正畫素資料取代該待處理畫素的資料，使得該待處理影像成為一修正影像；以及顯示該修正影像。
6. 如請求項5所述之利用遮罩加速濾除雜訊之影像處理方法，更包括：在區隔該待處理畫素之前，將該待處理影像之三原色資料(RGB)轉換為亮度/色度/濃度資料(YUV)，其中計算該修正畫素資料係僅根據該些周圍畫素的亮度資料(Y)來進行計算。
7. 如請求項5所述之利用遮罩加速濾除雜訊之影像處理方法，其中區隔該待處理畫素包括：將該待處理影像區分為複數個視窗；分別計算該些視窗之畫素值變異數；在該些視窗之畫素值變異數中，取最低者作為一門檻值；以一檢測畫素為中心，劃定一區域視窗；計算該區域視窗之畫素值變異數；以及當該區域視窗之畫素值變異數小於該門檻值時，判定該檢測畫素為該待處理畫素。
8. 如請求項5所述之利用遮罩加速濾除雜訊之影像處理方法，其中計算該修正畫素資料包括：根據該些周圍畫素與該待處理畫素之距離與畫素差異值，分別以高斯函數決定該些周圍畫素的權重；以及根據該些周圍畫素的權重，加權平均該些周圍畫素的畫素值，以獲得該修正畫素資料。
9. 一種利用遮罩加速濾除雜訊之數位相機，包括：一影像擷取裝置，用以取得一待處理影像；一影像處理晶片，搭載一程式，且當該影像處理晶片載入該程式後，能夠執行：從該待處理影像中區隔出一待處理畫素；以該待處理畫素為中心，利用一遮罩界定該待處理畫素之複數個周圍畫素，其中該遮罩在水平方向的尺寸較垂直方向的尺寸大；根據該些周圍畫素的資料，計算出一修正畫素資料；以及以該修正畫素資料取代該待處理畫素的資料，使得該待處理影像成為一修正影像；以及一顯示裝置，用以顯示該修正影像。
10. 如請求項9所述之利用遮罩加速濾除雜訊之數位相機，其中該遮罩係界定該待處理畫素及其同一列兩側各七個畫素點，位於該待處理畫素正上方第一列五個畫素點，位於該待處理畫素正上方第二列三個畫素點，位於該待處理畫素正下方第一列五個畫素點，以及位於該待處理畫素正下方第二列三個畫素點為該些周圍畫素。