TWI399079B - Noise Suppression Method for Digital Image - Google Patents

Description

對數位影像的雜訊抑制方法

一種對數位影像的處理方法，特別有關於一種對數位影像的雜訊抑制方法。

隨著數位相機的快速發展，對於數位影像的需求也大幅的增加。數位相機係利用平面式感光元件捕捉一整張影像，或從中擷取一塊方形的區域。一旦完成曝光的動作，控制電路會使電容單元上的電荷傳到相鄰的下一個單元，到達邊緣最後一個單元時，電荷訊號傳入放大器，轉變成電位。如此周而復始，直到整個影像都轉成電位，取樣並數位化之後存入記憶體。

但是感光元件在經過長時間的曝光動作後，會使得感光元件的表面電荷產生擾動。因為電荷擾動的關係，使得數位影像的成像會出現若干的雜訊。除了曝光時間外，調高感光元件的增益值也會使得感光元件的受光能力增加，但也會令電荷更容易的擾動。

除了硬體處理上所產生的雜訊外，軟體處理過程也會產生出雜訊。舉例來說，將數位影像進行邊緣銳化(sharp)處理時。數位影像中原本較不明顯的相異顏色像素，會因為銳化處理而將相異顏色的色階拉高。這樣一來，數位影像中就會出現不同顏色的顆粒。

所以許多相機廠商或影像處理廠商為了能提高數位影像的品質，因而提出了許多種消除雜訊的方法。就大多數的消除雜訊方法而言，多是利用數位濾波技術來進行其消除雜訊的動作。舉例來說，消除雜訊可以藉由相近顏色修正或模糊(blur)處理的方式來進行。雖然這些方法都可以減少數位影像中的雜訊，但卻會影響到數位影像整體的成像品質。舉例來說，經過模糊處理的數位影像，雖然可以使相近顏色的像素提高彼此間的一致性。但相對的，在數位影像中原有的輪廓邊界也會因此變的模糊。

鑒於以上的問題，本發明的主要目的在於提供一種對數位影像的雜訊抑制方法，藉由數位影像中鄰近區域之像素，用以對目標像素進行顏色校正處理。

為達上述目的，本發明所揭露之數位影像的雜訊抑制方法包括以下步驟：利用特徵加權處理程序，將數位影像中的每一原始像素轉換為特徵加權像素，以輸出特徵加權影像；根據一目標像素在數位影像中的位置，在特徵加權影像中的相對應位置選取特徵加權像素作為基準像素；進行相似度計算程序，計算基準像素相對於基準像素外之其他特徵加權像素的相似度；根據計算的相似度從基準像素外之其他特徵加權像素中選取一特徵加權像素作為補償用特徵加權像素；進行像素補償程序，根據選取出的補償用特徵加權像素之原影像值依相對應之相似度權值對目標像素的影像特徵進行補償。

其中，相似度計算程序可根據式1和式2進行，且像素補償程序可根據式3和式4進行。

w (i ,j )=f (Diff(i,j))................................................................式2

其中，i代表目標像素，j代表對應基準像素周圍之特徵加權像素的原始像素，Diff(i,j)係為基準像素相對於其他特徵加權像素的差異度，PixelValue(Neighbor_i )係為i的像素特徵加權值，PixelValue(Neighbor_j )係為j的像素特徵加權值，w(i,j)係為基準像素相對於其他特徵加權像素的相似度，f()係為差異度對相似度的轉換函式，PixelWeightValue(i)為i執行像素補償程序後的像素值，PixelValue(j)為j的像素值，R表示數位影像的尺寸，R係為M×N，M與N分別為大於或等於1的正整數，i係為1-M×N之中任一正整數，j則是於1-M×N中i以外之任一正整數。

於根據本發明之數位影像的雜訊抑制方法中，利用影像特徵相近且相似度高的像素來進行修補，所以不會破壞數位影像，因而可獲得更佳的影像品質。

有關本發明的特徵與實作，茲配合圖示作最佳實施例詳細說明如下。

本發明提出一種對數位影像的抑制雜訊方法，特別是針對雜訊像素(noise pixel)的抑制方法。於此，主要是利用數位影像中每一像素與周遭像素的相似性作為像素的計算權重或是以最相近的特定數值為修正參考，來對每一像素的顏色或資訊進行修正。

根據本發明之對數位影像的抑制雜訊方法可應用於一電子計算裝置，藉以透過此電子計算裝置對所輸入至電子計算裝置內的數位影像進行雜訊顏色校正處理。換言之，根據本發明之對數位影像的抑制雜訊方法可以軟體或韌體程式儲存於電子計算裝置的儲存單元(例如：記憶體或硬碟等)中，再由電子計算裝置的處理器執行儲存的軟體或韌體程式而實現。

請參考「第1圖」所示，其係為根據本發明一實施例之運作流程示意圖。此對數位影像的抑制雜訊方法包括以下步驟。

步驟S110：利用特徵加權處理程序，將數位影像210中的每一原始像素P轉換為特徵加權像素P’，以產生特徵加權影像210’，如「第2A及2B圖」所示。

步驟S120：根據目標像素在數位影像210中的位置，在特徵加權影像210’中的相對應位置選取特徵加權像素，以作為基準像素。其中，目標像素係為數位影像210的所有原始像素P中之任一像素。

步驟S130：基準像素相對於基準像素以外的其他特徵加權像素P’進行相似度計算。

步驟S140：從特徵加權像素P’中，依設定選取對基準像素相似度最高或較高的特徵加權像素P’分別作為補償用特徵加權像素。此外，抑可選取對基準像素之相似度大於門檻值、或符合設定條件之特徵加權像素作為補償用特徵加權像素。換言之，可依需求預先將此步驟設定為選取對基準像素相似度最高的特徵加權像素P’、或是設定為選取對基準像素相似度較高的特徵加權像素P’、或是設定為選取對基準像素的相似度大於門檻值的特徵加權像素P’、或是設定為選取對基準像素的相似度符合設定條件的特徵加權像素P’作為補償用特徵加權像素。

步驟S150：進行像素補償程序，根據選取出的補償用特徵加權像素P’所對應之原始像素P依相對應之該相似度對目標像素進行影像特徵的補償。

其中，在步驟S110中的特徵加權處理程序中可更包括以下步驟，並請同時參考「第3及4圖」。

步驟S111：於數位影像210中設定選取區域220。其中，選取區域220係指數位影像210中局部影像區塊，其可具有特定尺寸大小或為單一像素。於此，選取區域220可為a×b像素陣列，且a與b分別為大於或等於1之正整數。其中，a與b可為相同數值，抑或為不相同數值。

步驟S112：利用位於選取區域220中的中間像素221與位於選取區域220中的每一周遭像素222進行特徵加權處理程序，以產生中間像素221的特徵加權像素221’。其中，中間像素221係為位於選取區域220的中間之原始像素P，而周遭像素222係為選取區域220中位於中間像素221周遭之原始像素P，並反覆執行步驟111和112直至數位影像210中的每一原始像素P均轉換為特徵加權像素P’。

請參考「第5A、5B及5C圖」，由於選取區域220的選取順序係取決所選擇的定位像素Pn。換言之，於每次進行選取區域220的設定時，會選擇一個像素作為定位像素，再以定位像素Pn為基準形成選取區域220。其中，可設定位於選取區域220中任一位置(例如：右上角、左上角、右下角、左下角或中心等)的原始像素做為定位像素Pn。

在本實施例中，選取區域220的設定可以Z字形依序(如「第5A圖」中虛線所表示之方向)選擇定位像素Pn，即由左到右、由上至下的方向進行定位像素Pn的選取。因此，選取區域220可依序且重疊的設定，以致於選取到整張數位影像的各個影像區塊，如「第5B圖」所示。當然也可以利用不同的方向順序來進行對定位像素Pn與選取區域220的選取順序。此外，選取區域220亦可不重疊的設定，如「第5C圖」所示。

因為利用選取區域220會造成數位影像210的邊緣部分無法產生相應的特徵加權像素P’，使得加權後的特徵加權影像210’的尺寸會略小於數位影像210的尺寸。舉例而言，若數位影像210係為100*100(像素陣列)的影像，而選取區域220係為3*3像素陣列。則輸出後的特徵加權影像210’係為98*98像素陣列。

因此，可以利用數位影像210的邊緣對於特徵加權影像210’的邊緣部分進行修補，使特徵加權影像210’的大小與數位影像210的大小相同。

或者不對特徵加權影像210’的邊緣部分進行修補，而是將特徵加權像像210’對於數位影像210上的對應關係進行調整。舉例來說，在特徵加權影像210’上位置(1,1)的特徵加權像素，其對應在數位影像210上位置(3,3)的原始像素。同理，對於其他不同大小的數位影像210與選取區域220亦可依據此方式進行特徵加權影像210’與數位影像210之間的像素對應關係的建立。

並請配合參考「第4圖」所示，其係為選取區域220的各原始像素P對應之特徵加權像素P’的示意圖。為方便說明，在此定義在數位影像210中所選取的定位像素係為中間像素221。在選定出中間像素221後，以中間像素221為中心於中間像素221的周遭設定一a×b的像素陣列。於此，將此a×b像素陣列定義為選取區域220。中間像素221分別對選取區域220的其餘原始像素(即，週遭像素222，如「第4圖」中填滿斜線的原始像素)分別進行特徵加權處理程序處理，藉以產生對應中間像素221的特徵加權像素221’。

舉例來說，若是選取區域220係為5*5像素陣列，可選擇位於像素位置(3，3)的原始像素來做為中間像素221。選擇中間像素221的位置可以依據不同的實施態樣所決定，故在此不一一列舉。

接著，請參考下式1至式4，其係針對像素的像素值進行相似度計算。

w (f ,j )=f (Diff(i,j)).........................................................式2

其中，i代表目標像素(即，第i個原始像素)，j代表參考像素(即，第j個原始像素)。其中，參考像素係指基準像素周圍可參考之特徵加權像素所對應的原始像素。舉例來說，若數位影像210為M×N像素陣列，且M與N係為大於或等於1的正整數。此時，i係為於1-M×N中之任意正整數，而j則是於1-M×N中i以外之任意正整數。

PixelValue(Neighbor_i )係為目標像素i的像素特徵加權值，即基準像素。

PixelValue(Neighbor_j )係為目標像素i所在的選取區域220內參考像素j的像素特徵加權值，即基準像素以外的其他特徵加權像素。

f(.)係為特徵加權像素差異度對相似度權值轉換函式。

Diff(i,j)係為目標像素i對參考像素j之特徵加權值的差異度，即基準像素相對於其他特徵加權像素的差異度。

PixelWeightValue(i)為目標像素i的最終處理後輸出修正的像素值，即目標像素i進行影像特徵補償後的像素值。

PixelValue(j)為參考像素j的處理前原像素值。

w(i,j)係為目標像素i對參考像素j之相似度權值，即基準像素相對於基準像素以外的其他特徵加權像素的相似度。

R表示此數位影像的尺寸。

本發明除了可以針對像素的顏色(像素特徵)進行相似度計算外，更可以依據不同影像特徵值進行相似度計算。舉例來說，影像特徵可以為色彩空間、影像的材質、影像的紋理及/或影像的亮度，但不限於此。以色彩空間來說，相似度權值w(i,j)則可改為下式5。

ColorIndexValue(Neighbor_i )係為目標像素i之色彩空間的特徵加權值，即基準像素。

PixelValue(Neighbor_j )係為目標像素i所在的選取區域220內參考像素j之色彩空間的特徵加權值。

根據這些影像特徵(或其組合)之關係，再進一步的計算鄰近像素間的相似程度。人眼視覺對於不同影像特徵而言，並非僅是直接將像素相互加成即可得到的線性關係。舉例來說，在具有複雜紋理的選取區域220中，每一個像素的相似度會因為紋理的關係，而導致各像素間的相似度降低。

在完成數位影像210中所有像素的特徵加權像素後，再依據各特徵加權像素的生成順序產生一特徵加權影像。接著，於特徵加權影像中逐一選擇特徵加權像素，用以進行相似度的計算，在此對被選擇的特徵加權像素定義為基準像素(即，位在目標像素對應位置的特徵加權像素)。取得目標像素對參考像素的影像特徵的相似度而得相似度權值w(i,j)。從特徵加權像素’中選取對基準像素相似度最高或相對較高的特徵加權像素，以定義為補償用特徵加權像素。根據補償用特徵加權像素所在位置的原始像素，再對目標像素進行像素補償程序，並輸出補償後新的目標像素。

其中，像素補償程序可以是但不限定為像素值的替換或均值等方式進行。若以均值的方式為例，其係將目標像素之值與經過權值計算後所得之值進行平均，用以輸出新的已修正後的目標像素，同時相似度權值之計算視所選定為相似度最高、一定條件的相對較高、或是所有選取區域內所有像素相似度來計算，視不同需求及應用場合而定。

在本實施態樣中分別對數位影像中的每一個像素進行彼此間的相似度計算。為能清楚的說明本發明的運作流程，所以在此係以一臉部影像作為本實施例之說明。

首先，數位影像210中選擇一個原始像素並設定相應的選取區域220，如「第6A圖」所示。假設選取區域220的大小係為5*5像素陣列，且中間像素221係為選取區域220中的位置(3,3)之像素。接著，利用選取區域220內像素對中間像素221進行特徵加權處理程序，並產生對應的特徵加權像素221’，如「第6B圖」所示。換句話說，就是利用選取區域220用以產生中間像素221的特徵加權值。對數位影像重複上述的動作，藉以產生數位影像210中每一個原始像素的特徵加權像素。

「第6C圖」係為特徵加權影像210’的部分影像。在「第6C圖」中選出一個特徵加權像素，在此將此定義為基準像素223。並且設定一比對範圍，基準像素223分別與比對範圍中其餘特徵加權像素進行相似度的計算。比對範圍的大小可設定與選取區域220的大小一致，抑可以對比對範圍作不同的限制。例如：在較小的數位影像210中可以將比對範圍設定成整張數位影像210；若是在較大的數位影像210中，則可以將比對範圍設定成較大範圍的像素陣列，藉以加快其計算速度。

在此實施例中，以第二特徵加權像素322與第三特徵加權像素323分別對基準像素223進行相似度的計算。在其他實施態樣中，可以根據不同的設定選取適當數量的特徵加權像素進行相似度的比對。

就顏色差異而言，從「第6C圖」的特徵加權影像210’中可以看出基準像素223對第二特徵加權像素322之差異小於基準像素223對第三特徵加權像素323之差異。換句話說，第二特徵加權像素322較第三特徵加權像素323更接近基準像素223。所以若基準像素223係為雜訊像素時，會優先選取第二特徵加權像素322進行修補。

於本發明中，係從數位影像210切分為複數個選取區域220，並且從各選取區域220中產生代表各選取區域220的特徵加權像素P’。選取一個已加權的像素作為基準像素223，並將其與其餘的特徵加權影像進行相似度計算。再從中分別計算各特徵加權像素P’修正基準像素223的補償修正權重，最後利用這些特徵加權像素P’所在的原像素值對目標像素值進行修正。因為本發明是根據相近且相似度高的像素對目標像素進行修補，所以不會造成原數位影像的破壞，因而具有更佳的影像品質。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

210．．．數位影像

210’．．．特徵加權影像

220．．．選取區域

221．．．中間像素

221’．．．特徵加權像素

222．．．周遭像素

223．．．基準像素

322．．．特徵加權像素

323．．．特徵加權像素

P．．．原始像素

P’．．．特徵加權像素

Pn．．．定位像素

第1圖係為根據本發明一實施例之對數位影像的雜訊抑制方法的流程圖。

第2A圖係為本發明之一實施例之數位影像的示意圖。

第2B圖係為本發明之一實施例之特徵加權影像的示意圖。

第3圖係為本發明之一實施例之特徵加權處理程序的流程圖。

第4圖係為本發明之一實施例之數位影像轉換為特徵加權影像的示意圖。

第5A圖係為本發明之第一實施例之選取區域之選取方向的示意圖。

第5B圖係為本發明之第二實施例之選取區域之選取方向的示意圖。

第5C圖係為本發明之第三實施例之選取區域之選取方向的示意圖。

第6A圖係為本發明之另一實施例之數位影像的示意圖。

第6B圖係為本發明之對應「第6A圖」之特徵加權處理程序的示意圖。

第6C圖係為本發明之對應「第6A圖」之相似度計算程序的示意圖。

Claims (5)

1. 一種對數位影像的雜訊抑制方法，利用一數位影像中的一目標像素之鄰近區域，對該目標像素進行去雜訊處理，該雜訊抑制方法包括以下步驟：利用一特徵加權處理程序將該數位影像中的每一原始像素轉換為一特徵加權像素，以產生一特徵加權影像；根據該目標像素在該數位影像中的位置，在該特徵加權影像中的相對應位置選取該特徵加權像素作為一基準像素，其中該目標像素係為該數位影像的所有該原始像素中之任一；進行一相似度計算程序產生該基準像素相對於該基準像素外之其他該特徵加權像素進行相似度計算；根據該基準像素對其他該特徵加權像素的一相似度從其他該特徵加權像素中選出一補償用特徵加權像素；以及進行一像素補償程序，根據該補償用特徵加權像素所在的該原始像素依相對應之該相似度對該目標像素的一影像特徵進行補償。
2. 如請求項1所述之對數位影像的雜訊抑制方法，其中輸出該特徵加權影像之步驟包括：於該數位影像中設定一選取區域；利用該選取區域中的一中間像素與該選取區域中的每一周遭像素進行該特徵加權處理程序，以產生對應該中間像素的 該特徵加權像素，其中該中間像素係為位於該選取區域的中間的該原始像素，而該周遭像素係為該選取區域中位於該中間像素周遭之該原始像素；以及反覆執行設定該選取區域的步驟及產生對應該中間像素的該特徵加權像素的步驟直至該數位影像中的每一該原始像素轉換為該特徵加權像素。
3. 如請求項2所述之對數位影像的雜訊抑制方法，其中該選取區域係為一a×b像素陣列，且a與b分別為大於或等於1之正整數。
4. 如請求項1所述之對數位影像的雜訊抑制方法，其中該相似度計算程序係根據式1和式2進行，且該像素補償程序係根據式3和式4進行，其中i代表該目標像素，j代表對應該基準像素周圍之該特徵加權像素的該原始像素，Diff(i,j)係為該基準像素相對於其他該特徵加權像素的差異度，PixelValue(Neighbor_i )係為該i的像素特徵加權值，PixelValue(Neighbor_j )係為該j的像素特徵加權值，w(i,j)係為該基準像素相對於其他該特徵加權像素的該相似度，f()係為該差異度對該相似度的轉換函式，PixelWeightValue(i)為該i執行該像素補償程序後的像素值，PixelValue(j)為該j的像素值，R表示該數位影像的尺寸，R係為M×N，M與N分別為大於或等於1的正整數，i係為1-M×N之中任一正整數，j則是於1-M×N中i以外之任一正整數；Diff(i ,j )=║PixelValue (Neighbor _i )-PixelValue (Neighbor _j )║...................式1w (i ,j )=f (Diff(i,j))................................................................式2
5. 如請求項1所述之對數位影像的雜訊抑制方法，其中該影像特徵係為一像素顏色、一色彩空間、一紋理或一亮度。