TWI422217B - 於數位影像中減低與位置相關之雜訊 - Google Patents

Description

於數位影像中減低與位置相關之雜訊

本發明通常係關於數位影像系統，更具體地言之，係關於數位影像中減低與場位置相關的雜訊。

在相機中，影像形成在一放置膠捲或影像感測器的焦平面上，其可能係鄰近相機光軸的函數而模糊不清。距光軸(通常是影像的中心)越遠的影像部分，被模糊的部分可能會越多。問題隨著影像來源於廉價照相機而擴大，諸如單次使用式相機。由於它們的簡單光學器件或因為膠捲可能沒有位於整個焦平面的最佳聚焦位置，單次使用式相機趨向於隨著自光軸至相機影像框架之移動而具有明顯的銳度損失。

影像處理技術已經被設計來校正數位影像中與場位置相關的模糊。共同受讓之Kelly等人的美國專利第6,628,329號，題名為"校正數位影像中與位置相關的模糊"例如，教導模糊校正演算法的修正強度(如，銳化濾波)為場內位置的函數，並以引用的方式併入本文中。上述技術趨向於實質上改善感知影像品質。雖然如此，數位影像中上述技術的應用也可能增加該影像的雜訊。代表性地，應用的模糊校正的數值越大，產生的雜訊數值越大。因此，與場位置相關之模糊校正演算法的應用可能增加雜訊，在某種程度上該雜訊也與場位置相關。

幾種雜訊減低演算法如斑點濾波、均值濾波、中值濾 波、局部區域濾波、及西格瑪(sigma)濾波已經被發展，用於減低數位影像中的雜訊。例如，在典型的西格瑪濾波演算法中，正被過濾的像素信號值被一值取代，該值係由鄰近像素的平均信號值決定，該鄰近像素具有的值位於信號值的固定標準差範圍內，該信號值屬於正被過濾的像素。這種類型的過濾是基於這樣的假設：假設雜訊出現在一數位影像中，具有高斯分佈，以便在標準差範圍內有效的雜訊抑制是可能的。如果在鄰近像素與過濾的像素之間的信號值上存在一較大的差別，則存在一高的可能性，即這個差異不是雜訊的結果，而是數位影像的其它內容取代的結果。因此，此鄰近像素的信號值不應該被包含在平均值內。

然而，上述傳統的雜訊減低演算法沒有被最優化來校正雜訊強度，該雜訊強度與場位置有關。結果，在具有雜訊強度的數位影像中，需要一有效的校正雜訊的方法，該雜訊強度與場位置的函數成比例。

本發明的具體實施例解決上述需要，其提供方法和裝置用於減低數位影像中與場位置有關的雜訊。

依照本發明的一個態樣，數位影像中的雜訊被減低，該影像是由成像裝置產生的，其係利用詳細說明雜訊位準為該數位影像之場位置的一函數的資訊。當雜訊減低演算法的一個或多個參數變化時，在該數位影像中應用該雜訊減低演算法。一個或多個參數為該數位影像之場位置的一函 數，該數位影像係基於該獲得的雜訊位準，該雜訊位準為場位置的一函數。

在一例證性的具體實施例中，一影像系統包含一數位相機及一般用途的電腦。藉由數位相機產生的數位影像包含雜訊，該雜訊隨場位置而變化。利用電腦將一改進的西格瑪濾波演算法應用於數位影像。該改進的西格瑪濾波演算法的濾波範圍被改變用於數位影像中的每一個場位置，該數位影像基於各自場位置的一預定的雜訊位準。因此，改進的西格瑪濾波演算法適應於響應局部的雜訊位準。數位影像中的雜訊被充分地減低並以這種方式得以空間均勻化。

本發明的此等及其他特徵及優點從以下的詳細說明中將顯現，該詳細說明將被閱讀並結合附圖。

本發明將被描述，引用例證性的具體實施例。應瞭解許多變體可能被製作於此等具體實施例且結果仍將在本發明的範圍內。關於本文所描述的特殊的具體實施例並無限制之意或應被推斷為無限制。

圖1顯示了例證性的數位影像系統100的方塊圖，其中本發明的各態樣可能被執行。這個特殊的數位影像系統包含一數位相機110及一電腦120。然而，大量的其它配置被設想且在本發明的範圍內。除數位相機之外，例如，影像系統可能包含一膠捲相機，其具有一運轉的光學掃描儀以便將膠捲上形成的影像轉換成數位資料。可替代的，影像系 統可能包含一攝影機而非靜置式相機，或者攝影機可捕捉靜態影像及錄影。該數位相機可與其它裝置結合，如行動電話、個人數位助理(PDA)或無線電子郵件裝置。

圖2和3進一步顯示了詳細的數位相機110和電腦120，分別地。數位相機包含一影像感測器210，該感測器包含一二維的感光點陣列，其相當於影像的圖元(像素)。例如，該影像感測器可能包含一電荷耦合裝置(CCD)或一互補型金屬氧化物半導體(CMOS)成像器。影像感測器的像素較佳地藉由一傳統的拜爾(Bayer)模式彩色濾鏡覆蓋，以便形成一紅－藍－綠(RGB)彩色濾鏡陣列(CFA)。在微處理器220的控制下，一影像被捕獲，該處理器引起快門230開啟且目標240的影像藉由鏡頭250應用於影像感測器。當影像感測器被暴露在成像光時，類比鏡像電荷被產生在各自的像素。快門關閉後，藉由影像感測器產生的電荷資訊被傳輸給類比信號處理器260。類比信號處理器將接收的電荷資訊轉換為類比影像信號，相應影像感測器中的各自像素。來自類比信號處理器的類比影像信號再被發送給類比－數位(A/D)轉換器270，該轉換器產生一數位信號值用於來自類比輸入信號的每一個像素。例如，具有10－位元數位化，每一個像素被賦予一個信號值，該值介於0及1,023之間。捕獲的數位影像信號被儲存在相機記憶體280。

電腦120包含一處理器310、一電腦記憶體320及輸入/輸出(I/O)裝置330。例如，電腦可能是一般用途的電腦如個人電腦，來自通常被稱為的"IBM個人電腦相容"類的電 腦。另一實施例，電腦可能是特殊用途的電腦裝置。

一旦數位影像被儲存於相機記憶體280，它可能被傳遞給電腦記憶體320，利用直接的或無線連接，或者，可替代的，通過使用習知記憶卡，該記憶卡將被熟悉此項技術者熟悉。一旦被儲存在電腦記憶體，電腦120可以顯示、修改、列印或傳輸該儲存的數位影像，這些功能取決於終端用戶的要求。

為了說明本發明例證態樣，將假設一給定的數位影像係藉由數位相機110產生並被儲存在電腦記憶體320中，該數位影像包含一隨場位置之函數而變之雜訊位準。更具體地說，將假設數位影像400表現為圖4A所圖解的。在這特別的例子中，雜訊位準隨著其遠離數位影像的中心而增加，藉由朝著影像框架的邊緣方向增加的圓點密度而顯示。雜訊作為場位置的一個函數，在圖4B中以圖形的方式顯示。

有利地，能夠執行本發明的態樣不依賴於精確的與場有關的雜訊源，只要雜訊位準作為場位置的函數被特徵化。數位影像400中的雜訊可能是各種不同機制的結果。例如，它可能部分的是由於數位相機110中有缺陷的或非最佳的電子元件導致的。該雜訊也可能或是由於校正演算法在數位影像中的應用引起的，如上述引用的美國專利案號6,628,329所描述的與場位置有關的模糊校正演算法的類型。

數位相機110的製造商將較佳地表徵雜訊位準作為場位置的函數，用於藉由數位相機產生的影像。如果雜訊主要 是由於數位相機中的元件產生，雜訊位準作為場位置的函數可以被獲得，藉由製造商通過產生及分析測試目標的數位影像，採用傳統的雜訊分析技術，該技術將被熟悉此項技術者所熟悉。另一方面，如果該雜訊主要是一函數，應用於數位影像中與場位置有關的模糊校正演算法，那麼在影像中一給定場位置的雜訊將基本上與增益係數成比例，該增益係數被應用於模糊校正演算法在那一場位置上。此增益係數在上述引用的美國專利案號6,628,329中被詳細的描述。

一旦確定，製造商然後可能儲存此雜訊輪廓(雜訊位準作為場位置的函數)用於數位相機110中，例如，相機記憶體280或在一磁的或光學資訊儲存媒介中，其被包含於數位相機中，且可能被電腦120讀取。

該雜訊輪廓被製成後適用於電腦120，依據本發明的態樣，一雜訊減低演算法可能被應用於數位影像400作為電腦影像改進功能的部分。圖5顯示了例證性方法的程序方塊圖，該方法用於將一與場位置有關的雜訊減低演算法應用於數位影像。在此特殊的例證性的具體實施例中，雜訊減低演算法是一改進的西格瑪濾波演算法，但是本發明不限於此特殊類型的雜訊濾波。該雜訊減低演算法影響像素資料，其組成來自數位相機110的CFA的數位影像。如上所述，該CFA包含影像感測器210具有一拜爾型(Bayer)濾波器。因此，每一個像素被過濾而僅記錄三種顏色其中之一：25%的像素被過濾來偵測紅色光，25%的像素被過濾 來偵測藍色光，及50%的像素被過濾來偵測綠色光。

圖5中步驟510－560描述的步驟涉及到改進的西格瑪濾波演算法的應用，藉由電腦120應用於數位影像400。如上所述，正被過濾的像素的信號值在傳統的西格瑪濾波演算法中被一信號值取代，該信號值是由鄰近像素的平均信號值確定的，該鄰近的像素具有的信號值在正被過濾的像素信號值的標準差範圍內。改進的西格瑪濾波演算法也使用上述的標準差。標準差範圍較佳地由製造商確定用於成像裝置使用一組色靶。該色靶可能包含若干斑點生成的色域具有變化的亮度、色調及飽和度。製造商描述此等色標然後測試合成的影像，以便確定像素信號值的統計分佈用於一特殊的色靶。由此資料，標準差與信號值之間的關係被確定。如圖6中較低的資料集顯示了這一關係，用於數位相機110。像雜訊輪廓資料，此資料可能被儲存於數位相機本身或通過其它裝置提供給電腦。

改進的西格瑪濾波演算法也使用濾波範圍來確定當平均信號值時哪些像素接近正被過濾的像素被包含。然而，與傳統的西格瑪濾波演算法相比，用於改進的西格瑪濾波演算法中的濾波範圍不僅是在正被過濾的像素的信號值之標準差的一個函數，而且也是在正被過濾的影像中一特殊的場位置處之雜訊位準的一個函數。以這種方式，改進的西格瑪濾波演算法變成一個適合與場位置有關的雜訊。

在步驟510中，電腦120內的處理器310定義一濾波窗口 在將被過濾的像素上。圖7顯示了這樣的一濾波窗口700的例子。該濾波窗口包含九行與九列的像素，儘管其它濾波窗口尺寸也可能被利用。將要被過濾的紅色像素710在濾波窗口的中心。只有紅色像素被顯示在濾波窗口中，因為此等像素係將被用於過濾紅色像素的唯一像素。代替性的，如果將被過濾的像素是綠色或藍色，則分別考量只有綠色或藍色像素。

在步驟520中，處理器310確定數位影像400中濾波窗口700的場位置並自儲存的雜訊輪廓獲得此場位置之雜訊位準。上述的雜訊位準在本發明具體實施例的上下文中也被提到作為一"局域"雜訊位準。

在步驟530中，處理器310確定將要應用於濾波窗口700的濾波範圍。為這樣做，處理器首先獲得與上述將被過濾的像素710相等之一信號值之標準差，此係藉由參考對應於圖6中較低的資料集之所儲存資料為之。然後，該處理器針對數位影像400中濾波窗口的特殊場位置，藉由在步驟520中被確定之該雜訊位準來修改這個標準差。

圖6中上部的資料集顯示了濾波範圍作為正被過濾的像素信號值的函數，用於數位影像400中一特殊的場位置。該濾波範圍可能由標準差資料及局域雜訊資料以幾種不同的方式計算。例如，該濾波範圍可能等於：R_x ＝aN_window σ_x ＋bN_window ,其中R_x 是濾波範圍用於一特殊的信號值x，σ_x 是信號值x之標準差，a及b係比例常數，及N _window 係局域雜訊位準在濾 波窗口的場位置。此等變量的值將取決於濾波的理想位準，且適當值對於熟悉此項技術者將是十分明顯的。而且，請注意此公式是例證性的且上述濾波範圍也由一公式確定，該公式包含不同於本文所列的術語。例如，該公式可能包含附加的術語，其包含較高的功率σ_x 及/或N _window 。

在步驟540中，該改進的西格瑪濾波演算法被應用於正被過濾的像素710。濾波窗口700中的那些像素被平均，該等具有一在正被過濾的像素的濾波範圍內之信號值，且用此平均信號值取代正被過濾的像素的信號值。在步驟550中，它確定數位影像400中的最後像素是否已經到達。如果沒有，處理器310進入下一像素且再次應用步驟510－550。如果在步驟550已經到達最後像素則在步驟560中處理器完成影像處理。

圖8顯示了濾波範圍對正被過濾的像素的信號值為數位影像400中不同場位置的函數。與位置B相比，位置A(接近數位影像的邊緣)具有一較高的局域雜訊位準，反過來，與位置C(接近影像的中心)相比，位置B具有一較高的局域雜訊位準。因此，用於位置A及B的濾波範圍被製成基本上高於位置C，其用於任何給定的正被過濾的像素的信號值。此具有的效果是：在濾波窗口700內包含更多的像素，在平均方法中在位置A及B比包含在位置C的多。這是合乎邏輯的，因為與窗口內位置C的像素相比，位於位置A及B的濾波窗口內像素信號值由於雜訊的結果，很可能較大程度地偏離正被過濾的像素。有利地，上述方法基本 上減低了數位影像中的雜訊。而且，上述方法基本上減低了被處理的數位影像將包含一橫過影像場之顯著雜訊梯度的機會。因此，藉由依本發明之態樣之方法，正被過濾的數位影像中可感知的雜訊基本上被減低。

雖然以上描述的方法在圖5中使用一改進的西格瑪濾波演算法，但是本發明不限於此種特殊類型的雜訊減低演算法。相反，本發明適用於任一雜訊減低演算法，其適於響應局域雜訊位準。熟悉此項技術者將認識到此等其它雜訊減低濾波及如何修改使它們符合本發明的態樣。例如，上述雜訊濾波演算法包含：斑點濾波、均值濾波、中值濾波及局部區域濾波。

而且，雖然在上述描述的具體實施例中的與場位置有關的雜訊減低演算法係利用電腦120被應用，但是它可能較佳地被取代讓數位相機110本身應用雜訊減低演算法(如，使用相機微處理器220)作為相機內部影像處理功能的一部分。這樣的配置將允許數位相機產生完全被處理的影像，而不必使用外部影像處理硬體及軟體。例如，該完全被處理的影像接著被直接發送給印表機或顯示裝置。

已經參考例證性的具體實施例描述本發明。然而，應瞭解：一般技術者可能在不脫離本發明的範圍下實現變體及改進。

100‧‧‧數位影像系統

110‧‧‧數位相機

120‧‧‧電腦

210‧‧‧影像感測器

220‧‧‧微處理器

230‧‧‧快門

240‧‧‧目標

250‧‧‧鏡頭

260‧‧‧類比信號處理器

270‧‧‧類比－數位轉換器

280‧‧‧相機記憶體

310‧‧‧處理器

320‧‧‧電腦記憶體

330‧‧‧輸入/輸出裝置

400‧‧‧數位影像

510－560‧‧‧處理步驟

700‧‧‧濾波窗口

710‧‧‧像素過濾

圖1顯示了數位影像系統的方塊圖，在該系統中本發明的態樣可能被提供； 圖2顯示了圖1數位影像系統中的數位相機的方塊圖；圖3顯示了圖1數位影像系統中的電腦的方塊圖；圖4A顯示了藉由圖1數位影像系統產生的數位影像；圖4B顯示了雜訊位準的曲線圖，其係在圖4A數位影像中場位置的函數；圖5顯示了例證性方法的流程圖，該方法用於執行圖1數位影像系統中本發明的各態樣；圖6顯示了一標準差與濾波範圍比較的曲線圖，信號值用於圖4A數位影像；圖7顯示了在圖4A的數位影像中之濾波窗口中紅色像素的圖；及圖8顯示了濾波範圍與信號值比較的曲線圖，其係針對圖4A數位影像中不同的場位置。

(無元件符號說明)

Claims (17)

1. 一種減低一數位影像中雜訊的方法，該數位影像係藉由一成像裝置產生，該數位影像包含複數個像素，每一像素具有一各別像素值，該方法包含：獲得詳細說明一預定雜訊位準作為該數位影像之場位置的一函數的資訊；及基於作為場位置之函數而獲得的雜訊位準，在該數位影像中應用該雜訊減低演算法，同時改變該雜訊減低演算法之一或多個參數作為數位影像中場位置之一函數，其中該在該數位影像中應用該雜訊減低演算法的步驟包含：定義一窗口在一將要被過濾的像素上，該窗口包含該數位影像中該複數個像素的一部分；確定一濾波範圍，該濾波範圍是在該窗口之該場位置處之該預定雜訊位準的一函數確定一平均信號值，該平均信號值是該窗口內此等像素之該等信號值的一平均數，該窗口具有的信號值在將要被過濾的該像素之該等信號值的該濾波範圍內；及用該平均信號值取代將要被過濾的該像素之該信號值。
2. 如請求項1之方法，其中該成像裝置包含一靜態式相機、一攝影機及一光學掃描儀中至少一者。
3. 如請求項1之方法，其中該方法係在該成像裝置中被執行。
4. 如請求項1之方法，其中該方法在一電腦中被執行，該電腦與該成像裝置分離。
5. 如請求項4之方法，其中該電腦包含一通用電腦。
6. 如請求項1之方法，其中該成像裝置包含一拜爾(Bayer)型彩色濾波陣列。
7. 如請求項1之方法，其中該數位影像中的該雜訊至少部分地是由於在該數位影像中應用一模糊校正演算法的結果。
8. 如請求項7之方法，其中該模糊校正演算法的一強度與場位置有關。
9. 如請求項1之方法，其中該濾波範圍進一步是一標準差的一函數，該標準差係一測試色靶的一影像中像素的信號值之標準差。
10. 一種製造之物件，該物件包含一機器可讀入媒體，其包括軟體，其可操作以引起一基於處理器之裝置執行如請求項1中之方法之該等步驟，該基於處理器之裝置包含一處理器及記憶體。
11. 一種用於減低一數位影像中之雜訊的裝置，其中作為場位置的一函數之雜訊位準為已預定的場位置的一函數，該數位影像包含複數個像素，每一像素具有一各別像素值，該裝置包含：一記憶體，該記憶體可操作以儲存詳細說明該確定的雜訊位準的資料，該確定的雜訊位準係作為該數位影像之場位置的一函數；及 一耦合至該記憶體之處理器，該處理器可操作以基於作為場位置之函數而確定之雜訊位準在該數位影像中應用該雜訊減低演算法，同時改變該雜訊減低演算法之一或多個參數作為數位影像中場位置之一函數，其中雜訊減低演算法於該數位影像之應用包含：定義一窗口在一將要被過濾的像素上，該窗口包含該數位影像中該複數個像素的一部分；確定一濾波範圍，該濾波範圍是在該窗口之該場位置處之該預定雜訊位準的一函數確定一平均信號值，該平均信號值是該窗口內此等像素之該等信號值的一平均數，該窗口具有的信號值在將要被過濾的該像素之該等信號值的該濾波範圍內；及用該平均信號值取代將要被過濾的該像素之該信號值。
12. 如請求項11之裝置，其中該裝置被執行在一靜態式相機、攝影機或光學掃描儀中。
13. 如請求項11之裝置，其中該裝置被執行在一通用電腦中。
14. 如請求項11之裝置，其中該濾波範圍進一步是一標準差的一函數，該標準差係一測試色靶的一影像中像素的信號值之標準差。
15. 一種用於減低一數位影像中雜訊的系統，其中作為場位置之一函數的雜訊位準為已預定的，該數位影像包含複數個像素，每一像素具有一各別像素值，該系統包含： 一成像裝置，該成像裝置可操作以捕獲該數位影像；及一電腦，其包含一記憶體及一處理器，該記憶體可操作以儲存詳細說明該確定的雜訊位準的資料，該雜訊位準為該數位影像之場位置的一函數，且該處理器耦合製該記憶體並操作以基於作為場位置之函數而確定之雜訊位準在該數位影像中應用一雜訊減低演算法，同時改變該雜訊減低演算法之一或多個參數作為數位影像中場位置之一函數，其中雜訊減低演算法於該數位影像之應用包含：定義一窗口在一將要被過濾的像素上，該窗口包含該數位影像中該複數個像素的一部分；確定一濾波範圍，該濾波範圍是在該窗口之該場位置處之該預定雜訊位準的一函數確定一平均信號值，該平均信號值是該窗口內此等像素之該等信號值的一平均數，該窗口具有的信號值在將要被過濾的該像素之該等信號值的該濾波範圍內；及用該平均信號值取代將要被過濾的該像素之該信號值。
16. 如請求項15之系統，其中該成像裝置包含一靜態式相機、一攝影機及一光學掃描儀中至少一者。
17. 如請求項15之系統，其中該濾波範圍進一步是一標準差的一函數，該標準差係一測試色靶的一影像中像素的信號值之標準差。