TWI394429B

TWI394429B - 消除圖像雜訊之方法，以及使用該方法之裝置

Info

Publication number: TWI394429B
Application number: TW098125245A
Authority: TW
Inventors: Chan Min Chou; cong qi Peng
Original assignee: Altek Corp
Priority date: 2009-07-27
Filing date: 2009-07-27
Publication date: 2013-04-21
Also published as: US8120678B2; TW201105103A; US20110019034A1

Description

消除圖像雜訊之方法，以及使用該方法之裝置

本發明為一種消除圖像雜訊之方法以及使用該方法之裝置，特別是利用局部畫素的平均值與分配補償的機制作為畫素補償值之基礎，以消除拍攝影像的雜訊。

數位相機是利用鏡頭將擷取的影像投射到感光元件上，如CCD、CMOS，透過感光元件將影像轉換成數位影像訊號，之後再透過電子線路的處理，把數位影像訊號儲存在儲存媒體中。但由於感光元件只能感受到光線的強弱，並不能感受到顏色的變化，在進行影像處理前，通常會在感光元件的前面加上一分色濾色片(color filter)。

包括日後改進的技術，分色濾色片一般是採用紅、綠、藍三原色分色法的概念，除了部份利用三個感光元件分別將所擷取到的三色值混合成全彩影像，一般會使用單一感光元件，利用分色濾色片使每一個畫素只有紅、綠、藍其中一種色彩元素的灰度值，之後再混成全彩影像。但此方法會造成同一畫素一次僅能感應一種顏色，而遺失其他兩個色彩，之後會進行內插法演算重建每一個畫素所遺失的色彩元素。

上述分色濾色片常用一種方形形式的濾波陣列-貝爾圖形(Bayer pattern)，其專利為1976年公告的美國專利第3,971,065號。

具有感光元件的數位相機會因為電路的干擾，或是感光元件本身的瑕疵使所拍攝的影像有雜訊，比如，由於感光元件本身的硬體結構，容易造成行與行之間影像強度有所差異而在影像上產生垂直的固定圖像雜訊，影響影像的品質。故於出廠時，可透過檢測得出日後拍攝照片時應該要補償的數值。

一般作法是拍攝均勻光源或是影像，再利用影像計算各畫素與整張畫素之平均值的差異，將此總合除以每行所包含之像數總數得到每行畫素的補償數值。往後拍照時，依照拍照時綠色頻道(G channel)增益值計算出放大倍率，將補償數值依此倍率放大後從拍照影像上減去，得到減少固定圖像雜訊的影像。

本發明實施例係經由分析感光元件於均勻光源下每行畫素強度之加總，得到行與行之間影像強度之差異，這差異也就是造成整張影像有雜訊的原因之一，差異得出後，再算出每行應再補償上的畫素強度，透過平均地分配每行補償的畫素強度於此行內，達到消除固定圖像雜訊的效果。

實施例為一種消除圖像雜訊之方法以及使用該方法之裝置，其中對感光元件上各畫素補償的強度改在均勻光源下計算，並且應用局部頻道的平均值，使得補償時不需放大補償值。且針對其中補償值小數部份的畫素差異，則以相對應的機率均勻地加到其行內畫素中，適當地補償小數部份的能量。

消除圖像雜訊之方法主要是要解決感光元件上畫素間差異造成的影像雜訊，根據實施例，先拍攝一均勻光源，或均勻的影像，由裝置內感光元件之各行畫素依序記錄感光值，於加總各行同類頻道的畫素感光值後，異於整個感光元件計算平均值的方式，實施例係計算各行各頻道及鄰近局部幾行中同類頻道的感光值平均值，由感光值平均值與各行各頻道總和之差值得出頻道補償值，將此頻道補償值除以每行所包含之畫素總數得出各畫素之補償平均值。

此補償平均值包括第一部份與第二部份，第一部份可為其整數部份，為各畫素主要的補償值，第二部份可為其小數部份，經分配得出部份畫素的次要補償值，將主要補償值加上次要補償值相加後形成各畫素補償值，並記錄於硬體記憶電路中，作為日後拍攝時的補償基礎。

另提出應用以上消除圖像雜訊方法之裝置，裝置如同一數位相機，用於拍攝影像並記錄影像訊號，裝置至少包括有影像擷取單元、影像感測單元與記憶單元，其特徵在於更具有一補償記憶單元，用以記載上述方法所得出的各畫素補償值，用於補償該裝置所拍攝的影像。

在使用數位影像擷取裝置時，由感光元件擷取影像並轉換訊號的過程中，可能會因為電氣傳輸過程，或是感光元件本身的瑕疵產生圖像雜訊，原因是，在感光元件成像的過程中，各行畫素所記載的影像訊號具有一定的訊號頻率，而鄰近各行之間可能因為頻率差異而在相鄰的部份產生雜訊，本發明即提出一種消除雜訊的方法，利用補償值的分配，破壞各行中原有的固定訊號頻率，消除掉因為各行頻率差異產生的雜訊。

請參閱第一圖所示的顯示數位影像拍攝之資料傳輸示意圖，此例中，由相機12擷取影像，其中的感光元件10即接收影像，並轉換為其中各畫素的感光值，此感光元件10中顯示的方格即為各畫素的示意圖，在實際記錄各感光值時，各行101,102,103中畫素依序記錄感光值，並傳輸記錄於記憶體14中，上述雜訊即為各行101,102,103間因為訊號頻率的差異產生的雜訊。

第二圖(a)即為影像出現雜訊的示意圖，圖中顯示由感光元件轉換出的影像訊號出現垂直紋路的雜訊，此即為上述感光元件各行間出現的雜訊。

而本發明消除圖像雜訊之方法即透過補償各畫素間的差異，更透過補償值的分配以消除各頻道間的差異，進而解決相關的雜訊。如第二圖(b)所示的畫面，即為經補償各行各畫素頻道間差異後，能夠順利消除圖像雜訊。

由於感光元件中各畫素僅能感測到影像的亮度(或說光的能量)，並非能感應到色彩，在彩色的數位影像處理中，一個感光元件常應用第三圖所示的貝爾圖(Bayer Pattern)，或其類似的分色濾光片產生彩色的影像，也就是利用分色濾光片將影像分為紅(R)、綠(G)、藍(B)三色，分別由不同且相鄰的畫素接收，之後再利用內插的運算補償，將反應不同亮度的三色混合形成全彩影像。其中，由於考慮人眼視覺對綠色有較強的感應，故用了兩倍的綠色，根據綠色畫素的位置與相鄰的紅色畫素或是藍色畫素，將綠色畫素分為G_R 與G_B 兩種，在本發明中，即利用此分色濾光片將感光元件上的畫素區分為圖中顯示的R、G_R 、G_B 、B四類畫素，感光元件上各行同類的畫素形成一個頻道(Channel)，即包括R頻道、G_R 頻道、G_B 頻道與B頻道。

此例中，第一行由上向下分別為G_R 、B、G_R 、B、G_R ，其中三個G_R 形成此行的一個頻道，兩個B為此行的另一頻道；第二行由上向下分別為R、G_B 、R、G_B 、R，三個R形成一個頻道，兩個G_B 形成另一個頻道，並以此類推。

本發明之較佳實施例係分別解決相鄰同類頻道間(相同顏色畫素)的差異，提出一種消除圖像雜訊之方法。

第四圖與第五圖係分別顯示感光元件中各行同類畫素的感光值變化，其中利用本發明消除圖像雜訊方法對各頻道畫素進行補償。

如第四圖中，各點A、B、C、D、E分別表示相鄰各畫素的感光值，此例上下波動的曲線即表示各畫素間在均勻光源下仍具有差異。

本發明即透過消除圖像雜訊方法產生各頻道、各畫素的補償值，消除或降低各頻道間差異，如圖中顯示的補償曲線40即為畫素補償的目標值。根據各頻道平均值得出各頻道畫素的補償曲線40，此例中，各畫素A、B、C、D、E即透過補償，趨近此補償曲線40，如其中描繪的虛線箭頭。

由第四圖可看出，各畫素間到補償曲線40的差異可能有上下之分，補償時需考慮利用加法與減法的運算或是相關電路，而第五圖則提出可先將補償曲線40位移到補償曲線40’，可透過調整增益值改變此補償曲線40’，讓各畫素的補償過程(如其中虛線箭頭)僅使用到加法，或是減法運算或是相關電路，以簡化電路設計。最後輸出影像訊號時，再透過色調位移，修正回正確的增益。

消除圖像雜訊之方法之實施例可參閱第六圖顯示之方法流程圖。

步驟開始時，如步驟S601，透過影像擷取裝置拍攝一均勻光源，或是一具有均勻色彩的影像，之後由感光元件中複數個畫素記錄感光值(步驟S603)，透過分色濾光片，感光元件中各行的各色畫素(如R、G、B)形成不同頻道，依序由感光元件中各行依各頻道記錄感光值。

接著，如步驟S605，計算各行同類頻道感光值的總和，於一實施例中，請參閱第三圖的貝爾圖，各行中至少具有兩類頻道，可能有R頻道、G_R 頻道、G_B 頻道與B頻道，此步驟即加總各頻道同類畫素的感光值。

於計算各行同類頻道之畫素感光值總和後，由感光元件各行之各頻道之總和，與其鄰近之複數個特定數目之行的同類頻道的總和，計算平均值(步驟S607)，成為各行各頻道的感光值平均值，有別於一般將整個感光元件的各色進行平均的方式，在本發明中，僅計算各行中的一個頻道與其部份相鄰的幾個頻道來計算平均值，舉例來說，某行與其相鄰的四行中的同類頻道計算平均值，根據所拍攝的均勻光源，使相鄰的畫素有相近的影像訊號，以足夠建立補償的基礎。

上述感光值平均值為各頻道補償之目標，如步驟S609，由上述各行之各頻道之感光值平均值得出各行之各頻道補償值，簡單的運算即找出感光值平均值與各行各頻道的總和的差值，即為各頻道之補償值。再如步驟S611，各行之各頻道補償值除以同類頻道的畫素數量，即得出各畫素之補償平均值，也就是補償各畫素的目標值。

於一實施例中，由補償平均值中區分為第一部份(如整數部份)與第二部份(如小數部份)，經整合後得出各畫素補償值(步驟S613)，細節可參考第七圖。之後，將各畫素補償值記錄於一補償記憶單元中(步驟S615)，作為日後拍攝時各畫素感光值的補償參考，以利消除圖像雜訊。

為了要解決前述各頻道間具有的訊號頻率的差異，應用第六圖得出的補償平均值(步驟S611)，於各畫素中加入不同的補償能量，以破壞各行中原有的固定訊號頻率。其中細節可參考第七圖顯示之流程圖。

延續第六圖的步驟S611，步驟S701顯示得出各行各頻道與鄰近行的同類頻道的平均值，之後，再除以各頻道同類畫素數目，得出補償平均值，此即為補償各畫素的目標值。補償平均值可能包括整數部份與小數部份，故將之區分為第一部份(如整數部份)與第二部份(如小數部份)，相對於一般無法適當補償小數部份的能量而影響補償的效果，本發明將補償平均值中的第一部份設定為主要補償值(步驟S703)，用於頻道中所有的畫素的補償，另第二部份則應用於部份的畫素，設定為次要補償值(步驟S705)，經整合(實施例可為相加)主要補償值與次要補償值後，得出各畫素補償值(步驟S707)。

其中特別的是，利用局部畫素的平均值與分配補償的機制作為畫素補償值之基礎，以消除拍攝影像的雜訊。舉例來說，將經過隨機選擇部份同頻道畫素，施以次要補償值，而非全面補償，以利破壞各行中原有的固定訊號頻率；另一實施例中，亦可以將次要補償值用於平均選擇的同頻道畫素。

第八圖為本發明消除圖像雜訊之方法之實施例流程圖，此流程圖則是於得出各畫素補償值後，透過位移處理，能簡化硬體設計。

開始時，如步驟S801，先透過影像擷取裝置拍攝一均勻光源，同類畫素形成一個頻道，拍攝後，感光元件之各行畫素依各行各頻道記錄各畫素感光值(步驟S803)。之後計算各行各頻道的感光值總和，如透過分色濾光片將感光元件上的畫素區分為紅、綠(包括G_R 與G_B )、藍各頻道，各行亦有不同類畫素的頻道，此步驟即計算各行同類頻道的畫素感光值總和(步驟S805)。

接著，由某行同類頻道總和，與鄰近的幾行同類頻道感光值的總和計算各行各頻道的感光值平均值(步驟S807)，本發明實施例主要是僅計算局部相鄰的幾個頻道的平均值，主要是因為鄰近的頻道具有相關性，已能作為之後校正的基礎，且能簡化硬體設計。

上述感光值平均值可為各頻道補償的目標值，再計算該感光值平均值與各行同類頻道總和之差值，得出各行各頻道的頻道補償值(步驟S809)。接著，由此頻道補償值得出各畫素的補償平均值，可將頻道補償值除以各行各頻道之畫素數目，得出各行各頻道中各畫素之補償平均值，此為各頻道各畫素補償之目標值(步驟S811)，此補償平均值通常並非簡單的整數，本發明特別將此補償平均值區分為第一部份與第二部份。

補償平均值之第一部份可作為各畫素補償的主要補償值，實施例可為補償平均值的整數部份，而第二部份則可經分配得出部份畫素的畫素補償值，此為次要補償值。由主要補償值加上部份畫素的次要補償值，即為各畫素之畫素補償值(步驟S813)，其中主要補償值為全部畫素的補償值，而部份畫素將無次要補償值，相加時可設定其次要補償值為0。

舉例來說，將各頻道的補償值(設為23)除以各頻道的畫素數目(設為10)後得出補償平均值，此補償平均值為2.3(23/10)，表示該頻道的的所有畫素感光值皆應加上2.3，但因應硬體設計與計算方便，本發明先處理整數部份2，畫素的主要補償值皆先設定為+2，接著隨機選擇或是平均選擇該頻道中3個畫素，各設定次要補償值為+1，即完成畫素補償值的設定，以10個畫素為例，該頻道各畫素之畫素補償值可為：+2,+3,+2,+2,+3,+2,+2,+3,+2,+2(有三個畫素為+3)

再舉一例，若頻道補償值為-25，則10個畫素的補償平均值則為-2.5，各畫素之畫素補償值則可為：-2,-3,-2,-3,-2,-3,-2,-3,-2,-3(有五個畫素為-3)

由上可看出，同一頻道之補償值仍為23，而各畫素之補償值則為整數值，如此可簡化硬體的設計。

因為各頻道補償值可為正值或負值，在進行整個感光元件畫素的補償時，同時需要執行加法與減法的運算，為求簡化運算程序與硬體設計，本發明更執行一位移程序(步驟S815)，位移各畫素或各頻道之補償的目標值，全數改為加法或減法，以方便計算，可參閱第五圖。

但由於經位移的補償會改變了整個影像的色調，如使用加法會使得影像的亮度提高，減法相對降低亮度，所以補償完後再將影像經過校正相對應的強度，執行感光元件的色調位移，以校正經過步驟S815位移處理後的影像色偏，維持在原本的亮度(步驟S817)。最後，記錄各畫素補償值，比如將此感光元件中各畫素的補償值記錄在影像擷取裝置內的一記憶體中，作為日後拍攝照片時的補償基礎(步驟S819)。

而第九圖則為本發明應用消除圖像雜訊方法之裝置實施例示意圖，其顯示主體為一般影像擷取裝置，至少具有用以擷取影像的影像擷取單元101、感測、轉換為數位訊號的影像感測單元103，並之後儲存訊號的記憶單元105，其他機構或是電路包括拍攝影像經自動曝光109、白平衡111、對焦113與透過驅動單元115控制影像擷取單元101之鏡頭，能得到清晰正確的影像。

特別的是，透過本發明消除圖像雜訊方法得出的感光元件中各畫素的補償值，透過補償程序能消除雜訊，而各畫素的畫素補償是根據每一個影像擷取裝置中的感光元件訂製的，不同的裝置、電路與製程產生的雜訊狀況會不同，故此補償值則會於製造該裝置時記錄於裝置中的補償記憶單元107中，於此裝置日後拍攝照片時，作為補償的參考依據。補償記憶單元107在另一實施例中，可為原記憶單元105之一部分。

第十圖則為應用本發明方法之實驗數據圖。

圖中顯示為紅色頻道(可由貝爾圖將各色分別出來，並各別處理)經本發明補償前與補償後的實驗數據，實驗條件是以均衡光源(燈箱Lv10)拍攝影像分析，影像依照貝爾圖分色。其中橫軸為感光元件的各行(各頻道)，圖中顯示該感光元件有超過1000行；縱軸則是針對一均勻光源拍攝後，對應各頻道的感光值，圖中實線部份顯示紅色頻道補償前，各行像素強度之總合會受到固定圖像雜訊的影響而產生上下震盪的情形。圖中虛線部份(紅色頻道補償後)則顯示實驗結果有效地減低上下震盪的情形，消除固定圖像雜訊。

綜上所述，根據本發明揭露一種消除圖像雜訊之方法，以及使用該方法之裝置，主要是用以解決感光元件上畫素間差異造成的影像雜訊，期間計算各頻道及鄰近頻道的感光值平均值，再得出頻道補償值與各畫素之補償平均值，由補償平均值經分配得出各畫素的畫素補償值，最後記錄各畫素補償值，作為日後拍攝時的補償基礎。

惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。

12．．．相機

10．．．感光元件

14．．．記憶體

101,102,103．．．行

40,40’．．．補償曲線

101．．．影像擷取單元

103．．．影像感測單元

105．．．記憶單元

107．．．補償記憶單元

109．．．曝光

111．．．白平衡

113．．．對焦

115．．．驅動單元

A,B,C,D,E．．．畫素

第一圖顯示數位影像拍攝之資料傳輸示意圖；

第二圖顯示影像出現雜訊與經過補償後之示意圖；

第三圖為貝爾圖(Bayer Pattern)之示意圖；

第四圖為各頻道畫素位置與感光值之關係圖之一；

第五圖為各頻道畫素位置與感光值之關係圖之二；

第六圖為本發明消除圖像雜訊之方法之實施例流程圖之一；

第七圖為本發明消除圖像雜訊之方法之實施例流程圖之二；

第八圖為本發明消除圖像雜訊之方法之實施例流程圖之三；

第九圖為本發明應用消除圖像雜訊方法之裝置實施例示意圖；

第十圖為應用本發明方法之實驗數據圖。

S601‧‧‧拍攝均勻光源

S603‧‧‧依各行各頻道記錄感光值

S605‧‧‧計算各行同類頻道感光值的總和

S607‧‧‧計算各行同類頻道總和與鄰近行同類頻道總和的平均值

S609‧‧‧得出各行同類頻道的補償值

S611‧‧‧得出同類頻道中各畫素的補償平均值

S613‧‧‧得出各畫素補償值

S615‧‧‧記錄

Claims

一種消除圖像雜訊之方法，包括有：拍攝一均勻光源；一感光元件中複數個畫素記錄感光值；依序計算該感光元件各行之各頻道與其鄰近之複數個特定數目之行的同類頻道的感光值平均值；由各行之各頻道之感光值平均值得出各行之各頻道補償值；由各行之各頻道補償值得出各畫素之補償平均值；得出各畫素補償值；以及記錄各畫素補償值。
如申請專利範圍第1項所述之消除圖像雜訊之方法，其中該感光元件中各行之同類頻道係透過一分色濾光片分別出來。
如申請專利範圍第1項所述之消除圖像雜訊之方法，其中計算該感光值平均值前，先計算各行同類畫素之感光值總和，再由各行各頻道之感光值總和計算該感光值平均值。
如申請專利範圍第3項所述之消除圖像雜訊之方法，其中以各行各頻道的總和與該感光值平均值之差值作為各行之頻道補償值。
如申請專利範圍第4項所述之消除圖像雜訊之方法，其中該各行之頻道補償值除以每行同類畫素的頻道的畫素數目，得出各行各畫素的該補償平均值。
如申請專利範圍第5項所述之消除圖像雜訊之方法，其中該各行各畫素之補償平均值具有一第一部份與一第二部份。
如申請專利範圍第6項所述之消除圖像雜訊之方法，其中各畫素之補償平均值之該第一部份為各行中所有同頻道畫素之主要補償值。
如申請專利範圍第6項所述之消除圖像雜訊之方法，其中各畫素之補償平均值之該第二部份為各行中部份同頻道畫素之次要補償值。
如申請專利範圍第8項所述之消除圖像雜訊之方法，其中該具有次要補償值之部份同頻道畫素為隨機選擇之畫素。
如申請專利範圍第8項所述之消除圖像雜訊之方法，其中該具有次要補償值之部份同頻道畫素為平均選擇之各頻道畫素。
如申請專利範圍第6項所述之消除圖像雜訊之方法，其中由該第一部份得出各行中所有同頻道畫素之主要補償值，由該第二部份得出各行中部份同頻道畫素之次要補償值，該主要補償值加上該次要補償值即為各畫素之畫素補償值。
如申請專利範圍第6項所述之消除圖像雜訊之方法，其中該第一部份為整數值，該第二部份為小數值。
如申請專利範圍第1項所述之消除圖像雜訊之方法，其中於得出各畫素補償值後，記錄於一補償記憶單元中，作為日後拍攝照片時各畫素感光值之補償。
一種消除圖像雜訊之方法，包括有：拍攝一均勻光源；一感光元件之各行畫素依序記錄感光值；計算各行各頻道的感光值總和，其中各頻道為R頻道、G_R 頻道、G_B 頻道與B頻道其中之一；計算各行各頻道感光值總和及鄰近頻道的感光值總和的感光值平均值；由計算該感光值平均值與各行各頻道感光值總和之差值，得出各行各頻道的頻道補償值；由該頻道補償值除以各行各頻道之畫素數目，得出各行各頻道中各畫素之補償平均值，該補償平均值具有一第一部份與一第二部份；由該補償平均值之該第一部份與該第二部份分配得出各畫素的畫素補償值；執行一位移程序，係位移各畫素補償的目標值，以方便計算；執行該感光元件的色調位移，係校正經過該位移程序後的影像色偏；以及記錄各畫素補償值，作為日後拍攝時的補償基礎。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中經過該位移程序統一修正該所有的畫素補償值為正值，或為負值。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中該感光元件中各行之R頻道、G_R 頻道、G_B 頻道與B頻道係透過一分色濾光片分別出來。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中各畫素之補償平均值之該第一部份為各行中所有同頻道畫素之主要補償值。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中各畫素之補償平均值之該第二部份為各行中部份同頻道畫素之次要補償值。
如申請專利範圍第18項所述之消除圖像雜訊之方法，其中該具有次要補償值之部份同頻道畫素為隨機選擇之畫素。
如申請專利範圍第18項所述之消除圖像雜訊之方法，其中該具有次要補償值之部份同頻道畫素為平均選擇之各頻道畫素。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中由該第一部份得出各行中所有同頻道畫素之主要補償值，由該第二部份得出各行中部份同頻道畫素之次要補償值，該主要補償值加上該次要補償值即為各畫素之畫素補償值。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中該第一部份為整數值，該第二部份為小數值。
如申請專利範圍第14項所述之消除圖像雜訊之方法，其中於得出各畫素補償值後，記錄於一補償記憶單元中，作為日後拍攝照片時各畫素感光值之補償。
一種使用申請專利範圍第1項所述之消除圖像雜訊方法之裝置，該裝置用於拍攝一影像並記錄該影像訊號，該裝置至少包括有一影像擷取單元、一影像感測單元與一記憶單元，其特徵在於：該裝置包括一補償記憶單元，係記載申請專利範圍第1項所得出的各畫素補償值，用於補償該裝置所拍攝的影像。