TWI475512B - 動態範圍影像的雜訊處理方法及其影像擷取裝置 - Google Patents

Description

動態範圍影像的雜訊處理方法及其影像擷取裝置

本發明是有關於一種影像處理技術，且特別是有關於一種動態範圍影像的雜訊處理方法。

高動態範圍影像(High Dynamic Range Images,HDRI)是用來實現比傳統數位影像更大曝光動態範圍(即更大的亮暗差別)的一種影像技術。由於人類可見的自然界亮度範圍相當廣，因此高動態範圍影像是為了能準確地表示真實世界中太陽光直射到最暗的陰影的大範圍亮度值分佈。

一般數位相機所拍攝的是一瞬間光線的進光量，所以呈現的是很有限的亮度範圍，意即屬於低動態範圍影像(Low Dynamic Range Image,LDRI)。為了彌補數位相機的限制，漸漸的發展出透過影像處理軟體來對多張低動態範圍影像進行合成，藉以產生精準的高動態範圍影像。

然而，上述合成方法必須考慮各種拍攝過程中會遇到的問題，也就是說進行合成的多張影像會因曝光時間的不同、或者拍攝場景中具有移動的物體等等，導致合成後的高動態範圍影像具有雜訊不連續的問題。習知針對單一影像消除雜訊的方法通常是根據影像亮度來決定如何消除雜訊，因為單一影像中各區域的曝光時間一致，雜訊分佈跟亮度具有正向關係。然而，合成後的高動態範圍影像中的各區塊係來自多張不同的低動態範圍影像，因曝光時間不同，將無法直接依據高動態範圍影像的亮度分佈來進行降躁處理。

有鑑於此，本發明提供一種動態範圍影像的雜訊處理方法，可用以降低由多張影像所合成的高動態範圍影像的雜訊，提升影像品質。

本發明提供一種影像擷取裝置，可直接將擷取的多張影像進行混合以產生高動態範圍影像，並且可輸出降噪後的高動態範圍影像。

本發明提出一種動態範圍影像的雜訊處理方法，其包括下列步驟。先擷取第一影像與第二影像，其中第一影像之曝光時間低於第二影像之曝光時間。接著，混合第一影像與第二影像以產生動態範圍影像，並將用以混合的多數個權重設定值記錄為權重地圖(Weighting map)。然後，對動態範圍影像進行色調重建(Tone reproduction)處理以產生色調重建影像，並將動態範圍影像對應至色調重建影像的多數個增益調整值記錄為增益地圖(Gain map)。並且依據權重地圖與增益地圖分別設定色調重建影像的每一像素的降噪參數，並依據降噪參數對色調重建影像進行降噪(Denoise)處理，藉以產生降噪後的動態範圍影像。

在本發明之一實施例中，上述混合第一影像與第二影像以產生動態範圍影像的步驟包括將第一影像的每一像素與相對應的第二影像的每一像素進行相減，以產生多數個像素差值。分別判斷像素差值是否大於門檻值，並依據判斷結果調整各個像素用以混合的權重設定值。

在本發明之一實施例中，上述判斷像素差值是否大於門檻值的步驟包括先藉由查詢表(lookup table)查詢對應的門檻值，再判斷像素差值是否大於此門檻值。

在本發明之一實施例中，上述依據判斷結果調整各個像素用以混合的權重設定值的步驟包括：若像素差值大於門檻值，則將第一影像中對應像素的權重設定值設定為1；以及若像素差值不大於門檻值，則利用像素差值在查詢表中查詢第一影像中對應像素的權重設定值。

在本發明之一實施例中，上述依據權重地圖與增益地圖分別設定色調重建影像的各個像素的降噪參數的步驟包括：若權重地圖顯示第一影像之像素的權重設定值較高且增益地圖顯示此像素的增益調整值較高，則對應提高此像素的降噪參數之設定值。

本發明另提供一種影像擷取裝置，其包括擷取模組、混合模組、色調重建模組以及雜訊消除模組。其中，擷取模組依據第一曝光時間擷取第一影像，依據第二曝光時間擷取第二影像，其中第一曝光時間低於第二曝光時間。耦接至擷取模組的混合模組混合第一影像與第二影像以產生動態範圍影像，並且混合模組將用以混合的多數個權重設定值記錄為權重地圖。耦接至混合模組的色調重建模組接收動態範圍影像，色調重建模組將動態範圍影像進行色調重建處理以產生色調重建影像，並將動態範圍影像對應至色調重建影像的多數個增益調整值記錄為增益地圖。雜訊消除模組耦接至混合模組與色調重建模組，分別接收權重地圖、增益地圖及色調重建影像。雜訊消除模組依據權重地圖與增益地圖分別設定色調重建影像的每一像素的降噪參數，並依據降噪參數對色調重建影像進行降噪處理，藉以產生降噪後的動態範圍影像。

在本發明之一實施例中，上述之混合模組將第一影像的每一像素與相對應的第二影像的每一像素進行相減，以產生多數個像素差值，並且分別判斷像素差值是否大於門檻值，混合模組依據判斷結果調整各個像素用以混合的權重設定值。

在本發明之一實施例中，上述之影像擷取裝置更包括耦接至混合模組的儲存模組，混合模組先藉由查詢儲存模組所儲存的查詢表以取得門檻值，接著再判斷像素差值是否大於此門檻值。

在本發明之一實施例中，上述之混合模組判斷該些像素差值大於該門檻值，則將該第一影像中對應像素的權重設定值設定為1，該混合模組判斷該些像素差值不大於該門檻值，則該混合模組利用像素差值在查詢表中查詢第一影像中對應像素的權重設定值。

在本發明之一實施例中，上述之雜訊消除模組依據權重地圖判斷出第一影像之像素的權重設定值較高，且依據增益地圖判斷出像素的增益調整值較高，雜訊消除模組對應增加此像素的降噪參數之設定值。

基於上述，本發明所提供之動態範圍影像的雜訊處理方法及使用此方法的影像擷取裝置，可將多張低動態範圍影像合成出高動態範圍影像，並且參考權重設定值以及增益設定值來決定雜訊消除的強度，可有效解決高動態範圍影像雜訊不連續的問題，提升高動態範圍影像的品質。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明針對高動態範圍影像(High Dynamic Range Image,HDRI)提出一種有效降低雜訊的方法。本發明先將多張低動態範圍影像進行混合以產生高動態範圍影像，藉由同時參考在混合過程中所使用的權重設定值以及高動態範圍影像進行色調重建的增益設定值，來設定雜訊消除的強度，可有效降低高動態範圍影像的雜訊。為了使本發明之內容更為明瞭，以下列舉實施例作為本發明確實能夠據以實施的範例。

圖1是依照本發明一實施例所繪示之影像擷取裝置的方塊圖。請參照圖1，本實施例的影像擷取裝置100例如是具有合成高動態範圍影像功能的數位相機、單眼相機、或智慧型手機等等。影像擷取裝置100包括擷取模組110、混合模組120、色調重建模組130以及雜訊消除模組140。其功能分述如下：

擷取模組110包括鏡頭、感光元件以及光圈等等。擷取模組110可藉由控制曝光時間而擷取不同亮暗程度以及不同雜訊程度的多張影像。

混合模組120耦接至擷取模組110，混合模組120可用以接收擷取模組110所拍攝的多張影像並且將其進行混合。此外，混合模組120會將用以混合的權重設定值記錄為權重地圖(Gain map)。

色調重建模組130耦接至混合模組120，用以接收混合模組120所產生的動態範圍影像，色調重建模組130對動態範圍影像進行色調重建(Tone reproduction)處理以產生色調重建影像。色調重建模組130並將動態範圍影像對應至色調重建影像的多數個增益調整值記錄為增益地圖(Gain map)。

雜訊消除模組140耦接至色調重建模組130，可依據降噪參數的強度對色調重建影像進行不同程度的降噪(Denoise)處理，以產生降噪後的動態範圍影像。

上述之混合模組120、色調重建模組130以及雜訊消除模組140可由軟體、硬體或其組合實作而得，在此不加以限制。軟體例如是原始碼、作業系統、應用軟體或驅動程式等。硬體例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)。

圖2是依照本發明一實施例所繪示之一種動態範圍影像的雜訊處理方法流程圖。本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各模組說明本實施例的詳細步驟：

請同時參照圖1與圖2，首先，如步驟S210所示，擷取模組110依據第一曝光時間擷取第一影像Img1，並依據第二曝光時間擷取第二影像Img2，其中第一曝光時間低於第二曝光時間。圖3(a)與圖3(b)是依照本發明一實施例所繪示之依據不同曝光時間所拍攝之影像示意圖。如圖3(a)所示，第一影像Img1因為曝光時間較短，因此整張影像呈現的亮度較暗，雜訊較多。第一影像Img1中僅能呈現例如窗戶外部之影像細節，然而室內場景因曝光不足而無法呈現細節資訊。再如圖3(b)所示，第二影像Img2因為曝光時間較長，因此整張影像呈現的亮度較亮。長曝光的優點是能呈現室內場景之細節資訊(例如門、天花板等等)，然而，窗戶外部之影像細節卻因過度曝光呈現一片模糊的情況。需說明的是，圖3(a)所示之區塊31中實際上有人影存在，但因第一影像Img1過暗而無法清楚呈現；圖3(b)所示之區塊32中明顯看出並沒有人影存在，其係因人已移動並離開影像擷取裝置100的拍攝場景內。

接著，便如步驟S220所述，混合模組120混合第一影像Img1與第二影像Img2以產生動態範圍影像，並將用以混合的多數個權重設定值記錄為權重地圖(Weighting map)。其中，權重地圖係用以儲存每一像素進行混合所使用的第一影像Img1與第二影像Img2之比例，因此權重地圖例如是一列表或其他可用以表達上述資訊之資料結構或圖表等，在此不加以限制。

在一實施例中，混合模組120混合第一影像Img1與第二影像Img2的步驟包括先將第一影像Img1的每一像素與相對應的第二影像Img2的每一像素進行相減，以產生多數個像素差值。接著，混合模組120分別判斷像素差值是否大於門檻值，並依據判斷結果調整各個像素用以混合的權重設定值。其中，混合模組120可透過查詢表(lookup table)查詢對應的門檻值，查詢表可事先由耦接至混合模組120的儲存模組(未繪示)進行儲存。在此需說明的是，門檻值的設定係與第一影像Img1的影像亮暗程度有關。舉例來說，若第一影像Img1愈亮，則門檻值愈高。

若第一影像Img1與第二影像Img2相減的像素差值大於門檻值，則代表影像變化過大，因此混合模組120直接將第一影像Img1中對應像素的權重設定值設定為1。以圖3為例，圖3(a)所示之區塊31中有人影存在與圖3(b)所示之區塊32並無人影存在即為影像變化過大之一例。反之，若第一影像Img1與第二影像Img2相減的像素差值不大於門檻值，則代表影像變化較小，因此混合模組120可直接利用第一影像Img1與第二影像Img2的像素差值在查詢表中查詢第一影像Img1對應像素的權重設定值。

舉例來說，混合模組120可利用下列程式碼來決定第一影像Img1與第二影像Img2中其中之一像素的權重設定值：

Diff=|P1-P2|

If Diff>THD

W1=1;

Else

W1=LUT(Diff);

P=W1*P1+(1-W1)*P2.

其中，P1為第一影像像素，P2為第二影像像素，THD為門檻值，W1為第一影像像素的權重設定值，P為混合後的動態範圍影像像素，LUT()為查表函式。

在此實施例中，像素差值Diff為第一影像像素P1與第二影像像素P2相減之後取絕對值的結果。若像素差值Diff大於門檻值THD，則直接將第一影像像素的權重設定值W1設定為1；換句話說，第二影像像素的權重設定值(W2=1-W1)設定為0。若像素差值Diff不大於門檻值THD，則直接利用像素差值Diff進行查表，以獲得第一影像像素的權重設定值W1。在獲得第一影像像素P1與第二影像像素P2分別對應的權重設定值W1、W2之後，混合模組120便可對第一影像像素P1與第二影像像素P2進行混合以產生對應的動態範圍影像像素P。

混合模組120在依據上述方法決定每一像素採用第一影像Img1與第二影像Img2之權重設定值比例的同時，亦將每一像素的權重設定值(即，W1、W2)記錄為權重地圖WM。混合模組120並將權重地圖WM傳送給雜訊消除模組140。

接下來，在步驟S230中，色調重建模組130接收混合模組120所產生的動態範圍影像，色調重建模組130將動態範圍影像進行色調重建(Tone reproduction)處理以產生色調重建影像，並將動態範圍影像對應至色調重建影像的多數個增益調整值記錄為增益地圖GM，並將增益地圖GM傳送給雜訊消除模組140。其中，增益地圖GM例如是一列表或其他可用以表達每一像素的增益調整值資訊之資料結構或圖表等，在此不加以限制。

最後，在步驟S240中，雜訊消除模組140接收色調重建影像、權重地圖WM以及增益地圖GM。雜訊消除模組140同時參考權重地圖WM以及增益地圖GM來分別設定色調重建影像的每一像素的降噪參數，並依據降噪參數對色調重建影像進行降噪(Denoise)處理，藉以輸出降噪後的動態範圍影像Img3。

詳細地說，由於混合模組120藉由像素差值的變化判斷出第一影像Img1與第二影像Img2中有移動物體的變化時，則屬於移動部份像素(如圖3(a)所示之區塊31內的像素)的權重組合採用第一影像Img1之比例較高。換句話說，移動部份採用短曝光資訊較多也使得雜訊較大。本發明之雜訊消除模組140藉由權重地圖WM來判斷每一像素的權重組合。若像素的權重組合係來自第一影像Img1較多(即，短曝光資訊較多)，則雜訊消除模組140對應提高此像素的降噪參數之設定值(即，加強雜訊消除程度)，以降低雜訊的影響。

另一方面，由於色調重建模組130對動態範圍影像進行色調重建處理時，會將動態範圍影像中的暗部資訊放大，使得暗部細節較為清楚可見，然而此過程亦會導致雜訊被放大，有可能比混合前的第一影像Img1或第二影像Img2之雜訊更大。因此，本發明藉由雜訊消除模組140來依據增益地圖GM觀察像素的增益調整值，若像素的增益調整值較高，則雜訊消除模組140對應提高此像素的降噪參數之設定值，以降低雜訊的影響。

本發明之雜訊消除模組140可同時依據權重地圖WM以及增益地圖GM兩者來對應調整像素的降噪參數之設定值，而可對色調重建影像的每一像素或區塊適應性地調整雜訊消除強度，如此可避免降噪參數太低使得雜訊保留太多或是降噪參數太高導致無法保留影像細節。

綜上所述，本發明利用多張低動態範圍影像合成高動態範圍影像時，會根據影像合成的特性來調整降噪參數之設定值，同時參考權重設定值以及增益設定值來動態調整雜訊消除的強度，如此可有效降低高動態範圍影像的雜訊，提升高動態範圍影像的品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．影像擷取裝置

110．．．擷取模組

120．．．混合模組

130．．．色調重建模組

140．．．雜訊消除模組

31、32．．．區塊

Img1．．．第一影像

Img2．．．第二影像

Img3．．．降噪後的動態範圍影像

WM．．．權重地圖

GM．．．增益地圖

S210~S240．．．動態範圍影像的雜訊處理方法之各步驟

圖1是依照本發明一實施例所繪示之影像擷取裝置的方塊圖。

圖2是依照本發明一實施例所繪示之一種動態範圍影像的雜訊處理方法流程圖。

圖3(a)與圖3(b)是依照本發明一實施例所繪示之依據不同曝光時間所拍攝之影像示意圖。

S210~S240．．．動態範圍影像的雜訊處理方法之各步驟

Claims (10)

1. 一種動態範圍影像的雜訊處理方法，包括：擷取一第一影像與一第二影像，其中該第一影像之曝光時間低於該第二影像之曝光時間；混合該第一影像與該第二影像以產生一動態範圍影像，並將用以混合的多數個權重設定值記錄為一權重地圖；對該動態範圍影像進行色調重建處理以產生一色調重建影像，並將該動態範圍影像對應至該色調重建影像的多數個增益調整值記錄為一增益地圖；以及依據該權重地圖與該增益地圖分別設定該色調重建影像的每一像素的一降噪參數，並依據該些降噪參數對該色調重建影像進行降噪處理，藉以產生一降噪後的動態範圍影像。
2. 如申請專利範圍第1項所述之動態範圍影像的雜訊處理方法，其中混合該第一影像與該第二影像以產生該動態範圍影像的步驟包括：將該第一影像的每一像素與相對應的該第二影像的每一像素進行相減，以產生多數個像素差值；以及分別判斷該些像素差值是否大於一門檻值，並依據判斷結果調整各該像素用以混合的該些權重設定值。
3. 如申請專利範圍第2項所述之動態範圍影像的雜訊處理方法，其中判斷該些像素差值是否大於該門檻值的步驟包括：先藉由一查詢表查詢該門檻值，再判斷該些像素差值是否大於該門檻值。
4. 如申請專利範圍第3項所述之動態範圍影像的雜訊處理方法，其中依據判斷結果調整各該像素用以混合的該些權重設定值的步驟包括：若該些像素差值大於該門檻值，將該第一影像中對應像素的該些權重設定值設定為1；以及若該些像素差值不大於該門檻值，利用該些像素差值在該查詢表中查詢該第一影像中對應像素的該些權重設定值。
5. 如申請專利範圍第1項所述之動態範圍影像的雜訊處理方法，其中依據該權重地圖與該增益地圖分別設定該色調重建影像的各該像素的該降噪參數的步驟包括：若該權重地圖顯示該第一影像之該像素的該權重設定值較高且該增益地圖顯示該像素的該增益調整值較高，提高該降噪參數之設定值。
6. 一種影像擷取裝置，包括：一擷取模組，依據一第一曝光時間擷取一第一影像，依據一第二曝光時間擷取一第二影像，其中該第一曝光時間低於該第二曝光時間；一混合模組，耦接至該擷取模組，混合該第一影像與該第二影像以產生一動態範圍影像，並將用以混合的多數個權重設定值記錄為一權重地圖；一色調重建模組，耦接至該混合模組，接收該動態範圍影像，該色調重建模組將該動態範圍影像進行色調重建處理以產生一色調重建影像，並將該動態範圍影像對應至該色調重建影像的多數個增益調整值記錄為一增益地圖；以及一雜訊消除模組，耦接至該混合模組與該色調重建模組，分別接收該權重地圖、該增益地圖及該色調重建影像，該雜訊消除模組依據該權重地圖與該增益地圖分別設定該色調重建影像的每一像素的一降噪參數，並依據該些降噪參數對該色調重建影像進行降噪處理，藉以產生一降噪後的動態範圍影像。
7. 如申請專利範圍第6項所述之影像擷取裝置，其中：該混合模組將該第一影像的每一像素與相對應的該第二影像的每一像素進行相減，以產生多數個像素差值，並且分別判斷該些像素差值是否大於一門檻值，並依據判斷結果調整各該像素用以混合的該些權重設定值。
8. 如申請專利範圍第7項所述之影像擷取裝置，更包括：一儲存模組，耦接至該混合模組，用以儲存一查詢表，該混合模組先藉由查詢該儲存模組所儲存的該查詢表以取得該門檻值，再判斷該些像素差值是否大於該門檻值。
9. 如申請專利範圍第8項所述之影像擷取裝置，其中：該混合模組判斷該些像素差值大於該門檻值，則將該第一影像中對應像素的該些權重設定值設定為1，該混合模組判斷該些像素差值不大於該門檻值，則該混合模組利用該些像素差值在該查詢表中查詢該第一影像中對應像素的該些權重設定值。
10. 如申請專利範圍第6項所述之影像擷取裝置，其中：該雜訊消除模組依據該權重地圖判斷該第一影像之該像素的該權重設定值較高，且依據該增益地圖判斷該像素的該增益調整值較高，該雜訊消除模組對應增加該像素的該降噪參數之設定值。