TWI734598B

TWI734598B - 影像雨紋去除方法

Info

Publication number: TWI734598B
Application number: TW109129122A
Authority: TW
Inventors: 林智揚
Original assignee: 元智大學
Priority date: 2020-08-26
Filing date: 2020-08-26
Publication date: 2021-07-21
Also published as: TW202209253A

Abstract

一種影像雨紋去除方法，其包括：(1)提供具有雨紋的輸入影像。(2)利用卷積層和線性整流激活函數與輸入影像相乘，取得初階影像。(3)利用卷積神經網路，卷積神經網路根據初步影像取得第一雨紋影像。(4)利用卷積層和線性整流激活函數與輸入影像和第一雨紋影像相乘，取得二階影像。(5)利用卷積神經網路，卷積神經網路根據二階影像取得第二雨紋影像。(6)將第二雨紋影像和輸入影像相減，取得輸出影像。

Description

影像雨紋去除方法

本發明為一種影像雨紋去除方法，且特別是一種利用兩次卷積神經網路去除影像中的雨紋之的影像雨紋去除方法。

隨著科技的進步，各種成像系統快速發展，且被應用於交通監控、居家安全以及軍事系統。然而，由於攝影設備在戶外，其易遭受例如大雨或下雪等不良天氣影響，降低成像系統的影像品質。

Y.Luo、Y.Xu和H.Ji發表於Proc.IEEE Int.Conf.Comput.Vis.,2015,pp.3397-3405之Removing rain from a single image via discriminative sparse coding的論文中，提及利用字典學習演算法(dictionary learning-based algorithm)和稀疏編碼(sparse coding)來使影像中的雨紋去除，雖然其將大部分的雨紋從影像中去除，但仍有些許細微的雨紋存在於去除雨紋後的影像。

綜觀前所述，本發明之發明者思索並設計一種影像雨紋去除方法，以期針對習知技術之缺失加以改善，進而增進產業上之實施利用。

有鑑於上述習知之問題，本發明的目的在於提供一種影像雨紋去除方法，用以解決習知技術中所面臨之問題。

基於上述目的，本發明提供一種影像雨紋去除方法，其包括：(1)提供具有雨紋的輸入影像。(2)利用卷積層和線性整流激活函數與輸入影像相乘，取得初階影像。(3)利用卷積神經網路，卷積神經網路根據初階影像取得第一雨紋影像。(4)利用卷積層和線性整流激活函數與輸入影像和第一雨紋影像相乘，取得二階影像。(5)利用卷積神經網路，卷積神經網路根據二階影像取得第二雨紋影像。(6)將第二雨紋影像和輸入影像相減，取得輸出影像。

較佳地，於取得二階影像後的步驟後，相加初階影像和二階影像。

較佳地，於取得輸出影像後，利用卷積層與輸出影像相乘，將相乘後輸出影像與輸出影像相加，以取得背景影像。

較佳地，卷積神經網路包括複數個殘差密集區塊(residual dense block)、複數個逐次雙加強區塊(sequential dual attention block)和多尺度特徵整合區塊(multi-scale feature aggregation block)。

較佳地，各殘差密集區塊由多個卷積層和線性整流激活函數組成，以提取初階影像和二階影像的雨紋特徵。

較佳地，各逐次雙加強區塊包括頻率加強子區塊和空間加強子區塊，頻率加強子區塊根據雨紋特徵的頻率產生頻率加強矩陣，空間加強子區塊根據雨紋特徵的位置產生空間加強矩陣，頻率加強矩陣和空間加強矩陣加強雨紋特徵。

較佳地，各逐次雙加強區塊進一步包括複數層卷積層。

較佳地，多尺度特徵整合區塊擴大初階影像和二階影像中雨紋特徵的選取範圍。

承上所述，本發明之影像雨紋去除方法，利用雙次卷積神經網路，有效地去除影像中的雨紋。

10:電腦

11:處理器

12:記憶體

20:影像擷取裝置

121:卷積神經網路

A1、A2、A3、m1、m2、m3、m4、IM:矩陣

B:背景影像

C×H×W、1×HW、1×H×W、1×C×HW、C1×H1×W1:尺寸

ca:頻率加強子區塊

conv:卷積層

F:擴張因子

FM:頻率加強矩陣

HL:隱藏層

IL:輸入層

IN:輸入影像

I1:影像

MAM:多尺度特徵整合區塊

OL:輸出層

ReLU:線性整流激活函數

RDB:殘差密集區塊

RI1、RI1’:初步篩選影像

RI2:二次篩選影像

sa:空間加強子區塊

SDAB:逐次雙加強區塊

SM:空間加強矩陣

softmax、sigmoid:函數

S1:第一雨紋影像

S2:第二雨紋影像

S11~S17:步驟

第1圖為影像擷取系統之配置圖。

第2圖為本發明之影像雨紋去除方法的流程圖。

第3圖為本發明之影像雨紋去除方法的示意圖。

第4圖為本發明之殘差密集區塊的示意圖。

第5圖為本發明之逐次雙加強區塊的示意圖。

第6圖為本發明之頻率加強子區塊的示意圖。

第7圖為本發明之空間加強子區塊的示意圖。

第8圖為本發明之多尺度特徵整合區塊的示意圖。

第9圖為本發明之殘差密集區塊的數目分別對結構相似性(SSIM)和峰值訊噪比(PSNR)的數據圖。

第10A圖為本發明之第一態樣的輸入影像圖。

第10B圖為本發明之第一態樣的背景影像圖。

第11A圖為本發明之第二態樣的輸入影像圖。

第11B圖為本發明之第二態樣的背景影像圖。

本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解，且本發明可以不同形式來實現，故不應被理解僅限於此處所陳述的實施例，相反地，對所屬技術領域具有通常知識者而言，所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇，且本發明將僅為所附加的申請專利範圍所定義。

應當理解的是，儘管術語「第一」、「第二」等在本發明中可用於描述各種元件、部件、區域、層及/或部分，但是這些元件、部件、區域、層及/或部分不應受這些術語的限制。這些術語僅用於將一個元件、部件、區域、層及/或部分與另一個元件、部件、區域、層及/或部分區分開。因此，下文討論的「第一元件」、「第一部件」、「第一區域」、「第一層」及/或「第一部分」可以被稱為「第二元件」、「第二部件」、「第二區域」、「第二層」及/或「第二部分」，而不悖離本發明的精神和教示。

另外，術語「包括」及/或「包含」指所述特徵、區域、整體、步驟、操作、元件及/或部件的存在，但不排除一個或多個其他特徵、區域、整體、步驟、操作、元件、部件及/或其組合的存在或添加。

除非另有定義，本發明所使用的所有術語(包括技術和科學術語)具有與本發明所屬技術領域的普通技術人員通常理解的相同含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的定義，並且將不被解釋為理想化或過度正式的意義，除非本文中明確地這樣定義。

請參閱第1圖，其為影像擷取系統之配置圖。如第1圖所示，影像擷取系統，其包括電腦10和影像擷取裝置20，電腦10和影像擷取裝置20為網路連接、有線連接或無線連接，無線連接可包括藍芽、紫蜂(Zigbee)、Wifi及低功耗廣域網路(Low Power Wide Area Network,LPWAN)，其也可為其他較佳類型的無線連接，而未侷限於本發明所列舉的範圍。影像擷取裝置20拍攝輸入影像IN，並傳送輸入影像IN至電腦10。電腦10包括處理器11以及記憶體12，記憶體12儲存卷積層conv、卷積神經網路121以及線性整流激活函數ReLU，處理器11運行儲存卷積層conv、卷積神經網路121以及線性整流激活函數ReLU，以處理輸入影像IN的雨紋。

於另一實施例中，影像擷取系統更包括雲端平台，雲端平台網路連接電腦10和影像擷取裝置20，影像擷取裝置20傳送輸入影像IN至雲端平台，雲端平台傳送輸入影像IN至電腦10，處理器11處理輸入影像IN的雨紋。

請參閱第2圖和第3圖，其為本發明之影像雨紋去除方法的流程圖及本發明之影像雨紋去除方法的示意圖。如第2圖和第3圖所示，並搭配第1圖說明本發明之影像雨紋去除方法如下：S11步驟：利用影像擷取裝置20拍攝輸入影像IN，影像擷取裝置20將輸入影像IN傳輸至電腦10。

S12步驟：處理器11利用卷積層conv和線性整流激活函數ReLU對輸入影像IN進行運算處理程序，以取得初階影像。

S13步驟：處理器11利用卷積神經網路121對初階影像進行第一次雨紋特徵擷取，以取得第一雨紋影像S1。其中，卷積神經網路121包括複數個殘差密集區塊RDB、複數個逐次雙加強區塊SDAB和多尺度特徵整合區塊MAM，卷積神經網路121的组成細節將於後文敘述。

S14步驟：平行輸入第一雨紋影像S1和輸入影像IN進入處理器11，處理器11利用卷積層conv和線性整流激活函數ReLU對第一雨紋影像S1和輸入影像IN進行運算處理程序，以取得二階影像。

S15步驟：處理器11相加初階影像和二階影像。

處理器11利用卷積神經網路121對相加後二階影像進行第二次雨紋特徵擷取，以取得第二雨紋影像S2。

S16步驟：處理器11將第二雨紋影像S2和輸入影像相減，取得輸出影像。

S17步驟：處理器11利用卷積層conv與輸出影像相乘，並將相乘後輸出影像與輸出影像相加，以取得背景影像B。

需提及的是，本發明之影像雨紋去除方法及相應的影像擷取系統，可應用於交通監控、保全攝影以及軍事方面，當然其也可應用於其他具有類似情境的場所，而未侷限於本發明所列舉的範圍。

另外，卷積神經網路121透過機器學習(machine learning)的方式不斷地加快雨紋特徵的辨識，並能將雨紋中較重要的影像特徵(例如形狀和雨紋的頻率)當作雨紋識別的依據，從而節省人工影像特徵的篩選；卷積神經網路121經過多次初階影像和二階影像的輸入，不斷訓練卷積神經網路121，使卷積神經網路121篩選出合適的影像特徵、權重以及分類標準。

請參閱第4圖，其為本發明之殘差密集區塊的示意圖。如第4圖所示，各殘差密集區塊RDB由多個卷積層conv和線性整流激活函數ReLU組成。舉例來說，並搭配第1圖和第3圖說明，處理器11先將初階影像(其對應的矩陣IM)進行卷積層conv和線性整流激活函數ReLU進行雨紋特徵的擷取程序(亦即，過濾非雨紋的特徵，例如人或建築物)，並將擷取雨紋特徵後初階影像(其上面具有雨紋)和矩陣IM平行輸入至卷積層conv進行雨紋特徵的擷取程序，取得雙次擷取雨紋特徵後的初階影像。處理器11將雙次擷取雨紋特徵後的初階影像和矩陣IM相加，並將其和線性整流激活函數ReLU進行運算，取得初步篩選影像RI1(其上面大部分為雨紋，極少部分為人或建築物的非雨紋的特徵)。依據雨紋特徵的擷取所需，可調整殘差密集區塊RDB的個數，於此不加以限定其數目。

請參閱第5圖，其為本發明之逐次雙加強區塊的示意圖。如第5圖所示，各逐次雙加強區塊SDAB包括複數層卷積層conv、頻率加強子區塊ca和空間加強子區塊sa。舉例來說，經過多個殘差密集區塊RDB的雨紋特徵擷取，初步篩選影像RI1經過多層卷積層conv之雨紋特徵的擷取程序(其也可視需求加入線性整流激活函數ReLU進行)，擷取雨紋特徵後初步篩選影像RI1先進入頻率加強子區塊ca和空間加強子區塊sa，頻率加強子區塊ca根據雨紋特徵的頻率產生頻率加強矩陣FM(如第6圖所示)，空間加強子區塊sa根據雨紋特徵的位置產生空間加強矩陣SM(如第7圖所示)，頻率加強矩陣FM和空間加強矩陣SM分別和擷取雨紋特徵後初步篩選影像RI1進行運算，進而加強雨紋特徵，使擷取雨紋特徵後初步篩選影像的雨紋更為明顯，並加強雨紋特徵和背景的區隔。接著經過加強後初步篩選影像RI1再進入卷積層conv的雨紋特徵擷取，且經過卷積層conv後的初步篩選影像RI1’和初步篩選影像RI1相加，取得二次篩選影像RI2；其中，二次篩選影像RI2中的雨紋特徵較初步篩選影像RI1的雨紋特徵更為明顯，亦即，二次篩選影像RI2中的雨紋特徵是被強化過。依據雨紋特徵的擷取所需，可調整逐次雙加強區塊SDAB的個數，於此不加以限定其數目。

請參閱第6圖，其為本發明之頻率加強子區塊的示意圖。舉例來說，如第6圖所示，矩陣A1(其尺寸為C×H×W)會分別經過卷積層conv運算和重塑(reshape)的程序，經過重塑的矩陣A1的尺寸變為1×C×HW；經過卷積層conv運算的矩陣A1的尺寸變為1×H×W，將經過卷積層conv運算後矩陣A經過重塑和softmax函數運算的程序，矩陣A1的尺寸從1×H×W變為1×HW×1，接著尺寸為1×C×HW的矩陣A1和尺寸為1×HW×1的矩陣A1相乘，取得尺寸為C×1×1的矩陣，將尺寸為C×1×1的矩陣輸入至多層感知器(multilayer perceptron,MLP)，多層感知器具有輸入層IL(具有C個神經元)、隱藏層HL(具有C/2個神經元)以及輸出層OL(具有C個神經元)，多層感知器根據C×1×1的矩陣輸出一結果，結果和矩陣A1相加得頻率加強矩陣FM。

請參閱第7圖，其為本發明之空間加強子區塊的示意圖。舉例來說，矩陣A2(其尺寸為C×H×W)會先分別經過擴張卷積(dilated convolution)3次，擴張卷積的擴張因子(dilated factor)分別為1(其為卷積層conv的相乘，並未進行擴張)、2及3，取得3個不同的矩陣m1、m2及m3；舉例來說，擴張因子為2，將矩陣A2的各元素(element)的間隔數目為1個，並將間隔填入0，填入0後的矩陣A2再與卷積層conv相乘。擴張卷積會增加擷取雨紋特徵後初步篩選影像的可視範圍(receptive field)。

接著，將3個不同的矩陣m1、m2及m3做卷積層conv的運算程序取得矩陣m4(其尺寸為1×H×W)，矩陣m4經過sigmoid函數運算，經過sigmoid函數運算後矩陣m4和尺寸為C×H×W矩陣A2相乘取得空間加強矩陣SM。

請參閱第8圖，其為本發明之多尺度特徵整合區塊的示意圖。舉例來說，如第8圖所示，矩陣A3(其尺寸為C1×H1×W1)會先分別經過擴張卷積(dilated convolution)4次，擴張卷積的擴張因子F(dilated factor)分別為1(其為卷積層conv的相乘，並未進行擴張)、2、3及4，最後將分別經過F=1,2,3,4的矩陣A3和尺寸為C×H×W的矩陣A3相串接(concatenate)，串接後矩陣A3再與卷積層conv相乘以取得影像I1。根據前述得知，多尺度特徵整合區塊MAM擴大矩陣A3所對應影像之的可視範圍(receptive field)，同理得知，多尺度特徵整合區塊MAM擴大初階影像和二階影像中雨紋特徵的選取範圍。

需說明的是，結構相似性(structural similarity index，SSIM index)是一種用以衡量兩張數位影像相似程度的指標。當兩張影像其中一張為無失真影像，另一張為失真後的影像，二者的結構相似性可以看成是失真影像的影像品質衡量指標。(來源：維基百科)

峰值訊噪比(Peak signal-to-noise ratio，PSNR)是一個表示訊號最大可能功率和影響它的表示精度的破壞性雜訊功率的比值的工程術語。由於許多訊號都有非常寬的動態範圍，峰值訊噪比常用對數分貝單位來表示。(來源：維基百科)

評估本發明之影像雨紋去除方法的效果，做不同的量化實驗如下，並復請參照第1圖。當僅做完一次卷積神經網路121而取得第一雨紋影像S1時，第一雨紋影像S1的PSNR和SSIM分別為37.45dB和0.977。當僅做完一次卷積神經網路121而取得第一雨紋影像S1並經過卷積層conv的運算時，第一雨紋影像S1的PSNR和SSIM分別為37.67dB和0.979。當做二次卷積神經網路121而取得第二雨紋影像S2而未經過卷積層conv的運算時，第二雨紋影像S2的PSNR和SSIM分別為37.70dB和0.980。當做二次卷積神經網路121而取得第二雨紋影像S2且經過卷積層conv的運算取得背景影像B時，背景影像B的PSNR和SSIM分別為37.80dB和0.980。

請參閱第9圖，其為本發明之殘差密集區塊的數目分別對結構相似性(SSIM)和峰值訊噪比(PSNR)的數據圖。如第9圖的a部分所示，隨著卷積神經網路121的逐次雙加強區塊SDAB的數量增加，PSNR的數值明顯上升，PSNR的最佳點是逐次雙加強區塊SDAB的數量為4個。如第9圖的b部分所示，隨著卷積神經網路121的逐次雙加強區塊SDAB的數量增加，SSIM的數值明顯上升。

請參閱第10A圖至第11B圖，其為本發明之第一態樣的輸入影像圖、本發明之第一態樣的背景影像圖、本發明之第二態樣的輸入影像圖以及本發明之第一態樣的背景影像圖。如第10A圖和第10B圖所示，輸入影像IN為下午下雨的天氣，經過本發明之影像雨紋去除方法的處理，取得背景影像B，背景影像B無雨紋的存在，且其未失真。如第11A圖和第11B圖所示，輸入影像IN為晚上下雨的天氣，經過本發明之影像雨紋去除方法的處理，取得背景影像B，背景影像B無雨紋的存在，且其未失真。無論白天或晚上所拍攝的畫面，本發明之影像雨紋去除方法皆能應用於此，以去除影像中的雨紋。

觀前所述，本發明之影像雨紋去除方法，利用雙次卷積神經網路，有效地去除影像中的雨紋，且不會讓影像失真。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S11~S17:步驟

Claims

一種影像雨紋去除方法，其包括：傳輸具有一雨紋的一輸入影像至一卷積層；利用該卷積層和線性整流激活函數與該輸入影像相乘，取得一初階影像；利用一卷積神經網路，該卷積神經網路根據該初階影像取得一第一雨紋影像；利用該卷積層和線性整流激活函數與該輸入影像和該第一雨紋影像相乘，取得一二階影像；利用一卷積神經網路，該卷積神經網路根據該二階影像取得一第二雨紋影像；以及將該第二雨紋影像和該輸入影像相減，取得一輸出影像。
如請求項1所述之影像雨紋去除方法，於取得該二階影像後的步驟後，相加該初階影像和該二階影像。
如請求項1所述之影像雨紋去除方法，於取得該輸出影像後，利用該卷積層與該輸出影像相乘，將相乘後該輸出影像與該輸出影像相加，以取得一背景影像。
如請求項1所述之影像雨紋去除方法，其中，該卷積神經網路包括複數個殘差密集區塊(residual dense block)、複數個逐次雙加強區塊(sequential dual attention block)和一多尺度特徵整合區塊(multi-scale feature aggregation block)。
如請求項4所述之影像雨紋去除方法，各該殘差密集區塊由多個卷積層和線性整流激活函數組成，以提取該初階影像和該二階影像的一雨紋特徵。
如請求項5所述之影像雨紋去除方法，各該逐次雙加強區塊包括一頻率加強子區塊和一空間加強子區塊，該頻率加強子區塊根據該雨紋特徵的頻率產生一頻率加強矩陣，該空間加強子區塊根據該雨紋特徵的位置產生一空間加強矩陣，該頻率加強矩陣和該空間加強矩陣加強該雨紋特徵。
如請求項6所述之影像雨紋去除方法，各該逐次雙加強區塊進一步包括複數層卷積層。
如請求項5所述之影像雨紋去除方法，該多尺度特徵整合區塊擴大該初階影像和該二階影像中該雨紋特徵的選取範圍。