TWI780884B - 單圖像除雨方法及其系統 - Google Patents

單圖像除雨方法及其系統 Download PDF

Info

Publication number
TWI780884B
TWI780884B TW110132331A TW110132331A TWI780884B TW I780884 B TWI780884 B TW I780884B TW 110132331 A TW110132331 A TW 110132331A TW 110132331 A TW110132331 A TW 110132331A TW I780884 B TWI780884 B TW I780884B
Authority
TW
Taiwan
Prior art keywords
rain
frequency
order
map
removal
Prior art date
Application number
TW110132331A
Other languages
English (en)
Other versions
TW202312093A (zh
Inventor
許巍嚴
蔡承翰
Original Assignee
國立中正大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中正大學 filed Critical 國立中正大學
Priority to TW110132331A priority Critical patent/TWI780884B/zh
Priority to US17/452,573 priority patent/US20230060736A1/en
Application granted granted Critical
Publication of TWI780884B publication Critical patent/TWI780884B/zh
Publication of TW202312093A publication Critical patent/TW202312093A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Steroid Compounds (AREA)

Abstract

本發明提供一種單圖像除雨方法。小波轉換步驟處理初始雨圖以產生第i階低頻雨圖及第i階高頻雨圖，i=1~n。圖像除雨步驟將第i階低頻雨圖輸入至低頻除雨模型以輸出第i階低頻除雨圖，將第i階高頻雨圖輸入至高頻除雨模型以輸出第i階高頻除雨圖。第一逆小波轉換步驟重組第n階低頻除雨圖及第n階高頻除雨圖為第n階除雨圖。加權混合步驟混合第n-1階低頻除雨圖與第n階除雨圖以產生第n-1階混合除雨圖。第二逆小波轉換步驟重組第n-1階高頻除雨圖及第n-1階混合除雨圖為第n-1階除雨圖，然後n設為n-1並重複執行最後二個步驟。藉此，將初始雨圖除雨。

Description

單圖像除雨方法及其系統
本發明是關於一種圖像處理方法及其系統，特別是關於一種專注於小波低頻的單圖像除雨方法及其系統。
人類的視覺與電腦的視覺演算法都會受到雨水條紋和雨水堆積的影響。下雨會對影片及圖像的視覺品質產生不利影響，並降低視覺系統的性能。因此，恢復受到雨水影響而退化的影片及圖像，能有效地提高應用於室外場景的電腦視覺系統之準確性。
影片除雨方法係利用時間冗餘(Temporal Redundancy)和降雨動態進行除雨，但是圖像除雨方法缺少了時間資訊，只能利用相鄰像素的空間資訊以及降雨和背景場景的視覺特性，因此從圖像中去除雨水顯然比從一系列圖像幀的影片中去除雨水更具挑戰性。
近年來，深度學習結合圖像先驗在圖像除雨領域上廣泛地應用，但仍然有主要兩個限制。首先，習知的圖像除雨方法通常僅對雨圖的高頻部份進行除雨程序，但卻較少關注雨圖的低頻部份；另一個限制是，雨水條紋與物體邊緣和背景場景混合在一起，因此習知的圖像除雨方法中的模型難以分離雨水和背景信息，導致除雨圖會有邊緣模糊的情況發生。
有鑑於此，針對習知的圖像除雨方法所存在之問題點，如何建立一種專注於小波低頻的單圖像除雨方法及其系統，實為民眾所殷切企盼，亦係相關業者須努力研發突破之目標及方向。
因此，本發明之目的在於提供一種單圖像除雨方法及其系統，其透過穩定小波轉換(Stationary Wavelet Transform；SWT)分解初始雨圖。被分解的初始雨圖可以從低頻小波(Approximation Coefficients)捕獲圖像的全局內容信息，而從高頻小波(Detail Coefficients)觀察到雨紋和邊緣細節。特別的是，初始雨圖的低頻雨圖主要描述物體的背景，但仍然有不少雨紋出現，因此本發明專注於小波低頻且有效地去除掉低頻雨圖的雨紋，以獲得更好的最終除雨圖。
依據本發明的一實施方式提供一種單圖像除雨方法，其用以轉換一初始雨圖為一最終除雨圖，且單圖像除雨方法包含一小波轉換步驟、一圖像除雨步驟、一第一逆小波轉換步驟、一加權混合步驟及一第二逆小波轉換步驟。小波轉換步驟係驅動一運算處理單元根據一小波轉換程序處理初始雨圖以產生一第一階低頻雨圖、複數第一階高頻雨圖、一第二階低頻雨圖及複數第二階高頻雨圖。圖像除雨步驟係驅動運算處理單元將第一階低頻雨圖與第二階低頻雨圖輸入至一低頻除雨模型以輸出一第一階低頻除雨圖與一第二階低頻除雨圖，且將此些第一階高頻雨圖及此些第二階高頻雨圖輸入至一高頻除雨模型以輸出複數第一階高頻除雨圖及複數第二階高頻除雨圖。第一逆小波轉換步驟係驅動運算處理單元根據一第一逆小波轉換程序重組第二階低頻除雨圖及此些第二階高頻除雨圖為一第二階除雨圖。加權混合步驟係驅動運算處理單元根據一加權混合程序混合第一階低頻除雨圖與第二階除雨圖以產生一第一階混合除雨圖。第二逆小波轉換步驟係驅動運算處理單元根據一第二逆小波轉換程序重組此些第一階高頻除雨圖及第一階混合除雨圖為最終除雨圖。
藉此，本發明之單圖像除雨方法透過SWT分解初始雨圖，並利用低頻除雨模型與高頻除雨模型去除雨紋。接著，再將前一階的低頻雨圖進行逆穩定小波轉換(Inverse Stationary Wavelet Transform；ISWT)和圖片加權混合(Image Weighted Blending；IWB)，以將初始雨圖恢復成乾淨的最終除雨圖。
依據本發明的另一實施方式提供一種單圖像除雨方法，其用以轉換一初始雨圖為一最終除雨圖，且單圖像除雨方法包含一小波轉換步驟、一圖像除雨步驟、一第一逆小波轉換步驟、一加權混合步驟、一第二逆小波轉換步驟以及一殘差網路學習步驟。小波轉換步驟係驅動一運算處理單元根據一小波轉換程序處理初始雨圖以產生一第i階低頻雨圖及複數第i階高頻雨圖，其中i=1~n，i與n均為正整數，且n大於等於3。圖像除雨步驟係驅動運算處理單元將第i階低頻雨圖輸入至一低頻除雨模型以輸出一第i階低頻除雨圖，且將此些第i階高頻雨圖輸入至一高頻除雨模型以輸出複數第i階高頻除雨圖。第一逆小波轉換步驟係驅動運算處理單元根據一第一逆小波轉換程序重組第n階低頻除雨圖及此些第n階高頻除雨圖為一第n階除雨圖。加權混合步驟係驅動運算處理單元根據一加權混合程序混合第n-1階低頻除雨圖與第n階除雨圖以產生一第n-1階混合除雨圖。第二逆小波轉換步驟係驅動運算處理單元根據一第二逆小波轉換程序重組此些第n-1階高頻除雨圖及第n-1階混合除雨圖為一第n-1階除雨圖，然後運算處理單元將n設為n-1。殘差網路學習步驟係驅動運算處理單元根據n重複執行加權混合步驟及第二逆小波轉換步驟，直到n=2為止。其中，在殘差網路學習步驟中，當n=2時，第二逆小波轉換步驟之第n-1階除雨圖為最終除雨圖。
藉此，本發明之單圖像除雨方法將初始雨圖進行多階SWT分解，並專注於各階的低頻雨圖來進行ISWT和IWB，進而有效地去除掉各階的低頻雨圖的雨紋。
依據本發明的又一實施方式提供一種單圖像除雨系統，其用以轉換一初始雨圖為一最終除雨圖，且單圖像除雨系統包含一儲存單元以及一運算處理單元。儲存單元用以存取初始雨圖、一小波轉換程序、一低頻除雨模型、一高頻除雨模型、一第一逆小波轉換程序、一加權混合程序及一第二逆小波轉換程序。運算處理單元連接儲存單元，並經配置以實施一小波轉換步驟、一圖像除雨步驟、一第一逆小波轉換步驟、一加權混合步驟及一第二逆小波轉換步驟。小波轉換步驟係根據小波轉換程序處理初始雨圖以產生一第一階低頻雨圖、複數第一階高頻雨圖、一第二階低頻雨圖及複數第二階高頻雨圖。圖像除雨步驟係將第一階低頻雨圖與第二階低頻雨圖輸入至低頻除雨模型以輸出一第一階低頻除雨圖與一第二階低頻除雨圖，且將此些第一階高頻雨圖及此些第二階高頻雨圖輸入至高頻除雨模型以輸出複數第一階高頻除雨圖及複數第二階高頻除雨圖。第一逆小波轉換步驟係根據第一逆小波轉換程序重組第二階低頻除雨圖及此些第二階高頻除雨圖為一第二階除雨圖。加權混合步驟係根據加權混合程序混合第一階低頻除雨圖與第二階除雨圖以產生一第一階混合除雨圖。第二逆小波轉換步驟係根據第二逆小波轉換程序重組此些第一階高頻除雨圖及第一階混合除雨圖為最終除雨圖。
藉此，本發明之單圖像除雨系統透過SWT分解初始雨圖，並利用低頻除雨模型與高頻除雨模型去除雨紋。接著，再將前一階的低頻雨圖進行ISWT和IWB，以將初始雨圖恢復成乾淨的最終除雨圖。
以下將參照圖式說明本發明之複數個實施例。為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施例中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之；並且重複之元件將可能使用相同的編號表示之。
此外，本文中當某一元件(或單元或模組等)「連接/連結」於另一元件，可指所述元件是直接連接/連結於另一元件，亦可指某一元件是間接連接/連結於另一元件，意即，有其他元件介於所述元件及另一元件之間。而當有明示某一元件是「直接連接/連結」於另一元件時，才表示沒有其他元件介於所述元件及另一元件之間。而第一、第二、第三等用語只是用來描述不同元件，而對元件本身並無限制，因此，第一元件亦可改稱為第二元件。且本文中之元件/單元/電路之組合非此領域中之一般周知、常規或習知之組合，不能以元件/單元/電路本身是否為習知，來判定其組合關係是否容易被技術領域中之通常知識者輕易完成。
請一併參閱第1圖與第2圖，其中第1圖係繪示依照本發明一第一實施例的單圖像除雨方法100的流程示意圖；以及第2圖係繪示本發明第一實施例的單圖像除雨方法100的專注小波低頻殘差網路110(Wavelet Approximation-Attention Residual；WAAR)的示意圖。如第1-2圖所示，單圖像除雨方法100用以轉換一初始雨圖
Figure 02_image001
為一最終除雨圖
Figure 02_image003
，且包含一小波轉換步驟S01、一圖像除雨步驟S02、一第一逆小波轉換步驟S03、一加權混合步驟S04以及一第二逆小波轉換步驟S05。
小波轉換步驟S01係驅動一運算處理單元根據一小波轉換程序411處理初始雨圖
Figure 02_image001
以產生一第一階低頻雨圖LL 1、複數第一階高頻雨圖LH 1、HL 1、HH 1、一第二階低頻雨圖LL 2及複數第二階高頻雨圖LH 2、HL 2、HH 2。
圖像除雨步驟S02係驅動運算處理單元將第一階低頻雨圖LL 1與第二階低頻雨圖LL 2輸入至一低頻除雨模型412以輸出一第一階低頻除雨圖
Figure 02_image005
與一第二階低頻除雨圖
Figure 02_image007
，且將此些第一階高頻雨圖LH 1、HL 1、HH 1及此些第二階高頻雨圖LH 2、HL 2、HH 2輸入至一高頻除雨模型413以輸出複數第一階高頻除雨圖
Figure 02_image009
及複數第二階高頻除雨圖
Figure 02_image011
。
第一逆小波轉換步驟S03係驅動運算處理單元根據一第一逆小波轉換程序414重組第二階低頻除雨圖
Figure 02_image007
及此些第二階高頻除雨圖
Figure 02_image011
為一第二階除雨圖
Figure 02_image013
。
加權混合步驟S04係驅動運算處理單元根據一加權混合程序415混合第一階低頻除雨圖
Figure 02_image005
與第二階除雨圖
Figure 02_image013
以產生一第一階混合除雨圖
Figure 02_image015
。
第二逆小波轉換步驟S05係驅動運算處理單元根據一第二逆小波轉換程序416重組此些第一階高頻除雨圖
Figure 02_image009
及第一階混合除雨圖
Figure 02_image015
為最終除雨圖
Figure 02_image003
。
藉此，本發明之單圖像除雨方法100透過穩定小波轉換(Stationary Wavelet Transform；SWT)分解初始雨圖
Figure 02_image001
，並利用低頻除雨模型412與高頻除雨模型413去除雨紋。接著，將第二階低頻除雨圖
Figure 02_image007
及第二階高頻除雨圖
Figure 02_image011
進行逆穩定小波轉換(Inverse Stationary Wavelet Transform；ISWT)後，再與第一階低頻除雨圖
Figure 02_image005
進行圖片加權混合(Image Weighted Blending；IWB)。最終，將第一階高頻除雨圖
Figure 02_image009
及第一階混合除雨圖
Figure 02_image015
進行ISWT以產生最終除雨圖
Figure 02_image003
，藉以令初始雨圖
Figure 02_image001
恢復成乾淨的最終除雨圖
Figure 02_image003
。
請一併參閱第1-2圖及第3圖，其中第3圖係繪示第1圖的單圖像除雨方法100的小波轉換步驟S01的示意圖。如第1圖所示，小波轉換步驟S01可包含一第一階小波分解步驟S011與一第二階小波分解步驟S012。第一階小波分解步驟S011係驅動運算處理單元根據小波轉換程序411分解初始雨圖
Figure 02_image001
為第一階低頻雨圖LL 1及此些第一階高頻雨圖LH 1、HL 1、HH 1。第二階小波分解步驟S012係驅動運算處理單元根據小波轉換程序411再分解第一階低頻雨圖LL 1為第二階低頻雨圖LL 2及此些第二階高頻雨圖LH 2、HL 2、HH 2。
如第3圖所示，在第一階小波分解步驟S011中，運算處理單元利用一低通濾波器F和一高通濾波器G對初始雨圖
Figure 02_image001
進行第一次水平分解(rows)與第一次垂直分解(columns)以產生4個不同頻率的頻帶(即為第一階低頻雨圖LL 1及此些第一階高頻雨圖LH 1、HL 1、HH 1)。詳細的說，初始雨圖
Figure 02_image001
被輸入至低通濾波器F，且低通濾波器F將初始雨圖
Figure 02_image001
的高頻部份濾掉並輸出低頻部份；初始雨圖
Figure 02_image001
被輸入至高通濾波器G，且高通濾波器G將初始雨圖
Figure 02_image001
的低頻部份濾掉並輸出高頻部份。接著，在第一階小波分解步驟S012中，運算處理單元對第一階低頻雨圖LL 1進行第二次水平分解與第二次垂直分解以產生另4個不同頻率的頻帶(即為第二階低頻雨圖LL 2及此些第二階高頻雨圖LH 2、HL 2、HH 2)。
具體而言，小波轉換程序411可包含一小波轉換函數、初始雨圖、一第一階低頻小波係數、複數第一階高頻小波係數、一第二階低頻小波係數及複數第二階高頻小波係數，小波轉換函數表示為
Figure 02_image017
，初始雨圖表示為
Figure 02_image001
，第一階低頻小波係數表示為
Figure 02_image019
，此些第一階高頻小波係數分別表示為
Figure 02_image021
、
Figure 02_image023
及
Figure 02_image025
，第二階低頻小波係數表示為
Figure 02_image027
，此些第二階高頻小波係數分別表示為
Figure 02_image029
、
Figure 02_image031
及
Figure 02_image033
且符合下列式子(1)與式子(2)：
Figure 02_image035
(1)；
Figure 02_image037
(2)。
其中，第一階低頻小波係數
Figure 02_image019
對應第一階低頻雨圖LL 1並包含圖像的平滑部分，第一階高頻小波係數
Figure 02_image021
、
Figure 02_image023
、
Figure 02_image025
分別對應第一階高頻雨圖LH 1、HL 1、HH 1並包含圖像的垂直細節、水平細節及對角細節。同理；第二階低頻小波係數
Figure 02_image027
對應第二階低頻雨圖LL 2，第二階高頻小波係數
Figure 02_image029
、
Figure 02_image031
、
Figure 02_image033
分別對應第二階高頻雨圖LH 2、HL 2、HH 2。小波轉換函數可為一哈爾小波轉換(Haar Wavelet)，但本發明不限於此。
請參閱第4圖，其係繪示第2圖的低頻除雨模型412與高頻除雨模型413的示意圖。如第4圖所示，在圖像除雨步驟S02中的低頻除雨模型412可包含一卷積運算 conv(Convolution)、一激勵函數 PReLU(Activation function)及複數個殘差塊 RLB(Residual Block；RLB)，其中
Figure 02_image039
代表第n階低頻小波係數，
Figure 02_image041
代表第n階低頻除雨圖，
Figure 02_image043
代表從
Figure 02_image039
萃取出來的一淺層特徵(Shallow Feature)，
Figure 02_image045
代表第1個 RLB的運算結果，
Figure 02_image047
代表第2個 RLB的運算結果，並依此類推至
Figure 02_image049
代表第h個 RLB的運算結果，
Figure 02_image051
代表第H個 RLB的運算結果。特別的是，
Figure 02_image053
為一殘差特徵融合結果，其代表
Figure 02_image043
經過H個 RLB來進行深度特徵萃取和殘差學習之後所得到
Figure 02_image051
，然後再將
Figure 02_image051
經過卷積運算 conv，最後加上淺層特徵
Figure 02_image043
，即可得到
Figure 02_image053
。
另一方面，高頻除雨模型413可包含一卷積運算 conv、一1*1卷積運算 1*1 conv、一串接函數C及複數個殘差密集塊 RDB(Residual Dense Block；RDB)，其中
Figure 02_image055
代表第n階高頻小波係數，
Figure 02_image057
代表第n階高頻除雨圖，
Figure 02_image059
代表從
Figure 02_image055
萃取出來的一淺層特徵(Shallow Feature)，
Figure 02_image061
代表第1個 RDB的運算結果，
Figure 02_image063
代表第2個 RDB的運算結果，並依此類推至
Figure 02_image065
代表第h個 RDB的運算結果，
Figure 02_image067
代表第H個 RDB的運算結果。特別的是，
Figure 02_image069
為一全局殘差連接結果，其代表
Figure 02_image059
經過H個 RDB來進行深度特徵萃取和殘差學習之後所得到多個運算結果(即
Figure 02_image061
至
Figure 02_image067
)，然後再將前述運算結果依序經由串接函數C、1*1卷積運算 1*1 conv及卷積運算 conv進行處理之後，最後加上淺層特徵
Figure 02_image059
，即可得到
Figure 02_image069
。
在專注小波低頻殘差網路110中的低頻除雨模型412與高頻除雨模型413可形成高低頻區塊彼此連接的一深度網路；換言之，低頻除雨模型412的此些殘差塊 RLB分別與高頻除雨模型413的此些殘差密集塊 RDB彼此相互連接，以提取更豐富的圖像特徵，有利於得到高低頻特徵之間的潛在相依性，進而幫助高頻除雨模型413在高頻部分能更有效地去除雨紋。以下將說明本發明之低頻除雨模型412與高頻除雨模型413的訓練方式。
首先，於一儲存單元存取成對之下雨圖像和無雨圖像
Figure 02_image071
，其中m代表訓練圖像對之一數量。運算處理單元連接儲存單元，並對下雨圖像和無雨圖像進行n階SWT(n=1,2,…,N)以取得第n階下雨圖像
Figure 02_image073
和第n階無雨圖像
Figure 02_image075
，且符合下列式子(3)與式子(4)：
Figure 02_image077
(3)；
Figure 02_image079
(4)。
接著，運算處理單元根據一損失函數更新低頻除雨模型412與高頻除雨模型413之一參數，且損失函數與參數符合下列式子(5)：
Figure 02_image081
(5)。
其中，
Figure 02_image083
為損失函數，
Figure 02_image085
為參數，
Figure 02_image087
為一訓練圖像對，
Figure 02_image089
為訓練圖像對之一數量，
Figure 02_image091
為一小波轉換之一階層，
Figure 02_image093
為階層之一數量，
Figure 02_image095
為一第
Figure 02_image091
階低頻雨圖，
Figure 02_image097
為一第
Figure 02_image091
階低頻無雨圖，
Figure 02_image099
為一第
Figure 02_image091
階高頻雨圖，
Figure 02_image101
為一第
Figure 02_image091
階高頻無雨圖，
Figure 02_image103
為一第
Figure 02_image093
階低頻雨圖，
Figure 02_image105
為一第
Figure 02_image093
階低頻無雨圖。詳細地說。
Figure 02_image085
代表整個模型的參數，這些參數
Figure 02_image085
通過反向傳播來進行最佳化，且運算處理單元利用損失函數
Figure 02_image083
以訓練參數
Figure 02_image085
，使其可以聯合估計第
Figure 02_image091
階低頻雨圖
Figure 02_image095
和第
Figure 02_image091
階高頻雨圖
Figure 02_image099
以及第
Figure 02_image091
階低頻無雨圖
Figure 02_image097
和第
Figure 02_image091
階高頻無雨圖
Figure 02_image101
。
請一併參閱第1圖與第2圖，於第一逆小波轉換步驟S03中，第一逆小波轉換程序414係為小波轉換程序411的反向程序，其主要用以對第二階低頻除雨圖
Figure 02_image007
及此些第二階高頻除雨圖
Figure 02_image011
進行反哈爾小波轉換；換言之，第一逆小波轉換程序414將二階低頻除雨圖
Figure 02_image007
及此些第二階高頻除雨圖
Figure 02_image011
所對應的小波係數由頻率域轉回空間域，以重組成第二階除雨圖
Figure 02_image013
。
於加權混合步驟S04中，加權混合程序415可包含一加權混合函數、一加權值、第一階低頻除雨圖及第二階除雨圖，加權混合函數表示為
Figure 02_image107
，加權值表示為
Figure 02_image109
，第一階低頻除雨圖表示為
Figure 02_image111
，第二階除雨圖表示為
Figure 02_image113
且符合下式子(6)：
Figure 02_image115
(6)。
其中，本第一實施例的加權值α可為0.5，但本發明不限於此。
須說明的是，於第二逆小波轉換步驟S05中的第二逆小波轉換程序416可包含一逆小波轉換函數、一串接函數、一加權混合函數、第一階低頻除雨圖、第二階低頻除雨圖、此些第一階高頻除雨圖此些第二階高頻除雨圖及最終除雨圖，逆小波轉換函數表示為
Figure 02_image117
，串接函數表示為
Figure 02_image119
，加權混合函數表示為
Figure 02_image107
，第一階低頻除雨圖表示為
Figure 02_image005
，第二階低頻除雨圖表示為
Figure 02_image007
，此些第一階高頻除雨圖表示為
Figure 02_image009
，此些第二階高頻除雨圖表示為
Figure 02_image011
，最終除雨圖表示為
Figure 02_image003
且符合下式子(7)：
Figure 02_image121
(7)。
與習知的圖像除雨方法相比，本發明之單圖像除雨方法100不只針對最後一階的低頻雨圖進行除雨，而是保留每一階的高低頻係數，再將經由SWT分解後的每一階的低頻雨圖都輸入低頻除雨模型412進行除雨。藉此，低頻雨紋通過加權混合函數
Figure 02_image107
和逆小波轉換函數
Figure 02_image117
可以有效地遞迴消除雨水造成雨圖低頻的退化，進而恢復成乾淨的最終除雨圖
Figure 02_image003
。
請一併參閱第5圖與第6圖，其中第5圖係繪示依照本發明一第二實施例的單圖像除雨方法200的流程示意圖；以及第6圖係繪示本發明第二實施例的單圖像除雨方法200的專注小波低頻殘差網路210(i=1~n)的示意圖。如第5-6圖所示，單圖像除雨方法200用以轉換一初始雨圖
Figure 02_image001
為一最終除雨圖
Figure 02_image003
，且包含一小波轉換步驟S11、一圖像除雨步驟S12、一第一逆小波轉換步驟S13、一加權混合步驟S14、一第二逆小波轉換步驟S15以及一殘差網路學習步驟S16。
小波轉換步驟S11係驅動一運算處理單元根據一小波轉換程序411處理初始雨圖
Figure 02_image001
以產生一第i階低頻雨圖及複數第i階高頻雨圖，其中i=1~n，i與n均為正整數，且n大於等於3。具體而言，運算處理單元根據小波轉換程序411對初始雨圖
Figure 02_image001
進行n階小波轉換，以產生第一階低頻雨圖LL 1、複數第一階高頻雨圖LH 1、HL 1、HH 1、一第二階低頻雨圖LL 2及複數第二階高頻雨圖LH 2、HL 2、HH 2，並依此類推直到產生第n階低頻雨圖及複數第n階高頻雨圖。
圖像除雨步驟S12係驅動運算處理單元將第一階低頻雨圖LL 1與第二階低頻雨圖LL 2輸入至一低頻除雨模型412以輸出一第一階低頻除雨圖
Figure 02_image005
與一第二階低頻除雨圖
Figure 02_image007
，且將此些第一階高頻雨圖LH 1、HL 1、HH 1及此些第二階高頻雨圖LH 2、HL 2、HH 2輸入至一高頻除雨模型413以輸出複數第一階高頻除雨圖
Figure 02_image009
及複數第二階高頻除雨圖
Figure 02_image011
，並依此類推將第i階低頻雨圖輸入至低頻除雨模型412以輸出第i階低頻除雨圖，且將此些第i階高頻雨圖輸入至高頻除雨模型413以輸出複數第i階高頻除雨圖。
第一逆小波轉換步驟S13係驅動運算處理單元根據一第一逆小波轉換程序414重組第n階低頻除雨圖及此些第n階高頻除雨圖為一第n階除雨圖。
加權混合步驟S14係驅動運算處理單元根據一加權混合程序415混合第n-1階低頻除雨圖與第n階除雨圖以產生一第n-1階混合除雨圖。
第二逆小波轉換步驟S15係驅動運算處理單元根據一第二逆小波轉換程序416重組此些第n-1階高頻除雨圖及第n-1階混合除雨圖為一第n-1階除雨圖，然後運算處理單元將n設為n-1。
殘差網路學習步驟S16係驅動運算處理單元根據n重複執行加權混合步驟S14及第二逆小波轉換步驟S15，直到n=2為止。其中，在殘差網路學習步驟中S16，當n=2時，第二逆小波轉換步驟S15之第n-1階除雨圖為最終除雨圖。以下將透過較詳細的實施例來說明上述各步驟之細節。
請一併參閱第5圖與第7圖，其中第7圖係繪示本發明一第三實施例的單圖像除雨方法的專注小波低頻殘差網路310(i=1~3)的示意圖。第三實施例的單圖像除雨方法(未另繪示)與第二實施例的單圖像除雨方法200的所有步驟皆相同。具體而言，將第二實施例的單圖像除雨方法200之n設定為3，即為第三實施例的單圖像除雨方法。
如第5圖與第7圖所示，小波轉換步驟S11係驅動運算處理單元根據小波轉換程序411處理初始雨圖
Figure 02_image001
以產生一第一階低頻雨圖LL 1、複數第一階高頻雨圖LH 1、HL 1、HH 1、一第二階低頻雨圖LL 2、複數第二階高頻雨圖LH 2、HL 2、HH 2、一第3階低頻雨圖LL 3及複數第3階高頻雨圖LH 3、HL 3、HH 3。
圖像除雨步驟S12係驅動運算處理單元將第一階低頻雨圖LL 1、第二階低頻雨圖LL 2及第3階低頻雨圖LL 3輸入至低頻除雨模型412以輸出一第一階低頻除雨圖
Figure 02_image005
、一第二階低頻除雨圖
Figure 02_image007
及一第3階低頻除雨圖
Figure 02_image123
，且將此些第一階高頻雨圖LH 1、HL 1、HH 1、此些第二階高頻雨圖LH 2、HL 2、HH 2及此些第3階高頻雨圖LH 3、HL 3、HH 3輸入至高頻除雨模型413以輸出複數第一階高頻除雨圖
Figure 02_image009
、複數第二階高頻除雨圖
Figure 02_image011
及複數第3階高頻除雨圖
Figure 02_image125
。
第一逆小波轉換步驟S13係驅動運算處理單元根據第一逆小波轉換程序414重組第3階低頻除雨圖
Figure 02_image123
及此些第3階高頻除雨圖
Figure 02_image125
為一第3階除雨圖
Figure 02_image127
。
加權混合步驟S14係驅動運算處理單元根據加權混合程序415混合第二階低頻除雨圖
Figure 02_image007
與第3階除雨圖
Figure 02_image127
以產生一第二階混合除雨圖
Figure 02_image129
。
第二逆小波轉換步驟S15係驅動運算處理單元根據第二逆小波轉換程序416重組此些第二階高頻除雨圖
Figure 02_image011
及第二階混合除雨圖
Figure 02_image129
為一第二階除雨圖
Figure 02_image013
，然後運算處理單元將n(即3)設為n-1(即2)。
殘差網路學習步驟S16係驅動運算處理單元根據重設的n(即2)重複執行加權混合步驟S14及第二逆小波轉換步驟S15，直到n=2為止。由於目前重設的n已等於2，故僅需再執行一次加權混合步驟S14及第二逆小波轉換步驟S15。
下一次的加權混合步驟S14係驅動運算處理單元根據加權混合程序415混合第一階低頻除雨圖
Figure 02_image005
與第二階除雨圖
Figure 02_image013
以產生一第一階混合除雨圖
Figure 02_image015
。
下一次的第二逆小波轉換步驟S15係驅動運算處理單元根據第二逆小波轉換程序416重組此些第一階高頻除雨圖
Figure 02_image009
及第一階混合除雨圖
Figure 02_image015
為一第一階除雨圖。且此第一階除雨圖即為最終除雨圖
Figure 02_image003
。
藉此，第二實施例的單圖像除雨方法200或第三實施例的單圖像除雨方法係將初始雨圖
Figure 02_image001
進行多階SWT分解，並專注於各階的低頻雨圖來進行ISWT和IWB，進而有效地去除掉各階的低頻雨圖的雨紋。
請一併參閱第1-2圖及第8圖，其中第8圖係繪示依照本發明一第四實施例的單圖像除雨系統400的方塊示意圖。如第1-2圖及第8圖所示，單圖像除雨系統400用以轉換一初始雨圖
Figure 02_image001
為一最終除雨圖
Figure 02_image003
，且包含一儲存單元410以及一運算處理單元420。
儲存單元410用以存取初始雨圖
Figure 02_image001
、一小波轉換程序411、一低頻除雨模型412、一高頻除雨模型413、一第一逆小波轉換程序414、一加權混合程序415及一第二逆小波轉換程序416。運算處理單元420電性連接儲存單元410，並經配置以實施單圖像除雨方法100、200，其中運算處理單元420可為一數位訊號處理器(Digital Signal Processor；DSP)、一微處理器(Micro Processing Unit；MPU)、一中央處理器(Central Processing Unit；CPU)或其他電子處理器，但本發明不以此為限。藉此，本發明之單圖像除雨系統400透過SWT分解初始雨圖
Figure 02_image001
，並利用低頻除雨模型412與高頻除雨模型413去除雨紋。接著，再將前一階的低頻雨圖進行ISWT和IWB，以將初始雨圖
Figure 02_image001
恢復成乾淨的最終除雨圖
Figure 02_image003
。
綜上所述，本發明具有下列優點：其一，透過多階小波轉換來分解初始雨圖，且同時地保留每一階的高低頻係數，再專注於各階的低頻雨圖來進行ISWT和IWB，進而有效地去除掉各階的低頻雨圖的雨紋。其二，由於低頻除雨模型的殘差塊分別與高頻除雨模型的殘差密集塊彼此相互連接，以幫助高頻除雨模型在高頻部分能更有效地去除雨紋。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100,200:單圖像除雨方法 S01,S11:小波轉換步驟 S02,S12:圖像除雨步驟 S03,S13:第一逆小波轉換步驟 S04,S14:加權混合步驟 S05,S15:第二逆小波轉換步驟 S16:殘差網路學習步驟
Figure 02_image001
:初始雨圖
Figure 02_image003
:最終除雨圖 LL 1:第一階低頻雨圖 LH 1、HL 1、HH 1:第一階高頻雨圖 LL 2:第二階低頻雨圖 LH 2、HL 2、HH 2:第二階高頻雨圖 LL 3:第3階低頻雨圖 LH 3、HL 3、HH 3:第3階高頻雨圖
Figure 02_image005
:第一階低頻除雨圖
Figure 02_image007
:第二階低頻除雨圖
Figure 02_image123
:第3階低頻除雨圖
Figure 02_image009
:第一階高頻除雨圖
Figure 02_image011
:第二階高頻除雨圖
Figure 02_image125
:第3階高頻除雨圖
Figure 02_image013
:第二階除雨圖
Figure 02_image127
:第3階除雨圖
Figure 02_image015
:第一階混合除雨圖
Figure 02_image129
:第二階混合除雨圖 C:串接函數 F:低通濾波器 G:高通濾波器 400:單圖像除雨系統 410:儲存單元 411:小波轉換程序 412:低頻除雨模型 413:高頻除雨模型 414:第一逆小波轉換程序 415:加權混合程序 416:第二逆小波轉換程序 420:運算處理單元 conv:卷積運算 PReLU:激勵函數 1*1 conv:1*1卷積運算
Figure 02_image039
:第n階低頻小波係數
Figure 02_image041
:第n階低頻除雨圖
Figure 02_image043
:從
Figure 02_image039
萃取出來的淺層特徵
Figure 02_image045
:第1個RLB的運算結果
Figure 02_image047
:第2個RLB的運算結果
Figure 02_image049
:第h個RLB的運算結果
Figure 02_image051
:第H個RLB的運算結果
Figure 02_image053
:殘差特徵融合結果 RLB:殘差塊
Figure 02_image131
:第n階高頻小波係數
Figure 02_image057
:第n階高頻除雨圖
Figure 02_image059
:從
Figure 02_image131
萃取出來的淺層特徵
Figure 02_image061
:第1個RDB的運算結果
Figure 02_image063
:第2個RDB的運算結果
Figure 02_image065
:第h個RDB的運算結果
Figure 02_image067
:第H個RDB的運算結果
Figure 02_image069
:全局殘差連接結果 RDB:殘差密集塊
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖係繪示依照本發明一第一實施例的單圖像除雨方法的流程示意圖； 第2圖係繪示本發明第一實施例的單圖像除雨方法的專注小波低頻殘差網路的示意圖； 第3圖係繪示第1圖的單圖像除雨方法的小波轉換步驟的示意圖； 第4圖係繪示第2圖的低頻除雨模型與高頻除雨模型的示意圖； 第5圖係繪示依照本發明一第二實施例的單圖像除雨方法的流程示意圖； 第6圖係繪示本發明第二實施例的單圖像除雨方法的專注小波低頻殘差網路(i=1~n)的示意圖； 第7圖係繪示本發明一第三實施例的單圖像除雨方法的專注小波低頻殘差網路(i=1~3)的示意圖；以及 第8圖係繪示依照本發明一第四實施例的單圖像除雨系統的方塊示意圖。
200:單圖像除雨方法
S11:小波轉換步驟
S12:圖像除雨步驟
S13:第一逆小波轉換步驟
S14:加權混合步驟
S15:第二逆小波轉換步驟
S16:殘差網路學習步驟
R 0:初始雨圖
C 1:最終除雨圖

Claims (11)

  1. 一種單圖像除雨方法，用以轉換一初始雨圖為一最終除雨圖，且該單圖像除雨方法包含以下步驟：一小波轉換步驟，係驅動一運算處理單元根據一小波轉換程序處理該初始雨圖以產生一第一階低頻雨圖、複數第一階高頻雨圖、一第二階低頻雨圖及複數第二階高頻雨圖；一圖像除雨步驟，係驅動該運算處理單元將該第一階低頻雨圖與該第二階低頻雨圖輸入至一低頻除雨模型以輸出一第一階低頻除雨圖與一第二階低頻除雨圖，且將該些第一階高頻雨圖及該些第二階高頻雨圖輸入至一高頻除雨模型以輸出複數第一階高頻除雨圖及複數第二階高頻除雨圖；一第一逆小波轉換步驟，係驅動該運算處理單元根據一第一逆小波轉換程序重組該第二階低頻除雨圖及該些第二階高頻除雨圖為一第二階除雨圖；一加權混合步驟，係驅動該運算處理單元根據一加權混合程序混合該第一階低頻除雨圖與該第二階除雨圖以產生一第一階混合除雨圖；以及一第二逆小波轉換步驟，係驅動該運算處理單元根據一第二逆小波轉換程序重組該些第一階高頻除雨圖及該第一階混合除雨圖為該最終除雨圖；其中，該第二逆小波轉換程序包含一逆小波轉換函數、一串接函數、一加權混合函數、該第一階低頻除雨圖、該 第二階低頻除雨圖、該些第一階高頻除雨圖、該些第二階高頻除雨圖及該最終除雨圖，該逆小波轉換函數表示為ISWT，該串接函數表示為concat，該加權混合函數表示為IWB，該第一階低頻除雨圖表示為
    Figure 110132331-A0305-02-0026-2
    ，該第二階低頻除雨圖表示為
    Figure 110132331-A0305-02-0026-1
    ，該些第一階高頻除雨圖表示為
    Figure 110132331-A0305-02-0026-3
    ，該些第二階高頻除雨圖表示為
    Figure 110132331-A0305-02-0026-51
    ，該最終除雨圖表示為C 1且符合下式：
    Figure 110132331-A0305-02-0026-4
  2. 如請求項1所述之單圖像除雨方法，其中該小波轉換步驟包含：一第一階小波分解步驟，係驅動該運算處理單元根據該小波轉換程序分解該初始雨圖為該第一階低頻雨圖及該些第一階高頻雨圖；及一第二階小波分解步驟，係驅動該運算處理單元根據該小波轉換程序再分解該第一階低頻雨圖為該第二階低頻雨圖及該些第二階高頻雨圖。
  3. 如請求項1所述之單圖像除雨方法，其中該小波轉換程序包含一小波轉換函數、該初始雨圖、一第一階低頻小波係數、複數第一階高頻小波係數、一第二階低頻小波係數及複數第二階高頻小波係數，該小波轉換函數表示為SWT，該初始雨圖表示為R 0，該第一階低頻小波係數表示為
    Figure 110132331-A0305-02-0026-5
    ，該些第一階高頻小波係數分別表示為
    Figure 110132331-A0305-02-0026-6
    、
    Figure 110132331-A0305-02-0026-7
    及
    Figure 110132331-A0305-02-0027-12
    ，該第二階低頻小波係數表示為
    Figure 110132331-A0305-02-0027-11
    ，該些第二階高頻小波係數分別表示為
    Figure 110132331-A0305-02-0027-8
    、
    Figure 110132331-A0305-02-0027-9
    及
    Figure 110132331-A0305-02-0027-10
    且符合下式：
    Figure 110132331-A0305-02-0027-13
  4. 如請求項1所述之單圖像除雨方法，其中該加權混合程序包含該加權混合函數、一加權值、該第一階低頻除雨圖及該第二階除雨圖，該加權混合函數表示為IWB，該加權值表示為α，該第一階低頻除雨圖表示為image1，該第二階除雨圖表示為image2且符合下式：IWB=image1 *(1.0-α)+image2 * α。
  5. 如請求項1所述之單圖像除雨方法，其中該運算處理單元根據一損失函數更新該低頻除雨模型與該高頻除雨模型之一參數，且該損失函數與該參數符合下式：
    Figure 110132331-A0305-02-0027-48
     其中，Loss為該損失函數，w為該參數，i為一訓練圖像對，m為該訓練圖像對之一數量，n為一小波轉換之一階層，N為該階層之一數量，
    Figure 110132331-A0305-02-0027-16
    為一第n階低頻雨圖，
    Figure 110132331-A0305-02-0027-15
    為一第n階低頻無雨圖，
    Figure 110132331-A0305-02-0027-17
    為一第n階高頻雨圖，
    Figure 110132331-A0305-02-0027-18
    為一第n階高頻無雨圖，
    Figure 110132331-A0305-02-0027-19
    為一第N階低頻雨圖，
    Figure 110132331-A0305-02-0027-20
    為一第N階低頻無雨圖。
  6. 一種單圖像除雨方法，用以轉換一初始雨圖 為一最終除雨圖，且該單圖像除雨方法包含以下步驟：一小波轉換步驟，係驅動一運算處理單元根據一小波轉換程序處理該初始雨圖以產生一第i階低頻雨圖及複數第i階高頻雨圖，其中i=1~n，i與n均為正整數，且n大於等於3；一圖像除雨步驟，係驅動該運算處理單元將該第i階低頻雨圖輸入至一低頻除雨模型以輸出一第i階低頻除雨圖，且將該些第i階高頻雨圖輸入至一高頻除雨模型以輸出複數第i階高頻除雨圖；一第一逆小波轉換步驟，係驅動該運算處理單元根據一第一逆小波轉換程序重組該第n階低頻除雨圖及該些第n階高頻除雨圖為一第n階除雨圖；一加權混合步驟，係驅動該運算處理單元根據一加權混合程序混合該第n-1階低頻除雨圖與該第n階除雨圖以產生一第n-1階混合除雨圖；一第二逆小波轉換步驟，係驅動該運算處理單元根據一第二逆小波轉換程序重組該些第n-1階高頻除雨圖及該第n-1階混合除雨圖為一第n-1階除雨圖，n設為n-1；以及一殘差網路學習步驟，係驅動該運算處理單元根據n重複執行該加權混合步驟與該第二逆小波轉換步驟，直到n=2為止；其中，在該殘差網路學習步驟中，當n=2時，該第二逆小波轉換步驟之該第n-1階除雨圖為該最終除雨圖； 其中，當n=2時，該第二逆小波轉換程序包含一逆小波轉換函數、一串接函數、一加權混合函數、該第一階低頻除雨圖、該第二階低頻除雨圖、該些第一階高頻除雨圖、該些第二階高頻除雨圖及該最終除雨圖，該逆小波轉換函數表示為ISWT，該串接函數表示為concat，該加權混合函數表示為IWB，該第一階低頻除雨圖表示為
    Figure 110132331-A0305-02-0029-21
    ，該第二階低頻除雨圖表示為
    Figure 110132331-A0305-02-0029-23
    ，該些第一階高頻除雨圖表示為
    Figure 110132331-A0305-02-0029-22
    ，該些第二階高頻除雨圖表示為
    Figure 110132331-A0305-02-0029-24
    ，該最終除雨圖表示為C 1且符合下式：
    Figure 110132331-A0305-02-0029-25
  7. 一種單圖像除雨系統，用以轉換一初始雨圖為一最終除雨圖，且該單圖像除雨系統包含：一儲存單元，用以存取該初始雨圖、一小波轉換程序、一低頻除雨模型、一高頻除雨模型、一第一逆小波轉換程序、一加權混合程序及一第二逆小波轉換程序；以及一運算處理單元，連接該儲存單元，該運算處理單元經配置以實施包含以下步驟之操作：一小波轉換步驟，係驅動該運算處理單元根據該小波轉換程序處理該初始雨圖以產生一第一階低頻雨圖、複數第一階高頻雨圖、一第二階低頻雨圖及複數第二階高頻雨圖；一圖像除雨步驟，係驅動該運算處理單元將該第一階低頻雨圖與該第二階低頻雨圖輸入至該低頻除雨模型以 輸出一第一階低頻除雨圖與一第二階低頻除雨圖，且將該些第一階高頻雨圖及該些第二階高頻雨圖輸入至該高頻除雨模型以輸出複數第一階高頻除雨圖及複數第二階高頻除雨圖；一第一逆小波轉換步驟，係驅動該運算處理單元根據該第一逆小波轉換程序重組該第二階低頻除雨圖及該些第二階高頻除雨圖為一第二階除雨圖；一加權混合步驟，係驅動該運算處理單元根據該加權混合程序混合該第一階低頻除雨圖與該第二階除雨圖以產生一第一階混合除雨圖；以及一第二逆小波轉換步驟，係驅動該運算處理單元根據該第二逆小波轉換程序重組該些第一階高頻除雨圖及該第一階混合除雨圖為該最終除雨圖；其中，該第二逆小波轉換程序包含一逆小波轉換函數、一串接函數、一加權混合函數、該第一階低頻除雨圖、該第二階低頻除雨圖、該些第一階高頻除雨圖、該些第二階高頻除雨圖及該最終除雨圖，該逆小波轉換函數表示為ISWT，該串接函數表示為concat，該加權混合函數表示為IWB，該第一階低頻除雨圖表示為
    Figure 110132331-A0305-02-0030-26
    ，該第二階低頻除雨圖表示為
    Figure 110132331-A0305-02-0030-29
    ，該些第一階高頻除雨圖表示為
    Figure 110132331-A0305-02-0030-27
    ，該些第二階高頻除雨圖表示為
    Figure 110132331-A0305-02-0030-28
    ，該最終除雨圖表示為C 1且符合下式：
    Figure 110132331-A0305-02-0030-30
  8. 如請求項7所述之單圖像除雨系統，其中該小波轉換步驟包含：一第一階小波分解步驟，係驅動該運算處理單元根據該小波轉換程序分解該初始雨圖為該第一階低頻雨圖及該些第一階高頻雨圖；及一第二階小波分解步驟，係驅動該運算處理單元根據該小波轉換程序再分解該第一階低頻雨圖為該第二階低頻雨圖及該些第二階高頻雨圖。
  9. 如請求項7所述之單圖像除雨系統，其中該小波轉換程序包含一小波轉換函數、一初始雨圖、一第一階低頻小波係數、複數第一階高頻小波係數、一第二階低頻小波係數及複數第二階高頻小波係數，該小波轉換函數表示為SWT，該初始雨圖表示為R 0，該第一階低頻小波係數表示為
    Figure 110132331-A0305-02-0031-32
    ，該些第一階高頻小波係數分別表示為
    Figure 110132331-A0305-02-0031-34
    、
    Figure 110132331-A0305-02-0031-35
    及
    Figure 110132331-A0305-02-0031-33
    ，該第二階低頻小波係數表示為
    Figure 110132331-A0305-02-0031-36
    ，該些第二階高頻小波係數分別表示為
    Figure 110132331-A0305-02-0031-37
    、
    Figure 110132331-A0305-02-0031-38
    及
    Figure 110132331-A0305-02-0031-39
    且符合下式：
    Figure 110132331-A0305-02-0031-31
  10. 如請求項7所述之單圖像除雨系統，其中該加權混合程序包含該加權混合函數、一加權值、該第一階低頻除雨圖及該第二階除雨圖，該加權混合函數表示為IWB，該加權值表示為α，該第一階低頻除雨圖表示為 image1，該第二階除雨圖表示為image2且符合下式：IWB=image1 *(1.0-α)+image2 * α。
  11. 如請求項7所述之單圖像除雨系統，其中該運算處理單元根據一損失函數更新該低頻除雨模型與該高頻除雨模型之一參數，且該損失函數與該參數符合下式：
    Figure 110132331-A0305-02-0032-40
     其中，Loss為該損失函數，w為該參數，i為一訓練圖像對，m為該訓練圖像對之一數量，n為一小波轉換之一階層，N為該階層之一數量，
    Figure 110132331-A0305-02-0032-43
    為一第n階低頻雨圖，
    Figure 110132331-A0305-02-0032-41
    為一第n階低頻無雨圖，
    Figure 110132331-A0305-02-0032-44
    為一第n階高頻雨圖，
    Figure 110132331-A0305-02-0032-42
    為一第n階高頻無雨圖，
    Figure 110132331-A0305-02-0032-47
    為一第N階低頻雨圖，
    Figure 110132331-A0305-02-0032-46
    為一第N階低頻無雨圖。
TW110132331A 2021-08-31 2021-08-31 單圖像除雨方法及其系統 TWI780884B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110132331A TWI780884B (zh) 2021-08-31 2021-08-31 單圖像除雨方法及其系統
US17/452,573 US20230060736A1 (en) 2021-08-31 2021-10-28 Single image deraining method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110132331A TWI780884B (zh) 2021-08-31 2021-08-31 單圖像除雨方法及其系統

Publications (2)

Publication Number Publication Date
TWI780884B true TWI780884B (zh) 2022-10-11
TW202312093A TW202312093A (zh) 2023-03-16

Family

ID=85287479

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110132331A TWI780884B (zh) 2021-08-31 2021-08-31 單圖像除雨方法及其系統

Country Status (2)

Country Link
US (1) US20230060736A1 (zh)
TW (1) TWI780884B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304777B (zh) * 2023-04-12 2023-11-03 中国科学院大学 基于静止时参考信号的自适应心电信号去噪方法及系统
CN116883275B (zh) * 2023-07-07 2023-12-29 广州工程技术职业学院 基于边界引导的图像去雨方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337061A (zh) * 2013-07-18 2013-10-02 厦门大学 一种基于多次引导滤波的图像去雨雪方法
CN108648159A (zh) * 2018-05-09 2018-10-12 华南师范大学 一种图像去雨方法及系统
US10282827B2 (en) * 2017-08-10 2019-05-07 Wipro Limited Method and system for removal of rain streak distortion from a video

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014077245A1 (ja) * 2012-11-13 2014-05-22 日本電気株式会社 ノイズ除去システムとノイズ除去方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337061A (zh) * 2013-07-18 2013-10-02 厦门大学 一种基于多次引导滤波的图像去雨雪方法
US10282827B2 (en) * 2017-08-10 2019-05-07 Wipro Limited Method and system for removal of rain streak distortion from a video
CN108648159A (zh) * 2018-05-09 2018-10-12 华南师范大学 一种图像去雨方法及系统

Also Published As

Publication number Publication date
TW202312093A (zh) 2023-03-16
US20230060736A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
TWI780884B (zh) 單圖像除雨方法及其系統
Lebrun An analysis and implementation of the BM3D image denoising method
US6937772B2 (en) Multiresolution based method for removing noise from digital images
CN1114316C (zh) 基于块的图像处理方法及其装置
US6389176B1 (en) System, method and medium for increasing compression of an image while minimizing image degradation
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
Wen et al. An effective network integrating residual learning and channel attention mechanism for thin cloud removal
CN103354617B (zh) 一种基于dct域的边缘强度压缩的图像质量客观评价方法
WO2023010831A1 (zh) 提高图像分辨率的方法、系统、装置及存储介质
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法
CN114821449B (zh) 一种基于注意力机制的车牌图像处理方法
CN113191972A (zh) 一种轻量真实图像去噪的神经网络设计及训练方法
Niu et al. Progressive moire removal and texture complementation for image demoireing
CN1324527C (zh) 用于图像缩放的单元和方法
CN102842123B (zh) 图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
Kovacevic et al. FCO sampling of digital video using perfect reconstruction filter banks
EP0817098B1 (en) Wavelet transform method and apparatus
CN104683818A (zh) 基于双正交不变集多小波的图像压缩方法
CN115345801B (zh) 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
US6748118B1 (en) Method of quantizing signal samples of an image during same
CN111598781B (zh) 一种基于混合高阶注意网络的图像超分辨率方法
US20090214131A1 (en) System and method for multi-scale sigma filtering using quadrature mirror filters
Lakshman et al. Image interpolation using shearlet based sparsity priors

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent