TW202109449A - 影像處理方法、電子設備，和電腦可讀儲存介質 - Google Patents

Abstract

本公開涉及一種影像處理方法、電子設備和電腦可讀儲存介質，其中，該方法包括：對帶雨滴的影像，進行不同粒度雨滴的漸進式去除處理，得到雨滴去除處理後的影像，該不同粒度雨滴的漸進式去除處理至少包括：第一粒度處理和第二粒度處理，將該雨滴去除處理後的影像，與根據該第一粒度處理得到的待處理影像進行融合處理，得到去除雨滴的目標影像。

Description

影像處理方法、電子設備，和電腦可讀儲存介質

本公開涉及電腦視覺技術領域，尤其涉及一種影像處理方法及裝置、電子設備和儲存介質。

電腦視覺技術作為人工智慧的重要組成部分，已經越來越造福和便利人類的日常生活。其中，對有雨滴的影像進行高品質的去除雨滴的技術，正受到越來越多的關注和應用，在日常生活中，有許多場景需要執行去除雨滴的操作，想要達到的需求是：獲得高品質的場景資訊，以輔助更多智慧任務的進行。

因此，本公開提出了一種影像處理的技術方案。

於是，根據本公開的一方面，提供了一種影像處理方法，該方法包括：

對一帶雨滴的影像，進行一不同粒度雨滴的漸進式去除處理，得到一雨滴去除處理後的影像，該不同粒度雨滴的漸進式去除處理至少包括：一第一粒度處理和一第二粒度處理。

將該雨滴去除處理後的影像，與根據該第一粒度處理得到的待處理影像進行融合處理，得到一去除雨滴的目標影像。

採用本公開，採用該第一粒度處理，會保留更多的細節特徵，比如背景中的車或行人等影像細節資訊，可對雨滴的處理粒度和處理效果來說，相對於該第二粒度處理並不夠細緻，需要進一步進行該第二粒度處理，採用該第二粒度處理得到上述雨滴去除處理後的影像，對雨滴的去除處理優於該第一粒度處理，但是可能會導致影像細節資訊，例如：其他非雨滴資訊會丟失，因此，最終還需要將這兩個粒度處理所得到的處理結果進行融合，即：將藉由該第一粒度處理得到的上述待處理影像，與藉由該第二粒度處理得到的上述雨滴去除處理後的影像融合後，最終得到的目標影像能在雨滴去除得到無雨滴效果和保留其他非雨滴資訊間保持一個處理平衡，而不是處理過渡。

可能的實現方式中，該對帶雨滴的影像，進行不同粒度雨滴的漸進式去除處理，得到該雨滴去除處理後的影像，包括：

對該帶雨滴的影像進行該第一粒度處理，得到該待處理影像，該待處理影像包含雨滴特徵資訊。

對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行雨滴相似度比對，得到該雨滴去除處理後的影像，該該雨滴去除處理後的影像包含一去除雨滴後保留的無雨滴區域資訊。

採用本公開，基於二個粒度處理階段的漸進式雨滴去除處理，可以在去除雨滴的同時，保留影像無雨區域的細節，由於藉由該第一粒度處理階段得到的雨滴特徵資訊具備一定的可解釋性，因此，藉由雨滴特徵資訊在第二粒度處理階段進行相似度比對來識別出雨滴和其他非雨滴資訊的區別，從而可以準確的去除雨滴並保留影像無雨區域的細節。

可能的實現方式中，該對該帶雨滴的影像進行該第一粒度處理，得到該待處理影像，包括：

將該帶雨滴的影像經一密集殘差處理和一下採樣處理，得到一雨滴局部特徵資訊。

將該雨滴局部特徵資訊經一區域降雜訊處理和一上採樣處理，得到一雨滴全域特徵資訊。

將根據該雨滴局部特徵資訊和該雨滴全域特徵資訊得到的一雨滴結果，與該帶雨滴的影像進行殘差相減，得到該待處理影像。

採用本公開，根據用於表徵雨滴的局部特徵資訊和用於表徵包含雨滴的所有影像特徵的全域特徵資訊，可以用於分析出特定雨滴特徵與其他非雨滴資訊的區別，從而為更精準的雨滴去除處理做指導。

可能的實現方式中，該雨滴結果包括根據該雨滴局部特徵資訊，和該雨滴全域特徵資訊進行殘差融合得到的處理結果。

採用本公開，根據雨滴局部特徵資訊和該雨滴全域特徵資訊進行殘差融合，得到精確的處理結果。

可能的實現方式中，該將該帶雨滴的影像經該密集殘差處理和該下採樣處理，得到該雨滴局部特徵資訊，包括：

將該帶雨滴的影像輸入一第i層密集殘差模組，得到第一中間處理結果。

將該第一中間處理結果輸入一第i層下採樣模組，得到一局部特徵圖。

將該局部特徵圖經一第i+1層密集殘差模組處理後輸入一第i+1層下採樣模組，經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊，該i為大於等於1且小於預設值的正整數。

採用本公開，經多層密集殘差模組和多層下採樣模組的處理，可以得到由上述局部特徵資訊構成的局部特徵圖，以將該局部特徵圖用於第二粒度處理階段的精細化雨滴去除處理。

可能的實現方式中，該將該雨滴局部特徵資訊經該區域降雜訊處理和該上採樣處理，得到該雨滴全域特徵資訊，包括：

將該雨滴局部特徵資訊輸入一第j層區域敏感模組，得到一第二中間處理結果。

將該第二中間處理結果輸入一第j層上採樣模組，得到一全域增強特徵圖。

將該全域增強特徵圖經一第j+1層區域敏感模組處理後輸入一第j+1層上採樣模組，經該第j+1層上採樣模組的上採樣處理，得到該雨滴全域特徵資訊，j為大於等於1且小於預設值的正整數。

採用本公開，經多層區域敏感模組和多層上採樣模組的處理，可以得到由上述全域特徵資訊構成的全域增強特徵圖，以將該全域增強特徵圖用於第二粒度處理階段的精細化雨滴去除處理。

可能的實現方式中，該經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊，包括：在該第i+1層下採樣模組中，採用局部卷積核進行卷積操作，得到該雨滴局部特徵資訊。

採用本公開，需要得到局部特徵資訊，所以在下採樣時可以藉由局部卷積核進行卷積操作。

可能的實現方式中，該對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行雨滴相似度比對，得到該雨滴去除處理後的影像，包括：

將該待處理影像輸入一上下文語義模組，得到一包含一深層語義特徵和一淺層空間特徵的上下文語義資訊。

根據該上下文語義資訊進行分類，識別出該待處理影像中的一有雨區域，該有雨區域包含雨滴和其他非雨滴資訊。

根據該雨滴特徵資訊對該有雨區域中的圖元點進行雨滴相似度比對，根據比對結果定位出雨滴所在的一雨滴區域和一無雨滴區域。

將該雨滴區域的雨滴去除，並保留該無雨滴區域的資訊後得到該雨滴去除處理後的影像。

採用本公開，根據包含該深層語義特徵和該淺層空間特徵的該上下文語義資訊，首先進行分類，確定出待處理影像中的有雨區域，然後根據該雨滴特徵資訊對該有雨區域中的圖元點進行雨滴相似度比對，以得到根據比對結果定位出雨滴所在的雨滴區域和無雨滴區域，從而將雨滴區域的雨滴去除後，能保留該無雨滴區域的資訊，那麼，經這些處理後得到雨滴去除處理後的影像不僅去雨滴效果更為精確，且保留影像中更多的其他非雨滴的細節資訊。

可能的實現方式中，該將該待處理影像輸入上下文語義模組，得到包含深層語義特徵和淺層空間特徵的上下文語義資訊，包括：

將該待處理影像輸入一卷積模組進行卷積處理，得到一用於生成該深層語義特徵的高維特徵向量。

將該高維特徵向量輸入該上下文語義模組中進行多層的密集殘差處理，得到該深層語義特徵。

將經每層密集殘差處理得到的深層語義特徵和該淺層空間特徵進行融合處理，得到該上下文語義資訊。

採用本公開，經待處理影像的卷積處理，每層密集殘差處理得到的深層語義特徵和淺層空間特徵的融合處理，可以得到上下文語義資訊，以根據上下文語義資訊中的深層語義特徵實現分類，以識別出有雨區域，以及根據上下文語義資訊中的淺層空間特徵實現定位，以確定出雨滴所在的雨滴區域和無雨滴區域。

可能的實現方式中，該將該雨滴去除處理後的影像，與根據該第一粒度處理得到的待處理影像進行融合處理，得到去除雨滴的目標影像，包括：

將該待處理影像輸入一卷積模組，進行卷積處理後得到輸出結果。

將該雨滴去除處理後的影像，與該輸出結果進行融合處理，得到該去除雨滴的目標影像。

採用本公開，經待處理影像的卷積處理，及融合處理，得到的去除雨滴的目標影像，可以達到去雨滴效果更為精確，且保留影像中更多的其他非雨滴的細節資訊的效果。

根據本公開的另一方面，還提供了一種影像處理裝置，該影像處理裝置包括一雨滴處理單元，及一融合單元。

該雨滴處理單元用於對一帶雨滴的影像，進行一不同粒度雨滴的漸進式去除處理，得到一雨滴去除處理後的影像，該不同粒度雨滴的漸進式去除處理至少包括一第一粒度處理，和一第二粒度處理。

該融合單元用於將該雨滴去除處理後的影像，與根據該第一粒度處理得到的一待處理影像進行融合處理，得到一去除雨滴的目標影像。

可能的實現方式中，該雨滴處理單元，用於：

對該帶雨滴的影像進行該第一粒度處理，得到該待處理影像，該待處理影像包含一雨滴特徵資訊。

對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行一雨滴相似度比對，得到該雨滴去除處理後的影像，該雨滴去除處理後的影像包含去除雨滴後保留的一無雨滴區域資訊。

可能的實現方式中，該雨滴處理單元，用於：

將該帶雨滴的影像經一密集殘差處理和一下採樣處理，得到一雨滴局部特徵資訊。

將該雨滴局部特徵資訊經一區域降雜訊處理和一上採樣處理，得到一雨滴全域特徵資訊。

將根據該雨滴局部特徵資訊和該雨滴全域特徵資訊得到的雨滴結果，與該帶雨滴的影像進行殘差相減，得到該待處理影像。

可能的實現方式中，該雨滴結果，包括根據該雨滴局部特徵資訊和該雨滴全域特徵資訊進行殘差融合所得到的處理結果。

可能的實現方式中，該雨滴處理單元，用於：

將該帶雨滴的影像輸入一第i層密集殘差模組，得到第一中間處理結果。

將該第一中間處理結果輸入一第i層下採樣模組，得到一局部特徵圖。

將該局部特徵圖經一第i+1層密集殘差模組處理後輸入一第i+1層下採樣模組，經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊，i為大於等於1且小於預設值的正整數。

可能的實現方式中，其中，該雨滴處理單元，用於：

將該雨滴局部特徵資訊輸入一第j層區域敏感模組，得到一第二中間處理結果。

將該第二中間處理結果輸入一第j層上採樣模組，得到一全域增強特徵圖。

將該全域增強特徵圖經一第j+1層區域敏感模組處理後輸入一第j+1層上採樣模組，經該第j+1層上採樣模組的上採樣處理，得到該雨滴全域特徵資訊，j為大於等於1且小於預設值的正整數。

可能的實現方式中，該雨滴處理單元用於：在該第i+1層下採樣模組中，採用局部卷積核進行卷積操作，得到該雨滴局部特徵資訊。

可能的實現方式中，該雨滴處理單元用於：

將該待處理影像輸入一上下文語義模組，得到一包含一深層語義特徵和一淺層空間特徵的上下文語義資訊。

根據該上下文語義資訊進行分類，識別出該待處理影像中的一有雨區域，該有雨區域包含雨滴和其他非雨滴資訊。

根據該雨滴特徵資訊對該有雨區域中的圖元點進行雨滴相似度比對，根據比對結果定位出雨滴所在的雨滴區域和無雨滴區域。

將該雨滴區域的雨滴去除，並保留該無雨滴區域的資訊後得到該雨滴去除處理後的影像。

可能的實現方式中，該雨滴處理單元用於：

將該待處理影像輸入一卷積模組進行卷積處理，得到一用於生成該深層語義特徵的高維特徵向量。

將該高維特徵向量輸入該上下文語義模組中進行多層的密集殘差處理，得到該深層語義特徵。

將經每層密集殘差處理得到的深層語義特徵和該淺層空間特徵進行融合處理，得到該上下文語義資訊。

可能的實現方式中，該融合單元用於：

將該待處理影像輸入該卷積模組，進行卷積處理後得到輸出結果。

將該雨滴去除處理後的影像，與該輸出結果進行融合處理，得到去除雨滴的目標影像。

根據本公開的再另一方面，還提供了一種電子設備，包括一處理器，及一記憶體。

該記憶體用於儲存該處理器可執行的指令。

該處理器被配置為執行前述的影像處理方法。

根據本公開的再另一方面，還提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，該電腦程式指令被處理器執行時實現前述的影像處理方法。

根據本公開的再另一方面，還提供了一種電腦程式，該電腦程式包括電腦可讀代碼，當該電腦可讀代碼在電子設備中運行時，該電子設備中的處理器執行用於實現前述的影像處理方法。

本發明的功效在於：在本公開技術方案中，對帶雨滴的影像，進行不同粒度雨滴的漸進式去除處理，得到雨滴去除處理後的影像；該不同粒度雨滴的漸進式去除處理至少包括：第一粒度處理和第二粒度處理；將該雨滴去除處理後的影像，與根據該第一粒度處理得到的待處理影像進行融合處理，得到去除雨滴的目標影像，本公開實施例由於分別採用第一粒度處理階段、及第二粒度處理階段這兩階段的漸進式去除處理，因此，不僅能去除雨滴，而且，不會過度處理，將其他非雨滴的資訊一併去除，從而在去除雨滴和保留無雨滴區域資訊之間保持了良好的平衡。

以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。

在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”，這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。

本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況，另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。

另外，為了更好的說明本公開，在下文的具體實施方式中給出了眾多的具體細節，本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施，在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。

對有雨滴的影像進行高品質的自動去除雨滴的技術，可以應用於日常生活的許多場景中，比如：在自動駕駛中去除雨滴對視線的影響，提升駕駛品質；在智慧人像攝影去除雨滴的干擾，得到更加美化且清晰的背景；對監控視頻中的畫面進行去除雨滴的操作，從而使得在暴雨天氣下仍然能得到比較清晰的監控畫面，提升監控的品質。藉由自動去除雨滴的操作，可以獲得高品質的場景資訊。

相關去除雨滴的方法中，主要基於成對的有/無雨影像，利用深度學習的端到端的方法，結合多尺度建模、密集殘差連接網路和視頻幀光流等技術進行去雨，這些方法都是單純追求去除雨滴的效果，而忽略了對影像中無雨區域的細節資訊進行保護建模，也缺乏一定的可解釋性，資料和機器學習模型的可解釋性是在資料科學的“有用性”中至關重要的方面之一，它確保模型與想要解決的問題保持一致，即能解決問題，又知道是藉由哪個環節來解釋的問題，而不僅僅是只單純解決了問題，可不知道具體哪個環節起了解釋作用。

相關去除雨滴的方法中，以基於單影像的端到端的去除影像雨滴的方法為例進行說明，該方法基於成對的有/無雨的單影像資料，利用多尺度的特徵進行端到端的建模學習，包括利用卷積神經網路（CNN, Convolutional Neural Network）、池化操作（Pooling）、反卷積操作和插值操作等技術構建一個包含編碼器和解碼器的網路，輸入帶有雨滴的影像到該網路中，根據單張無雨影像的監督資訊，讓輸入的帶有雨滴的影像轉換為無雨滴的影像，然而，採用該方法容易造成去雨過度，而丟失部分影像的細節資訊，使得去完雨滴的影像出現失真的問題。

相關去除雨滴的方法中，以基於視頻流的方式進行去除雨滴的方法為例進行說明，該方法是利用視頻幀之間的時序資訊，藉由捕捉兩幀之間雨滴的視頻光流，然後利用這種時序的光流去除動態的雨滴，從而得到無雨滴的影像，然而，一方面，該方法的應用場景僅適用於視頻資料集，對於單張影像構成的攝影場景無法適用，另一方面，該方法依賴於連續前後兩幀的資訊，如果出現斷幀情況，會對去雨的效果產生影響。

採用上述兩種方法，都沒有對去雨這個任務進行顯性的雨滴建模和解釋，同時缺乏對不同粒度的雨滴進行充分考慮和建模，因此，難以把握過分去雨和去雨不夠之間的平衡問題，過分去雨是指去雨的效果過強，把一些沒有雨滴的影像區域也抹去，由於丟失了無雨區域的影像細節，因此，造成影像失真的問題。去雨不夠是指去雨的效果過弱，沒有充分把影像的雨滴去除乾淨。

採用本公開，基於粗粒度到細粒度漸進式的去除影像雨滴處理，可以在去除雨滴的同時，保留影像無雨區域的細節，由於藉由第一粒度處理階段得到的雨滴特徵資訊具備一定的可解釋性，因此，藉由雨滴特徵資訊在第二粒度處理階段進行相似度比對來識別出雨滴和其他非雨滴資訊的區別，從而可以準確的去除雨滴並保留影像無雨區域的細節。

需要指出的是，第一粒度處理指：粗粒度雨滴去除處理；第二粒度處理指：細粒度雨滴去除處理，粗粒度雨滴去除處理和細粒度雨滴去除處理是相對的表述，無論粗粒度雨滴去除處理，還是細粒度雨滴去除，二者處理的目的都是為了從影像中識別出雨滴並將其去除，只是去除的程度不一樣，藉由粗粒度雨滴去除處理不夠準確，因此，需要進一步藉由粗粒度雨滴去除處理才可以得到更精確的處理效果，比如，畫一幅素描，粗粒度就是打輪廓，相對來說，繪製陰影和細節就是細粒度。

圖1示出根據本公開實施例的影像處理方法的流程圖，該方法應用於影像處理裝置，例如，該影像處理裝置部署於終端設備或伺服器或其它處理設備執行的情況下，可以執行影像分類、影像檢測和視頻處理等等。其中，終端設備可以為使用者設備（UE，User Equipment）、移動設備、蜂巢式電話、無線電話、個人數文書處理（PDA，Personal Digital Assistant）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該影像處理方法可以藉由處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示，該流程包括：

步驟S101、對帶雨滴的影像，進行不同粒度雨滴的漸進式去除處理，得到雨滴去除處理後的影像；該不同粒度雨滴的漸進式去除處理至少包括：第一粒度處理和第二粒度處理這兩個階段的處理。

在第一粒度處理階段，對帶雨滴的影像進行處理，除了得到待處理影像，而且，該待處理影像包含雨滴特徵資訊，該雨滴特徵資訊，用於區別出雨滴和影像中其他非雨滴資訊。該雨滴特徵資訊是在這個階段藉由大量訓練樣本學習得到的，在這個階段並未將雨滴全部去除。該待處理影像作為根據第一粒度處理得到的中間處理結果，進入第二粒度的處理階段後，可以根據該雨滴特徵資訊進行雨滴相似度比對，從而得到雨滴去除處理後的影像，還可以將該待處理影像經卷積處理後的結果和該雨滴去除處理後的影像進行融合，得到最終去除雨滴的目標影像。

在一種可能的實現方式中，對帶雨滴的影像進行第一粒度處理，可以得到待處理影像，待處理影像包含雨滴特徵資訊，對待處理影像進行第二粒度處理，並根據雨滴特徵資訊對待處理影像中的圖元點進行雨滴相似度比對，可以得到雨滴去除處理後的影像。雨滴去除處理後的影像包含：去除雨滴後保留的無雨滴區域資訊。藉由雨滴相似度比對，可以區分開影像中的雨滴和其他非雨滴資訊（如影像中的背景資訊，房子，車，樹木，行人等等），而不會在去除雨滴時誤把該其他非雨滴資訊一併去除。

步驟S102、將該雨滴去除處理後的影像，與待處理影像進行融合處理，得到去除雨滴的目標影像。

一示例中，可以將雨滴去除處理後的影像，與待處理影像經卷積處理得到的結果進行融合處理，以得到去除雨滴的目標影像，比如，將該待處理影像輸入卷積模組，進行卷積處理後得到輸出結果。將該雨滴去除處理後的影像，與該輸出結果進行融合處理，得到該去除雨滴的目標影像。

對於融合處理而言，可以把第一粒度處理階段得到的待處理影像（如初步去雨的影像）經過一次卷積操作（比如3*3卷積）再與第二粒度處理階段得到的雨滴去除處理後的影像（如藉由本公開兩個階段的處理後得到的趨於精確的去雨影像）予以融合，待處理影像輸入卷積模組，並執行3*3卷積操作，輸入卷積模組和卷積模組輸出的影像大小不變，是對其影像特徵進行處理，在融合過程中，可以將其影像特徵與第二粒度處理階段得到影像特徵進行Concate後，再經過1*1卷積核的卷積處理及Sigmoid函數的非線性處理，得到去除雨滴的目標影像（如最終的去雨影像）。Concate為一個連接函數，用於連接多個影像特徵，而Sigmoid函數為神經網路中的啟動函數，為非線性函數，用於引入非線性，具體的非線性形式不做限定。

採用本公開，若對於影像中的雨滴，只採用第一粒度處理，雖然會保留更多的細節特徵，比如背景中的車或行人等影像細節資訊，但是，對雨滴的處理粒度和處理效果來說，相對於第二粒度處理並不夠細緻，需要進一步進行第二粒度處理，採用第二粒度處理得到上述雨滴去除處理後的影像，對雨滴的去除處理優於第一粒度處理，但是可能會導致影像細節資訊，如其他非雨滴資訊會丟失，因此，最終，還需要將這兩個粒度處理所得到的處理結果進行融合，即：將藉由第一粒度處理得到的上述待處理影像，與藉由第二粒度處理得到的上述雨滴去除處理後的影像融合後，最終得到的目標影像能在雨滴去除得到無雨滴效果和保留其他非雨滴資訊間保持一個處理平衡，而不是處理過度。

對於上述步驟S101-步驟S102，一個示例如圖2所示，圖2示出根據本公開實施例的影像處理方法的流程圖，包括粗粒度和細粒度這兩個雨滴去除階段的處理，該待處理影像可以為根據第一粒度處理得到的中間處理結果，該雨滴去除處理後的影像可以為根據第二粒度處理得到的處理結果，將該帶雨滴的影像先進行第一粒度處理階段的處理，得到雨滴結果，如粗紋理雨斑掩模，在這個第一粒度處理階段並未將雨滴去除，可以在該階段性學習中得到雨滴特徵資訊，以用於後續的雨滴相似度比對。將該帶雨滴的影像和該雨滴結果進行殘差相減運算，輸出去除粗粒度雨滴的結果，即用於下一階段（第二粒度處理階段）處理的待處理影像，將該待處理影像進行第二粒度處理階段的處理，得到該雨滴去除處理後的影像，將該待處理影像經卷積處理後的結果和該雨滴去除處理後的影像進行融合，得到最終去除雨滴的目標影像，採用本公開，藉由將帶雨滴的影像，進行不同粒度雨滴的漸進式去除處理所得到的該目標影像，可以在去除雨滴的同時，保留影像無雨滴區域的細節。

可能的實現方式中，對該帶雨滴的影像進行該第一粒度處理，得到待處理影像，包括如下內容：

一、將該帶雨滴的影像經密集殘差處理和下採樣處理，得到雨滴局部特徵資訊。

將該帶雨滴的影像經至少兩層的密集殘差模組和逐層下採樣處理，可以得到用於表徵該雨滴特徵資訊的局部特徵圖，局部特徵圖由局部特徵構成，用於反映影像特徵的局部表達，局部特徵圖可以為多個，比如，經每層的密集殘差模組和逐層下採樣處理，可以得到對應每層輸出的多個局部特徵圖，將多個局部特徵圖以並行的方式與多個全域增強特徵圖進行殘差融合，以得到該雨滴結果，又如，經每層的密集殘差模組和逐層下採樣處理，可以得到對應每層輸出的多個局部特徵圖，將多個局部特徵圖以串列的方式連接後，將連接後的局部特徵圖與多個全域增強特徵圖進行殘差融合，以得到該雨滴結果。

為了在第二粒度處理階段達到更為精確去除影像中雨滴的處理效果，因此，在第一粒度處理階段，需要得到影像中用於表徵雨滴特徵資訊的局部特徵，以便於將該局部特徵應用於第二粒度處理階段進行雨滴相似度比對，從而將影像中的雨滴和其他非雨滴資訊區別開來。

需要指出的是：每一層都有密集殘差模組和下採樣模組，以分別進行密集殘差和下採樣處理，將該局部特徵圖作為該雨滴局部特徵資訊。

一示例中，將帶雨滴的影像輸入第i層密集殘差模組，得到第一中間處理結果；將該第一中間處理結果輸入第i層下採樣模組，得到局部特徵圖，將該局部特徵圖經該第i+1層密集殘差模組處理後輸入該第i+1層下採樣模組，經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊，該i為大於等於1且小於預設值的正整數，預設值可以為2、3、4….m等，m為預設值的上限，可以根據經驗值來配置、或者可以根據所需雨滴局部特徵資訊的精度來配置。

在逐層下採樣處理中，可以採用局部卷積核進行卷積操作，可以得到該局部特徵圖。

二、將該雨滴局部特徵資訊經區域降雜訊處理和上採樣處理，得到雨滴全域特徵資訊。

需要指出的是：區域降雜訊處理可以藉由區域敏感模組來處理，區域敏感模組可以識別出影像中的雨滴，將與雨滴無關的其他非雨滴資訊，比如樹、車、行人等影像背景作為雜訊，且將該雜訊與雨滴區分開。

將該局部特徵圖經至少兩層的區域敏感模組和逐層上採樣處理，可以得到包含該雨滴特徵資訊的全域增強特徵圖，全域增強特徵圖是相對於局部特徵圖而言的，全域增強特徵圖是指能表示整幅影像上影像特徵的特徵圖。

全域增強特徵圖可以為多個，比如，經每層的區域敏感模組和逐層上採樣處理，可以得到對應每層輸出的多個全域增強特徵圖，將多個全域增強特徵圖以並行的方式與多個局部特徵圖進行殘差融合，以得到該雨滴結果，又如，經每層的區域敏感模組和逐層上採樣處理，可以得到對應每層輸出的多個全域增強特徵圖，將多個全域增強特徵圖以串列的方式連接後，將連接後的全域增強特徵圖與多個局部特徵圖進行殘差融合，以得到該雨滴結果。

需要指出的是：每一層都有區域敏感模組和上採樣模組，以分別進行區域降雜訊處理和上採樣處理，將該全域增強特徵圖作為該雨滴全域特徵資訊，將該局部特徵圖和該全域增強特徵圖進行殘差融合，得到該雨滴結果。

將該局部特徵圖輸入每層區域敏感模組得到的全域增強特徵圖，分別進行逐層上採樣處理，可以得到放大後的全域增強特徵圖。將該放大後的全域增強特徵圖，可以與每層密集殘差處理得到的局部特徵圖進行逐層殘差融合，得到該雨滴結果，該雨滴結果可以包括：根據該雨滴局部特徵資訊和該雨滴全域特徵資訊進行殘差融合後所得到的處理結果。

一示例中，將該雨滴局部特徵資訊輸入第j層區域敏感模組，得到第二中間處理結果；將該第二中間處理結果輸入第j層上採樣模組，得到全域增強特徵圖；將該全域增強特徵圖經該第j+1層區域敏感模組處理後輸入該第j+1層上採樣模組，經該第j+1層上採樣模組的上採樣處理，得到該雨滴全域特徵資訊；該j為大於等於1且小於預設值的正整數，預設值可以為2、3、4….n等，n為預設值的上限，可以根據經驗值來配置、或者可以根據所需雨滴全域特徵資訊的精度來配置。

逐層上採樣的處理，可以採用相關技術中的卷積操作，即採用卷積核進行卷積操作。

對於上採樣和下採樣來說，如圖3所示，在上採樣模組和下採樣模組間的連接，是指：上、下採樣間的跳躍連接，具體而言，可以先進行下採樣，後進行上採樣，並將同一層的上採樣和下採樣處理進行該跳躍連接，在下採樣的過程中，需要記錄每個下採樣特徵點的空間座標資訊，對應連接到上採樣時，需要利用這些空間座標資訊，並將這些空間座標資訊作為上採樣輸入的一部分，以更好地實現上採樣的空間恢復功能，空間恢復是指：由於對影像進行採樣（包括上採樣和下採樣）都會導致失真，簡言之，可以理解為下採樣是縮小影像，上採樣是放大影像，那麼，由於藉由下採樣縮小影像導致位置發生變化，如果需要不失真的還原，則可以藉由上採樣可以對其位置進行恢復。

三、將根據該雨滴局部特徵資訊和該雨滴全域特徵資訊得到的雨滴結果，與該帶雨滴的影像進行殘差相減，得到該待處理影像。

雨滴結果，是根據影像中用於表徵雨滴特徵的局部特徵資訊，和影像中用於表徵所有特徵的全域特徵資訊得到的處理結果，也可以稱為經第一粒度處理階段所得到的初步去除雨滴的結果，然後，將輸入本公開神經網路的帶雨滴影像與該雨滴結果進行殘差相減（任意兩個特徵的相減），以得到待處理影像。

可能的實現方式中，對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行雨滴相似度比對，得到該雨滴去除處理後的影像，包括：可以將該待處理影像輸入卷積模組進行卷積處理後輸入上下文語義模組，得到包含深層語義特徵和淺層空間特徵的上下文語義資訊，其中，該深層語義特徵，可以用於識別分類，比如，可以識別出雨和其他類別（車、樹、人）資訊的區別並進行分類，而淺層空間特徵，可以用於在所識別出的某類別中獲取該類別中具體哪一部分，可以根據具體的紋理資訊來獲取該類別中的具體部分，比如，掃描人體的場景中，可以藉由深層語義特徵可以識別出人臉，人手，軀幹等類別，對於其中的人手，可以藉由淺層空間特徵定位到人手中手掌的位置，對於本公開，可以藉由深層語義特徵識別出有雨區域，然後再藉由淺層空間特徵定位出雨滴所在位置。

一示例中，根據上下文語義資訊進行分類，識別出該待處理影像中的有雨區域，該有雨區域包含雨滴和其他非雨滴資訊，由於在該有雨區域中存在雨滴，需要進一步去除雨滴，就要區分雨滴區域和無雨滴區域，因此，需要根據該雨滴特徵資訊對該有雨區域中圖元點進行雨滴相似度比對，根據比對結果定位出雨滴所在的雨滴區域和無雨滴區域，將該雨滴區域的雨滴去除，並保留該無雨滴區域的資訊後得到該雨滴去除處理後的影像。

可能的實現方式中，可以將該待處理影像經卷積處理後輸入上下文語義模組，得到包含深層語義特徵和淺層空間特徵的上下文語義資訊，包括：將該待處理影像經卷積模組的卷積處理，得到用於生成該深層語義特徵的高維特徵向量，高維特徵向量指：通道數比較多的特徵，比如3000*寬*高的特徵，高維特徵向量不包括空間資訊，比如，對一句話進行語義分析，可以得到高維特徵向量。比如，二維空間是二維向量，三維空間是三維向量，超過三維的如四維，五維度，就屬於高維特徵向量，將該高維特徵向量輸入該上下文語義模組中進行多層的密集殘差處理，得到該深層語義特徵，將經每層密集殘差處理得到的深層語義特徵和該淺層空間特徵進行融合處理，得到該上下文語義資訊，需要指出的是：上下文語義資訊指融合了深層語義特徵和淺層空間特徵的資訊。

需要指出的是，深層語義特徵主要用於分類識別，淺層空間特徵主要用於具體定位，深層語義特徵和淺層空間特徵是相對而言，對於如圖3所示藉由多層卷積模組進行處理的階段來說，在初始卷積處理時得到的是淺層空間特徵，而越往後進行多次卷積處理，所得到的是深層語義特徵，也可以說，在卷積處理過程中，前半部分得到的是淺層空間特徵，而後半部分相對前半部分而言，得到的特徵就是深層語義特徵，深層語義特徵對於語義的表示會比淺層空間特徵更加豐富，這是由卷積核的卷積特性決定的，一張影像經過多層卷積處理，到後面的有效空間區域會越來越小，所以，深層語義特徵會丟失一些空間資訊，但由於經過了多層的卷積學習，可以獲得相對於淺層空間特徵更為豐富的語義特徵表達。

該上下文語義模組中包括密集殘差模組和融合模組，分別進行密集殘差處理和融合處理，一個示例中，將得到的高維特徵向量輸入到上下文語義模組，先經過多層密集殘差模組得到深層語義特徵，然後將多層的密集殘差模組輸出的深層語義特徵經過融合模組串聯在一起，可以經過一個1x1卷積操作進行融合處理，以將多層上下文語義模組輸出的上下文語義資訊融合在一起，從而充分融合深層語義特徵和淺層空間特徵，在輔助進一步去除一些殘留的細粒度雨滴的同時，還可以增強影像的細節資訊。

應用示例：

圖3示出根據本公開實施例的影像處理方法的又一流程圖，如圖3所示，可以結合粗粒度雨滴去除階段和細粒度雨滴去除階段的漸進式處理方式，去除影像中的雨滴，進行漸進式地學習去雨的過程，其中，在粗粒度雨滴去除階段中，可以藉由區域敏感模組來對局部-全域的特徵進行融合，以挖掘粗粒度雨滴的特徵資訊；在細粒度雨滴去除階段中，可以藉由上下文語義模組來對細粒度的雨滴進行去除，同時保護影像的細節資訊不受破壞。如圖3所示，本公開實施例的影像處理方法包括如下兩個階段：

一：粗粒度雨滴去除階段

在本階段，可以是輸入帶雨滴的影像，然後生成粗粒度的雨滴影像，再利用帶雨滴的影像和生成的雨滴影像進行殘差相減，達到對粗粒度雨滴的去除目的，該階段主要包含密集殘差模組，上採樣操作，下採樣操作和區域敏感模組，如圖3所示，該階段主要分為以下4個步驟：

1）將輸入的帶雨滴影像先經過密集殘差模組和下採樣操作，得到深層語義特徵，其中，下採樣操作可以得到不同空間尺度的特徵資訊，豐富特徵的感受野，該下採樣操作是基於局部的卷積核進行卷積操作，可以學習到局部的特徵資訊，密集殘差模組的示意圖如圖4所示，可以由多個3×3的卷積模組構成。

這裡結合圖4進行說明，對於密集殘差模組的處理而言，三層密集殘差是由三個殘差模組組成，同時把每個殘差模組的輸入都和下一個殘差模組的輸出Concate在一起後作為輸入，對於下採樣模組的處理而言，下採樣是採用maxpool進行下採樣，maxpool是池化操作的一種實現方式，在卷積處理後可以進行該池化操作，maxpool可以是針對多個通道（如影像中的R/G/B是三通道）中每個通道圖元點的處理，以得到每個圖元點的特徵值，maxpool是在一個固定的滑動劃窗（如滑動視窗2*2）中選取最大的特徵值作為代表。

2）根據如下公式（1）構建區域敏感模組，公式（1）中，

和

分別表示在第r塊區域中，對應的輸出特徵圖的第i個位置資訊和輸入特徵圖的第i個位置資訊，

對應表示在第r塊區域中輸入特徵圖的第j個位置資訊，C（）表示歸一化操作，例如：

。f( )和g( )都是指卷積神經網路，該卷積神經網路的處理可以是對應1*1的卷積操作。

在該區域敏感模組的構建過程中，在影像某指定區域中的每個輸出圖元的值，是藉由對每個輸入圖元的值進行加權求和得到的，對應的權重是藉由輸入圖元兩兩之間進行內積操作得到的。藉由該區域敏感模組，可以得到影像中每個圖元和其他圖元之間的關係表達，從而可以得到一個全域增強的特徵資訊，對於去除雨滴的任務來說，藉由該全域增強的特徵資訊，可以更加有效地輔助識別雨滴和非雨滴的特徵，同時基於該指定區域來構建，可以更加有效地減少計算量，進而提升效率。

(1)

3）將1）中得到的該局部的特徵資訊輸入到該區域敏感模組，經過區域敏感模組，可以得到全域增強的特徵資訊，再經過上採樣進行放大，然後，將放大的全域特徵圖（由該全域增強的特徵資訊構成的特徵圖）和淺層的局部特徵圖（由該局部的特徵資訊構成的特徵圖）逐層進行殘差融合，最後輸出粗粒度的雨滴結果。採用本公開本階段得到的雨滴結果，可以在去除可以讓本公開的神經網路架構相對於端到端網路更加具有可解釋性的同時，經過兩階段去雨的過程，不僅可以去除一些粗粒度的雨滴，同時，可以有效保留無雨區域的影像細節，防止過度去雨。藉由該雨滴結果，還可以本公開神經網路訓練的參考指示，以及時瞭解和調整本公開神經網路的學習情況，達到更好的訓練效果。

這裡結合圖4進行說明，圖4的模組對應到圖3的整體神經網路架構中，即為密集殘差模組。首先，影像可以經過密集殘差模組，然後在經過下採樣，這樣的操作經過三次，分別得到三種不同解析度大小的特徵，即最終的下採樣特徵。然後，將該下採樣特徵先經過區域敏感模組來獲得雨滴的特性，再經過上採樣恢復跟第三次下採樣之前的特徵一樣尺度大小，然後進行殘差融合（殘差融合是將任意兩個特徵直接相加），再經過一層區域敏感模組和上採樣，然後和第二次下採樣之前的特徵進行殘差融合，依次類推，得到第三次殘差融合的特徵後就是經第一粒度處理階段所得到的雨滴結果，即初步雨滴的結果，然後進行殘差相減，殘差相減是利用輸入的帶雨滴影像減去得到的雨滴結果，以得到待處理影像，即待處理的初步去雨的結果。最後，將待處理影像輸入到第二個階段進行細緻去雨後，就得到最終的去除雨滴的目標影像。

4）從3）中得到粗粒度的雨滴結果，然後利用輸入的帶雨滴影像結合雨滴結果進行殘差相減，得到去除粗粒度雨滴的結果，即是本粗粒度階段去雨的初步去雨結果。

二：細粒度雨滴去除階段

本階段在於去除殘留的細粒度雨滴同時，保留影像無雨區域的細節特徵，該階段包含普通卷積操作和上下文語義模組。該上下文語義模組包括一系列的密集殘差模組和一個融合模組，如圖3所示，該階段演算法主要分為以下3個步驟：

1）將粗粒度雨滴去除階段的初步去雨結果作為本階段的輸入，利用卷積模組（如兩層級聯卷積層）得到高維特徵。

2）將得到的高維特徵輸入到上下文語義模組，先經過多層密集殘差模組得到深層語義特徵，密集殘差模組的示意圖如圖4所示，可以由多個3×3的卷積模組構成，然後將多層的密集殘差模組的輸出經過融合模組串聯在一起，經過一個1x1卷積操作進行融合多層密集殘差模組的上下文語義資訊，以充分融合深層語義特徵和淺層空間特徵，並進一步去除一些殘留的細粒度雨滴的同時，增強影像的細節資訊，得到本階段的細節增強結果。

3）最後，利用第一階段的初步去雨結果和本階段的細節增強結果進行融合，得到最終的去雨結果。

對於融合處理而言，簡單來說，就是將上述兩步的處理結果進行Concate後，經過一個1*1的卷積操作，再經過一個Sigmoid函數的非線性處理以完成融合。具體的，可以把第一粒度處理階段得到的待處理影像（如初步去雨的影像）經過一次卷積操作（比如3*3卷積）再與第二粒度處理階段得到的雨滴去除處理後的影像（如藉由本公開兩個階段的處理後得到的趨於精確的去雨影像）予以融合。待處理影像輸入卷積模組，並執行3*3卷積操作，輸入卷積模組和卷積模組輸出的影像大小不變，是對其影像特徵進行處理，在融合過程中，可以將其影像特徵與第二粒度處理階段得到影像特徵進行Concate後，再經過1*1卷積核的卷積處理及Sigmoid函數的非線性處理，得到去除雨滴的目標影像（如最終的去雨影像），Concate為一個連接函數，用於連接多個影像特徵，而Sigmoid函數為神經網路中的啟動函數，為非線性函數，用於引入非線性，具體的非線性形式不做限定。

採用本公開，可以利用局部卷積核提取的局部特徵，並結合區域敏感模組提取的全域特徵，進行“局部-全域”的第一階段第一粒度處理，然後利用上下文語義模組進行第二階段第二粒度處理，在去除細粒度的雨滴同時，還可以保留影像的細節資訊。由於可以學習到雨滴特徵資訊，因此，可以將相關技術中採用端到端“黑匣子”過程劃分為具有可解釋性的二階段去雨過程，使得與去除雨滴操作相關的場景的任務性能得到提升，比如在自動駕駛中採用本公開去除雨滴對視線的影響，可以提升駕駛品質；在智慧人像攝影中採用本公開去除雨滴的干擾，可以得到更加美化且清晰的背景；在對監控視頻中的畫面採用本公開進行去除雨滴的操作，可以使得在暴雨天氣下仍然能得到比較清晰的監控畫面。

本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。

本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。

此外，本公開還提供了影像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本公開提供的任一種影像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。

圖5示出根據本公開實施例的影像處理裝置的方塊圖，如圖5所示，該處理裝置，包括：雨滴處理單元31，用於對帶雨滴的影像，進行不同粒度雨滴的漸進式去除處理，得到雨滴去除處理後的影像，該不同粒度雨滴的漸進式去除處理至少包括：第一粒度處理和第二粒度處理；融合單元32，用於將該雨滴去除處理後的影像，與根據該第一粒度處理得到的待處理影像進行融合處理，得到去除雨滴的目標影像。

可能的實現方式中，該雨滴處理單元，用於：對該帶雨滴的影像進行該第一粒度處理，得到該待處理影像，該待處理影像包含雨滴特徵資訊；對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行雨滴相似度比對，得到該雨滴去除處理後的影像，該雨滴去除處理後的影像包含去除雨滴後保留的無雨滴區域資訊。

可能的實現方式中，該雨滴處理單元，用於：將該帶雨滴的影像經密集殘差處理和下採樣處理，得到雨滴局部特徵資訊；將該雨滴局部特徵資訊經區域降雜訊處理和上採樣處理，得到雨滴全域特徵資訊；將根據該雨滴局部特徵資訊和該雨滴全域特徵資訊得到的雨滴結果，與該帶雨滴的影像進行殘差相減，得到該待處理影像。

可能的實現方式中，該雨滴結果，包括根據該雨滴局部特徵資訊和該雨滴全域特徵資訊進行殘差融合，得到的處理結果。

可能的實現方式中，該雨滴處理單元，用於：將該帶雨滴的影像輸入第i層密集殘差模組，得到第一中間處理結果；將該第一中間處理結果輸入第i層下採樣模組，得到局部特徵圖；將該局部特徵圖經該第i+1層密集殘差模組處理後輸入該第i+1層下採樣模組，經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊；該i為大於等於1且小於預設值的正整數。預設值可以為2、3、4….m等，m為預設值的上限，可以根據經驗值來配置、或者可以根據所需雨滴局部特徵資訊的精度來配置。

可能的實現方式中，該雨滴處理單元用於：將該雨滴局部特徵資訊輸入第j層區域敏感模組，得到第二中間處理結果；將該第二中間處理結果輸入第j層上採樣模組，得到全域增強特徵圖；將該全域增強特徵圖經該第j+1層區域敏感模組處理後輸入該第j+1層上採樣模組，經該第j+1層上採樣模組的上採樣處理，得到該雨滴全域特徵資訊；該j為大於等於1且小於預設值的正整數。預設值可以為2、3、4….n等，n為預設值的上限，可以根據經驗值來配置、或者可以根據所需雨滴全域特徵資訊的精度來配置。

可能的實現方式中，該雨滴處理單元用於：在該第i層下採樣模組中，採用局部卷積核進行卷積操作，得到該雨滴局部特徵資訊。

可能的實現方式中，該雨滴處理單元，用於：將該待處理影像輸入上下文語義模組，得到包含深層語義特徵和淺層空間特徵的上下文語義資訊；根據該上下文語義資訊進行分類，識別出該待處理影像中的有雨區域，該有雨區域包含雨滴和其他非雨滴資訊；根據該雨滴特徵資訊對該有雨區域中的圖元點進行雨滴相似度比對，根據比對結果定位出雨滴所在的雨滴區域和無雨滴區域；將該雨滴區域的雨滴去除，並保留該無雨滴區域的資訊後得到該雨滴去除處理後的影像。

可能的實現方式中，該雨滴處理單元，用於：將該待處理影像輸入卷積模組進行卷積處理，得到用於生成該深層語義特徵的高維特徵向量；將該高維特徵向量輸入該上下文語義模組中進行多層的密集殘差處理，得到該深層語義特徵；將經每層密集殘差處理得到的深層語義特徵和該淺層空間特徵進行融合處理，得到該上下文語義資訊。

可能的實現方式中，該融合單元用於：將該待處理影像輸入卷積模組，進行卷積處理後得到輸出結果；將將該雨滴去除處理後的影像，與該輸出結果進行融合處理，得到去除雨滴的目標影像。

在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。

本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，該電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是揮發性電腦可讀儲存介質或非揮發性電腦可讀儲存介質。

本公開實施例提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖片搜索方法的指令。

本公開實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖片搜索方法的操作。

該電腦程式產品可以具體藉由硬體、軟體或其結合的方式實現。在一個可選實施例中，該電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。

本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，該處理器被配置為上述方法。

電子設備可以被提供為終端、伺服器或其它形態的設備。

圖6是根據一示例性實施例示出的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。

參照圖6，電子設備800可以包括以下一個或多個元件：處理元件802，記憶體804，電源元件806，多媒體元件808，音訊元件810，輸入/輸出（I/O）介面812，感測器元件814，以及通信元件816。

處理元件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理元件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理元件802可以包括一個或多個模組，便於處理元件802和其他元件之間的交互。例如，處理元件802可以包括多媒體模組，以方便多媒體元件808和處理元件802之間的交互。

記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，影像，視頻等。記憶體804可以由任何類型的揮發性或非揮發性存放裝置或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除式可程式設計唯讀記憶體（EEPROM），可抹除式可程式設計唯讀記憶體（EPROM），可程式設計唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁片或光碟。

電源元件806為電子設備800的各種元件提供電力。電源元件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的元件。

多媒體元件808包括在該電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控式面板（TP）。如果螢幕包括觸控式面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸控式面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。該觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與該觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體元件808包括一個前置攝像頭和/或後置攝像頭，當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料，每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。

音訊元件810被配置為輸出和/或輸入音訊信號。例如，音訊元件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信元件816發送。在一些實施例中，音訊元件810還包括一個揚聲器，用於輸出音訊信號。

I/O介面812為處理元件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

感測器元件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器元件814可以檢測到電子設備800的打開/關閉狀態，元件的相對定位，例如該元件為電子設備800的顯示器和小鍵盤，感測器元件814還可以檢測電子設備800或電子設備800一個元件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器元件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器元件814還可以包括光感測器，如CMOS或CCD影像感測器，用於在成像應用中使用。在一些實施例中，該感測器元件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。

通信元件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信元件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，該通信元件816還包括近場通信（NFC）模組，以促進短程通信。例如，在NFC模組可基於射頻識別（RFID）技術，紅外資料協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。

在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位信號處理設備（DSPD）、可程式設計邏輯器件（PLD）、現場可程式現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。

在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。

圖7是根據一示例性實施例示出的一種電子設備900的方塊圖。例如，電子設備900可以被提供為一伺服器。參照圖7，電子設備900包括處理元件922，其進一步包括一個或多個處理器，以及由記憶體932所代表的記憶體資源，用於儲存可由處理元件922的執行的指令，例如應用程式。記憶體932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理元件922被配置為執行指令，以執行上述方法。

電子設備900還可以包括一個電源元件926被配置為執行電子設備900的電源管理，一個有線或無線的網路介面950被配置為將電子設備900連接到網路，和一個輸入輸出（I/O）介面958。電子設備900可以操作基於儲存在記憶體932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。

在示例性實施例中，還提供了一種電腦可讀儲存介質，可為揮發性儲存介質或非揮發性儲存介質，例如包括電腦程式指令的記憶體932，上述電腦程式指令可由電子設備900的處理元件922執行以完成上述方法。

本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。

電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是――但不限於――電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子（非窮舉的列表）包括：可攜式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能盤（DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、藉由波導或其他傳輸媒介傳播的電磁波（例如，藉由光纖電纜的光脈衝）、或者藉由電線傳輸的電信號。

這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者藉由網路、例如網際網路、區域/廣域網路，和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。

用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，該程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以藉由任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來藉由網際網路連接）。在一些實施例中，藉由利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式設計邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。

這裡參照根據本公開實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方框以及流程圖和/或方塊圖中各方框的組合，都可以由電腦可讀程式指令實現。

這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在藉由電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的各個方面的指令。

也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作。

附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方框可以代表一個模組、程式段或指令的一部分，該模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令，在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生，例如：兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定，也要注意的是，方塊圖和/或流程圖中的每個方框、以及方塊圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。

在不違背邏輯的情況下，本申請不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。

以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例，在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的，本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

S101~S102:步驟 31:雨滴處理單元 32:融合單元 800:電子設備 802:處理元件 804:記憶體 806:電源元件 808:多媒體元件 810:音訊元件 812:輸入/輸出介面 814:感測器元件 816:通信元件 820:處理器 900:電子設備 922:處理元件 926:電源元件 932:記憶體 950:網路介面 958:輸入/輸出介面

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1示出根據本公開實施例的影像處理方法的一流程圖； 圖2示出根據本公開實施例的影像處理方法的又一流程圖； 圖3示出根據本公開實施例的影像處理方法的又一流程圖； 圖4示出根據本公開實施例的密集殘差模組的示意圖； 圖5示出根據本公開實施例的影像處理裝置的方塊圖； 圖6示出根據本公開實施例的電子設備的方塊圖；及 圖7示出根據本公開實施例的電子設備的方塊圖。

S101~S102:步驟

Claims (12)

1. 一種影像處理方法，由一影像處理裝置執行，該影像處理方法包含： 對一帶雨滴的影像，進行一不同粒度雨滴的漸進式去除處理，得到一雨滴去除處理後的影像，該不同粒度雨滴的漸進式去除處理至少包括：一第一粒度處理，和一第二粒度處理；及 將該雨滴去除處理後的影像，與根據該第一粒度處理得到的一待處理影像進行融合處理，得到一去除雨滴的目標影像。
2. 如請求項1所述的影像處理方法，其中，對該帶雨滴的影像，進行該不同粒度雨滴的漸進式去除處理，得到該雨滴去除處理後的影像，包括： 對該帶雨滴的影像進行該第一粒度處理，得到該待處理影像，該待處理影像包含一雨滴特徵資訊，及 對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行雨滴相似度比對，得到該雨滴去除處理後的影像，該雨滴去除處理後的影像包含一去除雨滴後保留的無雨滴區域資訊。
3. 如請求項2所述的影像處理方法，其中，對該帶雨滴的影像進行該第一粒度處理，得到該待處理影像，包括： 將該帶雨滴的影像經一密集殘差處理和一下採樣處理，得到一雨滴局部特徵資訊， 將該雨滴局部特徵資訊經一區域降雜訊處理和一上採樣處理，得到一雨滴全域特徵資訊，及 將根據該雨滴局部特徵資訊和該雨滴全域特徵資訊得到的一雨滴結果，與該帶雨滴的影像進行殘差相減，得到該待處理影像。
4. 如請求項3所述的影像處理方法，其中，該雨滴結果包括，根據該雨滴局部特徵資訊和該雨滴全域特徵資訊進行殘差融合所得到的處理結果。
5. 如請求項3或4所述的影像處理方法，其中，將該帶雨滴的影像經該密集殘差處理和該下採樣處理，得到該雨滴局部特徵資訊，包括： 將該帶雨滴的影像輸入一第i層密集殘差模組，得到一第一中間處理結果， 將該第一中間處理結果輸入一第i層下採樣模組，得到一局部特徵圖， 將該局部特徵圖經一第i+1層密集殘差模組處理後輸入一第i+1層下採樣模組，經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊，及 該i為大於等於1且小於預設值的正整數。
6. 如請求項3所述的影像處理方法，其中，將該雨滴局部特徵資訊經該區域降雜訊處理和該上採樣處理，得到該雨滴全域特徵資訊，包括： 將該雨滴局部特徵資訊輸入一第j層區域敏感模組，得到一第二中間處理結果， 將該第二中間處理結果輸入一第j層上採樣模組，得到一全域增強特徵圖，及 將該全域增強特徵圖經一第j+1層區域敏感模組處理後輸入一第j+1層上採樣模組，經該第j+1層上採樣模組的上採樣處理，得到該雨滴全域特徵資訊， 該j為大於等於1且小於預設值的正整數。
7. 如請求項5所述的影像處理方法，其中，該經該第i+1層下採樣模組的下採樣處理，得到該雨滴局部特徵資訊，包括，在該第i+1層下採樣模組中，採用局部卷積核進行卷積操作，得到該雨滴局部特徵資訊。
8. 如請求項2所述的影像處理方法，其中，該對該待處理影像進行該第二粒度處理，並根據該雨滴特徵資訊對該待處理影像中的圖元點進行雨滴相似度比對，得到該雨滴去除處理後的影像，包括： 將該待處理影像輸入一上下文語義模組，得到一包含一深層語義特徵和一淺層空間特徵的上下文語義資訊， 根據該上下文語義資訊進行分類，識別出該待處理影像中的一有雨區域，該有雨區域包含雨滴和其他非雨滴資訊， 根據該雨滴特徵資訊對該有雨區域中的圖元點進行雨滴相似度比對，根據比對結果定位出雨滴所在的一雨滴區域和一無雨滴區域，及 將該雨滴區域的雨滴去除，並保留該無雨滴區域的資訊後得到該雨滴去除處理後的影像。
9. 如請求項8所述的影像處理方法，其中，將該待處理影像輸入該上下文語義模組，得到包含該深層語義特徵和該淺層空間特徵的該上下文語義資訊，包括， 將該待處理影像輸入一卷積模組進行卷積處理，得到一用於生成該深層語義特徵的高維特徵向量， 將該高維特徵向量輸入該上下文語義模組中進行多層的密集殘差處理，得到該深層語義特徵，及 將經每層密集殘差處理得到的該深層語義特徵和該淺層空間特徵進行融合處理，得到該上下文語義資訊。
10. 如請求項1所述的影像處理方法，其中，將該雨滴去除處理後的影像，與根據該第一粒度處理得到的待處理影像進行融合處理，得到去除雨滴的目標影像，包括， 將該待處理影像輸入一卷積模組，進行卷積處理後得到一輸出結果，及 將該雨滴去除處理後的影像，與該輸出結果進行融合處理，得到該去除雨滴的目標影像。
11. 一種電子設備，包括： 一處理器；及 一記憶體，用於儲存該處理器可執行的指令， 該處理器被配置為執行請求項1至10中任意一項所述的影像處理方法。
12. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，其中，該電腦程式指令被一處理器執行時實現請求項1至10中任意一項所述的影像處理方法。

Images