TWI480810B - 基於單一影像的影像內雨紋去除方法與裝置 - Google Patents

Description

基於單一影像的影像內雨紋去除方法與裝置

本揭露是有關於影像處理(image processing)，且特別是有關於一種基於單一影像的影像內雨紋去除方法與裝置。

現今之人們，生活已日漸富裕，機動車輛亦日益普及化。車輛科技除了在動力部份持續進步外，行車過程中安全性之增進亦是另一需要專注的課題。許多影像式安全警示系統藉由辨識影像中障礙物，提醒駕駛者與其保持安全距離。然而，此類系統在惡劣天侯，如大雨之中，往往難以順利運作，因為大雨會使得所擷取之影像內，如行人、汽車、車道及交通號誌等障礙物之紋理特徵較為模糊，因而產生大量誤判。駕駛者在這樣的行車情境下行駛，充滿著危險性。

目前已經有多種方法可依據擋風玻璃的影像或車外影像來判斷是否正在下雨，不過這些方法只是作為是否自動啟動雨刷的判斷依據，對影像本身不做任何處理。而且有許多相關研究，因為必須藉由影片的前後影像之間的相對紋理移動來推測是否具有雨滴，因而只能使用在靜態背景的影片。

本揭露提供一種基於單一影像的影像內雨紋去除方法以及一種基於單一影像的影像內雨紋去除裝置，可有效去除影像內的雨紋，得到更清晰的影像。

本揭露提出一種基於單一影像的影像內雨紋去除方法，包括下列步驟。將原始影像分解為原始高頻影像和原始低頻影像。取得一字典(dictionary)，此字典最適於表示一參考影像的多個貼片(patch)，而且此字典包括一含雨紋子字典和一不含雨紋子字典。根據一成本函數(cost function)和一預設條件，尋找原始高頻影像的多個貼片之中的每一貼片對應上述字典的係數。使用上述字典和原始高頻影像的每一貼片的係數，產生不含雨紋高頻影像。將原始低頻影像和不含雨紋高頻影像合成不含雨紋影像。

本揭露另提出一種基於單一影像的影像內雨紋去除裝置，包括一處理器(processor)。處理器接收原始影像，並將原始影像分解為原始高頻影像和原始低頻影像，並取得上述字典。處理器根據一成本函數和一預設條件，尋找原始高頻影像的多個貼片之中的每一貼片對應上述字典的係數，使用上述字典和原始高頻影像的每一貼片的係數，產生不含雨紋高頻影像，並且將原始低頻影像和不含雨紋高頻影像合成不含雨紋影像。

為讓本揭露之上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本揭露一實施例的一種基於單一影像的影像內雨紋去除裝置100的示意圖。所謂雨紋就是落下或飄飛的雨滴在影像中造成的紋理，而影像內雨紋去除裝置100可去除影像中的雨紋。影像內雨紋去除裝置100包括處理器110、影像感測器120、以及雨滴感測器(rain sensor)130，這三者都是硬體元件，其中處理器110耦接影像感測器120和雨滴感測器130。

影像感測器120是用來擷取可能包含雨紋的影像。影像感測器120可以是紅外線攝影機、或使用光電耦合元件(charge-coupled device,CCD)或互補式金氧半導體(complementary metal-oxide semiconductor,CMOS)光學感測元件的影像擷取裝置。雨滴感測器130則用來感測目前是否下雨。雨滴感測器130可以是光學反射型感測器(reflective sensor)、音頻型感測器(audio sensor)或傳導型感測器(conductive sensor)。影像感測器和雨滴感測器都是目前已經存在的技術，細節就不在此贅述。在另一實施例中，影像內雨紋去除裝置100包括處理器110，以接收原始影像。

圖2和圖3是依照本揭露一實施例的一種基於單一影像的影像內雨紋去除方法的流程圖。處理器110可執行如圖2和圖3所示的影像內雨紋去除方法。換句話說，圖2和圖3所示的每一步驟都可由處理器110執行。

處理器110可根據雨滴感測器130的感測結果，決定是否對影像感測器120所擷取的影像執行上述的影像內雨紋去除方法。若目前正在下雨，則處理器110對影像感測器120擷取的影像執行上述的影像內雨紋去除方法，以產生不含雨紋的清晰影像。若目前沒有下雨，則處理器110不對影像感測器120擷取的影像做任何處理。另一方面，處理器110也可由使用者直接控制是否對影像感測器120所擷取的影像執行上述的影像內雨紋去除方法。在此情況下，可以省略雨滴感測器130。

圖2和圖3所示的影像內雨紋去除方法是以單張影像為單位進行分析與處理。若是連續影片，則必須將其中的影像逐一輸入圖2和圖3所示的影像內雨紋去除方法，才能去除整個影片中的雨紋。以下的說明以單張影像為範例，下面的說明將此單張影像稱為原始影像I 。若是連續影片，則可用同樣方式處理影片其中的每一張影像。

首先在步驟210，使用左右對稱濾波器(bilateral filter)或其它足以將原始影像I 分為高頻與低頻兩部分之濾波器，將原始影像I 分解為原始高頻影像I _HF 和原始低頻影像I _LF ，其中I =I _LF +I _HF 。

接下來，在步驟220，自一個參考影像I _REF 取得一個字典D _HF 。字典D _HF 也就是一個基底(basis)，其最適於表示參考影像I _REF 的多個貼片y ^k ,k =1,2,...,P ，P 是預設正整數。而且字典D _HF 包括含雨紋的子字典D _{HF _ R} 和不含雨紋的子字典D _{HF _ G} 這兩個部分。

本實施例中，原始影像I 和參考影像I _REF 屬於同一段連續影片。參考影像I _REF 的時間順序可以在原始影像I 之前，或者，參考影像I _REF 也可以就是原始影像I 本身。如果參考影像I _REF 就是原始影像I ，則步驟220是在原始影像I 本身取得字典D _HF 。如果參考影像I _REF 在原始影像I 之前，則步驟220可直接使用參考影像I _{R EF} 的字典D _HF ，不需要為原始影像I 再度計算字典D _HF 。如果參考影像I _REF 並非原始影像I ，最好兩張影像有相同的靜態背景，參考影像I _REF 的字典D _HF 才較適用於原始影像I ，才會有較佳的去雨紋效果。

圖3繪示自參考影像I _REF 取得字典D _HF 的流程，如前所述，參考影像I _REF 可以是時間順序在原始影像I 之前的影像或是原始影像I 本身。首先在步驟310，將參考影像I _REF 分解為參考高頻影像I _{REF _ HF} 和參考低頻影像I _{REF _ LF} 。如果參考影像I _REF 就是原始影像I ，因為前面已執行過步驟210，可以省略步驟310。然後在步驟320，從參考高頻影像I _{REF _ HF} 找出一系列貼片y ^k ,k =1,2,...,P 。目前已經有多種方法可在影像中尋找貼片，例如使用一個預設大小的滑動窗框(sliding window)在參考高頻影像I _{R EF _ HF} 之中以預設方式移動，每次移動一個像素(pixel)，就將I _{REF_HF} 之中被滑動窗框覆蓋的部分做為貼片y ^k 其中之一，如此重複P 次。

然後在步驟330，根據下列的第二成本函數(1)，找出最適於表示參考高頻影像I _{RHF_HF} 的貼片y ^k 的字典D _HF 。

其中R 表示所有實數的集合，m 和n 是預設正整數，θ ^k 是使字典D _HF 趨近每一貼片y ^k 的係數，λ 是預設參數，∥　∥₁ 表示第一範數(first norm)，∥　∥₂ 表示第二範數(second norm)。

目前有多種方法可以找出最適於表示y ^k 的字典D _HF ，也就是使第二成本函數(1)出現最小值的字典D _HF ，例如可使用線上字典學習法(online dictionary learning)來找出這樣的字典D _HF 。字典D _HF 是由P 個y ^k 其中的m 個所組成。關於線上字典學習法的細節，可參考下列論文。

J. Mairal,F. Bach,J. Ponce,and G. Sapiro,“Online learning for matrix factorization and sparse coding,”J. Mach. Learn. Res.,vol. 11,pp. 19-60,2010.

接下來，在步驟340，擷取字典D _HF 中的每一貼片的有向梯度直方圖(histogram of oriented gradient,HOG)的特徵描述子(descriptor)。然後在步驟350，根據字典D _HF 的每一貼片的特徵描述子的梯度(gradient)方向的變異數(variance)，將字典D _HF 中的貼片分為兩個子字典(sub-dictionary)，也就是含雨紋子字典D _{HF_R} 和不含雨紋子字典D _{HF_G} 。例如，可使用K平均值演算法(K-means)和字典D _HF 的每一貼片的上述變異數，將字典D _HF 中的貼片分為含雨紋子字典D _{HF_R} 和不含雨紋子字典D _{HF_G} 。

步驟340和350的原理是，字典D _HF 的貼片中有些內含雨紋，有些則不含雨紋。雨滴在小範圍中會有一致的移動方向，所以含雨紋的貼片中，通常雨紋方向較為一致，亦即其梯度方向之變異數應該比較小。上述的字典D _HF 的每一貼片的特徵描述子，就是利用貼片中的影像局部的亮度梯度或邊緣方向的分佈情形所產生的一個局部梯度方向的一維直方圖(histogram)，用以描述字典D _HF 的每個貼片。有向梯度直方圖(HOG)是目前已經存在的演算法，細節就不在此贅述。

取得字典D _HF 之後，流程進入圖2的步驟230，根據下列的第一成本函數(2)和預設條件(3)，尋找原始高頻影像I _HF 的多個貼片 R ⁿ ,k =1,2,...,P 之中的每一貼片對應字典D _HF 的一個係數。

其中∥　∥₀ 表示第零範數(zero norm)，L 是預設參數。

步驟230的目的是對於原始高頻影像I _HF 的每一貼片，尋找在符合預設條件(3)的前提下，使第一成本函數(2)出現最小值的係數。貼片和前面的貼片y ^k 並不相同，此時每一個貼片都還是未知的。係數用於在後面的步驟240重建貼片，第一成本函數(2)的最小值是為了讓重建貼片的誤差達到最小。

目前有多種方法可以找出符合第一成本函數(2)和預設條件(3)的最佳係數，例如可使用正交配對追求法(orthogonal matching pursuit,OMP)來求出最佳係數。正交配對追求法的細節可參考下列論文。

S. Mallat and Z. Zhang,“Matching pursuits with time-frequency dictionaries,”IEEE Trans. Signal Process.,vol. 41,no. 12,pp. 3397-3415,Dec. 1993.

接下來，在步驟240，使用字典D _HF 和原始高頻影像I _HF 的每一個貼片的係數，產生一個不含雨紋的高頻影像，細節如下。因為係數可使第一成本函數(2)出現最小值，所以字典和每一個貼片的係數的乘積D _HF ，可近似為該貼片。由於字典D _HF 與係數皆為已知，而且字典D _HF 已經在前面分為不含雨紋和包含雨紋的兩個子字典，也就是D _HF =[D _{HF _ G} |D _{HF_R} ]，將字典D _HF 與係數相乘時，不含雨紋子字典D _{HF_G} 和係數相乘的部分，可產生貼片之中不含雨紋的部分，於是可利用貼片之中不含雨紋的部分組成不含雨紋高頻影像。

接下來，在步驟250，將原始低頻影像I _LF 和不含雨紋高頻影像合成一個不含雨紋的影像I ^Non_Rain ，也就是I ^Non_Rain =I _LF +。不含雨紋影像I ^Non_Rain 可做為上述的基於單一影像的影像內雨紋去除裝置與方法的輸出，其中的雨紋已經去除。

綜上所述，本揭露可去除影像中的雨紋，得到更清晰的影像。去除雨紋後的影像，可應用在行車記錄、行車安全和安全監控等領域，有助於提昇影像中的物件或人物的辨識率，進而確保使用者之安全性。

本揭露所提出的基於單一影像的影像內雨紋去除裝置與方法，只需使用單張影像即可達到去除影像中雨紋之目的，不需要前後比對連續影片中的多張影像，所以無論是靜態背景或動態背景的影片均可適用。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．基於單一影像的影像內雨紋去除裝置

110．．．處理器

120．．．影像感測器

130．．．雨滴感測器

210~250、310~350．．．流程步驟

圖1是依照本揭露一實施例的一種基於單一影像的影像內雨紋去除裝置的示意圖。

圖2和圖3是依照本揭露一實施例的一種基於單一影像的影像內雨紋去除方法的流程圖。

210~250．．．流程步驟

Claims (18)

1. 一種基於單一影像的影像內雨紋去除方法，包括：將一原始影像分解為一原始高頻影像和一原始低頻影像；取得一字典，其中該字典最適於表示一參考影像的多個貼片，而且該字典包括一含雨紋子字典和一不含雨紋子字典；根據一第一成本函數和一預設條件，尋找該原始高頻影像的多個貼片之中的每一貼片對應該字典的一係數；使用該字典和該原始高頻影像的每一貼片的該係數，產生一不含雨紋高頻影像；以及將該原始低頻影像和該不含雨紋高頻影像合成一不含雨紋影像。
2. 如申請專利範圍第1項所述之基於單一影像的影像內雨紋去除方法，更包括：使用一左右對稱濾波器，將該原始影像分解為該原始高頻影像和該原始低頻影像。
3. 如申請專利範圍第1項所述之基於單一影像的影像內雨紋去除方法，其中該原始影像和該參考影像屬於同一連續影片，該參考影像的時間順序在該原始影像之前，或者該參考影像即為該原始影像。
4. 如申請專利範圍第1項所述之基於單一影像的影像內雨紋去除方法，其中取得該字典的步驟包括：將該參考影像分解為一參考高頻影像和一參考低頻影像；從該參考高頻影像找出多個貼片；根據一第二成本函數，找出最適於表示該參考高頻影像的上述多個貼片的該字典；擷取該字典中的每一貼片的有向梯度直方圖的特徵描述子；以及根據該字典的每一貼片的該特徵描述子的梯度方向的變異數，將該字典中的貼片分為該含雨紋子字典和該不含雨紋子字典。
5. 如申請專利範圍第4項所述之基於單一影像的影像內雨紋去除方法，更包括：使用線上字典學習法，找出使該第二成本函數出現最小值的該字典。
6. 如申請專利範圍第4項所述之基於單一影像的影像內雨紋去除方法，更包括：使用K平均值演算法和該字典的每一貼片的該變異數，將該字典中的貼片分為該含雨紋子字典和該不含雨紋子字典。
7. 如申請專利範圍第1項所述之基於單一影像的影像內雨紋去除方法，其中尋找該原始高頻影像的每一貼片的該係數的步驟包括：對於該原始高頻影像的每一貼片，使用正交配對追求法，尋找在符合該預設條件的前提下，使該第一成本函數出現最小值的該係數。
8. 如申請專利範圍第1項所述之基於單一影像的影像內雨紋去除方法，其中產生該不含雨紋高頻影像的步驟包括：將該字典和該原始高頻影像的每一貼片的該係數的乘積，近似為該原始高頻影像的該貼片；以及使用該原始高頻影像的上述多個貼片中，該不含雨紋子字典所產生的無雨紋部份，組成該不含雨紋高頻影像。
9. 一種基於單一影像的影像內雨紋去除裝置，包括：一處理器，適於接收一原始影像，將該原始影像分解為一原始高頻影像和一原始低頻影像，並取得一字典，其中該字典最適於表示一參考影像的多個貼片，而且該字典包括一含雨紋子字典和一不含雨紋子字典，該處理器根據一第一成本函數和一預設條件，尋找該原始高頻影像的多個貼片之中的每一貼片對應該字典的一係數，使用該字典和該原始高頻影像的每一貼片的該係數，產生一不含雨紋高頻影像，將該原始低頻影像和該不含雨紋高頻影像合成一不含雨紋影像。
10. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，其中該處理器使用一左右對稱濾波器，將該原始影像分解為該原始高頻影像和該原始低頻影像。
11. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，其中該原始影像和該參考影像皆屬於一連續影片，該參考影像的時間順序在該原始影像之前，或者該參考影像即為該原始影像。
12. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，其中該處理器將該參考影像分解為一參考高頻影像和一參考低頻影像，從該參考高頻影像找出多個貼片，根據一第二成本函數找出最適於表示該參考高頻影像的上述多個貼片的該字典，擷取該字典中的每一貼片的有向梯度直方圖的特徵描述子，並根據該字典的每一貼片的該特徵描述子的梯度方向的變異數，將該字典中的貼片分為該含雨紋子字典和該不含雨紋子字典。
13. 如申請專利範圍第12項所述之基於單一影像的影像內雨紋去除裝置，其中該處理器使用線上字典學習法，找出使該第二成本函數出現最小值的該字典。
14. 如申請專利範圍第12項所述之基於單一影像的影像內雨紋去除裝置，其中該處理器使用K平均值演算法和該字典的每一貼片的該變異數，將該字典中的貼片分為該含雨紋子字典和該不含雨紋子字典。
15. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，其中該處理器對於該原始高頻影像的每一貼片，使用正交配對追求法，尋找在符合該預設條件的前提下，使該第一成本函數出現最小值的該係數。
16. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，其中該處理器將該字典和該原始高頻影像的每一貼片的該係數的乘積，近似為該原始高頻影像的該貼片，並使用該原始高頻影像的上述多個貼片中，該不含雨紋子字典所產生的無雨紋部份，組成該不含雨紋高頻影像。
17. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，更包括一影像感測器，用以擷取該原始影像，其中該處理器耦接該影像感測器。
18. 如申請專利範圍第9項所述之基於單一影像的影像內雨紋去除裝置，更包括一雨滴感測器，其中該處理器耦接該雨滴感測器，並根據該雨滴感測器的感測結果，決定是否對該原始影像執行影像內雨紋去除。