TWI518635B - 影像修復方法及使用該方法的影像處理裝置 - Google Patents
影像修復方法及使用該方法的影像處理裝置 Download PDFInfo
- Publication number
- TWI518635B TWI518635B TW103138536A TW103138536A TWI518635B TW I518635 B TWI518635 B TW I518635B TW 103138536 A TW103138536 A TW 103138536A TW 103138536 A TW103138536 A TW 103138536A TW I518635 B TWI518635 B TW I518635B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- image
- fog
- channel
- parameter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 69
- 238000009826 distribution Methods 0.000 claims description 124
- 230000008439 repair process Effects 0.000 claims description 47
- 230000003044 adaptive effect Effects 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 27
- 239000003595 mist Substances 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
本發明關於一種影像修復方法，且特別是有關於一種影像修復方法及使用該方法的影像處理裝置。
由於空氣中的懸浮顆粒會吸收和散射被觀測物體和照相機之間的光的特定光譜，因此在天候不佳的條件(像是瀰漫著霧、沙子和水氣的天候條件)下所擷取之影像的能見度並不理想。這些能見度下降的影像會失去對比度和色彩逼真度並稱之為霧氣影像。因此，這些霧氣影像可能直接降低許多影像相關系統的效能與品質，如戶外物體辨識系統(outdoor object recognition systems)、障礙物偵測系統(obstacle detection systems)、影像監控系統(video surveillance systems)、智能交通系統(intelligent transportation systems)等。這意味著，許多使用霧氣影像或是視訊的系統非常需要霧氣去除技術(haze removal technique)或去霧技術(dehazing technique)來實現不同的功能。因此，眾多的能見度修復方法被提出來修復
霧氣影像的能見度，以改善在惡劣天氣條件下影像相關系統的效能。這些能見度修復方法可以進一步被分為三類，即附加資訊(additional-information)方法、多重影像(multiple-image)方法和單一影像(single-image)方法。
附加資訊方法藉由使用給定的景深資訊來修復霧氣影像，上述景深資訊係透過額外的操作或使用者互動而得到，像是透過用戶操作來控制照相機的位置並經由一個給定的近似三維幾何模型來獲取景深資訊。然而，因為景深資訊擷取上的局限性(不明地形資訊和額外用戶操作)，這些附加資訊方法並不適合用於現實世界的應用中。另外，多重影像方法需採用於相同場景下所擷取的至少兩個影像，上述至少兩個影像可透過使用特定的硬體擷取，像是可旋轉的偏振濾光器，以有效地建構景深資訊並進一步達到對接收的霧氣影像進行能見度修復的目的。可惜的是，使用這些多重影像方法通常需要龐大的硬體花費或特殊裝置。
近日，霧氣影像的能見度修復已經開始著重於單一影像方法。單一影像方法是基於強烈的假設或穩健的先前研究，致使霧氣濃度(haze thickness)可僅藉由使用單一影像方法而被估算出來。例如，由於除霧影像與霧氣影像相比具有明顯的反差，霧氣影像的能見度可以藉由最大化霧氣影像的區域對比度來修復。然而，利用最大化區域對比度修復後的除霧影像往往具有沿著深度邊緣而存在的明顯假影。此外，另一種習知技術所提出的單張影像除霧方法中，其係基於透射率和表面投影在局部上是沒有關聯
的假設上來估測場景的反照率並且推導介質圖(transmission map)。然而，此種方法不適用於霧氣密度較大的影像。
此外，除了天空區域之外，室外的除霧影像具有下述特徵，在RGB色彩通道之中的至少一光譜(spectrum)在影像的區塊(patches)中呈現非常低的強度值。透過這種觀察的啟發，暗通道先驗(dark channel prior,DCP)方法已經被提出，其可透過有效估算霧氣資訊的濃度而進一步修復場景光彩。截至目前為止，DCP方法已經獲得了最多的關注，因為它在霧氣影像中修復能見度相對的成功。在DCP方法的基礎下，一些改進DCP的方法已被提出，以達到對惡劣天氣條件下所拍攝的退化影像進行能見度修復的目的。
改進DCP的方法其中之一探討暗通道先驗和多階仿視覺(multi-scale Retinex)技術兩者的特性，以修復霧氣影像的能見度。另一個改進的DCP方法透過使用調整後的介質圖來修復能見度，上述介質圖可以透過使用快速雙邊濾波器來獲得。另一個改進的DCP方法透過採用三次性減法(three-time subtraction)程序來近似霧氣影像之暗通道的最小值，以修復霧氣影像的能見度。如上面所提到的，這些以DCP方法為基礎的技術專注於調整介質圖，不會對有霧天氣條件下所擷取的霧氣影像產生任何區塊效應，並可以有效地產生高品質的除霧影像。
然而，對於上述以DCP為基礎的技術來說，通常無法對沙塵暴狀態期間所擷取的霧氣影像成功地進行能見度修復。原因
在於，色偏問題以及霧氣濃度的估算不足所引起的能見度修復障礙。因此，如何有效地修復在任何條件下擷取的霧氣影像一直是由本領域技術人員實現的一個重要目標。
因此，本發明是針對一種影像修復方法及使用該方法的影像處理裝置，其可以克服色偏問題和霧氣濃度的估算不足。
本發明提出一種影像修復方法。此方法適用於一影像處理裝置。影像修復方法是以一介質圖所建立之光學模型為基礎，並且該方法包括以下步驟：接收包括多個像素的霧氣影像，其中各像素都具有對應於多個色彩通道的多個色彩分量。偵測此霧氣影像是否發生色偏現象。若是，計算分別對應於色彩通道多個拉普拉斯分佈值。在上述拉普拉斯分佈值之中決定最大分佈值和最小分佈值，並且藉由比較最大分佈值和所述最小分佈值產生自適應參數。利用自適應參數來調整介質圖，從而產生一個已調整介質圖。根據拉普拉斯分佈值計算分別對應於色彩通道的多個色彩參數。藉由使用色彩參數和已調整介質圖來修復霧氣影像，以得到除霧影像。
在本發明的一實施例中，上述的光學模型表示為：I(x)=J(x)t(x)+A(1-t(x))，其中I(x)代表霧氣影像，J(x)代表除霧(haze-free)影像，A代表全球大氣光(global atmospheric light)，x代表像素的像素位置，以
及t(x)代表介質圖。此外，介質圖t(x)表示為：t(x)=e -βd(x)，其中β代表大氣的散射係數(scattering coefficient)和d(x)代表景深(scene depth)資訊。
在本發明的一實施例中，上述的計算分別對應於色彩通道的拉普拉斯分佈值的步驟包括：決定霧氣影像的計算區域，其中計算區域包括多個代表像素。從各代表像素的色彩分量之中決定各代表像素的最大色彩分量。分別比較最大色彩分量與各代表像素的每一色彩分量，以獲得各代表像素的多個通道色差量(color difference)，其中通道色差量分別對應於色彩通道。基於通道色差量計算分別對應於色彩通道的拉普拉斯分佈值。
在本發明的一實施例中，上述的計算區域為霧氣影像上具有最高明亮度的區域。
在本發明的一實施例中，用於分別比較各代表像素的最大色彩分量與各代表像素的每一色彩分量，以獲取各代表像素的通道色差量的公式表示為：△ c (L)=|I M (L)-I c (L)|，其中c是所述色彩通道的索引並且c {r,g,b}，△ c (L)代表分別對應於色彩通道的通道色差量，L代表在計算區域內的任一代表像素，I M (L)代表最大色彩分量和I c (L)代表色彩分量。其中用以基於通道色差量計算拉普拉斯分佈值的公式表示為：
其中P(△ c (L)|S)代表分別對應於色彩通道的所述拉普拉斯分佈值，μ代表△ c (L)通道色差量的理想值，σ代表最佳參數，且a代表在計算區域S內的代表像素的個數。
在本發明的一實施例中，上述的自適應參數經由將最大分佈值除以最小分佈值而產生。上述的已調整介質圖係透過將介質圖作為基數(radix)並將自適應參數作為介質圖的指數而產生。
在本發明的一實施例中，上述的根據拉普拉斯分佈值計算分別對應於色彩通道的多個色彩參數的步驟包括：分別比較最大分佈值與對應於色彩通道的各拉普拉斯分佈值，以針對各色彩通道來獲取多個色適應性參數。基於色適應性參數產生分別對應於色彩通道的色彩參數。
在本發明的一實施例中，其中用以基於色適應性參數來產生色彩參數的公式表示為：
其中c是色彩通道的索引並且c {r,g,b}，α c 代表色彩參數，v c 代表分別對應於色彩通道的色適應性參數，代表在霧氣影像中的各色彩通道上的最大色彩分量。
在本發明的一實施例中，用以藉由使用色彩參數和已調整介質圖修復霧氣影像，從而獲取除霧影像的公式表示為：
其中c是色彩通道的索引並且c {r,g,b}，I c (x)代表霧氣影像，J c (x)代表除霧影像，A c 代表全球大氣光，α c 代表色彩參數，t'(x)代表已調整的介質圖，且所述已調整介質圖受限制於一下限界限t 0。
從另一觀點來看，本發明提供了一影像處理裝置，其用以藉由介質圖形成的光學模型來修復霧氣影像。影像處理裝置包括儲存單元和處理單元。儲存單元經配置而儲存多個模組，以及處理裝置耦接與儲存單元以存取和執行儲存於儲存單元中的所述模組。所述模組包括霧氣濃度估算模組和影像能見度修復模組。霧氣濃度估算模組接收包括多個像素的霧氣影像和偵測霧氣影像是否發生色偏現象。其中各像素具有對應於多個色彩通道的多個的色彩分量。若是，霧氣濃度估算模組計算分別對應於色彩通道的多個拉普拉斯分佈值。霧氣濃度估算模組在拉普拉斯分佈值之中決定最大分佈值和最小分佈值，並且藉由比較最大分佈值和最小分佈值來產生自適應參數。霧氣濃度估算模組利用自適應參數調整介質圖，從而產生一個已調整介質圖。影像能見度修復模組根據拉普拉斯分佈值計算分別對應於色彩通道多個色彩參數，以及藉由使用色彩參數和已調整介質圖修復霧氣影像，從而獲取除霧影像。
根據上述說明，本發明的實施例提供了一種影像處理方法及使用該方法的影像處理裝置。本發明所提出的方法可以經由
霧氣濃度估算模組和影像能見度修復模組的結合而克服色偏問題和霧氣濃度的估算不足。具體而言，基於拉普拉斯伽馬校正(Laplacian-based gamma correction)技術的霧氣濃度估算模組可用來避免在真實世界的風沙條件下的霧氣濃度的估算不足。霧氣濃度估算模組可以藉由持續地調整介質圖而有效地估算霧氣形成的濃度。基於拉普拉斯白區塊仿視覺(Laplacian-based white patch-Retinex)技術以及用來調整光學模型的介質圖的影像能見度修復模組可有效地克服色偏問題和修復真實場景色彩。因此，一個高品質和除霧影像可以透過影像能見度修復模組的運作而產生。關於各種氣候條件下擷取的影像，本發明的能見度修復效能與效率是優於其他DCP為基礎的技術。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10‧‧‧影像修復系統
100‧‧‧影像處理裝置
110‧‧‧儲存單元
111‧‧‧霧氣濃度估算模組
112‧‧‧影像能見度修復模組
120‧‧‧處理單元
200‧‧‧影像擷取裝置
521、522、523、541、542、543‧‧‧拉普拉斯分佈值
52R、52G、52B、54R、54G、54B‧‧‧拉普拉斯分佈模型
Img_1、Img_2、Img_H‧‧‧霧氣影像
Img_R‧‧‧除霧影像
S310、S320、S330、S331~S334、S340、S350、S360~S362、S370、S380‧‧‧步驟
圖1是根據本揭露的示例性實施例所繪示的影像修復系統的示意圖。
圖2是根據本揭露的示例性實施例所繪示的影像處理裝置的方塊圖。
圖3是根據本揭露的示例性實施例所繪示的影像修復方法的流程圖。
圖4是根據本揭露的示例性實施例所繪示的計算拉普拉斯分佈值方法的流程圖。
圖5繪示了對應於不同的色彩通道的拉普拉斯分佈模型的範例示意圖。
圖6是根據本揭露的示例性實施例所繪示的計算多個色彩參數方法的流程圖。
本申請的一些實施例將參照附圖在下文更充分地描述，但並不是所有應用的實施例皆會展示出。實際上，各種應用的實施例可具體化為許多不同的形式並且不應被解釋為僅限於本文所闡述的實施例；相反地，提供這些實施例使得本揭露將滿足適用的法律需求。類似的附圖標記指出相同的元素。
圖1是根據本揭露的示例性實施例所繪示的影像修復系統的示意圖。參照圖1，影像修復系統10包括影像處理裝置100和耦接到影像處理裝置100的影像擷取裝置200。例如，影像修復系統10可以是一個障礙物偵測系統、視頻監控系統等，但本發明對此不限制。影像擷取裝置200包括透鏡和感光元件，感光元件例如是電荷耦合裝置(charge coupled device,CCD)、互補式金屬氧化物半導體(complementary metal-oxide semiconductor,CMOS)或其它裝置。影像擷取裝置200還可以包括光圈等，本發明對此不限制。在本發明的實施例中，影像擷取裝置200可擷取至少一霧氣影像
Img_H並且傳送霧氣影像Img_H到影像處理裝置100。影像處理裝置100可以修復霧氣影像Img_H，從而產生具有清晰能見度和生動色彩的除霧影像Img_R。
此外，圖2是根據本揭露的示例性實施例所繪示的影像處理裝置的方塊圖。參照圖2，影像處理裝置100包括儲存單元110和處理單元120。儲存單元110是一個或多個儲存元件的結合，所述儲存元件可以是內建的或可移動式的隨機存取記憶體(random access memory,RAM)、唯獨記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟(hard disk)、或任何其它類似裝置。處理單元120可以執行儲存單元110所記錄的多個模組。所述模組包括霧氣濃度估算模組111和影像能見度修復模組112，所述模組可以被載入處理單元120以執行修復霧氣影像能見度的功能。
處理單元120是一個或多個元件的組合，所述元件例如是中央處理單元(central processing unit,CPU)、可編程通用或特定用途的微處理器、數位信號處理器(digital signal processor,DSP)、可編程控制器、專用集成電路(application specific integrated circuits,ASIC)、可編程邏輯裝置(programmable logic device,PLD)、或任何其他類似裝置。處理單元120耦接到儲存單元110。處理單元120可以存取並執行記錄在儲存單元110的模組，以執行本發明所提出且將於後文介紹的影像修復方法。
在示例性實施例中，霧氣濃度估算模組111先經由拉普
拉斯分佈模型(Laplacian distribution model)和伽馬校正技術(gamma correction technique)的組合來改進介質圖的不足。接著，基於拉普拉斯分佈模型和白色區塊仿視覺理論(white patch-Retinex theory)的組合使用，能見度修復模組112估算霧氣影像的色彩參數並進一步克服在修復結果中的色偏(color cast)問題。最後，修復(除霧)影像可以透過使用調整後的已調整介質圖和估算出來的色彩參數而產生，以充分的從霧氣影像除去大氣中的粒子所產生的影響。細節將在下文中提供。
圖3是根據本揭露的示例性實施例所繪示的影像修復方法的流程圖。在本實施例中提出的方法可以由圖2的影像處理裝置100執行，以下將參照圖2中所示的元件說明影像修復方法的各步驟。
首先應該要注意的是，在本實施例的影像修復方法是基於由介質圖所形成的光學模型。詳細地說，光學模型可以表示為公式(1)。
I(x)=J(x)t(x)+A(1-t(x)) 公式(1)
在公式(1)中，I(x)代表由影像擷取裝置200擷取的霧氣影像。J(x)代表可被視為除霧影像的場景光亮度(scene radiance)。A代表全球大氣光(global atmospheric light)。x代表在影像中像素的像素位置，以及t(x)代表用於描述在場景中擷取的對象和影像擷取裝置200之間的非散射光的介質圖。需注意的是，公式(1)的第一項J(x)t(x)和第二項A(1-t(x))分別代表直接衰減和空中光(airlight)。場
景光亮度J(x)的衰減可透過直接衰減來描述，其受到介質和景深資訊的影響。
另一方面，空中光值通常遭受大氣顆粒的散射與吸收而導致場景的色彩變化。當這裡考慮的大氣假定為均勻的，介質圖t(x)可以表示為公式(2)。
t(x)=e -βd(x) 公式(2)在公式(2)中，β代表大氣的散射係數和d(x)代表在擷取的對象和影像擷取裝置200之間的景深資訊。在實施例中，本發明的影像修復方法是在表示為公式(1)的光學模型的基礎上，以使得可以基於光學模型的假設來產生除霧影像。
請同時參考圖2和圖3，影像擷取裝置200在朝向低能見度環境的場景擷取一霧氣影像之後，霧氣濃度估算模組111接收包括多個像素的霧氣影像(步驟S310)，其中，每個像素具有對應於多個色彩通道的多個色彩分量。在實施例中，色彩通道可以是紅色(R)色彩通道、綠色(G)色彩通道和藍色(B)色彩通道，使得每個霧氣影像上的像素可以具有紅色分量、綠色分量和藍色分量。然而，色彩通道不由本發明所限制，色彩通道可以在其他狀態來實現。例如，色彩通道在另一實施例中可以是青藍色(C)色彩通道、洋紅色(M)色彩通道和黃色(Y)色彩通道。
霧氣濃度估算模組111偵測霧氣影像是否發生色偏現象(步驟S320)。在本實施例中，透過色偏偵測技術的實行來檢查輸入的霧氣影像是否發生色偏問題。一般情況下，對於具備輕微色
偏現象的影像來說，由於其影像內容的色彩變異量較小而因此具有高的拉普拉斯分佈值。然而，對於具備嚴重色偏現象的影像來說，由於其影像內容的色彩變異量較大而因此具有低的拉普拉斯分佈值。分別對應於不同色彩通道之拉普拉斯分佈值的計算將在下文中說明。也就是說，在霧氣影像上是否發生色偏現象可以根據分別對應於不同色彩通道的拉普拉斯分佈值而偵測出來，但本發明不限於此。在其他實施例中，霧氣影像是否發生色偏現象可以根據其他基準進行偵測。
因此，如果偵測到霧氣影像發生色偏現象時，霧氣濃度估算模組111計算分別對應於多個色彩通道的多個拉普拉斯分佈值(步驟S330)。相反地，如果偵測到霧氣影像沒有發生色偏現象時，則影像處理裝置100可以在沒有調整介質圖的情況下修復霧氣影像，並計算色彩參數(步驟S390)。換句話說，在本實施例中，當輸入的霧氣影像顯示出色偏問題時，將計算每個RGB色彩通道的拉普拉斯分佈值。有關步驟S330中計算拉普拉斯分佈值的更多細節將在圖4中討論。參照圖4，圖4是根據本揭露的示例性實施例所繪示的計算拉普拉斯分佈值方法的流程圖。
首先，霧氣濃度估算模組111決定霧氣影像的計算區域，其中計算區域包括多個代表像素(步驟S331)。在本實施例中，計算區域在霧氣影像中是具有最高明亮度的區域。具體而言，該計算區域包括輸入霧氣影像中的多個最高亮度值，所述最高亮度值是基於其暗通道的分量而從所有像素的亮度值的前0.1%中而選
擇出來的。然而，計算區域可以根據其他規則來選擇與計算區域的大小可以根據實際應用狀態來決定，本發明對此不限制。
接著，霧氣濃度估算模組111從各代表像素的色彩分量之中決定各代表像素的最大色彩分量(步驟S332)。霧氣濃度估算模組111分別比較最大色彩分量與各代表像素的每一色彩分量，以得到各代表像素的多個通道色差量，其中，通道色差量分別對應於色彩通道(步驟S333)。最後，霧氣濃度估算模組111基於通道色差量計算分別對應於多個色彩通道的多個拉普拉斯分佈值(步驟S334)。
簡單來說，霧氣濃度估算模組111依據公式(3)以比較最大色彩分量與各代表像素的每一色彩分量，以得到各代表像素的通道色差量。公式(3)如下所示。
△ c (L)=|I M (L)-I c (L)|........................................公式(3)在公式(3)中，c是色彩通道的索引並且c {r,g,b}，△ c (L)代表分別對應於色彩通道的通道色差量，L代表在計算區域內的任一代表像素，I M (L)代表最大色彩分量和I c (L)表示代表像素的一個色彩分量。
基於上述，用以基於通道色差量計算拉普拉斯分佈值的公式可表示為公式(4)。
為了更清楚地說明本發明，圖5繪示了對應於不同的色彩通道的拉普拉斯分佈模型的範例示意圖。參照圖5，圖5呈現出在沙塵暴條件下拍攝的兩個影像Img_1和Img_2的拉普拉斯分佈模型的分析，且影像Img_1和影像Img_2因為沙塵暴條件而具有色偏問題。本範例假設如下，霧氣影像Img_1代表具有薄霧氣形成的影像，以及霧氣影像Img_2代表具有濃霧氣形成的影像。
此外，霧氣影像Img_1的拉普拉斯分佈模型52R對應於紅色色彩通道，霧氣影像Img_1的拉普拉斯分佈模型52G對應於綠色色彩通道，以及霧氣影像Img_1的拉普拉斯分佈模型52B對應於藍色色彩通道。同樣地，霧氣影像Img_2的拉普拉斯分佈模型54R對應於紅色色彩通道，霧氣影像Img_2的拉普拉斯分佈模型54G對應於綠色色彩通道，以及霧氣影像Img_2的拉普拉斯分佈模型54B對應於藍色色彩通道。拉普拉斯分佈值521和541對應於紅色色彩通道，拉普拉斯分佈值522和542對應於綠色色彩通道，拉普拉斯分佈值523和543對應於藍色色彩通道。
在拉普拉斯分佈模型52R、52G和52B中可以看出，當紅色色彩通道的拉普拉斯分佈值521和藍色色彩通道的拉普拉斯分佈值523之間具有較低的變異差異量時，所對應的霧氣影像
Img_1將只有輕微的色偏。相反地，具有較大變異差異量的拉普拉斯分佈值541至拉普拉斯分佈值543可顯示出影像包含嚴重色偏問題，有如霧氣影像Img_2。也就是說，拉普拉斯分佈值521、拉普拉斯分佈值522以及拉普拉斯分佈值523可以呈現出霧氣影像Img_1中的色偏程度。同樣地，拉普拉斯分佈值541、拉普拉斯分佈值542以及拉普拉斯分佈值543可以呈現出霧氣影像Img_2中的色偏程度。但應當注意的是，圖5僅是示例性說明本發明，但本發明不限於此。
回到圖3的流程圖，在得到分別對應於各色彩通道的拉普拉斯分佈值之後，霧氣濃度估算模組111從拉普拉斯分佈值之中決定一個最大分佈值和一個最小分佈值，並針對各拉普拉斯分佈值來比較最大分佈值和最小分佈值而產生自適應參數(步驟S340)。在所述實施例中，自適應參數是經由將最大分佈值除以最小分佈值而產生，而已調整介質圖係透過將介質圖作為基數並將自適應參數作為介質圖的指數而產生。如此，霧氣濃度估算模組111利用自適應參數來調整介質圖，以產生調整後的已調整介質圖(步驟S350)。
換句話說，霧氣濃度估算模組111使用伽馬校正技術(gamma correction technique)與自適應參數來調整資訊不足的介質圖，上述介質圖可以先基於光學模型並使用暗通道先驗技術而產生。自適應參數可以基於拉普拉斯分佈值並根據公式(7)而獲得。基於比較最大分佈值和最小分佈值的原理，用以比較最大分佈值
和最小分佈值用來產生自適應參數的公式(7)如下所示。
接著，已調整介質圖可以根據公式(8)透過將介質圖作為基數並將自適應參數作為介質圖的指數而產生，其用於利用自適應參數來調整介質圖以產生已調整的介質圖的公式(8)可表示為：
其中t'(x)代表已調整介質圖，t(x)代表介質圖，和l max代表像素的最大值並可設成1。需要注意的是，產生出來的自適應參數γ具有較高的數值表示對於資訊不足的介質圖t(x)具備較優良的改善效率。值得注意的是，介質圖的改善可以解決在傳統修復方法中的問題，而傳統修復方法中的問題為霧氣影像中的色偏現象會影響霧氣的濃度估算。
在霧氣濃度估算階段產生拉普拉斯分佈值之後，影像能見度修復可基於已調整介質圖和在霧氣濃度估算階段所計算出來的拉普拉斯分佈值而實現。因此，影像能見度修復模組112根據拉普拉斯分佈值計算分別對應於多個色彩通道的多個色彩參數(步驟S360)。有關計算步驟S360內的拉普拉斯分佈值的更多細節將在圖6中討論。參考圖6，圖6是根據本揭露的示例性實施例
所繪示的計算多個色彩參數方法的流程圖。
首先，影像能見度修復模組112分別比較最大分佈值與分別對應於多個色彩通道的各個拉普拉斯分佈值，以獲得各色彩通道的多個色適應性參數(步驟S361)。影像能見度修復模組112基於上述的色適應性參數產生分別對應於多個色彩通道的多個色彩參數(步驟S362)。
換句話說，影像能見度修復模組112經由拉普拉斯分佈值來估算霧氣影像的多個色彩參數，以產生多個色適應性參數並且修復場景色彩。根據這些拉普拉斯分佈值，在輸入的霧氣影像中，具有高數值的色適應性參數表示出色彩通道的分佈不一致。根據此項特性，色適應性參數可以根據公式(9)產生，其中公式(9)表示為：
其中v c 代表分別對應於色彩通道的色適應性參數。P(△ M (L)|S)代表對應於一色彩通道的最大分佈值，以及P(△ c (L)|S)代表對應於色彩通道的拉普拉斯分佈值。
對於每個RGB通道，霧氣影像的色彩參數可透過採用基於色適應性參數的白色區塊仿視覺理論產生。這些色彩參數可以獲取如公式(10)，其中用來基於色適應性參數而產生色彩參數的公式(10)可表示為：
其中c是色彩通道的索引並且c {r,g,b}，α c 代表色彩參數，v c 代表分別對應於色彩通道的色適應性參數，代表在霧氣影像中的各色彩通道的最大色彩分量。
最後，影像能見度修復模組112透過使用色彩參數和已調整介質圖來修復霧氣影像，以得到除霧影像(步驟S370)。也就是說，透過一併利用這些色彩參數以及由霧氣濃度估算模組111所產生的已調整介質圖，一個高品質影像可以由影像能見度修復模組112產生。修復函數針對每個RGB彩色通道併入這些色彩參數，從而定義了新的修復函數公式(11)，其中用於透過使用色彩參數和已調整介質圖修復霧氣影像以得到除霧影像的公式(11)可表示為：
其中c是色彩通道的索引並且c {r,g,b}，I c (x)代表霧氣影像，J c (x)代表除霧影像，A c 代表全球大氣光，α c 代表色彩參數，t'(x)代表已調整的介質圖，且已調整介質圖受限制於一下限界限t 0。
請再次以圖5所示的霧氣影像Img_1和霧氣影像Img_2作為例子。在霧氣影像Img_1及霧氣影像Img_2上執行了圖3所示的步驟S340到步驟S370之後，可以得到霧氣影像Img_1及霧氣影像Img_2的自適應參數和色彩參數。根據前述解釋可知，因為霧氣影像Img_1只有輕微的色偏，霧氣影像Img_1的自適應參數和色彩參數具有較低的變異量。相反地，因為霧氣影像Img_2
具有較嚴重的色偏問題，霧氣影像Img_2的自適應參數和色彩參數具有較高的變異量。根據此一特性，拉普拉斯分佈模型可用於在風沙情況時檢查色偏效應。
在圖5的例子中，由於色偏嚴重的程度和介質圖中霧氣濃度的估算不充足呈現正相關，當霧氣影像Img_1的介質圖與霧氣影像Img_2的介質圖做比較時，霧氣影像Img_2的介質圖需要較多的補償效果。換句話說，即霧氣影像Img_2受到更嚴重的色偏現象的影響，根據公式(7)和公式(8)，霧氣影像Img_2的自適應參數γ高於霧氣影像Img_1的自適應參數γ。也就是說，霧氣影像Img_2的介質圖需要更多的補償，並且霧氣影像Img_2的自適應參數大於霧氣影像Img_1的自適應參數。
此外，透過觀察拉普拉斯分佈模型52R、52G、52B、54R、54G和54B，當色偏問題在風沙條件下更嚴重時，RGB通道的分佈變得更加不一致。換句話說，相較於對應於霧氣影像Img_1的RGB通道的拉普拉斯分佈模型52R、52G和52B，對應於霧氣影像Img_2的RGB通道的拉普拉斯分佈模型54R、54G和54B更加不一致。因此，由於上述現象，即霧氣影像Img_2受到更嚴重的色偏現象的影響，當霧氣影像Img_2的色彩參數α c 與霧氣影像Img_1的色彩參數α c 做比較時，基於公式(9)和公式(10)，霧氣影像Img_2的色彩參數α c 對於綠色和藍色的色彩通道具有較高的數值。
綜上所述，本發明的實施例提供一種影像修復方法以及
使用該方法的影像處理裝置。在本發明中提出的方法，一種新的以拉普拉斯分佈為基礎的能見度修復方法可修復在惡劣天氣條件下所擷取之退化影像，如霧和沙塵暴等惡劣天氣條件。本發明提出的方法可充分去除影像中的霧氣成份和恢復生動的場景色彩。資訊較不足的介質圖可根據基於拉普拉斯算分佈的伽馬校正修正來實現霧氣濃度的有效估算。此外，本發明的方法可等化各個色彩通道並持續克服這些修復影像中的色偏問題。因此，本發明提出的方法可有效地對在多變化天氣條件下所擷取之退化影像產生無霧氣且生動的修復結果。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S310、S320、S330、S340、S350、S360、S370、S380‧‧‧步驟
Claims (18)
- 一種影像修復方法，適用於一影像處理裝置，其中所述影像修復方法是基於由一介質圖所建立之光學模型，並且該影像修復方法包括：接收包括多個像素的霧氣影像，其中各所述像素具有對應於多個色彩通道的多個色彩分量；偵測所述霧氣影像是否發生色偏現象；若是，計算分別對應於所述色彩通道的多個拉普拉斯分佈值；在所述拉普拉斯分佈值之中決定最大分佈值和最小分佈值，並且藉由比較所述最大分佈值和所述最小分佈值來產生自適應參數；利用所述自適應參數調整所述介質圖，從而產生已調整介質圖；根據所述拉普拉斯分佈值計算分別對應於所述色彩通道的多個色彩參數；以及藉由使用所述色彩參數和所述已調整介質圖修復所述霧氣影像，從而獲取除霧影像。
- 如申請專利範圍第1項所述的影像修復方法，其中所述光學模型表示為：I(x)=J(x)t(x)+A(1-t(x))，其中I(x)代表所述霧氣影像，J(x)代表除霧影像，A代表全球大氣光，x代表所述像素的像素位置，以及t(x)代表所述介質圖， 其中所述介質圖t(x)表示為：t(x)=e -βd(x)，其中β代表所述大氣的散射係數和d(x)代表景深資訊。
- 如申請專利範圍第1項所述的影像修復方法，其中計算分別對應於所述色彩通道的所述拉普拉斯分佈值的步驟包括：決定所述霧氣影像的計算區域，其中所述計算區域包括多個代表像素；從各所述代表像素的色彩分量之中決定各所述代表像素的最大色彩分量；分別比較各所述代表像素的所述最大色彩分量與各所述代表像素的每一所述色彩分量，以獲取各所述代表像素的多個通道色差量，其中所述通道色差量分別對應於所述色彩通道；以及基於所述通道色差量計算分別對應於所述色彩通道的所述拉普拉斯分佈值。
- 如申請專利範圍第3項所述的影像修復方法，其中所述計算區域為所述霧氣影像上具有最高明亮度的區域。
- 如申請專利範圍第3項所述的影像修復方法，其中用於分別比較各所述代表像素的所述最大色彩分量與各所述代表像素的每一所述色彩分量，以獲取各所述代表像素的所述通道色差量的公式表示為：△ c (L)=|I M (L)-I c (L)|，其中c是所述色彩通道的索引並且c {r,g,b}，△ c (L)代表分別對 應於所述色彩通道的所述通道色差量，L代表在所述計算區域內的任一所述代表像素，I M (L)代表所述最大色彩分量且I c (L)代表所述色彩分量，其中用以基於所述通道色差量計算所述拉普拉斯分佈值的公式表示為：
- 如申請專利範圍第1項所述的影像修復方法，其中所述自適應參數係透過將所述最大分佈值除以所述最小分佈值而產生，以及所述已調整介質圖係透過將所述介質圖作為基數並將所述自適應參數作為所述介質圖的指數而產生。
- 如申請專利範圍第1項所述的影像修復方法，其中根據所述拉普拉斯分佈值計算分別對應於所述色彩通道的所述色彩參數的步驟包括：分別比較所述最大分佈值與對應於所述色彩通道的各所述拉普拉斯分佈值，以針對各所述色彩通道來獲取多個色適應性參數；以及基於所述色適應性參數來產生分別對應於所述色彩通道的所述色彩參數。
- 如申請專利範圍第7項所述的影像修復方法，其中用以基於所述色適應性參數來產生所述色彩參數的公式表示為：
- 如申請專利範圍第1項所述的影像修復方法，其中用以藉由使用所述色彩參數和所述已調整介質圖修復所述霧氣影像，從而獲取除霧影像的公式表示為：
- 一種影像處理裝置，用以藉由介質圖形成的光學模型修復霧氣影像，包括：一儲存單元，儲存多個模組；以及一處理單元，耦接所述儲存單元以存取和執行儲存單元中的所述模型，其中所述模組包括：霧氣濃度估算模組，接收包括多個像素的所述霧氣影像，其 中各所述像素具有對應於多個色彩通道的多個色彩分量，其中該霧氣濃度估算模組偵測所述霧氣影像是否發生色偏現象，若是，該霧氣濃度估算模組計算分別對應於所述色彩通道的多個拉普拉斯分佈值，其中該霧氣濃度估算模組在所述拉普拉斯分佈值之中決定最大分佈值和最小分佈值，並且藉由比較所述最大分佈值和所述最小分佈值來產生自適應參數，以及利用所述自適應參數調整所述介質圖，從而產生已調整介質圖；以及一影像能見度修復模組，根據所述拉普拉斯分佈值計算分別對應於所述色彩通道多個色彩參數，以及藉由使用所述色彩參數和所述已調整介質圖修復所述霧氣影像，從而獲取除霧影像。
- 如申請專利範圍第10項所述的影像處理裝置，其中所述光學模型表示為：I(x)=J(x)t(x)+A(1-t(x))，其中I(x)代表所述霧氣影像，J(x)代表除霧影像，A代表全球大氣光，x代表所述像素的像素位置，以及t(x)代表所述介質圖，其中所述介質圖t(x)表示為：t(x)=e -βd(x)，其中β代表所述大氣的散射係數和d(x)代表景深資訊。
- 如申請專利範圍第10項所述的影像處理裝置，其中所述霧氣濃度估算模組決定所述霧氣影像的計算區域，其中所述計算區域包括多個代表像素， 其中所霧氣濃度估算模組從各所述代表像素的所述色彩分量之中決定各所述代表像素的最大色彩分量，分別比較各所述最大色彩分量與各所述代表像素的每一所述色彩分量，以獲取各所述代表像素的多個通道色差量，而所述通道色差量分別對應於所述色彩通道，其中所霧氣濃度估算模組基於所述通道色差量計算分別對應於所述色彩通道的所述拉普拉斯分佈值。
- 如申請專利範圍第12項所述的影像處理裝置，其中所述計算區域為所述霧氣影像上具有最高明亮度的區域。
- 如申請專利範圍第12項所述的影像處理裝置，其中所述霧氣濃度估算模組根據下列公式比較所述最大色彩分量與各所述代表像素的每一所述色彩分量以獲取各所述代表像素的所述通道色差量，其中用以獲取各所述代表像素的所述通道色差量的公式表示為：△ c (L)=|I M (L)-I c (L)|，其中c是所述色彩通道的索引並且c {r,g,b}，△ c (L)代表分別對應於所述色彩通道的所述通道色差量，L代表在所述計算區域內的任一所述代表像素，I M (L)代表所述最大色彩分量且I c (L)代表所述色彩分量，其中所述霧氣濃度估算模組根據下列公式基於所述通道色差量計算所述拉普拉斯分佈值，其中用於計算所述拉普拉斯分佈值的公式表示為：
- 如申請專利範圍第10項所述的影像處理裝置，其中所述霧氣濃度估算模組係透過將最大分佈值除以所述最小分佈值來產生所述自適應參數，以及透過將所述介質圖作為基數並將所述自適應參數作為所述介質圖的指數來產生所述已調整介質圖。
- 如申請專利範圍第10項所述的影像處理裝置，其中所述影像能見度修復模組分別比較所述最大分佈值與對應於所述色彩通道的各所述拉普拉斯分佈值，以針對各所述色彩通道來獲取多個色適應性參數，以及基於所述色適應性參數來產生分別對應於所述色彩通道的所述色彩參數。
- 如申請專利範圍第16項所述的影像處理裝置，其中所述影像能見度修復模組根據下列公式基於所述色適應性參數來產生所述色彩參數，其中用以產生所述色彩參數的公式表示為：
- 如申請專利範圍第10項所述的影像處理裝置，其中所述影像能見度修復模組根據下列公式修復所述霧氣影像藉由使用所述色彩參數和所述已調整介質圖，從而獲取除霧影像，其中用以獲取該除霧影像的公式表示為：
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/487,105 US9478016B2 (en) | 2014-09-16 | 2014-09-16 | Image restoration method and image processing apparatus using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI518635B true TWI518635B (zh) | 2016-01-21 |
| TW201612851A TW201612851A (en) | 2016-04-01 |
Family
ID=55455202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW103138536A TWI518635B (zh) | 2014-09-16 | 2014-11-06 | 影像修復方法及使用該方法的影像處理裝置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9478016B2 (zh) |
| TW (1) | TWI518635B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017056834A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
| CN106251301B (zh) * | 2016-07-26 | 2019-10-15 | 北京工业大学 | 一种基于暗原色先验的单幅图像去雾方法 |
| CN106355166B (zh) * | 2016-10-13 | 2021-09-24 | 北京师范大学 | 一种基于监控视频与遥感图像的灰霾扩散路径绘制与来源确定方法 |
| WO2018132961A1 (en) * | 2017-01-18 | 2018-07-26 | Nokia Technologies Oy | Apparatus, method and computer program product for object detection |
| CN106998445A (zh) * | 2017-03-28 | 2017-08-01 | 深圳市科美集成电路有限公司 | 雾霾穿透摄像头电路及系统 |
| CN108537756B (zh) * | 2018-04-12 | 2020-08-25 | 大连理工大学 | 基于图像融合的单幅图像去雾方法 |
| CN110349113B (zh) * | 2019-03-11 | 2023-06-27 | 中国人民解放军陆军工程大学 | 一种基于暗原色先验改进的自适应图像去雾方法 |
| EP3864615A1 (en) | 2019-12-20 | 2021-08-18 | Google LLC | Spatially varying reduction of haze in images |
| KR20220140369A (ko) * | 2021-04-09 | 2022-10-18 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
| CN114565563B (zh) * | 2022-01-31 | 2022-12-02 | 扬州江净空调制造有限公司 | 基于人工智能的彩钢板表面异常检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5822453A (en) * | 1996-12-10 | 1998-10-13 | Eastman Kodak Company | Method for estimating and adjusting digital image contrast |
| US8290294B2 (en) * | 2008-09-16 | 2012-10-16 | Microsoft Corporation | Dehazing an image using a three-dimensional reference model |
| US8340461B2 (en) * | 2010-02-01 | 2012-12-25 | Microsoft Corporation | Single image haze removal using dark channel priors |
| JP5847341B2 (ja) * | 2013-01-31 | 2016-01-20 | 三菱電機株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
| TWI489416B (zh) * | 2013-03-06 | 2015-06-21 | Novatek Microelectronics Corp | 影像還原方法 |
| US9361670B2 (en) * | 2014-09-04 | 2016-06-07 | National Taipei University Of Technology | Method and system for image haze removal based on hybrid dark channel prior |
-
2014
- 2014-09-16 US US14/487,105 patent/US9478016B2/en not_active Expired - Fee Related
- 2014-11-06 TW TW103138536A patent/TWI518635B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| TW201612851A (en) | 2016-04-01 |
| US20160078605A1 (en) | 2016-03-17 |
| US9478016B2 (en) | 2016-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI518635B (zh) | 影像修復方法及使用該方法的影像處理裝置 | |
| TWI514323B (zh) | 基於混合暗通道先驗的影像除霧方法及其系統 | |
| TWI501194B (zh) | 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置 | |
| TWI509567B (zh) | 影像能見度修復的方法及其影像處理裝置 | |
| EP3284060B1 (en) | Convolutional color correction | |
| US9710715B2 (en) | Image processing system, image processing device, and image processing method | |
| CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| US10719730B2 (en) | Image processing apparatus, image processing method, and non-transitory storage medium | |
| US10210643B2 (en) | Image processing apparatus, image processing method, and storage medium storing a program that generates an image from a captured image in which an influence of fine particles in an atmosphere has been reduced | |
| US10145790B2 (en) | Image processing apparatus, image processing method, image capturing device and storage medium | |
| US9886744B2 (en) | Image processing apparatus, image processing method, and storage medium with image quality improvement processing | |
| TWI489416B (zh) | 影像還原方法 | |
| JP5847471B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| US8610797B2 (en) | Image processing device, imaging device, and image processing method | |
| JP6531542B2 (ja) | 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
| CN101510306B (zh) | 一种视频图像照度分布估计方法 | |
| CN112132925A (zh) | 用于重建水下图像颜色的方法和装置 | |
| Sathya et al. | Enhancement of underwater images using wavelength compensation method | |
| TWI587240B (zh) | 基於邊緣塌陷的影像去霧方法以及其電子裝置 | |
| CN111935391B (zh) | 图像处理装置及其控制方法和计算机可读存储介质 | |
| JP6494817B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
| JP5963913B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| EP4334898A1 (en) | Determining depth maps from images | |
| WO2019041493A1 (zh) | 白平衡调整方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |