TWI501194B - 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置 - Google Patents

基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置 Download PDF

Info

Publication number
TWI501194B
TWI501194B TW103132833A TW103132833A TWI501194B TW I501194 B TWI501194 B TW I501194B TW 103132833 A TW103132833 A TW 103132833A TW 103132833 A TW103132833 A TW 103132833A TW I501194 B TWI501194 B TW I501194B
Authority
TW
Taiwan
Prior art keywords
image
block
input
channel
block size
Prior art date
Application number
TW103132833A
Other languages
English (en)
Other versions
TW201606705A (zh
Inventor
Shih Chia Huang
bo hao Chen
Original Assignee
Univ Nat Taipei Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taipei Technology filed Critical Univ Nat Taipei Technology
Application granted granted Critical
Publication of TWI501194B publication Critical patent/TWI501194B/zh
Publication of TW201606705A publication Critical patent/TW201606705A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置
本揭露是有關於一種基於費雪線性判別的雙暗通道先驗(Fisher’s linear discriminant-based dual dark channel prior)的影像能見度修復方法及其影像處理裝置。
在戶外場景中所拍攝的影像往往會因為霧氣、霾、沙塵暴等惡劣天氣中的混濁介質而導致能見度的降低。就光學上而言，數位影像的低能見度係為不同的大氣粒子吸收並且散射數位相機與拍射物之間的光線所導致。影像低能見度會使得例如是戶外物體辨識系統、障礙物偵測系統、視訊監控系統以及智慧型運輸系統等必須運作在任何天氣狀況下的系統產生問題。
為了恢復降質影像的能見度以及鮮豔色彩，許多影像除霧技術已被視為有效的影像修復工具，以利用場景深度資訊來產 生可用於各種電腦視覺應用的無霧影像。基此，許多影像除霧方法相繼被提出。
根據許多研究顯示，習知的影像除霧技術可以分為兩大主要類別：單張影像資訊以及非單張影像資訊。
非單張影像資訊的方式可藉由多張影像或是特殊的硬體取得同一場景的附加幾何資訊來估測未知的深度資訊，以移除影像的霧氣並且恢復影像的能見度。然而，此種方式需要額外的硬體設備，其具複雜的技術以及昂貴的修復成本。
近來影像除霧的研究主要是朝向基於單張影像資訊的方式，在判別無霧影像與輸入霧氣影像的差異時，採用強烈假設(strong assumption)或是先驗(prior)來達到影像的修復。
在一種習知技術所提出的單張影像除霧方法中，其觀察到相對於拍攝到的霧氣影像，修復影像具有較高的對比度，因此可藉由將局部對比度最大化的方式來修復場景輻射(scene radiance)。然而，此種方式會使得深度邊緣產生假影(artifact)。另一種習知技術所提出的單張影像除霧方法中，其係基於透射率和表面投影在局部上是沒有關聯的假設上來估測場景的反照率並且推導介質圖(transmission map)。然而，此種方法不適用於霧氣密度較大的影像。
另一種習知技術觀察到在戶外無霧影像中，局部區域的像素在至少一個色彩通道中具有較低的像素值，因此提出一種以單像影像並且利用暗通道先驗(dark channel prior)來有效地移除 霧氣的影像除霧演算法。目前為止，此種以單張影像來有效地進行除霧已在本領域引起廣泛的研究與討論。延續上述暗通道先驗技術，另一種影像除霧演算法採用暗通道先驗以及多階仿視覺(multi-scale Retinex)的技術來快速地進行影像的修復。然而，在惡劣的天氣下，局部光源以及色偏(color-shift)往往會使得整體處理程序變為複雜。在此情境下，前述暗通道先驗技術將會無法得到滿意的修復結果。
有鑑於此，本揭露提供一種基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置，其可在各種實際拍攝情況中有效地針對單張影像進行除霧。
本揭露提出一種基於費雪線性判別的雙暗通道先驗的影像能見度修復方法，適用於影像處理裝置。此方法包括下列步驟：接收對應於多個影像尺寸以及多個類別的多個訓練影像，其中各所述類別對應於一局部光源；根據所述訓練影像，利用費雪線性判別模型，產生多個判別模式；接收包括多個輸入像素的輸入霧氣影像，並且根據各所述輸入像素的像素值，判斷各所述輸入像素屬於局部光區域或是非局部光區域；根據關聯於所述影像尺寸的每一區塊尺寸，分割局部光區域為多個區塊；根據對應於各所述區塊尺寸的費雪線性判別模型，判斷各所述區塊是否屬於局部光區塊，據以自所述區塊尺寸中判定指定區塊尺寸；根據所述輸 入像素於每一色彩通道的像素值，判定對應於每一色彩通道的一組適應性色彩參數；判定分別對應於指定區塊尺寸以及小區塊尺寸的雙暗通道；根據對應於指定區塊尺寸的暗通道，判定於各所述色彩通道的大氣光，並且根據對應於小區塊尺寸的暗通道，判定介質圖；根據對應於各所述色彩通道的該組適應性色彩參數、大氣光以及介質圖，修復輸入霧氣影像，據以產生除霧影像；以及輸出除霧影像。
在本揭露的一實施例中，上述根據所述訓練影像，利用費雪線性判別模型，產生所述判別模式的步驟包括：計算對應於所述訓練影像的各所述影像尺寸的類別間散布矩陣以及類別內散布矩陣；最大化對應的類別間散布矩陣與對應的類別內散布矩陣之間的比值，以計算對應於所述訓練影像的各所述影像尺寸的最佳投影向量；以及根據對應的最佳投影向量以及對應的訓練影像，取得各所述判別模式。
在本揭露的一實施例中，上述根據所述訓練影像，利用費雪線性判別模型，產生所述判別模式的公式包括方程式(1)~方程式(4)：
其中為對應於影像尺寸f 的類別間散布矩陣，為對應於影像尺寸f 的類別內散布矩陣，u 為所述類別中的平均訓練影像，u i 為 第i 個類別中的平均訓練影像，n i 為屬於第i 個類別中的訓練影像的數量，x k 為第i 個類別中的第k 個訓練影像，H 為所述類別的數量並且為正整數，
其中W opt 為對應於影像尺寸f 的最佳投影向量，[w 1 ,w 2 ,…,w r ]為與的一組廣義特徵向量，r 為一較低維度經驗值，其中r 為正整數並且r <H ，
其中為影像尺寸f 的第k 個訓練影像所對應的判別模式。
在本揭露的一實施例中，上述彩色通道為紅色通道、綠色通道以及藍色通道，而根據各所述輸入像素的像素值，判斷各所述輸入像素屬於局部光區域或是非局部光區域的步驟包括：計算各所述輸入像素於綠色通道的像素值所出現的機率，以取得對應於各所述像素值的pmf值；判斷所述pmf值中的最大機率值，並且設定對應於最大機率值的像素值為二值化遮罩門檻值；判斷各所述輸入像素於綠色通道的像素值是否大於二值化遮罩門檻值；若是，將該輸入像素屬區分於局部光區域；以及若否，將該輸入像素屬於區分於非局部光區域。
在本揭露的一實施例中，上述根據各所述輸入像素的像素值，判斷各所述輸入像素屬於局部光區域或是非局部光區域的公式包括方程式(5)~方程式(6)：
其中PMF (I g )為輸入霧氣影像I 於綠色通道中對應於像素值g 的pmf值，MN 為所述輸入像素的數量，
其中B (x ,y )為位於(x ,y )的輸入像素的二值化遮罩，δ 為二值化遮罩門檻值，並且。
在本揭露的一實施例中，上述根據對應於各所述區塊尺寸的費雪線性判別模型，判斷各所述區塊是否屬於局部光區塊，據以自所述區塊尺寸中判定指定區塊尺寸的步驟如下。對於各所述區塊尺寸：計算各所述區塊的投影；判斷各所述投影與對應的最佳投影向量之間的相似度是否超過經驗門檻值；若是，將該區塊區分為不屬於局部光區塊；若否，將該區塊區分為屬於局部光區塊。此外，對於各所述區塊尺寸，累計屬於局部光區塊的所述區塊的數量，以及設定所述局部光區塊中具有最多區塊數量的區塊尺寸為指定區塊尺寸。
在本揭露的一實施例中，上述根據對應於各所述區塊尺寸的費雪線性判別模型，判斷各所述區塊是否屬於局部光區塊，據以自所述區塊尺寸中判定指定區塊尺寸的公式包括方程式(7)~方程式(8)：
其中為輸入霧氣影像中區塊尺寸為f 的第k 個區塊的投影，I k 為 輸入霧氣影像的第k 個區塊，
其中△為經驗門檻值，class 1表示為不屬於局部光區塊，以及class 2表示為屬於局部光區塊。
在本揭露的一實施例中，上述根據所述輸入像素於各所述色彩通道的像素值，判定對應於各所述色彩通道的該組適應性色彩參數的公式包括方程式(9)~方程式(10)：
其中(μ r ,ν r )以及(μ b ,ν b )分別為對應於紅色通道的該組適應性色彩參數以及對應於藍色通道的該組適應性色彩參數。
在本揭露的一實施例中，上述判定分別對應於指定區塊尺寸以及小區塊尺寸的雙暗通道的公式包括方程式(11)~方程式(12)：
其中以及為對應於所述雙暗通道的指定區塊尺寸ω 以及小區塊尺寸τ ，以及I c (x ,y )為位於(x ,y )的輸入像素於色彩通道c 的像素值。
在本揭露的一實施例中，上述根據對應於各所述色彩通道的該組適應性色彩參數、大氣光以及介質圖，修復輸入霧氣影像，據以產生除霧影像的公式包括方程式(13)~方程式(14)：
其中t 為介質圖，ω 為介於0到1之間的常數，
其中J c 為除霧影像於色彩通道c 的像素值，I c 為輸入霧氣影像於色彩通道c 的像素值，A c 為於色彩通道c 的大氣光，以及t 0 為介質下限。
本揭露提出一種影像處理裝置，包括儲存單元以及處理單元，其中處理單元耦接儲存單元。儲存單元用以記錄多個模組。處理單元用以存取並且執行記錄於儲存單元的所述模組，其中所述模組包括：影像接收模組、局部光偵測模組、適應性參數產生模組、能影像修復模組以及影像輸出模組。影像接收模組用以接收對應於多個影像尺寸以及多個類別的多個訓練影像，並且接收包括多個輸入像素的輸入霧氣影像，又根據各所述輸入像素的像素值，判斷各所述輸入像素屬於局部光區域或是非局部光區域，其中各所述類別對應於一局部光源。局部光源模組用以根據所述訓練影像，利用費雪線性判別模型，產生多個判別模式，並且根據關聯於所述影像尺寸的每一區塊尺寸，分割局部光區域為多個區塊，以及根據對應於各所述區塊尺寸的費雪線性判別模型，判斷各所述區塊是否屬於局部光區塊，據以自所述區塊尺寸中判定 指定區塊尺寸。適應性參數產生模組用以根據所述輸入像素於每一色彩通道的像素值，判定對應於每一色彩通道的一組適應性色彩參數。影像修復模組用以判定分別對應於指定區塊尺寸以及小區塊尺寸的雙暗通道，又根據對應於指定區塊尺寸的暗通道，判定於各所述色彩通道的大氣光，並且根據對應於小區塊尺寸的暗通道，判定介質圖，以及根據對應於各所述色彩通道的該組適應性色彩參數、大氣光以及介質圖，修復輸入霧氣影像，據以產生除霧影像。影像輸出模組用以輸出除霧影像。
在本揭露的一實施例中，上述的局部光偵測模組計算對應於所述訓練影像的各所述影像尺寸的類別間散布矩陣以及類別內散布矩陣，又最大化對應的類別間散布矩陣與對應的類別內散布矩陣之間的比值，以計算對應於所述訓練影像的各所述影像尺寸的最佳投影向量，以及根據對應的最佳投影向量以及對應的訓練影像，取得各所述判別模式。
在本揭露的一實施例中，上述的局部光偵測模組根據方程式(1)~方程式(4)，利用費雪線性判別模型，自所述訓練影像產生所述判別模式：
其中為對應於影像尺寸f 的類別間散布矩陣，為對應於影像尺寸f 的類別內散布矩陣，u 為所述類別中的平均訓練影像，u i 為 第i 個類別中的平均訓練影像，n i 為屬於第i 個類別中的訓練影像的數量，x k 為第i 個類別中的第k 個訓練影像，H 為所述類別的數量並且為正整數，
其中W opt 為對應於影像尺寸f 的最佳投影向量，[w 1 ,w 2 ,…,w r ]為與的一組廣義特徵向量，r 為一較低維度經驗值，其中r 為正整數並且r <H ，
其中為影像尺寸f 的第k 個訓練影像所對應的判別模式。
在本揭露的一實施例中，上述的局部光偵測模組計算各所述輸入像素於綠色通道的像素值所出現的機率，以取得對應於各所述像素值的pmf值，又判斷所述pmf值中的最大機率值，並且設定對應於最大機率值的像素值為二值化遮罩門檻值，以及判斷各所述輸入像素於綠色通道的像素值是否大於二值化遮罩門檻值，若是，將輸入像素區分為屬於局部光區域，以及若否，將輸入像素屬區分為屬於非局部光區域。
在本揭露的一實施例中，局部光偵測模組根據方程式(5)以及方程式(6)，利用各所述輸入像素的像素值，判斷各所述輸入像素屬於局部光區域或是非局部光區域：
其中PMF (I g )為輸入霧氣影像I 於綠色通道中對應於像素值g 的pmf 值，MN 為所述輸入像素的數量，
其中B (x ,y )為位於(x ,y )的輸入像素的二值化遮罩，δ 為二值化遮罩門檻值，並且。
在本揭露的一實施例中，上述的局部光偵測模組針對各所述區塊尺寸計算各所述區塊的投影，並且判斷各所述投影與對應的最佳投影向量之間的相似度是否超過經驗門檻值，若是，將該區塊區分為不屬於局部光區塊，若否，將該區塊區分為屬於局部光區塊。此外，上述的局部光偵測模組又針對各所述區塊尺寸，累計屬於局部光區塊的所述區塊的數量，並且設定所述局部光區塊中具有最多區塊數量的區塊尺寸為指定區塊尺寸。
在本揭露的一實施例中，上述的局部光偵測模組根據方程式(7)~方程式(8)，基於對應於各所述區塊尺寸的費雪線性判別模型，判斷各所述區塊是否屬於局部光區塊，據以自所述區塊尺寸中判定指定區塊尺寸：
其中為輸入霧氣影像中區塊尺寸為f 的第k 個區塊的投影，I k 為輸入霧氣影像的第k 個區塊，
其中△為經驗門檻值，class 1表示為不屬於局部光區塊，以及class 2表示為屬於局部光區塊。
在本揭露的一實施例中，上述的適應性參數產生模組根據方程式(9)以及方程式(10)，利用所述輸入像素於各所述色彩通道的像素值，判定對應於各所述色彩通道的該組適應性色彩參數：
其中(μ r ,ν r )以及(μ b ,ν b )分別為對應於紅色通道的該組適應性色彩參數以及對應於藍色通道的該組適應性色彩參數。
在本揭露的一實施例中，上述的影像修復模組根據方程式(11)~方程式(12)判定分別對應於指定區塊尺寸以及小區塊尺寸的雙暗通道：
其中以及為對應於雙暗通道的指定區塊尺寸ω 以及小區塊尺寸τ ，以及I c (x ,y )為位於(x ,y )的輸入像素於色彩通道c 的像素值。
在本揭露的一實施例中，上述的影像修復模組根據方程式(13)~方程式(14)，利用對應於各所述色彩通道的該組適應性色彩參數、大氣光以及介質圖，修復輸入霧氣影像，據以產生除霧影像：
其中t 為介質圖，ω 為介於0到1之間的常數，
其中J c 為除霧影像於色彩通道c 的像素值，I c 為輸入霧氣影像於色彩通道c 的像素值，A c 為於色彩通道c 的大氣光，以及t 0 為介質下限。
基於上述，在費雪線性判別的雙暗通道先驗的架構下，本揭露結合局部光的偵測、適應性色彩參數以及影像的修復的技術，其可隱藏局部光源並且抑制色偏的產生，以有效地達到影像的修復。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧影像處理裝置
10‧‧‧儲存單元
20‧‧‧處理單元
110、410‧‧‧影像接收模組
120、420‧‧‧局部光偵測模組
130、430‧‧‧適應性參數產生模組
140、440‧‧‧影像修復模組
150、450‧‧‧影像輸出模組
S202~S220‧‧‧影像能見度修復方法的流程
31、32、33‧‧‧輸入霧氣影像
310、320、330‧‧‧pmf圖
312、322、332‧‧‧天空區域
314、324、334‧‧‧局部光源
410a‧‧‧輸入霧氣影像
422‧‧‧判別模式擷取操作
424‧‧‧光點警示操作
424a‧‧‧濾除結果
426‧‧‧區塊尺寸選擇操作
426a‧‧‧局部光源偵測結果
432‧‧‧色彩統計分析
434‧‧‧適應性色彩參數計算
441‧‧‧雙暗通道先驗程序
442‧‧‧另一區塊尺寸的暗通道
443‧‧‧指定區塊尺寸的暗通道
442a、443a‧‧‧暗通道
444‧‧‧介質圖產生操作
444a‧‧‧介質圖
445‧‧‧大氣光估測操作
445a‧‧‧大氣光
448‧‧‧影像除霧程序
450a‧‧‧除霧影像
圖1繪示依據本揭露一實施例之一種影像處理裝置，其係利用影像能見度修復方法所提出的一種硬體架構。
圖2繪示依據本揭露一實施例之影像能見度修復方法的流程圖。
圖3繪示依據本揭露一實施例之不同的輸入霧氣影像的機率值變化。
圖4繪示依據本揭露一實施例之影像能見度修復方法的功能方塊圖。
本揭露的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些實施例只是本揭露的專利申請範圍中的裝置與方法的範例。
圖1繪示依據本揭露一實施例之一種影像處理裝置，其係利用影像能見度修復方法所提出的一種硬體架構。請參照圖1，影像處理裝置100包括儲存單元10以及處理單元20，其中處理單元20耦接於儲存單元10。
影像處理裝置100可以是外接或是內建於例如是個人電腦、筆記型電腦、數位相機、數位攝影機、網路攝影機、智慧型手機、平板電腦、行車紀錄器、汽車影音系統等電子裝置。
儲存單元10可以例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟、其他類似裝置或是這些裝置的組合，其係用以記錄可由處理器20執行的多個模組。這些模組包括影像接收模組110、局部光偵測模組120、適應性參數產生模組130、影像修復模組140以及影像輸出模組150。這些模組可載入至處理單元20以對數位影像進行能見度修復的處理。
處理單元20可以例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用 途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元20可存取以及執行記錄於儲存單元10的模組以執行影像的能見度修復。
圖2繪示依據本揭露一實施例之影像能見度修復方法的流程圖。本實施例所提出的方法是基於費雪線性判別的雙暗通道先驗的架構，其可解決局部光源以及色偏等相關問題，從而達到有效的影像的能見度修復。本實施例所提出的方法可由圖1的影像處理裝置100來執行。
請同時參照圖1以及圖2，影像接收模組110接收對應於多個影像尺寸以及多個類別的多個訓練影像，其中各所述類別對應於一局部光源(步驟S202)。接著，局部光偵測模組120根據所述訓練影像，利用費雪線性判別模型(Fisher’s Linear Discriminant model，FLD模型)，產生多個判別模式(discriminant pattern)(步驟S204)。換言之，為了偵測出霧氣影像中的局部光源，在訓練階段中可藉由FLD技術，利用最佳投影向量(optimum projection vector)來產生較低維度的判別模式。影像接收模組110可先接收不同尺寸、不同種類以及不同局部光源的訓練影像。在本實施例中，訓練影像是尺寸分別為15×15、33×33以及51×51且具有光圖案的影像，而局部光源可以是車頭燈或是街燈。在此具有不 同影像尺寸的訓練集合中，第k 個影像x 屬於第i 個類別。最佳投影向量可藉由最大化類別間散布矩陣(between-class scatter matrix)與類別內散布矩陣(within-class scatter matrix)之間的比值而取得。
詳言之，局部光偵測模組120可先計算對應於所述訓練影像的各所述影像尺寸的類別間散布矩陣以及類別內散布矩陣，再將對應的類別間散布矩陣與對應的類別內散布矩陣之間的比值最大化，以計算對應於所述訓練影像的各所述影像尺寸的最佳投影向量。局部光偵測模組120即可根據對應的最佳投影向量以及對應的訓練影像，取得各所述判別模式。
在一實施例中，局部光偵測模組120可根據方程式(1)~方程式(4)產生判別模式：
其中為對應於影像尺寸f 的類別間散布矩陣，為對應於影像尺寸f 的類別內散布矩陣，u 為所述類別中的平均訓練影像，u i 為第i 個類別中的平均訓練影像，n i 為屬於第i 個類別中的訓練影像的數量，x k 為第i 個類別中的第k 個訓練影像，H 為所述類別的數量並且為正整數，
其中W opt 為對應於影像尺寸f 的最佳投影向量，[w 1 ,w 2 ,…,w r ]為與的一組廣義特徵向量，r 為較低維度經驗值，其中r 為正整數並且r <H ，
其中為影像尺寸f 的第k 個訓練影像所對應的判別模式。
以習知的暗通道先驗法而言，局部光源會使得修復影像產生色彩的過飽和(over-saturated)效應，這是由於此習知方法容易將局部光源誤判為大氣光。為了加速偵測影像中的局部光源，可採用機率質量函數值(probability mass function evaluation，pmf值)來濾除非局部光區域。也就是說，局部光偵測模組120將接收包括多個輸入像素的輸入霧氣影像，並且根據各所述輸入像素的像素值，判斷各所述輸入像素屬於局部光區域或是非局部光區域(步驟S206)。在本實施例中，輸入霧氣影像是建立在RGB色域中，其包括紅(red，R)、綠(green，G)以及藍(blue，B)三個色彩通道。
一般而言，大氣光的誤判是基於兩種現象：1)霧氣影像中的局部光源的亮度高過大氣光的亮度；2)戶外影像中的天空區域存在大量的亮畫素。舉例而言，圖3繪示不同的輸入霧氣影像31~33的pmf圖310~330，其中pmf圖310~330分別代表輸入霧氣影像31~33的機率值變化與像素值的關係。pmf圖310~330中的312、322、332代表天空區域，並且314、324、334代表局部光源。根據觀察，代表非局部光源所對應的像素值將會侷限於 pmf圖中最高機率值的左側。
基此，局部光偵測模組120可先計算各所述輸入像素於綠色通道的像素值所出現的機率，以取得對應於各所述像素值的pmf值。接著，局部光偵測模組120將判斷所述pmf值中的最大機率值，並且設定對應於最大機率值的像素值為二值化遮罩門檻值。之後，局部光偵測模組120又判斷各所述輸入像素於綠色通道的像素值是否大於二值化遮罩門檻值：若是，將對應的輸入像素屬區分為屬於局部光區域；若否，將對應的輸入像素區分為屬於非局部光區域。
在一實施例中，局部光偵測模組120可根據方程式(5)以及方程式(6)來區分各所述輸入像素屬於局部光區域或是非局部光區域：
其中PMF (I g )為輸入霧氣影像I 於綠色通道中對應於像素值g 的pmf值，MN 為所述輸入像素的數量，
其中B (x ,y )為位於(x ,y )的輸入像素的二值化遮罩，δ 為二值化遮罩門檻值，並且。也就是說，若二值化遮罩B (x ,y )屬於局部光區域，其將會被標示為「1」；若二值化遮罩B (x ,y )屬於非局部光區域，其將會被標示為「0」。
在濾除輸入霧氣影像中的非局部光區域後，可藉由FLD 技術來精確地偵測局部光源。換言之，局部光源的偵測可藉由較低維度的判別模式來偵測輸入霧氣影像中具有較高機率包含局部光源的區域。在藉由FLD技術偵測局部光源的大小後，可判斷區塊尺寸，並且可在後續的步驟中隱藏局部光源，以避免修復影出現色彩的過飽和現象。
因此，局部光偵測模組120將根據關聯於所述影像尺寸的每一區塊尺寸，分割局部光區域為多個區塊(步驟S208)，並且根據對應於各所述區塊尺寸的費雪線性判別模型，判斷各所述區塊是否屬於局部光區塊，據以自所述區塊尺寸中判定指定區塊尺寸(步驟S210)。詳言之，為了偵測出輸入霧氣影像中的局部光源，在局部光區域以關聯於訓練影像中的其中一個影像尺寸的特定區塊尺寸(例如是15×15)被分割為多個區塊後，局部光偵測模組120可先計算各所述區塊的投影。接著，局部光偵測模組120可判斷各所述投影與對應的最佳投影向量之間的相似度是否超過經驗門檻值；若是，將對應的區塊區分為不屬於局部光區塊；若否，將對應的區塊區分為屬於局部光區塊。類似地，局部光偵測模組120將針對關聯於例如是33×33或是51×51等其它區塊尺寸執行相同的程序。接著，局部光偵測模組120可分別累計各個區塊尺寸中屬於局部光區塊的區塊數量，並且將所述局部光區塊中具有最多區塊數量的區塊尺寸設定為指定區塊尺寸。
在一實施例中，局部光偵測模組120可根據方程式(7)以及方程式(8)判斷各所述區塊是否屬於局部光區塊：
其中為輸入霧氣影像中區塊尺寸為f 的第k 個區塊的投影，I k 為輸入霧氣影像的第k 個區塊，
其中△為經驗門檻值。也就是說，若區塊I k 不屬於局部光區塊，其將被標示為「class 1」；若區塊I k 屬於局部光區塊，其將被標示為「class 2」。
在此將步驟S206、S208以及S210定義為輸入霧氣影像的「局部光偵測階段」。在完成局部光偵測階段後，為了避免影像產生色偏，適應性參數產生模組130根據所述輸入像素於每一色彩通道的像素值，判定對應於每一色彩通道的一組適應性色彩參數(步驟S212，在此定義為「適應性參數產生階段」)。產生適應性色彩參數的方式是基於結合灰色世界假設(gray world assumption)與仿視覺理論(Retinex theory)的混合頻譜分析技術。
根據觀察，當影像具有足夠的色彩變化時，灰色世界假設認為該影像的各色彩通道的平均像素值將偏向於一個共同灰度值。此外，相較於紅色通道以及藍色通道，綠色通道的平均像素值更接近上述共同灰度值，因此綠色通道的像素值將維持不變，而紅色通道以及藍色通道的像素值可利用灰色世界假設的適應性色彩參數，經由Von Kries轉換來進行調整，其中灰色世界假設中的適應性色彩參數可以下述公式來取得：
其中α 以及β 為在RGB色彩空間中修改影像的紅色通道以及藍色通道的增益係數，而I r (x ,y )、I g (x ,y )以及I b (x ,y )分別為影像I 中位於(x ,y )於紅色通道、綠色通道以及藍色通道的像素值。
再者，根據精神視覺(psychovisual)上的研究，仿視覺理論認為可感知的白度(perceived whiteness)是關聯於人類視覺系統(human visual system)的最大錐體訊號(cone signal)。仿視覺理論中的適應性色彩參數可經由各個色彩通道的最大像素值而取得。因此，除了灰色世界假設外，綠色通道的像素值將維持不變，而紅色通道以及藍色通道的像素值可利用仿視覺理論的適應性色彩參數來進行調整，其中仿視覺理論中的適應性色彩參數可以下述公式來取得：
灰色世界假設對於帶有足夠色彩變化的影像具有良好的功效，而相對地，仿視覺理論則是對色彩變化不大的影像具有良 好的功效。在此可結合兩者的優點來產生適應性色彩參數來避免因沙塵暴等天氣狀況而造成影像的色偏。因此，適應性參數產生模組130可結合灰色世界假設與仿視覺理論的混合頻譜分析技術，採用兩個額外的適應性色彩參數來抑止色偏現象。適應性參數產生模組130可根據方程式(9)以及方程式(10)，藉由將綠色通道以及藍色通道的像素值進行二次映射(quadratic mapping)，以得到混合頻譜分析技術的適應性色彩參數(μ r ,ν r )以及(μ b ,ν b )：
當局部光偵測模組120在局部光偵測階段決定區塊尺寸，並且適應性參數產生模組130在適應性參數產生階段產生適應性色彩參數後，影像修復模組140可透過雙暗通道先驗程序以及影像除霧程序來產生無過飽和以及無色偏的修復影像。
詳言之，在雙暗通道先驗程序中，影像修復模組140判定分別對應於指定區塊尺寸以及小區塊尺寸的雙暗通道(步驟S214)。其中，指定區塊尺寸已在前述的局部光偵測階段中取得，其用以產生輸入霧氣影像的暗通道以隱藏局部光，進而避免修復影像的過飽和。因此，不同區塊尺寸的暗通道可有效隱藏局部光，並且可估測大氣光的所在位置。
然而，習知的暗通道先驗技術中，介質圖中的區塊尺寸 是一致的，因此修復後的影像將會出現光暈(halo artifact)。為了避免出現此區塊效應，在此可利用最小尺寸的區塊(例如是3×3)來建立介質圖，其更可有效地保留影像中物件所呈現的特性。因此，在此無須使用習知暗通道先驗技術所使用的軟消光(soft matting)技術。
影像修復模組140可根據方程式(11)以及方程式(12)來判定雙暗通道：
其中以及為對應於所述雙暗通道的指定區塊尺寸ω 以及小區塊尺寸τ ，以及I c (x ,y )為位於(x ,y )的輸入像素於色彩通道c 的像素值。
接著，影像修復模組140根據對應於指定區塊尺寸的暗通道，判定於各所述色彩通道的大氣光，並且根據對應於小區塊尺寸的暗通道，判定介質圖(步驟S216)。在本實施例中，可依據指定區塊尺寸來判定大氣光的所在位置進而判定的暗通道中，自前0.1%最亮的輸入畫素之中取得輸入霧氣影像於各個色彩通道的最高像素值。這是由於指定區塊尺寸的暗通道可隱藏局部光源，以進一步地避免修復影像的過飽和。另外，小局部區塊的介質圖可根據方程式(13)來建立：
其中t 為介質圖，ω 為介於0到1之間的常數。在本實施例中，ω 可 依經驗設為0.95。
在影像除霧程序中，影像修復模組140根據對應於各所述色彩通道的該組適應性色彩參數、大氣光以及介質圖，修復輸入霧氣影像，據以產生除霧影像(步驟S218)。詳言之，由於輸入霧氣影像例如是在色彩偏向於不透明的黃色、橘色、甚至棕色的沙塵暴下所擷取的影像，影像修復模組140可利用適應性色彩參數來消除修復影像中的色偏現象。
在一實施例中，影像修復模組140可根據方程式(14)來修復輸入霧氣影像：
其中J c 為除霧影像於色彩通道c 的像素值，I c 為輸入霧氣影像於色彩通道c 的像素值，A c 為於色彩通道c 的大氣光，以及t 0 為介質下限(lower bound)。在一實施例中，t 0 可以為0.1。此外，μ c 以及ν c 為方程式(9)以及方程式(10)所定義的綠色通道以及藍色通道的適應性色彩參數，而紅色通道的適應性色彩參數可以設為1。
影像修復模組140在產生除霧影像後，影像輸出模組150將輸出除霧影像(步驟S220)，其中輸出影像將不包含不必要的假影。
前述的影像能見度修復方法可利用圖4依據本揭露一實施例所繪示的功能方塊圖來進行總結。
請參照圖4，局部光偵測模組420先自影像接收模組410 接收輸入霧氣影像410a，並且可透過光點警示操作424來濾除非局部光區域以取得濾除結果424a。接著，根據訓練階段中根據FLD技術取得的判別模式擷取操作422後的結果，透過區塊尺寸選擇操作426來偵測局部光源。此外，在區塊尺寸選擇操作426中，更可根據局部光源偵測結果426a來判定指定區塊尺寸。為了抑止色偏現象，適應性參數產生模組430可針對輸入霧氣影像410a執行色彩統計分析432以及適應性色彩參數計算434來產生適應性色彩參數。
接著，影像修復模組440可在雙暗通道先驗程序411中，判定具有指定區塊尺寸的暗通道443以及另一區塊尺寸的暗通道442(例如是3×3的小區塊尺寸)，並且可根據暗通道442a，透過介質圖產生操作444來產生介質圖444a，以及根據暗通道443a，透過大氣光估測操作445來估測大氣光445a。在影像除霧程序448中，可藉由雙暗通道先驗技術以及適應性參數產生模組430所產生的適應性色彩參數來產生除霧影像450a。影像輸出模組450將輸出除霧影像450a，而結束影像能見度修復方法的流程。
綜上所述，在費雪線性判別的雙暗通道先驗的架構下，本揭露結合局部光的偵測、適應性色彩參數以及影像的修復的技術，其可隱藏局部光源並且抑制色偏的產生，以有效地達到影像的修復。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的 精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S220‧‧‧影像能見度修復方法的流程

Claims (20)

  1. 一種基於費雪線性判別的雙暗通道先驗的影像能見度修復方法，適用於一影像處理裝置，包括：接收對應於多個影像尺寸以及多個類別的多個訓練影像，其中各所述類別對應於一局部光源；根據所述訓練影像，利用一費雪線性判別模型，產生多個判別模式；接收包括多個輸入像素的一輸入霧氣影像，並且根據各所述輸入像素的像素值，判斷各所述輸入像素屬於一局部光區域或是一非局部光區域；根據關聯於所述影像尺寸的每一多個區塊尺寸，分割該局部光區域為多個區塊；根據對應於各所述區塊尺寸的該費雪線性判別模型，判斷各所述區塊是否屬於一局部光區塊，據以自所述區塊尺寸中判定一指定區塊尺寸；根據所述輸入像素於每一多個色彩通道的像素值，判定對應於每一所述色彩通道的一組適應性色彩參數；判定分別對應於該指定區塊尺寸以及一小區塊尺寸的雙暗通道；根據對應於該指定區塊尺寸的該暗通道，判定於各所述色彩通道的一大氣光，並且根據對應於該小區塊尺寸的該暗通道，判定一介質圖； 根據對應於各所述色彩通道的該組適應性色彩參數、該大氣光以及該介質圖，修復該輸入霧氣影像，據以產生一除霧影像；以及輸出該除霧影像。
  2. 如申請專利範圍第1項所述的方法，其中根據所述訓練影像，利用該費雪線性判別模型，產生所述判別模式的步驟包括：計算對應於所述訓練影像的各所述影像尺寸的一類別間散布矩陣以及一類別內散布矩陣；最大化對應的該類別間散布矩陣與對應的該類別內散布矩陣之間的比值，以計算對應於所述訓練影像的各所述影像尺寸的一最佳投影向量；以及根據對應的該最佳投影向量以及對應的該訓練影像，取得各所述判別模式。
  3. 如申請專利範圍第2項所述的方法，其中根據所述訓練影像，利用該費雪線性判別模型，產生所述判別模式的公式包括方程式(1)~方程式(4)： 其中為對應於影像尺寸f 的該類別間散布矩陣，為對應於影像尺寸f 的該類別內散布矩陣，u 為所述類別中的平均訓練影像，u i 為第i 個類別中的平均訓練影像，n i 為屬於第i 個類別中的訓練 影像的數量，x k 為第i 個類別中的第k 個訓練影像，H 為所述類別的數量並且為正整數， 其中W opt 為對應於影像尺寸f 的該最佳投影向量，[w 1 ,w 2 ,…,w r ]為與的一組廣義特徵向量，r 為一較低維度經驗值，其中r 為正整數並且r <H ， 其中為影像尺寸f 的第k 個訓練影像所對應的判別模式。
  4. 如申請專利範圍第1項所述的方法，其中所述彩色通道為一紅色通道、一綠色通道以及一藍色通道，而根據各所述輸入像素的像素值，判斷各所述輸入像素屬於該局部光區域或是該非局部光區域的步驟包括：計算各所述輸入像素於該綠色通道的像素值所出現的機率，以取得對應於各所述像素值的一pmf值；判斷所述pmf值中的一最大機率值，並且設定對應於該最大機率值的像素值為一二值化遮罩門檻值；判斷各所述輸入像素於該綠色通道的像素值是否大於該二值化遮罩門檻值；若是，區分該輸入像素屬於該局部光區域；以及若否，區分該輸入像素屬於該非局部光區域。
  5. 如申請專利範圍第4項所述的方法，其中根據各所述輸入 像素的像素值，判斷各所述輸入像素屬於該局部光區域或是該非局部光區域的公式包括方程式(5)~方程式(6)： 其中PMF (I g )為輸入霧氣影像I 於該綠色通道中對應於像素值g 的該pmf值，MN 為所述輸入像素的數量， 其中B (x ,y )為位於(x ,y )的該輸入像素的一二值化遮罩，δ 為該二值化遮罩門檻值，並且。
  6. 如申請專利範圍第5項所述的方法，其中根據對應於各所述區塊尺寸的該費雪線性判別模型，判斷各所述區塊是否屬於該局部光區塊，據以自所述區塊尺寸中判定該指定區塊尺寸的步驟包括：對於各所述區塊尺寸：計算各所述區塊的一投影；判斷各所述投影與對應的該最佳投影向量之間的一相似度是否超過一經驗門檻值；若是，區分該區塊不屬於該局部光區塊；若否，區分該區塊屬於該局部光區塊；對於各所述區塊尺寸，累計屬於該局部光區塊的所述區塊的數量；以及設定所述局部光區塊中具有最多區塊數量的該區塊尺寸為該 指定區塊尺寸。
  7. 如申請專利範圍第6項所述的方法，其中根據對應於各所述區塊尺寸的該費雪線性判別模型，判斷各所述區塊是否屬於該局部光區塊，據以自所述區塊尺寸中判定該指定區塊尺寸的公式包括方程式(7)~方程式(8)： 其中為該輸入霧氣影像中區塊尺寸為f 的第k 個區塊的該投影，I k 為該輸入霧氣影像的第k 個區塊， 其中△為該經驗門檻值，class 1表示為不屬於該局部光區塊，以及class 2表示為屬於該局部光區塊。
  8. 如申請專利範圍第7項所述的方法，其中根據所述輸入像素於各所述色彩通道的像素值，判定對應於各所述色彩通道的該組適應性色彩參數的公式包括方程式(9)~方程式(10)： 其中(μ r ,ν r )以及(μ b ,ν b )分別為對應於該紅色通道的該組適應性色彩參數以及對應於該藍色通道的該組適應性色彩參數。
  9. 如申請專利範圍第8項所述的方法，其中判定分別對應於 該指定區塊尺寸以及該小區塊尺寸的所述雙暗通道的公式包括方程式(11)~方程式(12)： 其中以及為對應於所述雙暗通道的該指定區塊尺寸ω 以及該小區塊尺寸τ ，以及I c (x ,y )為位於(x ,y )的該輸入像素於該色彩通道c 的像素值。
  10. 如申請專利範圍第9項所述的方法，其中根據對應於各所述色彩通道的該組適應性色彩參數、該大氣光以及該介質圖，修復該輸入霧氣影像，據以產生該除霧影像的公式包括方程式(13)~方程式(14)： 其中t 為該介質圖，ω 為介於0到1之間的常數， 其中J c 為該除霧影像於色彩通道c 的像素值，I c 為該輸入霧氣影像於色彩通道c 的像素值，A c 為於色彩通道c 的該大氣光，以及t 0 為一介質下限。
  11. 一種影像處理裝置，包括：一儲存單元，記錄多個模組，以及一處理單元，耦接該儲存單元，以存取並且執行記錄於該儲存單元的所述模組，其中所述模組包括：一影像接收模組，接收對應於多個影像尺寸以及多個類 別的多個訓練影像，並且接收包括多個輸入像素的一輸入霧氣影像，並且根據各所述輸入像素的像素值，判斷各所述輸入像素屬於一局部光區域或是一非局部光區域，其中各所述類別對應於一局部光源；一局部光偵測模組，根據所述訓練影像，利用一費雪線性判別模型，產生多個判別模式，並且根據關聯於所述影像尺寸的每一多個區塊尺寸，分割該局部光區域為多個區塊，以及根據對應於各所述區塊尺寸的該費雪線性判別模型，判斷各所述區塊是否屬於一局部光區塊，據以自所述區塊尺寸中判定一指定區塊尺寸；一適應性參數產生模組，根據所述輸入像素於每一多個色彩通道的像素值，判定對應於每一所述色彩通道的一組適應性色彩參數；一影像修復模組，判定分別對應於該指定區塊尺寸以及一小區塊尺寸的雙暗通道，又根據對應於該指定區塊尺寸的該暗通道，判定於各所述色彩通道的一大氣光，並且根據對應於該小區塊尺寸的該暗通道，判定一介質圖，以及根據對應於各所述色彩通道的該組適應性色彩參數、該大氣光以及該介質圖，修復該輸入霧氣影像，據以產生一除霧影像；以及一影像輸出模組，輸出該除霧影像。
  12. 如申請專利範圍第11項所述的影像處理裝置，其中該局部光偵測模組計算對應於所述訓練影像的各所述影像尺寸的一類別間散布矩陣以及一類別內散布矩陣，又最大化對應的該類別間散布矩陣與對應的該類別內散布矩陣之間的比值，以計算對應於 所述訓練影像的各所述影像尺寸的一最佳投影向量，以及根據對應的該最佳投影向量以及對應的該訓練影像，取得各所述判別模式。
  13. 如申請專利範圍第12項所述的影像處理裝置，其中該局部光偵測模組根據方程式(1)~方程式(4)，利用該費雪線性判別模型，自所述訓練影像產生所述判別模式： 其中為對應於影像尺寸f 的該類別間散布矩陣，為對應於影像尺寸f 的該類別內散布矩陣，u 為所述類別中的平均訓練影像，u i 為第i 個類別中的平均訓練影像，n i 為屬於第i 個類別中的訓練影像的數量，x k 為第i 個類別中的第k 個訓練影像，H 為所述類別的數量並且為正整數， 其中W opt 為對應於影像尺寸f 的該最佳投影向量，[w 1 ,w 2 ,…,w r ]為與的一組廣義特徵向量，r 為一較低維度經驗值，其中r 為正整數並且r <H ， 其中為影像尺寸f 的第k 個訓練影像所對應的判別模式。
  14. 如申請專利範圍第11項所述的影像處理裝置，其中該局部光偵測模組計算各所述輸入像素於該綠色通道的像素值所出現 的機率，以取得對應於各所述像素值的一pmf值，又判斷所述pmf值中的一最大機率值，並且設定對應於該最大機率值的像素值為一二值化遮罩門檻值，以及判斷各所述輸入像素於該綠色通道的像素值是否大於該二值化遮罩門檻值，若是，區分該輸入像素屬於該局部光區域，以及若否，區分該輸入像素屬於該非局部光區域。
  15. 如申請專利範圍第14項所述的影像處理裝置，其中該局部光偵測模組根據方程式(5)以及方程式(6)，利用各所述輸入像素的像素值，判斷各所述輸入像素屬於該局部光區域或是該非局部光區域： 其中PMF (I g )為輸入霧氣影像I 於該綠色通道中對應於像素值g 的該pmf值，MN 為所述輸入像素的數量， 其中B (x ,y )為位於(x ,y )的該輸入像素的一二值化遮罩，δ 為該二值化遮罩門檻值，並且。
  16. 如申請專利範圍第15項所述的影像處理裝置，其中：該局部光偵測模組針對各所述區塊尺寸計算各所述區塊的一投影，並且判斷各所述投影與對應的該最佳投影向量之間的一相似度是否超過一經驗門檻值，若是，區分該區塊不屬於該局部光區塊，若否，區分該區塊屬於該局部光區塊；以及該局部光偵測模組針對各所述區塊尺寸，累計屬於該局部光 區塊的所述區塊的數量，並且設定所述局部光區塊中具有最多區塊數量的該區塊尺寸為該指定區塊尺寸。
  17. 如申請專利範圍第16項所述的影像處理裝置，其中該局部光偵測模組根據方程式(7)~方程式(8)，基於對應於各所述區塊尺寸的該費雪線性判別模型，判斷各所述區塊是否屬於該局部光區塊，據以自所述區塊尺寸中判定該指定區塊尺寸： 其中為該輸入霧氣影像中區塊尺寸為f 的第k 個區塊的該投影，I k 為該輸入霧氣影像的第k 個區塊， 其中△為該經驗門檻值，class 1表示為不屬於該局部光區塊，以及class 2表示為屬於該局部光區塊。
  18. 如申請專利範圍第17項所述的影像處理裝置，其中該適應性參數產生模組根據方程式(9)以及方程式(10)，利用所述輸入像素於各所述色彩通道的像素值，判定對應於各所述色彩通道的該組適應性色彩參數： 其中(μ r ,ν r )以及(μ b ,ν b )分別為對應於該紅色通道的該組適應性色彩參數以及對應於該藍色通道的該組適應性色彩參數。
  19. 如申請專利範圍第18項所述的影像處理裝置，其中該影像修復模組根據方程式(11)~方程式(12)判定分別對應於該指定區塊尺寸以及該小區塊尺寸的所述雙暗通道： 其中以及為對應於所述雙暗通道的該指定區塊尺寸ω 以及該小區塊尺寸τ ，以及I c (x ,y )為位於(x ,y )的該輸入像素於該色彩通道c 的像素值。
  20. 如申請專利範圍第18項所述的影像處理裝置，其中該影像修復模組根據方程式(13)~方程式(14)，利用對應於各所述色彩通道的該組適應性色彩參數、該大氣光以及該介質圖，修復該輸入霧氣影像，據以產生該除霧影像： 其中t 為該介質圖，ω 為介於0到1之間的常數， 其中J c 為該除霧影像於色彩通道c 的像素值，I c 為該輸入霧氣影像於色彩通道c 的像素值，A c 為於色彩通道c 的該大氣光，以及t 0 為一介質下限。
TW103132833A 2014-08-15 2014-09-23 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置 TWI501194B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/460,378 US9305242B2 (en) 2014-08-15 2014-08-15 Method and image processing apparatus for image visibility restoration using fisher's linear discriminant based dual dark channel prior

Publications (2)

Publication Number Publication Date
TWI501194B true TWI501194B (zh) 2015-09-21
TW201606705A TW201606705A (zh) 2016-02-16

Family

ID=54608159

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103132833A TWI501194B (zh) 2014-08-15 2014-09-23 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置

Country Status (3)

Country Link
US (1) US9305242B2 (zh)
CN (1) CN105374013B (zh)
TW (1) TWI501194B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810705B2 (en) 2018-03-15 2020-10-20 National Chiao Tung University Video dehazing device and method
TWI724375B (zh) * 2018-02-23 2021-04-11 富智捷股份有限公司 圖像去霧霾方法、電子設備及電腦可讀取記錄媒體

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631831B (zh) * 2016-03-14 2018-07-27 北京理工大学 一种雾霾条件下视频图像增强方法
CN105931220B (zh) * 2016-04-13 2018-08-21 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN106248635B (zh) * 2016-07-22 2019-01-22 福州大学 一种基于数字摄像的能见度检测方法
US10026160B2 (en) * 2016-08-20 2018-07-17 Adobe Systems Incorporated Systems and techniques for automatic image haze removal across multiple video frames
CN108734670B (zh) * 2017-04-20 2021-05-18 天津工业大学 单幅夜间弱照度雾霾图像的复原方法
CN107317846B (zh) * 2017-06-07 2018-07-24 上海储翔信息科技有限公司 基于云平台的车辆管理系统
CN107316284B (zh) * 2017-07-19 2019-01-08 山东财经大学 强光源下图像去雾方法和装置
CN107564014A (zh) * 2017-08-17 2018-01-09 南京信息工程大学 一种基于数码相机的大气能见度和埃指数的测量方法
US10367976B2 (en) 2017-09-21 2019-07-30 The United States Of America As Represented By The Secretary Of The Navy Single image haze removal
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN109993708B (zh) * 2019-03-05 2021-03-30 华南理工大学 一种基于暗原色与b样条配准的水下扭曲图像恢复方法
CN110298809B (zh) * 2019-07-08 2021-03-30 广东工业大学 一种图像去雾方法及装置
CN113763254B (zh) * 2020-06-05 2024-02-02 中移(成都)信息通信科技有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN112070693B (zh) * 2020-08-27 2024-03-26 西安理工大学 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120814A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images
CN102801900A (zh) * 2011-05-27 2012-11-28 富士施乐株式会社 图像处理装置和图像处理方法
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
WO2014077126A1 (ja) * 2012-11-13 2014-05-22 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2005072635A (ja) * 2003-08-21 2005-03-17 Sharp Corp 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US8775555B2 (en) * 2011-05-13 2014-07-08 Sap Ag Rest interface interaction with expectation management
CN102968760B (zh) * 2011-08-30 2016-08-17 富士通株式会社 图像去雾方法和系统
CN103020902B (zh) * 2011-09-20 2016-08-31 富士通株式会社 用于去雾图像的曝光增强方法和装置
CN103516959B (zh) * 2012-06-30 2016-10-05 华为技术有限公司 图像处理方法及设备
US9031345B2 (en) * 2013-03-11 2015-05-12 Adobe Systems Incorporated Optical flow accounting for image haze
CN103942758B (zh) * 2014-04-04 2017-02-15 中国人民解放军国防科学技术大学 基于多尺度融合的暗通道先验图像去雾方法
CN103914813B (zh) * 2014-04-10 2017-06-16 西安电子科技大学 彩色雾霾图像去雾与光照补偿的复原方法
US9305339B2 (en) * 2014-07-01 2016-04-05 Adobe Systems Incorporated Multi-feature image haze removal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120814A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images
CN102801900A (zh) * 2011-05-27 2012-11-28 富士施乐株式会社 图像处理装置和图像处理方法
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
WO2014077126A1 (ja) * 2012-11-13 2014-05-22 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI724375B (zh) * 2018-02-23 2021-04-11 富智捷股份有限公司 圖像去霧霾方法、電子設備及電腦可讀取記錄媒體
US10810705B2 (en) 2018-03-15 2020-10-20 National Chiao Tung University Video dehazing device and method

Also Published As

Publication number Publication date
CN105374013B (zh) 2018-06-01
CN105374013A (zh) 2016-03-02
US20160048742A1 (en) 2016-02-18
TW201606705A (zh) 2016-02-16
US9305242B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
TWI501194B (zh) 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置
TWI514323B (zh) 基於混合暗通道先驗的影像除霧方法及其系統
TWI509567B (zh) 影像能見度修復的方法及其影像處理裝置
US10719730B2 (en) Image processing apparatus, image processing method, and non-transitory storage medium
Tang et al. Investigating haze-relevant features in a learning framework for image dehazing
TWI518635B (zh) 影像修復方法及使用該方法的影像處理裝置
Huang et al. Visibility restoration of single hazy images captured in real-world weather conditions
CN103218778B (zh) 一种图像和视频的处理方法及装置
CN107103591B (zh) 一种基于图像雾霾浓度估计的单幅图像去雾方法
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
Chen et al. Hazy image restoration by bi-histogram modification
US20140177960A1 (en) Apparatus and method of processing image
US10145790B2 (en) Image processing apparatus, image processing method, image capturing device and storage medium
CN111179189A (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN107093173A (zh) 一种图像雾霾浓度的估计方法
CN112132925A (zh) 用于重建水下图像颜色的方法和装置
Anwar et al. Classification of foggy images for vision enhancement
Negru et al. Exponential image enhancement in daytime fog conditions
Kawarabuki et al. Snowfall detection in a foggy scene
Naseeba et al. KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions
Chen et al. Improved visibility of single hazy images captured in inclement weather conditions
TWI587240B (zh) 基於邊緣塌陷的影像去霧方法以及其電子裝置
CN111127362A (zh) 基于图像增强的视频除尘方法、系统、装置及可存储介质
CN104077745B (zh) 图像除雾装置和图像除雾方法
Chen et al. Contrast Restoration of Hazy Image in HSV Space

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees