TWI509567B - 影像能見度修復的方法及其影像處理裝置 - Google Patents

影像能見度修復的方法及其影像處理裝置 Download PDF

Info

Publication number
TWI509567B
TWI509567B TW103132832A TW103132832A TWI509567B TW I509567 B TWI509567 B TW I509567B TW 103132832 A TW103132832 A TW 103132832A TW 103132832 A TW103132832 A TW 103132832A TW I509567 B TWI509567 B TW I509567B
Authority
TW
Taiwan
Prior art keywords
input
image
medium map
color
map
Prior art date
Application number
TW103132832A
Other languages
English (en)
Other versions
TW201610913A (zh
Inventor
Shih Chia Huang
bo hao Chen
Wei Jheng Wang
Original Assignee
Univ Nat Taipei Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taipei Technology filed Critical Univ Nat Taipei Technology
Application granted granted Critical
Publication of TWI509567B publication Critical patent/TWI509567B/zh
Publication of TW201610913A publication Critical patent/TW201610913A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

影像能見度修復的方法及其影像處理裝置
本揭露是有關於一種影像能見度修復的方法及其影像處理裝置。
在戶外場景中所拍攝的影像往往會因為霧氣、霾、沙塵暴等惡劣天氣中的混濁介質而導致能見度的降低。就光學上而言，數位影像的低能見度係為大氣粒子吸收並且散射數位相機與拍射物之間的光線所導致。影像低能見度會使得例如是戶外物體辨識系統、障礙物偵測系統、視訊監控系統以及智慧型運輸系統等必須運作在任何天氣狀況下的系統產生問題。
為了改善霧氣影像的能見度，許多影像除霧技術相繼被提出。這些影像除霧技術可以分為三大主要類別：提供附加資訊的方式、多張影像修復(multiple-image restoration)的方式以及單張影像修復(single-image restoration)的方式。
提供附加資訊的方式採用場景資訊來移除霧氣並且恢復鮮豔色彩。然而，此方式需要使用者的互動以提供場景的深度資 訊，其難以自任意的影像取得，因此較不適用於實際上的應用。
多張影像修復的方式採用兩張以上影像來估測場景深度以在後續中移除霧氣。然而，此方式需要複雜的運算或是額外的硬體設備，而造成昂貴的修復成本。因此，目前研究主要是朝向基於強烈假設(strong assumption)或是先驗(prior)的單張影像修復的方式來修復霧氣影像。
在一種習知技術所提出的單張影像修復的方法中，其觀察到相對於拍攝到的霧氣影像，修復影像具有較高的對比度，因此可藉由將局部對比度最大化的方式來修復場景輻射(scene radiance)。然而，此種方式會使得深度邊緣產生假影(artifact)。另一種習知技術所提出的單張影像修復的方法中，其係基於透射率和表面投影在局部上是沒有關聯的假設上來估測場景的反照率並且推導介質圖(transmission map)。然而，此種方法不適用於霧氣密度較大的影像。
另一種習知技術中，其系基於在戶外無霧影像中，局部區域的像素在至少一個色彩通道中具有較低的像素值的假設下來估測霧氣濃度並且恢復鮮豔色彩。目前為止，此種以單張影像來有效地進行除霧已在本領域引起廣泛的研究與討論。然而，此技術的除霧功效會隨著實際的天氣變化以及場景物體而有所不同，其無法有效地處理色彩失真以及複雜結構。在此情境下，修復後的影像往往會產生色偏(color-shift)以及假影。
有鑑於此，本揭露提供一種影像能見度修復的方法及其影像處理裝置，其可在各種實際拍攝情況中有效地針對單張影像進行除霧。
本揭露提出一種能見度修復的方法，適用於影像處理裝置，此方法包括下列步驟：接收包括多個輸入像素的輸入霧氣影像；根據中值濾波運算以及暗通道，取得各所述輸入像素的邊緣資訊；根據各所述輸入像素以及關聯於輸入霧氣影像於每一多個色彩通道的大氣光，判定介質圖；根據各所述輸入像素的邊緣資訊以及介質圖，取得精細介質圖；針對精細介質圖進行伽瑪校正運算以調整精細介質圖，進而取得強化介質圖；判定對應於各所述色彩通道的色彩差值；對於各所述色彩通道，根據色彩差值、大氣光以及強化介質圖，修復各所述輸入像素於色彩通道的場景輻射，據以產生除霧影像；以及輸出除霧影像。
在本揭露的一實施例中，上述根據中值濾波運算以及暗通道，取得各所述輸入像素的邊緣資訊的步驟包括：對於各所述輸入像素的局部區塊進行中值濾波運算，以取得精細成份；以及對於各所述輸入像素，自精細成份減去暗通道，以取得邊緣資訊。
在本揭露的一實施例中，上述根據中值濾波運算以及暗通道，取得各所述輸入像素的邊緣資訊的公式包括方程式(1)： 其中Ω(x )為以x 為中心的局部區塊，W (x )為位於x 的輸入像素，W (y )為局部區塊Ω(x )的各所述輸入像素，ω 為介於0與1之間的常數，為對應於位於x 的輸入像素的精細成份，為對應於位於x 的輸入像素的暗通道，以及D (x )為對應於位於x 的輸入像素的邊緣資訊。
在本揭露的一實施例中，上述根據各所述輸入像素以及關聯於輸入霧氣影像於各所述色彩通道的大氣光，判定介質圖的公式包括方程式(2)： 其中c {r ,g ,b }，A c 為於色彩通道c 的大氣光，I c 為輸入霧氣影像於色彩通道c 的像素值，以及為介質圖。
在本揭露的一實施例中，上述根據各所述輸入像素的邊緣資訊以及介質圖，取得精細介質圖的公式包括方程式(3)： 其中為介質圖，t r 為精細介質圖，以及D (x )為對應於位於x 的輸入像素的邊緣資訊。
在本揭露的一實施例中，上述針對精細介質圖進行伽瑪校正運算以調整精細介質圖，進而取得強化介質圖的步驟包括：根據可變自適應性參數以及輸入霧氣影像的最大像素值，重新分布精細介質圖，以取得強化介質圖。
在本揭露的一實施例中，上述針對精細介質圖進行伽瑪 校正運算以調整精細介質圖，進而取得強化介質圖的公式包括方程式(4)以及方程式(5)：
其中γ 為可變自適應性參數，X max 為輸入霧氣影像的最大像素值，t r 為精細介質圖，t e 為強化介質圖，t 為所述輸入像素中累積機率密度值為第一門檻值所對應的像素值，以及T 為自適應性像素門檻值，其中第一門檻值不為0。
在本揭露的一實施例中，上述判定對應於各所述色彩通道的色彩差值的公式包括方程式(6)以及方程式(7)：d c =avg r -avg c 方程式(6)
其中c {r ,g ,b }，d c 為對應於色彩通道c 的色彩差值，avg c 為對應於色彩通道c 的平均像素值，I c 為輸入霧氣影像，以及MN 為所述輸入像素的數量。
在本揭露的一實施例中，上述對於各所述色彩通道，根據色彩差值、大氣光以及強化介質圖，修復各所述輸入像素於色彩通道的場景輻射，據以產生除霧影像的公式包括方程式(8)： 其中c {r ,g ,b }，J c 為除霧影像於色彩通道c 的場景輻射，A c 為於色彩通道c 的大氣光，d c 為於色彩通道c 的色彩差值，t 0 為介質下限，以及t e 為強化介質圖。
本揭露另提出一種影像處理裝置，包括儲存單元以及處理單元，其中處理單元耦接儲存單元。儲存單元用以記錄多個模組。處理單元用以存取並且執行記錄於儲存單元的所述模組，其中所述模組包括：影像接收模組、深度估測模組、色彩分析模組、能見度修復模組以及影像輸出模組。影像接收模組用以接收包括多個輸入像素的輸入霧氣影像。深度估測模組用以根據中值濾波運算以及暗通道，取得各所述輸入像素的邊緣資訊，又根據各所述輸入像素以及關聯於輸入霧氣影像於每一多個色彩通道的大氣光，判定介質圖，再根據各所述輸入像素的邊緣資訊以及介質圖，取得精細介質圖，並且針對精細介質圖進行伽瑪校正運算以調整精細介質圖，進而取得強化介質圖。色彩分析模組用以判定對應於各所述色彩通道的色彩差值。對於各所述色彩通道，能見度修復模組用以根據色彩差值、大氣光以及強化介質圖，修復各所述輸入像素於色彩通道的場景輻射，據以產生除霧影像。影像輸出模組用以輸出除霧影像。
在本揭露的一實施例中，上述深度估測模組對於各所述輸入像素的局部區塊進行中值濾波運算，以取得精細成份，以及對於各所述輸入像素，自精細成份減去暗通道，以取得邊緣資訊。
在本揭露的一實施例中，上述深度估測模組根據中值濾 波運算以及暗通道，取得各所述輸入像素的邊緣資訊的公式包括方程式(1)： 其中Ω(x )為以x 為中心的局部區塊，W (x )為位於x 的輸入像素，W (y )為局部區塊Ω(x )的各所述輸入像素，ω 為介於0與1之間的常數，為對應於位於x 的輸入像素的精細成份，為對應於位於x 的輸入像素的暗通道，以及D (x )為對應於位於x 的輸入像素的邊緣資訊。
在本揭露的一實施例中，上述深度估測模組根據各所述輸入像素以及關聯於輸入霧氣影像於各所述色彩通道的大氣光，判定介質圖的公式包括方程式(2)： 其中c {r ,g ,b }，A c 為於色彩通道c 的大氣光，I c 為輸入霧氣影像於色彩通道c 的像素值，以及為介質圖。
在本揭露的一實施例中，上述深度估測模組根據各所述輸入像素的邊緣資訊以及介質圖，取得精細介質圖的公式包括方程式(3)： 其中為介質圖，t r 為精細介質圖，以及D (x )為對應於位於x 的輸入像素的邊緣資訊。
在本揭露的一實施例中，上述深度估測模組根據可變自 適應性參數以及輸入霧氣影像的最大像素值，重新分布精細介質圖，以取得強化介質圖。
在本揭露的一實施例中，上述深度估測模組針對精細介質圖進行伽瑪校正運算以調整精細介質圖，進而取得強化介質圖的公式包括方程式(4)以及方程式(5)：
其中γ 為可變自適應性參數，X max 為輸入霧氣影像的最大像素值，t r 為精細介質圖，t e 為強化介質圖，t 為所述輸入像素中累積機率密度值為第一門檻值所對應的像素值，以及T 為自適應性像素門檻值，其中第一門檻值不為0。
在本揭露的一實施例中，上述色彩分析模組判定對應於各所述色彩通道的色彩差值的公式包括方程式(6)以及方程式(7)：d c =avg r -avg c 方程式(6)
其中c {r ,g ,b }，d c 為對應於色彩通道c 的色彩差值，avg c 為對應於色彩通道c 的平均像素值，I c 為輸入霧氣影像，以及MN 為所述輸入像素的數量。
在本揭露的一實施例中，對於各所述色彩通道，上述能 見度修復模組根據色彩差值、大氣光以及強化介質圖，修復各所述輸入像素於色彩通道的場景輻射，據以產生除霧影像的公式包括方程式(8)： 其中c {r ,g ,b }，J c 為除霧影像於色彩通道c 的場景輻射，A c 為於色彩通道c 的大氣光，d c 為於色彩通道c 的色彩差值，t 0 為介質下限，以及t e 為強化介質圖。
基於上述，本揭露藉由中值濾波運算、自適應性伽瑪校正技術以及暗通道先驗方法，可避免光暈效應的產生以及輸入霧氣影像的介質圖的估測不足，並且藉由分析輸入霧氣影像的色彩特性，可抑制色偏的現象。基此，在不同的環境以及場景下所拍攝的影像可根據調整後的介質圖以及色彩相關資訊而產生高品質的除霧影像。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧影像處理裝置
10‧‧‧儲存單元
110、310‧‧‧影像接收模組
120、320‧‧‧深度估測模組
130、330‧‧‧色彩分析模組
140、340‧‧‧能見度修復模組
150、350‧‧‧影像輸出模組
20‧‧‧處理單元
S202~S216‧‧‧影像能見度修復的方法流程
311‧‧‧輸入霧氣影像
320a‧‧‧中值濾波
320b‧‧‧暗通道先驗
321‧‧‧邊緣資訊
322‧‧‧大氣光
323‧‧‧介質圖
324‧‧‧精細程序
325‧‧‧強化程序
324a‧‧‧精細介質圖
325a‧‧‧強化介質圖
351‧‧‧除霧影像
圖1繪示依據本揭露一實施例之一種影像處理裝置，其係利用影像能見度修復的方法所提出的一種硬體架構。
圖2繪示依據本揭露一實施例之影像能見度修復的方法流程圖。
圖3繪示依據本揭露一實施例之影像能見度修復的方法之功能方塊圖。
本揭露的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些實施例只是本揭露的專利申請範圍中的裝置與方法的範例。
圖1繪示依據本揭露一實施例之一種影像處理裝置，其係利用影像能見度修復的方法所提出的一種硬體架構。請參照圖1，影像處理裝置100包括儲存單元10以及處理單元20，其中處理單元20耦接於儲存單元10。
影像處理裝置100可以是外接或是內建於例如是個人電腦、筆記型電腦、數位相機、數位攝影機、網路攝影機、智慧型手機、平板電腦、行車紀錄器、汽車影音系統等電子裝置。
儲存單元10可以例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟、其他類似裝置或是這些裝置的組合，其係用以記錄可由處理器20執行的多個模組。這些模組包括影像接收模組110、深度估測模組120、色彩分析模組130、能見度修復模組140以及影像輸 出模組150。這些模組可載入至處理單元20以對數位影像進行能見度修復的處理。
處理單元20可以例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元20可存取以及執行記錄於儲存單元10的模組以執行影像能見度修復的方法。
圖2繪示依據本揭露一實施例之影像能見度修復的方法流程圖。本實施例所提出的影像除霧方法可由圖1的影像處理裝置100來執行。
請同時參照圖1以及圖2，首先，影像接收模組110接收包括多個輸入像素的輸入霧氣影像(步驟S202)。本實施例所提出的方法是建立在RGB色域中，其包括紅(red，R)、綠(green，G)以及藍(blue，B)三個色彩通道。
傳統的暗通道先驗技術(dark channel prior technique)可針對在特定的天氣狀況下所擷取到的影像進行能見度修復處理而得到良好的效果。然而，暗通道先驗技術存在著光暈效應(halo effect)的產生以及介質圖(transmission map)的估測不足等兩個顯著的問題。這是由於暗通道先驗技術主要是以最小值濾波器 (minimum filter)來進行主要的運作而導致在估測介質圖時失去了邊緣資訊。因此，本實施例中提出一個精細化程序，其利用中值濾波器(median filter)來保留輸入霧氣影像的邊緣資訊，以避免光暈效應的產生。
首先，深度估測模組120根據中值濾波運算以及暗通道，取得各所述輸入像素的邊緣資訊(步驟S204)。中值濾波技術所採用的非線性濾波運算可有效地抑止衝擊性噪音成份以及保留邊緣資訊。深度估測模組120可先對各所述輸入像素的局部區塊進行中值濾波運算，以取得精細成份，並且自精細成份減去暗通道，以取得邊緣資訊。
在一實施例中，深度估測模組120可根據方程式(1)取得各所述輸入像素的邊緣資訊： 其中Ω(x )為以x 為中心的局部區塊，W (x )為位於x 的輸入像素，W (y )為局部區塊Ω(x )的各所述輸入像素，ω 為介於0與1之間的常數並且可設成0.95，為對應於位於x 的輸入像素 的精細成份，為對應於位於x 的輸入像素的暗通道，以及D (x )為對應於位於x 的輸入像素的邊緣資訊。
接著，深度估測模組120根據各所述輸入像素以及關聯於輸入霧氣影像於每一多個色彩通道的大氣光，判定介質圖(步驟S206)，並且根據各所述輸入像素的邊緣資訊以及介質圖，取得精細介質圖(步驟S208)。詳言之，深度估測模組120可基於傳統 的暗通道先驗方法來估測介質圖，其可以方程式(2)來表示： 其中c {r ,g ,b }，A c 為於色彩通道c 的大氣光，I c 為輸入霧氣影像於色彩通道c 的像素值，以及為介質圖。接著，深度估測模組120可根據方程式(3)來取得精細介質圖： 其中為介質圖，t r 為精細介質圖，以及D (x )為對應於位於x 的輸入像素的邊緣資訊。
暗通道先驗是依據各色彩通道的像素值之最小值。然而，對於在例如是沙塵暴等惡劣天氣下所拍攝影像的至少一個色彩通道的像素值偏低的情況下，將會產生資訊不足的介質圖。為了達到最佳的影像能見度修復結果，本實施例中提出一個強化程序，其利用適應性的伽瑪校正技術(adaptive Gamma correction technique)在其動態範圍所對應的直方圖中來重新分布精細介質圖。基此，深度估測模組120將針對精細介質圖進行伽瑪校正運算以調整精細介質圖，進而取得強化介質圖(步驟S210)。
詳言之，深度估測模組120可利用方程式(4)以及方程式(5)，根據可變自適應性參數(varying adaptive parameter)以及輸入霧氣影像的最大像素值來重新分布精細介質圖，以取得強化介質圖：
其中γ 為可變自適應性參數，X max 為輸入霧氣影像的最大像素值，t r 為精細介質圖，t e 為強化介質圖，t 為所述輸入像素中累積機率密度值(cumulative probability density)為第一門檻值所對應的像素值，以及T 為自適應性像素門檻值，其中第一門檻值不為0。在本實施例中，第一門檻值可以為0.1，而自適應性像素門檻值T 可以依經驗設為120。根據觀察，輕微的沙塵暴具有較低的自適應性參數，而嚴重的沙塵暴具有較高的自適應性參數。基於此特性，上述的強化程序所採用的自適應性伽瑪校正運算可逐步地增加介質圖中的低像素值以及避免因伽瑪校正的均衡化(equalization)而產生假影。
再者，沙塵的大氣粒子將會吸收特定的色彩光譜進而造成影像產生色偏的現象，並且各色彩通道將會呈現不同的分佈。習知的暗通道先驗技術針對所有通道採用相同的公式來修復場景輻射，將使得修復後的影像產生嚴重的色偏。為了解決此問題，色彩分析模組130將判定對應於各色彩通道的色彩差值(步驟S212)。在一實施例中，色彩分析模組130可根據方程式(6)以及方程式(7)取得色彩差值：d c =avg r -avg c 方程式(6)
其中c {r ,g ,b }，d c 為對應於色彩通道c 的色彩差值，avg c 為對應於色彩通道c 的平均像素值，I c 為輸入霧氣影像，以及MN 為所述輸入像素的數量。
接著，為了在不同環境皆能取得高品質的除霧影像，能見度修復模組140將會結合深度估測模組120與色彩分析模組130所提供的資訊來有效地修復場景輻射。換言之，對於各色彩通道，能見度修復模組140根據色彩差值、大氣光以及強化介質圖，修復各所述輸入像素於色彩通道的場景輻射，據以產生除霧影像(步驟S214)。在此，能見度修復模組140可利用方程式(8)來有效地修復大氣粒子所造成的輸入霧氣影像： 其中c {r ,g ,b }，J c 為除霧影像於色彩通道c 的場景輻射，A c 為於色彩通道c 的大氣光，d c 為色彩通道c 的色彩差值，t 0 為介質下限(lower bound)，以及t e 為強化介質圖。在一實施例中，t 0 可設為0.1。
能見度修復模組140在產生除霧影像後，影像輸出模組150將輸出除霧影像(步驟S216)，而影像處理裝置100即完成影像能見度修復的程序。
前述影像能見度修復的方法可利用圖3依據本揭露一實施例所繪示的功能方塊圖來進行總結。請參照圖3，深度估測模組320自影像接收模組310接收輸入霧氣影像311。深度估測模組320 先根據中值濾波320a以及暗通道先驗320b來取得輸入霧氣影像311的邊緣資訊，並且又根據暗通道先驗320b取得關聯於輸入霧氣影像311的大氣光322，據以估測介質圖323。接著，深度估測模組320將根據邊緣資訊321來針對介質圖323執行精細程序324，其利用中值濾波器所保留的邊緣資訊並且可避免修復後的影像產生區塊假影，而精細程序324完成後將會產生精細介質圖324a。接續在精細成序324之後的強化程序325將根據自適應性伽瑪校正技術來調整精細介質圖324a的像素值，以達到最佳化的能見度修復結果，而強化程序325完成後將會產生強化介質圖325a。另一方面，色彩分析模組330根據灰色世界假設有效地取得輸入霧氣影像311的色彩資訊，而其所取得的色彩資訊可適應於包括霧氣、霾、沙塵暴等各種天氣。能見度修復模組340將結合自混合深度估測模組320與色彩分析模組330所取得的資訊以隱藏在各種實際天氣狀況下所呈現的大氣粒子。影像輸出模組350將輸出除霧影像351，而結束影像能見度修復的方法流程。
綜上所述，本揭露藉由中值濾波運算、自適應性伽瑪校正技術以及暗通道先驗方法，可避免光暈效應的產生以及輸入霧氣影像的介質圖的估測不足，並且藉由分析輸入霧氣影像的色彩特性，可抑制色偏的產生。基此，在不同的環境以及場景下所拍攝的影像可根據調整後的介質圖以及色彩相關資訊而產生高品質的除霧影像。
雖然本揭露已以實施例揭露如上，然其並非用以限定本 揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S216‧‧‧影像能見度修復的方法流程

Claims (18)

  1. 一種影像能見度修復的方法，適用於一影像處理裝置，包括：接收包括多個輸入像素的一輸入霧氣影像；根據一中值濾波運算以及一暗通道，取得各所述輸入像素的邊緣資訊；根據各所述輸入像素以及關聯於該輸入霧氣影像於每一多個色彩通道的一大氣光，判定一介質圖；根據各所述輸入像素的該邊緣資訊以及該介質圖，取得一精細介質圖；針對該精細介質圖進行一伽瑪校正運算以調整該精細介質圖，進而取得一強化介質圖；判定對應於各所述色彩通道的一色彩差值；對於各所述色彩通道，根據該色彩差值、該大氣光以及該強化介質圖，修復各所述輸入像素於該色彩通道的一場景輻射，據以產生一除霧影像；以及輸出該除霧影像。
  2. 如申請專利範圍第1項所述的方法，其中根據該中值濾波運算以及該暗通道，取得各所述輸入像素的該邊緣資訊的步驟包括：對於各所述輸入像素的一局部區塊進行該中值濾波運算，以取得一精細成份；以及 對於各所述輸入像素，自該精細成份減去該暗通道，以取得該邊緣資訊。
  3. 如申請專利範圍第2項所述的方法，其中根據該中值濾波運算以及該暗通道，取得各所述輸入像素的該邊緣資訊的公式包括方程式(1)： 其中Ω(x )為以x 為中心的該局部區塊，W (x )為位於x 的該輸入像素，W (y )為局部區塊Ω(x )的各所述輸入像素，ω 為介於0與1之間的常數，為對應於位於x 的該輸入像素的該精細成份，為對應於位於x 的該輸入像素的該暗通道，以及D (x )為對應於位於x 的該輸入像素的該邊緣資訊。
  4. 如申請專利範圍第3項所述的方法，其中根據各所述輸入像素以及關聯於該輸入霧氣影像於各所述色彩通道的該大氣光，判定該介質圖的公式包括方程式(2)： 其中c {r ,g ,b }，A c 為於色彩通道c 的該大氣光，I c 為該輸入霧氣影像於色彩通道c 的像素值，以及為該介質圖。
  5. 如申請專利範圍第1項所述的方法，其中根據各所述輸入像素的該邊緣資訊以及該介質圖，取得該精細介質圖的公式包括方程式(3)： 其中為該介質圖，t r 為該精細介質圖，以及D (x )為對應於位於x 的該輸入像素的該邊緣資訊。
  6. 如申請專利範圍第1項所述的方法，其中針對該精細介質圖進行該伽瑪校正運算以調整該精細介質圖，進而取得該強化介質圖的步驟包括：根據一可變自適應性參數以及該輸入霧氣影像的一最大像素值，重新分布該精細介質圖，以取得該強化介質圖。
  7. 如申請專利範圍第6項所述的方法，其中針對該精細介質圖進行該伽瑪校正運算以調整該精細介質圖，進而取得該強化介質圖的公式包括方程式(4)以及方程式(5)： 其中γ 為可變自適應性參數，X max 為該輸入霧氣影像的該最大像素值，t r 為該精細介質圖，t e 為該強化介質圖，t 為所述輸入像素中一累積機率密度值為一第一門檻值所對應的像素值，以及T 為一自適應性像素門檻值，其中該第一門檻值不為0。
  8. 如申請專利範圍第1項所述的方法，其中判定對應於各所述色彩通道的該色彩差值的公式包括方程式(6)以及方程式(7)：d c =avg r -avg c 方程式(6) 其中c {r ,g ,b }，d c 為對應於色彩通道c 的該色彩差值，avg c 為對應於色彩通道c 的一平均像素值，I c 為該輸入霧氣影像，以及MN 為所述輸入像素的數量。
  9. 如申請專利範圍第1項所述的方法，其中對於各所述色彩通道，根據該色彩差值、該大氣光以及該強化介質圖，修復各所述輸入像素於該色彩通道的該場景輻射，據以產生該除霧影像的公式包括方程式(8)： 其中c {r ,g ,b }，J c 為該除霧影像於色彩通道c 的該場景輻射，A c 為於色彩通道c 的該大氣光，d c 為於色彩通道c 的該色彩差值，t 0 為一介質下限，以及t e 為該強化介質圖。
  10. 一種影像處理裝置，包括：一儲存單元，記錄多個模組，以及一處理單元，耦接該儲存單元，以存取並且執行記錄於該儲存單元的所述模組，其中所述模組包括：一影像接收模組，接收包括多個輸入像素的一輸入霧氣影像；一深度估測模組，根據一中值濾波運算以及一暗通道，取得各所述輸入像素的邊緣資訊，根據各所述輸入像素以及關聯 於該輸入霧氣影像於每一多個色彩通道的一大氣光，判定一介質圖，根據各所述輸入像素的該邊緣資訊以及該介質圖，取得一精細介質圖，並且針對該精細介質圖進行一伽瑪校正運算以調整該精細介質圖，進而取得一強化介質圖；一色彩分析模組，判定對應於各所述色彩通道的一色彩差值；一能見度修復模組，對於各所述色彩通道，根據該色彩差值、該大氣光以及該強化介質圖，修復各所述輸入像素於該色彩通道的一場景輻射，據以產生一除霧影像；以及一影像輸出模組，輸出該除霧影像。
  11. 如申請專利範圍第10項所述的影像處理裝置，其中該深度估測模組對於各所述輸入像素的一局部區塊進行該中值濾波運算，以取得一精細成份，以及對於各所述輸入像素，自該精細成份減去該暗通道，以取得該邊緣資訊。
  12. 如申請專利範圍第11項所述的影像處理裝置，其中該深度估測模組根據該中值濾波運算以及該暗通道，取得各所述輸入像素的該邊緣資訊的公式包括方程式(1)： 其中Ω(x )為以x 為中心的該局部區塊，W (x )為位於x 的該輸入像素，W (y )為局部區塊Ω(x )的各所述輸入像素，ω 為介於0與1之間的常數，為對應於位於x 的該輸入像素的該精細 成份，為對應於位於x 的該輸入像素的該暗通道，以及D (x ) 為對應於位於x 的該輸入像素的該邊緣資訊。
  13. 如申請專利範圍第12項所述的影像處理裝置，其中該深度估測模組根據各所述輸入像素以及關聯於該輸入霧氣影像於各所述色彩通道的該大氣光，判定該介質圖的公式包括方程式(2)： 其中c {r ,g ,b }，A c 為於色彩通道c 的該大氣光，I c 為該輸入霧氣影像於色彩通道c 的像素值，以及為該介質圖。
  14. 如申請專利範圍第13項所述的影像處理裝置，其中該深度估測模組根據各所述輸入像素的該邊緣資訊以及該介質圖，取得該精細介質圖的公式包括方程式(3)： 其中為該介質圖，t r 為該精細介質圖，以及D (x )為對應於位於x 的該輸入像素的該邊緣資訊。
  15. 如申請專利範圍第10項所述的影像處理裝置，其中該深度估測模組根據一可變自適應性參數以及該輸入霧氣影像的一最大像素值，重新分布該精細介質圖，以取得該強化介質圖。
  16. 如申請專利範圍第15項所述的影像處理裝置，其中該深度估測模組針對該精細介質圖進行該伽瑪校正運算以調整該精細介質圖，進而取得該強化介質圖的公式包括方程式(4)以及方程式(5)： 其中γ 為可變自適應性參數，X max 為該輸入霧氣影像的該最大像素值，t r 為該精細介質圖，t e 為該強化介質圖，t 為所述輸入像素中一累積機率密度值為一第一門檻值所對應的像素值，以及T 為一自適應性像素門檻值，其中該第一門檻值不為0。
  17. 如申請專利範圍第10項所述的影像處理裝置，其中該色彩分析模組判定對應於各所述色彩通道的該色彩差值的公式包括方程式(6)以及方程式(7)：d c =avg r -avg c 方程式(6) 其中c {r ,g ,b }，d c 為對應於色彩通道c 的該色彩差值，avg c 為對應於色彩通道c 的一平均像素值，I c 為該輸入霧氣影像，以及MN 為所述輸入像素的數量。
  18. 如申請專利範圍第10項所述的影像處理裝置，其中對於各所述色彩通道，該能見度修復模組根據該色彩差值、該大氣光以及該強化介質圖，修復各所述輸入像素於該色彩通道的該場景輻射，據以產生該除霧影像的公式包括方程式(8)： 其中c {r ,g ,b }，J c 為該除霧影像於色彩通道c 的該場景輻射，A c 為 於色彩通道c 的該大氣光，d c 為於色彩通道c 的該色彩差值，t 0 為一介質下限，以及t e 為該強化介質圖。
TW103132832A 2014-09-02 2014-09-23 影像能見度修復的方法及其影像處理裝置 TWI509567B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/474,317 US9177363B1 (en) 2014-09-02 2014-09-02 Method and image processing apparatus for image visibility restoration

Publications (2)

Publication Number Publication Date
TWI509567B true TWI509567B (zh) 2015-11-21
TW201610913A TW201610913A (zh) 2016-03-16

Family

ID=54352766

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103132832A TWI509567B (zh) 2014-09-02 2014-09-23 影像能見度修復的方法及其影像處理裝置

Country Status (3)

Country Link
US (1) US9177363B1 (zh)
CN (1) CN106204459A (zh)
TW (1) TWI509567B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014397095B2 (en) 2014-06-12 2018-07-05 Eizo Corporation Haze removal device and image generation method
US9361670B2 (en) * 2014-09-04 2016-06-07 National Taipei University Of Technology Method and system for image haze removal based on hybrid dark channel prior
WO2017056834A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置及び画像処理方法
US9508129B1 (en) * 2015-11-06 2016-11-29 Adobe Systems Incorporated Dehazing photos and videos using visual artifact suppression
CN105631823A (zh) * 2015-12-28 2016-06-01 西安电子科技大学 基于阈值分割优化的暗原色天空区域去雾方法
CN105931193A (zh) * 2016-04-01 2016-09-07 南京理工大学 一种基于暗通道先验的夜间交通卡口图像增强方法
CN105931220B (zh) * 2016-04-13 2018-08-21 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN106408526B (zh) * 2016-08-25 2019-02-12 南京邮电大学 一种基于多层矢量图的能见度检测方法
US10176557B2 (en) * 2016-09-07 2019-01-08 The Boeing Company Apparatus, system, and method for enhancing image video data
CN107358578B (zh) * 2017-05-23 2020-07-07 深圳市深网视界科技有限公司 一种阴阳脸处理方法和装置
US10549853B2 (en) 2017-05-26 2020-02-04 The Boeing Company Apparatus, system, and method for determining an object's location in image video data
US10789682B2 (en) 2017-06-16 2020-09-29 The Boeing Company Apparatus, system, and method for enhancing an image
CN109255759B (zh) * 2018-08-02 2021-06-15 辽宁师范大学 基于天空分割和透射率自适应修正的图像去雾方法
JP2020138569A (ja) * 2019-02-26 2020-09-03 アイシン精機株式会社 周辺監視装置
AU2020278256A1 (en) * 2019-05-21 2021-12-23 Carmel Haifa University Economic Corp. Ltd. Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering
CN110197465B (zh) * 2019-05-28 2023-09-12 深圳供电规划设计院有限公司 一种有雾图像增强方法
CN110298809B (zh) * 2019-07-08 2021-03-30 广东工业大学 一种图像去雾方法及装置
CN110473155B (zh) * 2019-08-02 2023-07-18 西安工程大学 一种基于视网膜颜色感知暗通道原理的图像去雾方法
CN110689504B (zh) * 2019-10-11 2022-09-30 大连海事大学 一种基于二次引导透射图的水下图像复原方法
CN113066025B (zh) * 2021-03-23 2022-11-18 河南理工大学 一种基于增量学习与特征、注意力传递的图像去雾方法
KR20220140369A (ko) * 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
CN115131336B (zh) * 2022-07-22 2023-11-14 电子科技大学 一种显示屏四色背景画面下的暗线缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043603A1 (en) * 2006-01-18 2011-02-24 Technion Research & Development Foundation Ltd. System And Method For Dehazing
TW201120814A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images
US8290294B2 (en) * 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
CN103489166A (zh) * 2013-10-12 2014-01-01 大连理工大学 一种基于双边滤波的单幅图像去雾方法
US20140140619A1 (en) * 2011-08-03 2014-05-22 Sudipta Mukhopadhyay Method and System for Removal of Fog, Mist, or Haze from Images and Videos

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4776587B2 (ja) * 2007-06-13 2011-09-21 国立大学法人北海道大学 画像処理装置，運転支援装置
US8396324B2 (en) * 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
CN102968760B (zh) * 2011-08-30 2016-08-17 富士通株式会社 图像去雾方法和系统
CN103020902B (zh) * 2011-09-20 2016-08-31 富士通株式会社 用于去雾图像的曝光增强方法和装置
CN102750674B (zh) * 2012-04-26 2014-06-18 长春理工大学 基于自适应容差的视频图像去雾方法
US8755628B2 (en) * 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value
CN103150708B (zh) * 2013-01-18 2015-11-18 上海交通大学 基于黑色通道的图像快速去雾优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043603A1 (en) * 2006-01-18 2011-02-24 Technion Research & Development Foundation Ltd. System And Method For Dehazing
US8290294B2 (en) * 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
TW201120814A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
US20140140619A1 (en) * 2011-08-03 2014-05-22 Sudipta Mukhopadhyay Method and System for Removal of Fog, Mist, or Haze from Images and Videos
CN103489166A (zh) * 2013-10-12 2014-01-01 大连理工大学 一种基于双边滤波的单幅图像去雾方法

Also Published As

Publication number Publication date
CN106204459A (zh) 2016-12-07
US9177363B1 (en) 2015-11-03
TW201610913A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
TWI509567B (zh) 影像能見度修復的方法及其影像處理裝置
TWI514323B (zh) 基於混合暗通道先驗的影像除霧方法及其系統
TWI501194B (zh) 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
US9569827B2 (en) Image processing apparatus and method, and program
US9842382B2 (en) Method and device for removing haze in single image
KR101756173B1 (ko) 전달률 하한치의 변형에 의한 안개영상 개선 시스템 및 그 방법
TWI518635B (zh) 影像修復方法及使用該方法的影像處理裝置
Chen et al. Hazy image restoration by bi-histogram modification
WO2020103171A1 (zh) 用于图像去模糊的Bi-Level优化方法
JP6249638B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104021532A (zh) 一种红外图像的图像细节增强方法
JP5767064B2 (ja) イメージのエッジ向上方法
KR20140003835A (ko) 영상의 노이즈 제거 장치 및 방법
CN105631854A (zh) 一种基于fpga平台的自适应图像清晰度评价算法
Kumar et al. Multispectral transmission map fusion method and architecture for image dehazing
US9083913B2 (en) Image processing method, image processing device, and program
KR101881883B1 (ko) 휘도-색차신호 색좌표계에서 안개/야간 영상의 가시성 향상을 위한 영상 시스템
Toka et al. A fast method of fog and haze removal
US9569857B2 (en) Conversion of digital images into digital line drawings
JP2007026334A (ja) 画像処理装置
TWI587240B (zh) 基於邊緣塌陷的影像去霧方法以及其電子裝置
JP4650372B2 (ja) 映像処理回路
KR102111317B1 (ko) 화질 저하현상 억제를 위한 전달률 계산 시스템 및 그 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees