TWI674804B - 視訊除霧處理裝置及方法 - Google Patents

視訊除霧處理裝置及方法 Download PDF

Info

Publication number
TWI674804B
TWI674804B TW107108903A TW107108903A TWI674804B TW I674804 B TWI674804 B TW I674804B TW 107108903 A TW107108903 A TW 107108903A TW 107108903 A TW107108903 A TW 107108903A TW I674804 B TWI674804 B TW I674804B
Authority
TW
Taiwan
Prior art keywords
image
atmospheric light
sky
estimation unit
value
Prior art date
Application number
TW107108903A
Other languages
English (en)
Other versions
TW201939944A (zh
Inventor
郭峻因
林正彥
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW107108903A priority Critical patent/TWI674804B/zh
Priority to CN201810392951.6A priority patent/CN110278346A/zh
Priority to US16/004,451 priority patent/US10810705B2/en
Publication of TW201939944A publication Critical patent/TW201939944A/zh
Application granted granted Critical
Publication of TWI674804B publication Critical patent/TWI674804B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

一種視訊除霧處理方法，包含：由影像擷取模組擷取包含複數個輸入像素的霧氣影像；由大氣光估測單元根據輸入像素計算大氣光值；由天空估測單元根據輸入像素透過導向濾波器的中間計算結果判斷天空影像區域；由暗通道先驗單元根據輸入像素基於暗通道先驗計算影像暗通道；由透射圖估測單元根據輸入像素、大氣光值、天空影像區域及該影像暗通道透過導向濾波器計算細化透射圖；由影像除霧單元根據輸入像素、大氣光值及細化透射圖產生除霧影像；以及由影像輸出模組輸出除霧影像。

Description

視訊除霧處理裝置及方法
本揭示內容是關於一種視訊處理方法及一訊號處理裝置，且特別是關於一種視訊除霧處理方法及視訊除霧處理裝置。
在現今科技的發展下，許多影像技術依賴輸入影像之清晰度，但在遭遇煙、霧霾或其他因素影響且沒有及時除霧作為前置處理影像，會造成許多影像技術準確度下降或失效，亦可能導致危險發生。
本揭示內容的一態樣係關於一種視訊除霧處理方法，包含：由影像擷取模組擷取包含複數個輸入像素的霧氣影像；由大氣光估測單元根據輸入像素計算大氣光值；由天空估測單元根據輸入像素透過導向濾波器的中間計算結果判斷天空影像區域；由暗通道先驗單元根據輸入像素基於暗通道先驗計算影像暗通道；由透射圖估測單元根據輸入像素、大氣光值、天空影像區域及該影像暗通道透過導向濾波器計算細化透 射圖；由影像除霧單元根據輸入像素、大氣光值及細化透射圖產生除霧影像；以及由影像輸出模組輸出除霧影像。
本揭示內容的另一態樣係關於一種視訊除霧處理裝置，包含：影像擷取模組、影像輸出模組以及影像除霧模組。影像擷取模組用以擷取包含複數個輸入像素的霧氣影像。影像輸出模組用以輸出除霧影像。影像除霧模組電性耦接於影像擷取模組及影像輸出模組之間，用以將霧氣影像進行視訊除霧處理以產生除霧影像。影像除霧模組包含大氣光估測單元、天空估測單元、暗通道先驗單元、透射圖估測單元以及影像除霧單元。大氣光估測單元電性耦接影像擷取模組，用以根據輸入像素計算大氣光值。天空估測單元電性耦接大氣光估測單元，用以根據輸入像素透過導向濾波器的中間計算結果判斷天空影像區域。暗通道先驗單元電性耦接影像擷取模組，用以根據輸入像素基於暗通道先驗計算影像暗通道。透射圖估測單元電性耦接暗通道先驗單元及天空估測單元，用以根據輸入像素、大氣光值、天空影像區域及該影像暗通道透過導向濾波器計算細化透射圖。影像除霧單元電性耦接透射圖估測單元及影像輸出模組，用以根據輸入像素、大氣光值及細化透射圖產生除霧影像。
100‧‧‧視訊除霧處理裝置
120‧‧‧影像擷取模組
140‧‧‧影像除霧模組
141‧‧‧大氣光估測單元
142‧‧‧天空估測單元
143‧‧‧暗通道先驗單元
144‧‧‧透射圖估測單元
144a‧‧‧粗糙透射圖估測單元
144b‧‧‧細化透射圖估測單元
145‧‧‧影像除霧單元
160‧‧‧影像輸出模組
I(x)‧‧‧霧氣影像
J(x)‧‧‧除霧影像
A‧‧‧大氣光值
S(x)‧‧‧天空影像區域
D(x)‧‧‧影像暗通道
t(x)‧‧‧粗糙透射圖
T(x)‧‧‧細化透射圖
300‧‧‧視訊除霧處理方法
S310~S370、S321~S327、S331~S336‧‧‧操作
第1圖係根據本揭示內容之部分實施例繪示一種大氣散射模型的示意圖。
第2圖係根據本揭示內容之部分實施例繪示一種視訊除霧處理裝置的示意圖。
第3圖係根據本揭示內容之其他部分實施例繪示一種影像除霧模組的細部示意圖。
第4圖係根據本揭示內容之部分實施例繪示一種視訊除霧處理方法的流程圖。
第5A、5B圖係根據本揭示內容之部分實施例繪示一種天空影像區域的示意圖。
第6圖係根據本揭示內容之其他部分實施例繪示一種視訊除霧處理方法的流程圖。
第7圖係根據本揭示內容之其他部分實施例繪示一種視訊除霧處理方法的流程圖。
下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅用以解釋本案，並不用來限定本案，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示內容所涵蓋的範圍。
為能針對視訊影像進行除霧處理，本揭示內容提出一種視訊除霧處理方法，可應用於多種影像除霧處理裝置，例如即時性及/或嵌入式影像處理裝置。在部分實施例中，視訊除霧處理方法可用於車用影像處理。舉例來說，本揭示內容可實現於NVIDIA Jetson TX1嵌入式平台上，但僅為方便說 明的示例，並非用以限制本揭示內容。
本揭示內容係基於一種大氣散射模型進行除霧運算。請參考第1圖。第1圖係根據本揭示內容之部分實施例繪示一種大氣散射模型的示意圖。如第1圖所示，大氣散射模型以下式描述：I(x)=J(x)T(x)+A(1-T(x))
其中，J(x)為場景物體輻射出來的光線，而當光線J(x)在穿越空間時，空間中的懸浮粒子或其他介質會造成光線散射，使得最後能進入攝影裝置內的影像為I(x)。而造成光線散射又分為兩個部分，一種是自然能量衰減，以T(x)代表光線在傳播過程中未散射的透射率，另一種是受到環境大氣光A影響。據此，將兩種影響疊加後，如上式所示，即構成受到霧氣影響後的霧氣影像I(x)。
由此可知，除霧影像J(x)與霧氣影像I(x)之間的關係，會受到大氣光值A以及透射圖T(x)的影響。換言之，根據接收的霧氣影像I(x)計算取得大氣光值A以及透射圖T(x)即可還原生成除霧影像J(x)。
請參考第2圖。第2圖係根據本揭示內容之部分實施例繪示一種視訊除霧處理裝置100的示意圖。如第2圖所示，在部分實施例中，視訊除霧處理裝置100包含影像擷取模組120、影像除霧模組140以及影像輸出模組160。
結構上，影像擷取模組120電性耦接影像除霧模組140，影像除霧模組140電性耦接影像擷取模組120和影像輸出模組160。操作上，影像擷取模組120用以擷取霧氣影像 I(x)，其中霧氣影像I(x)包含多個輸入像素。影像除霧模組140用以將霧氣影像I(x)進行視訊除霧處理以產生除霧影像J(x)。影像輸出模組160用以輸出除霧影像J(x)。
在部分實施例中，影像擷取模組120可由任何能銜接於嵌入式裝置之影像擷取裝置，例如，網路攝影機、數位攝影機、智慧型手機、行車紀錄器等電子設備實現。此外，在部分實施例中，影像輸出模組160可由任何能與嵌入式系統平台相容之顯示設備，其輸出介面可由VGA、DVI、HDMI、Display Port等來實現，但上述僅為方便說明的示例，並非用以限制本揭示內容。
請參考第3圖。第3圖係根據本揭示內容之其他部分實施例繪示之影像除霧模組140的細部示意圖。如第3圖所示，在部分實施例中，影像除霧模組140包含大氣光估測單元141、天空估測單元142、暗通道先驗單元143、透射圖估測單元144以及影像除霧單元145。在實作中，影像除霧模組140可由各種處理電路、數位信號處理器(Digital Signal Processor，DSP)、複雜型可編程邏輯元件(Complex Programmable Logic Device，CPLD)、現場可程式化閘陣列(Field-programmable gate array，FPGA)等各種方式實作。
結構上，大氣光估測單元141電性耦接天空估測單元142。天空估測單元142電性耦接大氣光估測單元141及透射圖估測單元144。暗通道先驗單元143電性耦接透射圖估測單元144。透射圖估測單元144電性耦接天空估測單元142、暗 通道先驗單元143及影像除霧單元145。影像除霧單元145電性耦接透射圖估測單元144。
操作上，大氣光估測單元141用以自影像擷取模組120接收霧氣影像I(x)，並根據霧氣影像I(x)包含的輸入像素計算大氣光值A。天空估測單元142用以根據輸入像素透過導向濾波器的中間計算結果判斷天空影像區域S(x)。暗通道先驗單元143用以自影像擷取模組120接收霧氣影像I(x)，並根據霧氣影像I(x)包含的輸入像素基於暗通道先驗計算影像暗通道D(x)。透射圖估測單元144用以根據霧氣影像I(x)包含的輸入像素、大氣光值A、天空影像區域S(x)以及影像暗通道D(x)透過導向濾波器計算細化透射圖T(x)。影像除霧單元145用以根據霧氣影像I(x)包含的輸入像素、大氣光值A以及細化透射圖T(x)產生除霧影像J(x)。
在部分實施例中，透射圖估測單元144包含粗糙透射圖估測單元144a和細化透射圖估測單元144b。粗糙透射圖估測單元144a電性耦接暗通道先驗單元143及細化透射圖估測單元144b，用以根據輸入像素、大氣光值A、天空影像區域S(x)及該影像暗通道D(x)計算粗糙透射圖t(x)。細化透射圖估測單元144b電性耦接粗糙透射圖估測單元144a及影像除霧單元145，用以根據粗糙透射圖t(x)透過導向濾波器產生細化透射圖T(x)。
為便於說明起見，影像除霧模組140當中各個元件的具體操作將於以下段落中搭配圖式進行說明。請參考第4圖。第4圖係根據本揭示內容之部分實施例繪示一種視訊除霧 處理方法300的流程圖。為方便及清楚說明起見，下述視訊除霧處理方法300是配合第2圖、第3圖所示實施例進行說明，但不以此為限，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可對作各種更動與潤飾。如第4圖所示，視訊除霧處理方法300包含操作S310、S320、S330、S340、S350、S360以及S370。
首先，在操作S310中，由影像擷取模組120擷取包含複數個輸入像素的霧氣影像I(x)。具體而言，影像擷取模組120將視訊霧氣影像擷取成一連串的霧氣影像I(x)，其中每張霧氣影像I(x)包含多個輸入像素。舉例來說，在部分實施例中，霧氣影像I(x)可包含720x480的輸入像素，數量僅為方便說明的示例，並非用以限制本揭示內容。
接著，進行操作S320。在操作S320中，由大氣光估測單元141根據霧氣影像I(x)中的輸入像素計算大氣光值A。為方便說明起見，關於計算大氣光值A的具體內容將於後續段落中進行說明。
接著，進行操作S330。在操作S330中，由天空估測單元142根據輸入像素透過導向濾波器的中間計算結果判斷天空影像區域S(x)。為便於說明起見，請一併參考第5A圖與第5B圖。第5A圖與第5B圖係根據本揭示內容之部分實施例繪示之天空影像區域S(x)的示意圖。如第5A圖所示，所取得的霧氣影像包含天空影像區域S(x)與非天空影像區域。如第5B圖所示，天空估測單元142可將斜線網底部分判定為天空影 像區域S(x)。為方便說明起見，關於判斷天空影像區域S(x)的具體內容將於後續段落中進行說明。
接著，進行操作S340。在操作S340中，由暗通道先驗單元143根據輸入像素基於暗通道先驗(dark channel prior，DCP)計算影像暗通道D(x)。具體而言，在部分實施例中，影像暗通道D(x)的計算方式如下式所示： D(x)=min(min I c (y))
c {r,g,b}y Ω(x)
其中，y為固定區域Ω(x)內的所有像素，I c (y)表示在固定區域Ω(x)內的所有像素y的三個色彩通道。
據此，暗通道先驗之計算，即，由最小值濾波器以霧氣影像I(x)中每個輸入像素各自周圍最小半徑範圍(即，固定區域Ω(x))內的所有像素中最小強度值做為其暗通道值，由此得出影像暗通道D(x)。其中，最小半徑可為任意正整數，在部分實施例中，最小半徑可為5、6、7、8、9或10像素。
另外，在部分實施例中，暗通道先驗單元143更用以利用一維快速濾波器及佇列(Queue)概念由橫向和縱向各對該霧氣影像I(x)進行一次運算。具體而言，暗通道先驗單元143將通常以二維濾波器進行矩陣運算的過程，改從橫向及縱向各處理一次一維運算，使計算複雜度由O(n2)降低至O(n)，並藉由佇列概念以減少重複提取像素值。
接著，進行操作S350。在操作S350中，由透射圖估測單元144根據輸入像素、大氣光值A、天空影像區域S(x)及影像暗通道D(x)透過導向濾波器計算細化透射圖T(x)。具體而言，由粗糙透射圖估測單元144a針對每個輸入像素基於其對 應的大氣光值A設定其透射率以取得粗糙透射圖t(x)。舉例來說，計算方式可如下式所示：
其中，ω為介於0到1之間的修正係數，用以保留部分霧氣使影像更加自然。在部分實施例中，ω可為0.8~0.95之間的任意值，例如0.8、0.85、0.9或0.95。此外，在其他部分實施例中，ω亦可依實際需求調整，本案並不以此為限。接著，由粗糙透射圖估測單元144a根據輸入像素是否屬於天空影像區域S(x)以天空透射率設定透射率的下限值，來避免過度還原而導致產生雜訊。接著由細化透射圖估測單元144b以導向濾波器處理粗糙透射圖t(x)而取得細化透射圖T(x)。其中，天空透射率為介於0到1之間任意實數。在部分實施例中，天空透射率可為0.2、0.3或0.4。
此外，在部分實施例中，細化透測圖估測單元144b以快速導向濾波器進行影像處理，藉由精度上的損失換取處理效率。換言之，細化透測圖估測單元144b將霧氣影像I(x)依照比例P縮小並使用導向濾波器G處理後，再放大回原影像大小，其中P可為介於0和1之間的任何實數。在其他部分實施例中，細化透射圖估測單元144b更根據該些輸入像素、該大氣光值該天空影像區域及該暗通道影像利用查表法透過導向濾波器計算該細化透射圖，藉以加速運算效率。又在其他部分實施例中，透射圖估測單元144如同暗通道先驗單元143更利用一維快速濾波器及佇列概念由橫向和縱向各對該霧氣影 像I(x)進行一次運算。相關說明已於先前段落描述，於此不再贅述。
接著，進行操作S360。在操作S360中，由影像除霧單元145根據輸入像素、大氣光值A及細化透射圖T(x)產生除霧影像J(x)。具體而言，影像除霧單元145對於各色彩通道根據下式進行運算處理以還原除霧影像J(x)：
其中，t0為細化透射圖中透射率的下限值，用以避免過度還原而產生雜訊。t0為介於0到1之間任意實數，在部分實施例中，t0可為0.1、0.2或0.3。
在部分實施例中，本揭示內容在操作S360中利用平行化技術pthread將RGB三個色彩平面利用多核心處理器的優勢，同時處理RGB三個色彩平面之去霧計算以加速運算效率。
最後，進行操作S370。在操作S370中，由影像輸出模組160輸出除霧影像J(x)。具體而言，影像輸出模組160將影像除霧單元145產生的除霧影像J(x)連續輸出成視訊除霧影像。如此一來，經由即時性快速的單張除霧影像處理，得以生成即時性的視訊除霧影像。
請參考第6圖。第6圖係根據本揭示內容之部分實施例繪示之視訊除霧處理方法300中操作S320關於計算大氣光值的細部流程圖。如第6圖所示，在部分實施例中，操作S320進一部包含操作S321~S327。在操作S321中，由大氣光估測單元141將接收的霧氣影像I(x)依照一比例縮小，以藉由精度 上的損失換取處理效率，其中此比例可為介於0和1之間的任何實數。舉例來說，比例可為0.4、0.5、0.6、0.7或0.8。
接著，進行操作S322。在操作S322中，由大氣光估測單元141選取霧氣影像I(x)上方部分的輸入像素再進行運算。舉例來說，霧氣影像I(x)為解析度D1(720x480)之影像，大氣光估測單元141選取霧氣影像I(x)中上方720x240的輸入像素進行下個步驟。由於容易影響大氣光值估測的天空區域通常位於影像的上方部分，因此藉由選取上方部分的輸入像素進行運算，得以在不影響運算結果的狀況下減少運算量。值得注意的是，上述數值僅為方便說明的示例，並非用以限制本揭示內容。
接著，進行操作S323。在操作S323中，由大氣光估測單元141根據霧氣影像I(x)之曝光程度設定大氣光閥值。具體而言，當霧氣影像I(x)之曝光程度越高，設定大氣光閥值越高。當霧氣影像I(x)之曝光程度越低，設定大氣光閥值越低，藉以避免還原生成的除霧影像J(x)過暗。
接著，進行操作S324。在操作S324中，由大氣光估測單元141將強度大於大氣光閥值的輸入像素進行加總平均以求得大氣光值A，其中大氣光閥值為介於0到255之間任意實數。在部分實施例中，大氣光閥值可為介於175到205之實數。舉例來說，當大氣光閥值設定為200時，大氣光估測單元141將霧氣影像I(x)中強度介於200到255之間的輸入像素進行加總以求得之平均值即為大氣光值A。
接著，進行操作S325。在操作S325中，由大氣光估測單元141判斷當前該幀之大氣光值At與前一幀之大氣光值At-1的大氣光差值是否大於閃爍差值，其中閃爍差值為任意實數。在部分實施例中，閃爍差值可為3、4、5、6、7、8、9或10。當大氣光差值未大於閃爍差值，則進行操作S326。當大氣光差值大於閃爍差值，則進行操作S327。
在操作S326中，由大氣光估測單元141將前一幀的大氣光值At-1乘上第一權重係數λ1，當前該幀的大氣光值At乘上1與第一權重係數之差1-λ1，進行加總運算以修正當前該幀的大氣光值At。具體而言，如下式所示：A t =λ1A t-1+(1-λ1)A t
其中，第一權重係數λ1為介於0到1之間任意實數。在部分實施例中，第一權重係數λ1可為0.8、0.85、0.9或0.95。
在操作S327中，相似於操作S326，由大氣光估測單元141將前一幀的大氣光值At-1乘上第二權重係數λ2，當前該幀的大氣光值At乘上1與第二權重係數之差1-λ2，進行加總運算以修正當前該幀的大氣光值At。其中，第二權重係數λ2大於第一權重係數λ1。在部分實施例中，第二權重係數λ2為1。換言之，大氣光估測單元141以前一幀的大氣光值At-1取代當前該幀的大氣光值At。
如此一來，根據本揭示內容計算大氣光值A的方法僅需提取各個輸入像素一次後取平均，降低了大氣光值A的運算量，且改善暗通道先驗使除霧影像J(x)偏暗的現象，並藉 由大氣光差值調整大氣光值A以穩定了除霧影像J(x)亮度的一致性，減少了影像閃爍。
請參考第7圖。第7圖係根據本揭示內容之部分實施例繪示視訊除霧處理方法300中操作S330關於判斷天空影像區域S(x)的細部流程圖。如第7圖所示，在部分實施例中，操作S330包含操作S331~S336，以判斷輸入像素是否屬於天空影像區域S(x)。
與操作S321類似，在操作S331中，由天空估測單元142將接收的霧氣影像I(x)依照一比例縮小。舉例來說，接收的霧氣影像I(x)可依照介於0和1之間的任何實數之比例縮小。與操作S322類似，在操作S332中，由天空估測單元142選取霧氣影像I(x)上方部分的輸入像素。相關說明已於先前段落描述，於此不再贅述。
接著，進行操作S333。在操作S333中，由天空估測單元142利用導向濾波器內之均值濾波器計算各輸入像素之平均值Imean與變異數值Ivar，並計算平均值Imean與變異數值之差作為天空數值Isky。具體而言，相關計算可如下式所示：Imean=F mean (I)
Icorr=F mean (I.* I)
Ivar=Icorr-I mean .* I mean
Isky(x)=I mean (x)-I var (x)
接著，進行操作S334。在操作S334中，由天空估測單元142判斷各輸入像素之天空數值Isky是否大於天空門檻值，其中天空門檻值為介於0至1之間的任意實數。在部分實 施例中，天空門檻值可為0.4、0.5、0.6或0.7，但本案並不以此為限。
當天空估測單元142判斷輸入像素之天空數值Isky大於天空門檻值時，進行操作S335。在操作S335中，由天空估測單元142判定該輸入像素屬於天空影像區域S(x)。
另一方面，當天空估測單元142判斷輸入像素之天空數值Isky未大於天空門檻值時，進行操作S336。在操作S336中，由天空估測單元142判定該輸入像素不屬於天空影像區域S(x)。
如此一來，根據本揭示內容偵測天空影像區域S(x)的方法，便可改善了暗通道先驗易在天空部分產生雜訊之現象，將所偵測的天空影像區域S(x)予以保留，避免過度還原而使除霧影像J(x)更為自然。
值得注意的是，在步驟S330和S350可共同使用的導向濾波器G的計算資源，因此不需要額外計算資源即可達到偵測天空之效果。
此外，在部分實施例中，根據除霧影像J(x)之閃爍程度以調整導向濾波器G中主要元件的均值濾波器F之均值半徑。當除霧影像J(x)閃爍程度較大時，增大均值濾波器之均值半徑，以降低濾波器產生的區域性效果，使影像在空間分布上較均勻。其中，均值半徑為介於約25至約70之間的實數。在部分實施例中，均值半徑為約28。如此一來，維持了影像在時序上的一致性，進而降低影像閃爍的現象。
另一方面，在部分實施例中，本揭示內容利用平行化技術SIMD以增加處理影像的速率。具體而言，在濾波器中使用SIMD技術合併多個指令並行處理以加速程序，達到視訊除霧影像的即時處理。在本揭示內容中，視訊除霧處理裝置100在解析度D1(720x480)下可達到75fps之處理速度。
上述視訊除霧處理方法300是配合第1圖~第7圖所示實施例進行說明，但不以此為限，任何所屬技術領域具有通常知識者，在不脫離本案之精神和範圍內，當可對作各種更動與潤飾。
雖然本文將所公開的方法示出和描述為一系列的步驟或事件，但是應當理解，所示出的這些步驟或事件的順序不應解釋為限制意義。例如，部分步驟可以以不同順序發生和/或與除了本文所示和/或所描述之步驟或事件以外的其他步驟或事件同時發生。另外，實施本文所描述的一個或多個態樣或實施例時，並非所有於此示出的步驟皆為必需。此外，本文中的一個或多個步驟亦可能在一個或多個分離的步驟和/或階段中執行。
需要說明的是，在不衝突的情況下，在本揭示內容各個圖式、實施例及實施例中的特徵與電路可以相互組合。圖式中所繪示的電路僅為示例之用，係簡化以使說明簡潔並便於理解，並非用以限制本案。此外，上述各實施例中的各個裝置、單元及元件可以由各種類型的數位或類比電路實現，亦可分別由不同的積體電路晶片實現，或整合至單一晶片。上述僅為例示，本揭示內容並不以此為限。
綜上所述，本案透過應用上述各個實施例中，根據暗通道先驗作為基底演算法，簡化大氣光值之運算並針對視訊處理調整大氣光值，以及利用導向濾波器的中間計算結果偵測天空影像區域，提高於嵌入式平台即時進行視訊除霧處理的穩定度及準確度。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (20)

  1. 一種視訊除霧處理方法，包含：由一影像擷取模組擷取包含複數個輸入像素的一霧氣影像；由一大氣光估測單元根據該些輸入像素計算一大氣光值；由一天空估測單元根據該些輸入像素透過一導向濾波器的中間計算結果判斷一天空影像區域；由一暗通道先驗單元根據該些輸入像素基於暗通道先驗計算一影像暗通道；由一透射圖估測單元根據該些輸入像素、該大氣光值、該天空影像區域及該影像暗通道透過該導向濾波器計算一細化透射圖；由一影像除霧單元根據該些輸入像素、該大氣光值及該細化透射圖產生一除霧影像；以及由一影像輸出模組輸出該除霧影像。
  2. 如請求項1所述之視訊除霧處理方法，其中計算該大氣光值的操作包含：由該大氣光估測單元根據該霧氣影像之一曝光程度設定一大氣光閥值；以及由該大氣光估測單元將強度大於該大氣光閥值的該些輸入像素進行加總平均以求得該大氣光值。
  3. 如請求項1所述之視訊除霧處理方法，其中 計算該大氣光值的操作包含：由該大氣光估測單元計算該霧氣影像中當前一幀之大氣光值與一前一幀之大氣光值的一大氣光差值，並根據該大氣光差值調整當前該幀之大氣光值。
  4. 如請求項1所述之視訊除霧處理方法，其中判斷該天空影像區域的操作包含：由該天空估測單元根據該些輸入像素計算該些輸入像素各自的一平均值與一變異數值，並根據該平均值與該變異數值分別判斷該些輸入像素是否屬於該天空影像區域。
  5. 如請求項1所述之視訊除霧處理方法，其中計算該影像暗通道的操作包含：由該暗通道先驗單元利用一最小值濾波器將該輸入像素周圍一最小半徑內一最小強度值之輸入像素作為該輸入像素之暗通道值。
  6. 如請求項1所述之視訊除霧處理方法，其中計算該細化透射圖的操作包含：由一粗糙透射圖估測單元根據該些輸入像素、該大氣光值、該天空影像區域及該影像暗通道計算一粗糙透射圖；以及由一細化透射圖估測單元根據該粗糙透射圖透過該導向濾波器產生該細化透射圖。
  7. 如請求項6所述之視訊除霧處理方法，其中計算該細化透射圖包含：由該細化透射圖估測單元根據該些輸入像素、該大氣光值該天空影像區域及該暗通道影像利用查表法計算該細化透射圖。
  8. 如請求項6所述之視訊除霧處理方法，其中計算該細化透射圖的操作包含：由該粗糙透射圖估測單元根據一修正係數調整該粗糙透射圖。
  9. 如請求項1所述之視訊除霧處理方法，其中計算該細化透射圖的操作包含：由該透射圖估測單元根據該天空影像區域及一天空透射率調整位於該天空影像區域中的該些輸入像素的一透射率。
  10. 如請求項1所述之視訊除霧處理方法，更包含：由該大氣光估測單元將該霧氣影像以一比例縮小後計算該大氣光值；以及由該天空估測單元將該霧氣影像以該比例縮小後，透過該導向濾波器的中間計算結果判斷該天空影像區域。
  11. 如請求項1所述之視訊除霧處理方法，更包含： 由該大氣光估測單元選取該霧氣影像中一上方部分的該些輸入像素計算該大氣光值；以及由該天空估測單元根據該上方部分的該些輸入像素，透過該導向濾波器的中間計算結果判斷該天空影像區域。
  12. 如請求項1所述之視訊除霧處理方法，更包含：利用一維快速濾波器由橫向和縱向各進行一次運算。
  13. 如請求項1所述之視訊除霧處理方法，其中利用該導向濾波器的操作包含：根據該除霧影像之一閃爍程度調整該導向濾波器中一均值濾波器之一均值半徑。
  14. 一種視訊除霧處理裝置，包含：一影像擷取模組，用以擷取包含複數個輸入像素的一霧氣影像；一影像輸出模組，用以輸出一除霧影像；以及一影像除霧模組，電性耦接於該影像擷取模組及該影像輸出模組之間，用以將該霧氣影像進行視訊除霧處理以產生該除霧影像，包含：一大氣光估測單元，電性耦接該影像擷取模組，用以根據該些輸入像素計算一大氣光值；一天空估測單元，電性耦接該大氣光估測單元，用以根據該些輸入像素透過一導向濾波器的中間計算結果 判斷一天空影像區域；一暗通道先驗單元，電性耦接該影像擷取模組，用以根據該些輸入像素基於暗通道先驗計算一影像暗通道；一透射圖估測單元，電性耦接該暗通道先驗單元及該天空估測單元，用以根據該些輸入像素、該大氣光值該天空影像區域及該影像暗通道透過該導向濾波器計算一細化透射圖；以及一影像除霧單元，電性耦接該透射圖估測單元及該影像輸出模組，用以根據該些輸入像素、該大氣光值及該細化透射圖產生該除霧影像。
  15. 如請求項14所述之視訊除霧處理裝置，其中該影像除霧模組更用以將該霧氣影像以一比例縮小再進行運算。
  16. 如請求項14所述之視訊除霧處理裝置，其中該影像除霧模組更用以選取該霧氣影像中一上方部分的輸入像素再進行運算。
  17. 如請求項14所述之視訊除霧處理裝置，其中該大氣光估測單元更用以根據該霧氣影像之一曝光程度設定一大氣光閥值，並將強度大於該大氣光閥值的該些輸入像素進行加總平均以求得該大氣光值。
  18. 如請求項14所述之視訊除霧處理裝置，其中該大氣光估測單元更用以計算該霧氣影像中當前一幀之大氣光值與一前一幀之大氣光值的一大氣光差值，並根據該大氣光差值調整當前該幀之大氣光值。
  19. 如請求項14所述之視訊除霧處理裝置，其中該天空估測單元更用以根據該些輸入像素計算該些輸入像素各自的一平均值與一變異數值，並根據該平均值與該變異數值分別判斷該些輸入像素是否屬於該天空影像區域。
  20. 如請求項14所述之視訊除霧處理裝置，其中該透射圖估測單元更用以根據該天空影像區域及一天空透射率調整位於該天空影像區域中的該些輸入像素的一透射率。
TW107108903A 2018-03-15 2018-03-15 視訊除霧處理裝置及方法 TWI674804B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107108903A TWI674804B (zh) 2018-03-15 2018-03-15 視訊除霧處理裝置及方法
CN201810392951.6A CN110278346A (zh) 2018-03-15 2018-04-27 视频除雾处理装置及方法
US16/004,451 US10810705B2 (en) 2018-03-15 2018-06-11 Video dehazing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107108903A TWI674804B (zh) 2018-03-15 2018-03-15 視訊除霧處理裝置及方法

Publications (2)

Publication Number Publication Date
TW201939944A TW201939944A (zh) 2019-10-01
TWI674804B true TWI674804B (zh) 2019-10-11

Family

ID=67905924

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107108903A TWI674804B (zh) 2018-03-15 2018-03-15 視訊除霧處理裝置及方法

Country Status (3)

Country Link
US (1) US10810705B2 (zh)
CN (1) CN110278346A (zh)
TW (1) TWI674804B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765309B (zh) * 2018-04-26 2022-05-17 西安汇智信息科技有限公司 基于暗通道的线状自适应改进全局大气光的图像去雾方法
CN110929722A (zh) * 2019-11-04 2020-03-27 浙江农林大学 一种基于树木整体图像的树木检测方法
CN112825189B (zh) * 2019-11-21 2024-03-12 武汉Tcl集团工业研究院有限公司 一种图像去雾方法及相关设备
CN111145105B (zh) * 2019-12-04 2020-09-01 广东省新一代通信与网络创新研究院 一种图像快速去雾方法、装置、终端及存储介质
CN111047540B (zh) * 2019-12-27 2023-07-28 嘉应学院 一种基于天空分割的图像去雾方法及其应用系统
CN111192213B (zh) * 2019-12-27 2023-11-14 浙江芯劢微电子股份有限公司 图像去雾自适应参数的计算方法、图像去雾方法及系统
CN111489302B (zh) * 2020-03-27 2023-12-05 武汉理工大学 一种雾气环境下海事图像增强方法
CN111598788B (zh) * 2020-04-08 2023-03-07 西安理工大学 一种基于四叉树分解与非局部先验的单幅图像去雾方法
CN111696031A (zh) * 2020-06-15 2020-09-22 北京浦泰锐迅技术有限公司 适用于景观电子望远镜的图像处理方法和系统
CN111738959B (zh) * 2020-06-30 2022-08-19 福州大学 一种基于fpga的视频图像实时除雾方法
CN113962872B (zh) * 2020-07-21 2023-08-18 四川大学 一种双通道联合优化的夜间图像去雾方法
CN112053298B (zh) * 2020-08-27 2022-05-27 上海电机学院 一种图像去雾方法
CN112200746B (zh) * 2020-10-16 2024-03-08 中南大学 一种雾天交通场景图像的去雾方法和设备
CN112184596A (zh) * 2020-10-28 2021-01-05 青岛大学 一种图像去雾去噪方法、装置、设备及存储介质
CN112465720B (zh) * 2020-11-27 2024-02-23 南京邮电大学 一种基于图像天空分割的图像去雾方法、装置和存储介质
CN113344802A (zh) * 2021-04-19 2021-09-03 大连海事大学 一种基于自适应的大气光融合的水下图像复原方法
CN113538284A (zh) * 2021-07-22 2021-10-22 哈尔滨理工大学 一种基于暗通道先验的图像去雾算法的移植方法
CN113628145B (zh) * 2021-08-27 2024-02-02 燕山大学 一种图像清晰化方法、系统、设备及存储介质
TWI793901B (zh) * 2021-12-08 2023-02-21 威盛電子股份有限公司 煙霧偵測系統以及煙霧偵測方法
CN114708621B (zh) * 2022-05-31 2022-08-19 广东海洋大学 水下海胆图像识别模型的训练方法、识别方法及装置
CN115457265B (zh) * 2022-08-25 2023-08-01 暨南大学 基于生成对抗网络和多尺度融合的图像去雾方法及系统
CN115456915B (zh) * 2022-11-10 2023-05-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质
CN115937144B (zh) * 2022-12-08 2023-08-25 郑州大学 一种胸腔镜术中图像处理方法及系统
CN115941857B (zh) * 2022-12-30 2024-04-02 湖南大学 除雾电路和方法
CN116071657B (zh) * 2023-03-07 2023-07-25 青岛旭华建设集团有限公司 一种建筑施工视频监控大数据的智能预警系统
CN116596805B (zh) * 2023-07-14 2023-09-29 山东大学 一种基于场景物体与大气光偏振态差异的偏振去雾方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794697A (zh) * 2015-05-05 2015-07-22 哈尔滨工程大学 一种基于暗原色先验的图像去雾方法
TW201610912A (zh) * 2014-09-04 2016-03-16 國立臺北科技大學 基於混合暗通道先驗的影像除霧方法及其系統

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080273651A1 (en) * 2007-05-05 2008-11-06 Franz Edward Boas Methods and apparatus for reducing artifacts in computed tomography images
EP2740100A1 (en) * 2011-08-03 2014-06-11 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN102999883B (zh) * 2011-09-08 2016-03-02 富士通株式会社 图像去雾方法和系统
DE102011055269A1 (de) * 2011-11-11 2013-05-16 Jenoptik Robot Gmbh Verfahren zur Durchführung einer Dynamikkompression in der Verkehrsfotografie
KR101582479B1 (ko) * 2012-05-15 2016-01-19 에스케이 텔레콤주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
JP2014078799A (ja) * 2012-10-09 2014-05-01 Toshiba Corp 画像処理装置及び画像処理方法
CN104346774B (zh) * 2013-07-29 2018-04-03 诺基亚技术有限公司 用于图像增强的方法和装置
JP6282095B2 (ja) * 2013-11-27 2018-02-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
KR102182697B1 (ko) * 2014-02-27 2020-11-25 한화테크윈 주식회사 영상 처리 장치 및 방법
US9305339B2 (en) * 2014-07-01 2016-04-05 Adobe Systems Incorporated Multi-feature image haze removal
JP6488581B2 (ja) * 2014-07-25 2019-03-27 株式会社ソシオネクスト 霞画像判別装置及び判別方法
US9305242B2 (en) * 2014-08-15 2016-04-05 National Taipei University Of Technology Method and image processing apparatus for image visibility restoration using fisher's linear discriminant based dual dark channel prior
US9710715B2 (en) * 2014-12-26 2017-07-18 Ricoh Company, Ltd. Image processing system, image processing device, and image processing method
US9288458B1 (en) * 2015-01-31 2016-03-15 Hrl Laboratories, Llc Fast digital image de-hazing methods for real-time video processing
SG11201708080VA (en) * 2015-03-30 2017-10-30 Agency Science Tech & Res Method and device for image haze removal
CN104834912B (zh) * 2015-05-14 2017-12-22 北京邮电大学 一种基于图像信息检测的天气识别方法及装置
WO2016189901A1 (ja) * 2015-05-22 2016-12-01 三菱電機株式会社 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
JP6579868B2 (ja) * 2015-09-01 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
WO2017056834A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置及び画像処理方法
US9508129B1 (en) * 2015-11-06 2016-11-29 Adobe Systems Incorporated Dehazing photos and videos using visual artifact suppression
CN105631823A (zh) * 2015-12-28 2016-06-01 西安电子科技大学 基于阈值分割优化的暗原色天空区域去雾方法
CN105631831B (zh) * 2016-03-14 2018-07-27 北京理工大学 一种雾霾条件下视频图像增强方法
CN106169176A (zh) * 2016-06-27 2016-11-30 上海集成电路研发中心有限公司 一种图像去雾方法
JP6818463B2 (ja) * 2016-08-08 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10026160B2 (en) * 2016-08-20 2018-07-17 Adobe Systems Incorporated Systems and techniques for automatic image haze removal across multiple video frames
CN107872608B (zh) * 2016-09-26 2021-01-12 华为技术有限公司 图像采集设备及图像处理方法
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
US10528842B2 (en) * 2017-02-06 2020-01-07 Mediatek Inc. Image processing method and image processing system
CN107451966B (zh) * 2017-07-25 2021-05-11 四川大学 一种采用灰度图引导滤波实现的实时视频去雾方法
KR101917094B1 (ko) * 2017-08-29 2018-11-09 전남대학교산학협력단 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치
US10367976B2 (en) * 2017-09-21 2019-07-30 The United States Of America As Represented By The Secretary Of The Navy Single image haze removal
KR101983475B1 (ko) * 2017-11-14 2019-05-28 중앙대학교 산학협력단 퍼지 멤버쉽 함수를 이용하여 영상에서 안개를 제거하는 장치 및 방법과, 상기 방법을 수행하는 컴퓨터 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201610912A (zh) * 2014-09-04 2016-03-16 國立臺北科技大學 基於混合暗通道先驗的影像除霧方法及其系統
CN104794697A (zh) * 2015-05-05 2015-07-22 哈尔滨工程大学 一种基于暗原色先验的图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
<毛祥宇，李為相，丁雪梅>, <基於天空分割的單幅圖像去霧算法>, Journal of Computer Applications, 2017/10/10 *
<毛祥宇，李為相，丁雪梅>, <基於天空分割的單幅圖像去霧算法>, Journal of Computer Applications, 2017/10/10,

Also Published As

Publication number Publication date
US20190287219A1 (en) 2019-09-19
CN110278346A (zh) 2019-09-24
US10810705B2 (en) 2020-10-20
TW201939944A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
TWI674804B (zh) 視訊除霧處理裝置及方法
Wang et al. An experiment-based review of low-light image enhancement methods
CN106504278B (zh) 高动态范围色调映射
Hou et al. An efficient nonlocal variational method with application to underwater image restoration
CN107292804B (zh) 基于OpenCL的直接多曝光融合并行加速方法
CN111028189A (zh) 图像处理方法、装置、存储介质及电子设备
TWI697867B (zh) 測光補償方法及其相關監控攝影設備
KR102617361B1 (ko) 카메라에서 처리를 수행하기 위한 방법 및 장치
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Fang et al. Effective Single Underwater Image Enhancement by Fusion.
CN116167932A (zh) 一种图像质量优化方法、装置、设备及存储介质
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
CN107465903A (zh) 图像白平衡方法、装置和计算机可读存储介质
JP2020077165A (ja) 画像処理装置、画像処理方法、及びプログラム
Martel et al. Parallel HDR tone mapping and auto-focus on a cellular processor array vision chip
JP2019168862A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2003279485A (ja) 防眩フィルムのギラツキ評価装置
TWI524279B (zh) 影像擷取裝置及其暗角補償方法
JP2020021314A (ja) 画像処理装置及び画像処理方法
US20180152649A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
Wang et al. Low visual difference virtual high dynamic range image synthesizer from a single legacy image
US11074677B2 (en) Dynamic range extension of partially clipped pixels in captured images
CN114331893A (zh) 一种获取图像噪声的方法、介质和电子设备
CN110402455A (zh) 影像显示装置