TWI808406B

TWI808406B - 圖像去霧方法和使用圖像去霧方法的圖像去霧設備

Info

Publication number: TWI808406B
Application number: TW110113181A
Authority: TW
Inventors: 泗得蔣; 高得欽
Original assignee: 財團法人工業技術研究院
Priority date: 2020-12-25
Filing date: 2021-04-13
Publication date: 2023-07-11
Also published as: US11528435B2; TW202226141A; JP2022103003A; US20220210350A1; JP7178438B2

Abstract

本揭露涉及一種圖像去霧方法和使用圖像去霧方法的圖像去霧設備。在一方面中，本揭露涉及一種圖像去霧方法，所述方法包含但不限於：接收輸入圖像；通過去霧模組對圖像去霧以輸出已去霧紅綠藍圖像；通過高動態範圍（HDR）模組恢復已去霧紅綠藍圖像的圖像亮度以輸出高動態範圍圖像；以及通過ReflectNet推斷模型去除高動態範圍圖像的反射，其中ReflectNet推斷模型使用深度學習架構。

Description

圖像去霧方法和使用圖像去霧方法的圖像去霧設備

本揭露是有關於一種圖像處理技術，且特別是有關於一種圖像去霧方法和使用圖像去霧方法的圖像去霧設備。

由於氯化銀塗布紙（silver chloride-coated paper）技術出現，成像裝置可以使光通過狹縫以曝光氯化銀塗布紙，氯化銀塗布紙可以根據行進光強度在空間上暗化成像，以及隨著越來越多的終端使用者成為可能間接支援從靜態動態圖像捕捉到動態圖像捕捉（即，攝像機）的推進，成像裝置的利用率已逐年增加。從專業、科學到消費電子產品來看，成像裝置的適用性前所未有地廣泛。在大批量生產系統的支援下，成像裝置每像素密度的成本相應地降低。這些條件造成了成像裝置（即，相機）的相關工程領域中的廣泛應用。

消費電子產品中的物聯網（Internet-of-Thing；IoT）能力的提高使得自動駕駛車輛（autonomous driving vehicle；ADV）的發展已變得更加重要。圖1繪示利用不同成像感測器以感測障礙物的周圍環境的ADV。在ADV的應用場景中，紅綠藍色（RGB）相機是一種最顯要的成像裝置，RGB相機能夠在對應相機的有限視場（field of view；FOV）內提供周圍環境的密集語義或實例資訊。這種特定資訊將為致動器(actuator)提供必需資料以實現ADV的主要目標，即，從一個位置自主地移動到另一位置，同時避開在周圍軌跡的預測範圍內的對象或障礙物。圖像資料可以經過各種處理，例如物件檢測、圖像分割、物件跟蹤、深度估計以及其它相關應用。

除後續處理模組的能力以外，來自對應RGB相機的感知品質可以影響所述後續處理模組的性能。表1比較在不同環境限制條件下的RGB相機的屬性。根據表1，RGB相機易受到源於光或源於天氣條件的干擾。由於RGB相機是無源感測器，所以圖像資料高度依賴於感測器陣列所感知的行進光信號。任何可能衰減或分散行進光信號的空中微粒或中間物質，均被視為RGB相機的減退因數(decimating factor)。

限制條件	屬性	限制條件	屬性
感測器類型	無源	天氣影響	輕敏感度
勒克斯（Lux）干擾	高敏感度	視場	有限
曝光效應	高敏感度	解析度	密集

表1

在ADV的發展中，不同的天氣條件是不可控制變數，將在一定程度上影響RGB相機的圖像品質。在ADV發展的常見情境下的不利天氣可分類成：（a）日眩光/直射光曝光；（b）雨/雪條件以及（c）有霧（foggy/hazy）條件。對於涉及日眩光/直射光曝光的情境，RGB相機的圖像品質將隨著直接曝光使光感測器陣列削減/飽和而降低，這可能不僅影響曝光的圖像區，而且還可能影響其鄰近圖像區。由於過度曝光的像素和其鄰近區域，這種特定情境通過降低圖像熵來減少感知的物件性。因此，抑制了顯要物件的圖像特徵，而使得大多數物件檢測演算法產生適當檢測的任務變得更為艱鉅。

對於涉及雨/雪條件的情境，中間物質（例如水滴或雪花）的存在會衰減進入相機鏡頭的光總量，衰減程度直接對應於雨/雪條件的強度。這些物質也可能取決於RGB相機安裝和/或設計的方式所引起圖像失真和/或FOV障礙。類似地，涉及有霧條件的情境也將降低RGB相機的可見度，這是因為，取決於對應的霧度（haze/fog）情況的嚴重程度，潮濕空氣/污染物的存在會吸收一定程度的光強度。因此，與雨/雪條件類似，由於大多數的高頻資訊被抑制，有霧條件也將使大多數物件檢測演算法的執行更具挑戰性，例如，特徵提取的分析。

作為實際實例，在圖2A中繪示的晴朗下午條件下，所感知的物件性是清晰的，具有相當大的對比度和圖像可見度。然而，圖2B中所繪示的不利條件，例如低光環境中的不平衡強度以及暴雨條件所產生不合期望的情形會對用於自動駕駛車輛上的周圍物件感測的RGB相機的可靠性帶來問題。在低光環境中的不均衡強度期間，由於在長條圖值的較高範圍內偏移的其它像素的強度的過度曝光而使得對比率被抑制。在暴雨條件中，由於空中物質的存在而增加會衰減進入感測器陣列的行進光的量而造成大氣通道增加。這些條件顯示RGB相機作為無源感測裝置的局限性。

實際上，作為圖像預處理功能以增強RGB圖像品質的軟體解決方案可變為RGB相機的補丁元素，RGB相機的圖像品質通常受到不利天氣條件影響。然而，為了顯著地解決RGB相機在任何類型的天氣條件（不利或正常）期間的可靠性，作為任何軟體解決方案的補充補丁，RGB相機的硬體改進是必要的。在圖像預處理功能中，對RGB圖像進行像素級或區域級處理，共同目的在於增強圖像對比度以及通過選擇性濾波（即，霧度去除）改進所感知的物件性。

圖2C將相關技術中的物件檢測演算法的性能（例如由J.雷德蒙（J.Redmon）等人教導的YOLOv3，“YOLOv3：增量改進（YOLOv3: An Incremental Improvement）”，arXiv：1804.02767，2018年4月）與來自原始和已處理RGB版本的輸入圖像進行比較。原始RGB圖像是在不利天氣條件下，例如（從左上到右下）曝光過度、曝光不足、下雨條件以及有霧條件，直接從對應的相機獲得的。另一方面，已處理的RGB圖像是圖像預處理功能對於對應原始RGB圖像的產物；因此，已處理RGB圖像可稱為原始RGB圖像的增強版本。在相關技術中，將圖像去霧和高動態範圍（high dynamic range；HDR）增強用作圖像預處理功能。

參考圖2C，在相關技術中，相比於使用已處理RGB圖像實施的物件檢測演算法的檢測率，使用原始RGB圖像實施的物件檢測演算法的檢測率更低。這表示圖像預處理能夠增強原始RGB圖像的感知物件性；因此，實現演算法的分類器可用更高圖像可見度檢測任何先前考慮的對象。另外，原始的和已處理的RGB圖像在假陽性率方面都一樣低。儘管這種情況可歸因於在相關技術中所實施的物件檢測演算法的穩定性；但這種情況可以展現圖像預處理在避免過度增強方面的能力，過度增強將產生造成假陽性的不期望假像。

根據前述內容，調節和改進RGB圖像的感知品質的圖像預處理技術對於後續計算攝影至關重要。已處理RGB圖像的應用可以在電腦和機器視覺的範圍內擴展。最常見的應用是需要以RGB相機作為感測裝置的自動駕駛車輛，包含地面、空中或海上車輛。然而，由於已經證實那些RGB相機在各種不利天氣情形下可能具有品質下降的問題，所以需要圖像預處理功能作為解決方案補丁，在各種天氣條件（不利或正常天氣條件）下改進圖像對比度和感知物件而不引起任何錯誤或過度增強效應。

有鑑於此，本揭露的實施例提供一種圖像去霧方法和使用圖像去霧方法的圖像去霧設備。

在一方面中，本揭露的實施例提供一種圖像去霧方法，且所述方法包含但不限於：接收輸入圖像；通過去霧模組去霧圖像以輸出已去霧RGB圖像；通過高動態範圍（HDR）模組恢復已去霧RGB圖像的圖像亮度以輸出HDR圖像；以及通過ReflectNet推斷模型去除HDR圖像的反射，其中ReflectNet推斷模型使用深度學習架構。

在一方面中，本揭露的實施例提供一種圖像去霧設備，包含但不限於：感測器和耦接到感測器的處理器。處理器至少經配置以執行以下操作：接收輸入圖像；通過去霧模組去霧圖像以輸出已去霧RGB圖像；通過HDR模組恢復已去霧RGB圖像的圖像亮度以輸出HDR圖像；以及通過ReflectNet推斷模型去除HDR圖像的反射，其中ReflectNet推斷模型使用深度學習架構。

為了可更好地理解前述內容，如下詳細地描述伴有附圖的若干實施例。應理解，前文總體描述以及以下詳細描述都是示例性的，且希望提供對本揭露的進一步解釋。

然而，應理解，本揭露內容可並不含有本揭露的所有方面和實施例，且因此不希望用任何方式加以限制或約束。此外，本揭露將包含對於本領域的技術人員來說顯而易見的改進和修改。

現將詳細參考本揭露的當前示例性實施例，隨附圖式中繪示出了所述示例性實施例的實例。只要可能，相同的附圖標號在附圖和描述中用以代表相同或類似部分。

對於上述挑戰，本揭露提供混合的影像處理框架以解決在數位視覺技術的部署中可能遇到的各種挑戰。影像處理框架將從使用圖像去霧方法的圖像去霧設備的角度進行解釋。圖像去霧設備可以安置在例如戶外環境中的自動化或任何機器人系統內，例如自主車輛、空中無人機以及海上無人機等等。圖像去霧設備將包含但不限於感測器和耦接到感測器的處理器，且處理器至少經配置以執行以下操作：接收輸入圖像；通過去霧模組去霧圖像以輸出已去霧RGB圖像；通過HDR模組恢復已去霧RGB圖像的圖像亮度以輸出HDR圖像；以及通過ReflectNet推斷模型去除HDR圖像的反射，其中ReflectNet推斷模型使用深度學習架構。通過所提供的框架可以增強圖像品質並且可以改進後續處理（例如物件檢測和圖像分割）的性能。

圖3是繪示根據本揭露的示例性實施例的圖像去霧方法的流程圖。在步驟S301中，圖像去霧設備將通過感測器接收輸入圖像。在步驟S302中，圖像去霧設備將通過去霧模組去霧圖像以輸出已去霧RGB圖像。在步驟S303中，圖像去霧設備將通過HDR模組恢復已去霧RGB圖像的圖像亮度以輸出HDR圖像。在步驟S304中，圖像去霧設備將通過ReflectNet推斷模型去除HDR圖像的反射，其中ReflectNet推斷模型使用深度學習架構。

圖4繪示根據本揭露的示例性實施例的圖像去霧設備的方塊圖。圖像去霧設備40將包含但不限於感測器401和耦接到感測器401的處理器402。處理器402將至少經配置以執行以下操作：接收輸入圖像；通過去霧模組去霧圖像以輸出已去霧RGB圖像；通過HDR模組恢復已去霧RGB圖像的圖像亮度以輸出HDR圖像；以及通過ReflectNet推斷模型去除HDR圖像的反射，其中ReflectNet推斷模型使用深度學習架構。

圖5是繪示根據本揭露的示例性實施例的圖像去霧方法的步驟的流程圖。在步驟S501中，圖像去霧設備將通過感測器接收輸入RGB圖像。在步驟S502中，在本揭露的一實施例中，圖像去霧設備將去霧RGB圖像並通過圖像去霧模組輸出已去霧RGB圖像。更具體地說，圖像去霧設備可以檢測和恢復由於存在霧/雨或相機感測器與物件之間的任何其它中間物質而造成的衰減效應。在一個實施例中，圖像去霧模組可以使用傳統電腦視覺來設計以基於深度感知來檢測霧量，且隨後線性地補償或恢復受影響的像素，同時保持2D RGB圖像中的深度感測。具體地，圖像去霧設備可以從霧或雨恢復像素，從而真正地增加圖像亮度。在步驟S503中，在本揭露的一實施例中，圖像去霧設備將通過HDR模組恢復已去霧RGB圖像的圖像亮度以輸出HDR圖像。更具體地說，可以設計HDR模組以改進對應的RGB圖像的動態範圍。在一個實施例中，圖像去霧設備可以補償可能由圖像去霧模組或自然地從低光環境引起的圖像暗化。具體地，圖像去霧設備可以產生亮度增強，所述亮度增強在低光像素與任何亮光像素之間找到平衡。在步驟S504中，圖像去霧設備將去除HDR圖像的反射。在示例性實施例中，反射去除可以採用有圖像分割的內建功能的機器學習方法從輸入圖像分離反射圖以獲得無反射輸出圖像。具體地，在一個實施例中，反射去除可以通過可使用深度學習架構（例如編碼器-解碼器網路）的ReflectNet推斷模型來實施。

圖6為通過根據本揭露的示例性實施例的圖像去霧方法處理的輸入RGB圖像和輸出RGB圖像的實施實例。參考圖6，圖像601是如圖5的步驟S501中所繪示的可以由感測器接收的輸入RGB圖像的實例，並且圖像602是在圖像601已經歷如圖5中所繪示的步驟S502到步驟S504的處理之後可以在圖5的步驟S505中產生的輸出RGB圖像的實例。

圖7是繪示根據本揭露的示例性實施例的圖像去霧方法的步驟的詳細流程圖。在步驟S701中，圖像去霧設備將通過感測器接收輸入RGB圖像。輸入RGB圖像可以表示為。在示例性實施例中，在步驟S702中，輸入RGB圖像首先由圖像去霧模組處理以去除來自霧、雨或將衰減由相機感測器接收的光量的任何其它中間介質的不利影響。具體地，在一個實施例中，步驟S702中的圖像去霧模組可以由四個子模組實施：（a）最小通道估計；（b）引導式濾波；（c）大氣通道檢測；（d）線性顏色重構。在通過圖像去霧模組處理輸入RGB圖像之後，可以產生指示為的輸出已去霧圖像。

在步驟S703中，在示例性實施例中，HDR模組可以恢復圖像亮度的減退抽樣(decimation)，減退抽樣可能歸因於使圖像暗化和/或從光或低光環境曝光的圖像去霧模組。更具體地說，HDR模組包含兩個子模組：那卡-拉什頓補償器和局部長條圖均衡（LHE）操作。那卡-拉什頓補償器是用以恢復任何曝光不足或過度曝光的圖像亮度的補償公式。這種補償可以從在初始化期間計算的已去霧圖像獲取統計資訊。LHE操作是一種局部長條圖均衡技術，其可以針對任何對比度損失增強每一顏色通道（r、g、b）的圖像對比度，所述對比度損失可由那卡-拉什頓補償器引發。在通過HDR模組處理已去霧圖像之後，可以產生表示為的HDR圖像。

在步驟S704中，在示例性實施例中，反射去除模組可以使用機器學習方法，即可以基於深度學習架構的ReflectNet推斷模型。在一個實施例中，ReflectNet推斷模型可以通過具有來自分割架構的預訓練模型的編碼器-解碼器網路來實施。編碼器側和預訓練模型（來自分割架構）將創建超列(hypercolumn)特徵，超列特徵由解碼器側解碼以用於相對於表示為O()的輸出RGB圖像分離反射圖。

圖8是繪示根據本揭露的示例性實施例的去霧模組的演算法的詳細流程圖。去霧模組可以公式表示如下：

(1)

其中是輸入RGB圖像，是輸出已去霧圖像，是去霧透射圖，是大氣係數，且是像素位置。

在步驟S801處，在示例性實施例中，大氣通道檢測中的最小通道估計是基於霧/雨或公式（1）中表示的任何中間介質設計的。在不存在霧或無霧圖像的情況下，大多數像素的顏色飽和度將反映物件的實際顏色，而霧的存在將引入會增加圖像亮度並且降低顏色飽和度的衰減效應。在無霧圖像的情況下，輸入RGB圖像的至少一個顏色通道將落在強度的低端光譜中。換句話說，通過觀察具有最小像素值的顏色通道將反映霧介質的存在，如公式（1）中所繪示。

具體地，在一個實施例中，最小通道估計實施逐塊操作，所述逐塊操作將輸入RGB圖像分割成數目個塊片段，其中是在處具有中心座標的塊片段以估計對應的的 最小通道像素值，如在以下公式表示：

(2)

其中是輸入RGB圖像中的顏色通道。的維度是可以進行精細調整以實現所需去霧性能的使用者約束。的較高維度將構成 最小通道圖的較低解析度；而的較低維度可能引起最小通道的過度估計。

在步驟S802處，在示例性實施例中， 引導式濾波通過 A. 萊文（ A.Levin）、 D. 裡奇斯（ D.Lischinski）以及 Y. 韋斯（ Y.Weiss）（ 自然圖像摳圖的封閉形式解決方案，《 電腦視覺以及圖案識別》，第 1 卷，第 61 頁到第 68 頁， 2006 年）所教導來實施，即，通過基於輸入RGB 圖像中的顏色和形狀資訊將反轉最小通道圖的形狀細化成霧度透射圖。具體地，在一個實施例中， 引導式濾波可以如下公式表示：

(3)

其中是大小為的單位矩陣，且是軟約束的參數。的值將確定對控制中的形狀細化的影響程度。應注意，在（3）中， 最小通道圖為反轉，這是因為將必須反映霧度的透射率。這意味中的低值表示附近物件或低霧度引發效應，而中的低值對應於的反面。

更具體地說，在一個實施例中，（3）中的 L是如下公式的拉普拉斯（Laplacian）矩陣：

（4）

其中是像素處的的顏色；是克羅內克函數（Kronecker delta）；是大小為 n()的窗口核；是中的均值和協方差；是正規化參數；且是具有尺寸的單位矩陣（類似於公式（3）中的）。

在步驟S803處，在示例性實施例中，可以使用 大氣通道檢測估計大氣係數。所述大氣通道檢測模組從中的最低像素得到的強度值，如以下公式表示：

（5）

須注意的是，大氣通道檢測模組並不基於圖像中的最亮像素來估計大氣係數，這是因為大氣通道檢測模組可能不是空氣光強度的正確表示。利用通過將較大透射率值假設為最遠物件/環境（換句話說，空氣光強度）來確保反映空氣光強度的像素的位置。

在步驟S804處，在示例性實施例中，在可以確定霧度透射圖和大氣係數之後， 線性顏色重構可以使用霧度透射圖和大氣係數針對任何霧度效應恢復中的顏色通道。操作是對每個顏色通道的逐像素計算，如以下公式：

（6）

圖9為通過去霧模組的演算法處理的輸入RGB圖像和輸出已去霧圖像的實施實例。參考圖9， 線性顏色重構能夠去除霧度引發的圖像901/將其抑制成無霧圖像902。儘管無霧圖像902引入較好的可見度，但由於圖像去霧的本質是降低由霧度引發的圖像的亮度，所以降低整體圖像亮度。

圖10為通過去霧模組中的最小通道估計演算法處理的輸入RGB圖像1001和最小通道圖1002的實施實例。最小通道估計演算法基於塊操作計算輸入RGB圖像1001的最小通道圖1002。在存在霧度的情況下，物件的像素值將相應地受其相對於相機的位置的影響。在圖10中，最小通道圖1002構成類深度圖，所述類深度圖間接感知為霧度介質產生深度感知的感覺。由於最小通道估計使用具有最小像素值的通道，所以明亮或高飽和物件的存在將影響最小通道圖1002中的類深度效應，如圖10中所繪示的交通燈一樣。

圖11為通過去霧模組中的引導式濾波演算法處理的反轉最小通道圖1101和霧度透射圖1102的實施實例。如圖11中所繪示，引導式濾波演算法平滑反轉最小通道圖1101的粗略形狀，以及使用拉普拉斯變換基於中所提供的顏色和形狀資訊校正最小通道的錯誤估計。在霧度透射圖1102中可以較高解析度感知物件的輪廓。

圖12為去霧模組中的大氣通道檢測演算法的實施實例，所述大氣通道檢測演算法從已去霧圖像1202的霧度透射圖1201得到強度值1203。如圖12中所繪示，大氣通道檢測演算法可以估計表示大氣係數A的強度值1203。從霧度傳透射圖1201中的最低像素得到強度值1203。霧度透射圖1201的利用通過將較大透射率值假設為最遠物件/環境（換句話說，空氣光強度）來確保反射空氣光強度的像素的位置。

圖13為去霧模組中的線性顏色重構演算法的實施實例，所述去霧模組從輸入圖像1301恢復已去霧RGB圖像1302。如圖13中所繪示，線性顏色重構演算法可以去除或抑制輸入圖像1301中的霧度引發的圖像，並且恢復已去霧RGB圖像1302中的無霧圖像版本。儘管無霧圖像1302引入較好的可見度，但由於圖像去霧的本質是降低由霧度引發的輸入圖像1301的亮度，所以降低整體圖像亮度。

圖14是繪示根據本揭露的示例性實施例的HDR模組的演算法的詳細流程圖。在步驟S1401處，在示例性實施例中，那卡 - 拉什頓補償器使用逐像素分割和像素變換進行設計。

圖15為根據本揭露的示例性實施例的到HDR模組的輸入已去霧圖像1501和通過HDR模組處理的輸出HDR圖像1502的實施實例。如圖15中所繪示，HDR模組恢復輸出HDR圖像1502中的圖像亮度，所述輸出HDR圖像1502由於使圖像暗化或從光環境或低光環境曝光的去霧模組而可能位於輸入已去霧圖像1501中。

圖16是繪示通過根據本揭露的示例性實施例的那卡-拉什頓補償器增強已去霧RGB圖像是圖像亮度的流程圖。具體地，圖16示出那卡 - 拉什頓補償器的細節。那卡-拉什頓補償器模組開始於顏色校正，所述顏色校正將原始RGB圖像1601的彩色通道轉化成亮度圖1602，表示為。原始RGB圖像1601 分解成 r通道、 g通道、 b通道（1603到1605），即分別為、、。

在步驟S1611處，這些圖1603到圖1605用於計算像素集群的閾值以相對於的暗像素1607將亮像素1606分割為：

（7）

其中表示通道處的平均圖像像素。（7）中存在非線性地和線性地縮放中的亮度的兩個係數，即和。被稱作的雙線性濾波器核用於消除來自的雜訊。

在步驟1612處，根據基於像素的分割，閾值可以用於將原始RGB圖像1601 分割成不同顏色通道1603到通道1605。是基於進行分割的，並且像素使用以下公式進行變換：

（8）

其中和是如下計算的補償係數：

（9）

和

（10）

參考圖14，在步驟S1402處，在一個實施例中， LHE 操作是局部長條圖均衡技術，其針對任何對比度損失增強每一顏色通道（ r、 g、 b）的圖像對比度，所述對比度損失可由那卡 - 拉什頓補償器引發。

圖17為通過局部長條圖操作增強已去霧RGB圖像 1701和輸出HDR圖像 1702的圖像對比度的實施實例。如圖17中所繪示，HDR圖像 1702中的對比度可以通過局部長條圖操作來增強。對比度可由於均衡亮度但可能損失已去霧RGB圖像 1701中的對比度的那卡-拉什頓補償器而降低。

圖18是繪示通過根據本揭露的示例性實施例的ReflectNet推斷模型去除HDR圖像的反射的流程圖。在步驟S1801處，在一個實施例中，ReflectNet推斷模型可以使用通常用於分割網路的正常卷積和擴張卷積的組合進行設計。圖19示出通過ReflectNet推斷模型處理的輸入已去霧圖像1901和輸出HDR圖像1902的實施實例。如圖19中所繪示，ReflectNet推斷模型抑制來自輸入已去霧圖像1901的輸出HDR圖像1902中的任何反射引發的假像，所述假像可能歸因於通過HDR增強的輕微反射的增強或本身來自反射條件。

圖20是在本揭露一個示例性實施例中的ReflectNet推斷模型的架構。 ReflectNet推斷模型可以使用具有來自分割架構的預訓練模型的編碼器-解碼器網路。編碼器側和預訓練模型（來自分割架構）將創建將由解碼器側解碼以用於相對於輸出RGB圖像分離反射圖的超列特徵。訓練編碼器-解碼器架構以用於學習與反射去除相關的特徵；而預訓練模型提供習得的特徵以執行空間分割。

參考圖21，在一個實施例中，可以使用一對原始RGB圖像和其反射圖像訓練ReflectNet推斷模型。在這個實施例中，使用將兩個圖像混合成混合圖像的ImageMix函數來產生資料集。原始RGB圖像將用作地面實況，而混合圖像作為輸入。

在示例性實施例中，表示原始RGB圖像，並且表示混合圖像或任何反射引發的RGB圖像；和分別是輸出反射去除RGB圖像和估計的反射圖。損失函數計算為：

（11）

其中是均衡損失的權重，並且是網路權重。（11）中存在三個損失函數，包含特徵損失、對抗損失以及梯度損失。特徵損失計算如下：

（12）

這種損失將在模型運行地面實況時的層差異處的所選特徵與來自輸入RGB圖像的結果進行比較。對抗損失測量的負對數概率以具有如下的自然地面實況：

（13）

最後，梯度損失測量地面實況與所得圖像之間的對比度比較，以如下公式表示：

（14）

此損失函數中的雙曲正切用於最小化與之間的邊緣偏差，中的邊緣應該來自或，而不是兩者。

圖22是將圖像去霧方法的實施實例與現有技術中的基準方法進行比較的表。參考圖22，性能評價由兩個方法組成：（a）所提出的方法和（b）基準方法。兩種方法都是使用相似框架的圖像預處理演算法。基於圖5中的流程圖，所提出的方法包含：圖像去霧、HDR增強以及反射去除。為了確保評價公平性，使基準方法符合通用框架，其中每一函數都由現有技術的先前狀態構造。舉例來說， 圖像去霧使用顏色衰減來表示，如由 D. 恩戈（ D.Ngo）等人教導的“ 用於 單圖像霧度去除的改進的顏色衰減先驗（ Improved Color Attenuation Prior for Single-Image Haze Removal）”，《 應用科學》， [ 線上（ Online） ]， 2019 年 9 月； HDR 增強由長條圖均衡表示，如由 OpenCV教導的，“ 長條圖均衡（ Histogram Equalization）”， 開源電腦視覺（ Open Source Computer Vision）， [ 線上 ] ， 2020 年 7 月； 反射去除由CEILNet表示，如由 Q. 法恩（ Q.Fan）等人教導的“用於 單圖像反射去除和圖像平滑的通用架構（ Generic Architecture for Single Image Reflection Removal and Image Smoothing）”， ICCV ， 2017 年。所提出的方法和基準方法都使用如圖22中所繪示的相同硬體和軟體來實施。

圖23是將圖像去霧方法的實施實例與現有技術中的基準方法的性能評價進行比較的表。在示例性實施例中，可以實施包含基於 熵的測量增強（ Entropy-based Measurement Enhancement；EME）2301、 對比度改進指數（ Contrast Improvement Index；CII）2302、 強度測量（ Intensity Measure；IM）2303的各種度量以對現有技術中的基準方法與所提出的圖像去霧方法之間的感知品質執行定量評估。

基於熵的測量增強（EME）2301是用於基於熵測量得到輸出與輸入相比較的改進指數的度量。EME的較大分數表示熵資訊的較高指數。EME 2301的最大值是∞。在一個實施例中，EME 2301計算為：

其中是所比較的圖像中的總像素，是塊大小的尺寸，且和是參考圖像和輸入圖像。

(15)

對比度改進指數（CII）2302是用於基於對比度測量得到輸出與輸入相比較的改進指數的度量。 CII 2302較大分數表示對比度改進的較高指數。CII 2302的最大值是∞。在一個實施例中，如下計算CII 2302：

(16)

強度測量（IM）2303是基於原始圖像得到亮度耐性的比率的度量。 IM 2303的較大分數表示圖像亮度的較好耐性。IM 2303的最大值是1。在一個實施例中，IM 2303定義為：

其中是所比較圖像中的總像素，且和是參考圖像和輸入圖像。

(17)

在一個實施例中，基於通用框架順序地對所有三個階段進行評價。根據圖23中的評價，所提出的方法在所有階段中的所有度量中都勝過基準方法。這種方法包含圖像去霧、HDR子模組以及反射去除功能。基於最終結果分數（參看 反射去除結果），所提出的方法實現CII=2.695並且EME=2.336或比基準方法高+39.9%和高+17.5%。這些結果表明所提出的方法可以增強RGB圖像中的對比度和熵資訊。

在一個實施例中，在強度測量比率方面，所提出的方法能夠保持平均74.8%的亮度；而基準方法能夠保持平均55.2%的亮度。這種結果可展現所提出方法保持如原始圖像將提供的亮度；同時去除霧度、反射以及對比率的能力。除了感知指數外，還根據時間複雜度對所提出的方法和基準方法進行評估。圖23繪示在所有功能類別中，所提出的方法的時間複雜度低於基準方法。這相對於現有技術展現所提出方法的效率。

圖24示出與現有技術中的通過基準方法處理的輸出圖像相比，通過根據本揭露的示例性實施例的圖像去霧方法處理的輸入原始圖像和輸出圖像的實例。參考圖24，定性地，基準方法不能夠穩定地去除霧度效應，這是因為基準方法引入幾個過度平滑假像以及降低圖像可見度的過度暗化效應。另一方面，與原始RGB相比較，所提出方法能夠在輕微亮度損失和適當顏色再現的情況下去除霧度。

圖25是示出與現有技術中對通過基準方法處理的原始RGB圖像和RGB圖像的物件檢測的性能評價相比，對通過根據本揭露的示例性實施例的圖像去霧方法處理的RGB圖像的物件檢測的性能評價的表。評價使用基於IoU的計算來將預測與地面實況之間的重疊百分比微調為：

其中和分別是檢測框和地面實況資料。

（18）

參考圖25，在一個實施例中，使用IoU資訊，測量真陽性（true positive；TP）、假陽性（false positive；FP）以及假陰性（false negative；FN）以獲得準確度（ACC）2501和假陽性率（false positive rate；FPR）2502，如下列公式：

(19)

在一個實施例中，根據圖25中的實驗，來自所提出方法的所得圖像實現較好的準確度和假陽性率。所提出的方法能夠將準確度提高8.2%並將假陽性率降低10.9%，而基準方法將準確度提高1.9%並將假陽性率提高4.2%。這種現象顯示基準方法可能過度增強其圖像，以至於針對YOLOv3產生非所要假像以推斷為物件。對象檢測結果的視覺化繪示於圖26中。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

40:圖像去霧設備 401:感測器 402:處理器 601、602、901、902:圖像 1001:輸入RGB圖像 1002:最小通道圖 1101:反轉最小通道圖 1102、1201:霧度透射圖 1202:已去霧圖像 1203:強度值 1301:輸入圖像 1302:已去霧RGB圖像 1501、1901:輸入已去霧圖像 1502、1902:輸出高動態範圍圖像 1601:原始RGB圖像 1602:亮度圖 1603、1604、1605:通道 1606:亮像素 1607:暗像素 1612、S301、S302、S303、S304、S501、S502、S503、S504、S505、S701、S702、S703、S704、S801、S802、S803、S804、S1401、S1402、S1801:步驟 1701:已去霧RGB圖像 1702:輸出HDR圖像 2301:基於熵的測量增強 2302:對比度改進指數 2303:強度測量 2501:準確度 2502:假陽性率

圖1繪示利用不同影像感測器來感測障礙物的周圍環境的自動駕駛車輛（ADV）。圖2A為在晴朗下午條件下通過RGB相機獲取的圖像。圖2B示出RGB相機易受不利條件（例如夜間曝光、暴雨、日照、濃霧以及昏暗夜晚）的影響。圖2C示出對於物件檢測演算法來說圖像預處理對RGB圖像的影響。圖3是繪示根據本揭露的示例性實施例的圖像去霧方法的步驟的流程圖。圖4繪示根據本揭露的示例性實施例的圖像去霧設備的方塊圖。圖5是繪示根據本揭露的示例性實施例的圖像去霧方法的步驟的流程圖。圖6為通過根據本揭露的示例性實施例的圖像去霧方法處理的輸入RGB圖像和輸出RGB圖像的實施實例。圖7是繪示根據本揭露的示例性實施例的圖像去霧方法的步驟的詳細流程圖。圖8是繪示根據本揭露的示例性實施例的去霧模組的演算法的詳細流程圖。圖9為通過去霧模組的演算法處理的輸入RGB圖像和輸出已去霧圖像的實施實例。圖10為通過根據本揭露的示例性實施例的去霧模組中的最小通道估計演算法處理的輸入RGB圖像和最小通道圖的實施實例。圖11為通過根據本揭露的示例性實施例的去霧模組中的引導式濾波演算法處理的反轉最小通道圖和霧度透射圖的實施實例。圖12為根據本揭露的示例性實施例的在去霧模組中從霧度透射圖得到強度值的大氣通道檢測演算法的實施實例。圖13為根據本揭露的示例性實施例的在去霧模組中恢復已去霧RGB圖像的線性顏色重構演算法的實施實例。圖14是繪示根據本揭露的示例性實施例的HDR模組的演算法的詳細流程圖。圖15為根據本揭露的示例性實施例的到HDR模組的輸入已去霧圖像和通過HDR模組處理的輸出HDR圖像的實施實例。圖16是繪示通過根據本揭露的示例性實施例的那卡-拉什頓補償器（Naka-Rushton Compensator）增強已去霧RGB圖像是圖像亮度的流程圖。圖17為通過根據本揭露的示例性實施例的局部長條圖操作（Local Histogram Operation）增強已去霧RGB圖像的圖像對比度的實施實例。圖18是繪示通過根據本揭露的示例性實施例的ReflectNet推斷模型去除HDR圖像的反射的流程圖。圖19為通過根據本揭露的示例性實施例的ReflectNet推斷模型處理的輸入已去霧圖像和輸出HDR圖像的實施實例。圖20為根據本揭露的示例性實施例的ReflectNet推斷模型的編碼器-解碼器架構的實施實例。圖21為根據本揭露的示例性實施例的用於訓練ReflectNet推斷模型的資料集中的原始RGB圖像和RGB圖像的反射版本的實施實例。圖22是將圖像去霧方法的實施實例與現有技術中的基準方法進行比較的表。圖23是將圖像去霧方法的實施實例與現有技術中的基準方法的性能評價進行比較的表。圖24示出與現有技術中的通過基準方法處理的輸出圖像相比，通過根據本揭露的示例性實施例的圖像去霧方法處理的輸入原始圖像和輸出圖像的實例。圖25是示出與現有技術中對通過基準方法處理的原始RGB圖像和RGB圖像的物件檢測的性能評價相比，對通過根據本揭露的示例性實施例的圖像去霧方法處理的RGB圖像的物件檢測的性能評價的表。圖26示出根據本揭露的示例性實施例的對原始圖像、通過現有技術中的基準方法處理的圖像以及通過圖像去霧方法處理的圖像的物件檢測演算法的實施實例。

S301、S302、S303、S304:步驟

Claims

一種圖像去霧方法，包括：接收輸入圖像；通過去霧模組對所述圖像去霧以輸出已去霧紅綠藍圖像；通過高動態範圍模組恢復所述已去霧紅綠藍圖像的圖像亮度以輸出高動態範圍圖像；以及通過ReflectNet推斷模型去除所述高動態範圍圖像的反射，其中所述ReflectNet推斷模型使用深度學習架構，其中通過去霧模組對所述圖像去霧以輸出已去霧紅綠藍圖像的步驟更包括：通過最小通道估計演算法估計反轉最小通道圖；通過引導式濾波演算法將所述反轉最小通道圖細化成霧度透射圖；通過大氣通道檢測演算法得到所述霧度透射圖的強度值；以及通過線性顏色重構演算法恢復已去霧紅綠藍圖像。
如請求項1所述的圖像去霧方法，其中通過最小通道估計演算法估計反轉最小通道圖的步驟更包括：將所述輸入圖像分割成多個塊片段，其中所述塊片段中的每一個包括中心像素；以及針對所有顏色通道得到塊片段的具有最低強度值的像素。
如請求項1所述的圖像去霧方法，其中通過引導式濾波演算法將所述反轉最小通道圖細化成霧度透射圖的步驟更包括：使用軟約束參數平滑所述反轉最小通道圖以控制形狀細化；以及使用拉普拉斯矩陣校正所述反轉最小通道圖。
如請求項1所述的圖像去霧方法，其中通過大氣通道檢測演算法得到所述霧度透射圖的強度值的步驟更包括：在所述霧度透射圖中得到具有最低強度值的像素。
如請求項1所述的圖像去霧方法，其中通過線性顏色重構演算法恢復已去霧紅綠藍圖像的步驟更包括：使用所述霧度透射圖和大氣係數進行逐像素操作以計算所述已去霧紅綠藍圖像的強度值，其中所述大氣係數由所述大氣通道檢測演算法得到。
如請求項1所述的圖像去霧方法，其中通過高動態範圍模組恢復所述已去霧紅綠藍圖像的圖像亮度以輸出高動態範圍圖像的步驟更包括：通過那卡-拉什頓補償器增強所述已去霧紅綠藍圖像的圖像亮度；以及通過局部長條圖操作增強所述已去霧紅綠藍圖像的圖像對比度。
如請求項6所述的圖像去霧方法，其中通過那卡-拉什頓補償器增強所述已去霧紅綠藍圖像的圖像亮度的步驟更包括：執行顏色校正，所述顏色校正將所述已去霧紅綠藍圖像的顏色通道轉化成亮度圖；使用所述亮度圖計算用於分割所述已去霧紅綠藍圖像中的亮像素和暗像素的閾值；以及使用從所述亮度圖計算的補償係數變換所述已去霧紅綠藍圖像的像素。
如請求項6所述的圖像去霧方法，其中通過局部長條圖操作增強所述已去霧紅綠藍圖像的圖像對比度的步驟更包括：針對所述已去霧紅綠藍圖像執行強度的長條圖均衡。
如請求項1所述的圖像去霧方法，其中所述ReflectNet推斷模型更包括具有預訓練圖像分割模型的特徵的編碼器-解碼器網路以使反射圖與所述圖像分離。
如請求項1所述的圖像去霧方法，其中通過ReflectNet推斷模型去除所述高動態範圍圖像的反射的步驟包括：編碼來自所述高動態範圍圖像的特徵；以及解碼所述特徵以輸出紅綠藍圖像。
如請求項1所述的圖像去霧方法，其中所述ReflectNet推斷模型使用損失函數進行訓練，所述損失函數包括：特徵損失；對抗損失；以及梯度損失。
一種圖像去霧設備，包括：感測器；以及處理器，耦接到所述感測器，且所述處理器至少經配置以執行以下操作：接收輸入圖像；通過去霧模組對所述圖像去霧以輸出已去霧紅綠藍圖像；通過高動態範圍模組恢復所述已去霧紅綠藍圖像的圖像亮度以輸出高動態範圍圖像；以及通過ReflectNet推斷模型去除所述高動態範圍圖像的反射，其中所述ReflectNet推斷模型使用深度學習架構，其中所述處理器經配置以通過去霧模組對所述圖像去霧以輸出已去霧紅綠藍圖像，所述處理器更經配置以執行以下操作：通過最小通道估計演算法估計反轉最小通道圖；通過引導式濾波演算法將所述反轉最小通道圖細化成霧度透射圖；通過大氣通道檢測演算法得到所述霧度透射圖的強度值；以及通過線性顏色重構演算法恢復已去霧紅綠藍圖像。
如請求項12所述的圖像去霧設備，其中所述處理器經配置以通過最小通道估計演算法估計反轉最小通道圖，所述處理器更經配置以執行以下操作：將所述輸入圖像分割成多個塊片段，其中所述塊片段中的每一個包括中心像素；以及針對所有顏色通道得到塊片段的具有最低強度值的像素。
如請求項12所述的圖像去霧設備，其中所述處理器經配置以通過引導式濾波演算法將所述反轉最小通道圖細化成霧度透射圖，所述處理器更經配置以執行以下操作：使用軟約束參數平滑所述反轉最小通道圖以控制形狀細化；以及使用拉普拉斯矩陣校正所述反轉最小通道圖。
如請求項12所述的圖像去霧設備，其中所述處理器經配置以通過大氣通道檢測演算法得到所述霧度透射圖的強度值，所述處理器更經配置以執行以下操作：在所述霧度透射圖中得到具有最低強度值的像素。
如請求項12所述的圖像去霧設備，其中所述處理器經配置以通過線性顏色重構演算法恢復已去霧紅綠藍圖像，所述處理器更經配置以執行以下操作：使用所述霧度透射圖和大氣係數進行逐像素操作以計算所述已去霧紅綠藍圖像的強度值，其中所述大氣係數由所述大氣通道檢測演算法得到。
如請求項12所述的圖像去霧設備，其中所述處理器經配置以通過高動態範圍模組恢復所述已去霧紅綠藍圖像的圖像亮度以輸出高動態範圍圖像，所述處理器更經配置以執行以下操作：通過那卡-拉什頓補償器增強所述已去霧紅綠藍圖像的圖像亮度；以及通過局部長條圖操作增強所述已去霧紅綠藍圖像的圖像對比度。
如請求項17所述的圖像去霧設備，其中所述處理器經配置以通過那卡-拉什頓補償器增強所述已去霧紅綠藍圖像的圖像亮度，所述處理器更經配置以執行以下操作：執行顏色校正，所述顏色校正將所述已去霧紅綠藍圖像的顏色通道轉化成亮度圖；使用所述亮度圖計算用於分割所述已去霧紅綠藍圖像中的亮像素和暗像素的閾值；以及使用從所述亮度圖計算的補償係數變換所述已去霧紅綠藍圖像的像素。
如請求項17所述的圖像去霧設備，其中所述處理器經配置以通過局部長條圖操作增強所述已去霧紅綠藍圖像的圖像對比度，所述處理器更經配置以執行以下操作：針對所述已去霧紅綠藍圖像執行強度的長條圖均衡。
如請求項12所述的圖像去霧設備，其中所述ReflectNet推斷模型進一步經配置以具有預訓練圖像分割模型的特徵的編碼器-解碼器網路以使反射圖與所述圖像分離。
如請求項12所述的圖像去霧設備，其中所述處理器經配置以通過ReflectNet推斷模型去除所述高動態範圍圖像的反射，所述處理器更經配置以執行以下操作：編碼來自所述高動態範圍圖像的特徵；以及解碼所述特徵以輸出紅綠藍圖像。
如請求項12所述的圖像去霧設備，其中所述ReflectNet推斷模型使用損失函數進行訓練，所述損失函數包括：特徵損失；對抗損失；以及梯度損失。