TWI735191B

TWI735191B - 光達除霧系統與方法

Info

Publication number: TWI735191B
Application number: TW109110394A
Authority: TW
Inventors: 桑梓賢; 蔡松佑; 俞宗伯
Original assignee: 國立陽明交通大學
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-08-01
Also published as: US20210302554A1; TW202136817A

Abstract

本發明揭露光達除霧方法與系統。此方法包括：應用一檢測裝置判斷霧氣情況，以產生一直方圖；根據該直方圖，以判斷該直方圖中一位置目標和該檢測裝置間霧氣濃度；以及進而應用一除霧方式，以去除該位置目標與該檢測裝置間的霧氣濃度。

Description

光達除霧系統與方法

本發明一般係關於光達除霧方法與系統，具體而言，本發明係關於包含應用光達技術進行除霧的除霧方法與系統。

近年來，高級駕駛員輔助系統(Advanced Driver Assistance System , ADAS)成為研究熱點，並且出現了許多有關自動駕駛，防撞，物體和車道識別的研究。為了確保車輛應用的高可靠性，通常使用來自不同傳感器的數據融合。在傳感器中，光檢測和測距(激光雷達)，雷達檢測和測距(雷達)傳感器和攝像頭是主要傳感器，各有其優缺點。

照相機具有低成本和高對象識別能力，並且被廣泛用於許多領域。但是，相機只能在2D圖像中記錄環境，這使得難以估計目標的距離。此外，攝像機受光源的限制，在黑暗或低能見度的環境中其操作受到很大限制。雷達可以估計物體的距離，角度和速度，與光相比，無線電波在不利的天氣條件下(如霧)的衰減較小。然而，雷達的缺點例如低空間分辨率使得難以識別物體。另一方面，激光雷達通常通過激光脈衝的飛行時間(Time of Flight, ToF)估算物體的距離。因此，由於激光的高方向性，激光雷達具有較高的空間分辨率。儘管如此，激光雷達更容易受到惡劣天氣條件的影響。尤其是，解決煙霧干擾則是近期較為熱門的話題。

於一實施例，本發明之光達除霧系統，包括：檢測裝置，發射出偵測信號；以及位置目標，接收偵測信號；其中，測裝置發射出該偵測信號穿透過霧氣至位置目標，以判斷霧氣情況，以產生直方圖，並根據直方圖，以判斷直方圖中位置目標和檢測裝置間的霧氣濃度，進而應用除霧方式，以去除位置目標與檢測裝置間的霧氣濃度。

於一實施例，檢測裝置收集無位置目標存在的空白通道資訊，並根據所射出的偵測信號的反射率，以判斷霧氣情況，進而產生該直方圖。

於一實施例，偵測信號為雷射脈衝光波，故檢測裝置應用時間相關單子光技術，將所發射的雷射脈衝光波的每一個光子接收事件的時間資訊記錄下來，在一個積分時間單位內，多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，即形成直方圖。

於一實施例檢測裝置對該直方圖進行處理，進而估測檢測裝置位置目標間的距離及反射率，並且判斷直方圖中該位置目標和檢測裝置間的霧氣濃度。

於一實施例，除霧方式為最佳比較法及深度學習法之其中一者，其中最佳比較法是用該直方圖與另一最佳直方圖比較，以除去霧氣。

於一實施例，若霧氣濃度過重且該位置目標與該檢測裝置間的距離過短，則應用除霧方式去除霧氣。

於一實施例，本發明之光達除霧方法，包括：應用檢測裝置判斷霧氣情況，以產生直方圖；根據直方圖，以判斷直方圖中位置目標和檢測裝置間霧氣濃度；以及進而應用除霧方式，以去除位置目標與檢測裝置間的霧氣濃。

於一實施例，應用該檢測裝置判斷霧氣情況，以產生該直方圖之步驟，還包括：收集無目標存在的空白通道資訊，以判斷霧氣情況；應用該檢測裝置所射出光子反射率，以產生該直方圖。

於一實施例，應用時間相關單子光技術可將每一個光子接收事件的時間資訊記錄下來，在一個積分時間單位內多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，就可形成該直方圖。

於一實施例，對該直方圖進行處理，進而估測在該位置目標的距離及反射率，並且判斷該直方圖中該位置目標和該檢測裝置間霧氣濃度。

於一實施例，若該霧氣濃度過重且該位置目標與該檢測裝置間的距離過短，則應用該除霧方式去除該霧氣。

於一實施例，除霧方式為最佳比較法及深度學習法之其中一者，其中，最佳比較法是用直方圖與另一最佳直方圖比較，以除去霧氣。

圖1的方塊圖顯示根據本發明之一實施例的光達除霧系統。此系統包括:檢測裝置101以及位置目標102。檢測裝置101發射出偵測信號透過霧氣103至位置目標102，以判斷霧氣情況，以產生直方圖，並根據直方圖，以判斷直方圖中位置目標102和檢測裝置103間的霧氣濃度，進而應用除霧模式，以去除位置目標102與檢測裝置101間的霧氣濃度。

前述檢測裝置101可收集無位置目標102存在的空白通道資訊，並根據所射出的偵測信號的反射率，以判斷霧氣情況，進而產生直方圖。前述的偵測信號可為雷射脈衝光波，故檢測裝置101可應用時間相關單子光技術，將所發射的雷射脈衝光波的每一個光子接收事件的時間資訊記錄下來，在一個積分時間單位內，多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，即可形成直方圖。檢測裝置101還可對直方圖進行處理，進而估測檢測裝置101與位置目標102間的距離及反射率，並且判斷直方圖中位置目標102和檢測裝置101間霧氣濃度。前述除霧方式為最佳比較法，最佳比較法以直方圖和另一最佳直方圖作比較，以去除霧氣。前述的除霧方式為深度學習法。若該霧氣濃度過輕且該位置目標與該檢測裝置間的距離過短，則應用目標探測距離估測方式，以去除霧氣影響。

於本實施例，使用單光子偵測器(Single Photon Avalanche Diode detector，以下簡稱SPAD)的光達，由於SPAD可偵測到單一光子事件，因而較一般光達更為靈敏。圖2顯示應用SPAD形成直方圖的方塊圖。如圖2所示，光達在掃描目標的過程中，對同一畫素位置在一個積分時間單位內重複發射若干次雷射脈衝光波訊號，目標反射光波在經過一定ToF返回偵測器並產生光子接收事件，時間相關單光子技術(Time Correlated Single Photon Counting, TCSPC)單元可將每一個光子接收事件的時間資訊用儀器(TOC)記錄下來，在一個積分時間單位內多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，就可形成在該畫素位置的光子接收事件直方圖(histogram)，對該直方圖進行處理，就可估測在該位置目標的距離及反射率，例如，直方圖的峰值或重心位置即可對應ToF，而峰值即可對應反射率，將每一畫素的距離及反射率資訊依照相應方位組合起來，即是光達掃描周遭環境所得之3D點雲(point cloud)。圖2之SPAD先用傳送器及檢測器感測目標，以形成發射及接收光能量的曲線圖，而後形成由多個脈衝組成的直方圖。

於本實施例，本發明所應用的光達除霧系統可應用光達技術先判明霧氣狀況是否存在以及其嚴重程度。本發明提出收集無目標存在的空白通道(blank channel)的資訊，用以判斷霧氣狀況，以及進行霧濃度的粗略估計。由於使用單光子偵測器的光達可產生光子接收事件的直方圖，進而利用此種直方圖進行先進的訊號處理。而在光達掃描的過程中，幾乎可以確定存在並無任何目標的空白通道，將這類通道的直方圖收集起來，可進行對霧氣狀況的推估。霧濃度將被粗略分為無霧或輕霧、其相對應之能見度大約在一公里以上，重度、能見度在一公里至100公尺(低能見度(low visibility))，以及極重度、能見度在100公尺以下(非常低能見度(very low visibility))。

於本實施例，圖3顯示的是對一個公開光達點雲資料庫以及(模擬)加霧後的點雲的統計結果，近距離(5公尺內)因霧產生的虛假點雲的數目和一般目標的正常點雲行程兩個峰區，而其兩個峰值的比例則帶有霧的不同能見度的資訊，可以利用這樣的資料型態差別估計霧狀況。而如果利用點雲的每個畫素(pixel)對應的光子接收事件直方圖，則可以得到更可靠的估計結果。可見性20公尺(m)、2~200公尺以及200公尺以上的點雲數都不相同。

圖4顯示加霧情況下利用光達技術產生的直方圖和實驗所得的直方圖。圖4顯示利用光達的物理模型模擬的直方圖(虛線)，以及利用霧管實驗得到的數據(實線)，直方圖顯示兩個波峰，左邊較為平坦的是霧的訊號，右邊較為尖銳的是目標訊號，可利用霧訊號的位置及鋒值估計霧的狀況。而模擬和實驗數值兩者十分吻合，也驗證我們可以利用模擬進行除霧的探討。

其次，對付不同濃度的霧、以及不同距離的運作範圍，光達應達採取不同對策，也可以是採用多於一台不同的光達進行掃描。一個很粗略的光達適用範圍的估計是能見度數字的一半，例如能見度200公尺時光達的有效作用距離是100公尺，利用先進訊號處理技術可以增加其有效作用距離，但不會增加多少。而在這有效作用距離內，光達受到霧的影響也會因目標所在距離不同而有所不同，因此光達必須因情況不同而採取不同策略、或甚至用不同光達來處理不同距離範圍。

霧對光達效能的影響基本上可區分為兩大效應，第一是削弱目標回波的能量，第二是霧造成的回波大幅干擾正常目標的估測。這兩大效應和霧濃度狀況搭配起來可以區分出至少六種狀況需要不同對策。在輕霧狀況下，中遠距離目標的回波能量並未被削弱太多，可用一般目標探測和距離估測方式進行。而近距離目標由於受到霧回波干擾，需要提高目標探測和距離估測方式的靈敏性。在重度霧狀況下，中遠距離目標回波能量會被削弱至極低，而近距離目標會遭遇極大的霧回波干擾，因而中遠距離(大約20公尺以外)和近距離(大約20公尺以內)目標的目標探測和距離估測必須採取不同策略甚至操作不同的光達。在極重度霧狀況下，不可能有效且穩定地探測中遠距離目標，因此光達應該專注於近距離目標。

總括而言，對中遠距離目標的探測，在無霧輕霧狀況下，可以一般目標探測和距離估測方式進行；在重霧狀況下，需要提高目標回波能量；在極重霧狀況下，建議放棄探測中遠距離目標。提高目標回波能量之具體操作方式則有以下數例：提高雷射能量，提高雷射發射頻率，降低中遠距離點雲解析度要求，提高SPAD探測器效率等，有些措施可以訊號處理手段行之，有些措施則需要改變光達操作參數。而對近距離目標而言，輕霧狀況需要提高目標探測和距離估測方式的穩健性，重度和極重度霧狀況則需要除霧技術(defogging techniques)介入。

本發明針對前述重度霧及近距離目標的狀況，提出兩種配套的除霧技術，主要是利用光子接收事件直方圖中，霧和目標所造成的分布的型態有所區別，將目標的分布型態分離出來。其一是利用期望最大法(Expectation Maximization, EM)，將在空白通道估測出的霧的光子接收事件直方圖作為模版，套入其他通道中以最佳(期望最大)方式將霧的影響消除，前述的最佳方式所得的直方圖是可用空白通道所測的直方圖，應用習知的光達技術或演算法的一些關鍵參數值，再將這些參數經由光達技術或演算法產生理想或最佳直方圖，再將最佳的直方圖和光子接收事件直方圖作比較，並消除霧氣。其二則是利用深度學習(deep learning)將霧的影響消除，前述的深度學習可應用人工智慧或類神經網路來去除霧氣。

圖5的流程圖顯示根據本發明之一實施例的除霧方法。該方法包括：應用檢測裝置101判斷霧氣情況，以產生一直方圖(S501)，根據直方圖，以判斷直方圖中位置目標102和檢測裝置101間霧氣濃度(S502)；以及進而應用除霧方式，以去除位置目標102與檢測裝置101間的霧氣濃度(S503)。

前述應用檢測裝置101判斷霧氣情況，以產生直方圖之步驟，還包括：收集無目標存在的空白通道資訊，以判斷霧氣情況；應用檢測裝置所射出光子反射率，以產生直方圖。前述直方圖可應用時間相關單子光技術可將每一個光子接收事件的時間資訊記錄下來，在一個積分時間單位內多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，就可形成直方圖。對直方圖進行處理，進而估測在位置目標的距離及反射率，並且判斷直方圖中位置目標和檢測裝置間霧氣濃度。若霧氣濃度過輕且位置目標與該檢測裝置間的距離過短，則應用目標探測距離估測方式，以去除霧氣影響。前述除霧方式為最佳比較法，最佳比較法以直方圖和另一最佳直方圖作比較，以去除霧氣。另一最佳直方圖的產生方式是應用現有光達技術、模型及方程式，配合關鍵的參數值，以產生最佳直方圖。前述的除霧方式為深度學習法。

光達是智慧交通的先進駕駛輔助系統(Advanced Driver Assistance System, ADAS)所倚賴進行環境感知的感測器之一，具有掃描高解析度、測距高精確度的優點。很難被相機或雷達完全取代。但光達較易受惡劣氣候的影響，其中煙霧影響是比較嚴重的，因此如何對抗煙霧便是光達功能中很重要的一環，本案即為光達提出一套應對霧效應的對策，可大幅提高光達再惡劣氣候中的可靠度。

本案提出光達應根據霧的狀況採取不同策略應對，這些策略是基於我們對霧效應以及光達特性徹底了解的基礎上，具有很高的可行性。本案依據估計所得的霧狀況，提出中遠距離以及近距離不同的操作模式。本案利用光子接收事件直方圖的第一手資訊，可進行估計霧的狀況、以及消除霧訊號等高階操作，結合光達操作模式的優化，可有效對應霧的影響。

本發明提出光達在有霧狀況下的對策。首先光達根據光子偵測事件直方圖或是點雲距離分布狀況判斷霧的濃度狀況，並據以設定一個或多個光達的操作模式及其資料處理方法。一般而言，霧的濃度狀況可分為三種狀況而光達掃描的距離範圍可分為兩區。在中遠距離區，光達之操作模式應加強目標回波訊號能量。而在近距離區，應先進行除霧，再行偵測目標及估計目標距離。後面，本發明更提出除霧演算模型，以讓本發明的除霧方式更能具體實施。

霧氣影響

在有霧的環境中，目標信號會遭受強烈的衰減，並且在濃霧下的直方圖中，由於霧而導致的碰撞會在短範圍內出現。因此，用於高級駕駛員輔助系統（ADAS）的激光雷達需要解決兩個問題：首先，激光雷達可能會遺漏檢測到的物體；第二，霧氣可能引起誤報。建議激光雷達的數據處理包括以下功能以管理霧影響。首先，需要對霧的存在做出自適應決策。其次，激光雷達應該能夠處理信號的衰減，特別是對於遠距離的物體檢測。最後，應消除短距離起霧造成的顛簸，以消除點雲中的錯誤點。在隨後的小節中，將介紹這三個任務的算法。

點雲或光子數的分佈

當存在均勻霧時，在近距離處會由於霧而引起顛簸。可以直觀地通過近距離光子計數的統計來估計霧氣狀況。特別是，如果考慮所有像素的光子計數，則可以大大提高估算的可靠性。在圖像的除霧中可以找到類似的方法，作者發現，在沒有天空的圖像塊中，如果不存在霧度，則至少一個顏色通道的某些像素的強度接近於零。換句話說，“暗通道”的存在可用於確定圖像是否模糊。

在這裡，我們選擇證明霧條件與點雲分佈之間的相關性，而不是直方圖中的光子計數。這是因為根據我們對霧影響的了解，可以從公共領域的點雲數據庫（例如KITTI Vision Benchmark Suite合成虛擬的霧點雲，而霧點雲或直方圖的現場數據不容易獲得。對於車輛應用，在正常情況下，非常短範圍內的濁點數量將很少。但是，當激光雷達在有霧的環境中運行時，短距離（例如3 m）內的濁點數量將急劇增加。落在一定範圍內的點的百分比可用於確定霧化條件。

由於嚴重的信號衰減，激光雷達要可靠地檢測遠距離霧中的物體是激光雷達的一大挑戰。傳統的峰值或質心檢測可能不足以進行可靠的檢測和準確的範圍估計，因此已經開發了似然比測試（Likelihood ratio test, LRT）來解決此問題。在這裡，它擴展了閾值設置機制，以實現恆定的誤報率（constant false alarm rate, CFAR）檢測。假設零假設H0指示對象的存在，替代假設H1否則指示。由於SPAD檢測器中的光子計數在很大程度上遵循泊松分佈，因此在N長度窗口中接收到的光子計數

的概率模型為：

………………………(2)

…………………………(3)

……………………………(4)

窗口長度通常對應於激光脈衝寬度。參數λs和λw分別表示由回波信號和背景噪聲引起的平均光子計數。則窗口內的似然比函數為：

……(5)

窗口將滑過直方圖，如果LRT超過某個閾值，則聲明窗口中存在對象。在進行LRT之前必須估計兩個參數α和λw。背景噪聲主要來自陽光，可以通過對發射機關閉時的光子計數求平均值來估算λw。關於衰減因子α̂，在假定

的情況下，通過使

最大化，採用廣義最大似然法獲得一個值。

．．．．(6)

為了獲得更好的可靠性，應使用恆定的誤報率（CFAR）原則設置LRT閾值。這裡提出了一種近似實現CFAR的簡單方法。注意，背景噪聲遵循泊松分佈，其期望值等於方差。因此，超過平均計數的標準偏差倍數的閾值直接對應於虛警率級別：

……(7)

在本發明中通過理論的激光雷達系統模型和在霧管中進行的實驗，研究了在汽車應用環境中霧對激光雷達的影響。基於從理論和模擬中獲得的見識，提出了減輕霧影響的方法。首先，使用基於統計的方法來指示霧狀況。其次，LRT增強了探測器的靈敏度，使得激光雷達可以在由於霧而導致的嚴重信號衰減下在遠距離操作。還開發了一種基於CFAR的方法來設置對象檢測的閾值。第三，提出了通過減去估計的霧廓的除霧算法，以消除霧影響，尤其是在短距離內，例如在20 m以內。霧氣輪廓估計使用EM算法來迭代地找到霧氣模型的參數。仿真和實驗結果表明了所提方法的有效性和局限性。

本發明已由上述相關實施例加以描述，然而上述實施例僅為實施本發明之範例。必需指出的是，已揭露之實施例並未限制本發明之範圍。相反地，包含於申請專利範圍之精神及範圍之修改及均等設置均包含於本發明之範圍內。

101:檢測裝置

102:位置目標

103:霧氣

S501~S503:步驟

圖1的方塊圖顯示根據本發明之一實施例的光達除霧系統。圖2顯示應用SPAD形成直方圖的方塊圖。圖3顯示的是對一個公開光達點雲資料庫以及(模擬)加霧後的點雲的統計結果。圖4顯示加霧情況下利用光達技術產生的直方圖和實驗所得的直方圖。圖5的流程圖顯示根據本發明之一實施例的光達除霧方法。

無

S501~S503:步驟

Claims

一種光達除霧系統，包括：一檢測裝置，發射出一偵測信號；以及一位置目標，接收該偵測信號；其中，該檢測裝置發射出該偵測信號穿透過一霧氣至該位置目標，以判斷該霧氣情況，以產生一直方圖，並根據該直方圖，以判斷該直方圖中該位置目標和檢測裝置間的霧氣濃度信號，進而應用一最佳比較法及一深度學習法之其中一者，降低該位置目標與該檢測裝置間的該霧氣濃度信號；其中，該最佳比較法還包括：將該檢測裝置收集無位置目標存在的空白通道資訊，並根據所射出的該偵測信號的反射率，以判斷該霧氣濃度信號的情況，進而產生一最佳直方圖；以及比較該直方圖與該最佳直方圖，以降低該位置目標與該檢測裝置間的該霧氣濃度信號。
如請求項1所述的光達除霧系統，其中，該偵測信號為雷射脈衝光波，故該檢測裝置應用一時間相關單子光技術，將所發射的該雷射脈衝光波的每一個光子接收事件的時間資訊記錄下來，在一個積分時間單位內，多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，即形成該直方圖與該最佳直方圖。
如請求項2所述的光達除霧系統，其中，該檢測裝置對該直方圖進行處理，進說估測該檢測裝置與該位置目標間的距離及反射率，並且判斷該直方圖中該位置目標和該檢測裝置間的該霧氣濃度信號。
如請求項3所述的光達除霧系統，其中，若該霧氣濃度過重且該位置目標與該檢測裝置間的距離過短，則應用該最佳比較法及該深度學習法之其中一者，降低該霧氣濃度信號。
如請求項1所述的光達除霧系統，其中，該深度學習法包括：應用人工智慧或類神經網路降低該位置目標與該檢裝置間的該霧氣濃度信號。
一種光達除霧方法，包括：應用一檢測裝置判斷霧氣情況，以產生一直方圖；根據該直方圖，以判斷該直方圖中一位置目標和該檢測裝置間霧氣濃度信號；以及應用一最佳比較法及一深度學習法之其中一者，，以降低該位置目標與該檢測裝置間的該霧氣濃度信號；其中，該最佳比較法還括：收集無位置目標存在的空白通道資訊，並應用該檢測裝置所射出的光子反射率，以產生一最佳直方圖；以及比較該直方圖與該最佳直方圖，以降低該位置目標與該檢裝置間的該霧氣濃度信號。
如請求項6所述的光達除霧方法，其中，應用時間相關單子光技術可將每一個光子接收事件的時間資訊記錄下來，在一個積分時間單位內多次雷射脈衝光波引發的多次光子接收事件的時間資訊累積起來，就可形成該直方圖與該最佳直方圖。
如請求項7所述的光達除霧方法，其中，對該直方圖進行處理，進而估測在該位置目標的距離及反射率，並且判斷該直方圖中該位置目標和該檢測裝置間該霧氣濃度信號。
如請求項8所述的光達除霧方法，其中，若該霧氣濃度過重且該位置目標與該檢測裝置間的距離過短，則應用該最佳比較法及該深度學習法之其中一者，降低該霧氣濃度信號。
如請求項6所述的光達除霧方法，其中，該深度學習法包括：應用人工智慧或類神經網路降低該位置目標與該檢測裝置間的該霧氣濃度信號。