TW202017784A

TW202017784A - 基於光學雷達之汽車偵測方法

Info

Publication number: TW202017784A
Application number: TW107139781A
Authority: TW
Inventors: 花凱龍; 簡士哲; 張峰嘉; 莊定為; 蕭有崧; 蕭簡浩
Original assignee: 國家中山科學研究院
Priority date: 2018-11-07
Filing date: 2018-11-07
Publication date: 2020-05-16
Also published as: TWI673190B

Abstract

一種基於光學雷達之汽車偵測方法，步驟包括：(A)藉由一光學雷達取得一三維點雲資料；(B)將該三維點雲資料進行一分割地面處理以去除地面資訊；(C)再將該三維點雲資料進行一物件提取處理以獲得一包含有汽車候選點雲群的三維點雲圖；(D)將該三維點雲圖進行一二維映射處理以獲得一二維圖；(E)對該三維點雲圖與該二維圖進行一三維及一二維特徵提取，並利用該三維及二維特徵以判斷出汽車位置，藉此，強化處理藉由光學雷達取得的影像資料，更可分辨出遠方汽車與環境區塊，改善夜間或是惡劣的天氣環境下，強化汽車辨識的能力。

Description

基於光學雷達之汽車偵測方法

本發明係關於一種影像處理方法，特別是關於一種用於光學雷達之汽車偵測方法。

光學雷達(LIDAR)是自動駕駛系統中非常重要的組件，在許多傳統供應商和新創公司看來，未來自動駕駛汽車的障礙探測和還是得靠固態光學雷達，因為這是目前最節省成本且可靠的方式，光學雷達通常用於檢測車輛及行人，光學雷達比起millimeter wave(MMW)radar具有較高的空間分辨率及高測距精度，但也存在以下缺點：無法在惡劣環境下使用，如下雨或起霧，該狀況時探測距離會短於MMW radar，然而近期光學雷達靈敏度的改進已可以在惡劣環境下有更好的性能，目前已經成為重要的sensor並廣泛運用於自動駕駛上。

目前已經有許多優秀的論文在探討光學雷達檢測物體，例如：B.Li提出一種基於全卷積網路與Lidar資料的車輛偵測系統(B.Li,T.Zhang,and T.Xia.Vehicle detection from 3d lidar using fully convolutional network.In Robotics：Science and Systems,2016)，Navarro-Serment提出一種基於幾何與運動特徵來辨識三維數據(L.E.Navarro-Serment,C. Mertz,and M.Hebert,“Pedestrian detection and tracking using three-dimensional LADAR data,”Int.J.Robot.Res.,vol.29,no.12,pp.1516-1528,May 2010.)，Kidono提出切片的特徵，代表物體同高度水平的輪廓，提高遠距離物體的識別性能(K.Kidono,T.Miyasaka,A.Watanabe,T.Naito,and J.Miura,“Pedestrian recognition using high-definition LIDAR,”in Proc.IEEE IV Symp.,2011,pp.405-410.)。

習知利用光學雷達(Light detection and ranging system，簡稱LIDAR)透過發射電磁輻射去探測障礙物的距離，但儘管光學雷達擁有高達50公尺的範圍偵測，但隨著偵測距離越長，點雲資料也會越稀疏，使得障礙物較難辨識。

於目前的文獻中，已經有相當多的車輛偵測研究，基於視覺圖像的方法已經開發相當多年了，雖然這些方法在清晰的圖像條件下已經有不錯的成果，但是在夜間或是惡劣的天氣環境下，所得到的低清晰度圖像往往無法辨識清楚，因此習知使用光學雷達距離可長達50公尺以上，但大約到40公尺處，點雲資料就已經變得相當稀疏，無法清楚的辨識遠方物體；由於汽車行駛速度可高達100公里/小時，對於自動駕駛而言，遠處的汽車偵測同樣是非常重要的，因此無法辨識遠處的汽車可能會帶來嚴重的後果。

因此目前業界極需發展出一種基於光學雷達之汽車偵測方法，能以影像處理強化紋理特徵的方式，以避免外在惡劣環境的影響，以及量測距離過遠等問題，如此一來，方能同時兼具準確度與成本，在不須花費其他硬體設備的改造費用下，進而強化汽車辨識能力，以增加汽車安全之目的。

鑒於上述習知技術之缺點，本發明之主要目的在於提供一種基於光學雷達之汽車偵測方法，整合一光學雷達、一三維點雲資料、一物件提取處理及一三維及二維特徵提取等，以完成光學雷達三維點雲資料中的汽車影像強化處理。

為了達到上述目的，根據本發明所提出之一方案，提供一種基於光學雷達之汽車偵測方法，包括：(A)藉由一光學雷達取得一三維點雲資料；(B)將該三維點雲資料進行一分割地面處理以去除地面資訊；(C)再將該三維點雲資料進行一物件提取處理以獲得一包含有汽車候選點雲群的三維點雲圖；(D)將該三維點雲圖進行一二維映射處理以獲得一二維圖；(E)對該三維點雲圖與該二維圖進行一三維及一二維特徵提取，並利用該三維及二維特徵以判斷出汽車位置。

上述中步驟(A)由光學雷達取得的三維點雲資料中，X、Y、Z軸都經過正規化(nomalization)處理，以刪除重複性和不一致的相依性，保護資料並讓三維點雲資料運用更有彈性；步驟(B)中分割地面處理可利用一隨機樣本共識(Random Sample Consensus)以去除地面，所謂的隨機樣本共識與傳統方法不同，並不是盡可能多的資料來獲得一個初始解後，才利用來消除無效的資料點，而是像本發明中的三維點雲資料，利用隨機可行的樣本資料集，找出其一致性後以擴大這個(地面)集合，再將此集合消除，就可將三維點雲資料中的地面資訊消除。

步驟(C)中的物件提取處理可利用三維點雲資料中點與點之間的距離做分群，例如當兩點間距離小於0.2m時(但不以此為限)，可將兩點標記為同一個群，再以各群的長寬高之比來篩選出行人候選點雲群。

步驟(D)中的二維映射處理可包含下列步驟：(a)將該三維點雲圖映射出該二維圖；(b)利用二值化影像膨脹該二維圖以消除雜訊；(c)利用形態學演算出該二維圖內各物件的輪廓；(d)對該二維圖內的各物件作區域填滿，上述步驟，可有效去除雜訊，並使步驟(C)篩選出的汽車候選點雲群，在二維圖中加強使其更加明顯。

步驟(E)中係同時利用提取出的三維及二維特徵，以機器學習進行分類，考量三維及二維特徵後，進而判斷出汽車位置。

步驟(E)中係該三維及二維特徵係經深度卷積處理後，再經逐點卷積處理，以減少該三維及二維特徵之參數量。

步驟(E)中該二維特徵係經深度卷積處理後，再經逐點卷積處理，取得一二維深度特徵，中該三維特徵係經三維卷積網路處理後，其取該三維卷積網路之特徵成為一三維深度特徵，更可利用該三維深度特徵及二維特徵深度特徵以判斷出汽車位置。

以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本創作達到預定目的所採取的方式、手段及功效。而有關本創作的其他目的及優點，將在後續的說明及圖式中加以闡述。

S101-S104‧‧‧步驟

第一圖係為本發明一種基於光學雷達之汽車偵測方法流程圖；第二圖係為本發明一種二維映射處理實施例；第三圖係為本發明一實施例，一般汽車偵測方法結果(a)與本發明之汽車偵測方法結果(b)。

以下係藉由特定的具體實例說明本創作之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本創作之優點及功效。

本發明利用光學雷達(Light detection and ranging system,LIDAR)透過發射電磁輻射去探測物件的距離，儘管光學雷達擁有50公尺的範圍偵測，但隨著偵測距離越長，點雲資料也會越稀疏，使得障礙物較難辨識，由其是在夜間或是惡劣的天氣環境下，所得到的低清晰度圖像往往無法辨識清楚，依據經驗光學雷達感測距離雖可長達50公尺以上，但大約到40公尺處，三維點雲就已經變得相當稀疏了，無法清楚的辨識遠方物體，因此，本發明主要目的之一是希望能夠在只藉由使用光學雷達設備下，提升偵測遠方汽車所在的正確位置，提早偵測出汽車位置，可以給予自動駕駛足夠的反應距離，使得光學雷達不受光線影響，不論白天或晚上都能即時感測周遭障礙物形狀、距離等資訊。

請參閱第一圖，為本發明一種基於光學雷達之汽車偵測方法流程圖，如第一圖所示，本發明所提供一種基於光學雷達之汽車偵測方法，步驟包括：(A)藉由一光學雷達取得一三維點雲資料S101，其中該三維點雲資料包含正規化(nomalization)的XYZ軸；(B)將該三維點雲資料進行一分割地面處理以去除地面資訊S102，其中該分割地面處理係利用一隨機樣本共識(Random Sample Consensus)以去除地面；(C)再將該三維點雲資料進行一物件提取處理以獲得一包含有汽車候選點雲群的三維點雲圖S103，其中該物件提取處理係利用三維點雲資料中點與點之間的距離做分群；(D)將該三維點雲圖進行一二維映射處理以獲得一二維圖S104；(E)對該三維點雲圖與該二維圖進行一三維及一二維特徵提取，並利用該三維及二維特徵以判斷出汽車位置。

實施例

步驟一：光學雷達(LIDAR)數據採集，本實施例利用LIDAR取得三維點雲數據，經過前處理，讓X、Y、Z軸都正規化，正規化處理是用來刪除重複性和不一致的相依性，以保護資料並讓三維點雲資料運用更有彈性；步驟二：分割地面處理，本實施例利用隨機樣本共識(Random Sample Consensus，簡稱RANSAC)去除地面，所謂的隨機樣本共識與傳統方法不同，並不是盡可能多的資料來獲得一個初始解後，才利用來消除無效的資料點，而是像本實施例將三維點雲資料，利用隨機可行的樣本資料集，找出其一致性後以擴大地面集合，再將此地面集合消除，就可將三維點雲資料中的地面資訊消除；步驟三：物件提取處理，本實施例根據點之間的距離做分群，用K-D tree做搜尋方式，當兩點間距離小於0.2m時，該兩點標記為同一個群，再以各群的長寬高初步篩選行人候選點雲群；步驟四：分類處理，本實施例使用三維及映射二維特徵所提取出的特徵向量計算及評估，利用機器學習的方式分類出是否為汽車，其實施內容可使用著名的二維特徵以增加精確度，將測得的三維點雲分群，利用汽車大小提取出候選點雲群，再從三維點雲中提取特徵，而為了解決長距離及稀疏點的問題，我們將三維點雲映射至二維平面上，此過程需經計算到該點雲群的距離及角度，經旋轉點雲後映射至二維平面，再經過輪廓判斷及填滿形成二維圖像，再提取相應的二維輪廓及其相關的二維特徵，例如：方向梯度直方圖(HOG)、影像特徵提取(LBP)、哈爾特徵Haar-like，最後基於傳統的三維特徵及所提出的二維特徵利用機器學習作分類；請參閱第二圖，為本發明一種二維映射處理實施歷，上述實施例中三維點雲映射至二維平面以產出一二維圖的二維映射處理，該二維映射處理包含下列步驟：(a)將該三維點雲圖映射產出一二維圖，此過程需經計算到該點雲群的距離及角度，經旋轉點雲後映射至二維平面；(b)利用二值化影像膨脹該二維圖以消除雜訊；(c)利用形態學演算出該二維圖內各物件的輪廓；(d)對該二維圖內的各物件作區域(空隙)填滿。

如第二圖所示，該圖上方為原始點雲，該圖下方為經過輪廓判斷及填滿後的二維圖像資訊，接著提取相應的二維輪廓及其相關的二維特徵(例如：HOG、LBP、Haar-like)，為進一步的提升準確率，本發明提出將三維點雲轉換成立體像素，先找到影像中所有候選汽車的邊界框，然後將其劃分成N * N * N個區塊，於本實施例中N為30，之後計算每個區塊中的點數量並且將所有區塊中的數量正規化到0到1之間，藉此將所有區塊成為複數立體像素，轉換成立體像素之後，經過三維卷積神經網路運算，創建出此三維卷積神經網路，輸入層為30 * 30 * 30的立體像素，每個卷積層的內核數量是30 * 30且內核大小為5 * 5 * 5，本實施例從此三維卷積網絡的最後一層提取500維特徵作為深度學習特徵，之後再將映射二維圖透過一個二維卷積神經網路，提取出二維的深度特徵，該神經網路把標準卷積過程分解成深度卷積以及逐點卷積兩個過程，此轉換過程可大幅降低參數量以及計算量，其中深度卷積指的是先只對影像的每個通道的影像(例如：RGB三個通道的影像)來做單獨的卷積，深度卷積完之後通道數不會改變(即卷積前為三個通道，卷積後還是三個通道)，而逐點卷積指的是對於每個點來做卷積，通過設定的卷積核數量來改變最後卷積完成的通道數，不會改變影像大小，相較於標準型的卷積，因為先通過深度卷積降低影像的大小，然後才做逐點卷積，所以完成所有的卷積操作時就可以減少參數量以及計算量，最後結合傳統的三維、二維特徵與深度特徵利用機器學習作分類。

請參閱第三圖，係本發明一實施例，一般汽車偵測方法結果(a)與本發明之汽車偵測方法結果(b)，如圖所示，單純使用三維的特徵來判斷汽車，如果汽車距離較遠點雲會很稀疏，只有使用三維特徵可能無法辨識出遠方汽車，以至於偵測不到遠方的汽車，如圖三(a)上方；圖三(b)為使用上述傳統的三維、二維特徵與深度特徵利用機器學習作分類所產出的汽車偵測結果圖，如圖所示，經本發明之偵測方法，就可以偵測出遠方的汽車。

本發明利用光學雷達，發展出「基於光學雷達之汽車偵測方法」，此系統對於光學雷達偵測遠方物體有極大的改善，可避免純靠三維特徵來做汽車判斷時所產生不夠準確等相關問題，在實際的智慧車輛上，需要準確的汽車距離以幫助提醒駕駛者，並且不論白天或夜晚都必須良好的運作，相比之下，光學雷達擁有最大可達50公尺的範圍偵測，足夠提供車速提升時車輛動態判斷的處理時間，360度分層掃描(64層)可描繪出車輛周圍物體的輪廓，有利於物體識別與分類，相當適合戶外及用於車輛的偵測；透過本案發明的方法可以提升光學雷達辨識汽車的準確率，可再融合RGB-Camera來優化系統，更可提高精確度，相信在未來可以增加光學雷達在自動輔助駕駛系統或工業相關產業的應用，例如光學雷達也可以於室內使用，在大型自動化工廠中，利用本案發明的方法偵測工作機台，當有自動化機器靠近複數機器移動的區域時，機器可以即時自動停止運作，避免發生碰撞。

上述之實施例僅為例示性說明本創作之特點及功效，非用以限制本創作之實質技術內容的範圍。任何熟悉此技藝之人士均可在不違背創作之精神及範疇下，對上述實施例進行修飾與變化，因此，本創作之權利保護範圍，應如後述之申請專利範圍所列。

S101-S105‧‧‧步驟

Claims

一種基於光學雷達之汽車偵測方法，步驟包括：(A)藉由一光學雷達取得一三維點雲資料；(B)將該三維點雲資料進行一分割地面處理以去除地面資訊；(C)再將該三維點雲資料進行一物件提取處理以獲得一包含有汽車候選點雲群的三維點雲圖；(D)將該三維點雲圖進行一二維映射處理以獲得一二維圖；(E)對該三維點雲圖與該二維圖進行一三維及一二維特徵提取，並利用該三維及二維特徵以判斷出汽車位置。
如申請專利範圍第1項所述之基於光學雷達之汽車偵測方法，其中，該二維映射處理包含下列步驟：(a)將該三維點雲圖映射出該二維圖；(b)利用二值化影像膨脹該二維圖以消除雜訊；(c)利用形態學演算出該二維圖內各物件的輪廓；(d)對該二維圖內的各物件作區域填滿。
如申請專利範圍第2項所述之基於光學雷達之汽車偵測方法，其中，該二維特徵係選自HOG、LBP、Haar-like其中之一或其混合。
如申請專利範圍第3項所述之基於光學雷達之汽車偵測方法，其中，步驟(E)中係同時利用該三維及二維特徵以機器學習進行分類，進而判斷出汽車位置。
如申請專利範圍第1項所述之基於光學雷達之汽車偵測方法，其中，步驟(E)中更包含該二維特徵係經深度卷積處理後，再經逐點卷積處理，取得一二維深度特徵。
如申請專利範圍第5項所述之基於光學雷達之汽車偵測方法，其中，步驟(E)中更包含該三維特徵係經三維卷積網路處理後，取該三維卷積網路之特徵成為一三維深度特徵。
如申請專利範圍第6項所述之基於光學雷達之汽車偵測方法，其中，步驟(E)中更利用該三維深度特徵及二維特徵深度特徵以判斷出汽車位置。