TWI726278B

TWI726278B - 行車偵測方法、車輛及行車處理裝置

Info

Publication number: TWI726278B
Application number: TW108103586A
Authority: TW
Inventors: 張子鵬; 陳建宇
Original assignee: 宏碁股份有限公司
Priority date: 2019-01-30
Filing date: 2019-01-30
Publication date: 2021-05-01
Also published as: TW202029134A

Abstract

一種行車偵測方法、車輛及行車處理裝置。行車偵測方法包括以下步驟。以一影像擷取裝置擷取一車輛附近之一影像資訊。依據影像資訊，偵測出一障礙物之一二維邊界框及一物件類別。以一光達裝置擷取車輛附近之一全域點雲資訊。對全域點雲資訊進行座標轉換，以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統，並產生一點雲影像。依據二維邊界框，自點雲影像取出一物件點雲資訊。依據物件點雲資訊，獲得一物件點雲群集。依據物件點雲群集，獲得一三維邊界框。

Description

行車偵測方法、車輛及行車處理裝置

本揭露是有關於一種行車偵測方法、車輛及行車處理裝置，且特別是有關於一種結合影像偵測與光達偵測之行車偵測方法、車輛及行車處理裝置。

在車輛科技的發展中，行車安全是一項相當重要的議題。行車偵測技術可以偵測出障礙物，以提供駕駛警示或採取自動迴避措施。影像偵測係為目前所採用的一種行車偵測技術。然而，影像偵測容易受到外在環境的影響，而產生誤判。因此，業界需要採用類神經網路搭配大量的訓練數據來進行演算，但此作法仍然無法獲得三維的障礙物資訊。

此外，光達偵測也是近年來所發展的一種技術。雖然光達偵測可以獲得三維的障礙物資訊，但光達偵測所產生的點雲資訊需要耗費相當龐大的運算資源來進行群集運算。在無法進行即時運算的情況下，不容易實現於行車偵測技術上。

因此，如何改善現行行車偵測技術，以研發出一種能夠獲得三維的障礙物資訊且具備低運算資源之行車偵測技術已成為目前相當重要研發方向之一。

本揭露係有關於一種行車偵測方法、車輛及行車處理裝置，其利用本揭露所提出之演算法來結合影像偵測與光達偵測，使得行車偵測技術能夠在低運算資源下獲得三維的障礙物資訊。

根據本揭露之第一方面，提出一種行車偵測方法。行車偵測方法包括以下步驟。以一影像擷取裝置擷取一車輛附近之一影像資訊。依據影像資訊，偵測出一障礙物之一二維邊界框及一物件類別。以一光達裝置擷取車輛附近之一全域點雲資訊。對全域點雲資訊進行座標轉換，以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統，並產生一點雲影像。依據二維邊界框，自點雲影像取出一物件點雲資訊。依據物件點雲資訊，獲得一物件點雲群集。依據物件點雲群集，獲得一三維邊界框。

根據本揭露之第二方面，提出一種行車處理裝置。行車處理裝置包括一傳輸單元、一二維邊緣運算單元、一物件分類單元、一座標轉換單元、一資料篩選單元、一群集運算單元及一三維邊緣運算單元。傳輸單元用以接收一影像擷取裝置所擷取之一車輛附近之一影像資訊及一光達裝置所擷取該車輛附近之一全域點雲資訊。二維邊緣運算單元用以依據影像資訊，偵測出一障礙物之一二維邊界框。物件分類單元用以依據影像資訊，偵測障礙物之一物件類別。座標轉換單元用以對全域點雲資訊進行座標轉換，以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統，並產生一點雲影像。資料篩選單元用以依據二維邊界框，自點雲影像取出一物件點雲資訊。群集運算單元用以依據物件點雲資訊，獲得一物件點雲群集。三維邊緣運算單元用以依據物件點雲群集，獲得一三維邊界框。

根據本揭露之第三方面，提出一種車輛。車輛包括一影像擷取裝置、一光達裝置及一行車處理裝置。影像擷取裝置用以擷取車輛附近之一影像資訊。光達裝置用以擷取車輛附近之一全域點雲資訊。行車處理裝置包括一傳輸單元、一二維邊緣運算單元、一物件分類單元、一座標轉換單元、一資料篩選單元、一群集運算單元及一三維邊緣運算單元。傳輸單元用以接收影像資訊及全域點雲資訊。二維邊緣運算單元用以依據影像資訊，偵測出一障礙物之一二維邊界框。物件分類單元用以依據影像資訊，偵測障礙物之一物件類別。座標轉換單元用以對全域點雲資訊進行座標轉換，以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統，並產生一點雲影像。資料篩選單元用以依據二維邊界框，自點雲影像取出一物件點雲資訊。群集運算單元用以依據物件點雲資訊，獲得一物件點雲群集。三維邊緣運算單元用以依據物件點雲群集，獲得一三維邊界框。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

1000:車輛

100:影像擷取裝置

200:光達裝置

300:行車處理裝置

310:傳輸單元

320:二維邊緣運算單元

330:物件分類單元

340:座標轉換單元

350:資料篩選單元

360:群集運算單元

370:三維邊緣運算單元

CT:物件點雲群集

F2:二維邊界框

F3:三維邊界框

GCP:全域點雲資訊

IM:影像資訊

LCP:物件點雲資訊

OB:物件類別

PI:點雲影像

S110、S120、S130、S140、S150、S160、S170:步驟

第1圖繪示根據一實施例之車輛的示意圖。

第2圖繪示根據一實施例之行車處理裝置之示例圖。

第3圖繪示根據一實施例之行車偵測方法的流程圖。

第4圖說明第3圖之各步驟的示意圖。

以下揭露各種實施例來說明本發明之行車偵測技術，其利用本揭露所提出之演算法來結合影像偵測與光達偵測，使得行車偵測技術能夠在低運算資源下獲得三維的障礙物資訊。

請參照第1圖，其繪示根據一實施例之車輛1000的示意圖。車輛1000包括一影像擷取裝置100、一光達裝置200及一行車處理裝置300。影像擷取裝置100用以擷取車輛1000附近之一影像資訊IM(標示於第2圖)。影像擷取裝置100例如是一攝影機或一照相機。光達裝置200用以擷取車輛1000附近之一全域點雲資訊GCP(標示於第2圖)。光達裝置200例如是機械式光達或固態光達。行車處理裝置300用以進行各種運算程序與控制程序。行車處理裝置300例如是裝載於車輛1000內的車載裝置、遠端的運算中心、或者是駕駛的行動裝置。

請參照第2圖，其繪示根據一實施例之行車處理裝置300之示例圖。行車處理裝置300包括一傳輸單元310、一二維邊緣運算單元320、一物件分類單元330、一座標轉換單元340、一資料篩選單元350、一群集運算單元360及一三維邊緣運算單元370。傳輸單元310例如是一無線網路傳輸模組、一傳輸線或一藍芽傳輸模組。二維邊緣運算單元320、物件分類單元330、座標轉換單元340、資料篩選單元350、群集運算單元360及三維邊緣運算單元370例如是一晶片、一電路、一電路板、一程式碼模組、或儲存程式碼之儲存裝置。以下更透過一流程圖詳細說明上述各項元件之運作。

請參照第3~4圖，第3圖繪示根據一實施例之行車偵測方法的流程圖，第4圖說明第3圖之各步驟的示意圖。在步驟S110中，以影像擷取裝置100擷取車輛1000附近之影像資訊IM。影像資訊IM係為影像擷取裝置100在其視角範圍(field of view,FOV)內所能擷取的靜態影像或動態影像。影像資訊IM係為含有彩色值(或單色灰階值)之數個像素所組成之圖像。行車處理裝置300之傳輸單元310接收來自影像擷取裝置100之影像資訊IM。

接著，在步驟S120中，二維邊緣運算單元320及物件分類單元330依據影像資訊IM，分別偵測出障礙物之二維邊界框F2及物件類別OB。在一實施例中，二維邊緣運算單元320可以透過深度學習演算法偵測物件的邊緣以及物件的類別OB(如車輛、機車、行人等)。或者，二維邊緣運算單元320也可以透過邊緣偵測技術(Edge detection)(如Sobel演算法、CANNY演算法等)偵測出各個物件的邊緣，以作為二維邊界框F2。接著，物件分類單元330再透過物件分類之深度學習演算法(如CNN演算法、KNN演算法等)，偵測二維邊界框F2內之物件類別OB(如車輛、行人等)。

在步驟S130中，以光達裝置(LIDAR device)200擷取車輛1000附近之全域點雲資訊GCP。全域點雲資訊GCP例如是360度全景點雲。光達係為一種光學遙感技術，其通過向目標照射一束脈衝雷射來測量目標的距離等參數。全域點雲資訊GCP係為由含有距離值之數個反射點所組成之資訊。全域點雲資訊GCP可以在電腦上描繪出三維模型。全域點雲資訊GCP之範圍可能大於影像資訊IM之範圍。全域點雲資訊GCP之解析度也可能會與影像資訊IM之解析度不一致。在一實施例中，影像擷取裝置100及光達裝置200係同時執行步驟S110及步驟S130，以使所取得的影像資訊IM與全域點雲資訊GCP對應於同一時點。

接著，在步驟S140中，座標轉換單元340對全域點雲資訊GCP進行座標轉換，以使全域點雲資訊GCP之一點雲座標系統轉換成對應於影像資訊IM之影像座標系統，並產生點雲影像PI。點雲影像PI中的每個像素都有對應光達點的距離以及相對座標。

然後，在步驟S150中，資料篩選單元350依據二維邊界框F2，自點雲影像PI取出物件的點雲資訊LCP。因此，物件點雲資訊LCP所對應到的內容即為障礙物的點雲。本實施例透過二維邊界框F2的輔助可以快速地獲得障礙物的點雲，而無須直接對全域點雲資訊GCP進行複雜的演算。

接著，在步驟S160中，群集運算單元360依據物件點雲資訊LCP，進行分群演算(clustering)，以獲得物件點雲群集CT。在此步驟中，由於物件點雲資訊LCP已確定為「一個」障礙物之點雲，故僅需針對物件點雲資訊LCP進行最大分群演算，直接取出最大群集，篩選掉不屬於此最大群集的點即可。如此一來，此步驟之分群演算的複雜度相當的低，而只需較低的運算資源。

然後，在步驟S170中，三維邊緣運算單元370依據物件點雲群集CT，獲得三維邊界框F3。在此步驟中，三維邊緣運算單元370可以沿著物件點雲群集CT的外圍，取得三維邊界框F3。三維邊界框F3不一定需要與座標系統之軸線平行或垂直，也不一定需要與二維邊界框F2之邊界平行或垂直。三維邊緣運算單元370可以依據實際上物件點雲群集CT的外圍描繪出準確的外型，以作為三維邊界框F3。如此一來，三維邊界框F3在行車偵測上具有相當高的參考價值，能夠讓使用者或自駕系統準確地做出迴避。

如上所述，在本實施例中，透過影像資訊IM之二維邊界框F2輔助，無須直接對全域點雲資訊GCP進行複雜的演算，即可獲得物件點雲資訊LCP。此外，雖然影像資訊IM無法獲得的三維邊界框F3，但本揭露能夠透過物件點雲資訊LCP來獲得。本實施例提出之演算法結合了影像偵測與光達偵測，使得行車偵測技術能夠在低運算資源下獲得三維的障礙物資訊。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。