TWI726278B - 行車偵測方法、車輛及行車處理裝置 - Google Patents
行車偵測方法、車輛及行車處理裝置 Download PDFInfo
- Publication number
- TWI726278B TWI726278B TW108103586A TW108103586A TWI726278B TW I726278 B TWI726278 B TW I726278B TW 108103586 A TW108103586 A TW 108103586A TW 108103586 A TW108103586 A TW 108103586A TW I726278 B TWI726278 B TW I726278B
- Authority
- TW
- Taiwan
- Prior art keywords
- point cloud
- image
- information
- vehicle
- bounding box
- Prior art date
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一種行車偵測方法、車輛及行車處理裝置。行車偵測方法包括以下步驟。以一影像擷取裝置擷取一車輛附近之一影像資訊。依據影像資訊,偵測出一障礙物之一二維邊界框及一物件類別。以一光達裝置擷取車輛附近之一全域點雲資訊。對全域點雲資訊進行座標轉換,以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統,並產生一點雲影像。依據二維邊界框,自點雲影像取出一物件點雲資訊。依據物件點雲資訊,獲得一物件點雲群集。依據物件點雲群集,獲得一三維邊界框。
Description
本揭露是有關於一種行車偵測方法、車輛及行車處理裝置,且特別是有關於一種結合影像偵測與光達偵測之行車偵測方法、車輛及行車處理裝置。
在車輛科技的發展中,行車安全是一項相當重要的議題。行車偵測技術可以偵測出障礙物,以提供駕駛警示或採取自動迴避措施。影像偵測係為目前所採用的一種行車偵測技術。然而,影像偵測容易受到外在環境的影響,而產生誤判。因此,業界需要採用類神經網路搭配大量的訓練數據來進行演算,但此作法仍然無法獲得三維的障礙物資訊。
此外,光達偵測也是近年來所發展的一種技術。雖然光達偵測可以獲得三維的障礙物資訊,但光達偵測所產生的點雲資訊需要耗費相當龐大的運算資源來進行群集運算。在無法進行即時運算的情況下,不容易實現於行車偵測技術上。
因此,如何改善現行行車偵測技術,以研發出一種能夠獲得三維的障礙物資訊且具備低運算資源之行車偵測技術已成為目前相當重要研發方向之一。
本揭露係有關於一種行車偵測方法、車輛及行車處理裝置,其利用本揭露所提出之演算法來結合影像偵測與光達偵測,使得行車偵測技術能夠在低運算資源下獲得三維的障礙物資訊。
根據本揭露之第一方面,提出一種行車偵測方法。行車偵測方法包括以下步驟。以一影像擷取裝置擷取一車輛附近之一影像資訊。依據影像資訊,偵測出一障礙物之一二維邊界框及一物件類別。以一光達裝置擷取車輛附近之一全域點雲資訊。對全域點雲資訊進行座標轉換,以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統,並產生一點雲影像。依據二維邊界框,自點雲影像取出一物件點雲資訊。依據物件點雲資訊,獲得一物件點雲群集。依據物件點雲群集,獲得一三維邊界框。
根據本揭露之第二方面,提出一種行車處理裝置。行車處理裝置包括一傳輸單元、一二維邊緣運算單元、一物件分類單元、一座標轉換單元、一資料篩選單元、一群集運算單元及一三維邊緣運算單元。傳輸單元用以接收一影像擷取裝置所擷取
之一車輛附近之一影像資訊及一光達裝置所擷取該車輛附近之一全域點雲資訊。二維邊緣運算單元用以依據影像資訊,偵測出一障礙物之一二維邊界框。物件分類單元用以依據影像資訊,偵測障礙物之一物件類別。座標轉換單元用以對全域點雲資訊進行座標轉換,以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統,並產生一點雲影像。資料篩選單元用以依據二維邊界框,自點雲影像取出一物件點雲資訊。群集運算單元用以依據物件點雲資訊,獲得一物件點雲群集。三維邊緣運算單元用以依據物件點雲群集,獲得一三維邊界框。
根據本揭露之第三方面,提出一種車輛。車輛包括一影像擷取裝置、一光達裝置及一行車處理裝置。影像擷取裝置用以擷取車輛附近之一影像資訊。光達裝置用以擷取車輛附近之一全域點雲資訊。行車處理裝置包括一傳輸單元、一二維邊緣運算單元、一物件分類單元、一座標轉換單元、一資料篩選單元、一群集運算單元及一三維邊緣運算單元。傳輸單元用以接收影像資訊及全域點雲資訊。二維邊緣運算單元用以依據影像資訊,偵測出一障礙物之一二維邊界框。物件分類單元用以依據影像資訊,偵測障礙物之一物件類別。座標轉換單元用以對全域點雲資訊進行座標轉換,以使全域點雲資訊之一點雲座標系統轉換成對應於影像資訊之一影像座標系統,並產生一點雲影像。資料篩選單元用以依據二維邊界框,自點雲影像取出一物件點雲資訊。群
集運算單元用以依據物件點雲資訊,獲得一物件點雲群集。三維邊緣運算單元用以依據物件點雲群集,獲得一三維邊界框。
為了對本揭露之上述及其他方面有更佳的瞭解,下文特舉實施例,並配合所附圖式詳細說明如下:
1000:車輛
100:影像擷取裝置
200:光達裝置
300:行車處理裝置
310:傳輸單元
320:二維邊緣運算單元
330:物件分類單元
340:座標轉換單元
350:資料篩選單元
360:群集運算單元
370:三維邊緣運算單元
CT:物件點雲群集
F2:二維邊界框
F3:三維邊界框
GCP:全域點雲資訊
IM:影像資訊
LCP:物件點雲資訊
OB:物件類別
PI:點雲影像
S110、S120、S130、S140、S150、S160、S170:步驟
第1圖繪示根據一實施例之車輛的示意圖。
第2圖繪示根據一實施例之行車處理裝置之示例圖。
第3圖繪示根據一實施例之行車偵測方法的流程圖。
第4圖說明第3圖之各步驟的示意圖。
以下揭露各種實施例來說明本發明之行車偵測技術,其利用本揭露所提出之演算法來結合影像偵測與光達偵測,使得行車偵測技術能夠在低運算資源下獲得三維的障礙物資訊。
請參照第1圖,其繪示根據一實施例之車輛1000的示意圖。車輛1000包括一影像擷取裝置100、一光達裝置200及一行車處理裝置300。影像擷取裝置100用以擷取車輛1000附近之一影像資訊IM(標示於第2圖)。影像擷取裝置100例如是一攝影機或一照相機。光達裝置200用以擷取車輛1000附近之一全域點雲資訊GCP(標示於第2圖)。光達裝置200例如是機械式光達或固
態光達。行車處理裝置300用以進行各種運算程序與控制程序。行車處理裝置300例如是裝載於車輛1000內的車載裝置、遠端的運算中心、或者是駕駛的行動裝置。
請參照第2圖,其繪示根據一實施例之行車處理裝置300之示例圖。行車處理裝置300包括一傳輸單元310、一二維邊緣運算單元320、一物件分類單元330、一座標轉換單元340、一資料篩選單元350、一群集運算單元360及一三維邊緣運算單元370。傳輸單元310例如是一無線網路傳輸模組、一傳輸線或一藍芽傳輸模組。二維邊緣運算單元320、物件分類單元330、座標轉換單元340、資料篩選單元350、群集運算單元360及三維邊緣運算單元370例如是一晶片、一電路、一電路板、一程式碼模組、或儲存程式碼之儲存裝置。以下更透過一流程圖詳細說明上述各項元件之運作。
請參照第3~4圖,第3圖繪示根據一實施例之行車偵測方法的流程圖,第4圖說明第3圖之各步驟的示意圖。在步驟S110中,以影像擷取裝置100擷取車輛1000附近之影像資訊IM。影像資訊IM係為影像擷取裝置100在其視角範圍(field of view,FOV)內所能擷取的靜態影像或動態影像。影像資訊IM係為含有彩色值(或單色灰階值)之數個像素所組成之圖像。行車處理裝置300之傳輸單元310接收來自影像擷取裝置100之影像資訊IM。
接著,在步驟S120中,二維邊緣運算單元320及物件分類單元330依據影像資訊IM,分別偵測出障礙物之二維邊界
框F2及物件類別OB。在一實施例中,二維邊緣運算單元320可以透過深度學習演算法偵測物件的邊緣以及物件的類別OB(如車輛、機車、行人等)。或者,二維邊緣運算單元320也可以透過邊緣偵測技術(Edge detection)(如Sobel演算法、CANNY演算法等)偵測出各個物件的邊緣,以作為二維邊界框F2。接著,物件分類單元330再透過物件分類之深度學習演算法(如CNN演算法、KNN演算法等),偵測二維邊界框F2內之物件類別OB(如車輛、行人等)。
在步驟S130中,以光達裝置(LIDAR device)200擷取車輛1000附近之全域點雲資訊GCP。全域點雲資訊GCP例如是360度全景點雲。光達係為一種光學遙感技術,其通過向目標照射一束脈衝雷射來測量目標的距離等參數。全域點雲資訊GCP係為由含有距離值之數個反射點所組成之資訊。全域點雲資訊GCP可以在電腦上描繪出三維模型。全域點雲資訊GCP之範圍可能大於影像資訊IM之範圍。全域點雲資訊GCP之解析度也可能會與影像資訊IM之解析度不一致。在一實施例中,影像擷取裝置100及光達裝置200係同時執行步驟S110及步驟S130,以使所取得的影像資訊IM與全域點雲資訊GCP對應於同一時點。
接著,在步驟S140中,座標轉換單元340對全域點雲資訊GCP進行座標轉換,以使全域點雲資訊GCP之一點雲座標系統轉換成對應於影像資訊IM之影像座標系統,並產生點雲影像PI。點雲影像PI中的每個像素都有對應光達點的距離以及相對座標。
然後,在步驟S150中,資料篩選單元350依據二維邊界框F2,自點雲影像PI取出物件的點雲資訊LCP。因此,物件點雲資訊LCP所對應到的內容即為障礙物的點雲。本實施例透過二維邊界框F2的輔助可以快速地獲得障礙物的點雲,而無須直接對全域點雲資訊GCP進行複雜的演算。
接著,在步驟S160中,群集運算單元360依據物件點雲資訊LCP,進行分群演算(clustering),以獲得物件點雲群集CT。在此步驟中,由於物件點雲資訊LCP已確定為「一個」障礙物之點雲,故僅需針對物件點雲資訊LCP進行最大分群演算,直接取出最大群集,篩選掉不屬於此最大群集的點即可。如此一來,此步驟之分群演算的複雜度相當的低,而只需較低的運算資源。
然後,在步驟S170中,三維邊緣運算單元370依據物件點雲群集CT,獲得三維邊界框F3。在此步驟中,三維邊緣運算單元370可以沿著物件點雲群集CT的外圍,取得三維邊界框F3。三維邊界框F3不一定需要與座標系統之軸線平行或垂直,也不一定需要與二維邊界框F2之邊界平行或垂直。三維邊緣運算單元370可以依據實際上物件點雲群集CT的外圍描繪出準確的外型,以作為三維邊界框F3。如此一來,三維邊界框F3在行車偵測上具有相當高的參考價值,能夠讓使用者或自駕系統準確地做出迴避。
如上所述,在本實施例中,透過影像資訊IM之二維邊界框F2輔助,無須直接對全域點雲資訊GCP進行複雜的演算,即可獲得物件點雲資訊LCP。此外,雖然影像資訊IM無法獲
得的三維邊界框F3,但本揭露能夠透過物件點雲資訊LCP來獲得。本實施例提出之演算法結合了影像偵測與光達偵測,使得行車偵測技術能夠在低運算資源下獲得三維的障礙物資訊。
綜上所述,雖然本揭露已以實施例揭露如上,然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者,在不脫離本揭露之精神和範圍內,當可作各種之更動與潤飾。因此,本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像擷取裝置
200:光達裝置
300:行車處理裝置
310:傳輸單元
320:二維邊緣運算單元
330:物件分類單元
340:座標轉換單元
350:資料篩選單元
360:群集運算單元
370:三維邊緣運算單元
CT:物件點雲群集
F2:二維邊界框
F3:三維邊界框
GCP:全域點雲資訊
IM:影像資訊
LCP:物件點雲資訊
OB:物件類別
PI:點雲影像
Claims (15)
- 一種行車偵測方法,包括:以一影像擷取裝置擷取一車輛附近之一影像資訊;依據該影像擷取裝置所擷取的該影像資訊,偵測出一障礙物之一二維邊界框及一物件類別;以一光達裝置擷取該車輛附近之一全域點雲資訊;對該光達裝置所擷取的該全域點雲資訊進行座標轉換,以使該全域點雲資訊之一點雲座標系統轉換成對應於該影像擷取裝置所擷取的該影像資訊之一影像座標系統,並產生一點雲影像;依據該二維邊界框,自該點雲影像取出一物件點雲資訊;依據該物件點雲資訊,獲得一物件點雲群集;以及依據該物件點雲群集,獲得一三維邊界框。
- 如申請專利範圍第1項所述之行車偵測方法,其中該全域點雲資訊之範圍大於該影像資訊之範圍。
- 如申請專利範圍第1項所述之行車偵測方法,其中以該影像擷取裝置擷取該影像資訊之步驟及以該光達裝置擷取該全域點雲資訊之步驟係同時執行。
- 如申請專利範圍第1項所述之行車偵測方法,其中該障礙物之該二維邊界框及該物件類別係透過一深度學習演算法獲得。
- 如申請專利範圍第1項所述之行車偵測方法,其中該物件點雲群集係透過一分群演算法獲得。
- 一種行車處理裝置,包括:一傳輸單元,用以接收一影像擷取裝置所擷取之一車輛附近之一影像資訊及一光達裝置所擷取該車輛附近之一全域點雲資訊;一二維邊緣運算單元,用以依據該影像擷取裝置所擷取的該影像資訊,偵測出一障礙物之一二維邊界框;一物件分類單元,用以依據該影像資訊,偵測該障礙物之一物件類別;一座標轉換單元,用以對該光達裝置所擷取的該全域點雲資訊進行座標轉換,以使該全域點雲資訊之一點雲座標系統轉換成對應於該影像擷取裝置所擷取的該影像資訊之一影像座標系統,並產生一點雲影像;一資料篩選單元,用以依據該二維邊界框,自該點雲影像取出一物件點雲資訊;一群集運算單元,用以依據該物件點雲資訊,獲得一物件點雲群集;以及一三維邊緣運算單元,用以依據該物件點雲群集,獲得一三維邊界框。
- 如申請專利範圍第6項所述之行車處理裝置,其中該全域點雲資訊之範圍大於該影像資訊之範圍。
- 如申請專利範圍第6項所述之行車處理裝置,其中以該傳輸單元係同時接收該影像資訊及該全域點雲資訊。
- 如申請專利範圍第6項所述之行車處理裝置,其中該障礙物之該二維邊界框及該物件類別係透過一深度學習演算法獲得。
- 如申請專利範圍第6項所述之行車處理裝置,其中該物件點雲群集係透過一分群演算法獲得。
- 一種車輛,包括:一影像擷取裝置,用以擷取該車輛附近之一影像資訊;一光達裝置,用以擷取該車輛附近之一全域點雲資訊;以及一行車處理裝置,包括:一傳輸單元,用以接收該影像資訊及該全域點雲資訊;一二維邊緣運算單元,用以依據該影像擷取裝置所擷取的該影像資訊,偵測出一障礙物之一二維邊界框;一物件分類單元,用以依據該影像資訊,偵測該障礙物之一物件類別;一座標轉換單元,用以對該光達裝置所擷取的該全域點雲資訊進行座標轉換,以使該全域點雲資訊之一點雲座標系統轉換 成對應於該影像擷取裝置所擷取的該影像資訊之一影像座標系統,並產生一點雲影像;一資料篩選單元,用以依據該二維邊界框,自該點雲影像取出一物件點雲資訊;一群集運算單元,用以依據該物件點雲資訊,獲得一物件點雲群集;及一三維邊緣運算單元,用以依據該物件點雲群集,獲得一三維邊界框。
- 如申請專利範圍第11項所述之車輛,其中該全域點雲資訊之範圍大於該影像資訊之範圍。
- 如申請專利範圍第11項所述之車輛,其中以該傳輸單元係同時接收該影像資訊及該全域點雲資訊。
- 如申請專利範圍第11項所述之車輛,其中該障礙物之該二維邊界框及該物件類別係透過一深度學習演算法獲得。
- 如申請專利範圍第11項所述之車輛,其中該物件點雲群集係透過一分群演算法獲得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108103586A TWI726278B (zh) | 2019-01-30 | 2019-01-30 | 行車偵測方法、車輛及行車處理裝置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108103586A TWI726278B (zh) | 2019-01-30 | 2019-01-30 | 行車偵測方法、車輛及行車處理裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202029134A TW202029134A (zh) | 2020-08-01 |
TWI726278B true TWI726278B (zh) | 2021-05-01 |
Family
ID=73002486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108103586A TWI726278B (zh) | 2019-01-30 | 2019-01-30 | 行車偵測方法、車輛及行車處理裝置 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI726278B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863089A (zh) * | 2022-04-02 | 2022-08-05 | 天津港第二集装箱码头有限公司 | 自动驾驶感知数据的自动采集方法、装置、介质及设备 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI756771B (zh) | 2020-08-05 | 2022-03-01 | 偉詮電子股份有限公司 | 影像轉換方法 |
TWI748678B (zh) * | 2020-10-06 | 2021-12-01 | 艾歐圖科技股份有限公司 | 基於地面資訊優化的車輛自主定位系統 |
TWI809401B (zh) * | 2021-05-24 | 2023-07-21 | 宏佳騰動力科技股份有限公司 | 車輛後視警示系統 |
TWI838018B (zh) * | 2022-12-16 | 2024-04-01 | 鴻海精密工業股份有限公司 | 車輛控制方法、電腦設備及儲存介質 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI535589B (zh) * | 2013-09-24 | 2016-06-01 | Active automatic driving assistance system and method | |
US20190011566A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for identifying laser point cloud data of autonomous vehicle |
US20190026588A1 (en) * | 2017-07-19 | 2019-01-24 | GM Global Technology Operations LLC | Classification methods and systems |
-
2019
- 2019-01-30 TW TW108103586A patent/TWI726278B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI535589B (zh) * | 2013-09-24 | 2016-06-01 | Active automatic driving assistance system and method | |
US20190011566A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for identifying laser point cloud data of autonomous vehicle |
US20190026588A1 (en) * | 2017-07-19 | 2019-01-24 | GM Global Technology Operations LLC | Classification methods and systems |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863089A (zh) * | 2022-04-02 | 2022-08-05 | 天津港第二集装箱码头有限公司 | 自动驾驶感知数据的自动采集方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
TW202029134A (zh) | 2020-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI726278B (zh) | 行車偵測方法、車輛及行車處理裝置 | |
CN111612760B (zh) | 用于检测障碍物的方法和装置 | |
JP6571274B2 (ja) | レーザ深度マップサンプリングのためのシステム及び方法 | |
US20210365699A1 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
JP6417702B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2022135511A1 (zh) | 运动物体的定位方法、装置、电子设备及存储介质 | |
CN112967283B (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
EP3968266B1 (en) | Obstacle three-dimensional position acquisition method and apparatus for roadside computing device | |
TWI666595B (zh) | 物件標示系統及方法 | |
US20210103299A1 (en) | Obstacle avoidance method and device and movable platform | |
CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 | |
CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
US11842440B2 (en) | Landmark location reconstruction in autonomous machine applications | |
CN113673584A (zh) | 一种图像检测方法及相关装置 | |
KR20110058262A (ko) | 차량 검출 장치 및 방법 | |
CN115147328A (zh) | 三维目标检测方法及装置 | |
Xia et al. | Vehicles overtaking detection using RGB-D data | |
US9734429B2 (en) | Method, system and computer program product for detecting an obstacle with a camera | |
Budzan et al. | Improved human detection with a fusion of laser scanner and vision/infrared information for mobile applications | |
CN114766039A (zh) | 对象检测方法、对象检测设备、终端设备、以及介质 | |
CN116883870A (zh) | 一种基于深度学习的无人机落石目标检测方法及装置 | |
Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
CN104236518B (zh) | 一种基于光学成像与模式识别的天线主波束指向探测方法 | |
Anand et al. | BEV Approach Based Efficient Object Detection using YoloV4 for LiDAR Point Cloud |