TWI754808B

TWI754808B - 載具、載具定位系統及載具定位方法

Info

Publication number: TWI754808B
Application number: TW108112604A
Authority: TW
Inventors: 許博鈞; 粘為博; 吳依玲; 林修宇; 陳世昕; 鄭安凱; 楊宗賢
Original assignee: 財團法人工業技術研究院
Priority date: 2018-11-29
Filing date: 2019-04-11
Publication date: 2022-02-11
Also published as: TW202020734A

Abstract

本揭露提供一種載具、一種載具定位系統及一種載具定位方法。載具定位系統包括二維影像感測器、三維感測器及處理器。二維影像感測器用於得到二維影像資料；三維感測器用於得到三維點雲資料；處理器耦合到該二維影像感測器以及該三維感測器，且至少配置成適用於：融合該二維影像資料以及該三維點雲資料，以產生一三維影像資料；從該二維影像資料辨識至少一靜態物件；根據該至少一靜態物件的每一靜態物件從該三維影像資料中得到該靜態物件的三維點雲資料；根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。

Description

載具、載具定位系統及載具定位方法

本揭露是有關於一種載具、一種載具定位系統及一種載具定位方法。

自動駕駛技術被期望能夠改善駕駛安全與方便，以減輕駕駛負擔。在自動駕駛方面，環境感知是一個必要的功能，它能夠避免碰撞的發生，而精確的定位也是相當重要的，尤其在城市的環境中，多種複雜物件讓車子行駛在城市道路上，容易造成定位誤差。基於使用感測器的種類，載具定位的方法一般分為主動式感測與被動式感測。被動式感測器例如是攝影機(Camera)或全球定位系統(Global Positioning System；GPS)等，而主動式感測器例如是光達(LiDAR)感測器。然而，攝影機透過影像物件偵測模組能夠辨別影像畫面中的物體，卻無法在三維空間中正確定位，因而無法正確定位載具的位置，造成定位誤差。在一般的GPS定位方法中，若一載具在隧道或是室內停車場等區域，感測器會有因屏蔽問題而接收不到訊號，亦無法精準定位載具的位置等問題。LiDAR感測器能夠偵測物體並且在三維空間中定位，但是無法辨識被偵測到的物體是何種類別。

傳統自駕車行駛需使用預先建立的地圖資訊，此地圖資訊需要包含多樣的道路資訊，例如道路邊界、紅綠燈、限速號誌等，如此自駕車演算法才能讓自駕車依照指定路線以及交通規則正確行駛。基本建立圖資的方法是在載具上裝載光達以及GPS，在道路上繞行後，離線疊合/整合光達點雲(Point clouds)資訊(即，光達點雲地圖)與GPS座標資訊(即，GPS座標地圖)。然而，自駕車的定位精準度需求需在誤差10公分以下，當自駕車在行駛時，將LiDAR感測器得到的即時之大量點雲資訊與內建之光達點雲地圖進行比對，得到定位資訊；然而，大量點雲資訊中包含冗餘資訊，例如，動態行駛的車輛、行人或是停在路邊的車輛等資訊，容易造成比對誤差以及增加運算量。

因此，如何在現有的定位技術中，克服攝影機之影像物件偵測的定位誤差以及LiDAR感測器之大量點雲資訊的運算量問題，已成為極欲解決的課題。

有鑑於此，本揭露提供一種載具、載具定位系統及載具定位方法，其可用於解決上述技術問題。

本揭露提供一種載具定位系統，配置於一載具上。載具定位系統包括二維影像感測器、三維感測器及處理器。二維影像感測器，用於得到一二維影像資料；三維感測器，用於得到一三維點雲資料；以及處理器耦合到該二維影像感測器以及該三維感測器，且至少配置成適用於：一對齊模組，用以融合該二維影像資料以及該三維點雲資料，以產生一三維影像資料；一靜態物件辨識模組從該二維影像資料辨識至少一靜態物件，以根據該至少一靜態物件的每一靜態物件，從該三維影像資料中得到該靜態物件的一三維點雲資料；以及一定位模組根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。

本揭露提供一種載具定位方法，適用於配置在一載具之一載具定位系統。所述方法包括：得到一二維影像資料；得到一三維點雲資料；融合該二維影像資料以及該三維點雲資料，以產生一三維影像資料；從該二維影像資料辨識至少一靜態物件；根據該至少一靜態物件的每一靜態物件，從該三維影像資料中得到該靜態物件的一三維點雲資料；以及根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。

本揭露提供一種載具，配置一載具定位系統於該載具。載具包括二維影像感測器、三維感測器及處理器。處理器耦合到該二維影像感測器以及該三維感測器，且至少配置成適用於：一對齊模組，用以融合該二維影像資料以及該三維點雲資料，以產生一三維影像資料；一靜態物件辨識模組，從該二維影像資料辨識至少一靜態物件，以根據該至少一靜態物件的每一靜態物件，從該三維影像資料中得到該靜態物件的一三維點雲資料；以及一定位模組，根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。

基於上述，本揭露提出的載具、載具定位系統及載具定位方法可讓載具結合二維影像感測器以及三維感測器兩種異質感測器得到三維影像資料，並辨識出二維影像資料靜態物件後，從三維影像資料中得到每一靜態物件的三維點雲資料，並可計算得到載具與靜態物件的載具相對座標，進而達到載具定位。

為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本揭露之一實施例繪示的載具定位系統示意圖。請參照圖1之實施例中，載具定位系統100係配置在載具上執行，然而本發明不限於此。本文中所揭示之載具定位系統100、方法等可在替代環境中實施以偵測在車流、視野等等中之物件。舉例而言，本文中所描述之一或多個功能可以以下各項實施：電子器件、行動器件、遊戲主機、汽車系統控制台(例如，ADAS)、可穿戴式器件(例如，個人佩戴式攝影機)、頭戴式顯示器等等。額外實施例包括但不限於機器人或機器人器件、無人航空載具(UAV)及遙控飛機。在圖1之實施例中，載具定位系統100之載具可以是機動車輛(例如，汽車、卡車、機車、巴士或火車)、船舶(例如，船或艇)、航空器(例如，飛機或直升飛機)、太空船(例如，太空梭)、腳踏車或另一運載工具。作為說明性實施例，載具可以是輪式運載工具、履帶式運載工具、軌式運載工具、空中運載工具或滑撬式運載工具。在一些情形中，載具可由一或多個駕駛者操作。舉例而言，載具可包括經組態以提供載具之駕駛者作為輔助之進階駕駛輔助系統(ADAS)。在其他情形中，載具可以是電腦控制之運載工具。此外，儘管圖1之實施例中之載具定位系統100係在載具處執行，但在其他實施例中，本文中所揭示之載具定位系統100可在「雲端」或在載具的外部執行。舉例而言，載具或其他電子器件可將位置資料及/或圖像資料提供至另一器件以執行載具定位。

載具定位系統100包含一或多個二維影像感測器102、一或多個三維感測器104、一處理器106以及一儲存電路108。在以下的實施例中，圖1之載具定位系統100係配置於載具上，但本揭露內容不以此為限，儲存電路108也可不限於包含在載具定位系統100中。

二維影像感測器102為能夠擷取影像的影像擷取裝置、攝像裝置或攝影機，例如感光耦合元件(Charge Coupled Device; CCD)攝影機及/或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor; CMOS)攝影機。由於二維影像感測器102可分別設置於載具的不同位置，因此能夠擷取到不同角度、不同視野範圍的影像，例如可依據需要設置前攝像裝置、側攝像裝置及後攝像裝置。

二維影像感測器102得到一二維影像資料。二維影像感測器102可將二維影像資料提供至處理器106。二維影像感測器102可持續地、週期性地或偶爾地擷取圖像且可將圖像 (例如，二維影像資料)載入至儲存電路108。

三維感測器104為能夠偵測載具與外部物體之間的距離的感測器，例如光達感測器(LiDAR感測器)，三維感測器104可得到掃描範圍內有關於反射物體的光訊號以得到三維點雲資料。三維感測器104可持續地、週期性地或偶爾地擷取三維點雲資料載入至儲存電路108。三維感測器104可將三維點雲資料提供至處理器106，其中每個三維點雲資料可包含有關於載具與反射物體的距離資訊，其中每一三維點雲資料資料包含空間之位置(X,Y,Z)資訊。三維感測器104，如LiDAR感測器，能在較不受光照的影響之下量測載具與反射物體/物件(object)的距離資訊。

處理器106耦合到二維影像感測器102以及三維感測器104，並接收二維影像資料以及三維點雲資料。在一實施例中，處理器106可自儲存電路108擷取二維影像資料以及三維點雲資料。為了說明，儲存電路108或其部分可經組態以儲存自二維影像感測器102接收之二維影像資料以及自三維感測器104接收之三維點雲資料，充當二維影像感測器102與三維感測器104接收資料的循環式緩衝器。

在一實施例中，處理器106可包括對齊模組110、靜態物件辨識模組112以及定位模組114。對齊模組110、靜態物件辨識模組112以及定位模組114可以是對應於載具之硬體組件、由處理器106執行之軟體(例如，指令) 或是前述硬體組件與軟體的組合。

載具定位系統100可以預先儲存一預設地圖資訊於儲存電路108中，該預設地圖資訊包含路段的起、終點座標、車道寬、車道數、道路航向角度、道路曲率與路段長等路面資訊，該預設地圖資訊包含經由三維感測器104，例如LiDAR感測器，所取得的三維點雲資訊以及經由GPS所取得的GPS絕對座標(absolute coordinate)資訊。預設地圖資訊更可以經過國土測繪中心的RTK(Real-Time Kinematic，即時動態定位)修正後，經過座標轉換而投影在一絕對座標系統上。

儲存電路108例如是記憶體、硬碟或是其他任何可用於儲存資料的元件，而可用來記錄或儲存多個模組，其中各模組是由一或多個程式碼片段所組成。處理器106耦接儲存電路108，並可藉由存取儲存電路108中的模組來分別執行本揭露所提出的載具定位方法的各個步驟。在不同的實施例中，處理器106可以是一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路（Application Specific Integrated Circuit，ASIC）、場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

對齊模組110係將二維影像感測器102取得之二維影像資料，以及三維感測器104取得之三維點雲資料，藉由一對齊演算法融合二維影像資料與三維點雲資料以得出一三維影像資料。三維影像資料包含了每一影像像素之顏色資訊(例如，RGB資料)以及深度資料(例如，位置(X,Y,Z)資料)，所以此三維影像資料包含了RGBXYZ的影像資料。其中，在一實施例中，說明融合二維影像資料與三維點雲資料之對齊演算法，假設三維點雲資料表示為(x,y,z)，二維影像資料之像素點為(u,v)，根據下列公式將三維點雲資料(x,y,z)映射到二維影像資料之像素點為(u,v)，對齊演算法公式如下所示：

其中，f_u 、f_v 分別為水平以及垂直方向之焦距；u₀ 、v₀ 為影像平面的中心點；求得轉化矩陣Ｍ將三維點雲資料(x,y,z )映射到二維影像資料之像素點 (u,v )；Ｒ與Ｔ分別為旋轉矩陣以及平移向量。

圖2是依據本揭露之一實施例，說明將二維影像資料與三維點雲資料進行對齊處理的示意圖。請同時參照圖1與圖2，其係透過二維影像感測器102取得之二維影像資料影像(圖2之背景影像)，以及透過三維感測器104取得之三維點雲資料(請參考圖2之點狀影像)，透過對齊演算法，將二維影像資料與三維點雲資料融合之三維影像資料影像，如圖2所示。

二維影像感測器102取得之二維影像資料，靜態物件辨識模組112可判定與辨識二維影像資料之至少一靜態物件。舉例來說，靜態物件辨識模組112可包含專門偵測靜態物件之深度學習模組，辨識靜態物件的類別，例如，道路號誌、建築物、變電箱、馬路、人行道、橋梁、樹木、電線桿、紐澤西護欄等等，而靜態物件辨識模組112之深度學習模組或深度神經網路(Deep Neural Network)透過影像辨識演算法來辨識影像中的靜態物件，目前已有習知之物件辨識演算法，例如物件輪廓追蹤演算法，在此不贅述。其中，靜態物件辨識模組112偵測靜態物件之搜尋窗(search window)可對應於物件之模型、邊框或定界框(bounding box；BB)等。圖3是依據本揭露之一實施例，說明從二維影像資料辨識出靜態物件的示意圖。請參照圖3，透過靜態物件辨識演算法，辨識二維影像資料中之每一靜態物件，且由定界框標示二維影像資料中之每一靜態物件，如圖3之定界框，每一定界框包含每一靜態物件的資訊，例如，標示物件類別、物件長度、物件寬度、以及於二維影像資料中之位置等資訊。

當得到二維影像資料中之每一靜態物件後，即可根據上述每一靜態物件的資訊(例如，類別、長度、寬度以及位置等資訊)，從三維影像資料中得到每一靜態物件的三維點雲資料(X,Y,Z資料)，其中，每一靜態物件對應於三維影像資料中的是物件之大小，因此，每一靜態物件可以包含多個三維點雲資料(深度資訊)。圖4是依據圖3之實施例，說明辨識每一靜態物件後，從三維影像資料中得到每一靜態物件的三維點雲資料的示意圖。請參照圖3與圖4，根據圖3定界框標示之每一靜態物件(包含交通號誌、路燈以及馬路)的資訊，對應得到在三維影像資料中每一靜態物件的三維點雲資料。

接著，當載具上之載具定位系統100得到每一靜態物件的三維點雲資料，如此，載具定位系統100之定位模組114則可根據靜態物件的三維點雲資料，透過定位演算法，例如，三點定位演算法或是將目前的三維點雲資料與地圖點雲資料進行疊代比對，透過最佳化計算載具點雲資料與至少一靜態物件的三維點雲資料之最小均方距離(mean squared distances；MSD)，計算得到載具與靜態物件的載具相對座標，進而達到載具定位。在一實施例中，可以將上述之載具相對座標映(mapping)至於預先儲存的預設地圖資訊，由於該預設地圖資訊包含3D點雲資訊以及GPS絕對座標資訊，因此，透過載具相對座標與預設地圖資訊進行座標定義與轉換，如此可得到載具的三維載具絕對座標。

在另一實施例中，更可以將每一靜態物件的三維點雲資料對映(mapping)至預先儲存預設地圖資訊，由於該預設地圖資訊包含3D點雲資訊以及GPS絕對座標資訊，因此，透過靜態物件的三維點雲資料與預設地圖資訊的靜態三維物件做比對，以得到靜態物件的一三維物件絕對座標，如此可推得載具位於預設地圖資訊之位置，進而得出載具之三維載具絕對座標。

在本揭露一實施例中，二維影像感測器102取得之二維影像資料一般只能基於物體表面的反射特性，提供以真實世界投影在影像平面上的資訊，來獲得物體的輪廓、邊界、紋理等特徵，所以以二維資訊為基礎的辨識演算法來辨識出實際的三維物體時，無法將物件在三維空間中定位在正確位置上，而存在著無法正確定位載具位置的問題。而三維感測器104能夠得到物件之三維點雲資料，但是無法辨識物件是屬於何種類別，而造成過於龐大之三維點雲資料的運算量。因此，結合二維影像感測器102以及三維感測器104此兩種異質感測器的特性與優勢，並且透過偵測靜態物件的三維點雲資料能進行載具的即時定位。

本揭露透過靜態物件辨識模組112辨識靜態物件而非辨識動態物件，是因為相較於動態物件，靜態物件能夠更容易被偵測與辨識，靜態物件之形狀與顏色之變化通常也較動態物件少，因此靜態物件辨識模組112只需要較少的訓練資料與較低的模型複雜度即可達到不錯的靜態物件辨識率。如此，結合二維影像感測器102之二維影像資料以及三維感測器104之三維點雲資料，透過靜態物件辨識模組112辨識每一靜態物件，並得到每一靜態物件的三維點雲資料，進而計算得到載具與靜態物件的載具相對座標，達到載具定位。

圖5是依照本揭露的一實施例，說明載具定位系統的運作的流程示意圖。

請參照圖5，在步驟S501，二維影像感測器102得到二維影像資料，其中此二維影像資料包括至少一靜態物件之場景。在步驟S503，三維感測器104得到三維點雲資料。在步驟S505，對齊模組110藉由對齊演算法融合二維影像資料與三維點雲資料以得到一三維影像資料。在步驟S507，靜態物件辨識模組112從二維影像資料辨識至少一靜態物件。在步驟S509，根據每一靜態物件從三維影像資料中得到每一靜態物件的三維點雲資料。在步驟S511，定位模組114根據靜態物件的三維點雲資料計算載具的載具相對座標，其中可透過一定位演算法，根據靜態物件的三維點雲資料計算載具於三維影像資料的三維載具相對座標。

圖6是依照本揭露的一實施例，說明載具600可直接(direct)或間接(indirect)與載具定位系統通訊示意圖。圖6之載具定位系統之處理器606與儲存器608可設置於載具600上或設置於載具600遠端之另一地點/位置。假設載具定位系統之處理器606與儲存器608設置於遠端，則載具600則具有與遠端之處理器606與儲存器608通訊的能力。在本實施例中，載具600為一汽車，但本揭露並不以此為限。

一或多個二維影像感測器602以及一或多個三維感測器604設置於載具600。在本實施例中，載具定位系統可執行如上述圖1至圖4之功能與運算，將載具600之二維影像感測器602得到之二維影像資料對齊於三維感測器604擷取之三維點雲資料已得到三維影像資料，並根據二維影像資料之每一靜態物件從三維影像資料中得到每一靜態物件的三維點雲資料，進而透過靜態物件的三維點雲資料計算載具的載具相對座標，達到載具定位。

綜上所述，本揭露提出的載具、載具定位系統及載具定位方法可使載具結合二維影像感測器以及三維感測器此兩種異質感測器得到三維影像資料，並且在辨識出二維影像資料的靜態物件後，從三維影像資料中得到每一靜態物件的三維點雲資料，並且可計算得到載具與靜態物件的載具相對座標，進而對映(mapping)至預設的地圖資訊得到載具相對座標，達到載具定位。藉此，可使載具透過專門偵測靜態物件之深度學習模型，縮短靜態物件影像辨識時間，且只需要靜態物件之三維點雲資料，所以進而降低三維點雲資料的運算量，而達到載具的精準定位。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:載具定位系統 102:二維影像感測器 104:三維感測器 106:處理器 108:儲存電路 110:對齊模組 112:靜態物件辨識模組 114:定位模組 600:載具 602:二維影像感測器 604:三維感測器 606:處理器 608:儲存器 S501、S503、S505、S507、S509、S511:載具定位系統運作的步驟

圖1是依據本揭露之一實施例繪示的載具定位系統示意圖。圖2是依據本揭露之一實施例，說明將二維影像資料與三維點雲資料進行對齊處理的示意圖。圖3是依據本揭露之一實施例，說明從二維影像資料辨識出靜態物件的示意圖。圖4是依據圖3之實施例，說明辨識每一靜態物件後，從三維影像資料中得到每一靜態物件的三維點雲資料的示意圖。圖5是依照本揭露的一實施例，說明載具定位系統的運作的流程示意圖。圖6是依照本揭露的一實施例，說明一載具可直接或間接與載具定位系統通訊示意圖。

100:載具定位系統

102:二維影像感測器

104:三維感測器

106:處理器

108:儲存電路

110:對齊模組

112:靜態物件辨識模組

114:定位模組

Claims

一種載具定位系統，配置於一載具上，該載具定位系統包括：一二維影像感測器，用於得到一二維影像資料；一三維感測器，用於得到一三維點雲資料；以及一處理器，耦合到該二維影像感測器以及該三維感測器，且至少配置成適用於：一對齊模組，用以將該三維點雲資料映射到該二維影像資料之像素點，以融合該二維影像資料以及該三維點雲資料，而產生一三維影像資料；一靜態物件辨識模組，從該二維影像資料辨識至少一靜態物件，以根據該至少一靜態物件的每一靜態物件，從該三維影像資料中得到該靜態物件的一三維點雲資料；以及一定位模組，根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。
如申請專利範圍第1項所述的載具定位系統，其中，該載具相對座標係對映至預先儲存於一儲存電路之一預設地圖資訊，以得到該載具的一三維載具絕對座標。
如申請專利範圍第1項所述的載具定位系統，其中，該靜態物件的該三維點雲資料係對映至預先儲存於一儲存電路之一預設地圖資訊，以得到該靜態物件的一三維物件絕對座標。
如申請專利範圍第3項所述的載具定位系統，其中，該定位模組根據該靜態物件的該三維物件絕對座標，計算該載具的三維載具絕對座標。
如申請專利範圍第1項所述的載具定位系統，其中，該二維影像感測器係一感光耦合元件攝影機或一互補性氧化金屬半導體攝影機。
如申請專利範圍第1項所述的載具定位系統，其中，該三維感測器係一光達感測器。
一種載具定位方法，適用於配置在一載具之一載具定位系統，所述方法包括：得到一二維影像資料；得到一三維點雲資料；將該三維點雲資料映射到該二維影像資料之像素點，以融合該二維影像資料以及該三維點雲資料，而產生一三維影像資料；從該二維影像資料辨識至少一靜態物件；根據該靜態物件從該三維影像資料中得到該靜態物件的一三維點雲資料；以及根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。
如申請專利範圍第7項所述的載具定位方法，更包括將該載具相對座標對映至預先儲存之一預設地圖資訊，以得到該載具的一三維載具絕對座標。
如申請專利範圍第7項所述的載具定位方法，更包括將該靜態物件的該三維點雲資料對映至預先儲存之一預設地圖資訊，以得到該靜態物件的一三維物件絕對座標。
如申請專利範圍第9項所述的載具定位方法，更包括根據該靜態物件的該三維物件絕對座標，計算該載具的三維載具絕對座標。
一種載具，配置一載具定位系統於該載具，包括：一二維影像感測器，用於得到一二維影像資料；一三維感測器，用於得到一三維點雲資料；以及一處理器，耦合到該二維影像感測器以及該三維感測器，且至少配置成適用於：一對齊模組，用以將該三維點雲資料映射到該二維影像資料之像素點，以融合該二維影像資料以及該三維點雲資料，而產生一三維影像資料；一靜態物件辨識模組，從該二維影像資料辨識至少一靜態物件，以根據該至少一靜態物件的每一靜態物件，從該三維影像資料中得到該靜態物件的一三維點雲資料；以及一定位模組，根據該靜態物件的該三維點雲資料，計算該載具的一載具相對座標。
如申請專利範圍第11項所述的載具，其中，該載具相對座標係對映至預先儲存於一儲存電路之一預設地圖資訊，以得到該載具的一三維載具絕對座標。
如申請專利範圍第11項所述的載具，其中，該靜態物件的該三維點雲資料係對映至預先儲存於一儲存電路之一預設地圖資訊，以得到該靜態物件的一三維物件絕對座標。
如申請專利範圍第13項所述的載具，其中，該定位模組根據該靜態物件的該三維物件絕對座標，計算該載具的一三維載具絕對座標。
如申請專利範圍第11項所述的載具，其中，該二維影像感測器係一感光耦合元件攝影機或一互補性氧化金屬半導體攝影機。
如申請專利範圍第11項所述的載具，其中，該三維感測器係一光達感測器。