TWI725681B

TWI725681B - 無人載具語意地圖建置系統及其建置方法

Info

Publication number: TWI725681B
Application number: TW108147330A
Authority: TW
Inventors: 林立人; 郭宗憲
Original assignee: 財團法人工業技術研究院
Priority date: 2019-12-24
Filing date: 2019-12-24
Publication date: 2021-04-21
Also published as: TW202124915A; JP2021103160A

Abstract

本揭露提出一種無人載具語意地圖建置系統以及無人載具語意地圖建置方法。無人載具語意地圖建置系統包括影像擷取模組、定位模組、記憶體以及處理器。影像擷取模組取得當前路徑影像。定位模組取得對應於當前路徑影像的定位資料。記憶體儲存三維地圖圖資。三維地圖圖資包括多個點雲資料。處理器存取記憶體。處理器分析當前路徑影像，以辨識在當前路徑影像中的特定交通物件的物件資訊。處理器依據定位資料將特定物件的物件資訊標註至三維地圖圖資中對應於特定物件的多個對應點雲資料中。

Description

無人載具語意地圖建置系統及其建置方法

本揭露是有關於一種地圖建置技術，且特別是有關於一種無人載具語意地圖建置系統以及無人載具語意地圖建置方法。

目前的無人載具於行進中，無人載具需即時分析大量的地圖資訊以及進行即時路徑辨識來實現有效的自動駕駛行為。換言之，若只有依靠即時路徑辨識的方式來自動操控無人載具，則需要花費大量的運算時間以及運算資源。因此，搭配無人載具語意地圖的無人載具操控是目前本領域重要的研究方向之一。然而，目前的無人載具語意地圖是透過使用者以手動設定的方式依據三維地圖模型來繪製而建置之，因此需花費大量時間以及人力，進而導致無人載具語意地圖的建置成本過高並且還可能存在人為誤差。有鑑於此，以下將提出幾個實施例的解決方案。

本揭露提供一種無人載具語意地圖建置系統及其建置方法可提供自動且有效率的地圖標註功能。

本揭露的無人載具語意地圖建置系統包括影像擷取模組、定位模組、記憶體以及處理器。影像擷取模組用以取得當前路徑影像。定位模組用以取得對應於當前路徑影像的定位資料。記憶體用以儲存三維地圖圖資。三維地圖圖資包括多個點雲資料。處理器耦接影像擷取模組、定位模組以及記憶體。處理器用以存取記憶體。處理器分析當前路徑影像，以辨識在當前路徑影像中的特定物件的物件資訊。處理器依據定位資料將特定物件的物件資訊標註至三維地圖圖資中對應於特定物件的多個對應點雲資料中。

本揭露的無人載具語意地圖建置方法包括以下步驟：取得當前路徑影像；取得對應於當前路徑影像的定位資料；分析當前路徑影像，以辨識在當前路徑影像中的特定物件的物件資訊；以及依據定位資料將特定物件的物件資訊標註至三維地圖圖資中對應於特定物件的多個對應點雲資料中。

基於上述，本揭露的無人載具語意地圖建置系統及其建置方法可先辨識當前路徑影像中的特定物件的物件資訊，接著將特定物件的物件資訊標註至三維地圖圖資，以有效地建置供無人載具於自動駕駛操作時可使用的無人載具語意地圖。

為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本揭露之內容可以被更容易明瞭，以下特舉實施例做為本揭露確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本揭露的一實施例的無人載具語意地圖建置系統的示意圖。參考圖1，無人載具語意地圖建置系統100包括處理器110、影像擷取模組120、定位模組130以及記憶體140。記憶體用以儲存三維地圖圖資142。處理器110耦接影像擷取模組120、定位模組130以及記憶體140。在本實施例中，無人載具語意地圖建置系統100可設置在無人載具中，其中無人載具可例如是自駕車（Self-driving car）、無人船（Autonomous ship）或無人飛行載具（Unmanned Aerial Vehicle，UAV）等諸如此類的可實現自動駕駛的設備。當無人載具在路徑上移動時，影像擷取模組120可即時地連續擷取路徑影像，並且提供至處理器110進行分析。同時，定位模組130可即時地連續提供定位資料至處理器110。因此，處理器110可將路徑影像的分析結果依據對應定位資料來標註特定物件資訊至三維地圖圖資142當中，以實現有效率地地圖標註工作。並且，經標註有特定物件資訊的三維地圖圖資142可供無人載具進行自動駕駛操作時來讀取利用之。

在本實施例中，處理器110可例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）、其他類似處理裝置或這些裝置的組合。

在本實施例中，影像擷取模組120可例如是攝影機（Camera），並且可例如設置在無人載具上的載具周邊位置，以提供載具周邊的即時路徑影像（二維影像）至處理器110。處理器110可例如對即時路徑影像進行圖形辨識及影像分析，以辨識即時路徑影像中的特定物件的物件類型。

在本實施例中，定位模組130可例如是於三維光達（light detection and ranging, Lidar）地圖上（區域座標系）取得無人載具於三維光達地圖上的區域座標（相對位置），或例如是採用全球定位系統（Global Positioning System，GPS）來取得經緯度座標（絕對位置）。並且，定位模組130可設置在無人載具上，以即時提供無人載具的定位資料至處理器110。處理器110可例如依據定位資料來對應讀取三維地圖圖資142中可對應於即時路徑影像的三維路徑模型，以便於以下實施例中所述的點雲資料的投射及地圖標註使用。

在本實施例中，記憶體140可例如是動態隨機存取記憶體（Dynamic Random Access Memory，DRAM）、快閃記憶體（Flash memory）或非揮發性隨機存取記憶體（Non-Volatile Random Access Memory，NVRAM）等。在本實施例中，記憶體140可用於儲存三維地圖圖資142、相關影像處理程式以及影像資料等，以供處理器110讀取並執行之。

值得注意的是，本實施例的三維地圖圖資142可為三維點雲（Point cloud）模型，並且三維點雲模型可預先經由光達設備在路徑上進行感測後建立之，其中本揭露並不限制三維地圖圖資142取得的形式。三維點雲模型的每一點的原始點雲資料可例如包含有三維座標資料、強度資料或色彩資料等，而本實施例的無人載具語意地圖建置系統100將進一步將特定物件的物件資訊標註至三維點雲模型的對應特定點雲中。

此外，在本實施例中，無人載具語意地圖建置系統100的處理器110、影像擷取模組120、定位模組130以及記憶體140可都設置在無人載具中，但本揭露並不限於此。在一實施例中，影像擷取模組120以及定位模組130可設置在無人載具中，並且處理器110以及記憶體140可設置在雲端伺服器。因此，所述無人載具可無線通信於所述雲端伺服器，以將當前路徑影像以及定位資訊傳輸至雲端伺服器來進行運算，並進行地圖標註工作。在另一實施例中，所述地圖標註工作亦可在離線狀態下由其他電腦設備依據預先錄製的影像來執行之，並且再將標註好的相關地圖資訊載入無人載具中。

圖2是依照本揭露的一實施例的無人載具語意地圖建置方法的流程圖。圖3是依照本揭露的一實施例的當前路徑影像的示意圖。參考圖1至圖3，無人載具語意地圖建置系統100可執行步驟S210~S240來實現無人載具語意地圖建置，並且以下搭配圖3所舉例的自駕車的前方道路影像來說明之。在步驟S210中，無人載具語意地圖建置系統100可藉由影像擷取模組120來取得當前路徑影像300。當前路徑影像300為自駕車前方的當前道路影像。在步驟S220中，無人載具語意地圖建置系統100可藉由定位模組130取得對應於當前路徑影像300的定位資料。換言之，定位模組130可提供當前無人載具所在位置的定位資料。在步驟S230中，處理器110可分析當前路徑影像，以辨識在當前路徑影像300中的特定物件的物件資訊。對此，在圖3中，所述特定物件可以指的是道路影像中的特定交通物件，並且所述物件資訊可以指的是交通物件的交通物件資訊。

值得注意的是，如圖3所示，當前路徑影像300可包括在地面上的道路標線311~313、322、331~333、道路邊界321、323、交通標誌340、路樹351、352及建築物360等。在本實施例中，處理器110可利用預先訓練好的機器學習模組，例如深度學習（Deep learning）模組，辨識當前路徑影像300中的特定物件例如道路標線311~313、322、331~333、道路邊界321、323以及交通標誌340，以取得道路標線311~313、322、331~333、道路邊界321、323以及交通標誌340的物件資訊。在本實施例中，所述交通物件資訊可例如是包含道路標線311~313、322、331~333的標線方向、道路邊界321、323以及交通標誌340的各別的位置、種類與形狀等資訊，本揭露並不加以限制。

值得注意的是，本揭露的特定物件並不限於此。以自駕車行駛在道路上的情境為例，本揭露的特定物件可為路燈、交通標誌、交通號誌、道路標示、停車標示、道路邊界及道路標線等諸如此類的物件。並且，由於路樹351、352及建築物360並非自駕車感興趣的地圖資訊，因此處理器110可不對其進行辨識，而有效地減少不必要的處理器運算。此外，在另一實施例中，道路標線311~313、322、331~333、道路邊界321、323以及交通標誌340亦可由使用者以手動編輯的方式來輸入其的物件資訊。

在步驟S240中，處理器110可依據定位資料將特定物件的物件資訊標註至三維地圖圖資142中對應於特定物件的多個對應點雲資料中。換言之，無人載具語意地圖建置系統100可將道路標線311~313、322、331~333、道路邊界321、323等的多個交通物件資訊寫入至三維地圖圖資142中對應於道路標線311~313、322、331~333、道路邊界321、323以及交通標誌340的三維模型的多筆點雲資料中。對此，當無人載具進行自動駕駛操作時，無人載具可依據標註有特定物件的物件資訊的三維地圖圖資142來實現自動駕駛功能。然而，關於本實施例的具體的交通物件資訊的標註方法以下將以圖4以及圖5實施例來詳細說明之。

圖4是依照本揭露的一實施例的地圖標註方法的流程圖。圖5是依照本揭露的一實施例的當前路徑影像以及三維地圖圖資的標註示意圖。參考圖1、圖4以及圖5，在本實施例中，無人載具語意地圖建置系統100可執行步驟S410~S440，以實現地圖標註，並且以下搭配圖5所舉例的自駕車的前方道路影像來說明之。步驟S410~S440亦可為上述圖2實施例中的步驟S240的延伸實施範例。需先說明的是，在本實施例中，處理器110可依據預設辨識門檻來分析當前路徑影像400的一部分中的特定物件，其中預設辨識門檻可例如是以在無人載具周邊的固定距離長度或距離地面的固定高度來決定之。換言之，在本實施例中，由於無人載具持續行進，因此處理器110可先分析當前無人載具前的固定距離長度內的路徑影像。對此，由於無人載具感興趣的特定物件大多為位在距離無人載具周邊的固定範圍內或距離特定平面（如地面）的固定高度內的位置，因此處理器110無需分析路徑影像中不重要的區域，而可有效地節省無人載具語意地圖建置系統100的運算資源。

如圖5的當前路徑影像400所示，本實施例的處理器110可僅分析及辨識參考線401以下的路徑影像。並且，在上述步驟S230中，處理器110還可進一步決定在當前路徑影像400中的特定物件的物件範圍。換言之，在參考線401以下的路徑影像中，處理器110可定義出道路標線411~413、422、431~433、道路邊界421、423以及交通標誌440的物件範圍411R、412R、421R、422R、423R、431R、432R、440R。並且，如圖5的三維地圖圖資500所示，三維地圖圖資500當中包括有由多個點雲所形成的道路標線模型511~513、522、531~533、道路邊界模型521、523、交通標誌模型540、路樹模型551、552以及建築物模型560。

基於上述多個前提，無人載具語意地圖建置系統100執行以下步驟S410~S440。在步驟S410中，處理器110依據定位資料來讀取三維地圖圖資500中對應於當前路徑影像400的部分地圖圖資501。在本實施例中，部分地圖圖資501為在三維地圖圖資500中對應於當前路徑影像400的感興趣區域（Region of Interest, ROI）的部分，並且感興趣區域的範圍可依據影像擷取模組120的可視範圍及/或設置角度來決定。在步驟S420中，處理器110將部分地圖圖資501中的多個點雲資料投射至當前路徑影像400中。如圖5所示，處理器110將部分地圖圖資501當中多個點雲的每一資料點的位置經由座標轉換而投射至當路徑路影像400（例如參考線401以下的道路影像）。

接著，在步驟S430中，處理器110判斷位於當前路徑影像400的物件範圍411R、412R、421R、422R、423R、431R、432R、440R內的所述多個對應點雲資料。換言之，處理器110將留下對應於物件範圍411R、412R、421R、422R、423R、431R、432R、440R內的道路標線模型511、512、522、531、532、道路邊界模型521、523以及交通標誌模型540的多個點雲。在步驟S440中，處理器110將特定物件的物件資訊標註至多個對應點雲資料中。也就是說，處理器110將道路標線411~413、422、431~433、道路邊界421、423以及交通標誌440的各別的物件資訊標註至位於物件範圍411R、412R、421R、422R、423R、431R、432R、440R內的多個對應點雲資料中。並且，在本實施例中，處理器110將上述經標註的多個對應點雲資料更新至記憶體140中的三維地圖圖資142中的道路標線模型511、512、522、531、532、道路邊界模型521、523以及交通標誌模型540的多個對應點雲。據此，本實施例的地圖標註方法可使無人載具語意地圖建置系統100進行自動、有效率且可靠的地圖標註工作。

圖6是依照本揭露的一實施例的規劃移動路徑的流程圖。圖7是依照本揭露的一實施例的移動路徑的規劃示意圖。參考圖1、圖6以及圖7，無人載具語意地圖建置系統100可執行步驟S610~S620，以實現移動路徑規劃，並且以下搭配圖7所舉例的自駕車的行車環境700來說明之。在步驟S610中，當無人載具710具有已透過無人載具語意地圖建置系統100標註完成的路徑區段701中的多個特定物件的多個對應點雲資料時，處理器110將對應於路徑區段701的三維地圖圖資的部分儲存為一組資料集。

值得注意的是，路徑區段701是指介於兩個路口702、703之間的路徑以及包含兩個路口702、703。無人載具語意地圖建置系統100可依據所辨識到的車道停止線721、722所對應的路口702、703來定義路徑區段701的起始位置以及終點位置。在步驟S620中，處理器110可依據此組資料集來規劃對應於路徑區段701的移動路徑。對此，所述移動路徑是指無人載具710在路口702、703之間的道路邊界內的行駛路線（例如是直線行駛路線或非直線行駛路線）。換言之，本實施例的無人載具語意地圖建置系統100的語意地圖的儲存方式為將每一道路區段的三維地圖圖資儲存為每一組資料集，以便於無人載具行經某一路徑區段時可讀取對應的資料集，並且可快速地設定行駛路線。然而，關於路口702、703的行駛路線，將有關於無人載具710是否轉彎而決定之，本揭露並不加以限制路口的路線規劃方式。

綜上所述，本揭露的無人載具語意地圖建置系統以及無人載具語意地圖建置方法可藉由將三維地圖圖資的多個點雲投射至當前路徑影像的特定物件的物件範圍內，而可將特定物件的物件資訊快速地標註至三維地圖圖資的多個對應點雲資料中，因此可提供有效率的無人載具語意地圖建置功能。並且，本揭露的無人載具語意地圖建置系統以及無人載具語意地圖建置方法還可將一個路徑區段的標註結果來儲存為一組資料集，而使無人載具於自動駕駛操作時可直線快速規劃移動路徑的效果。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:無人載具語意地圖建置系統 110:處理器 120:影像擷取模組 130:定位模組 140:記憶體 142:三維地圖圖資 300、400:當前路徑影像 401:參考線 311~313、322、331~333、411~413、422、431~433:道路標線 321、323、421、423:道路邊界 340、440:交通標誌 351、352、451、452:路樹 360、460:建築物 500:三維地圖圖資 501:部分地圖圖資 511~513、522、531~533:道路標線模型 521、523:道路邊界模型 540:交通標誌模型 551、552:路樹模型 560:建築物模型 700:行車環境 701:路徑區段 702、703:路口 710:無人載具 721、722:車道停止線 S210~S240、S410~S440、S610、S620:步驟

圖1是依照本揭露的一實施例的無人載具語意地圖建置系統的示意圖。圖2是依照本揭露的一實施例的無人載具語意地圖建置方法的流程圖。圖3是依照本揭露的一實施例的當前路徑影像的示意圖。圖4是依照本揭露的一實施例的地圖標註方法的流程圖。圖5是依照本揭露的一實施例的當前路徑影像以及三維地圖圖資的標註示意圖。圖6是依照本揭露的一實施例的規劃移動路徑的流程圖。圖7是依照本揭露的一實施例的移動路徑的規劃示意圖。

100:無人載具語意地圖建置系統

110:處理器

120:影像擷取模組

130:定位模組

140:記憶體

142:三維地圖圖資

Claims

一種無人載具語意地圖建置系統，包括：一影像擷取模組，用以取得一當前路徑影像；一定位模組，用以取得對應於該當前路徑影像的一定位資料；一記憶體，用以儲存一三維地圖圖資，其中該三維地圖圖資包括多個點雲資料；以及一處理器，耦接該影像擷取模組、該定位模組以及該記憶體，並且用以存取該記憶體，其中該處理器分析該當前路徑影像，以辨識在該當前路徑影像中的一特定物件的一物件資訊，並且該處理器依據該定位資料將該特定物件的該物件資訊標註至該三維地圖圖資中對應於該特定物件的多個對應點雲資料中。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該處理器更決定在該當前路徑影像中的該特定物件的一物件範圍，並且該處理器依據該定位資料來讀取該三維地圖圖資中對應於該當前路徑影像的一部分地圖圖資，以及其中該處理器將該部分地圖圖資中的該些點雲資料投射至該當前路徑影像，並且該處理器判斷位於該當前路徑影像的該物件範圍內的所述多個對應點雲資料，以將該特定物件的該物件資訊標註至所述多個對應點雲資料中。
如申請專利範圍第2項所述的無人載具語意地圖建置系統，其中該部分地圖圖資為在該三維地圖圖資中對應於該當前路徑影像的一感興趣區域的部分，並且該感興趣區域的範圍依據該影像擷取模組的一可視範圍及/或一設置角度來決定。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該處理器將經標註的所述多個對應點雲資料更新至該記憶體中的該三維地圖圖資。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該處理器依據一預設辨識門檻來分析該當前路徑影像的一部分，以辨識在該當前路徑影像中的該特定物件。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該處理器藉由預先訓練好的一機器學習模組來辨識在該當前路徑影像中的該特定物件的該物件資訊。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該無人載具語意地圖建置系統適用於一自駕車，並且該特定物件為一路燈、一交通標誌、一交通號誌、一道路標示、一停車標示、一道路邊界及一道路標線的其中之一。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中當該處理器標註完成一路徑區段中的多個特定物件的該些對應點雲資料時，該處理器將對應於該路徑區段的該三維地圖圖資的部分儲存為一組資料集。
如申請專利範圍第8項所述的無人載具語意地圖建置系統，其中該處理器依據該組資料集來規劃對應於該路徑區段的一移動路徑。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該無人載具語意地圖建置系統設置在一無人載具中。
如申請專利範圍第1項所述的無人載具語意地圖建置系統，其中該影像擷取模組以及該定位模組設置在一無人載具中，並且該記憶體以及該處理器設置在一雲端伺服器，其中該無人載具無線通信於該雲端伺服器，以將該當前路徑影像以及該定位資訊傳輸至該雲端伺服器進行運算。
一種無人載具語意地圖建置方法，包括：取得一當前路徑影像；取得對應於該當前路徑影像的一定位資料；分析該當前路徑影像，以辨識在該當前路徑影像中的一特定物件的一物件資訊；以及依據該定位資料將該特定物件的該物件資訊標註至一三維地圖圖資中對應於該特定物件的多個對應點雲資料中。
如申請專利範圍第12項所述的無人載具語意地圖建置方法，其中分析該當前路徑影像的步驟更包括決定在該當前路徑影像中的該特定物件的一物件範圍，並且依據該定位資料將該特定物件的該物件資訊標註至該三維地圖圖資中對應於該特定物件的該些對應點雲資料中的步驟包括：依據該定位資料來讀取該三維地圖圖資中對應於該當前路徑影像的一部分地圖圖資；將該部分地圖圖資中的該些點雲資料投射至該當前路徑影像；判斷位於該當前路徑影像的該物件範圍內的所述多個對應點雲資料；以及將該特定物件的該物件資訊標註至所述多個對應點雲資料中。
如申請專利範圍第13項所述的無人載具語意地圖建置方法，其中該部分地圖圖資為在該三維地圖圖資中對應於該當前路徑影像的一感興趣區域的部分，並且該感興趣區域的範圍依據一影像擷取模組的一可視範圍及/或一設置角度來決定。
如申請專利範圍第12項所述的無人載具語意地圖建置方法，其中依據該定位資料將該特定物件的該物件資訊標註至該三維地圖圖資中對應於該特定物件的該些對應點雲資料中的步驟更包括：將經標註的所述多個對應點雲資料更新至該三維地圖圖資。
如申請專利範圍第12項所述的無人載具語意地圖建置方法，其中分析該當前路徑影像，以辨識在該當前路徑影像中的該特定物件的該物件資訊的步驟包括：依據一預設辨識門檻來分析該當前路徑影像的一部分，以辨識在該當前路徑影像中的該特定物件。
如申請專利範圍第12項所述的無人載具語意地圖建置方法，其中分析該當前路徑影像，以辨識在該當前路徑影像中的該特定物件的該物件資訊的步驟包括：藉由預先訓練好的一機器學習模組來辨識在該當前路徑影像中的該特定物件的該物件資訊。
如申請專利範圍第12項所述的無人載具語意地圖建置方法，其中該無人載具語意地圖建置方法適用於一自駕車，並且該特定物件為一路燈、一交通標誌、一交通號誌、一道路標示、一停車標示、一道路邊界及一道路標線的其中之一。
如申請專利範圍第12項所述的無人載具語意地圖建置方法，更包括：當具有標註完成一路徑區段中的多個特定通物件的該些對應點雲資料時，將對應於該路徑區段的該三維地圖圖資的部分儲存為一組資料集。
如申請專利範圍第19項所述的無人載具語意地圖建置方法，更包括：依據該組資料集來規劃對應於該路徑區段的一移動路徑。