TW202230290A - 地圖建構裝置及方法 - Google Patents

地圖建構裝置及方法 Download PDF

Info

Publication number
TW202230290A
TW202230290A TW110106507A TW110106507A TW202230290A TW 202230290 A TW202230290 A TW 202230290A TW 110106507 A TW110106507 A TW 110106507A TW 110106507 A TW110106507 A TW 110106507A TW 202230290 A TW202230290 A TW 202230290A
Authority
TW
Taiwan
Prior art keywords
map
grids
dimensional
dimensional map
occupied
Prior art date
Application number
TW110106507A
Other languages
English (en)
Inventor
何品萱
陳晏誼
蕭佩琪
Original Assignee
中強光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司 filed Critical 中強光電股份有限公司
Publication of TW202230290A publication Critical patent/TW202230290A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3881—Tile-based structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明實施例提出地圖建構裝置及方法。在此方法中，取得三維地圖，將三維地圖轉換為初始二維地圖，透過訓練模型判斷初始二維地圖上的那些網格的佔據機率，並依據網格的占據機率產生最終二維地圖。三維地圖是依據掃描建築空間所產生的深度資訊所建構。初始二維地圖劃分成數個網格。各網格的佔據機率相關於其上是否有物件佔據。最終二維地圖是依據那些網格所劃分，且最終二維地圖上的那些網格已決定其上是否有物件佔據。藉此，本發明的地圖建構裝置及方法可產生高精確性的二維地圖。

Description

地圖建構裝置及方法
本發明是有關於一種繪製地圖，且特別是有關於一種地圖建構裝置及方法。
隨著工業自動化的快速發展，無人搬運車(或稱自動導引車(Automated Guided Vehicle，AGV))成為智慧物流自動化領域的重要研究開發項目，且現今無人搬運車已應用在諸如工廠搬運、倉儲物流、醫療器械運輸、自動停車等場景中。在不需要人工引導下，無人搬運車可在已建立的地圖環境中，在既定路線上進行自動駕駛，從而解決重複性的運輸工作。由此可知，若欲達成前述自動導航的功能，對所處環境建構精確的地圖是相同重要的。
“先前技術”段落只是用來幫助瞭解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表所述內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種地圖建構裝置及方法，將機器學習(machine learning)演算法應用在佔據網格地圖(Occupancy Grid Map)，並藉以提升障礙物位置辨識的精確度。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的瞭解。
為達上述的一或部份或全部目的或是其他目的，本發明的一實施例提出的地圖建構方法包括(但不僅限於)下列步驟：取得三維地圖，將三維地圖轉換為初始二維地圖，透過訓練模型判斷初始二維地圖上的那些網格的佔據機率，並依據網格的占據機率產生最終二維地圖。三維地圖是依據掃描建築空間所產生的深度資訊所建構。初始二維地圖劃分成數個網格。各網格的佔據機率相關於其上是否有物件佔據。最終二維地圖是依據那些網格所劃分，且最終二維地圖上的那些網格已決定其上是否有物件佔據。藉此，可產生精確的二維地圖。
為達上述的一或部份或全部目的或是其他目的，本發明的一實施例提出的地圖建構裝置包括(但不僅限於)儲存器及處理器。儲存器用以儲存數個軟體模組。處理器耦接儲存器，載入並執行那些軟體模組。那些軟體模組包括二維轉換模組及地圖建構模組。二維轉換模組取得三維地圖，並將三維地圖轉換成初始二維地圖。三維地圖是依據掃描建築空間所產生的深度資訊所建構，且初始二維地圖劃分成數個網格。地圖建構模組透過訓練模型判斷初始二維地圖上的那些網格的佔據機率，並依據那些網格的佔據機率產生最終二維地圖。各網格的佔據機率相關於其上是否有物件佔據。訓練模型是基於機器學習演算法所建構，最終二維地圖是依據那些網格所劃分，且最終二維地圖上的那些網格已決定其上是否有物件佔據。
基於上述，依據本發明實施例的地圖建構裝置及方法，透過訓練模型來判斷網格的佔據率，並據以產生最終二維地圖。藉此，可更加精確地區分出障礙物區域，進而利搬運任務規劃與物流管理。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式的一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。並且，以下實施例中所提到的「耦接」一詞可指任何直接或間接的連接手段。此外，「信號」一詞可指至少一電流、電壓、電荷、溫度、資料、電磁波或任何其他一或多個信號。
圖1是依據本發明一實施例的地圖建構裝置100的元件方塊圖。請參照圖1，地圖建構裝置100包括但不僅限於儲存器110及處理器150。地圖建構裝置100可例如是桌上型電腦、筆記型電腦、AIO電腦、智慧型手機、平板電腦、或伺服器等裝置。在一些實施例中，地圖建構裝置100可進一步整合在無人載具或三維掃描裝置。
儲存器110可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，儲存器110用以記錄程式碼、軟體模組(例如，二維轉換模組111、地圖建構模組113及位姿轉換模組115)、組態配置、資料或檔案(例如，深度資訊、二維地圖、訓練模型、訓練資料、三維地圖等)，並待後續實施例詳述。
處理器150耦接儲存器110，處理器150並可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器150用以執行地圖建構裝置100的所有或部份作業，且可載入並執行儲存器110所記錄的各軟體模組、檔案及資料。
為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中地圖建構裝置100的運作流程。下文中，將搭配地圖建構裝置100中的各裝置及其元件或模組說明本發明實施例所述的方法。
圖2是依據本發明一實施例的地圖建構方法的流程圖。請參照圖2，二維轉換模組111取得三維地圖(步驟S210)。具體而言，這三維地圖是依據掃描建築空間所產生的深度資訊所建構。例如，二維轉換模組111可透過外部、外接或內建的深度感測器、紅外線測距器、飛行時間(Time of Flight，ToF)相機、LiDAR感測器、超音波感測器、雷達或其測距相關感測器(後文統稱距離感測裝置)掃描建築空間(例如，廠房、房間或辦公室)，以取得所在位置的掃瞄範圍內外部物件(或稱障礙物)的深度或距離資訊。三維地圖可以是三維的點雲(point cloud)、網格(mesh)或相似三維模型格式的地圖。以點雲圖作為範例，距離感測裝置可依據感測資料(例如，場景影像)中對應於各像素/區塊的深度資訊映射到空白的三維空間座標中。而在所有這些像素/區塊都映射之後，將產生三維場景點雲(即，三維地圖)。原始三維場景點雲中的各點包括建築空間中三維位置資訊與物體表面的反射量，即可保留物體與環境的幾何資訊。
二維轉換模組111可將三維地圖轉換為初始二維地圖(步驟S230)。在一實施例中，前述距離感測裝置可基於同步定位與地圖構建(Simultaneous Localization And Mapping，SLAM)的導航技術來產生三維地圖，且其過程中不需要貼磁條、反光板、二維條碼或鋪設軌道，而是採用空間掃描點定位。
具體而言，圖3是依據本發明一實施例的地圖轉換的流程圖。請參照圖3，三維地圖包括距離感測裝置每次對建築空間掃描所產生的多張場景影像，而各場景影像記錄當前擷取的深度資訊(即，與外部物件的相對距離)。舉例而言，圖4A是一範例說明距離感測裝置所取得的三維地圖，且圖4B是另一範例說明距離感測裝置所取得的三維地圖。請參照圖4A及圖4B，以點雲圖為例，其可觀察出物件的雛型。
二維轉換模組111可依據各場景影像對應的距離感測裝置的姿態資訊分別轉換那些場景影像到世界座標系(步驟S310)。具體而言，各場景影像是距離感測裝置在一個特定位置及特定姿態(記錄在位姿資訊)所掃描到的。二維轉換模組111將取得這些在每個時刻所掃描的影像/幀，並依據對應於距離感測裝置的位姿資訊將三維地圖中的各場景影像轉換至世界座標系。此世界座標系即是針對所掃描建築空間形成的三維座標系。
二維轉換模組111可依據興趣區域及高度範圍將位於世界座標系的那些場景影像轉換為初始二維地圖(步驟S330)。具體而言，興趣區域是在地圖中事先定義或事後自訂所欲處理的區域，並可視實際情況而變更。而高度範圍對應於距離感測裝置的高度。例如，高度範圍大致為裝載有無人車的距離感測裝置的上方一公尺處及其下方兩公尺處的範圍。在一些實施例中，高度範圍相關於後續使用二維地圖進行導航的移動載具或人員的高度。二維轉換模組111可依據世界座標系並提取特定高度範圍的三維地圖，以轉換或投影為二維地圖(或稱平面地圖)。
在一實施例中，二維轉換模組111可將初始二維地圖劃分成數個網格，並取得佔據網格及非佔據網格的座標(步驟S350)。具體而言，應用於室內導航地圖主要有三種：度量地圖 (Metric Map)、拓撲地圖(Topological Map)和佔據網格地圖(Occupancy Grid Map)。(1) 度量地圖以精確數值直接表示二維地圖中地點或物體的位置關係。例如，二維地圖中各地點以經緯度表示。(2) 拓撲地圖表示法為一種圖(Graph)結構，各地點或重要位置以節點表示，節點之間有邊的連線關係。此拓撲地圖可由度量地圖等其他地圖表示法通過相關演算法來提取。(3) 佔據網格地圖是最常應用於無人車以及機器人對環境認知的描述法。
二維轉換模組111是將初始二維地圖以佔據網格地圖的形式呈現。而佔據網格地圖中對環境分割所形成的數個單位區域可稱為網格(grid)，且各網格將標示有被物件(或稱障礙物)佔據的機率(後文簡稱佔據機率，即相關於其上是否有物件佔據或被物件佔據的可能性)。佔據網格地圖通常以灰階影像呈現，其中像素即為網格。灰階影像中的像素可能為全黑、全白或灰色。全黑像素表示對應位置其上被物件佔據的機率(即，佔據機率)較大(假設佔據機率為0至1，則全黑像素的佔據機率例如是大於0.8或0.85)。全白像素表示移動載具或人員可通行區域，且對應位置的佔據機率較小(例如，全白像素的佔據機率例如是小於0.6或0.65)。而灰色像素表示建築空間尚未被探索之區域，其被物件佔據的機率值介於全黑像素對應機率值下限與全白像素對應機率值上限之間(例如，灰色像素的佔據機率為0.65或0.6)。
地圖建構模組113可透過訓練模型判斷初始二維地圖上的網格的佔據機率(步驟S250)。具體而言，現有技術僅將三維點雲圖投影到二維平面上的作法會面臨許多挑戰：(1) 直接投影後的平面地圖為稀疏的點狀資訊，不僅與傳統影像不同，且無法清楚顯現環境與障礙物等目標物體全貌；(2) 點雲資料分布相當不平均，靠近距離感測裝置的點雲數量遠大於遠處的點雲數量；(3) 直接投影之方法無法移除雜訊和不重要的點資訊，但目標障礙物(例如，棧板貨架)可能點雲數量較少。為了前述部分或全部的技術問題或其他技術問題，本發明實施例可採用機器學習演算法來產生佔據網格地圖的二維地圖，以減少雜訊和不重要的點資訊，進而提升區分真實的目標障礙物(例如棧板、貨架、牆壁等)的關注。
機器學習演算法可以是卷積神經網絡(Convolutional Neural Network，CNN)、自動編碼器(AutoEncoder)(例如，變動貝氏捲積自動編碼器(variational Bayesian convolutional auto‐encoder) 的無監督學習(unsupervised learning)方法)、遞迴神經網路(Recurrent Neural Network，RNN) (即，深度學習的神經網路)、多層感知器(Multi-Layer Perceptron，MLP)、支持向量機(Support Vector Machine，SVM)或其他演算法。機器學習演算法可分析訓練樣本以自中獲得規律，從而透過規律對未知資料預測。而訓練模型即是經學習後所建構出的機器學習模型(對應於前述規律)，並據以對待評估資料推論。
在一實施例中，地圖建構模組113可基於距離感測裝置每次/單次掃描所得的場景影像建構出多層的佔據網格地圖作為神 經網路的輸入。而多層的佔據網格地圖資訊還包含三個特徵:偵測(detections)、傳輸(transmissions)和強度(intensity)，以用於地面分割計算，並訓練神經網路產生全域的佔據網格地圖。訓練過程即為每次場景影像的建圖的計算過程，且無須使用場景的測量地圖訓練(即，無監督學習(unsupervised learning)，並未使用事先訓練的基準真相(ground truth))。在訓練模型的訓練過程中，地圖建構模組113可輸入每個時刻掃描影像/幀的初始二維地圖提取佔據網格與非佔據網格的座標，以每個時刻影像/幀的佔據網格與非佔據網格的座標作為訓練資料，進而訓練網路(即，訓練模型)學習分辨出當前網格是否為佔據網格，且預測結果以佔據機率表示。在一些實施例中，模型訓練過程可加入場景的全域二維地圖幫助訓練運算。
在一些實施例中，神經網路運算可以 PyTorch或其他機器學習庫實作，並以Adam optimizer 或其他學習優化器優化神經網路模型參數。其中，地圖建構模組113可使用學習率衰減優化 (learning rate decay)，並在訓練過程動態調整降低網路訓練的學習率。而訓練初期先採用較大學習率，並隨訓練次數增加而逐漸調降學習率。此外，處理器150可以使用 GPU或其他神經網路加速器加速運算。另一方面，神經網路的架構可由 6 層或更其他層的全連接層(fully‐connected layer)組成，各輸出通道(channel)數例如分別為 64、512、512、256、128及1，再經由激活函數(例如，sigmoid、ReLU或TanH)計算出佔據機率。
在一實施例中，地圖建構模組113可依據輸入的初始二維地圖提取出佔據網格(即，被物件佔據的網格)與非佔據網格(即，未被物件佔據的網格)的座標。舉例而言，圖5A是一範例說明初始二維地圖。請參照圖5A，假設目前的初始二維地圖是僅自三維地圖轉換的。圖5B是一範例說明掃描障礙物的示意圖。請參照圖5B，在距離感測裝置S掃描過程中，將在其所在位置每次發射掃描光線L。當光線L打中(hit)建築空間中的物件時，其對應的座標位置的網格501以黑色表示。而當光線L穿透過沒打中(miss)區域之網格502以白色表示。此外，以灰色表示的網格503代表光線L尚未掃描到的區域。此外，佔據網格的座標是指網格501所在位置對應的座標，且非佔據網格的座標是指網格502所在位置對應的座標。經過多次掃描後，每個位置的網格持續更新表示物件存在之佔據機率: p(m i|z 1:t,x 1:t)，其中 m i表示地圖上第 i 個網格，z 1:t表示時間 1 到 t (t為正整數)的測量值，且 x 1:t表示距離感測裝置經過時間 1 到 t 的位姿資訊。
地圖建構模組113可依據那些網格的佔據機率產生最終二維地圖(步驟S270)。具體而言，最終二維地圖也是依據那些網格所劃分(即，佔據網格地圖形式)，且這最終二維地圖上的那些網格已依據對應佔據機率決定其上是否有物件佔據。
圖6是依據本發明一實施例的最終二維地圖的產生的流程圖。請參照圖6，地圖建構模組113可將初始二維地圖的佔據網格與非佔據網格的座標經由訓練模型推論，以預測初始二維地圖上各網格是否被佔據，進而判斷佔據機率(步驟S610)。而前述佔據機率的問題將此視為二元分類問題。
地圖建構模組113可基於二元分類決定預測結果的損失(loss)程度(步驟S630)。具體而言，這二元分類相關於有物件佔據與未有物件佔據兩種類別。預測結果相關於前述那些網格初始經由訓練模型推論的佔據機率。而損失程度相關於預測結果與對應的實際結果之間的差異。例如，預測結果的佔據機率與實際結果的差值。
在一實施例中，在二元分類問題中，地圖建構模組113可使用的損失函數為二元交叉熵(Binary Cross Entropy，BCE)來決定損失程度。即，地圖建構模組113計算目標輸出(即，實際結果)以及預測輸出(預測結果)之間的二元交叉熵。
然而，地圖中通常非佔據網格的數量遠大於佔據網格，並造成類別不平衡(class imbalance)問題。在另一實施例中，地圖建構模組113可透過二元焦點損失(binary focal loss)函數決定損失程度(步驟S630)。這二元焦點損失函數是基於那些網格中的數個佔據網格及數個非佔據網格的座標。二元焦點損失(binary focal loss)函數的定義如下：
Figure 02_image001
…(1) FL為二元焦點損失函數，y為實際結果，p為訓練模型所輸出的佔據機率，
Figure 02_image003
為權重。而本發明實施例用於訓練模型的神經網路
Figure 02_image005
的損失函數L可定義為：
Figure 02_image007
…(2) 方程式(2)表示計算平均所有 K 個幀(frame)的二維地圖中所有網格/點位置的二元焦點損失(K為正整數)，其中
Figure 02_image009
表示第 K 個幀的二維地圖以世界座標系的位置作為輸入的佔據網格，
Figure 02_image011
表示非佔據網格，並從佔據網格與距離感測裝置之間之直線距離提取位置點。而透過降低容易分類數據(well‐classified examples)的權重，可幫助訓練模型的關注學習較難分類的數據範例(hard examples)，即訓練模型的關注分類障礙物區域(即，佔據網格)。
須說明的是，在一些實施例中，損失函數也可能是諸如加權二元交叉熵、平衡交叉熵、均方誤差(Mean-Square Error，MSE)、平均絕對值誤差(Mean Absolute Error，MAE)或其他函數。此外，不限於訓練模型，在一些實施例中，地圖建構模組113也可利用二值貝氏濾波(Binary Bayes Filter)演算法計算各網格的佔據機率。
地圖建構模組113可依據損失程度更新訓練模型(步驟S650)。具體而言，地圖建構模組113可比較損失程度與預設的損失門檻值。若損失程度未超過損失門檻值，則訓練模型可維持不變或不用重新訓練。而若損失程度超過損失門檻值，則可能需要對訓練模型重新訓練或修正。地圖建構模組113可經由反向傳播更新訓練模型的參數。此參數例如是神經網路中的權重參數。
地圖建構模組113可透過更新的訓練模型更新那些網格的佔據機率(步驟S670)。此更新的訓練模型是已考量到預測結果與實際結果之間損失程度，在一些情況下，更新的佔據機率應相較於先前預測結果更加接近非佔據網格或佔據網格對應的佔據機率。例如，佔據機率是0至1之間的值，且佔據機率隨更新而越接近1(對應於佔據網格)，或佔據機率越接近0(對應於非佔據網格)。此外，地圖建構模組113可基於更新的佔據機率來產生暫存地圖(步驟S680)。即，暫存地圖中的各網格是依據更新的佔據機率來決定是否為佔據網格、非佔據網格或未掃描網格。
地圖建構模組113可遞迴更新訓練模型。其中，每當訓練模型被更新一次，地圖建構模組113可累積訓練次數。地圖建構模組113可判斷累積的訓練次數是否達到預定訓練次數(步驟S685)，並依據訓練次數終止更新訓練模型。具體而言，若累積的訓練次數尚未達到預定訓練次數，則地圖建構模組113再次透過訓練模型判斷佔據機率(返回步驟S610)。而若累積的訓練次數已達到預定訓練次數，則地圖建構模組113將停止終止更新訓練模型，並輸出最終二維地圖(步驟S690)。相似地，最終二維地圖也是劃分成數個網格，且那些網格可如圖5A所示灰階圖。其中，全黑網格501代表佔據網格(即，此網格的佔據機率符合佔據網格的機率，例如其佔據機率大於0.85或0.8)，全白網格502代表非佔據網格(即，此網格的佔據機率符合未佔據網格的機率，例如其佔據機率小於0.65或0.5)，且灰色網格503代表未掃描網格(即，此網格的佔據機率符合未掃描網格的機率，例如其佔據機率大約為0.65或6)。在一些實施例中，網格不限於前述黑、白及灰色方式呈現，且可視實際需求而變更視覺形式。
除了前述針對使用深度學習優化方法生成全域性的二維佔據網格地圖，本發明實施利也可對場景影像進行物件辨識。值得注意的是，自動搬運車(例如，叉車起重貨物)需要知道倉儲位置，但貨架形狀有非常多種。若欲達成順利辨識位置，則事先必須訓練大量資料。為了有效率完成辨識並能精準定位，本發明實施例可結合物件辨識。物件辨識功能包含了從三維地圖中分辨出物件(例如，棧板、貨架、牆壁等)佔據了那些點或像素之外，也會輸出物件的代表位置與朝向，並據以更新最終二維地圖。
具體而言，圖7是依據本發明一實施例的基於物件辨識的地圖更新的流程圖。請參照圖7，相似地，三維地圖可包括每次對建築空間掃描所產生的多張場景影像，且各場景影像記錄當前擷取的距離或深度資訊。位姿轉換模組115可拼接那些場景影像，以產生場景集合(步驟S710)。以點雲圖為例，場景集合是距離感測裝置每次掃描所產生的點雲圖的集合。而拼接方式可依據距離感測裝置的位姿資訊來結合那些場景集合。
位姿轉換模組115可對這場景集合取得預測物件的辨識結果(步驟S730)。值得注意的是，場景集合不像影像中的像素其順序隱含了空間上的結構，且其無序的資料結構會造成建構訓練模型的困難。在一實施例中，位姿轉換模組115可提取數個影像特徵。例如，PointNet提出利用一個對稱函數(例如，最大池化(Max pooling)提取特徵來解決無序性，且其所提取的特徵屬於全域性的特徵。而若欲提取局部性的特徵，則位姿轉換模組115可採用 PointNet++。然而，對於物件的點雲結構沒有一些突出或變形的形狀，且使用全域性特徵應已足夠。位姿轉換模組115可透過 PointNet 架構提取點影像特徵以用於後續物件辨識。位姿轉換模組115可事先蒐集一些預設物件的二維影像作為訓練資料以進行監督式學習。位姿轉換模組115可透過Open3D或其他資料庫進行訓練與辨識，並輸出點層級的分類結果，接續將鄰近語意點雲匯集切割成語意物件。位姿轉換模組115可依據那些影像特徵辨識場景集合中的預設物件(例如，例如，棧板、貨架、牆壁等)。即，分割的語意物件符合預設物件，則可視為辨識出預設物件。而若分割的語意物件不符合預設物件，則可視為未辨識出預設物件。
須說明的是，特徵擷取的學習架構不限於前述PointNet及PointNet++，並可視實際需求而變更為其他架構。
位姿轉換模組115可比對辨識出的預設物件與參考物件，並依據與參考物件的比對結果決定預設物件的位置及朝向。具體而言，位姿轉換模組115可將此語意物件與參考物件(即，標準物件，並已定義代表位置及朝向)進行匹配，匹配後將參考物件的代表位置(例如，中心、輪廓、或角的所在位置)與朝向轉換到辨識出的預設物件的語意物件，且最終輸出所辨識出的預設物件的位置與朝向(即，辨識結果，並相關於位姿)。
須說明是，在一些實施例中，位姿轉換模組115可額外產生第二訓練模型，並用以直接對場景集合預測其中的預設物件的位置及朝向。
位姿轉換模組115可將對應於預設物件的辨識結果轉換到地圖座標系(步驟S750)。此地圖座標系即是前述最終二維地圖所用的座標系。位姿轉換模組115可依據所辨識出的預設物件的位置及朝向更新最終二維地圖(步驟S770)。例如，位姿轉換模組115可依據位姿的辨識結果將所辨識出的預設物件標記在最終二維地圖上。
圖8A是一範例說明對物件的影像分割。請參照圖8A，位姿轉換模組115可辨識出場景集合中存在預設物件O(以棧板為例)。圖8B是一範例說明物件及其朝向辨識。請參照圖8B，位姿轉換模組115可進一步決定預設物件O的代表位置及其朝向D。圖8C是一範例說明更新的最終二維地圖。請參照圖8C，預設物件O將依據決定的朝向D標記在最終二維地圖上。
為幫助讀者理解本發明實施例的成效，以下將舉數個範例說明，但其內容並非用於限制本發明實施例。圖9A是一範例說明在無人車使用高度直接投影的平面點雲圖，且圖9B是一範例說明依據本發明實施例所產生的最終二維地圖。請參照圖9A及圖9B，相比之下，圖9B減少了許多雜訊及不重要的點資訊，並保留地圖場景結構性。
圖9C是一範例說明將各時刻掃描幀(frame)的點雲圖作為訓練資料所產生的最終二維地圖，且圖9D是一範例將各時刻掃描幀的點雲圖及全域點雲圖作為訓練資料所產生的最終二維地圖。請參照圖9C及圖9D，相比之下，圖9D的場景周圍邊界與細節完整性較高。
圖9E是一範例基於二元交叉熵損失(binary cross entropy loss)所產生的最終二維地圖，且圖9F是一範例基於二元焦點損失(binary focal loss)所產生的最終二維地圖。請參照圖9E及圖9F，相比之下，圖9F中部分障礙物的輪廓較為明確。例如，圖9E中的如棧板貨架等原始點雲資訊較少。
綜上所述，本發明實施例的地圖建構裝置及方法，可利用訓練模型來判斷佔據網格及非佔據網格，基於二元分類改進預測結果，並結合物件辨識來標示預設物件的位置及朝向。藉此，可避免三維感測裝置蒐集點雲的雜訊影響，且產生的地圖成果較無雜點。生成地圖的模型訓練過程即為建圖的計算過程，無須使用訓練場景的測量地圖及地圖基準真相。依據位姿轉換資訊轉換三維點雲至平面點雲，可提取較多地圖處理區域的點雲，避免地圖以外區域的計算，進而減少運算設備的記憶體使用與運算時間成本。此外，透過點雲辨識物件朝向，標示出預設物件位置於導航地圖中，可利後續倉儲管理導航應用。
惟以上所述者，僅為本發明的較佳實施例而已，當不能以此限定本發明實施的範圍，即大凡依本發明申請專利範圍及發明說明內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露的全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明的權利範圍。此外，申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
100:地圖建構裝置 110:儲存器 111:二維轉換模組 113:地圖建構模組 115:位姿轉換模組 150:處理器 S210~S270、S310~S350、S610~S690、S710~S770:步驟 501~503:網格 L:光線 S:距離感測裝置 O:預設物件 D:朝向。
圖1是依據本發明一實施例的地圖建構裝置的元件方塊圖。 圖2是依據本發明一實施例的地圖建構方法的流程圖。 圖3是依據本發明一實施例的地圖轉換的流程圖。 圖4A是一範例說明距離感測裝置所取得的三維地圖。 圖4B是另一範例說明距離感測裝置所取得的三維地圖。 圖5A是一範例說明初始二維地圖。 圖5B是一範例說明掃描障礙物的示意圖。 圖6是依據本發明一實施例的最終二維地圖的產生的流程圖。 圖7是依據本發明一實施例的基於物件辨識的地圖更新的流程圖。 圖8A是一範例說明對物件的影像分割。 圖8B是一範例說明物件及其朝向辨識。 圖8C是一範例說明更新的最終二維地圖。 圖9A是一範例說明在無人車使用高度直接投影的平面點雲圖。 圖9B是一範例說明依據本發明實施例所產生的最終二維地圖。 圖9C是一範例說明將各時刻掃描幀(frame)的點雲圖作為訓練資料所產生的最終二維地圖。 圖9D是一範例將各時刻掃描幀的點雲圖及全域點雲圖作為訓練資料所產生的最終二維地圖。 圖9E是一範例基於二元交叉熵損失(binary cross entropy loss)所產生的最終二維地圖。 圖9F是一範例基於二元焦點損失(binary focal loss)所產生的最終二維地圖。
S210~S270:步驟

Claims (16)

  1. 一種地圖建構方法，包括： 取得一三維地圖，其中該三維地圖是依據掃描一建築空間所產生的深度資訊所建構； 將該三維地圖轉換為一初始二維地圖，其中該初始二維地圖劃分成多個網格； 透過一訓練模型判斷該初始二維地圖上的該些網格的佔據機率，其中每一該網格的佔據機率相關於其上是否有物件佔據；以及 依據該些網格的佔據機率產生一最終二維地圖，其中該最終二維地圖是依據該些網格所劃分，且該最終二維地圖上的該些網格已決定其上是否有物件佔據。
  2. 如請求項1所述的地圖建構方法，其中透過該訓練模型判斷該初始二維地圖上的該些網格的佔據機率的步驟包括： 基於一二元分類決定一預測結果的一損失(loss)程度，其中該二元分類相關於有物件佔據與未有物件佔據，該預測結果相關於該些網格的佔據機率，且該損失程度相關於該預測結果與對應的實際結果之間的差異；以及 依據該損失程度更新該訓練模型。
  3. 如請求項2所述的地圖建構方法，其中決定該預測結果的該損失程度的步驟包括： 透過一二元焦點損失(binary focal loss)函數決定該損失程度，其中該二元焦點損失函數是基於該些網格中的多個佔據網格及多個非佔據網格的座標，每一該佔據網格是有物件佔據的一該網格，且每一該非佔據網格是未有物件佔據的一該網格。
  4. 如請求項2所述的地圖建構方法，其中透過該訓練模型判斷該初始二維地圖上的該些網格的佔據機率的步驟包括： 透過更新的該訓練模型更新該些網格的佔據機率；以及 遞迴更新該訓練模型，並依據一訓練次數終止更新該訓練模型。
  5. 如請求項1所述的地圖建構方法，其中該三維地圖包括每次對該建築空間掃描所產生的多張場景影像，每一該場景影像記錄當前擷取的深度資訊，且將該三維地圖轉換為該初始二維地圖的步驟包括： 依據每一該場景影像對應的一距離感測裝置的姿態資訊分別轉換該些場景影像到一世界座標系；以及 依據一興趣區域及一高度範圍將位於該世界座標系的該些場景影像轉換為該初始二維地圖，其中該高度範圍對應於該距離感測裝置的高度。
  6. 如請求項1所述的地圖建構方法，其中該三維地圖包括每次對該建築空間掃描所產生的多張場景影像，每一該場景影像記錄當前擷取的深度資訊，且該地圖建構方法更包括： 拼接該些場景影像，以產生一場景集合； 對該場景集合提取多個影像特徵；以及 依據該些影像特徵辨識該場景集合中的預設物件。
  7. 如請求項6所述的地圖建構方法，其中辨識該場景集合中的預設物件的步驟之後，更包括： 比對該預設物件與一參考物件；以及 依據與該參考物件的比對結果決定該預設物件的位置及朝向。
  8. 如請求項7所述的地圖建構方法，其中依據該些網格的佔據機率產生該最終二維地圖的步驟包括： 依據該預設物件的位置及朝向更新該最終二維地圖，其中該預設物件轉換到一地圖座標系上並標記在該最終二維地圖上。
  9. 一種地圖建構裝置，包括： 一儲存器，儲存多個軟體模組；以及 一處理器，耦接該儲存器，載入且執行該些軟體模組，其中該些軟體模組包括： 一二維轉換模組，取得一三維地圖，並將該三維地圖轉換為一初始二維地圖，其中該三維地圖是依據掃描一建築空間所產生的深度資訊所建構，且該初始二維地圖劃分成多個網格；以及 一地圖建構模組，透過一訓練模型判斷該初始二維地圖上的該些網格的佔據機率，並依據該些網格的佔據機率產生一最終二維地圖，其中每一該網格的佔據機率相關於其上是否有物件佔據，該訓練模型是基於一機器學習演算法所建構，該最終二維地圖是依據該些網格所劃分，且該最終二維地圖上的該些網格已決定其上是否有物件佔據。
  10. 如請求項9所述的地圖建構裝置，其中該地圖建構模組基於一二元分類決定一預測結果的一損失程度，且該地圖建構模組依據該損失程度更新該訓練模型，其中該二元分類相關於有物件佔據與未有物件佔據，該預測結果相關於該些網格的佔據機率，且該損失程度相關於該預測結果與對應的實際結果之間的差異。
  11. 如請求項10所述的地圖建構裝置，其中該地圖建構模組透過一二元焦點損失函數決定該損失程度，其中該二元焦點損失函數是基於該些網格中的多個佔據網格及多個非佔據網格的座標，每一該佔據網格是有物件佔據的一該網格，且每一該非佔據網格是未有物件佔據的一該網格。
  12. 如請求項10所述的地圖建構裝置，其中該地圖建構模組透過更新的該訓練模型判斷該些網格的佔據機率，且該地圖建構模組遞迴更新該訓練模型並依據一訓練次數終止更新該訓練模型。
  13. 如請求項9所述的地圖建構裝置，其中該三維地圖包括每次對該建築空間掃描所產生的多張場景影像，每一該場景影像記錄當前擷取的深度資訊，該二維轉換模組依據每一該場景影像對應的一距離感測裝置的姿態資訊分別轉換該些場景影像到一世界座標系，且該二維轉換模組依據一興趣區域及一高度範圍將位於該世界座標系的該些場景影像轉換為該初始二維地圖，其中該高度範圍對應於該距離感測裝置的高度。
  14. 如請求項9所述的地圖建構裝置，其中該些軟體模組更包括： 一位姿轉換模組，拼接該些場景影像以產生一場景集合，對該場景集合提取多個影像特徵，並依據該些影像特徵辨識該場景集合中的預設物件。
  15. 如請求項14所述的地圖建構裝置，其中該位姿轉換模組比對該預設物件與一參考物件，且該位姿轉換模組依據與該參考物件的比對結果決定該預設物件的位置及朝向。
  16. 如請求項15所述的地圖建構裝置，其中該位姿轉換模組依據該預設物件的位置及朝向更新該最終二維地圖，其中該預設物件轉換到一地圖座標系上並標記在該最終二維地圖上。
TW110106507A 2021-01-28 2021-02-24 地圖建構裝置及方法 TW202230290A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110121167.3 2021-01-28
CN202110121167.3A CN114817426A (zh) 2021-01-28 2021-01-28 地图建构装置及方法

Publications (1)

Publication Number Publication Date
TW202230290A true TW202230290A (zh) 2022-08-01

Family

ID=82495391

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110106507A TW202230290A (zh) 2021-01-28 2021-02-24 地圖建構裝置及方法

Country Status (3)

Country Link
US (1) US20220236075A1 (zh)
CN (1) CN114817426A (zh)
TW (1) TW202230290A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
TWI816387B (zh) * 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置
US11634156B1 (en) 2022-07-29 2023-04-25 Plusai, Inc. Aerial view generation for vehicle control
US11628859B1 (en) * 2022-07-29 2023-04-18 Plusai, Inc. Vehicle placement on aerial views for vehicle control
CN117333618A (zh) * 2023-10-20 2024-01-02 神力视界(深圳)文化科技有限公司 三维场景生成方法、装置、电子设备及存储介质
CN117330083B (zh) * 2023-12-01 2024-04-19 深圳市好奇心探索科技有限公司 机器人定位方法、机器人和可读存储介质
CN118429931A (zh) * 2024-05-10 2024-08-02 中发国研信息技术研究院(北京)有限公司 一种基于时序融合多视角的三维占用网格预测方法及系统
CN118149797B (zh) * 2024-05-11 2024-09-13 魔视智能科技(武汉)有限公司 栅格地图构建方法、装置、计算机设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190004524A1 (en) * 2016-08-31 2019-01-03 Faraday&Future Inc. System and method for planning a vehicle path
US10733506B1 (en) * 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 生成用于无人车导航控制的网格地图的方法
US10481678B2 (en) * 2017-01-11 2019-11-19 Daqri Llc Interface-based modeling and design of three dimensional spaces using two dimensional representations
CN107330973A (zh) * 2017-07-03 2017-11-07 深圳市唯特视科技有限公司 一种基于多视角监督的单视角重建方法
WO2019143861A1 (en) * 2018-01-17 2019-07-25 Mersive Technologies, Inc. Systems and methods to determine room occupancy
CN109737974B (zh) * 2018-12-14 2020-11-27 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
US11428536B2 (en) * 2018-12-19 2022-08-30 Nvidia Corporation Navigable boundary generation for autonomous vehicles
US11168985B2 (en) * 2019-04-01 2021-11-09 GM Global Technology Operations LLC Vehicle pose determining system and method
CN111598916A (zh) * 2020-05-19 2020-08-28 金华航大北斗应用技术有限公司 一种基于rgb-d信息的室内占据栅格地图的制备方法
CN112070770B (zh) * 2020-07-16 2022-11-01 国网安徽省电力有限公司超高压分公司 一种高精度三维地图与二维栅格地图同步构建方法
US11931900B2 (en) * 2020-07-24 2024-03-19 Samsung Electronics Co., Ltd. Method of predicting occupancy of unseen areas for path planning, associated device, and network training method
CN111950404A (zh) * 2020-07-29 2020-11-17 南京大学 一种基于深度学习视频监督的单图像三维重建方法

Also Published As

Publication number Publication date
CN114817426A (zh) 2022-07-29
US20220236075A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
TW202230290A (zh) 地圖建構裝置及方法
US11816907B2 (en) Systems and methods for extracting information about objects from scene information
WO2021160184A1 (en) Target detection method, training method, electronic device, and computer-readable medium
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
US10372968B2 (en) Object-focused active three-dimensional reconstruction
US20210334556A1 (en) Electronic device, system and method for determining a semantic grid of an environment of a vehicle
WO2022188663A1 (zh) 一种目标检测方法及装置
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
US11995766B2 (en) Centralized tracking system with distributed fixed sensors
Mohamed Detection and tracking of pallets using a laser rangefinder and machine learning techniques
CN113706480A (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
WO2023155903A1 (en) Systems and methods for generating road surface semantic segmentation map from sequence of point clouds
CN114863228A (zh) 一种基于机器视觉的机场特种车辆避障方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
KR20210073930A (ko) 전자 장치를 제어하는 장치 및 그 방법
Gomez et al. Object-based pose graph for dynamic indoor environments
Ancha et al. Active perception using light curtains for autonomous driving
Chen et al. Design and Implementation of AMR Robot Based on RGBD, VSLAM and SLAM
KR102465312B1 (ko) 좌표계 기반 이동객체 충돌 예측 시스템 및 방법
KR20230132325A (ko) 라이다를 이용한 차선 검출장치 및 방법
WO2023231689A1 (en) Systems and methods for enhancement of 3d object detection using point cloud semantic segmentation and attentive anchor generation
US20240302530A1 (en) Lidar memory based segmentation
Zhu et al. Edge-Cloud Based Vehicle SLAM for Autonomous Indoor Map Updating
CN118172763B (zh) 物体检测方法、智能设备及计算机可读存储介质