TW202020811A - 用於基於障礙物檢測校正高清晰度地圖的系統和方法 - Google Patents
用於基於障礙物檢測校正高清晰度地圖的系統和方法 Download PDFInfo
- Publication number
- TW202020811A TW202020811A TW107147365A TW107147365A TW202020811A TW 202020811 A TW202020811 A TW 202020811A TW 107147365 A TW107147365 A TW 107147365A TW 107147365 A TW107147365 A TW 107147365A TW 202020811 A TW202020811 A TW 202020811A
- Authority
- TW
- Taiwan
- Prior art keywords
- point cloud
- cloud data
- obstacle
- hole
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 title description 2
- 238000004891 communication Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 9
- 230000008439 repair process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims 6
- 230000002776 aggregation Effects 0.000 claims 6
- 230000011218 segmentation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本申請的實施例提供了用於校正高清晰度地圖的系統和方法。該系統可以包括通訊介面,該通訊介面被配置為接收由雷射雷達捕獲的場景的點雲資料。該系統還可以包括被配置為儲存所述點雲資料的儲存器,以及至少一個處理器。所述至少一個處理器可以被配置為從所述點雲資料中檢測至少一個障礙物,以及在所述點雲資料中定位由所述至少一個障礙物引起的至少一個孔洞。所述至少一個處理器還被配置用於對所述至少一個孔洞,估計在沒有所述至少一個障礙物的情況下被捕獲的所述場景的無障礙點雲資料,並利用所述無障礙點雲資料藉由修復接收到的點雲資料來校正所述高清晰度地圖。
Description
本申請涉及用於在存在障礙物的場景中校正高清晰度地圖的系統和方法,更具體地涉及用於基於障礙物檢測來更新高清晰度地圖的系統和方法。
本申請主張2018年11月15日提交的編號為PCT/CN2018/115582的國際申請案的優先權,其內容以引用方式被包含於此。
自動駕駛技術在很大程度上依賴於精確的地圖。例如,導航地圖的準確性對於自動駕駛運輸工具的功能是至關重要的,例如定位、環境識別、決策和控制。當運輸工具行駛流程中,高清晰度地圖可以藉由集合各種感測器、檢測器和安裝在運輸工具上的其他裝置獲取的圖像和資訊來獲得。例如,運輸工具可配備有多個整合感測器,例如雷射雷達(LiDAR)、全球定位系統(GPS)接收器、一個或多個慣性測量單元(IMU)感測器,以及一個或多個相機,以捕捉運輸工具行駛的道路或周圍物體的特徵。捕獲的資料可以包括,例如車道的中心線或邊界線座標、物體的座標和圖像,例如建築物、另一運輸工具、地標、行人或交通標誌。
特別地,雷射雷達藉由用脈衝雷射光照射目標並用感測器測量反射脈衝來測量到目標的距離。然後可以使用雷射返回時間和波長的差異來構建目標的數位三維(3-D)表示。雷射雷達捕獲的資料稱為點雲資料。在調查期間,道路上的各種物體可能會阻礙雷射雷達的觀察。由於脈衝雷射光在到達道路之前被障礙物反射,因此捕獲的點雲資料會失真。使用這種失真的點雲資料重建的高解析度地圖不能準確地反映捕獲的場景。
本申請的實施例藉由基於點雲資料的分割和由障礙物引起的失真補償來校正高清晰度地圖的系統和方法解決了上述問題。
本申請的實施例提供了一種用於校正高清晰度地圖的系統。該系統可以包括通訊介面,該通訊介面被配置為接收由雷射雷達捕獲的場景的點雲資料。該系統還可以包括儲存器,其被配置為儲存所述點雲資料,以及至少一個處理器。所述至少一個處理器可以被配置為從點雲資料中檢測至少一個障礙物,以及在所述點雲資料中定位由所述至少一個障礙物引起的至少一個孔洞。所述至少一個處理器進一步被配置為對於所述至少一個孔洞,估計在沒有所述至少一個障礙物的情況下捕獲的所述場景的無障礙點雲資料,並利用所述無障礙點雲資料藉由修復接收到的點雲資料來校正所述高清晰度地圖。
本申請的實施例還提供了一種用於校正高清晰度地圖的方法。該方法可以包括藉由通訊介面接收由雷射雷達捕獲的場景的點雲資料。該方法還可以包括藉由至少一個處理器從所述點雲資料中檢測至少一個障礙物,以及藉由至少一個處理器在所述點雲資料中定位由至少一個障礙物引起的至少一個孔洞。該方法還可以包括藉由至少一個處理器對於所述至少一個孔洞,估計在沒有所述至少一個障礙物的情況下捕獲的所述場景的無障礙點雲資料,並且所述至少一個處理器利用無障礙點雲資料藉由修復所接收到的點雲資料來校正高清晰度地圖。
本申請的實施例還提供了一種非暫時性電腦可讀取媒體,其上儲存有指令,當由至少一個處理器執行時,使得處理器執行用於校正高清晰度地圖的方法。該方法可以包括接收由雷射雷達捕獲的場景的點雲資料。該方法還可以包括從點雲資料中檢測至少一個障礙物,以及由至少一個處理器在所述點雲資料中定位由至少一個障礙物引起的至少一個孔洞。該方法還可以包括,對於所述至少一個孔洞,估計在沒有所述至少一個障礙物的情況下被捕獲的所述場景的無障礙點雲資料,並利用無障礙點雲資料藉由修復接收到的點雲資料來校正高清晰度地圖。
應當理解,前面的一般性描述和下面的詳細描述都只是示例性和說明性的,並不是對所要求保護的發明進行限制。
本申請藉由示例性實施例進行詳細描述,這些示例性實施例將藉由圖式進行詳細描述。任何可能的情況下,圖中同一元件符號表示相同的部分。
圖1係根據本申請的實施例所示的具有複數個感測器140和150的示例性運輸工具100的示意圖。與一些實施例一致,運輸工具100可以是勘測運輸工具,其被配置為用於獲取用於構建高清晰度地圖或3-D城市建模的資料。可以預期的是運輸工具100可以是電動運輸工具、燃料電池運輸工具、混合動力運輸工具或傳統的內燃引擎運輸工具。運輸工具100可具有車身110和至少一個輪子120。車身110可以是任何車身類型、例如運動型運輸工具、轎跑車、轎車、皮卡車、旅行車、休旅車(Sports Utility Vehicle,SUV)、小型貨車或露營車。在一些實施例中,運輸工具100可包括一對前輪和一對後輪,如圖1所示。然而,可以預期的是運輸工具100可具有更多或更少的車輪或等效結構使運輸工具100能夠四處移動。運輸工具100可以被配置為全輪驅動(All Wheel Drive,AWD)、前輪驅動(Front Wheel Drive,FWR)或後輪驅動(Rear Wheel Drive,RWD)。在一些實施例中,運輸工具100可以被配置為由佔用運輸工具的操作員操作、遠端控制及/或主動駕駛。
如圖1所示,運輸工具100可配備有經由安裝結構130安裝到車身110的感測器140。安裝結構130可以是安裝或以其他方式附接到運輸工具100的車身110的機電裝置。在一些實施例中,安裝結構130可以使用螺釘、粘合劑或其他安裝機制。運輸工具100可以使用任何合適的安裝機制在主體110內部或外部額外地配備感測器150。可以設想,感測器140或150配備在運輸工具100上的方式不受圖1所示的示例所限制,並且可以根據感測器140和150及/或運輸工具100的類型進行修改,以實現期望的感知性能。
在一些實施例中,當運輸工具100沿軌跡行進時,感測器140和150可以被配置為用於捕獲資料。與本申請一致,感測器140可以是雷射雷達,被配置為用於掃描周圍環境並獲取點雲。雷射雷達藉由用脈衝雷射光照射目標並用感測器測量反射脈衝以測量到目標的距離。然後可以利用雷射返回時間和波長的差異來創建目標的數位3-D表示。用於雷射雷達掃描的光可以是紫外線、可見光或近紅外線。由於窄雷射光束可以以非常高的解析度繪製實體特徵,因此雷射雷達特別適用於高清晰度地圖的測繪。在一些實施例中,雷射雷達可以捕獲點雲。點雲資料可以包括在目標外表面上的資料點集。可以處理點雲以構建目標的3-D模型。當運輸工具100沿著軌跡行進時,感測器140可以連續地捕獲點雲資料。在某個時間點捕獲的每組點雲資料稱為點雲訊框。點雲訊框可以即時地(例如,藉由串流傳輸)或者在運輸工具100完成整個軌跡之後一起被發送到伺服器160。
如圖1所示,運輸工具100可以另外配備有感測器150,感測器150可以包括導航單元中使用的感測器,例如GPS接收器和一個或多個慣性測量單元感測器。GPS是一種全球導航衛星系統,為GPS接收器提供地理定位和時間資訊。慣性測量單元是一種電子裝置,其使用各種慣性感測器,例如加速計和陀螺儀,有時還有磁力計來測量和提供運輸工具的比力、角速率,有時還提供運輸工具周圍的磁場。藉由組合GPS接收器和慣性測量單元感測器,感測器150可以在運輸工具100行進時提供運輸工具100的即時姿態資訊,包括運輸工具100在每個時間點的位置和方向(例如,歐拉角)。與本申請一致,感測器150可以在感測器140捕獲點雲訊框的相同時間點處測量姿態資訊。因此,姿態資訊可以與相應的點雲訊框相關。在一些實施例中,點雲訊框及其相關姿態資訊的組合可用於定位運輸工具100。
與本申請一致,感測器140和150可以與伺服器160通訊。在一些實施例中,伺服器160可以是本地實體伺服器、雲端伺服器(如圖1所示)、虛擬伺服器、分散式伺服器或任何其他合適的計算裝置。與本申請一致,伺服器160可以從感測器140和150獲得資料。伺服器160可以經由網路,例如無線區域網路(WLAN)、廣域網路(WAN)、例如無線電波的無線網路、蜂窩網路、衛星通訊網路及/或本地或短程無線網路(例如,BluetoothTM
),與感測器140和150及/或運輸工具100的其他元件通訊。伺服器160可以儲存高清晰度地圖。在一些實施例中,高清晰度地圖可以最初使用由感測器140獲取的點雲資料來構造。
與本申請一致,伺服器160也可以負責校正高清晰度地圖,以除去所捕獲的點雲資料因障礙物造成的任何失真。在一些實施例中,障礙物可以包括阻擋感測器140的雷射路徑的任何物體,以致雷射在到達道路之前被物體反射。例如,障礙物可以是行人、臨時攤位或停放或移動的運輸工具,例如汽車、摩托車或自行車或類似物。伺服器160可以將障礙物反射的點雲資料與點雲資料的其餘部分分開,估計障礙物不存在時的正確的點雲資料,並使用所估計的點雲資料糾正高清晰度地圖。
例如,圖2係根據本申請的實施例所示的用於校正高清晰度地圖的示例性伺服器160的方塊圖。在一些實施例中,如圖2所示,伺服器160可以包括通訊介面202、處理器204、記憶體206和儲存器208。在一些實施例中,伺服器160可以在單個裝置中具有不同的模組,例如積體電路(IC)晶片,或具有專用功能的單獨裝置。在一些實施例中,伺服器160的一個或多個元件可以位於雲端中、或者可以替代地位於單個位置(例如,運輸工具100內或行動裝置內)或分散式位置。伺服器160的元件可以在整合裝置中或者分佈在不同的位置,但是藉由網路(未示出)彼此通訊。
通訊介面202可以經由通訊纜線、無線區域網路(WLAN)、廣域網路(WAN)、例如無線電波的無線網路、蜂窩網路及/或本地或短距離無線網路(例如,BluetoothTM
)或其他通訊方法,向例如感測器140和150的元件發送資料和從其接收資料。在一些實施例中,通訊介面202可以是整合式服務數位網路(ISDN)卡、纜線數據機、衛星數據機或數據機,以提供資料通訊連接。又例如,通訊介面202可以是區域網路(LAN)卡,以提供與相容LAN的資料通訊連接。無線鏈路也可以由通訊介面202實現。在這樣的實現中,通訊介面202可以藉由網路發送和接收電信號、電磁信號或光信號,其攜帶表示各種類型資訊的數位資料流。
與一些實施例一致,通訊介面202可以接收資料,例如,由感測器140捕獲的點雲資料203。在一些實施例中,通訊介面202還可以接收由感測器150捕獲的姿態資訊(未示出)。在一些實施例中,通訊介面202也可從訓練裝置180接收神經網路205。在一些實施例中,訓練裝置180可以具有與伺服器160類似的結構,包括,例如處理器、記憶體、儲存裝置或類似物。在一些實施例中,訓練裝置180可以是伺服器160的一部分。訓練裝置180可以配置為使用樣本資料訓練神經網路205。神經網路205可以在訓練流程中學習執行認知任務。例如,可以訓練神經網路205以基於由雷射雷達捕獲的最初的點雲資料來檢測障礙物。在一些實施方案中,神經網路205可以被訓練以執行分割任務,例如,將點雲資料203中與障礙物有關的部分資料與點雲資料203的其餘部分分離。與本申請一致,神經網路205可以是任何合適的學習模型,包括但不限於卷積神經網路(CNN)。在一些實施例中,神經網路205的訓練可以確定一個或多個模型參數,例如卷積核的權重、大小、形狀和結構。
通訊介面202還可以將所接收的點雲資料203和神經網路205提供給儲存器208以供儲存或提供給處理器204以進行處理。通訊介面202還可以接收由處理器204創建的已校正的高清晰度地圖,並且經由網路將已校正的地圖提供給運輸工具100中的任何本地組件或任何遠端裝置。
處理器204可包括任何適當類型的通用或專用微處理器、數位訊號處理器或微控制器。處理器204可以被配置為專用於校正高清晰度地圖的單獨處理器模組。可選的,處理器204可以被配置為共用處理器模組,用於執行與產生和校正高清晰度地圖無關的其他功能。
如圖2所示,處理器204可以包括多個模組,例如點雲分割單元210、孔洞定位單元212、無障礙點雲估計單元214、地圖校正單元216或類似物。這些模組(以及任何相應的子模組或子單元)可以是處理器204的硬體單元(例如,整合電路的部分),其被設計為與處理器204藉由執行程式的至少一部分而實現的其他元件或軟體單元一起使用。程式可以儲存在電腦可讀取媒體上,並且當由處理器204執行時,它可以執行一個或多個的功能。儘管圖2示出了在一個處理器204內的所有單元210-216,但是可以預期這些單元可以分佈在彼此靠近或遠離的多個處理器之間。
點雲分割單元210可被配置為分割已接收的點雲資料203以檢測一個或多個障礙物。障礙物可以是行人、運輸工具或處於感測器140的雷射路徑中的其他物體。在一些實施例中,點雲分割單元210可以被配置為將點雲資料203投影到二維(2-D)平面,並且相應地獲得二維投影圖像。例如,二維投影圖像可以是俯視圖。在一些實施例中,二維投影圖像可包括多個像素或超像素(包括一組輔助像素)。點雲分割單元210還可以從二維投影圖像中提取各類特徵。每類特徵可以對應於通道。在一些實施例中,點雲分割單元210可將神經網路205應用於提取的特徵以確定所述像素的屬性,所述屬性可以表明所述像素屬於障礙物的可能性。例如,屬性可以包括像素和障礙物的中心之間的距離、置信水準、像素是障礙物的一部分的可能性,以及障礙物的高度。
基於針對所述像素的屬性預測結果,可以有多個片段的像素對應於障礙物。例如,每個片段可以包括多個像素,所述多個像素具有表明該像素為障礙物的一部分的屬性,例如,可能性大於臨界值。在一些實施例中,屬於相同障礙物的一些片段可能仍然彼此分離,並且片段之間可能存在某些間隙。在一些實施例中,點雲分割單元210可以藉由修改形成間隙的像素的預測結果來聚集那些片段。
然後,點雲產生單元210可以將對應於障礙物的點雲資料與剩餘的點雲資料分開。因此,剩餘的點雲資料包含由障礙物引起的複數個孔洞。在一些實施方案中,這些孔洞可稍後被估計點雲資料填充以補償由障礙物所造成的資料失真。
在一些實施例中,孔洞定位單元212可被配置為定位點雲資料203中的孔洞。在一些實施例中,定位孔洞包括確定孔洞所在的平面和包圍障礙物的邊界框。雖然在本申請中描述了孔洞的定位,可以設想,可替代地,可以定位障礙物而不是孔洞,並且所實現的功能可以是等同的。
無障礙點雲估計單元214可估計點雲資料用以填充所述孔洞,如同雷射雷達的測量未被障礙物阻礙。在一些實施例中,基於障礙物的平面位置,可以模擬雷射路徑。然後可以將雷射路徑延伸越過障礙物以找到它與道路接觸的點。可以估計該點的點雲資料。
地圖校正單元216可以配置為使用估計的點雲資料來校正高清晰度地圖。在一些實施例中,地圖校正單元216可以用估計的點雲資料「修復」孔洞。在一些實施例中,修復被限制在包圍障礙物的邊界框內。修復可以包括替換、修改、重新定位或以其他方式操作資料。在一些實施例中,點雲資料203可包括當雷射雷達沿軌跡移動時捕獲的複數個點雲訊框。如上所述,地圖校正單元216可以用對應的無障礙點雲資料修復每個點雲訊框,並且聚集修復後的點雲訊框。融合修復後的點雲資料訊框可以產生能夠更佳的覆蓋孔洞區域的高清晰度地圖。
記憶體206和儲存器208可以包括任何適當類型的大容量儲存器以儲存處理器204可能需要操作的任何類型的資訊。記憶體206和儲存器208可以是揮發性或非揮發性、磁性、半導體、磁帶、光學的、可擦除的、不可擦除的或其他類型的儲存裝置或有形(即,非暫時性)電腦可讀取媒體,包括但是不限於唯讀記憶體、快閃記憶體、動態隨機存取記憶體和靜態隨機存取記憶體。記憶體206及/或儲存器208可以被配置用於儲存一個或多個電腦程式,其可以由處理器204執行以執行本文揭露的地圖校正功能。例如,記憶體206及/或儲存器208可以被配置為儲存程式,其可以由處理器204執行以基於分割由雷射雷達捕獲的點雲資料來校正高清晰度地圖。
記憶體206及/或儲存器208可以進一步被配置為儲存處理器204使用的資訊和資料。例如,記憶體206及/或儲存器208可以被配置用於儲存由感測器140和150捕獲的各種類型的資料(例如,點雲資料、姿態資訊或類似物)以及高清晰度地圖。記憶體206及/或儲存器208還可以儲存例如神經網路205以及估計的點雲或類似物之類的中間資料。各種類型的資料可以永久儲存、週期性地移除或者在處理每個資料訊框之後立即被忽略。
圖3係根據本申請的實施例所示的用於校正高清晰度地圖的示例性方法300的流程圖。在一些實施例中,方法300可以由地圖校正系統實現,該地圖校正系統包括伺服器160或類似物。然而,方法300不限於該示例性實施例。方法300可以包括如下所述的步驟S302-S320。應當理解,一些步驟可以是可選的以執行本文提供的揭露內容。此外,一些步驟可以同時執行或者以與圖3中所示不同的順序執行。
在步驟S302,可以接收感測器140捕獲的點雲資料。在一些實施例中,可以派遣運輸工具100進行勘測行程以捕獲用於構建高清晰度地圖的資料。當運輸工具100沿著軌跡移動時,感測器140可以捕獲周圍場景的點雲資料。在一些實施例中,點雲資料可以由多個訊框組成,每個訊框在運輸工具處於軌跡上的特定位置時的特定時間點被捕獲。與本申請一致,道路上可能存在阻礙雷射雷達的雷射路徑的其他物體,從而導致獲取的點雲資料失真。
在步驟S304,伺服器160可以將在步驟S304中接收的3-D點雲資料投影到平面上以創建二維投影圖像。在一些實施例中,投影是垂直向下的,使得所獲得的二維投影圖像是俯視圖。將3-D點雲資料投影到2-D圖像中可以移除深度資訊並簡化分割流程。
步驟S306-S312共同執行點雲資料的分割,以將對應於障礙物的失真資料與其餘的未失真的點雲資料分離。在一些實施例中,分割可以基於機器學習模型,例如神經網路。神經網路也稱為人工神經網路,是一種模擬生物神經網路用以完成學習任務的計算模型。例如,神經網路經過訓練可以學習點雲資料的哪一部分是從雷射中獲得的障礙物而不是道路反射的。
圖4係根據本申請的實施例所示的用於分割點雲資料的示例性卷積神經網路400。在一些實施例中,卷積神經網路400可以包括編碼器420和解碼器430。編碼器420和解碼器430中的每一個可以包括多個不同的層(未示出)。不同層的示例可以包括一個或多個卷積層、非線性運算元層(例如修正線性單元(Rectified Linear Units,ReLu)函數、S形函數或雙曲正切函數)、池化層或子採樣層、全連接層及/或最終損失層。每層可以連接一個上游層和一個下游層。輸入可以被認為是輸入層,輸出可以被認為是最終輸出層。
為了提高卷積神經網路模型的性能和學習能力,可以選擇性地增加不同層的數量。從輸入層到輸出層的中間不同層的數量可以變得非常大,從而增加了卷積神經網路模型的架構的複雜性。具有大量中間層的卷積神經網路模型被稱為深度卷積神經網路模型。例如,一些深度卷積神經網路模型可以包括超過20到30層,而其他深度卷積神經網路模型甚至可以包括超過幾百層。深度卷積神經網路模型的示例包括AlexNet、VGGNet、GoogLeNet、ResNet或類似物。
如本文所使用的,已揭露的分割方法使用的卷積神經網路模型可以指基於卷積神經網路的結構描述、改編或修改的任何神經網路模型。例如,在本申請的實施例中用於分割的卷積神經網路模型可以選擇性地包括輸入層和輸出層之間的中間層,例如一個或多個去卷積層、上採樣或上池化層、像素方向預測層及/或複製和裁剪運算元層。
返回圖3,在步驟S306,伺服器160可以從二維投影圖像的每個像素中提取特徵。提取的特徵的示例可以包括像素值、像素周圍的紋理、與相鄰像素的對比度、像素在圖像中的相對位置或類似物。卷積神經網路400可以接收提取的特徵402作為輸入。在一些實施例中,特徵可以被排列為W*H*C矩陣,其中W是像素列號,H是像素行號,C是通道特徵號。
在步驟S308中,卷積神經網路400可以被應用於該提取的特徵來預測像素屬性。例如,屬性可以包括像素和障礙物的中心之間的距離404、置信水準406、表示像素是障礙物的一部分的可能性的機率408以及障礙物的高度410。
在步驟S310中,伺服器160可以識別包括多個像素的片段,所述多個像素具有表明該像素是障礙物的一部分的屬性。在一些實施例中,屬性可以與一些預定的臨界值比較以確定像素是否應該被分類為障礙物。例如,對於機率408是95%的像素與90%的臨界值進行比較之後可被分類為障礙物的一部分。可替換地或附加地,距障礙物中心的距離404小於5個像素寬度的像素可以被標記為是障礙物的一部分。
逐個像素預測有時可能導致相鄰但不連貫的片段。例如,可能存在一些零星的非障礙物像素或兩個連接的片段之間的小間隙。在步驟S312,伺服器160可以藉由修改間隙中那些像素的預測結果來聚集這些片段。例如,逐個像素預測可以找到對應於行人的頭部一個片段,和對應於她的軀幹的相鄰片段。然而,行人頸部區域的像素一開始因為,例如像素的某些屬性不滿足將它們分類為對應於障礙物的標準可能被預測為不是障礙物的一部分。但是,藉由聚集,可藉由修改片段間對應於障礙物的像素連接頭段和軀幹段。
由於障礙物,孔洞留在點雲資料中。在步驟S314,伺服器160可以基於檢測到的障礙物定位孔洞。在一些實施例中,伺服器160可以首先為障礙物確定邊界框,即相應孔洞的邊界。伺服器160可以進一步確定邊界框外的點雲的第一平面。同時,伺服器160確定原點(感測器140所在的位置)附近的點雲資料的第二平面(「參考平面」),並確定第一和第二平面之間的角度。如果角度小於臨界值,則伺服器160將第一平面設置為目標平面。
在步驟S316,伺服器160可以為所述孔洞估計若沒有障礙物存在下的無障礙點雲資料。圖5係根據本申請的實施例所示的用以估計無障礙點雲資料的示例性方法。如圖5所示,運輸工具500可以在平面b1和平面b2之間。雷射由雷射雷達在原點O發射。當雷射路徑中沒有障礙物時,雷射將會與道路,例如在A點碰撞,並被道路反射。由於運輸工具500的存在,雷射路徑會在平面b1中擊中點B並且被運輸工具500反射。在沒有運輸工具500的情況下,雷射路徑OB將已經延伸並最終在點B'處撞擊道路。類似地,另一個雷射路徑可以在點C處撞擊平面b1,並且一旦延伸,它將在點C'處撞擊道路。相應地,所獲取的對應點C和點B的雲資料可用於估計對應於點C'和B'的無障礙點雲資料。在一些實施例中,平面b1中的目標邊界框內(點501和點502之間)的每個點可以找到道路上的對應點。相應地,可以將從平面b1獲取的點資料分配給或者以其他方式用於估計道路上的對應點的無障礙點雲資料。
在步驟S318,伺服器160可以使用估計的無障礙點雲資料來修復孔洞。例如,相應的無障礙點雲資料可用於填充孔洞,或以其他方式修改孔洞的資料。在步驟S320,可以藉由目標邊界框過濾修復。例如,如圖5所示,被修復的孔洞限於目標邊界框(在點501和點502之間)向道路上的投影。過濾修復可能會降低雜訊並改善校正結果。
本申請的另一態樣涉及儲存指令的非暫時性電腦可讀取媒體,所述指令在被執行時使得一個或多個處理器執行如上所述的方法。所述電腦可讀取媒體包括揮發性或非揮發性、磁性、半導體、磁帶、光學、可移除的、不可移除的或其他類型的電腦可讀取媒體或電腦可讀取儲存裝置。例如,如本申請的電腦可讀取媒體可以是儲存裝置或其上儲存有電腦指令的記憶體模組。在一些實施例中,電腦可讀取媒體可以是其上儲存有電腦指令的磁碟或快閃記憶體驅動器。
顯而易見地,本領域具有通常知識者可以對本申請的系統和相關方法進行各種修改和變化。考慮到本申請的系統和相關方法的說明書和實踐的其他實施例對於本領域具有通常知識者是顯而易見的。
本申請中的說明書和示例的目的僅被認為是示例性的,真正的範圍由申請專利範圍及其均等物限定。
100:運輸工具
110:車身
120:輪子
130:安裝結構
140:感測器
150:感測器
160:伺服器
180:訓練裝置
202:通訊介面
203:點雲資料
204:處理器
205:神經網路
206:記憶體
208:儲存器
210:點雲分割單元
212:孔洞定位單元
214:無障礙點雲估計單元
216:地圖校正單元
300:方法
S302:步驟
S304:步驟
S306:步驟
S308:步驟
S310:步驟
S312:步驟
S314:步驟
S316:步驟
S318:步驟
S320:步驟
400:卷積神經網路
402:提取的特徵
404:距障礙物中心的距離
406:置信水準
408:機率
410:障礙物的高度
420:編碼器
430:解碼器
500:運輸工具
501:點
502:點
圖1係根據本申請的實施例所示的配備有感測器的示例性運輸工具的示意圖。
圖2係根據本申請的實施例所示的用於校正高清晰度地圖的示例性伺服器的方塊圖。
圖3係根據本申請的實施例所示的用於校正高清晰度地圖的示例性方法的流程圖。
圖4係根據本申請的實施例所示的用於分割點雲資料的示例性卷積神經網路(Convolutional Neural Network,CNN)。
圖5係根據本申請的實施例所示的用以估計無障礙點雲資料的示例性方法。
300:方法
S302:步驟
S304:步驟
S306:步驟
S308:步驟
S310:步驟
S312:步驟
S314:步驟
S316:步驟
S318:步驟
S320:步驟
Claims (20)
- 一種用於校正高清晰度地圖的系統,包括: 通訊介面,其被配置為接收由雷射雷達捕獲的場景的點雲資料; 儲存器,其被配置為儲存所述點雲資料;以及 至少一個處理器,其被配置為: 從所述點雲資料中檢測至少一個障礙物; 在所述點雲資料中定位由所述至少一個障礙物引起的至少一個孔洞; 對於所述至少一個孔洞,估計在沒有所述至少一個障礙物的情況下被捕獲的所述場景的無障礙點雲資料;以及 利用所述無障礙點雲資料藉由修復所接收到的點雲資料,校正所述高清晰度地圖。
- 如申請專利範圍第1項之系統,其中,所述儲存器被配置為儲存神經網路,以及所述至少一個處理器被配置為使用所述神經網路檢測所述至少一個障礙物。
- 如申請專利範圍第2項之系統,其中,所述神經網路是卷積神經網路。
- 如申請專利範圍第2項之系統,其中,所述至少一個處理器被進一步配置為: 基於所述點雲資料創建二維投影圖像,所述二維投影圖像包括複數個像素;以及 使用所述神經網路確定與每個像素相關的複數個屬性,所述屬性表明所述像素對應於所述至少一個障礙物的可能性。
- 如申請專利範圍第4項之系統,其中,所述至少一個處理器被進一步配置為: 從所述二維投影圖像中識別多個片段,每個片段包括具有多個屬性的多個像素,所述多個屬性表明所述多個像素對應於所述至少一個障礙物中的一個障礙物;以及 確定所述二維投影圖像中的聚集區域,其中所述聚集區域包含所有被識別的片段。
- 如申請專利範圍第1項之系統,其中,為了在所述點雲資料中定位所述至少一個孔洞,所述至少一個處理器進一步被配置為: 確定每個孔洞所在的平面;以及 確定每個孔洞的邊界。
- 如申請專利範圍第6項之系統,其中,所述至少一個處理器進一步被配置為基於所述孔洞所在的平面估計所述無障礙點雲資料。
- 如申請專利範圍第1項之系統,其中,所接收到的點雲資料包括當所述雷射雷達沿軌跡移動時被捕獲的複數個點雲訊框,並且所述至少一個處理器被配置為: 用對應的所述無障礙點雲資料修復每個點雲訊框;以及 聚集被修復的點雲訊框。
- 一種用於校正高清晰度地圖的方法,包括: 藉由通訊介面接收由雷射雷達捕獲的場景的點雲資料; 藉由至少一個處理器從所述點雲資料中檢測至少一個障礙物; 藉由所述至少一個處理器在所述點雲資料中定位由所述至少一個障礙物引起的至少一個孔洞; 藉由所述至少一個處理器估計對於所述至少一個孔洞在沒有所述至少一個障礙物的情況下被捕獲的所述場景的無障礙點雲資料;以及 藉由所述至少一個處理器利用所述無障礙點雲資料藉由修復所接收到的點雲資料,校正所述高清晰度地圖。
- 如申請專利範圍第9項之方法,其中,使用神經網路檢測所述至少一個障礙物。
- 如申請專利範圍第10項之方法,其中,所述神經網路是卷積神經網路。
- 如申請專利範圍第10項之方法,還包括: 根據所述點雲資料創建二維投影圖像,所述二維投影圖像包括複數個像素;以及 使用所述神經網路確定與每個像素相關的複數個屬性,所述屬性表明所述像素對應於所述至少一個障礙物的可能性。
- 如申請專利範圍第12項之方法,還包括: 從所述二維投影圖像中識別多個片段,每個片段包括具有多個屬性的多個像素,所述多個屬性表明所述多個像素對應於所述至少一個障礙物中的一個障礙物;以及 確定所述二維投影圖像中的聚集區域,其中所述聚集區域包含所有被識別的片段。
- 如申請專利範圍第9項之方法,其中,在所述點雲資料中定位所述至少一個孔洞還包括: 確定每個孔洞所在的平面;以及 確定每個孔洞的邊界。
- 如申請專利範圍第14項之方法,其中,所述無障礙點雲資料是根據所述孔洞所在的平面來估計的。
- 如申請專利範圍第9項之方法,其中,所接收到的點雲資料包括當所述雷射雷達沿軌跡移動時被捕獲的複數個點雲訊框,其中校正所述高清晰度地圖還包括: 用對應的無障礙點雲資料修復每個點雲訊框;以及 聚集被修復的點雲訊框。
- 一種非暫時性電腦可讀取媒體,其上儲存電腦程式,其中所述電腦程式在由至少一個處理器執行時,使得所述至少一個處理器執行用於校正高清晰度地圖的方法,所述方法包括: 接收由雷射雷達捕獲的場景的點雲資料; 從所述點雲資料檢測至少一個障礙物; 在所述點雲資料中定位由所述至少一個障礙物引起的至少一個孔洞; 對於所述至少一個孔洞,估計所述場景在沒有所述至少一個障礙物的情況下被捕獲的所述場景的無障礙點雲資料;以及 利用所述無障礙點雲資料藉由修復接收到的點雲資料,校正所述高清晰度地圖。
- 如申請專利範圍第17項之非暫時性電腦可讀取媒體,其中,所述至少一個障礙物是使用神經網路來檢測的,所述方法還包括: 根據所述點雲資料創建二維投影圖像,所述二維投影圖像包括複數個像素;以及 使用所述神經網路確定與每個像素相關的複數個屬性,所述屬性表明所述像素對應於所述至少一個障礙物的可能性。
- 如申請專利範圍第18項之非暫時性電腦可讀取媒體,其中,所述方法還包括: 從所述二維投影圖像中識別多個片段,每個片段包括具有多個屬性的多個像素,所述多個屬性表明所述多個像素對應於所述至少一個障礙物中的一個障礙物;以及 確定所述二維投影圖像中的聚集區域,其中所述聚集區域包含所有被識別的片段。
- 如申請專利範圍第17項之非暫時性電腦可讀取媒體,其中,在所述點雲資料中定位所述至少一個孔洞還包括: 確定每個孔洞所在的平面;以及 確定每個孔洞的邊界, 其中所述無障礙點雲資料是基於所述孔洞所在的平面來估計的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
WOPCT/CN2018/115582 | 2018-11-15 | ||
PCT/CN2018/115582 WO2020097840A1 (en) | 2018-11-15 | 2018-11-15 | Systems and methods for correcting a high-definition map based on detection of obstructing objects |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202020811A true TW202020811A (zh) | 2020-06-01 |
TWI722355B TWI722355B (zh) | 2021-03-21 |
Family
ID=70726532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107147365A TWI722355B (zh) | 2018-11-15 | 2018-12-27 | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US11035958B2 (zh) |
EP (1) | EP3676796A1 (zh) |
JP (1) | JP2021508815A (zh) |
CN (1) | CN111448478B (zh) |
AU (1) | AU2018286592A1 (zh) |
CA (1) | CA3028599A1 (zh) |
SG (1) | SG11201811747XA (zh) |
TW (1) | TWI722355B (zh) |
WO (1) | WO2020097840A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949544A (zh) * | 2020-08-19 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 一种自动驾驶车辆的定位模块的测试方法及相关装置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11520331B2 (en) * | 2018-12-28 | 2022-12-06 | Intel Corporation | Methods and apparatus to update autonomous vehicle perspectives |
EP3783385A1 (en) * | 2019-08-23 | 2021-02-24 | Leica Geosystems AG | Combined point cloud generation using a stationary laser scanner and a mobile scanner |
US11327178B2 (en) * | 2019-09-06 | 2022-05-10 | Volvo Car Corporation | Piece-wise network structure for long range environment perception |
US20210109523A1 (en) * | 2019-10-10 | 2021-04-15 | Waymo Llc | Sensor field of view in a self-driving vehicle |
CN110873565B (zh) * | 2019-11-21 | 2021-06-04 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
US11531114B2 (en) * | 2020-06-16 | 2022-12-20 | Toyota Research Institute, Inc. | Sensor placement to reduce blind spots |
CN112045654B (zh) * | 2020-08-11 | 2022-01-28 | 上海有个机器人有限公司 | 一种无人密闭空间的检测方法、装置和机器人 |
JP7385159B2 (ja) | 2020-09-02 | 2023-11-22 | 日本電信電話株式会社 | 推定方法、推定装置及びプログラム |
CN114252883B (zh) * | 2020-09-24 | 2022-08-23 | 北京万集科技股份有限公司 | 目标检测方法、装置、计算机设备和介质 |
CN112837239A (zh) * | 2021-02-01 | 2021-05-25 | 意诺科技有限公司 | 毫米波雷达的残影消除方法、装置及计算机可读介质 |
DE102021125653A1 (de) | 2021-10-04 | 2023-04-06 | Valeo Schalter Und Sensoren Gmbh | Entfernen nicht relevanter Punkte aus einer Punktwolke |
CN114403114B (zh) * | 2022-01-26 | 2022-11-08 | 安徽农业大学 | 一种高地隙植保机车身姿态平衡控制系统及方法 |
CN114545443A (zh) * | 2022-02-09 | 2022-05-27 | 北京三快在线科技有限公司 | 一种盲区识别方法及装置 |
US11593921B1 (en) * | 2022-03-22 | 2023-02-28 | Illuscio, Inc. | Systems and methods for supplementing image capture with artificial data points that are generated based on material properties and associated rules |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3094306B2 (ja) * | 1990-12-14 | 2000-10-03 | 茂男 広瀬 | 移動ロボットの位置同定方法 |
JP5339953B2 (ja) * | 2009-02-17 | 2013-11-13 | 三菱電機株式会社 | 三次元地図補正装置及び三次元地図補正プログラム |
WO2011127375A1 (en) * | 2010-04-09 | 2011-10-13 | Pochiraju Kishore V | Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning |
US10520482B2 (en) * | 2012-06-01 | 2019-12-31 | Agerpoint, Inc. | Systems and methods for monitoring agricultural products |
US9052721B1 (en) * | 2012-08-28 | 2015-06-09 | Google Inc. | Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection |
US9523772B2 (en) | 2013-06-14 | 2016-12-20 | Microsoft Technology Licensing, Llc | Object removal using lidar-based classification |
US10959107B2 (en) * | 2015-04-14 | 2021-03-23 | ETAK Systems, LLC | Systems and methods for delivering a close out package for work done at a telecommunications site |
KR20170006505A (ko) | 2015-07-08 | 2017-01-18 | (주)휴엔텍 | 장애물 감지 장치와 이를 이용한 스크린도어용 장애물감지 시스템 |
KR101711964B1 (ko) | 2015-07-14 | 2017-03-13 | 서울대학교산학협력단 | 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템 |
US10748264B2 (en) | 2015-09-09 | 2020-08-18 | Sony Corporation | Image processing apparatus and image processing method |
US10268740B2 (en) | 2015-10-14 | 2019-04-23 | Tharmalingam Satkunarajah | 3D analytics actionable solution support system and apparatus |
EP3430427B1 (en) * | 2016-03-14 | 2021-07-21 | IMRA Europe S.A.S. | Processing method of a 3d point cloud |
US9910442B2 (en) * | 2016-06-28 | 2018-03-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Occluded area detection with static obstacle maps |
CN106199558A (zh) * | 2016-08-18 | 2016-12-07 | 宁波傲视智绘光电科技有限公司 | 障碍物快速检测方法 |
TWI607412B (zh) * | 2016-09-10 | 2017-12-01 | 財團法人工業技術研究院 | 多維度尺寸量測系統及其方法 |
US10031231B2 (en) * | 2016-09-12 | 2018-07-24 | Delphi Technologies, Inc. | Lidar object detection system for automated vehicles |
KR20180059188A (ko) | 2016-11-25 | 2018-06-04 | 연세대학교 산학협력단 | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 |
CN106650640B (zh) * | 2016-12-05 | 2020-03-03 | 浙江大学 | 一种基于激光雷达点云局部结构特征的负障碍物检测方法 |
US10309778B2 (en) * | 2016-12-30 | 2019-06-04 | DeepMap Inc. | Visual odometry and pairwise alignment for determining a position of an autonomous vehicle |
CN110402399B (zh) | 2017-01-03 | 2023-07-18 | 应诺维思科技有限公司 | 用于检测和分类物体的激光雷达系统和方法 |
US10078790B2 (en) * | 2017-02-16 | 2018-09-18 | Honda Motor Co., Ltd. | Systems for generating parking maps and methods thereof |
CN108732584B (zh) | 2017-04-17 | 2020-06-30 | 百度在线网络技术(北京)有限公司 | 用于更新地图的方法和装置 |
CN107064955A (zh) * | 2017-04-19 | 2017-08-18 | 北京汽车集团有限公司 | 障碍物聚类方法及装置 |
CN107301654B (zh) * | 2017-06-12 | 2020-04-03 | 西北工业大学 | 一种多传感器的高精度即时定位与建图方法 |
CN107390681B (zh) * | 2017-06-21 | 2019-08-20 | 华南理工大学 | 一种基于激光雷达与地图匹配的移动机器人实时定位方法 |
CN107607090B (zh) * | 2017-09-12 | 2020-02-21 | 中煤航测遥感集团有限公司 | 建筑物投影纠正方法及装置 |
CN111492403A (zh) * | 2017-10-19 | 2020-08-04 | 迪普迈普有限公司 | 用于生成高清晰度地图的激光雷达到相机校准 |
US11556777B2 (en) * | 2017-11-15 | 2023-01-17 | Uatc, Llc | Continuous convolution and fusion in neural networks |
CN108152831B (zh) * | 2017-12-06 | 2020-02-07 | 中国农业大学 | 一种激光雷达障碍物识别方法及系统 |
CN108303101B (zh) * | 2018-03-05 | 2018-09-11 | 弗徕威智能机器人科技(上海)有限公司 | 一种导航地图的构建方法 |
CN108415032B (zh) * | 2018-03-05 | 2021-06-25 | 中山大学 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
US10726567B2 (en) * | 2018-05-03 | 2020-07-28 | Zoox, Inc. | Associating LIDAR data and image data |
CN108734654A (zh) * | 2018-05-28 | 2018-11-02 | 深圳市易成自动驾驶技术有限公司 | 绘图与定位方法、系统及计算机可读存储介质 |
US10491885B1 (en) * | 2018-06-13 | 2019-11-26 | Luminar Technologies, Inc. | Post-processing by lidar system guided by camera information |
-
2018
- 2018-11-15 CA CA3028599A patent/CA3028599A1/en not_active Abandoned
- 2018-11-15 CN CN201880002657.8A patent/CN111448478B/zh active Active
- 2018-11-15 EP EP18819306.4A patent/EP3676796A1/en active Pending
- 2018-11-15 WO PCT/CN2018/115582 patent/WO2020097840A1/en unknown
- 2018-11-15 SG SG11201811747XA patent/SG11201811747XA/en unknown
- 2018-11-15 AU AU2018286592A patent/AU2018286592A1/en not_active Abandoned
- 2018-11-15 JP JP2018568245A patent/JP2021508815A/ja active Pending
- 2018-12-27 TW TW107147365A patent/TWI722355B/zh active
- 2018-12-28 US US16/235,886 patent/US11035958B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949544A (zh) * | 2020-08-19 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 一种自动驾驶车辆的定位模块的测试方法及相关装置 |
CN111949544B (zh) * | 2020-08-19 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 一种自动驾驶车辆的定位模块的测试方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3676796A4 (en) | 2020-07-08 |
JP2021508815A (ja) | 2021-03-11 |
US11035958B2 (en) | 2021-06-15 |
US20200158875A1 (en) | 2020-05-21 |
WO2020097840A1 (en) | 2020-05-22 |
CN111448478A (zh) | 2020-07-24 |
TWI722355B (zh) | 2021-03-21 |
AU2018286592A1 (en) | 2020-06-04 |
EP3676796A1 (en) | 2020-07-08 |
CA3028599A1 (en) | 2020-05-15 |
CN111448478B (zh) | 2023-02-28 |
SG11201811747XA (en) | 2020-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI722355B (zh) | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 | |
EP3732657B1 (en) | Vehicle localization | |
US10937231B2 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
TWI695181B (zh) | 用於產生彩色點雲的方法和系統 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
JP7301138B2 (ja) | ポットホール検出システム | |
WO2020094033A1 (en) | Method and system for converting point cloud data for use with 2d convolutional neural networks | |
CN111448591A (zh) | 不良光照条件下用于定位车辆的系统和方法 | |
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
CN111986128A (zh) | 偏心图像融合 | |
JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
JP2019191133A (ja) | 位置推定装置 | |
CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
JP2021128705A (ja) | 物体状態識別装置 | |
CN112424568A (zh) | 构建高清地图的系统和方法 | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
US20240112363A1 (en) | Position estimation system, position estimation method, and program | |
JP2022146384A (ja) | 物体検出装置 | |
JP2020077297A (ja) | 位置姿勢推定装置 |