TWI695181B - 用於產生彩色點雲的方法和系統 - Google Patents

用於產生彩色點雲的方法和系統 Download PDF

Info

Publication number
TWI695181B
TWI695181B TW107147612A TW107147612A TWI695181B TW I695181 B TWI695181 B TW I695181B TW 107147612 A TW107147612 A TW 107147612A TW 107147612 A TW107147612 A TW 107147612A TW I695181 B TWI695181 B TW I695181B
Authority
TW
Taiwan
Prior art keywords
point cloud
point
images
segment
vehicle
Prior art date
Application number
TW107147612A
Other languages
English (en)
Other versions
TW202018328A (zh
Inventor
朱曉玲
馬騰
馮路
Original Assignee
大陸商北京嘀嘀無限科技發展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京嘀嘀無限科技發展有限公司 filed Critical 大陸商北京嘀嘀無限科技發展有限公司
Publication of TW202018328A publication Critical patent/TW202018328A/zh
Application granted granted Critical
Publication of TWI695181B publication Critical patent/TWI695181B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申請的實施例提供了用於産生彩色點雲的方法和系統。該方法可以包括當運輸工具沿著軌跡移動時，接收由與運輸工具相關的複數個感測器捕獲的關於場景的點雲和複數個圖像。該方法可以包括將所述點雲分割成複數個片段，每個片段與所述運輸工具的軌跡上的起點和終點相關。該方法還可以包括基於所述起點和所述終點將所述點雲的每個片段與所述圖像中的一個或多個圖像相關。該方法還可以包括通過聚合所述點雲的每個片段和所述圖像的一個或多個圖像來産生彩色點雲，所述聚合基於所述點雲的片段和所述運輸工具之間的不同距離處的校準參數。

Description

用於産生彩色點雲的方法和系統
本申請涉及用於產生點雲的方法和系統，更具體地，涉及使用光達(LiDAR)、相機和導航感測器產生彩色點雲的方法和系統。
本申請主張2018年11月13日提交的編號為PCT/CN2018/115254的國際申請案的優先權，其內容以引用方式被包含於此。
自動駕駛技術在很大程度上依賴於精確的地圖。例如，導航地圖的準確性對於自動駕駛運輸工具的功能(例如定位、環境識別、決策和控制)是至關重要的。高清晰度地圖可以通過聚合在運輸工具周圍行駛時由運輸工具上的各種感測器和偵測器獲取的資料來獲得。例如，用於高清晰度地圖的典型資料採集系統通常是配備有多個整合感測器(例如，LiDAR、全球定位系統(GPS)接收器、慣性測量單元(IMU)感測器和一個或多個相機)的運輸工具，以捕獲運輸工具行駛的道路和周圍物體的特徵。捕獲的資料可以包括例如車道的中心線或擴展邊線座標、物件(諸如建築物、另一運輸工具、地標、行人或交通標誌)的座標和圖像。
衆所周知，LiDAR用於快速獲得周圍物體的三維(3-D)資訊和來自周圍物體的反射信號的强度資訊。然而，LiDAR無法捕獲周圍物體的紋理資訊，因此難以單獨處理和解釋雷射點雲資料。另一態樣，雖然相機可以捕獲 具有豐富紋理資訊的圖像，但是它們不能直接用於獲得周圍物體的3-D資訊。因此，一些已知的系統通過聚合相同物體的點雲和圖像來整合LiDAR和相機以產生彩色點雲，其可用於可視化、物體識別和分類、3-D建模或類似物。
在已知系統中，全景相機由於其360度視場(FOV)而被廣泛用於製作彩色點雲。然而，全景相機是昂貴的，因此對於該任務而言不具有成本效益。相比之下，單目相機成本低，圖像易於處理，但與全景相機相比，它們的FOV要小得多。例如，因為LiDAR的FOV非常大，通常是360度，所以由LiDAR捕獲的每個雷射點雲可對應於單目相機拍攝的多個圖像。這種差異會影響產生彩色點雲時聚合點雲和圖像的準確性和效率。
本申請的實施例通過改進的彩色點雲產生方法和系統解決了上述問題。
本申請實施例提供了一種用於產生彩色點雲的方法。該方法可以包括當運輸工具沿著軌跡移動時，接收由與運輸工具相關的複數個感測器捕獲的關於場景的點雲和複數個圖像。該方法可以包括由處理器將點雲分割成複數個片段，每個片段與運輸工具的軌跡中的起點和終點相關。該方法還可以包括通過所述處理器，基於起點和終點，將點雲的每個片段與複數個圖像中的一個或多個圖像相關。該方法還可以包括通過所述處理器，通過聚合所述點雲的每個片段和所述複數個圖像中的所述一個或多個圖像，產生彩色點雲，所述聚合基於所述點雲的所述片段和所述運輸工具之間的不同距離處的校準參數而確定。
本申請的實施例還提供了一種用於產生彩色點雲的系統。該系統可以包括通訊介面，被配置為當運輸工具沿著軌跡移動時，接收由裝配在所 述運輸工具上的複數個感測器捕獲的關於場景的點雲和複數個圖像。該系統還可以包括儲存器，被配置為儲存所述點雲和所述複數個圖像。該系統還可以包括處理器，被配置為將點雲分割成複數個片段，每個片段與運輸工具的軌跡中的起點和終點相關。所述處理器還可以被配置為基於所述起點和所述終點將所述點雲的每個片段與所述複數個圖像中的一個或多個圖像相關。所述處理器可以進一步配置為通過聚合所述點雲的每個片段和所述複數個圖像中的所述一個或多個圖像，產生彩色點雲，所述聚合基於所述點雲的所述片段和所述運輸工具之間的不同距離處的校準參數而確定。
本申請的實施例還提供了一種非暫時性電腦可讀取媒體，其上儲存指令，當由一個或多個處理器執行時，使得一個或多個處理器執行操作。所述操作可以包括：當運輸工具沿著軌跡移動時，接收由與運輸工具相關的複數個感測器捕獲的關於場景的點雲和複數個圖像。所述操作可以包括將所述點雲分割成複數個片段，每個片段與所述運輸工具的軌跡上的起點和終點相關。所述操作還可以包括基於所述起點和終點將點雲的每個片段與所述圖像中的一個或多個圖像相關。所述操作還可以包括通過聚合所述點雲的每個片段和所述複數個圖像中的所述一個或多個圖像，產生彩色點雲，所述聚合基於所述點雲的所述片段和所述運輸工具之間的不同距離處的校準參數而確定。
應當理解，前面的一般性描述和下面的詳細描述都只是示例性和說明性的，並不是對本申請所要求保護的發明進行限制。
100:運輸工具
110:車身
120:車輪
130:安裝結構
140、150、160:感測器
170:本地控制器
200:控制器
201:點雲
202:通訊介面
203:軌跡資訊
204:處理器
205:圖像
206:記憶體
208:儲存器
210:點雲分割單元
212:點雲/圖像匹配單元
214:感測器校準單元
216:點雲/圖像聚合單元
302:起點
304:終點
700:流程
S702:步驟
S704:步驟
S706:步驟
S708:步驟
S710:步驟
800:流程
S802:步驟
S804:步驟
S806:步驟
900:流程
S902:步驟
S904:步驟
S906:步驟
圖1示出了根據本申請的實施例所示的具有感測器的示例性運輸工具的示意圖。
圖2示出了根據本申請的實施例所示的用於產生彩色點雲的示例 性控制器的方塊圖。
圖3示出了根據本申請的實施例所示的示例性點雲片段及其在運輸工具軌跡上的相關起點和終點。
圖4示出了根據本申請的實施例所示的匹配點雲片段和圖像序列的示例性流程。
圖5示出了根據本申請的實施例所示的感測器校準的示例性流程。
圖6示出了根據本申請的實施例所示的示例性的產生的彩色點雲。
圖7示出了根據本申請的實施例所示的用於產生彩色點雲的示例性流程的流程圖。
圖8示出了根據本申請的實施例所示的用於確定校準參數的示例性流程的流程圖。
圖9示出了根據本申請的實施例所示的用於聚合點雲片段和複數個圖像的示例性流程的流程圖。
現在將詳細參考示例性實施例，其示例在圖式中示出。盡可能地，在整個圖式中將使用相同的元件符號來表示相同或相似的部分。
圖1示出了根據本申請的實施例所示的具有複數個感測器140、150和160的示例性運輸工具100的示意圖。與一些實施例一致，運輸工具100可以是配置為獲取用於構建高清晰度地圖或三維(3-D)城市模型的資料的勘測運輸工具。可預期的是運輸工具100可以是電動運輸工具、燃料電池運輸工具、混合動力運輸工具或傳統的引擎運輸工具。運輸工具100可具有車身110和 至少一個車輪120。車身110可以是任何車身類型，例如運動運輸工具、轎跑車、轎車、皮卡車、旅行車、休旅車(SUV)、小型貨車或改裝車。在一些實施例中，運輸工具100可包括一對前輪和一對後輪，如圖1所示。然而，可預期的是運輸工具100可能會具有更少的可以使運輸工具100能够四處移動的車輪或等效結構。運輸工具100可以被配置為全輪驅動(AWD)、前輪驅動(FWD)或後輪驅動(RWD)。在一些實施例中，運輸工具100可以被配置為由占用運輸工具的操作員操作、遠程控制及/或自動駕駛。
如圖1所示，運輸工具100可以配備有通過安裝結構130安裝到車身110的感測器140和160。安裝結構130可以是安裝到或以其他方式附接到運輸工具100的車身110的機電裝置。在一些實施例中，安裝結構130可以使用螺釘、黏合劑或其他安裝機制。運輸工具100可以另外在車身110內部或外部使用任何合適的安裝機制來裝配感測器150。可以預期的是每個感測器140、150或160可以裝配在運輸工具100上的方式不受圖1所示的示例的限制，並且可以根據感測器140-160及/或運輸工具100的類型進行修改，以實現期望的感測性能。
與一些實施例一致，當運輸工具100沿軌跡移動時，感測器140-160可以被配置為捕獲資料。例如，感測器140可以是LiDAR掃描儀/雷達，其被配置為掃描周圍環境並獲取點雲。LiDAR通過用脉衝雷射光照射目標並用感測器測量反射脉衝來測量到目標的距離。然後可以使用雷射返回時間和波長的差異來製作目標的數位3-D呈現。用於LiDAR掃描的光可以是紫外線、可見光或近紅外線。由於窄雷射束可以以非常高的解析度映射物理特徵，因此LiDAR掃描儀特別適用於高清地圖測量。在一些實施例中，LiDAR掃描儀可以捕獲點雲。當運輸工具100沿軌跡移動時，感測器140可以連續地捕獲資料。在特定時間範圍捕獲的每組場景資料被稱為資料訊框。
如圖1所示，運輸工具100可以另外配備有感測器150。感測器 150可以包括導航單元中使用的感測器，例如GPS接收器和一個或多個IMU感測器。GPS是一種全球導航衛星系統，為GPS接收器提供地理定位和時間資訊。IMU是一種電子裝置，使用各種慣性感測器(如加速度計和陀螺儀，有時還有磁力計)測量並提供運輸工具的特定力、角速率，有時還包括運輸工具周圍的磁場。通過組合GPS接收器和IMU感測器，感測器150可以在運輸工具100行進時提供運輸工具100的即時姿勢資訊，包括運輸工具100在每個時間戳記處的位置和方向(例如，歐拉角)。
與本申請一致，運輸工具100可另外配備有用於捕獲數位圖像的感測器160，例如一個或多個相機。在一些實施例中，感測器160可以包括具有360度FOV的全景相機或具有小於360度的FOV的單目相機。當運輸工具100沿軌跡移動時，感測器160可以獲取關於場景(例如，包括運輸工具100周圍的物體)的數位圖像。每個圖像可以包括由像素表示的捕獲場景中的對象的文本資訊。每個像素點可以是與圖像中的顏色資訊和座標相關的數位圖像的最小單個分量。例如，顏色資訊可以由RGB顏色模型、CMYK顏色模型、YCbCr顏色模型、YUV顏色模型或任何其他合適的顏色模型表示。每個像素點的座標可以由圖像中像素陣列的行和列表示。在一些實施例中，感測器160可以包括安裝在運輸工具100上的不同位置及/或不同角度的多個單目相機，因此具有變化的視圖位置及/或角度。因此，圖像可以包括主視圖圖像、側視圖圖像、俯視圖圖像和底視圖圖像。
與本申請一致，運輸工具100可以包括運輸工具100的車身110內的本地控制器170或者與遠程控制器(圖1中未示出)通訊，以便以效率和有效的方式基於由感測器140-160收集的各種類型的資料產生彩色點雲。在一些實施例中，為了提高處理速度，可以將點雲分割為片段，每個片段可以分別(例如並行地)與相應的圖像聚合。來自感測器160的圖像可以由具有相同場景的各 種視圖的一個或多個單目相機捕獲，並且合併在一起以與由具有360度FOV的感測器140(例如LiDAR掃描儀)捕獲的場景的3-D點雲匹配。在一些實施例中，為了提高彩色點雲的準確度，可以在聚合點雲和相應圖像時考慮距離和校準參數(例如，旋轉矩陣和平移向量)之間的相關性。可以首先確定對應於點和感測器之間的不同距離的一系列校準參數，並且可以稍後選擇合適的校準參數用於對具有相應距離的點進行處理。
在一些實施例中，為了進一步減少聚合等待時間，並非所有圖像都需要與對應的點雲片段聚合。例如，點雲片段可以與每m個匹配圖像聚合，其中m可以基於各種因素確定，例如沿著軌跡的運輸工具100的移動速度、圖像取樣率或類似物。在另一示例中，場景的主視圖可以首先與點雲片段聚合，並且如果存在主視圖不能覆蓋的任何點，則其他視圖的圖像可以用於聚合。在又一個示例中，因為點與運輸工具100的距離越遠，當該點與圖像匹配時，誤差可能越大，所以，可以將有效距離預定為一個臨界值，以從點雲中移除距離運輸工具100太遠的點。
例如，圖2示出了根據本申請的實施例所示的用於產生點雲的示例性控制器200的方塊圖。與本申請一致，控制器200可以使用各種類型的資料來產生場景的彩色點雲。當運輸工具100沿軌跡移動時，各種類型的資料可以由裝配在運輸工具100上的針對場景的感測器140-160捕獲。資料可以包括由感測器140(例如，LiDAR掃描儀)捕獲的點雲201、由感測器150(例如，GPS接收器及/或一個或多個IMU感測器)獲取的運輸工具100的軌跡資訊203以及由感測器160(例如，一個或多個單目相機)捕獲的複數個圖像205。在一些實施例中，可以通過基於來自GPS接收器和IMU感測器的即時姿勢資訊(例如，位置和方向)將來自本地座標系統中的LiDAR掃描儀的原始資料變換為全域座標系統(例如，經度/緯度座標)來獲得點雲201。
在一些實施例中，如圖2所示，控制器200可以包括通訊介面202、處理器204、記憶體206和儲存器208。在一些實施例中，控制器200可以在單個裝置中具有不同的模組，例如積體電路(IC)晶片(實現為特定應用積體電路(ASIC)或現場可程式閘陣列(FPGA))或具有專用功能的獨立裝置。在一些實施例中，控制器200的一個或多個組件可以位於運輸工具100內(例如，圖1中的本地控制器170)，或者可替代地在行動裝置中、在雲端中或另一個遠程位置。控制器200的組件可以在整合裝置中或者分布在不同位置，但是通過網路(未示出)彼此通訊。例如，處理器204可以是車載處理器100、行動裝置內的處理器或雲端處理器或其任意組合。
通訊介面202可以通過通訊纜線、無線區域網路(WLAN)、廣域網路(WAN)、諸如無線電波的無線網路、全國性蜂窩網路及/或本地無線網路(例如，BluetoothTM或WiFi)或其他通訊方法向諸如感測器140-160的組件發送資料和從其接收資料。在一些實施例中，通訊介面202可以是整合服務數位網路(ISDN)卡、纜線數據機、衛星數據機或數據機，以提供資料通訊連接。又例如，通訊介面202可以是區域網路(LAN)卡，以提供與相容LAN的資料通訊連接。無線鏈路也可以通過通訊介面202實現。在這種實現中，通訊介面202可以通過網路發送和接收携帶表示各種類型資訊的數位資料流的電信號、電磁信號或光信號。
與一些實施例一致，通訊介面202可以接收由感測器140-160捕獲的資料，包括點雲201、軌跡資訊203和圖像205，並且將所接收的資料提供給用於儲存的儲存器208或者用於處理的處理器204。通訊介面202還可以接收由處理器204產生的彩色點雲，並通過網路將彩色點雲提供給運輸工具100中的任何本地組件或任何遠程裝置。
處理器204可包括任何適當類型的通用或專用微處理器、數位訊 號處理器或微控制器。處理器204可以被配置為專用於產生彩色點雲的單獨處理器模組。或者，處理器204可以被配置為共享處理器模組，用於執行與彩色點雲產生無關的其他功能。
如圖2所示，處理器204可以包括多個模組，例如點雲分割單元210、點雲/圖像匹配單元212、感測器校準單元214、點雲/圖像聚合單元216或類似物。這些模組(以及任何相應的子模組或子單元)可以是處理器204的硬體單元(例如，積體電路的部分)，其被設計用於與其他組件一起使用或執行程序的一部分。程序可以儲存在電腦可讀取媒體上，並且當由處理器204執行時，它可以執行一個或多個以上的功能。儘管圖2示出了在一個處理器204內的所有單元210-216，但是可以預期這些單元可以分布在彼此靠近或遠離的多個處理器之間。
點雲分割單元210可以基於軌跡資訊203被配置為將點雲201分割成多個點雲片段，以便降低計算複雜度並提高處理速度。每個點雲片段可以與運輸工具100的軌跡上的起點和終點相關。軌跡資訊203可以由感測器150(例如GPS接收器和一個或多個IMU感測器)獲取，並且，包括當運輸工具100沿著軌跡移動時的運輸工具100的即時姿勢資訊。例如，即時姿勢資訊可以包括每個時間戳記處的運輸工具100的位置和方向。
在一些實施例中，每個點雲片段可以與起點和終點之間的軌跡段相關。軌跡的每個段可以對應於運輸工具100的相同的預定移動距離。例如，可以預先確定移動距離d並將其設置在點雲分割單元210中。假設運輸工具100的出發時間是t0，根據運輸工具100的軌跡，點雲分割單元210可以記錄運輸工具100的移動距離，直到它在時間t1達到d。對應於運輸工具100在時間間隔t0~t1內行進的軌跡段的點雲201的區段被設置為與移動距離d相關。點雲分割單元210還可以在軌跡上記錄起點(在時間t0)和終點(在時間t1)並且將起點和 終點與點雲片段相關。以這種方式，點雲分割單元210可以將點雲201劃分為n段，每個片段與預定的移動距離d相關。例如，圖3示出了根據本申請的實施例所示的示例性點雲片段及其在運輸工具軌跡上的相關起點和終點。如圖3所示，點雲片段與運輸工具100的軌跡中的起點302和終點304相關，並且起點302和終點304之間的移動距離是預定值d。
返回到圖2，點雲/圖像匹配單元212可以被配置為基於與點雲片段相關的起點和終點將每個點雲片段與圖像205的一個或多個圖像相關。對於每個點雲片段，可以存在多於一個的對應圖像(即，圖像序列)，每個圖像覆蓋點雲片段中的至少一些點。點雲/圖像匹配單元212可使用與點雲片段相關的起點和終點作為參考點，將每個點雲片段與對應的圖像序列匹配。由於用於拍攝圖像205的單目相機的FOV可能小於用於捕獲點雲201的LiDAR掃描儀的FOV，匹配的圖像序列的位置可以在點雲片段的起點和終點之前。
在一些實施例中，點雲/圖像匹配單元212可以基於與點雲片段相關的起點Ps和第一臨界值d1來確定圖像205的第一圖像images。在捕獲第一圖像images的運輸工具100的軌跡上的起點Ps與第一基點BPs(感測器160捕獲第一圖像images的位置)之間的第一距離可以等於第一臨界值d1。點雲/圖像匹配單元212還可以基於與點雲片段相關的終點Pe和第二臨界值d2來確定圖像205的第二圖像imagee。在捕獲第二圖像imagee的運輸工具100的軌跡上的終點Pe與第二基點BPe(感測器160捕獲第二圖像imagee的位置)之間的第二距離可以等於第二臨界值d2。然後，點雲/圖像匹配單元212可以將匹配的圖像序列{images，...，imagee}確定為第一基點BPs與運輸工具100的軌跡上的第二基點BPe之間的捕獲圖像。第一基點BPs可以在軌跡上的起點Ps之前，並且第二基點BPe可以在軌跡上的終點Pe之前。
例如，圖4示出了根據本申請的實施例的匹配點雲片段和圖像序 列的示例性流程。第一和第二臨界值d1和d2可以基於任何合適的因素預先確定，例如單目相機的FOV、圖像的尺寸和解析度、點雲片段的尺寸和解析度或類似物。在某些實施例中，第一和第二臨界值d1和d2可以不同。例如，如圖4所示，第一臨界值d1可以大於第二臨界值d2。匹配的圖像序列{images,...,imagee}以第一圖像images開始，以第二圖像imagee結束。對於第一圖像images，第一基點BPs與點雲片段的起點Ps之間的距離與第一臨界值d1相同。類似地，對於第二圖像imagee，第二基點BPe與點雲片段的終點Pe之間的距離與第二臨界值d2相同。可以預期的是匹配額圖像序列不一定包括圖像205中的所有圖像，其可以覆蓋點雲區片段中的至少一些點。如圖4所示，因為匹配的圖像序列{images,...,imagee}已經可以提供足够的紋理資訊來產生彩色點雲，通過設置第一和第二臨界值d1和d2，在第一圖像images之前或第二圖像imagee之後的一些圖像可以不包括在匹配的圖像序列中{images,...,imagee}。
返回到圖2，感測器校準單元214可以被配置為基於點雲片段和運輸工具100之間的不同距離處的校準參數來確定與每個點雲片段相關的一個或多個校準參數。感測器校準(包括校準整合的LiDAR掃描儀和相機)對於獲得點雲和圖像之間的投影關係是必要的。感測器校準的準確度可以受到目標(例如，捕獲的場景中的運輸工具100周圍的物體)與感測器(例如，裝配在運輸工具100上的感測器140-160)之間的距離的影響。距離越小，校準就越準確。因此，感測器校準單元214可以通過基於點雲片段(表示場景中的周圍物體的3-D資訊)與運輸工具100(其上配備有感測器140-160)之間的距離確定多組校準參數來增加感測器校準精確度。感測器校準單元214可以從點雲片段中選擇特徵點，並基於它們的座標識別匹配圖像中的相應像素。感測器校準單元214可以基於特徵點的3-D到2-D變換關係來計算點雲片段和匹配圖像的一個或多個校準參數，例如旋轉矩陣和平移向量。為了提高校準精確度，感測器校準 單元214可基於點雲片段與運輸工具100之間的變化距離提供不同的校準參數。
在一些實施例中，感測器校準單元214可以被配置為基於點與運輸工具之間的不同距離(在有效距離D內)將點雲201劃分為組，並基於點雲組中的至少三對特徵點和如上所述的對應的匹配圖像，確定每個點雲201組的校準參數。點雲可以包括一個或多個點雲組。感測器校準單元214可以進一步被配置為將校準參數分配給對應點雲組中的每個點雲片段。圖5示出了根據本申請的實施例所示的感測器校準的示例性流程。基於LiDAR掃描儀相對於運輸工具的測量範圍(有效距離D)，點雲201可以被劃分為具有不同測量距離的n組。對於n組中的每一個組，可以選擇至少三對特徵點對用於匹配圖像的感測器校準，以獲得n組校準參數{param1,...,paramn}。每組校準參數可用於在一定距離處校準相應的一對相機和LiDAR掃描儀。
返回到圖2，點雲/圖像聚合單元216可以被配置為基於點雲片段和運輸工具100之間的相應距離聚合每個點雲片段和匹配的圖像，以產生彩色點雲。點雲/圖像聚合單元216可基於點雲片段所屬的點雲組識別每個點雲片段的合適校準參數。也就是說，取決於它們的測量距離，可以使用不同的校準參數將不同的點雲片段與匹配圖像進行聚合。當將點雲區片段中的點投影到匹配圖像時，點與運輸工具100之間的距離越遠，誤差可能越大。因此，在一些實施例中，可以預先確定有效距離D，以僅允許D內的點被圖像中的相應像素著色。點雲/圖像聚合單元216可以被配置用於匹配每個點在有效距離D內的圖像中的對應像素，例如，基於它們使用校準參數的座標。點雲/圖像聚合單元216可以進一步被配置用於將與每個像素點相關的顏色資訊(例如，RGB顏色模型中的RGB值)分配給對應點以使點雲著色。
在某些實施例中，為降低計算複雜度，提高處理速度，點雲/圖像聚合單元216可以被配置用於從匹配圖像中選擇每m個圖像並且將點雲片段與 所選擇的圖像聚合，而不是所有匹配圖像。用於選擇匹配圖像的值m可以基於各種因素來確定，例如運輸工具100的移動速度及/或圖像205的取樣率。如上所述，對於有效距離D內的每個點，可以基於點雲/圖像聚合單元216對點雲片段特有的校準參數來識別所選圖像中的對應像素點。然後，點雲/圖像聚合單元216可以將所識別的像素的顏色資訊分配給每個點(在有效距離D內)以產生彩色點雲片段。
在一些實施例中，當匹配圖像包括具有不同視圖的圖像時，例如由多個單目相機捕獲的主視圖、側視圖、俯視圖或底視圖，點雲/圖像聚合單元216可以進一步被配置為首先用主視圖聚合點雲片段。如果主視圖無法覆蓋點雲片段中的所有點，然後，點雲/圖像聚合單元216可以使用與其他視圖(例如，側視圖、俯視圖或底視圖圖像)的其他匹配圖像來對點雲區片段中的所有剩餘點進行著色。點雲/圖像聚合單元216可以針對所有點雲片段執行與上述相同的聚合處理以產生彩色點雲。因此，彩色點雲可以包括每個點的3-D資訊和紋理資訊。例如，圖6示出了根據本申請的實施例的示例性產生的彩色點雲。圖像610示出了包括道路和周圍物體(例如植物)的場景的彩色點雲。圖像620示出了圖像610中的彩色點雲的擴展部分。可以從圖像610和620中捕獲的場景的彩色點雲獲得3-D資訊和紋理資訊(例如，顏色)。
返回參考圖2，記憶體206和儲存器208可以包括任何適當類型的大容量儲存器，其被提供以儲存處理器204可能需要操作的任何類型的資訊。記憶體206和儲存器208可以是揮發性或非揮發性、磁性、半導體、磁帶、光學、可移式、不可移式或其他類型的儲存裝置或有形(即，非暫時性)電腦可讀取媒體，包括但不限於ROM、快閃記憶體、動態RAM和靜態RAM。記憶體206及/或儲存器208可以被配置為儲存一個或多個電腦程式，其可以由處理器204執行以執行本文揭露的彩色點雲產生功能。例如，記憶體206及/或儲存器 208可以被配置為儲存程式，其可以由處理器204執行以控制感測器140-160以在運輸工具100沿軌跡移動時捕獲各種類型的資料，並處理捕獲的資料以產生彩色點雲。
記憶體206及/或儲存器208可以進一步被配置為儲存資訊和處理器204使用的資料。例如，記憶體206及/或儲存器208可以被配置用於儲存由感測器140-160捕獲的各種類型的資料和所產生的彩色點雲。各種類型的資料可以永久儲存、周期性地移除或者在處理每個資料訊框之後立即被忽略。
圖7示出了根據本申請的實施例所示的用於產生彩色點雲的示例性流程700的流程圖。例如，流程700可以由運輸工具100的彩色點雲產生系統實現，其包括控制器200和感測器140-160或類似物。然而，流程700不限於該示例性實施例。流程700可以包括如下所述的步驟S702-S710。應當理解，一些步驟可以是可選的，以執行本文提供的本申請。此外，一些步驟可以同時執行，或者以與圖7中所示不同的順序執行。
在步驟S702，當運輸工具100沿著軌跡移動時，與運輸工具100相關的感測器140-160可以捕獲關於場景的點雲和複數個圖像。例如，配備在運輸工具100上的LiDAR掃描儀可以捕獲表示場景的3-D資訊的點雲，並且裝配在運輸工具100上的一個或多個單目相機可以捕獲表示場景的紋理資訊的圖像。在一些實施例中，GPS接收器和配備在運輸工具100上的一個或多個IMU感測器可以獲取運輸工具100的軌跡資訊，包括時間、位置和方向。
在步驟S704，點雲可以由處理器204基於軌跡資訊而分割為複數個點雲片段，使得點雲片段與運輸工具100的軌跡上的起點和終點相關。每個點雲片段可以與對應於起點和終點的軌跡上的運輸工具100的相同的預定移動距離相關。
在步驟S706，點雲片段可以由處理器204基於運輸工具100的軌 跡上的起點和終點與圖像的一個或多個圖像相關。在一些實施例中，可以基於與點雲片段相關的起點和第一臨界值來確定第一圖像。第一臨界值被設置為起始點和第一基點之間的第一距離，其中第一圖像由感測器160捕獲。可以基於與點雲片段相關的終點和第二臨界值來確定第二圖像。第二臨界值被設置為終點與第二基點之間的第二距離，其中第二圖像由感測器160捕獲。第一基點可以位於軌跡的起點之前，第二基點可以位於軌跡的終點之前。第一和第二臨界值可以基於任何合適的因素預先確定，例如單目相機的FOV、圖像的尺寸和解析度、點雲片段的尺寸和解析度或類似物。圖像的一個或多個圖像可以包括在運輸工具100的軌跡上的第一基點和第二基點之間的捕獲圖像。
在步驟S708，點雲片段的一個或多個校準參數可由處理器204基於點雲片段與運輸工具100之間的不同距離的校準參數來確定。校準參數包括例如旋轉矩陣和平移向量，用於將點雲中的特徵點變換為相關圖像中的相應像素。例如，圖8示出了根據本申請的實施例的用於確定校準參數的示例性流程800的流程圖。在步驟S802中，點雲可以分為複數個組。每個點雲組可以包括一個或多個點雲片段，並且可以與點雲組和運輸工具100之間的距離相關。在步驟S804，可以基於例如點和像素點的座標來識別圖像中的每個點雲組中的點和相應的像素點。在步驟S806，可以基於對應點和像素點確定每個點雲組的一個或多個校準參數。在一些實施例中，LiDAR掃描儀的測量距離可以用作將點雲分成組的基準，並且每個點雲組中的特徵點和相關圖像中的相應像素可以用於計算特定於點雲組的校準參數(例如，旋轉矩陣和平移向量)。
返回圖7，在步驟S710，處理器204可以基於相應的校準參數將每個點雲片段與相關的一個或多個圖像聚合以產生彩色點雲。可以基於點雲片段和運輸工具100之間的距離來確定校準參數，如上面參考圖8所述。例如，圖9示出了根據本申請的實施例的用於聚合點雲片段和複數個圖像的示例性流程 900的流程圖。在步驟S902，可以選擇一些相關圖像。在一些實施例中，可以從相關圖像中選擇m個圖像，其中m可以基於運輸工具100沿軌跡的移動速度及/或圖像的取樣率來確定。在步驟S904，對於每個所選圖像，可以基於校準參數將圖像中的像素與點雲片段中的每個點匹配。在一些實施例中，這些點可以在距運輸工具100的預定有效距離內。在一些實施例中，如果所選圖像包括主視圖，則主視圖可具有比具有其他視圖的圖像更高的優先級以進行處理。在步驟S906，可以將與每個像素點相關的顏色資訊分配給點雲片段中的相應點，以對點雲片段著色。在使用RGB模型的一些實施例中，顏色資訊可以包括根據RGB顏色模型的像素點的RGB值。
本申請的另一態樣涉及一種儲存指令的非暫時性電腦可讀取媒體，所述指令在被執行時使得一個或多個處理器執行如上所述的方法。所述電腦可讀取媒體包括揮發性或非揮發性、磁性、半導體、磁帶、光學、可移式、不可移式或其他類型的電腦可讀取媒體或電腦可讀取儲存裝置。例如，如本申請的電腦可讀取媒體可以是儲存裝置或其上儲存有電腦指令的記憶體模組。在一些實施例中，電腦可讀取媒體可以是其上儲存有電腦指令的磁碟或快閃驅動器。
顯而易見，本領域具有通常知識者可以對本申請的系統和相關方法進行各種修改和變化。考慮到本申請的系統和相關方法的說明和實踐，其他實施例對於本領域具有通常知識者是顯而易見的。
本申請中的說明書和示例的目的僅被認為是示例性的，真正的範圍由以下申請專利範圍及其均等物限定。
700             流程 S702           步驟 S704           步驟 S706           步驟 S708           步驟 S710           步驟

Claims (20)

  1. 一種用於產生彩色點雲的方法，包括：當運輸工具沿著軌跡移動時，接收由與所述運輸工具相關的複數個感測器捕獲的關於場景的點雲和複數個圖像；通過處理器，將所述點雲分割成複數個片段，每個片段與所述運輸工具的所述軌跡上的起點和終點相關；通過所述處理器，基於所述起點和所述終點，將所述點雲的每個片段與所述複數個圖像中的一個或多個圖像相關；以及通過所述處理器，通過聚合所述點雲的每個片段和所述複數個圖像中的所述一個或多個圖像，產生彩色點雲，所述聚合基於所述點雲的所述片段和所述運輸工具之間的不同距離處的校準參數而確定；其中，將所述點雲的每個片段與所述複數個圖像中的一個或多個圖像相關包括：確定有效距離，將所述點雲的每個片段僅與所述複數個圖像中在所述有效距離內的一個或多個圖像相關。
  2. 如申請專利範圍第1項之方法，其中，所述點雲的每個片段與所述運輸工具在所述起點和所述終點之間的所述軌跡上的相同移動距離相關。
  3. 如申請專利範圍第1項之方法，其中，分割所述點雲是基於所述運輸工具在所述軌跡上的時間、位置和方向。
  4. 如申請專利範圍第1項之方法，其中，將所述點雲的每個片段僅與所述複數個圖像中在所述有效距離內的一個或多個圖像相關包括：基於所述起點和第一臨界值，確定所述複數個圖像中的第一圖像，其中，所述起點和捕獲所述第一圖像的第一基點之間的第一距離等於所述第一臨界 值，以及基於所述終點和第二臨界值，確定所述複數個圖像中的第二圖像，其中，所述終點與捕獲所述第二圖像的第二基點之間的第二距離等於所述第二臨界值；以及所述複數個圖像中在所述有效距離內的一個或多個圖像包括在所述軌跡上的所述第一基點和所述第二基點之間捕獲的圖像。
  5. 如申請專利範圍第4項之方法，其中，所述第一基點位於所述軌跡的所述起點之前，且所述第二基點位於所述軌跡的所述終點之前。
  6. 如申請專利範圍第1項之方法，其中，所述方法進一步包括：基於所述點雲的所述片段與所述運輸工具之間的距離，確定與所述點雲的每個片段相關的複數組校準參數；以及基於所述校準參數，聚合所述點雲的所述片段和所述複數個圖像中的所述一個或多個圖像。
  7. 如申請專利範圍第6項之方法，其中，確定與所述點雲的所述片段相關的複數組校準參數包括：將所述點雲劃分為複數個組，所述點雲的每個組與所述點雲的各組和所述運輸工具之間的距離相關；基於所述點雲的所述組中的點，確定所述點雲的每個組的校準參數；以及為所述點雲的所述片段分配所述點雲的所述片段所屬的所述點雲的所述組的所述校準參數。
  8. 如申請專利範圍第6項之方法，其中，聚合所述點雲的所述片段和所述複數個圖像中的所述一個或多個圖像包括：選擇所述複數個圖像中的所述一個或多個圖像中的一些圖像；對於所選圖像中的每一個圖像，基於所述校準參數，將所述圖像中的複數 個像素匹配到所述點雲的所述片段中的每個點；以及將與所述複數個像素中的每一個像素相關的顏色資訊分配到所述點雲的所述片段中的相應點。
  9. 如申請專利範圍第1項之方法，其中，所述複數個圖像中的所述一個或多個圖像包括所述場景的主視圖。
  10. 一種用於產生彩色點雲的系統，包括：通訊介面，被配置為當運輸工具沿著軌跡移動時，接收由裝配在所述運輸工具上的複數個感測器捕獲的關於場景的點雲和複數個圖像；儲存器，被配置為儲存所述點雲和所述複數個圖像；以及處理器，被配置為：將所述點雲分割成複數個片段，每個片段與所述運輸工具的所述軌跡上的起點和終點相關；基於所述起點和所述終點，將所述點雲的每個片段與所述複數個圖像中的一個或多個圖像相關；以及通過聚合所述點雲的每個片段和所述複數個圖像中的所述一個或多個圖像，產生彩色點雲，所述聚合基於所述點雲的所述片段和所述運輸工具之間的不同距離處的校準參數而確定；其中，將所述點雲的每個片段與所述複數個圖像中的一個或多個圖像相關包括：確定有效距離，將所述點雲的每個片段僅與所述複數個圖像中在所述有效距離內的一個或多個圖像相關。
  11. 如申請專利範圍第10項之系統，其中，所述點雲的每個片段與所述運輸工具在所述起點和所述終點之間的所述軌跡上的相同移動距離相關。
  12. 如申請專利範圍第10項之系統，其中，分割所述點雲是基於所 述運輸工具在所述軌跡上的時間、位置和方向。
  13. 如申請專利範圍第10項之系統，其中，為了將所述點雲的每個片段僅與所述複數個圖像中在所述有效距離內的一個或多個圖像相關，所述處理器被配置為：基於所述起點和第一臨界值，確定所述複數個圖像中的第一圖像，其中所述起點與捕獲所述第一圖像的第一基點之間的第一距離等於所述第一臨界值，以及基於所述終點和第二臨界值，確定所述複數個圖像中的第二圖像，其中所述終點與捕獲所述第二圖像的第二基點之間的第二距離等於所述第二臨界值；以及所述複數個圖像中在所述有效距離內的一個或多個圖像包括在所述軌跡上的所述第一基點和所述第二基點之間的捕獲的圖像。
  14. 如申請專利範圍第13項之系統，其中，所述第一基點位於所述軌跡的所述起點之前，且所述第二基點位於所述軌跡的所述終點之前。
  15. 如申請專利範圍第10項之系統，其中，所述處理器進一步被配置為：根據所述點雲的所述片段與所述運輸工具之間的距離，確定與所述點雲的每個片段相關的複數組校準參數；以及基於所述校準參數，聚合所述點雲的所述片段和所述複數個圖像中所述一個或多個圖像。
  16. 如申請專利範圍第15項之系統，其中，為了確定與所述點雲的所述片段相關的複數組校準參數，所述處理器被配置為：將所述點雲劃分為複數個組，所述點雲的每個組與所述點雲的各組和所述運輸工具之間的距離相關； 基於所述點雲的所述組中的點，確定所述點雲的每個組的校準參數；以及為所述點雲的所述片段分配所述點雲的所述片段所屬的所述點雲的所述組的所述校準參數。
  17. 如申請專利範圍第15項之系統，其中，為了聚合所述點雲的所述片段和所述複數個圖像中的所述一個或多個圖像，所述處理器被配置為：選擇所述複數個圖像中的所述一個或多個圖像中的一些圖像；對於所選圖像中的每一個圖像，基於所述校準參數，將所述圖像中的複數個像素匹配到所述點雲的所述片段中的每個點；以及將與所述複數個像素中的每一個像素相關的顏色資訊分配到所述點雲的所述片段中的相應點。
  18. 如申請專利範圍第10項之系統，其中，所述複數個圖像中的所述一個或多個圖像包括所述場景的主視圖。
  19. 如申請專利範圍第10項之系統，其中，所述複數個感測器包括光達雷射掃描儀和一個或多個單目相機。
  20. 一種非暫時性電腦可讀取媒體，其上儲存指令，當由一個或多個處理器執行時，使得所述一個或多個處理器執行包括以下操作：當運輸工具沿著軌跡移動時，接收由與所述運輸工具相關的複數個感測器捕獲的關於場景的點雲和複數個圖像；將所述點雲分割成複數個片段，每個片段與所述運輸工具的所述軌跡上的起點和終點相關；基於所述起點和所述終點，將所述點雲的每個片段與所述複數個圖像的一個或多個圖像相關；以及通過聚合所述點雲的每個片段和所述複數個圖像中的所述一個或多個圖像，產生彩色點雲，所述聚合基於所述點雲的所述片段和所述運輸工具之間的 不同距離處的校準參數而確定；其中，將所述點雲的每個片段與所述複數個圖像中的一個或多個圖像相關包括：確定有效距離，將所述點雲的每個片段僅與所述複數個圖像中在所述有效距離內的一個或多個圖像相關。
TW107147612A 2018-11-13 2018-12-28 用於產生彩色點雲的方法和系統 TWI695181B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/115254 2018-11-13
PCT/CN2018/115254 WO2020097796A1 (en) 2018-11-13 2018-11-13 Methods and systems for color point cloud generation

Publications (2)

Publication Number Publication Date
TW202018328A TW202018328A (zh) 2020-05-16
TWI695181B true TWI695181B (zh) 2020-06-01

Family

ID=70551297

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107147612A TWI695181B (zh) 2018-11-13 2018-12-28 用於產生彩色點雲的方法和系統

Country Status (9)

Country Link
US (1) US11474247B2 (zh)
EP (1) EP3735678A4 (zh)
JP (1) JP2021508095A (zh)
CN (1) CN111436216B (zh)
AU (1) AU2018286594A1 (zh)
CA (1) CA3028653C (zh)
SG (1) SG11201811601SA (zh)
TW (1) TWI695181B (zh)
WO (1) WO2020097796A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069084A (ko) * 2018-12-06 2020-06-16 팅크웨어(주) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
FR3098929B1 (fr) * 2019-07-16 2021-06-18 Yellowscan Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure
CN111144211B (zh) * 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
SE544256C2 (en) * 2019-08-30 2022-03-15 Scania Cv Ab Method and control arrangement for autonomy enabling infrastructure features
JP7537095B2 (ja) * 2020-02-18 2024-08-21 株式会社リコー 情報処理装置、プログラム、情報生成方法、情報処理システム
CN111784834B (zh) * 2020-06-24 2024-06-18 阿波罗智能技术(北京)有限公司 一种点云地图生成方法、装置以及电子设备
KR20220000171A (ko) * 2020-06-25 2022-01-03 현대자동차주식회사 라이다 데이터 기반 객체 인식 장치 및 그의 세그먼트 병합 방법
US11851086B2 (en) * 2020-06-26 2023-12-26 Waymo Llc Using simulations to identify differences between behaviors of manually-driven and autonomous vehicles
FR3112215B1 (fr) * 2020-07-01 2023-03-24 Renault Sas Système et procédé de détection d’un obstacle dans un environnement d’un véhicule
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CA3190613A1 (en) * 2020-08-01 2022-02-10 Curium Pte. Ltd. Method, system and computer readable medium for calibration of cooperative sensors
US12072420B2 (en) * 2020-08-04 2024-08-27 Nv5 Geospatial, Inc. Methods and apparatus for geospatial data generation
CN112235556B (zh) * 2020-09-27 2022-10-14 北京灵境世界科技有限公司 一种vr场景构建方法、系统和装置
CN112287860B (zh) * 2020-11-03 2022-01-07 北京京东乾石科技有限公司 物体识别模型的训练方法及装置、物体识别方法及系统
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
US11967111B2 (en) * 2020-12-15 2024-04-23 Kwangwoon University Industry-Academic Collaboration Foundation Multi-view camera-based iterative calibration method for generation of 3D volume model
CN113240813B (zh) * 2021-05-12 2023-05-16 北京三快在线科技有限公司 三维点云信息确定方法及装置
CN113487746B (zh) * 2021-05-25 2023-02-24 武汉海达数云技术有限公司 一种车载点云着色中最优关联影像选择方法及系统
CN113191459B (zh) * 2021-05-27 2022-09-09 山东高速建设管理集团有限公司 一种基于路侧激光雷达的在途目标分类方法
CN114511626B (zh) * 2022-04-20 2022-08-05 杭州灵西机器人智能科技有限公司 基于rgbd相机系统的图像处理装置、方法、设备及介质
CN114998744B (zh) * 2022-07-18 2022-10-25 中国农业大学 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置
CN118151171B (zh) * 2024-05-09 2024-08-06 苏州大学 基于激光雷达和图像传感器融合的可感知调平检测设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390169A (zh) * 2013-07-19 2013-11-13 武汉大学 一种车载激光扫描点云数据的城市地物分类方法
US20150254901A1 (en) * 2012-01-20 2015-09-10 Geodigital International Inc. Densifying and colorizing point cloud representation of physical surface using image data
CN106087621A (zh) * 2016-05-31 2016-11-09 中铁第四勘察设计院集团有限公司 一种基于车载激光雷达技术的铁路既有线复测方法
US20170294026A1 (en) * 2016-04-08 2017-10-12 Thinkware Corporation Method and apparatus for generating road surface, method and apparatus for processing point cloud data, computer program, and computer readable recording medium
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102515213B1 (ko) * 2012-09-10 2023-03-29 에이매스, 아이엔씨. 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
CN104318616A (zh) * 2014-11-07 2015-01-28 钟若飞 彩色点云系统及基于该系统的彩色点云生成方法
CN104732557A (zh) * 2015-04-16 2015-06-24 武汉海达数云技术有限公司 一种地面激光扫描仪彩色点云生成方法
CN104794743A (zh) * 2015-04-27 2015-07-22 武汉海达数云技术有限公司 一种车载激光移动测量系统彩色点云生产方法
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
JP6620563B2 (ja) * 2016-01-15 2019-12-18 株式会社Ihi 計測装置
CN107918753B (zh) * 2016-10-10 2019-02-22 腾讯科技（深圳）有限公司 点云数据处理方法及装置
JP7141403B2 (ja) 2017-01-27 2022-09-22 カールタ インコーポレイテッド 実時間オンライン自己運動推定を備えたレーザスキャナ
CN108629228B (zh) 2017-03-15 2020-12-01 阿里巴巴（中国）有限公司 一种道路对象识别方法和装置
CN107909645A (zh) * 2017-11-16 2018-04-13 青岛市光电工程技术研究院 建筑物视图生成方法、装置及系统
CN107992850B (zh) * 2017-12-20 2020-01-14 大连理工大学 一种室外场景三维彩色点云分类方法
CA3098630A1 (en) 2018-05-01 2019-11-07 Commonwealth Scientific And Industrial Research Organisation Method and system for use in colourisation of a point cloud

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254901A1 (en) * 2012-01-20 2015-09-10 Geodigital International Inc. Densifying and colorizing point cloud representation of physical surface using image data
CN103390169A (zh) * 2013-07-19 2013-11-13 武汉大学 一种车载激光扫描点云数据的城市地物分类方法
US20170294026A1 (en) * 2016-04-08 2017-10-12 Thinkware Corporation Method and apparatus for generating road surface, method and apparatus for processing point cloud data, computer program, and computer readable recording medium
CN106087621A (zh) * 2016-05-31 2016-11-09 中铁第四勘察设计院集团有限公司 一种基于车载激光雷达技术的铁路既有线复测方法
CN108681525A (zh) * 2018-05-16 2018-10-19 福州大学 一种基于车载激光扫描数据的路面点云强度增强方法

Also Published As

Publication number Publication date
AU2018286594A1 (en) 2020-05-28
EP3735678A1 (en) 2020-11-11
US11474247B2 (en) 2022-10-18
CN111436216B (zh) 2023-11-07
TW202018328A (zh) 2020-05-16
CA3028653A1 (en) 2020-05-13
SG11201811601SA (en) 2020-06-29
EP3735678A4 (en) 2021-03-24
CN111436216A (zh) 2020-07-21
JP2021508095A (ja) 2021-02-25
CA3028653C (en) 2021-02-16
WO2020097796A1 (en) 2020-05-22
US20200150275A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
TWI695181B (zh) 用於產生彩色點雲的方法和系統
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
US10937231B2 (en) Systems and methods for updating a high-resolution map based on binocular images
EP3612854B1 (en) Vehicle navigation system using pose estimation based on point cloud
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
WO2019208101A1 (ja) 位置推定装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN112424568B (zh) 构建高清地图的系统和方法
AU2018102199A4 (en) Methods and systems for color point cloud generation
CN113874681B (zh) 点云地图质量的评估方法和系统