TWI693422B - 自然場景中的整合感測器校準 - Google Patents

自然場景中的整合感測器校準 Download PDF

Info

Publication number
TWI693422B
TWI693422B TW107140497A TW107140497A TWI693422B TW I693422 B TWI693422 B TW I693422B TW 107140497 A TW107140497 A TW 107140497A TW 107140497 A TW107140497 A TW 107140497A TW I693422 B TWI693422 B TW I693422B
Authority
TW
Taiwan
Prior art keywords
point cloud
point
cloud data
data set
vehicle
Prior art date
Application number
TW107140497A
Other languages
English (en)
Other versions
TW202001290A (zh
Inventor
朱曉玲
馬騰
Original Assignee
大陸商北京嘀嘀無限科技發展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京嘀嘀無限科技發展有限公司 filed Critical 大陸商北京嘀嘀無限科技發展有限公司
Publication of TW202001290A publication Critical patent/TW202001290A/zh
Application granted granted Critical
Publication of TWI693422B publication Critical patent/TWI693422B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Navigation (AREA)

Abstract

本申請的實施例提供用於校準複數個感測器的方法和系統。所述方法可以包括當運輸工具沿著軌跡行進時，藉由與運輸工具相關聯的複數個感測器，捕獲指示至少一個周圍物體的點雲資料集。所述方法還可以包括藉由處理器，基於與所述點雲資料集相關聯的共面性，過濾所述點雲資料集。所述方法可以進一步包括藉由所述處理器，基於使用過濾的點雲資料集的模型，調整所述複數個感測器的至少一個校準參數。所述模型可以包括與所述點雲資料集相關聯的共面性相對應的權重。

Description

自然場景中的整合感測器校準
本申請涉及用於感測器校準的方法和系統，具體地，涉及用於校準光學雷達（Light Detection And Ranging，LiDAR）感測器和導航感測器的方法和系統。
本申請基於並主張2018年6月25日提交的申請號為PCT/CN2018/092649的國際申請案的優先權，其全部內容以引用方式被包含於此。
自動駕駛技術在很大程度上依賴於精確的地圖。例如，導航地圖的準確性對於自動駕駛運輸工具的功能（例如定位、環境識別、決策制定和控制）是關鍵的。可以藉由聚集由運輸工具上的各種感測器和探測器獲取的資料，獲得高清晰度地圖。例如，用於高清晰度地圖的典型資料採集系統通常是配備有多個整合感測器的運輸工具，該多個整合感測器例如是LiDAR、全球定位系統（Global Positioning System，GPS）接收器、慣性測量單元（Inertial Measurement Unit，IMU）感測器、甚至一個或多個的攝影機，以便捕獲運輸工具行駛的道路和周圍物體的特徵。捕獲的資料可以包括，例如車道的中心線或邊界線座標、諸如建築物、其他運輸工具、地標、行人或交通標誌的物體的座標和影像。
由整合感測器獲得的點雲資料不僅可能受到來自感測器本身的誤差（例如，雷射測距誤差、GPS定位誤差、IMU姿態測量誤差等）的影響，而且還受到來自雷射雷達單元和導航單元（例如，GPS/IMU單元）的整合引起的整合誤差。整合誤差可能包括由於雷射雷達單元和導航單元的座標軸不平行引起的安裝角（mounting angle）的誤差，以及由於雷射雷達的中心與GPS天線之間的偏移引起的安裝向量（mounting vector）誤差。因此，整合的雷射雷達和導航系統的校準對於提高點雲資料的準確性變得重要。
現有的整合感測器校準方法使用專用於感測器校準的人工校準目標。例如，需要利用以特定方式佈置的人工校準目標來構建專用校準設施，以收集校準資料。由於對校準目標的設計和佈置的特定要求，這些方法限制了校準效率和靈活性。另一種校準方法試圖從自然場景中的平面物體獲取校準資料，其量化從每個點到由其周圍點構造的附近表面的距離，然後藉由優化其距離的值來實現校準。然而，在自然場景中存在各種移動物體（例如，其他運輸工具）和靜態非平面物體（例如，植物），並且它們的點雲資料因為係非共面資料可以降低校準精度，從而限制了基於自然場景的這種校準方法的應用。
本申請的實施例藉由用於在自然場景中整合感測器校準的改進方法和系統來解決上述問題。
本申請的實施例提供了一種用於校準複數個感測器的方法。所述方法可以包括當運輸工具沿著軌跡行進時，藉由與所述運輸工具相關聯的複數個感測器，捕獲指示至少一個周圍物體的點雲資料集。所述方法還可以包括藉由處理器，基於與所述點雲資料集相關聯的共面性，過濾所述點雲資料集。所述方法可以進一步包括藉由所述處理器，基於使用過濾的點雲資料集的模型，調整所述複數個感測器的至少一個校準參數。所述模型可以包括與所述點雲資料集相關聯的共面性相對應的權重。
本申請的實施例還提供了一種用於校準複數個感測器的系統。所述系統可以包括與運輸工具相關聯的複數個感測器，其被配置為當所述運輸工具沿著軌跡行進時，捕獲指示至少一個周圍物體的點雲資料集。所述系統還可以包括處理器，其被配置為基於與所述點雲資料集相關聯的共面性，過濾所述點雲資料集。所述處理器可以進一步被配置為，基於使用過濾的點雲資料集的模型，調整所述複數個感測器的至少一個校準參數。所述模型包括與所述點雲資料集相關聯的共面性相對應的權重。
本申請的實施例還提供了一種非暫時性電腦可讀取媒體，其具有儲存在其上的指令，當所述指令由一個或多個處理器執行時，使得所述一個或多個處理器執行操作。所述操作可以包括當運輸工具沿著軌跡行進時，接收與所述運輸工具相關聯的複數個感測器捕獲的且指示至少一個周圍物體的點雲資料集。所述操作還可以包括基於與所述點雲資料集相關聯的共面性，過濾所述點雲資料集。所述操作可以進一步包括基於使用過濾的點雲資料集的模型，調整所述複數個感測器的至少一個校準參數。所述模型包括與所述點雲資料集相關聯的共面性相對應的權重。
應當理解，前面的一般性描述和下面的詳細描述都只是示例性和說明性的，並不是對主張保護的本發明的限制。
現在將詳細參考示例性實施例，其示例在圖式中示出。只要有可能，在所有圖式中將使用相同的圖式符號來表示相同或相似的部分。
圖1示出了根據本申請實施例的具有複數個感測器140和150的示例性運輸工具100的示意圖。與一些實施例一致，運輸工具100可以是勘測運輸工具，其被配置為獲取用於構建高清晰度地圖或三維（3-D）城市建模的資料。可以設想，運輸工具100可以是電動運輸工具、燃料電池運輸工具、混合動力運輸工具或常規內燃發動機運輸工具。運輸工具100可具有車身110和至少一個車輪120。車身110可以是任何車身類型，例如運動運輸工具、轎跑車、轎車、皮卡車、旅行車、運動型多功能車（Sports Utility Vehicle，SUV）、小型貨車或改裝車。在一些實施例中，運輸工具100可包括一對前輪和一對後輪，如圖1所示。然而，可以設想，運輸工具100可能具有較少的車輪或使運輸工具100能夠四處移動的等效結構。運輸工具100可以被配置為全輪驅動（All Wheel Drive，AWD）、前輪驅動（Front Wheel Drive，FWR）或後輪驅動（Rear Wheel Drive，RWD）。在一些實施例中，運輸工具100可以被配置為由佔用運輸工具的操作員操作、遠端控制及/或自主操作。
如圖1所示，運輸工具100可以配備有經由安裝結構130安裝到車身110的各種感測器140和150。安裝結構130可以是安裝或以其他方式附接到運輸工具100的車身110的機電裝置。在一些實施例中，安裝結構130可以使用螺釘、粘合劑或其他安裝機制。
與一些實施例一致，當運輸工具100沿著軌跡行進時，感測器140和150可以被配置為捕獲資料。例如，感測器140可以是被配置為掃描周圍並獲取點雲的LiDAR掃描器。LiDAR藉由用脈衝雷射光照射目標並用感測器測量反射脈衝，測量到目標的距離。然後可以利用雷射返回時間和波長的差值，產生所述目標的數位3-D表示。用於LiDAR掃描的光可以是紫外線、可見或近紅外線。因為窄雷射光束可以以非常高的解析度映射物理特徵，所以LiDAR掃描器特別適用於高清地圖勘測。在一些實施例中，LiDAR掃描器可以捕獲點雲。當運輸工具100沿著軌跡行進時，感測器140可以連續地捕獲資料。在特定時間範圍捕獲的每個場景資料集被稱為資料訊框。
在一些實施例中，感測器140可以包括LiDAR掃描器和被配置獲取數位影像的3-D攝影機的組合。當運輸工具100沿著軌跡行進時，獲取數位影像和點雲。從LiDAR掃描器獲取的點雲可以稍後與從掃描器的位置拍攝的掃描區域的數位影像匹配，以創建逼真的3-D模型。例如，點雲中的每個點可以被賦予來自拍攝的影像中像素的顏色，該影像位於與產生該點的雷射光束相同的角度。
如圖1所示，運輸工具100可以另外配備有感測器150，感測器150可以是導航單元中使用的感測器，例如GPS接收器和一個或多個IMU感測器。GPS是全球導航衛星系統，其向GPS接收器提供地理定位和時間資訊。IMU是一種電子裝置，其使用各種慣性感測器例如加速度計和陀螺儀，有時還有磁力計，測量並提供運輸工具的特定力、角速率、有時運輸工具周圍的磁場。藉由組合GPS接收器和IMU感測器，感測器150可以在運輸工具100行進時提供運輸工具100的即時姿態資訊，包括運輸工具100在每個時間戳記處的位置和定向（例如，歐拉角（Euler angle））。
在一些實施例中，由感測器140的LiDAR單元獲取的點雲資料可以最初位於LiDAR單元的局部座標系中，並且可能需要被變換到全域座標系（例如，經度/緯度座標）供以後處理。由導航單元的感測器150收集的運輸工具100的即時姿態資訊，可以用於藉由點雲資料對位（registration），將點雲資料從局部座標系變換到全域座標系中。例如基於在每次獲取點時，運輸工具100的姿態。為了用匹配的即時姿態資訊來對位點雲資料，感測器140和150可以被整合為整合感測系統，使得點雲資料可以在收集時利用姿態資訊進行對位而被對準（align）。可以相對於校準目標校準整合傳感系統以減少整合誤差，包括但不限於感測器140和150的安裝角度誤差和安裝向量誤差。通過整合校準，可以優化一個或多個感測器校準參數，例如LiDAR單元和導航單元的安裝角度、LiDAR中心和GPS接收器天線之間的偏移。
例如，圖2示出了根據本申請的實施例的用於校準感測器140和150的自然場景中的示例性校準目標和運輸工具軌跡。校準可以在自然環境中執行，並且可以不依賴於任何專用的人工校準目標，因此具有優於現有系統和方法的各種優點，例如完全自動化、高靈活性和效率等。
如俯視圖影像210中所示，其中可以校準配備在運輸工具（例如，運輸工具100）上的整合感測器（例如，感測器140和150）的自然場景可以包括各種周圍物體，例如移動物體（例如，其他運輸工具、行人、動物等）和靜態物體（例如，建築物、植物、道路、路燈、交通標誌、交通號誌燈等）。靜態物體可以是平面物體（例如，牆壁或道路）或非平面物體（例如，植物）。在一些實施例中，可以將作為靜態平面物體的周圍物體（例如，牆壁和道路）識別為校準目標。當運輸工具100沿著軌跡行進時，運輸工具100的整合感測器可以捕獲校準目標的資料，例如點雲資料和姿態資訊。在一些實施例中，移動物體（例如，運輸工具和行人）或靜態非平面物體（例如，植物）的周圍物體，可以避免作為校準目標。可以基於場景中合適的校準目標（即，靜態平面物體）和不適合的校準物體（即，移動物體和靜態非平面物體）的存在或數量，選擇用於感測器校準的自然場景。例如，包括大量移動物體（例如，多於5個移動物體）的場景可以不用於感測器校準。例如，俯視圖影像210示出了適合於感測器校準的自然場景，因為其主要包括建築物（具有牆壁）和道路。
與本申請一致，當捕獲指示所識別的周圍物體（即，校準目標）的資料時，運輸工具100可以沿著軌跡行進。在一些實施例中，為了確保法向量的精確計算（下面詳細描述），運輸工具100可以沿著相同的軌跡重複行進，並且在運輸工具行進時改變運輸工具100的歐拉角。例如，軌跡可以是任意的，但包括偏航（yaw）的變化，使得可以檢測LiDAR單元的橫向（lateral）和縱向（longitudinal）偏移。在俯視圖影像210中，運輸工具100沿著8形軌跡212重複行進以收集指示建築物牆壁的資料，例如點雲資料集、以及收集點雲資料時運輸工具100的即時姿態資訊（例如，時間、位置和定向）。景觀圖影像220示出了被識別為校準目標的周圍建築物牆壁。
返回參考圖1，與本申請一致，運輸工具100可以包括位於運輸工具100的車身110中的本地控制器160，或者與用於校準整合感測器140和150的遠端控制器（圖1中未示出）通訊，以優化感測器校準參數，從而減少整合誤差，提高採集資料的準確性。例如，圖3示出了根據本申請實施例的用於校準感測器140和150的示例性控制器300的方塊圖。與本申請一致，感測器140和150的校準參數301可以基於感測器140捕獲的點雲資料集303而朝向最佳值調整。
在一些實施例中，如圖3所示，控制器300可以包括通訊介面302、處理器304、記憶體306和儲存器308。在一些實施例中，控制器300可以在單個裝置中具有不同的模組，諸如積體電路（IC）晶片（實現為特定應用積體電路（ASIC）或場可程式閘陣列（FPGA），或具有專用功能的獨立裝置。在一些實施例中，控制器300的一個或多個元件可以位於運輸工具100內（例如，圖1中的本地控制器160），或者可以替代地在行動裝置中、在雲端中或另一個遠端位置。控制器300的元件可以在整合裝置中，或者分佈在不同位置，但是通過網路（未示出）彼此通訊。例如，處理器304可以是運輸工具100的處理器、行動裝置內的處理器或雲端處理器，或其任何組合。
通訊介面302可以經由通訊纜線、無線區域網路（WLAN）、廣域網路（WAN）、諸如無線電波的無線網路、全國蜂窩網路、及/或本地無線網路（例如，藍牙™或WiFi），或其他通訊方法，向諸如感測器140和150之類的元件發送資料和從其接收資料。在一些實施例中，通訊介面302可以是整合式服務數位網路（ISDN）卡、纜線數據機、衛星數據機或數據機、以提供資料通訊連接。又例如，通訊介面302可以是區域網路（LAN）卡，以提供與相容LAN的資料通訊連接。無線鏈路也可以由通訊介面302實現。在這樣的實現中，通訊介面302可以發送和接收電信號、電磁信號或光信號，其攜帶經由網路表示各種類型資訊的數位資料流。
與一些實施例一致，通訊介面302可以接收由感測器140和150捕獲的資料，例如指示校準目標的點雲資料集303和運輸工具100的姿態資訊，並將所接收的資料提供給儲存器308用於儲存，或給處理器304用於處理。通訊介面302還可以接收由處理器304產生的校準參數301，並且向感測器140和150提供校準參數301，其將相應地用於校準感測器140和150。
處理器304可包括任何適當類型的通用或專用微處理器、數位訊號處理器或微控制器。處理器304可以被配置為專用於在自然場景中，使用非人工校準目標校準配備在運輸工具100上的感測器的單獨處理器模組。或者，處理器304可以被配置為共用處理器模組，用於執行與校準感測器無關的其他功能。
如圖3所示，處理器304可以包括多個模組，例如座標變換單元310、共面性計算單元312、點雲資料過濾單元314、校準參數優化單元316等。這些模組（以及任何對應的子模組或子單元）可以是處理器304的硬體單元（例如，積體電路的部分），其被設計用於與其他元件一起使用或執行程式的一部分。程式可以儲存在電腦可讀取媒體上，並且當由處理器304執行時，它可以執行一個或多個的功能。儘管圖3示出了在一個處理器304內的所有單元310-316，但是可以預期這些單元可以分佈在彼此靠近或遠離的多個處理器之間。
座標變換單元310可以被配置為基於由感測器150獲取的運輸工具100的即時姿態資訊，將由感測器140在局部座標系（例如，LiDAR所使用的座標系）中捕獲的點雲資料集303變換到全域座標系。點雲資料303可以包含運輸工具100周圍的物體（例如，所識別的校準目標）的外表面上一組資料點。姿態資訊可包括每個時間戳記處的運輸工具100的位置和定向。在一些實施例中，點雲資料303可以被記錄為運輸工具100在一段時間內藉由一系列姿態（例如，位置和定向）的轉變。座標變換單元310可以基於在獲取每個點時的運輸工具100的姿態，將由點雲資料303表示的點雲中的每個點投影到全域座標系（例如，經度/緯度座標）中。由於點雲資料303和姿態資訊由整合感測器140和150收集，感測器140和150的初始校準參數（例如，座標軸和中心）也可以用作座標變換。在優化校準參數之前，初始校準參數可以設定為粗略地藉由工具例如卷尺測量的值。在被投影到全域座標系中之後，點雲資料303中的每個資料點可以由全域座標系中的一組座標和附加資訊（例如該點處的雷射強度或者衍生自姿態資訊的任何資訊）表示。
共面性計算單元312可以被配置為確定與全域座標系中的點雲資料303相關聯的共面性。如本文所提及的，共面性是兩個或以上點在同一平面內的狀態或程度。由於空間中的點傾向於位於連續表面上，因此可以將接近（proximity）點視為共面點（即，具有高於臨界值的共面性）。共面資料（例如，靜態平面物體的點雲資料）有助於精確的感測器校準，而非共面資料（例如，移動物體的點雲資料或靜態非平面物體）可能影響感測器準確度。因此，共面性計算單元312可藉由使用點雲資料過濾單元314來識別來自點雲資料303的資料點的共面性，以過濾掉非共面資料。
在一些實施例中，共面性可以由共面性計算單元312基於與點雲資料303相關聯的複數個尺度下的法向量的差（即，
Figure 02_image001
）來確定。表面的法向量（也稱為「法線」）是垂直於給定點處的該表面的切平面的向量。當在自然場景中校準整合感測器時，有時無法避免移動物體或靜態非平面物體。與本申請一致，在不同尺度下的法向量的差，可用於區分靜態平面物體與移動物體和靜態非平面物體。例如，靜態平面物體在不同尺度下的法向量的差小於移動物體或靜態非平面物體的法向量的差。
圖4示出了根據本申請的實施例的在不同尺度下計算法向量差的示例性方法。如圖4所示， P表示點雲資料集{ p1、 p2、...、 pN}，每個點雲被描繪為點。點雲可以指示校準物體的表面。該點雲資料集P可以與多尺度空間相關聯，所述多尺度空間包括如410所示的兩個遠端點（大半徑 r l ）定義的第一尺度和如420所示的兩個近端點（小半徑 r s ）定義的第二尺度，所述第二尺度小於所述第一尺度。在第一和第二尺度下，與點雲中的相同點p（表示為大點）相關聯的法向量分別在410和420中計算。在410中，將第一尺度 r l 下的點p處的切平面 T(p, r l )的第一法向量
Figure 02_image003
計算為
Figure 02_image005
(p, r l )。在420中，將第二尺度 r s 下的點p處的切平面 T(p, r s )的第二法向量
Figure 02_image005
計算為
Figure 02_image005
(p, r s )。在430中，將第一和第二尺度 r l 、 r s 下的點p處的第一和第二法向量的差
Figure 02_image007
計算為
Figure 02_image007
(p, r s , r l )。
返回參考圖3，點雲資料過濾單元314可以被配置為基於與點雲資料集303相關聯的共面性，過濾點雲資料集303。如上所述，共面性，例如與點雲中的點相關聯的不同尺度下的法向量的差，可以用作識別非共面資料（例如，表示移動或靜態非平面物體上的點）的基礎，並從點雲資料303中過濾非共面資料以改善資料品質用於校準。在一些實施例中，臨界值可用於藉由將該點處的對應法向量差與臨界值進行比較，來確定點是否是非共面點。也就是說，具有相對大的法向量差（例如，相對於臨界值）的點可以被識別為非共面點，並且它們在點雲資料303中的資料可以藉由點雲資料過濾單元314過濾作為非共面雜訊資料。
圖5示出了根據本申請的實施例的用於過濾點雲資料的示例性方法500的資料流程圖。與一些實施例一致，在點雲502中，每一個點504可以基於其在與點雲502相關聯的在第一尺度506和第二尺度508下的法向量差，通過點雲資料過濾單元314。第一和第二尺度506和508中的每一個尺度可以由點雲502中的點定義。可以在第一尺度506下，計算與點504相關聯的第一法向量510。也可以在第二尺度508下，計算與點504相關聯的第二法向量512。可以計算第一和第二法向量510和512的法向量差514，並將其與臨界值516進行比較。例如，臨界值516可以是基於先前經驗預定的任何合適的值。在518處，確定法向量差514是否高於臨界值516。如果法向量差514不高於臨界值516（即，在第一和第二尺度506和508下的法向量的相對小的差），則在520處、點504可以被認為是共面點，因此，保留在點雲502中。否則，如果法向量差514高於臨界值516（即，在第一和第二尺度506和508下的法向量的相對大的差），則在522處、點504可被視為非共面點因此，從點雲502過濾掉。結果，過濾後的點雲502將不包括點504。
返回參考圖3，校準參數優化單元316可以被配置為，基於使用過濾的點雲資料集303作為模型的輸入的模型，調整感測器140和150的校準參數301，使得模型的輸出減小。模型可以包括基於與點雲資料集303相關聯的共面性的權重。在一些實施例中，權重可以是在點雲中的點處在不同尺度下的法向量的差的倒數。藉由反覆運算地調整校準參數301直到模型的輸出最小化，可以優化校準參數301以實現用於校準感測器140和150的最佳值。下面詳細描述可以由校準參數優化單元316實現的示例性演算法和模型。可以設想，校準參數優化單元316也可以實施任何其他合適的演算法及/或模型，以使用經過過濾的點雲資料303來調整校準參數301。
示例性演算法包括：（a）從過濾的點雲資料303中選擇雷射掃描束 b j 及其點集 P ( b j )，該過濾的點雲資料303已經利用基於運輸工具100的姿態資訊的初始校準參數變換到全域座標系；（b）對於雷射掃描束 b j ，從過濾的點雲資料303中選擇相鄰的雷射掃描束 n j 及其點集 P ( n j )；（c）從點集 P ( n j )中選擇點 p k ；（d）從點集 P ( b j )中選擇具有距點 p k 的最小距離的點 m k ，並計算點 m k 處的法向量 η k ；和（f）計算點 p k 與點 m k 的表面之間的距離。由於點 p k 和 m k 是從過濾的點雲資料303中選擇並且足夠接近，它們在靜態平面物體（而不是移動物體或靜態非平面物體）的相同表面上。例如，點 p k 和 m k 處的每個法向量差小於臨界值。因此，點 p k 和 m k 的對應資料可以是共面資料。上述流程（a）-（f）可以由校準參數優化單元316重複執行，直到感測器140的所有雷射掃描光束被遍歷。
示例性演算法使用針對點雲中的所有點計算的總距離作為用於優化的成本函數：
Figure 02_image009
[1]
Figure 02_image011
其中 i表示每個雷射掃描束的編號，
Figure 02_image013
，其中 B表示雷射掃描束的總數； j表示 i的相鄰雷射掃描束，
Figure 02_image015
，
Figure 02_image017
，其中 N表示相鄰雷射掃描束的數量； η k 表示法向量。 ω k 是等式[1]中所示的模型的權重，其表示點雲共面性的置信度（confidence level），例如等式[2]所示的法向量差 Δη的倒數（如上詳述）。也就是說，模型的權重可以基於每個點的共面性。例如，具有高共面性的點（例如，表示為在多個尺度下的小法向量差）可以被賦予大的權重，而具有低共面性的點（例如，表示在多個尺度下的大法向量差）可以分配一個小的權重。因此，與點雲資料集303相關聯的共面性不僅可以用於點雲資料過濾單元314對點雲資料303的過濾，而且還可以用於藉由校準參數優化單元316，為優化校準參數301確定模型中每個點的權重。
藉由調整感測器140和150的校準參數301，可以改變成本函數 J(x)的值。校準參數優化單元316可以被配置為調整校準參數301，使得 J(x)的值減小。在一些實施例中，校準參數優化單元316可反覆運算地調整 J(x)，直到其值最小化。校準參數301的對應值變為用於校準感測器140和150的最佳值。
例如，圖6分別示出了根據本申請的實施例的感測器校準之前和之後的相同物體（建築物牆壁）的示例性點雲610和620。建築物牆壁的點雲610由感測器140和150在感測器校準之前（例如，使用任意初始校準參數）收集的資料產生。相反，在感測器校準之後（例如，使用最佳校準參數），由感測器140和150收集的資料重新產生相同建築物牆壁的點雲620。例如，由於感測器140和感測器140的整合誤差藉由最佳校準參數減少，在點雲620（以矩形標注）中表示的建築物牆壁的厚度比在點雲610（在矩形中標注）中表示的相同建築物牆壁的厚度薄。
返回參考圖3，記憶體306和儲存器308可以包括任何適當類型的大容量儲存器，被配置為儲存處理器304可能需要操作的任何類型的資訊。記憶體306和儲存器308可以是揮發性或非揮發性、磁性、半導體、磁帶、光學、可移除、不可移除或其他類型的儲存裝置或有形的（即，非暫時性）電腦可讀取媒體，包括但不限於ROM、快閃記憶體、動態RAM和靜態RAM。記憶體306及/或儲存器308可以被配置為儲存一個或多個電腦程式，其可以由處理器304執行以執行本申請中揭露的感測器校準功能。例如，記憶體306及/或儲存器308可以被配置為儲存程式，其可以由處理器304執行以控制感測器140捕獲校準目標資料並且控制感測器150，以在運輸工具100沿著軌跡行進時獲取運輸工具姿態資訊，並處理捕獲資料以調整感測器140和150的校準參數。
記憶體306及/或儲存器308可以進一步被配置為儲存處理器304使用的資訊和資料。例如，記憶體306及/或儲存器308可以被配置為儲存感測器140捕獲的點雲資料和由感測器150獲得的即時姿態資訊，用於優化校準參數的模型，以及校準參數的初始值、中間值和最佳值。這些資料、資訊和模型可以被永久地儲存，週期性地移除，或者在處理每個資料訊框之後立即被忽略。
圖7示出了根據本申請的實施例的用於校準複數個感測器的示例性方法700的流程圖。例如，方法700可以由運輸工具100的整合感測器校準系統實現，其包括控制器300和感測器140和150等。方法700可以包括如下所述的步驟S702-S712。
在步驟S702，可以將自然場景中的運輸工具100周圍的物體識別為校準目標。運輸工具100可以是勘測運輸工具，在自然場景中沿著軌跡重複行進，用於校準裝備在運輸工具100上的感測器140和150。校準目標可以包括場景中的靜態平面物體，例如建築物牆壁或道路。關於靜態平面物體收集的資料對於校準是理想的。因此，可移除移動物體和非平面物體，例如場景中的另一運輸工具或植物，以提高校準精度。因此，專用的校準設施及/或人工校準目標對於感測器校準是不必要的，從而提高了校準效率和靈活性。
在步驟S704，當運輸工具100沿著自然場景中的軌跡行進以進行感測器校準時，感測器140可以捕獲指示周圍物體（即，所識別的校準目標）的點雲資料集。運輸工具100可以配備有感測器140，例如LiDAR雷射掃描器。當運輸工具100沿著軌跡行進時，感測器140可以在局部座標系中以點雲資料集的形式，在不同時間點連續捕獲場景資料訊框。運輸工具100還可以配備有感測器150，例如GPS接收器和一個或多個IMU感測器。感測器140和150可以形成整合感測系統。在一些實施例中，當運輸工具100沿自然場景中的軌跡行進並且當感測器140捕獲校準目標的點雲資料集時，感測器150可以獲取運輸工具100的即時姿態資訊。
在步驟S706，處理器304可以基於運輸工具100的姿態資訊，將局部座標系中的點雲資料集投影到全域座標系中。在一些實施例中，可以將任何合適的值可用於初始校準參數，以在全域座標系，例如經度/緯度座標中，將點雲資料和用於資料對位的姿態資訊進行相關（correlating）。例如，處理器304可以基於在獲取每個點時運輸工具100的姿態，將點雲中的點投影到全域座標系中。
在步驟S708，處理器304可以確定與全域座標系中的點雲資料集相關聯的共面性。在一些實施例中，可以基於與點雲資料集相關聯的複數個尺度下的法向量的差，確定共面性。例如，對於點雲中的每個點，處理器304可以在第一尺度下，計算與點相關聯的第一法向量，和在不同於第一尺度之第二尺度下，與點相關聯的第二法向量，然後計算第一和第二法向量的差。法向量差可以是與點雲資料集相關聯的共面性的指示。法向量差越大，對應點越可能是非共面點（即，在移動物體或靜態非平面物體的表面上的點）。
在步驟S710，處理器304可以基於共面性過濾該點雲資料集。在一些實施例中，臨界值可以用於確定是否應該從點雲（以及點雲資料集）中移除點（及其對應資料）。例如，可以將與點相關聯的法向量差與臨界值進行比較。如果法向量差不高於臨界值，則點資料將保持在點雲資料集中，因為該點被認為是靜態平面物體的表面上的共面點。否則，點資料將從點雲資料集中濾除，因為該點被視為移動物體或靜態非平面物體表面上的非共面點。
在步驟S712，處理器304可以基於使用過濾的點雲資料集作為模型的輸入的優化模型，調整感測器140和150的校準參數，使得模型的成本函數值減小。該模型可以包括基於與點雲資料集相關聯的共面性的權重。在一些實施例中，權重可以是與過濾的點雲資料集中的每個點相關聯的法向量的差的倒數。處理器304可以連續地調整校準參數，直到模型的成本函數值最小化。然後，相應的校準參數具有用於感測器140和150的校準的最佳值。
本申請的另一態樣涉及一種儲存指令的非暫時性電腦可讀取媒體，所述指令在被執行時使得一個或多個處理器執行如上所述的方法。所述電腦可讀取媒體包括揮發性或非揮發性、磁性、半導體、磁帶、光學、可移除、不可移除或其他類型的電腦可讀取媒體或電腦可讀取儲存裝置。例如，如所揭露的，所述電腦可讀取媒體可以是其上儲存有電腦指令的儲存裝置或儲存器模組。在一些實施例中，所述電腦可讀取媒體可以是其上儲存有電腦指令的磁片或快閃記憶體驅動器。
顯而易見，本領域具有通常知識者可以對所揭露的系統和相關方法進行各種修改和變化。考慮到所揭露的系統和相關方法的說明和實踐，其他實施例對於本領域具有通常知識者將是顯而易見的。
本申請中的說明書和示例的目的僅被認為是示例性的，真正的範圍由以下申請專利範圍及其均等物指示。
100      運輸工具 110      車身 120      車輪 130      安裝結構 140      感測器 150      感測器 160      本地控制器 210      俯視圖影像 212      形軌跡 220      景觀圖影像 300      控制器 301      校準參數 302      通訊介面 303      點雲資料 304      處理器 306      記憶體 308      儲存器 310      座標變換單元 312      共面性計算單元 314      點雲資料過濾單元 316      校準參數優化單元 410      多尺度空間 420      多尺度空間 430      多尺度空間 500      方法 502      點雲 504      點 506      第一尺度 508      第二尺度 510      第一法向量 512      第二法向量 514      法向量差 516      臨界值 518      步驟 520      步驟 522      步驟 610      點雲 620      點雲 700      方法 S702    步驟 S704    步驟 S706    步驟 S708    步驟 S710    步驟 S712    步驟
圖1示出了根據本申請的實施例的具有感測器的示例性運輸工具的示意圖。
圖2示出了根據本申請的實施例的用於校準感測器的自然場景中的示例性校準目標和運輸工具軌跡。
圖3示出了根據本申請實施例的用於校準感測器的示例性控制器的方塊圖。
圖4示出了根據本申請的實施例的在不同尺度下計算法向量差的示例性方法。
圖5示出了根據本申請的實施例的過濾點雲資料的示例性方法的資料流程圖。
圖6示出了根據本申請的實施例的感測器校準之前和之後的相同物體的示例性點雲。
圖7示出了根據本申請的實施例的校準複數個感測器的示例性方法的流程圖。
500      方法 502      點雲 504      點 506      第一尺度 508      第二尺度 510      第一法向量 512      第二法向量 514      法向量差 516      臨界值 518      步驟 520      步驟 522      步驟

Claims (17)

  1. 一種校準複數個感測器的方法，包括：當運輸工具沿著軌跡行進時，藉由與所述運輸工具相關聯的複數個感測器，捕獲指示至少一個周圍物體的點雲資料集；藉由所述處理器，基於所述點雲中的點在與所述點雲資料集相關聯的複數個不同尺度下的法向量的差，確定與所述點相關聯的共面性；藉由處理器，基於與所述點相關聯的所述共面性，過濾所述點雲資料集；以及藉由所述處理器，基於使用過濾的所述點雲資料集的模型，調整所述複數個感測器的至少一個校準參數，其中所述模型包括與所述點相關聯的所述共面性相對應的權重。
  2. 如申請專利範圍第1項之方法，其中，所述至少一個周圍物體包括自然場景中的靜態平面物體。
  3. 如申請專利範圍第1項之方法，其中，所述運輸工具沿著所述軌跡重複行進，並且當所述點雲資料集被捕獲時改變所述運輸工具的方向。
  4. 如申請專利範圍第1項之方法，其中，所述複數個感測器包括光學雷達(LiDAR)雷射掃描器、全球定位系統(GPS)接收器和慣性測量單元(IMU)感測器。
  5. 如申請專利範圍第1項之方法，其中，基於與所述點相關聯的所述共面性，過濾所述點雲資料集包括：在第一尺度下，計算與所述點雲中的所述點相關聯的第一法向量，所述第一尺度由與所述點相關聯的至少兩個第一點定義；在第二尺度下，計算與所述點相關聯的第二法向量，所述第二尺度由與所述點相關聯的至少兩個第二點定義，所述第一尺度不同於所述第二尺度； 計算所述第一法向量與所述第二法向量的差；以及基於所述差大於臨界值，從所述點雲中去除所述點。
  6. 如申請專利範圍第1項之方法，其中，所述權重是所述法向量的所述差的倒數。
  7. 一種用於校準複數個感測器的系統，包括：與運輸工具相關聯的複數個感測器，其被配置為當所述運輸工具沿著軌跡行進時，捕獲指示至少一個周圍物體的點雲資料集；以及處理器，其被配置為：基於所述點雲中的點在與所述點雲資料集相關聯的複數個不同尺度下的法向量的差，確定與所述點相關聯的共面性；基於與所述點相關聯的所述共面性，過濾所述點雲資料集；以及基於使用過濾的所述點雲資料集的模型，調整所述複數個感測器的至少一個校準參數，其中所述模型包括與所述點相關聯的所述共面性相對應的權重。
  8. 如申請專利範圍第7項之系統，其中，所述至少一個周圍物體包括自然場景中的靜態平面物體。
  9. 如申請專利範圍第7項之系統，其中，所述運輸工具沿著所述軌跡重複行進，並且當所述點雲資料集被捕獲時改變所述運輸工具的方向。
  10. 如申請專利範圍第7項之系統，其中，所述複數個感測器包括LiDAR雷射掃描器、GPS接收器和IMU感測器。
  11. 如申請專利範圍第7項之系統，其中，為基於與所述點雲資料集相關聯的所述共面性，過濾所述點雲資料集，所述處理器被進一步配置為：在第一尺度下，計算與所述點雲中的所述點相關聯的第一法向量，所述第一尺度由與所述點相關聯的至少兩個第一點定義；在第二尺度下，計算與所述點相關聯的第二法向量，所述第二尺度由與所 述點相關聯的至少兩個第二點定義，所述第一尺度不同於所述第二尺度；計算所述第一法向量與所述第二法向量的差；以及基於所述差大於臨界值，從所述點雲中去除所述點。
  12. 如申請專利範圍第7項之系統，其中，所述權重是所述法向量的所述差的倒數。
  13. 一種非暫時性電腦可讀取媒體，其具有儲存在其上的指令，當所述指令由一個或多個處理器執行時，使得所述一個或多個處理器執行包括以下操作的操作：當運輸工具沿著軌跡行進時，接收與所述運輸工具相關聯的複數個感測器捕獲的指示至少一個周圍物體的點雲資料集；基於所述點雲中的點在與所述點雲資料集相關聯的複數個不同尺度下的法向量的差，確定與所述點相關聯的共面性；基於與所述點相關聯的所述共面性，過濾所述點雲資料集；以及基於使用過濾的所述點雲資料集的模型，調整所述複數個感測器的至少一個校準參數，其中所述模型包括與所述點相關聯的所述共面性相對應的權重。
  14. 如申請專利範圍第13項之非暫時性電腦可讀取媒體，其中，所述至少一個周圍物體包括自然場景中的靜態平面物體。
  15. 如申請專利範圍第13項之非暫時性電腦可讀取媒體，其中，所述運輸工具沿著所述軌跡重複行進，並且當所述點雲資料集被捕獲時改變所述運輸工具的歐拉角。
  16. 如申請專利範圍第13項之非暫時性電腦可讀取媒體，其中，基於與所述點雲資料集相關聯的所述共面性，過濾所述點雲資料集包括：在第一尺度下，計算與所述點雲中的所述點相關聯的第一法向量，所述第一尺度由與所述點相關聯的至少兩個第一點定義； 在第二尺度下，計算與所述點相關聯的第二法向量，所述第二尺度由與所述點相關聯的至少兩個第二點定義，所述第一尺度不同於所述第二尺度；計算所述第一法向量與所述第二法向量的差；以及基於所述差大於臨界值，從所述點雲中去除所述點。
  17. 如申請專利範圍第13項之非暫時性電腦可讀取媒體，其中，所述權重是所述法向量的所述差的倒數。
TW107140497A 2018-06-25 2018-11-15 自然場景中的整合感測器校準 TWI693422B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/092649 2018-06-25
PCT/CN2018/092649 WO2020000137A1 (en) 2018-06-25 2018-06-25 Integrated sensor calibration in natural scenes

Publications (2)

Publication Number Publication Date
TW202001290A TW202001290A (zh) 2020-01-01
TWI693422B true TWI693422B (zh) 2020-05-11

Family

ID=68981415

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140497A TWI693422B (zh) 2018-06-25 2018-11-15 自然場景中的整合感測器校準

Country Status (9)

Country Link
US (1) US10860871B2 (zh)
EP (1) EP3631494B1 (zh)
JP (1) JP6821712B2 (zh)
CN (1) CN110859044B (zh)
AU (1) AU2018282302B2 (zh)
CA (1) CA3027921C (zh)
SG (1) SG11201811410RA (zh)
TW (1) TWI693422B (zh)
WO (1) WO2020000137A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726189B2 (en) * 2019-12-09 2023-08-15 Nio Technology (Anhui) Co., Ltd. Real-time online calibration of coherent doppler lidar systems on vehicles
TWI766218B (zh) * 2019-12-27 2022-06-01 財團法人工業技術研究院 三維平面重建方法、三維平面重建系統與計算裝置
RU2767949C2 (ru) * 2019-12-30 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ (варианты) и система для калибровки нескольких лидарных датчиков
US11892560B2 (en) 2020-02-03 2024-02-06 Nio Technology (Anhui) Co., Ltd High precision multi-sensor extrinsic calibration via production line and mobile station
CN111007485B (zh) * 2020-03-09 2020-10-27 中智行科技有限公司 一种图像处理方法、装置、以及计算机存储介质
CN111882977B (zh) * 2020-05-06 2022-04-29 北京嘀嘀无限科技发展有限公司 一种高精度地图构建方法及系统
DE102020205716A1 (de) * 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur kontrollierten Initialisierung einer Lokalisierungseinrichtung eines zumindest teilweise autonom betreibbaren Fahrzeugs
US20210370953A1 (en) * 2020-05-26 2021-12-02 The Regents Of The University Of Michigan Grip-force sensing and shape-changing steering wheel
CN112051591B (zh) * 2020-08-31 2022-11-29 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN112255621B (zh) * 2020-10-09 2022-08-30 中国第一汽车股份有限公司 一种车辆传感器的标定方法、装置、电子设备及存储介质
US11740360B2 (en) * 2020-11-02 2023-08-29 Motional Ad Llc Light detection and ranging (LiDaR) scan smoothing
CN112767458B (zh) * 2020-11-13 2022-07-29 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
CN112598705B (zh) * 2020-12-17 2024-05-03 太原理工大学 一种基于双目视觉的车身姿态检测方法
CN112903311A (zh) * 2021-01-28 2021-06-04 特路（北京）科技有限公司 一种适用于自动驾驶车辆夜间光照环境测试场及测试方法
FR3120711B1 (fr) * 2021-03-09 2023-04-14 Continental Automotive Procede et dispositif de calibration d'un capteur de profondeur d'environnement
CN113554759B (zh) * 2021-07-26 2024-05-14 河南德拓信息科技有限公司 一种煤炭运输遗撒智能监测分析方法、装置和设备
CN113791414B (zh) * 2021-08-25 2023-12-29 南京市德赛西威汽车电子有限公司 一种基于毫米波车载雷达视图的场景识别方法
CN113985451B (zh) * 2021-10-25 2022-11-15 湘潭大学 一种基于卡尔曼滤波跟踪环路的导航欺骗检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN107153186A (zh) * 2017-01-06 2017-09-12 深圳市速腾聚创科技有限公司 激光雷达标定方法及激光雷达
CN107407866A (zh) * 2015-02-24 2017-11-28 嗨魄Vr公司 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
WO2018064703A1 (en) * 2016-10-07 2018-04-12 Cmte Development Limited System and method for point cloud diagnostic testing of object form and pose
US20180157920A1 (en) * 2016-12-01 2018-06-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing obstacle of vehicle

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264062A (ja) * 1999-10-05 2001-09-26 Perceptron Inc 外部座標系に対して非接触ゲージングセンサを較正する方法および装置
JP2001188922A (ja) * 1999-12-28 2001-07-10 Ricoh Co Ltd ３次元形状処理システム、３次元形状処理方法およびその処理方法を実施するためのプログラムを記憶した記憶媒体
JP4188632B2 (ja) * 2002-07-16 2008-11-26 独立行政法人科学技術振興機構 距離画像の統合方法及び距離画像統合装置
JP5343042B2 (ja) * 2010-06-25 2013-11-13 株式会社トプコン 点群データ処理装置および点群データ処理プログラム
JP5462093B2 (ja) * 2010-07-05 2014-04-02 株式会社トプコン 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US8775064B2 (en) * 2011-05-10 2014-07-08 GM Global Technology Operations LLC Sensor alignment process and tools for active safety vehicle applications
CN104380133B (zh) * 2012-04-17 2018-01-16 联邦科学和工业研究组织 三维扫描束和成像系统
US9875557B2 (en) * 2012-11-05 2018-01-23 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
DE102014203935A1 (de) 2014-03-04 2015-09-10 Robert Bosch Gmbh Verfahren zur Kalibrierung eines in einem Fahrzeug eingebauten Sensors
EP3123397A4 (en) 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US10036801B2 (en) * 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
CN104820217B (zh) * 2015-04-14 2016-08-03 同济大学 一种多法向平面的多元线阵探测成像激光雷达的检校方法
US9761015B2 (en) * 2015-04-28 2017-09-12 Mitsubishi Electric Research Laboratories, Inc. Method for determining dimensions in an indoor scene from a single depth image
CN105866762B (zh) * 2016-02-26 2018-02-23 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置
KR102384875B1 (ko) 2016-05-11 2022-04-08 삼성전자주식회사 거리 센서의 칼리브레이션 방법, 장치 및 시스템
CN107633523B (zh) * 2016-07-18 2021-04-16 巧夺天宫（深圳）科技有限公司 基于点云的提取建筑特征线方法和系统
US10309777B2 (en) * 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
WO2018196000A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Methods and associated systems for grid analysis
EP3616159A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER SENSORS
US10942256B2 (en) * 2017-06-05 2021-03-09 Metawave Corporation Intelligent metamaterial radar for target identification
CN107590836B (zh) * 2017-09-14 2020-05-22 斯坦德机器人（深圳）有限公司 一种基于Kinect的充电桩动态识别与定位方法及系统
CN107610174B (zh) * 2017-09-22 2021-02-05 深圳大学 一种鲁棒的基于深度信息的平面检测方法及系统
US11561283B2 (en) * 2017-11-16 2023-01-24 Nec Corporation Distance measurement apparatus, distance measurement method and program
US10502819B2 (en) 2017-12-21 2019-12-10 GM Global Technology Operations LLC Systems and methods for aligning an inertial measurement unit in a vehicle
US10269141B1 (en) * 2018-06-04 2019-04-23 Waymo Llc Multistage camera calibration
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407866A (zh) * 2015-02-24 2017-11-28 嗨魄Vr公司 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
WO2018064703A1 (en) * 2016-10-07 2018-04-12 Cmte Development Limited System and method for point cloud diagnostic testing of object form and pose
US20180157920A1 (en) * 2016-12-01 2018-06-07 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing obstacle of vehicle
CN107153186A (zh) * 2017-01-06 2017-09-12 深圳市速腾聚创科技有限公司 激光雷达标定方法及激光雷达

Also Published As

Publication number Publication date
CA3027921A1 (en) 2019-12-25
AU2018282302B2 (en) 2020-10-15
US10860871B2 (en) 2020-12-08
EP3631494B1 (en) 2024-02-07
EP3631494A1 (en) 2020-04-08
SG11201811410RA (en) 2020-01-30
CA3027921C (en) 2022-04-12
AU2018282302A1 (en) 2020-01-16
JP6821712B2 (ja) 2021-01-27
CN110859044A (zh) 2020-03-03
JP2020528134A (ja) 2020-09-17
WO2020000137A1 (en) 2020-01-02
US20190392228A1 (en) 2019-12-26
TW202001290A (zh) 2020-01-01
CN110859044B (zh) 2023-02-28
EP3631494A4 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
TWI693422B (zh) 自然場景中的整合感測器校準
EP3612854B1 (en) Vehicle navigation system using pose estimation based on point cloud
TWI705263B (zh) 使用光達的運輸工具定位系統
TWI695181B (zh) 用於產生彩色點雲的方法和系統
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
WO2020113425A1 (en) Systems and methods for constructing high-definition map
WO2021056283A1 (en) Systems and methods for adjusting a vehicle pose
AU2018102199A4 (en) Methods and systems for color point cloud generation