TWI703064B - 用於在不良照明狀況下定位運輸工具的系統和方法 - Google Patents

用於在不良照明狀況下定位運輸工具的系統和方法 Download PDF

Info

Publication number
TWI703064B
TWI703064B TW107145189A TW107145189A TWI703064B TW I703064 B TWI703064 B TW I703064B TW 107145189 A TW107145189 A TW 107145189A TW 107145189 A TW107145189 A TW 107145189A TW I703064 B TWI703064 B TW I703064B
Authority
TW
Taiwan
Prior art keywords
point cloud
cloud data
data set
vehicle
image
Prior art date
Application number
TW107145189A
Other languages
English (en)
Other versions
TW202019745A (zh
Inventor
李保利
諶祖剛
馮路
王曄
Original Assignee
大陸商北京嘀嘀無限科技發展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京嘀嘀無限科技發展有限公司 filed Critical 大陸商北京嘀嘀無限科技發展有限公司
Publication of TW202019745A publication Critical patent/TW202019745A/zh
Application granted granted Critical
Publication of TWI703064B publication Critical patent/TWI703064B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申請的實施例提供了用於定位運輸工具的方法和系統。該系統可以包括通訊介面，被配置為接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集。該系統還可以包括用於儲存點雲資料集的儲存器，以及處理器，該處理器可被配置為基於點雲資料集識別至少一個局部光源，基於對應於第二照明狀況的來自所述至少一個局部光源的模擬光，修改點雲資料集，並基於修改的點雲資料集，在第二照明狀況下定位運輸工具。

Description

用於在不良照明狀況下定位運輸工具的系統和方法
本申請涉及用於在不良照明狀況下定位運輸工具的系統和方法，尤其涉及用於在不良照明狀況下，使用從用局部光源計算的陰影來修改的重建場景所模擬的暗場景來定位運輸工具的系統和方法。
本申請主張2018年11月16日提交之申請號為PCT/CN2018/115886的PCT申請案的優先權，其全部內容通過引用被包含於此。
多年來，自動駕駛已成為愈來愈流行的技術。能夠在沒有人工輸入的情況下自行駕駛的運輸工具可以解放司機，使司機可以坐在裡面專注於其他事務。像人類司機一樣，自動駕駛運輸工具需要知道它在給定環境中的位置，以便可以確定應該朝哪個方向前進，並且準備好避免周圍的危險，例如不安全的道路狀況以及像人類或其他運輸工具或類似物的正在接近的物件。因此，必須通過先進技術來補償司機對運輸工具減少的關注，以便與人類駕駛相比，保持至少相同的自動駕駛安全水準。
這種先進技術之一是電腦視覺。電腦視覺技術獲取、處理、分析和理解數位圖像，以便在自動駕駛的環境中定位運輸工具。自動駕駛運輸工具通常配備有各種感測器、偵測器和其他裝置，以獲取其周圍的資訊。這種感測器和裝置的示例包括3-D相機、光達掃描器、全球定位系統（GPS）接收器和慣性測量單元（IMU）感測器。它們捕捉周圍物件的特徵以及運輸工具行駛的道路。捕獲的特徵可以包括例如，車道的中心線或擴展邊線座標、物件的座標和圖像，該物件包括諸如建築物、另一運輸工具、地標、行人或交通標誌。在將這些特徵轉換成數位資料並通過將這些資料整合到其空間位置的計算中之後，自動駕駛運輸工具能夠「知道」它在路上的位置，就像司機在車輪後面一樣。
現有的基於圖像的定位方法需要環境具有足夠亮度和可見度，例如在白天。對於在不良照明狀況下駕駛的運輸工具，例如在夜間，這些演算法未能顯示出令人滿意的性能結果。其中一部分是因為同一場景的視覺表現在白天和夜晚之間變化很大。日落後自然照明消失，黑暗導致場景不易被成像感測器和偵測器識別。此外，具有固定位置的局部燈光（例如，看板和路燈）的添加會引入非自然光分量，這進一步使運輸工具的空間定位和其他物件的位置的計算複雜化。這些可能在由感測器和偵測器獲取的圖像中引起更多的雜訊和顏色失真，並且因此降低了自動駕駛系統的定位可靠性。這最終損害了實現這種自動駕駛系統的運輸工具的安全性。
因此，為瞭解決上述問題，需要用於在不良照明狀況下定位運輸工具的系統和方法，例如本申請所述的內容。
本申請的實施例提供了一種用於定位運輸工具的系統。該系統可以包括通訊介面，被配置為接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集。該系統可以進一步包括被配置為儲存所述點雲資料集的儲存器，以及處理器。所述處理器可以被配置為基於所述點雲資料集，識別至少一個局部光源，基於對應於第二照明狀況的來自所述至少一個局部光源的模擬光，修改所述點雲資料集，以及基於修改的點雲資料集，在第二照明狀況下定位所述運輸工具。
本申請的實施例還提供了一種用於定位運輸工具的方法。該方法可以包括接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集。該方法可以進一步包括基於點雲資料集，識別至少一個局部光源，基於對應於第二照明狀況的來自於至少一個局部光源的模擬光，修改點雲資料集，以及基於修改的點雲資料集，在第二照明狀況下定位運輸工具。
本申請的實施例還提供了一種其上儲存有指令的非暫時性電腦可讀取媒體，當由一個或多個處理器執行時，使得一個或多個處理器執行操作。所述操作可以包括接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集。所述操作可以進一步包括基於點雲資料集，識別至少一個局部光源，基於對應於第二照明狀況的來自於至少一個局部光源的模擬光，修改點雲資料集，以及基於修改的點雲資料集，在第二照明狀況下定位運輸工具。
應當理解，前面的一般性描述和下面的詳細描述都只是示例性和說明性的，並不是對所要求保護的發明進行限制。
現在將詳細參考示例性實施例，其示例在圖式中示出。盡可能地，在整個圖式中將使用相同的元件符號來表示相同或相似的部分。
圖1示出了根據本申請實施例所示的系統中具有複數個感測器140、150和160的示例性運輸工具100的示意圖。與一些實施例一致，運輸工具100可以是探測運輸工具，其被配置為獲取用於構建高清晰度地圖或三維（3-D）城市建模的資料。可以預期地，運輸工具100可以是電動運輸工具、燃料電池運輸工具、混合動力運輸工具或傳統的引擎運輸工具。運輸工具100可具有車身110和至少一個車輪120。車身110可以是任何車身類型，例如玩具車、摩托車、運動車、轎跑車、敞篷車、轎車、皮卡車、旅行車、休旅車（Sports Utility Vehicle, SUV）、小型貨車、轉換車、多功能車（Multi-purpose Vehicle, MPV）或半掛車。在一些實施例中，運輸工具100可包括一對前輪和一對後輪，如圖1所示。然而，可以預期地運輸工具100可以具有更少或更多的車輪或等效結構，使運輸工具100能夠四處移動。運輸工具100可以被配置為全輪驅動（All Wheel Drive, AWD）、前輪驅動（Front Wheel Drive, FWD）或後輪驅動（Rear Wheel Drive, RWD）。在一些實施例中，運輸工具100可以被配置為由佔用運輸工具的操作員操作、遠端控制及/或自動駕駛。
如圖1所示，運輸工具100可以配備有通過安裝結構130安裝到車身110的各種感測器140和160。安裝結構130可以是安裝或以其他方式附接到運輸工具100的車身110的機電裝置。在一些實施例中，安裝結構130可以使用螺釘、黏合劑或其他安裝機制。在其他實施例中，感測器140和160可以安裝在運輸工具100的車身110的表面上，或者嵌入運輸工具100內，只要能執行這些感測器的預期功能即可。
與一些實施例一致，當運輸工具100沿軌跡行進時，感測器140和160可用於捕獲資料。例如，感測器140可以是配置為掃描周圍並獲取點雲的光達掃描器。光達通過用脈衝雷射光照射目標並用感測器測量反射脈衝來測量到目標的距離。然後可以使用雷射返回時間和波長的差異來製作目標的數位3-D表示。用於光達掃描的光可以是紫外線、可見光或近紅外線。由於窄雷射光束可以以非常高的解析度映射物理特徵，因此光達掃描器特別適用於高清晰度地圖測量。在一些實施例中，光達掃描器可以捕獲點雲。當運輸工具100沿軌道行進時，感測器140可以連續地捕獲資料。在特定時間戳記處捕獲的每組場景資料被稱為資料訊框。
如圖1所示，運輸工具100可以另外配備有感測器150，感測器150可以是導航單元中使用的感測器，例如GPS接收器和一個或多個IMU感測器。感測器150可以嵌入運輸工具100的車身110的內部、安裝在運輸工具100的車身110的表面上或安裝在運輸工具100的車身110的外部，只要能執行感測器150的預期功能即可。GPS是一種全球導航衛星系統，為GPS接收器提供地理定位和時間資訊。IMU是一種電子裝置，使用各種慣性感測器（如加速度計和陀螺儀，有時還有磁力計）測量並提供運輸工具的比力、角速率，有時還包括運輸工具周圍的磁場。通過組合GPS接收器和IMU感測器，感測器150可以在運輸工具100行進時提供運輸工具100的即時姿勢資訊，包括運輸工具100在每個時間戳記處的位置和方向（例如，歐拉角）。
與本申請一致，運輸工具100可另外配備有用於捕獲數位圖像的感測器160，例如一個或多個相機。在一些實施例中，感測器160可包括具有360度FOV的全景相機、具有小於360度的FOV的相機、或捕獲深度資訊的雙目相機。當運輸工具100沿著軌跡移動時，感測器160可以獲取關於場景（例如，包括運輸工具100周圍的物件）的數位圖像。每個圖像可以包括由像素表示的捕獲場景中的物件的文本資訊。每個像素可以是與圖像中的顏色資訊和座標相關的數位圖像的最小單個分量。例如，顏色資訊可以由RGB色彩模型、CMYK色彩模型、YCbCr色彩模型、YUV色彩模型，或任何其他合適的色彩模型表示。每個像素的座標可以由圖像中像素陣列的行和列表示。在一些實施例中，感測器160可包括安裝在運輸工具100上的不同位置及/或不同角度的多個單目相機，因此具有變化的視圖位置及/或角度。結果，圖像可以包括前視圖圖像、側視圖圖像、俯視圖圖像和底視圖圖像。
在圖1中進一步示出，運輸工具100可以另外配備有其自己的光源，例如頭燈170和尾燈180。雖然這裡未示出，但是其他類型的運輸工具光源可以包括側燈、前霧燈、轉彎燈、紅外光源，或其他類型的輔助光源。運輸工具光源可以使用各種照明材料，如鎢、鎢鹵、LED或雷射。頭燈170包括附接到運輸工具100前部的一個或多個燈，並產生光束以照亮其前方的路徑。現代運輸工具通常能夠發射兩種不同類型的光束，即近光和遠光。近光提供足以用於前向和側向照明的光，同時避免司機朝向運輸工具的眼睛眩光。遠光提供強烈的中心加權光分佈，因此照亮了道路的更遠區域，但它並不特別控制眩光。尾燈180包括連接到運輸工具100背面的一個或多個燈。示例性尾燈180在黑暗中，或當運輸工具後退時發光，從而警告在運輸工具100後面行駛的司機其存在和移動。
與一些實施例一致，本申請可以可選地包括與運輸工具100通訊連接的伺服器190。在一些實施例中，伺服器190可以是本地實體伺服器、雲端伺服器（如圖1所示）、虛擬伺服器、分散式伺服器，或任何其他合適的計算裝置。伺服器190可以經由網路從運輸工具100接收資料並將資料發送到運輸工具100，諸如無線區域網路（WLAN）、廣域網路（WAN）、諸如無線電波、全國蜂窩網路、衛星通訊網路的無線網路及/或本地無線網路（例如，藍牙或WiFi）。
根據本申請的系統可以被配置為在第一照明狀況（例如，在白天期間）下捕獲點雲、通過模擬第二照明狀況（例如，在夜間）來修改點雲，以及在第二照明狀況下，使用修改的點雲定位運輸工具100。圖2示出了基於由感測器140、150和160捕獲的各種資料來定位運輸工具100的示例性系統200的方塊圖。所述資料可以包括由感測器140（例如，光達掃描器）捕獲的點雲201、由感測器150（例如，GPS接收器及/或一個或多個IMU感測器）獲取的運輸工具100的軌跡資訊203以及由感測器160（例如，一個或多個單目相機）捕獲的複數個圖像205。
在一些實施例中，如圖2所示，系統200可以包括通訊介面202、處理器204和記憶體/儲存器206。系統200的一個或多個元件可以位於運輸工具100內部，或者可以選擇地在行動裝置中、在雲端中或另一個遠程位置。系統200的元件可以在整合裝置中或者分佈在不同位置，但是通過網路（未示出）彼此通訊。通訊介面202可以通過無線或有線網路向諸如感測器140、150和160的元件發送資料和從其接收資料。與一些實施例一致，通訊介面202可以接收由感測器140、150和160捕獲的資料，包括點雲201、軌跡資訊203和圖像205，並將接收的資料提供給記憶體/儲存器206用於儲存或提供給處理器204以進行處理。通訊介面202還可以接收由處理器204產生的修改的點雲，並且通過網路將修改的點雲提供給運輸工具100中的任何本機群組件或任何遠端裝置。
記憶體/儲存器206可以包括任何適當類型的大容量儲存器，其提供用於儲存處理器204可能需要操作的任何類型的資訊。記憶體/儲存器206可以是揮發性或非揮發性、磁性、半導體、磁帶、光學、可移式、不可移式或其他類型的儲存裝置或有形（即非暫時性）電腦可讀取媒體，包括但不限於ROM、快閃記憶體、DRAM和SRAM。記憶體/儲存器206可以用於儲存一個或多個電腦程式，其可以由處理器204執行以完成本文揭露的各種功能。
處理器204可以包括任何適當類型的通用或專用微處理器、數位訊號處理器或微控制器。處理器204可以被配置為專用於執行一個或多個特定功能的單獨處理器模組。或者，處理器204可以被配置為共用處理器模組，用於執行與所述一個或多個特定功能無關的其他功能。如圖2所示，處理器204可以包括多個模組，例如局部光源識別單元210、點雲修改單元212、圖像估計單元214、運輸工具定位單元216或類似物。這些模組（以及任何相應的子模組或子單元）可以是處理器204的硬體單元（例如，積體電路的部分），其被設計用於與其他元件一起使用或執行程式的一部分。儘管圖2示出了在一個處理器204內的單元210、212、214和216，但是可以預期這些單元可以分佈在彼此靠近或遠離的多個處理器之間。
局部光源識別單元210用於基於點雲201來識別局部光源，例如路燈、看板或類似物。與本申請一致，在正常照明狀況下（例如，在白天期間）捕獲點雲201。在一些實施例中，可以將3-D點雲201轉換為捕獲的場景的體素圖像。使用體素圖像，可以分割和識別光源。當運輸工具100沿著軌跡行進，同時利用感測器140和160獲取資訊時，可以偵測局部光源。局部光源與自然光的不同之處在於，它們是人造照明裝置，除了自然光之外還提供照明並且通常固定在預定位置。下面將參考圖3說明更詳細的例子。
圖3示出了當運輸工具100在具有各種類型的局部光源的道路上行駛時的示意圖。局部光源的示例包括路燈301、看板302和來自路邊建築物303的燈。如前所述，運輸工具100配備有感測器140和160，以捕獲用於產生彩色點雲和方塊圖像的資料。除此之外，如圖2所示，還可以通過通訊介面202將捕獲的資料選擇性地提供給局部光源識別單元210。在一些其他實施例中，可以不需要通訊介面202，且可以將捕獲的資料直接提供給單元210。局部光源識別單元210可以執行一個或多個電腦程式，以使系統能夠自動識別由感測器捕獲的彩色點雲形式的成像資料中的各種物件。所述物件的類型包括但不限於建築物、樹木、灌木叢、交通燈和標誌、道路標記和局部光源。這些物件可以是儲存在記憶體/儲存器206或者是系統內的其他儲存裝置中的預先指定的物件或物件類。在重複訓練時也可以學習物件或物件類。現有的物件識別技術，例如邊緣匹配、梯度匹配、解譯樹或類似物，可以應用於本申請。或者，運輸工具100的操作者或線下分析員可以在運輸工具100捕獲的圖像中手動選擇局部光源。
點雲修改單元212被配置為使用來自所識別的局部光源的模擬光來修改點雲201。與本申請一致，點雲修改單元212模擬具有有限照明的環境中的不良照明狀況，例如在夜間。與日光不同，日照明亮整個環境，其亮度足以使感測器沿著運輸工具100正在行進的軌跡識別各種特徵。然而，在夜間，環境通常是暗的，有限的光源僅照亮其一部分。在一些實施例中，點雲修改單元212模擬來自所識別的光源的投射光並計算場景中的陰影和半陰影區域。下面將參考圖4A和4B說明更詳細的例子。
圖4A示出了在白天捕獲的場景的示例性3-D重建。在場景中僅重建了一種類型的局部光源，街燈401，並且為了說明的目的在圖4A中示出，但是它可以與其他類型的局部光源互換地替換。從點雲201的體素圖像獲取重建的場景，該流程可以由處理器204或系統內的其他合適的元件執行。隨後，在點雲修改單元中模擬不良照明場景，如圖4B所示。例如，點雲修改單元212可以將所識別的局部光源的位置用作相機位置，將光方向用作相機朝向，並將光準直用作相機視場。基於這樣的相機設置，點雲修改單元212可以呈現線性深度圖。例如，線性深度圖可以是RG雙通道圖像，深度資訊（d）儲存在其R通道中，深度平方（d*d）儲存在其G通道中。在一些實施例中，線性深度圖可以是32位元浮點資料格式。
返回圖2，在一些實施例中，點雲修改單元212進一步基於線性深度圖來計算陰影區域和半陰影區域，以便獲取近似於現實中的光狀況下的運輸工具軌跡的暗場景並且用於增強夜間定位自主駕駛系統，圖4B中示出了說明性區域503。例如，可以僅使用環境光分量來計算陰影區域，而可以使用環境光分量和漫反射光分量來計算半陰影區域。深度圖可以與普通高斯模糊核進行第一次卷積。例如，在1024*1024的解析度深度圖中，可以使用10像素內核。當然，可以使用其他內核大小來獲取可用於平滑顯像圖像的不同卷積矩陣。在一些實施例中，點雲修改單元212然後可以使用適當的方法，例如組合了方差陰影圖（Variance Shadow Map, VSM）和指數陰影圖（Exponential Shadow Map, ESM）演算法的混合方法，來計算場景中的陰影區域和半陰影區域。
在一些實施例中，點雲修改單元212可對體素圖像執行光遮蔽以獲取修改後的點雲資料。在一些實施例中，延遲光投影顯像和朗伯（Lambert）光投影模型可用於遮蔽。延遲光投影顯像具有順序遮蔽實際受每個局部光影響的像素的優點。這允許在模擬場景中顯像複數個局部光而不會顯著損害性能。Lambert光投影模型通常用於計算具有各向同性漫反射的表面的照明，並且其在逼近漫反射光分量的陰影區域的簡單性和可行性上顯示出優異性，例如此處的情況。在一些實施例中，點雲修改單元212可僅計算陰影區域的環境光分量，但計算半陰影區域的環境光分量和散射光分量。然後可以將陰影體素圖像轉換回點雲資料。因此陰影點雲資料是在光線不足的狀況下對點雲資料的估計。修改後的點雲資料可以儲存在記憶體/儲存器206或系統內的其他儲存裝置中。
返回圖2，圖像估計單元214被配置為使用由點雲修改單元212修改的點雲資料來產生預估圖像。圖像估計單元214可以基於運輸工具100的前一個位置來估計運輸工具100的當前姿勢資訊，其資訊可以經由通訊介面202從感測器150接收。基於估計的姿勢資訊，可以識別修改的點雲資料的相關部分，並且從修改的點雲資料的該部分產生模擬圖像。在該特定實施例中，所產生的圖像模擬在夜間近似場景的圖像，其具有比從白天捕獲的資料重建的相同場景更差的照明狀況。該圖像可以隨後用於優化夜間行駛的運輸工具100的定位。
圖5示出了在夜間對應於圖4A中的重建場景的模擬場景的一個示例。圖4A和圖5之間的主要區別是局部光源（例如街燈401）的引入和自然光的去除。儘管圖5係夜間場景的模擬，但本申請並未將應用限制於僅夜景，其他具有不良照明狀況的場景（例如，在隧道中行駛或在暴風雨和無陽光的天氣下）可以在不脫離本申請範圍的情況下，類似地模擬。
以下將詳細討論三維夜景模擬的一個實施例。為了在夜間在運輸工具100行進的同一道路上更佳地模仿照明，較佳的是模擬場景，其中沿著圖4A中的行進軌跡偵測到的所有局部光源被認為與他們在現實世界中一樣，從而在光線不足的狀況下創造一個高度真實的環境，用於之後的處理和位置計算。為了實現這一點，識別複數個局部光源的位置、高度和類型成為一項重要任務，因為這些參數將嚴重影響模擬場景的結果。
可以根據從成像感測器或能夠感知其周圍環境的3D圖像的偵測器收集的深度資訊來計算位置和高度，例如雙目相機或光達掃描器。圖像像素的深度被定義為圖像像素和相機之間的距離。根據當前申請的系統能够提取局部光源的深度資訊，然後對提取的深度資訊進行映射和轉換，以獲取在相機座標系統中表示這種局部光源的像素的3-D座標。通過使用物件偵測技術可以實現對現實世界的進一步近似。通過將偵測到的物件與儲存在其資料庫中的預先指定的或學習的物件進行比較，系統自動確定每個局部光源（例如，圖4A中的街燈301）的類型及其各種參數。一旦確定了局部光源的類型，其照明、強度、準直、光束角度（即從光源發出的光的寬度的角度）、光的方向、顏色和其他參數可以通過產品規格、其中使用的材料/元件以及光源的其他知識來獲取。例如，看板中使用的典型SMD LED的光束角為120°。在知道這些參數和每個局部光源的位置後，可以優化對暗場景的模擬。
應當注意到圖2至圖5描述的日光場景的重建和夜景的模擬可以線上處理（通過網路與運輸工具100外部的裝置通訊，例如伺服器190）或線下處理（在運輸工具100內），或者可以是線上或線下的單獨重建或單獨模擬的結合，或線上和線下兩者處理的組合。
基於修改的點雲資料，圖2中的運輸工具定位單元216被配置為更佳地定位在不良照明狀況下行駛的運輸工具100。例如，可以將圖像估計單元214從修改的點雲資料產生的預估圖像與由運輸工具定位單元216中的感測器160實際捕獲的圖像進行比較。這允許運輸工具在不良照明狀況下準確地知道其位置，從而提高其行駛安全性。
根據本申請，系統可以確定運輸工具在任何時間戳記的空間定位。該系統可以包括同步系統以同步感測器140、150和160，使得由感測器140捕獲的點雲、由感測器150捕獲的姿勢資訊以及由感測器160捕獲的圖像訊框都在相同的時間戳記處被捕獲。在一些實施例中，同步圖像訊框、點雲和相關的姿勢資訊可以共同用於定位運輸工具100。在一些其他實施例中，圖像訊框和點雲中的一個可以與相關的姿勢資訊結合使用以定位運輸工具100。與本申請一致，由GPS/IMU感測器提供的每秒脈衝（Pulse Per Second, PPS）信號可用於同步感測器140、150和160獲取的資訊。
一旦估計了運輸工具100在特定時間戳記處的姿勢資訊，並且預先確定了感測器140和160相對於其所安裝的運輸工具100的姿勢資訊，感測器140和160的姿勢資訊也可以從單個統一的三維座標系統中的上述兩條資訊中估計，所述三維座標系統可以較佳地設置為全域座標系統。如上所述，感測器140可以是用於獲取點雲的光達，且感測器160可以是用於捕獲圖像的相機。以下描述使用相機作為示例，但是相同的處理也適用於與本文揭露的系統相容的任何其他成像裝置或掃描器。
根據本申請，系統還通過通訊介面202接收運輸工具100的前一個位置，並基於前一個位置來估計運輸工具100的當前姿勢資訊。在一些實施例中，系統在模擬黑暗場景的幫助下處理車載相機的姿勢資訊，以在不良照明狀況下近似運輸工具100的準確位置，此時運輸工具100沿相同軌跡行駛時捕獲的資料已經被預先轉換成數位化的點雲。
與本申請一致，在系統獲取任何預先儲存的點雲以用於後續處理之前，運輸工具100需要識別其行進的軌跡，並確定軌跡是否匹配儲存裝置中儲存的任何資料集（較佳地作為點雲）。有多種方法可以實現這一目標。例如，運輸工具100的操作人員可以具有運輸工具行駛的道路位置的個人認知，並因此指示系統從儲存裝置獲取與道路相關的點雲。或者，該系統可具有人工智慧（Artificial Intelligence, AI）能力，以自動識別由其配備的元件收集的圖像、地理、位置、空間及/或其他類型資訊的道路。然後，系統將道路資訊與來自儲存裝置的資料集進行比較，對於任何匹配的結果，系統自動從儲存裝置中取出與道路相關的點雲。點雲包含陰影區域資訊，可用於在光線不足的狀況下模擬相同的場景。
根據本申請，系統進一步將笛卡爾空間（物件）中的取出點雲轉換為投影空間（截取的相機視圖）中的截斷的點雲集，其隨後可用於近似車載相機的最佳姿勢資訊。
在一些實施例中，點雲的3-D座標系統中的給定點的位置可以由Pp{x，y，z，1}表示。前三個參數—x、y和z—表示點雲模型座標系統（笛卡爾座標系統）中相對於正交x軸、y軸和z軸的點的位置。最後一個參數，對於笛卡爾座標系統（例如物件座標系統）恒定設置為1，但是當座標系統轉換為齊次座標系統（例如，相機視圖座標系統）時將變為變數。
為了將與點雲相關的物件座標系統中的任何給定點的座標轉換為全域座標系統中的相同點的座標，可以應用模型轉換矩陣M0 。從笛卡爾座標系統到基於相機視圖的投影座標系統的後續轉換是有必要的，該座標系統也採用全域座標進行定位。
與上述實施例一致，假設相機的前向Vf 表示相機視圖座標系統（投影空間）的z軸、上方向Vu 表示y軸、左方向Vl 表示x軸，圖6A中示出了相機視圖座標系統M1 的示例性轉換矩陣。矩陣左邊三行的三個元素集—(m0 ，m1 ，m2 )、(m4 ，m5 ，m6 )和(m8 ，m9 ，m10 )—用於笛卡爾和仿射轉換，例如旋轉或縮放。最右邊的元素集—(m12 ，m13 ，m14 )—用於平移轉換。在該相機視圖座標系統中，附加變數m3 、m7 、m11 和m15 分別設置為0、0、0和1。矩陣M1 用於將全域座標系統中任何給定點的座標轉換為相機視圖座標系統中相同點的座標。
與本申請一致並且為了進一步近似由運輸工具上的相機捕獲的實際圖像，稱為「視錐體剔除」或「限幅」的轉換技術可以應用於相機視圖座標，使得3D相機圖像可以投射到二維表面。視錐體剔除使用從相機視圖座標（類似於三維座標系統中的錐體）剪掉所有頂點資料的功能，使得落在剪後座標（也稱為「視錐體」）之外的點將沒有投影，因此從二維圖像中看不到。圖6B示出了安裝在運輸工具100上的相機的示例性視錐體（錐體的暗區域）600。平頂的錐體的投影矩陣M2 建立在六個參數—左、右、頂、底、近和遠邊界處理值上，反過來這些參數又由相機的參數定義，例如其視場（Field Of View, FOV）角、其圖像的縱橫比或類似物。對於剪後相機視圖座標中的變數，可以將其設置為除1之外的數位，以反映該點現在處於齊次座標系統中的事實。
在上述逐步轉換之後，可以從下面的函數計算視錐體中相同點的座標Pc{x'，y'，z'，w'}：
Figure 02_image001
公式3 如果Pc中所有三個軸（x軸、y軸和z軸）上的絕對值小於1，則該點保持在視錐體內的點雲中；否則，該點被丟棄。所得到的點雲構成投影到2-D圖像的獲取點雲的子集，從而模擬由車載相機捕獲的圖像以及在不良照明狀況下的估計姿勢資訊。
圖7A示出了模擬黑暗場景中的示例性預截斷相機視圖座標系統。錐體的頂點（大多數線相交的點）是相機在給定時間戳記處的估計位置。在涉及視錐體剔除的轉換之後，可以獲取像是由相機在該頂點拍攝的模擬2-D圖像。每個圖像表示來自相機的估計位置的視圖，好像該相機正從該位置捕獲圖像。如圖7B所示，將這些模擬圖像的一個或多個與在黑暗照明狀況下由車載相機捕獲的實際圖像的一個或多個進行比較。當將最小化模擬圖像和實際圖像之間的相似性作為優化的車載相機的姿勢資訊時，可以基於全域空間中的相機的姿勢資訊和相機相對於運輸工具100的預定姿勢資訊來精確地定位在不良照明狀況下行進的運輸工具100。
與本申請一致，使用用於最小化模擬圖像（物件x）和實際圖像（物件y）之間的相似性的示例性技術計算兩者之間的歸一化壓縮距離（Normalized Compressed Distance, NCD）。由於兩個圖像可以由相同的預定程式設計語言產生輸出，因此這種語言可以包括從y計算x的最短程式。以柯爾莫哥洛夫複雜度表示的這種最短程式的長度被定義為兩個圖像之間的資訊距離。在應用實際壓縮器之後，物件x和y之間的NCD可以用以下等式表示：
Figure 02_image003
公式4 Z(x)是具有壓縮器Z的物件x的長度。可以比較不同模擬圖像中的NCD的結果，以識別具有與由車載相機捕獲的實際圖像最接近的相似性的模擬圖像。在一些更多實施例中，可以為每個相機構造聯合分佈
Figure 02_image005
，並且總距離（即穿過所有相機的距離的總和）可以作為優化的代價函數。例如，公式5可以是這樣的代價函數：
Figure 02_image007
公式5 其中Ic 是相機捕獲的實際圖像，Is 是模擬圖像，GR,W 是姿勢資訊。
圖8示出了用於在不良照明狀況下定位運輸工具的示例性方法800的流程圖。在一些實施例中，方法800可以由系統200實現，系統200尤其包括局部光源識別單元210、點雲修改單元212和運輸工具定位單元216。例如，方法800的步驟S803可以由局部光源識別單元210執行，步驟S804和S805可以由點雲修改單元212執行，且步驟S806可以由運輸工具定位單元216執行。應當理解，一些步驟可以是可選的，以執行本文提供的本申請，並且一些步驟可以插入方法800的流程圖中，其與根據本申請的其他實施例一致。此外，一些步驟可以同時執行，或者以與圖8中所示的順序不同的循序執行。
在步驟S801中，可以通過自動駕駛運輸工具的車載感測器捕獲各種類型的資料。例如，點雲資料201可以由感測器140（例如，光達掃描器）獲取，軌跡資訊203可以由感測器150（例如，GPS接收器、IMU感測器或兩者）獲取，數位圖像205可以由感測器160（例如，在相機中使用的成像感測器）捕獲。
在步驟S802，感測器140獲取的點雲資料集可以由通訊介面202接收，用於儲存和後續處理。點雲資料集與自動駕駛運輸工具正在行進的軌跡場景相關。根據本申請的方法800，可以使用捕獲的點雲資料來重建和顯像場景。
在步驟S803，可以基於所述點雲資料集識別場景中的局部光源。在一些實施例中，局部光源可以由操作員手動識別。在其他實施例中，可以使用物件識別技術或類似物自動從點雲資料中提取局部光源。這些局部光源可用於模擬具有不良照明狀況的場景，例如夜景。
在步驟S804，為了獲取不良照明狀況下的模擬場景，方法800還可以包括模擬光，就像它是從識別的局部光源發射的。所述模擬可以考慮所識別的局部光源的各種參數，例如其照明、強度、準直、光束角度、光線方向、顏色或類似物。
在步驟S805，模擬光可以應用於由感測器140獲取的點雲資料集201，從而可以修改點雲資料集201並且可以產生模擬的暗場景。在一些實施例中，修改可以進一步包括通過在點雲資料集上從所識別的局部光源投射模擬光來確定深度圖，並且基於所述深度圖確定至少一個陰影區域和至少一個半陰影區域。可以僅使用環境光分量來計算陰影區域，而可以使用環境光分量和漫反射光分量來計算半陰影區域。通過應用從至少一個陰影區域和至少一個半陰影區域計算的照明，可以對點雲資料集進行陰影處理，以便可以產生暗場景。產生的暗場景近似於運輸工具100在夜間行進的相同軌跡的實際環境。
在步驟S806中，基於修改的點雲資料集，可以在不良照明狀況下更準確地定位運輸工具100。在一些其他實施例中，運輸工具100的位置可以進一步考慮姿勢資訊。可以基於運輸工具100的前一個位置來估計運輸工具100的當前姿勢資訊，其可以通過通訊介面202從感測器150接收。基於估計的當前姿勢資訊，可以識別修改的點雲資料的相關部分。在一些實施例中，圖像估計單元214可以被配置為基於修改的點雲資料的該部分產生預估圖像。可以將預估圖像與運輸工具100行駛的不良照明狀況下的相同場景的實際圖像進行比較。實際圖像可以由成像感測器捕獲，例如在相機中發現的成像感測器。該比較還可以包括計算預估圖像和捕獲圖像之間的資訊距離，使得比較結果可以指示與實際圖像具有最接近相似性的模擬圖像，從而輔助運輸工具100的準確定位。
本申請的另一態樣涉及一種儲存指令的非暫時性電腦可讀取媒體，所述指令在被執行時使得一個或多個處理器執行如上所述的方法。所述電腦可讀取媒體包括揮發性或非揮發性、磁性、半導體、磁帶、光學、可移式動、不可移式或其他類型的電腦可讀取媒體或電腦可讀取儲存裝置。例如，如本申請的電腦可讀取媒體可以是儲存裝置或其上儲存有電腦指令的儲存模組。在一些實施例中，電腦可讀取媒體可以是磁碟、快閃記憶體驅動器或其上儲存有電腦指令的固態硬碟。
顯而易見，本領域具有通常知識者可以對本申請的系統和相關方法進行各種修改和變化。考慮到本申請的系統和相關方法的說明書和實際應用，其他實施例對於本領域具有通常知識者是顯而易見的。
本申請中的說明書和示例的目的僅被認為是示例性的，真正的範圍由以下申請專利範圍及其均等物限定。
100:運輸工具 110:車身 120:車輪 130:安裝結構 140:感測器 150:感測器 160:感測器 170:頭燈 180:尾燈 190:伺服器 200:系統 201:點雲 202:通訊介面 203:軌跡資訊 204:處理器 205:圖像 206:記憶體/儲存器 210:局部光源識別單元 212:點雲修改單元 214:圖像估計單元 216:運輸工具定位單元 301:路燈 302:看板 303:路邊建築物 401:街燈 600:視錐體 800:方法 S801:步驟 S802:步驟 S803:步驟 S804:步驟 S805:步驟 S806:步驟
圖1示出了根據本申請實施例所示的配備有感測器的示例性運輸工具的示意圖。
圖2示出了根據本申請實施例所示的用於定位運輸工具的示例性系統的方塊圖。
圖3示出了根據本申請實施例所示的當運輸工具在具有各種類型的局部光源的道路上行駛時的示例的示意圖。
圖4A示出了根據本申請實施例所示的在白天捕獲的場景的示例性3-D重建。
圖4B示出了根據本申請實施例所示的在不良照明狀況下的場景的模擬。
圖5示出了根據本申請實施例所示的在夜間對應於圖4A中的重建場景的模擬場景的示例。
圖6A示出了根據本申請實施例所示的相機視圖座標系統的示例性轉換矩陣。
圖6B示出了根據本申請實施例所示的關於安裝在運輸工具上的相機的示例性視錐體。
圖7A示出了根據本申請實施例所示的在不良照明狀況下的示例性預截斷相機視圖座標系統。
圖7B示出了根據本申請實施例所示的在與圖7B的相同的不良照明狀況下由車載相機捕獲的實際圖像。
圖8示出了根據本申請實施例所示的用於在不良照明狀況下定位運輸工具的示例性方法的流程圖。
800:方法
S801:步驟
S802:步驟
S803:步驟
S804:步驟
S805:步驟
S806:步驟

Claims (20)

  1. 一種用於定位運輸工具的系統，包括：通訊介面，被配置為接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集；儲存器，被配置為儲存所述點雲資料集；以及處理器，被配置為：基於所述點雲資料集，識別來自周圍環境的至少一個局部光源；基於對應於第二照明狀況的來自所述至少一個局部光源的模擬光，修改所述點雲資料集；以及基於修改的點雲資料集，在所述第二照明狀況下定位所述運輸工具。
  2. 如申請專利範圍第1項之系統，其中，所述通訊介面被配置為接收在所述第二照明狀況下由成像感測器捕獲的所述場景的圖像，其中，所述處理器被進一步配置為：基於所述修改的點雲資料集，產生預估圖像；以及通過比較所述預估圖像與捕獲的圖像，在所述第二照明狀況下定位所述運輸工具。
  3. 如申請專利範圍第2項之系統，其中，所述通訊介面被進一步配置為接收所述運輸工具的前一個位置，並且其中所述處理器被進一步配置為基於所述運輸工具的所述前一個位置，估計所述運輸工具的當前姿勢資訊。
  4. 如申請專利範圍第3項之系統，其中，所述處理器被進一步配置為在所述修改的點雲資料集中，定位對應於所述運輸工具的所述當前姿勢資訊的點雲資料。
  5. 如申請專利範圍第2項之系統，其中，為了產生所述預估圖像，所述處理器被進一步配置為模擬所識別的局部光源的照明，如同其在所述第二 照明狀況下進行照明。
  6. 如申請專利範圍第2項之系統，其中，比較所述預估圖像和捕獲的圖像包括計算所述預估圖像與捕獲的圖像之間的資訊距離。
  7. 如申請專利範圍第1項之系統，其中，所述第二照明狀況比所述第一照明狀況包括更少的照明。
  8. 如申請專利範圍第1項之系統，其中，為了修改所述點雲資料集，所述處理器被進一步配置為：通過將來自於所識別的局部光源的所述模擬光投射到所述點雲資料集來確定深度圖；以及基於所述深度圖，確定至少一個陰影區域和至少一個半陰影區域。
  9. 如申請專利範圍第8項之系統，其中，為了修改所述點雲資料集，所述處理器被進一步配置為使用基於所述至少一個陰影區域和至少一個半陰影區域計算的照明來遮蔽所述點雲資料集。
  10. 一種用於定位運輸工具的方法，包括：接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集；基於所述點雲資料集，識別來自周圍環境的至少一個局部光源；基於對應於第二照明狀況的來自所述至少一個局部光源的模擬光，修改所述點雲資料集；以及基於修改的點雲資料集，在所述第二照明狀況下定位所述運輸工具。
  11. 如申請專利範圍第10項之方法，其中，所述方法進一步包括：接收在所述第二照明狀況下由成像感測器捕獲的所述場景的圖像；基於所述修改的點雲資料集，產生預估圖像；以及通過比較所述預估圖像與捕獲的圖像，在所述第二照明狀況下定位所述運輸工具。
  12. 如申請專利範圍第11項之方法，其中，所述方法進一步包括：接收所述運輸工具的前一個位置；以及基於所述運輸工具的所述前一個位置，估計所述運輸工具的當前姿勢資訊。
  13. 如申請專利範圍第11項之方法，其中，比較所述預估圖像與捕獲的圖像包括計算所述預估圖像與捕獲的圖像之間的資訊距離。
  14. 如申請專利範圍第10項之方法，其中，修改所述點雲資料集進一步包括：通過將來自於所識別的局部光源的所述模擬光投射到所述點雲資料集來確定深度圖；以及基於所述深度圖，確定至少一個陰影區域和至少一個半陰影區域。
  15. 如申請專利範圍第14項之方法，其中，修改所述點雲資料集進一步包括使用基於所述至少一個陰影區域和至少一個半陰影區域計算的照明來遮蔽所述點雲資料集。
  16. 一種非暫時性電腦可讀取媒體，用於儲存指令，當所述指令由一個或多個處理器執行時，使得所述一個或多個處理器執行下列用於定位運輸工具的步驟，包括：接收在第一照明狀況下由至少一個感測器捕獲的場景的點雲資料集；基於所述點雲資料集，識別來自周圍環境的至少一個局部光源；基於對應於第二照明狀況的來自所述至少一個局部光源的模擬光，修改所述點雲資料集；以及基於修改的點雲資料集，在所述第二照明狀況下定位所述運輸工具。
  17. 如申請專利範圍第16項之電腦可讀取媒體，進一步包括下列步驟： 接收在所述第二照明狀況下由相機捕獲的所述場景的圖像；基於所述修改的點雲資料集，產生預估圖像；以及通過比較所述預估圖像與捕獲的圖像，在所述第二照明狀況下定位所述運輸工具。
  18. 如申請專利範圍第17項之電腦可讀取媒體，進一步包括下列步驟：接收所述運輸工具的前一個位置；以及基於所述運輸工具的所述前一個位置，估計所述運輸工具的當前姿勢資訊。
  19. 如申請專利範圍第17項之電腦可讀取媒體，其中，比較所述預估圖像和捕獲的圖像包括計算所述預估圖像與捕獲的圖像之間的資訊距離。
  20. 如申請專利範圍第16項之電腦可讀取媒體，其中，修改所述點雲資料集進一步包括：通過將來自於所識別的局部光源的所述模擬光投射到所述點雲資料集來確定深度圖；以及基於所述深度圖，確定至少一個陰影區域和至少一個半陰影區域。
TW107145189A 2018-11-16 2018-12-14 用於在不良照明狀況下定位運輸工具的系統和方法 TWI703064B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/115886 WO2020097912A1 (en) 2018-11-16 2018-11-16 Systems and methods for positioning vehicles under poor lighting conditions
WOPCT/CN2018/115886 2018-11-16

Publications (2)

Publication Number Publication Date
TW202019745A TW202019745A (zh) 2020-06-01
TWI703064B true TWI703064B (zh) 2020-09-01

Family

ID=70727808

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145189A TWI703064B (zh) 2018-11-16 2018-12-14 用於在不良照明狀況下定位運輸工具的系統和方法

Country Status (9)

Country Link
US (2) US11048264B2 (zh)
EP (1) EP3746989A4 (zh)
JP (1) JP2021508027A (zh)
CN (1) CN111448591B (zh)
AU (1) AU2018282304B2 (zh)
CA (1) CA3028223C (zh)
SG (1) SG11201811415SA (zh)
TW (1) TWI703064B (zh)
WO (1) WO2020097912A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873786B2 (en) 2016-06-12 2020-12-22 Apple Inc. Recording and broadcasting application visual output
CN110874204A (zh) 2017-05-16 2020-03-10 苹果公司 用于家庭媒体控制的方法和界面
JP7127071B2 (ja) * 2019-01-30 2022-08-29 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のための地図区画システム
US11199415B2 (en) * 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
CN113535047A (zh) 2019-05-06 2021-10-22 苹果公司 头像与多个应用程序的集成
US11380003B2 (en) * 2019-06-25 2022-07-05 Black Sesame Technologies Inc. Monocular camera localization in large scale indoor sparse LiDAR point cloud
FR3098332B1 (fr) * 2019-07-05 2022-01-07 Fond B Com Procédé et dispositif de détermination de l’amplitude d’un mouvement effectué par un membre d’un corps articulé
US10914588B1 (en) * 2019-12-06 2021-02-09 Toyota Research Institute, Inc. Pulse per second signal generation using a fiber optic gyroscope
CN111915517B (zh) * 2020-07-23 2024-01-26 同济大学 适用于室内光照不利环境下rgb-d相机全局定位方法
WO2022165147A1 (en) 2021-01-31 2022-08-04 Apple Inc. User interfaces for wide angle video conference
US11715257B2 (en) 2021-05-14 2023-08-01 Zoox, Inc. Simulation view generation based on simulated sensor operations
US11430177B1 (en) * 2021-05-14 2022-08-30 Zoox, Inc. Mapping simulated sensors to simulated environment views
US11741661B2 (en) 2021-05-14 2023-08-29 Zoox, Inc. Sensor simulation with unified multi-sensor views
US11544896B2 (en) 2021-05-14 2023-01-03 Zoox, Inc. Spatial and temporal upsampling techniques for simulated sensor data
CN113511115A (zh) * 2021-05-28 2021-10-19 南昌智能新能源汽车研究院 一种基于双目视觉的汽车座椅姿态智能控制方法
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
US20230058929A1 (en) 2021-08-13 2023-02-23 Apple Inc. Digital assistant interaction in a communication session
WO2023034497A2 (en) 2021-09-03 2023-03-09 Apple Inc. Gaze based dictation
WO2023044050A1 (en) 2021-09-17 2023-03-23 Apple Inc. Digital assistant for providing visualization of snippet information
WO2023044044A1 (en) 2021-09-20 2023-03-23 Apple Inc. Requests to add assets to an asset account
WO2023064580A1 (en) 2021-10-14 2023-04-20 Apple Inc. Camera user interface with recording space management
WO2023114021A1 (en) 2021-12-17 2023-06-22 Apple Inc. Generating emojis from user utterances
FR3133095B1 (fr) * 2022-02-25 2024-02-23 Psa Automobiles Sa Procédé de calcul de surfaces tridimensionnelles pour véhicule équipé d’un système d’aide à la conduite
CN114343689B (zh) * 2022-03-17 2022-05-27 晓智未来(成都)科技有限公司 基于摄影测量的限束器开口面积测量方法及应用
WO2023196350A1 (en) 2022-04-05 2023-10-12 Apple Inc. User interfaces for initiating transactions
US20230376266A1 (en) 2022-05-17 2023-11-23 Apple Inc. User interfaces for detecting objects
US11978436B2 (en) 2022-06-03 2024-05-07 Apple Inc. Application vocabulary integration with a digital assistant
WO2023235350A1 (en) 2022-06-04 2023-12-07 Apple Inc. User interfaces for account management
WO2024036607A1 (zh) * 2022-08-19 2024-02-22 华为技术有限公司 定位方法、装置以及智能驾驶设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI476365B (zh) * 2008-05-16 2015-03-11 Lockheed Corp 用於使位置資料與超音波資料相關之方法及評估服役中之飛行器零件的方法
CN108352056A (zh) * 2015-11-20 2018-07-31 高通股份有限公司 用于校正错误深度信息的系统和方法
CN108369729A (zh) * 2015-12-22 2018-08-03 高通股份有限公司 用于结构光深度图的离群值检测和校正的方法和设备
CN108419446A (zh) * 2015-08-24 2018-08-17 高通股份有限公司 用于激光深度图取样的系统及方法
CN108700876A (zh) * 2015-11-04 2018-10-23 祖克斯有限公司 用于自主车辆轨迹修改的远程操作系统和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329773B (zh) * 2007-12-06 2010-09-15 上海大学 光刻机抗蚀剂成像仿真三维交互显示方法
JP5500388B2 (ja) * 2011-02-16 2014-05-21 アイシン・エィ・ダブリュ株式会社 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法
US10247854B2 (en) * 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
WO2015036912A1 (en) * 2013-09-10 2015-03-19 Koninklijke Philips N.V. Methods and apparatus for automated commissioning of coded light sources
CN103617647B (zh) * 2013-11-28 2016-04-13 中国人民解放军国防科学技术大学 一种用于夜视的车辆周围环境三维重构方法
GB201414144D0 (en) * 2014-08-08 2014-09-24 Imagination Tech Ltd Relightable texture for use in rendering an image
CN104268933B (zh) * 2014-09-11 2017-02-15 大连理工大学 一种车载二维激光运动中三维环境扫描成像方法
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US10871782B2 (en) 2016-07-01 2020-12-22 Uatc, Llc Autonomous vehicle control using submaps
US10127461B2 (en) * 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
CN106296693B (zh) * 2016-08-12 2019-01-08 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN110286388B (zh) 2016-09-20 2020-11-03 创新科技有限公司 激光雷达系统和使用其检测物体的方法及介质
US20180088234A1 (en) * 2016-09-27 2018-03-29 Carnegie Mellon University Robust Localization and Localizability Prediction Using a Rotating Laser Scanner
US10254762B2 (en) * 2017-03-29 2019-04-09 Luminar Technologies, Inc. Compensating for the vibration of the vehicle
US11455565B2 (en) * 2017-08-31 2022-09-27 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
CN207396738U (zh) * 2017-12-22 2018-05-22 西安飞芯电子科技有限公司 一种智能型车载雷达系统
US10740914B2 (en) * 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
US11600006B2 (en) * 2018-10-26 2023-03-07 Here Global B.V. Deep neural network architecture for image segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI476365B (zh) * 2008-05-16 2015-03-11 Lockheed Corp 用於使位置資料與超音波資料相關之方法及評估服役中之飛行器零件的方法
CN108419446A (zh) * 2015-08-24 2018-08-17 高通股份有限公司 用于激光深度图取样的系统及方法
CN108700876A (zh) * 2015-11-04 2018-10-23 祖克斯有限公司 用于自主车辆轨迹修改的远程操作系统和方法
CN108352056A (zh) * 2015-11-20 2018-07-31 高通股份有限公司 用于校正错误深度信息的系统和方法
CN108369729A (zh) * 2015-12-22 2018-08-03 高通股份有限公司 用于结构光深度图的离群值检测和校正的方法和设备

Also Published As

Publication number Publication date
AU2018282304B2 (en) 2020-08-13
CN111448591B (zh) 2021-05-18
JP2021508027A (ja) 2021-02-25
US11048264B2 (en) 2021-06-29
CA3028223A1 (en) 2020-05-16
AU2018282304A1 (en) 2020-06-04
EP3746989A4 (en) 2021-03-17
TW202019745A (zh) 2020-06-01
SG11201811415SA (en) 2020-06-29
EP3746989A1 (en) 2020-12-09
US11676254B2 (en) 2023-06-13
CA3028223C (en) 2021-02-16
US20210157329A1 (en) 2021-05-27
WO2020097912A1 (en) 2020-05-22
US20200159239A1 (en) 2020-05-21
CN111448591A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
US12020476B2 (en) Data synthesis for autonomous control systems
CA3028653C (en) Methods and systems for color point cloud generation
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
TW202020811A (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
CN112639846A (zh) 一种训练深度学习模型的方法和装置
Zhou et al. Developing and testing robust autonomy: The university of sydney campus data set
CN111833443A (zh) 自主机器应用中的地标位置重建
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
CN113196341A (zh) 用于对道路的表面上的对象进行检测和建模的方法
Brehar et al. Pedestrian detection in the context of multiple-sensor data alignment for far-infrared and stereo vision sensors
AU2018102199A4 (en) Methods and systems for color point cloud generation
Rattei et al. Shadow-based vehicle model refinement and tracking in advanced automotive driver assistance systems
US20230042450A1 (en) Training a neural network using a data set with labels of multiple granularities
EP2639771B1 (en) Augmented vision in image sequence generated from a moving vehicle
US20230039935A1 (en) Scalable and realistic camera blockage dataset generation
Paracchini et al. Accurate omnidirectional multi-camera embedded structure from motion
KR20230095581A (ko) 객체 인식용 훈련 데이터 생성 방법 및 장치