TW201937399A - 用於識別和定位運輸工具周圍的物體的系統和方法 - Google Patents

用於識別和定位運輸工具周圍的物體的系統和方法 Download PDF

Info

Publication number
TW201937399A
TW201937399A TW107144499A TW107144499A TW201937399A TW 201937399 A TW201937399 A TW 201937399A TW 107144499 A TW107144499 A TW 107144499A TW 107144499 A TW107144499 A TW 107144499A TW 201937399 A TW201937399 A TW 201937399A
Authority
TW
Taiwan
Prior art keywords
image
point cloud
dimensional shape
objects
lidar point
Prior art date
Application number
TW107144499A
Other languages
English (en)
Inventor
李劍
應縝哲
Original Assignee
大陸商北京嘀嘀無限科技發展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京嘀嘀無限科技發展有限公司 filed Critical 大陸商北京嘀嘀無限科技發展有限公司
Publication of TW201937399A publication Critical patent/TW201937399A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了用於識別和定位運輸工具周圍的一個或多個物體的系統和方法。該方法可以包括獲得檢測基站周圍的第一光達（LiDAR）點雲圖像。該方法還可以包括識別第一光達點雲圖像中的一個或多個物體，以及確定第一光達點雲圖像中的一個或多個物體的一個或多個位置。該方法還可以包括爲一個或多個物體中的每一個物體産生三維形狀；以及基於一個或多個物體的位置和三維形狀而標記第一光達點雲圖像中的一個或多個物體來産生第二光達點雲圖像。

Description

用於識別和定位運輸工具周圍的物體的系統和方法
本申請涉及物體識別，尤其涉及用於在自動駕駛期間識別和定位運輸工具周圍的物體的方法和系統。
本申請主張2017年12月11日提交的編號為PCT/CN2017/115491的國際申請案的優先權，其內容以引用方式被包含於此。
近年來，自動駕駛技術正在迅速發展。使用自動駕駛技術的運輸工具可以自動感測環境並導航。一些自動駕駛運輸工具仍然需要人為的輸入並且僅能作爲駕駛輔助工具。一些自動駕駛運輸工具則完全自行駕駛。然而，正確識別和定位運輸工具周圍物體的能力對於任何類型的自動駕駛運輸工具都是重要的。傳統方法可以包括將相機安裝在運輸工具上並分析由相機捕獲的圖像中的物體。然而，相機圖像通常是二維（2D）的，因此不能容易地獲得物體的深度資訊。可以採用雷達（Radar）和光達（LiDAR）裝置來獲得運輸工具周圍的三維（3D）圖像，但是圖像中的物體通常混有雜訊並且難以識別和定位。此外，人們難以理解雷達和光達裝置産生的圖像。
在本申請的一個態樣中，提供了一種用於駕駛輔助的系統。該系統可以包括控制單元，該控制單元包括一個或多個儲存媒體，該儲存媒體包括用於識別和定位運輸工具周圍的一個或多個物體的一組指令，以及電連接到一個或多個儲存媒體的一個或多個微晶片。在系統操作期間，一個或多個微晶片可以執行該組指令以獲得檢測基站周圍的第一光達（LiDAR）點雲圖像；所述一個或多個微晶片還可以執行該組指令以識別第一光達點雲圖像中的一個或多個物體，以及確定第一光達點雲圖像中的一個或多個物體的一個或多個位置。所述一個或多個微晶片還可以執行該組指令，藉以爲所述一個或多個物體中的每一個物體産生三維形狀，以及基於一個或多個物體的位置和三維形狀而標記所述第一光達點雲圖像中的所述一個或多個物體來産生第二光達點雲圖像。
在一些實施例中，該系統還可以包括與控制單元通訊的至少一個光達裝置，用於將光達點雲圖像發送到控制單元；與控制單元通訊的至少一個相機，用於將相機圖像發送到控制單元；以及與控制單元通訊的至少一個雷達裝置，用於將雷達圖像發送到控制單元。
在一些實施例中，基站可以是運輸工具，並且系統還可以包括安裝在運輸工具的方向盤、引擎蓋或反光鏡上的至少一個光達裝置，其中至少一個光達裝置的安裝可以包括黏合劑黏合、螺栓和螺母連接、卡口配件或真空固定中的至少一種。
在一些實施例中，所述一個或多個微晶片還可以獲得包括一個或多個物體中的至少一個物體的第一相機圖像，識別第一相機圖像中的一個或多個物體的至少一個目標物體和第一相機圖像中的至少一個目標物體的至少一個目標位置，以及基於第一相機圖像中的至少一個目標位置和光達點雲圖像中的至少一個目標物體的三維形狀而標記第一相機圖像中的至少一個目標物體來産生第二相機圖像。
在一些實施例中，標記第一相機圖像中的至少一個目標物體時，一個或多個微晶片還可以獲得第一相機圖像中的至少一個目標物體的二維形狀、將光達點雲圖像與第一相機圖像相關、基於所述至少一個目標物體的二維形狀以及所述光達點雲圖像與所述第一相機圖像之間的相關性來産生所述第一相機圖像中所述至少一個目標物體的三維形狀、以及基於第一相機圖像中的識別位置和第一相機圖像中的至少一個目標物體的三維形狀而標記第一相機圖像中的至少一個目標物體來産生第二相機圖像。
在一些實施例中，爲了識別第一相機圖像中的至少一個目標物體和第一相機圖像中的至少一個目標物體的位置，一個或多個微晶片可以操作YOLO（you only look once）網路或小型YOLO（tiny you look only once，tiny-YOLO）網路來識別第一相機圖像中的至少一個目標物體以及第一相機圖像中的至少一個目標物體的位置。
在一些實施例中，爲了識別第一光達點雲圖像中的一個或多個物體，所述一個或多個微晶片還可以獲得第一光達點雲圖像中包括不感興趣的點和剩餘點的複數個點的座標、根據座標從複數個點移除不感興趣的點、基於點雲聚類算法將剩餘點分成一個或多個聚類、以及選擇一個或多個聚類中的至少一個作爲目標聚類，每個目標聚類對應一個物體。
在一些實施例中，爲了爲一個或多個物體中的每一個物體産生三維形狀，一個或多個微晶片可以進一步確定物體的初步三維形狀，調整初步三維形狀的高度、寬度、長度、偏航或方向中的至少一個以産生三維形狀建議，計算三維形狀建議的得分，並確定三維形狀建議的得分是否滿足預設條件。回應於確定三維形狀建議的得分不滿足預設條件，一個或多個微晶片可進一步調整三維形狀建議。回應於確定三維形狀建議或進一步調整的三維形狀建議的得分滿足預設條件，一個或多個微晶片可確定三維形狀建議或進一步調整的三維形狀建議爲該物體的三維形狀。
在一些實施例中，三維形狀建議的得分是基於三維形狀建議內的第一光達點雲圖像的多個點、三維形狀建議外的第一光達點雲圖像的多個點、或點與三維形狀之間的距離中的至少一個來計算的。
在一些實施例中，所述一個或多個微晶片還可以獲得檢測基站周圍的第一雷達（Radar）圖像、識別第一雷達圖像中的一個或多個物體、確定第一雷達圖像中的一個或多個物體的一個或多個位置、爲第一雷達圖像中的一個或多個物體中的每一個物體産生三維形狀、基於第一雷達圖像中的一個或多個物體的位置和三維形狀而標記第一雷達圖像中的一個或多個物體來産生第二雷達圖像、以及融合第二雷達圖像和第二光達點雲圖像以産生補償圖像。
在一些實施例中，所述一個或多個的微晶片還可以獲得基站周圍的兩個不同時間訊框的兩個第一光達點雲圖像、基於兩個第一光達點雲圖像産生兩個不同時間訊框的兩個第二光達點雲圖像、以及基於兩個第二光達點雲圖像通過內插法來産生第三時間訊框的第三光達點雲圖像。
在一些實施例中，所述一個或多個的微晶片還可以獲得基站周圍的複數個不同時間訊框的複數個第一光達點雲圖像；基於複數個第一光達點雲圖像産生複數個不同時間訊框的複數個第二光達點雲圖像；以及基於複數個第二光達點雲圖像産生視頻。
根據本申請的另一個態樣，提供了一個方法。該方法可以在具有一個或多個儲存媒體的計算裝置上實施，該一個或多個儲存媒體儲存用於識別和定位運輸工具周圍的一個或多個物體的指令，以及一個或多個微晶片，電連接到該一個或多個儲存媒體。該方法可以包括獲得檢測基站周圍的第一光達（LiDAR）點雲圖像。該方法還可以包括識別第一光達點雲圖像中的一個或多個物體，以及確定第一光達點雲圖像中的一個或多個物體的一個或多個位置。該方法還可以包括爲一個或多個物體中的每一個物體産生三維形狀，基於一個或多個物體的位置和三維形狀而標記所述第一光達點雲圖像中的所述一個或多個物體來産生第二光達點雲圖像。
在本申請的另一態樣中，提供了一種非暫時性電腦可讀取媒體。非暫時性電腦可讀取媒體可包括用於識別和定位運輸工具周圍的一個或多個物體的至少一組指令。當由電子終端的微晶片執行時，所述至少一組指令可以指示微晶片執行獲得檢測基站周圍的第一光達（LiDAR）點雲圖像的動作。所述至少一組指令還可以指示微晶片執行識別第一光達點雲圖像中的一個或多個物體，以及確定第一光達點雲圖像中的一個或多個物體的一個或多個位置的動作。所述至少一組指令可以進一步指示微晶片執行爲所述一個或多個物體中的每一個物體産生三維形狀，以及基於一個或多個物體的位置和三維形狀而標記所述第一光達點雲圖像中的所述一個或多個物體來産生第二光達點雲圖像的動作。
本申請的一部分附加特性可以在下面的描述中進行說明。通過對以下描述和相應圖式的研究或者對實施例的生産或操作的瞭解，本申請的一部分附加特徵對於本領域具有通常知識者是明顯的。本申請的特徵可以通過對以下描述的具體實施例的各種態樣的方法、手段和組合的實踐或使用得以實現和達到。
以下描述是爲了使本領域具有通常知識者能够實施和利用本申請，並且該描述是在特定的應用場景及其要求的環境下提供的。對於本領域具有通常知識者來講，顯然可以對所揭露的實施例作出各種改變，並且在不偏離本申請的原則和範圍的情况下，本申請中所定義的普遍原則可以適用於其他實施例和應用場景。因此，本申請並不限於所描述的實施例，而應該被給予與申請專利範圍一致的最廣泛的範圍。
本申請中所使用的術語僅用於描述特定的示例性實施例，並不限制本申請的範圍。如本申請使用的單數形式「一」、「一個」及「該」可以同樣包括複數形式，除非上下文明確提示例外情形。還應當理解，如在本申請說明書中，術語「包括」、「包含」僅提示存在所述特徵、整體、步驟、操作、組件及/或部件，但並不排除存在或添加一個或多個其他特徵、整體、步驟、操作、組件、部件及/或其組合的情况。
在本申請中，術語「自動駕駛運輸工具」可以指在沒有人為（例如，司機、飛行員或類似物）輸入的情况下能够感測其環境並且導航的運輸工具。術語「自動駕駛運輸工具」和「運輸工具」可互換使用。術語「自動駕駛」可以指在沒有人為（例如，司機、飛行員或類似物）輸入的情况下導航的能力。
根據以下對圖式的描述，本申請的這些和其他的特徵、特點以及相關結構組件的功能和操作方法，以及部件組合和製造經濟性，可以變得更加顯而易見，這些圖式都構成本申請說明書的一部分。然而，應當理解的是，圖式僅僅是爲了說明和描述的目的，並不旨在限制本申請的範圍。應當理解的是，圖式並不是按比例繪製的。
本申請中使用了流程圖用來說明根據本申請的一些實施例的系統所執行的操作。應當理解的是，流程圖中的操作可以不按順序執行。相反，可以按照倒序或同時處理各種步驟。同時，也可以將一個或多個其他操作添加到這些流程圖中。也可以從流程圖中删除一個或多個操作。
本申請中使用的定位技術可以基於全球定位系統（GPS）、全球導航衛星系統（GLONASS）、羅盤導航系統（COMPASS）、伽利略定位系統、準天頂衛星系統（QZSS）、無線保真（WiFi）定位技術或類似物或其任意組合。上述定位技術中的一種或以上可以在本申請中互換使用。
此外，儘管本申請中揭露的系統和方法主要涉及用於識別和定位運輸工具周圍的物體的駕駛輔助裝置，但是應該理解，這僅是一個示例性實施例。本申請的系統或方法可以應用於任何其他種類的導航系統。例如，本申請的系統和方法還可應用於包括陸地、海洋、航空太空或類似物或其任意組合的不同運輸系統。所述運輸系統的自動交通工具可以包括計程車、私家車、順風車、公車、列車、動車、高鐵、地鐵、船舶、飛機、飛船、熱氣球、無人駕駛的運輸工具或類似物或其任意組合。在一些實施例中，該系統或方法可以在例如物流倉庫、軍事事務中找到應用。
本申請的一個態樣涉及一種用於在自動駕駛期間識別和定位運輸工具周圍的物體的駕駛輔助裝置。例如，相機、光達裝置、雷達裝置可以安裝在自動駕駛汽車的車頂上。相機、光達裝置和雷達裝置可以分別獲得汽車周圍的相機圖像、光達點雲圖像和雷達圖像。光達點雲圖像可包括複數個點。控制單元可以將複數個點分組成多個聚類，其中每個聚類可以對應於物體。控制單元可以爲每個物體確定三維形狀並在光達點雲圖像上標記三維形狀。控制單元還可以將光達點雲圖像與相機圖像相關，以在相機圖像上産生並標記物體三維形狀的二維表示。標記好的光達點雲圖像和相機圖像可以更佳地用於理解物體的位置和移動。控制單元還可以基於標記好的相機圖像産生物體的移動的視頻。其中的運輸工具或司機可基於産生的視頻或圖像來調整運輸工具的速度和移動方向，以避免碰撞物體。
圖1係根據本申請的一些實施例所示的自動駕駛運輸工具的示例性場景的示意圖。如圖1所示，自動駕駛運輸工具130可以沿著由自動駕駛運輸工具130自動確定的路徑在道路121行進而沒有人工輸入。道路121可以是爲運輸工具行進準備的空間。例如，道路121可以是用於具有輪子的運輸工具（例如，汽車、列車、自行車、三輪車或類似物）或沒有輪子的運輸工具（例如，氣墊船）的道路、可以是用於飛機或其他飛行器的跑道、可以是用於船舶或潛艇的航道、可以是衛星軌道。自動駕駛運輸工具130的行進可以不違反由法律或法規管制的道路121的交通法。例如，自動駕駛運輸工具130的速度可能不超過道路121的速度限制。
自動駕駛運輸工具130可以通過沿著由自動駕駛運輸工具130確定的路徑120行進而不碰撞障礙物110。障礙物110可以是靜態障礙物或動態障礙物。靜態障礙物可包括建築物、樹木、路障或類似物或其任何組合。動態障礙物可包括移動運輸工具、行人及/或動物或類似物或其任何組合。
自動駕駛運輸工具130可包括非自動駕駛運輸工具的傳統結構，例如引擎、四個輪子、方向盤或類似物。自動駕駛運輸工具130還可包括感測系統140，其包括複數個感測器（例如，感測器142、感測器144、感測器146）和控制單元150。複數個感測器可以被配置用於提供用於控制運輸工具的資訊。在一些實施例中，感測器可以感測運輸工具的狀態。運輸工具的狀態可以包括運輸工具的動態情况、運輸工具周圍的環境資訊或類似物或其任何組合。
在一些實施例中，複數個感測器可以被配置用於感測自動駕駛運輸工具130的動態情况。複數個感測器可包括距離感測器、速度感測器、加速度感測器、轉向角感測器、牽引相關感測器、相機及/或任何感測器。
例如，距離感測器（例如，雷達、光達、紅外線感測器）可以確定運輸工具（例如，自動駕駛運輸工具130）與其他物體（例如，障礙物110）之間的距離。距離感測器還可以確定運輸工具（例如，自動駕駛運輸工具130）與一個或多個障礙物（例如，靜態障礙物、動態障礙物）之間的距離。速度感測器（例如，霍爾感測器）可以確定運輸工具（例如，自動駕駛運輸工具130）的速度（例如，瞬間速度、平均速度）。加速度感測器（例如，加速度計）可以確定運輸工具（例如，自動駕駛運輸工具130）的加速度（例如，瞬間加速度、平均加速度）。轉向角感測器（例如，傾斜感測器）可以確定運輸工具（例如，自動駕駛運輸工具130）的轉向角。牽引相關感測器（例如，力感測器）可以確定運輸工具（例如，自動駕駛運輸工具130）的牽引力。
在一些實施例中，複數個感測器可以感測自動駕駛運輸工具130周圍的環境。例如，一個或多個感測器可以檢測道路幾何形狀和障礙物（例如，靜態障礙物、動態障礙物）。道路幾何形狀可包括道路寬度、道路長度、道路類型（例如，環形道路、直線道路、單向道路、雙向道路）。靜態障礙物可包括建築物、樹木、路障或類似物或其任何組合。動態障礙物可包括移動運輸工具、行人及/或動物或類似物或其任何組合。複數個感測器可包括一個或多個視頻相機、雷射感測系統、紅外線感測系統、聲學感測系統、熱感測系統或類似物或其任何組合。
控制單元150可以被配置用於控制自動駕駛運輸工具130。控制單元150可以控制自動駕駛運輸工具130沿著路徑120行駛。控制單元150可以基於來自複數個感測器的狀態資訊來計算路徑120。在一些實施例中，路徑120可以被配置爲避免運輸工具與一個或多個障礙物（例如，障礙物110）之間的碰撞。
在一些實施例中，路徑120可包括一個或多個路徑樣本。所述一個或多個路徑樣本中的每一個可包括複數個路徑樣本特徵。複數個路徑樣本特徵可以包括路徑速度、路徑加速度、路徑位置或類似物，或其組合。
自動駕駛運輸工具130可沿著路徑120行駛以避免與障礙物碰撞。在一些實施例中，自動駕駛運輸工具130可以以與每個路徑位置相應的路徑速度和相應的路徑加速度傳遞每個路徑位置。
在一些實施例中，自動駕駛運輸工具130還可包括定位系統，以獲得及/或確定自動駕駛運輸工具130的位置。在一些實施例中，定位系統還可以連接到另一方，例如基站、另一運輸工具或另一個人，以獲得該方的位置。例如，定位系統可以能够與另一運輸工具的定位系統建立通訊，並且可以接收另一運輸工具的位置並確定兩個運輸工具之間的相對位置。
圖2係根據本申請的一些實施例所示的具有自動駕駛能力的示例性運輸工具的方塊圖。例如，具有自動駕駛能力的運輸工具可以包括控制系統，包括但不限於控制單元150，複數個感測器142、144、146，儲存器220，網路230，閘道模組240，控制器區域網路（CAN）250，引擎管理系統（EMS）260，電子穩定控制（ESC）270，電力系統（EPS）280，轉向柱模組（SCM）290，油門系統265，剎車系統275和轉向系統295。
控制單元150可以處理與運輸工具駕駛（例如，自動駕駛）有關的資訊及/或資料，以執行本申請中描述的一個或多個功能。在一些實施例中，控制單元150可以被配置用於自動駕駛運輸工具。例如，控制單元150可以輸出複數個控制信號。複數個控制信號可以被配置爲由複數個電子控制單元（ECU）接收以控制運輸工具的駕駛。在一些實施例中，控制單元150可以基於運輸工具的環境資訊確定參考路徑和一個或多個候選路徑。在一些實施例中，控制單元150可包括一個或多個處理引擎（例如，單核心處理引擎或多核心處理器）。僅作爲範例，控制單元150可以包括中央處理單元（CPU）、特定應用積體電路（ASIC）、特定應用指令集處理器（ASIP）、圖形處理單元（GPU）、物理處理單元（PPU）、數位訊號處理器（DSP）、現場可程式閘陣列（FPGA）、可程式邏輯裝置（PLD）、控制器、微控制器單元、精簡指令集電腦（RISC）、微處理器或類似物或其任意組合。
儲存器220可以儲存資料及/或指令。在一些實施例中，儲存器220可以儲存從自動駕駛運輸工具130獲得的資料。在一些實施例中，儲存器220可以儲存控制單元150可以執行或使用的資料及/或指令，以執行本申請中描述的示例性方法。在一些實施例中，儲存器220可包括大容量儲存器、可移式儲存器、揮發性讀寫記憶體、唯讀記憶體（ROM）或類似物或其任意組合。示例性大容量儲存器可以包括磁碟、光碟、固態硬盤或類似物。示例性可移式儲存器可以包括快閃驅動器、軟碟、光碟、記憶卡、zip磁碟、磁帶或類似物。示例性揮發性讀寫記憶體可以包括隨機存取記憶體（RAM）。示例性RAM可包括動態隨機存取記憶體（DRAM）、雙倍資料速率同步動態隨機存取記憶體（DDR SDRAM）、靜態隨機存取記憶體（SRAM）、閘流體隨機存取記憶體（T-RAM）和零電容隨機存取記憶體（Z-RAM）或類似物。示例性唯讀記憶體可以包括遮罩式唯讀記憶體（MROM）、可程式唯讀記憶體（PROM）、可清除可程式唯讀記憶體（PEROM）、電子可清除可程式唯讀記憶體（EEPROM）、光碟唯讀記憶體（CD-ROM）和數位多功能磁碟唯讀記憶體或類似物。在一些實施例中，所述儲存器可在雲端平臺上實現。僅作爲示例，雲端平臺可以包括私有雲、公共雲、混合雲、社區雲、分布雲、內部雲、多層雲或類似物或其任意組合。
在一些實施例中，儲存器220可以連接到網路230以與自動駕駛運輸工具130的一個或多個組件（例如，控制單元150、感測器142）通訊。自動駕駛運輸工具130中的一個或多個組件可以經由網路230存取儲存在儲存器220中的資料或指令。在一些實施例中，儲存器220可以與自動駕駛運輸工具130的一個或多個組件（例如，控制單元150、感測器142）直接連接或通訊。在一些實施例中，儲存器220可以是自動駕駛運輸工具130的一部分。
網路230可以促進資訊及/或資料的交換。在一些實施例中，自動駕駛運輸工具130中的一個或多個組件（例如，控制單元150、感測器142）可以通過網路230向自動駕駛運輸工具130中的其他組件發送資訊及/或資料。例如，控制單元150可以經由網路230獲得/獲取運輸工具的動態情况及/或運輸工具周圍的環境資訊。在一些實施例中，網路230可以爲任意形式的有線或無線網路，或其任意組合。僅作爲示例，網路230可以包括纜線網路、有線網路、光纖網路、遠程通訊網路、內部網路、網際網路、區域網路（LAN）、廣域網路（WAN）、無線區域網路（WLAN）、都會網路（MAN）、公用交換電話網路（PSTN）、藍牙網路、紫蜂網路、近場通訊（NFC）網路或類似物或其任意組合。在一些實施例中，網路230可以包括一個或多個網路接入點。例如，網路230可以包括有線或無線網路接入點，諸如基站及/或網際網路交換點230-1、...，通過網路接入點自動駕駛運輸工具130的一個或多個組件可以連接到網路230以交換資料及/或資訊。
閘道模組240可以基於運輸工具的當前駕駛狀態確定複數個電子控制單元（ECU）（例如，引擎管理系統（EMS）260、電力系統（EPS）280、電子穩定控制（ESC）270、轉向柱模組（SCM）290）的命令源。命令源可以來自人類司機、來自控制單元150或類似物或其任何組合。
閘道模組240可以確定運輸工具的當前駕駛狀態。運輸工具的駕駛狀態可以包括手動駕駛狀態、半自動駕駛狀態、自動駕駛狀態、錯誤狀態或類似物或其任何組合。例如，閘道模組240可以基於來自人類司機的輸入將運輸工具的當前駕駛狀態確定爲手動駕駛狀態。作爲另一示例，在當前道路狀况複雜時，閘道模組240可將運輸工具的當前駕駛狀態確定爲半自動駕駛狀態。作爲又一示例，當異常（例如，信號中斷、處理器崩潰）發生時，閘道模組240可以將運輸工具的當前駕駛狀態確定爲錯誤狀態。
在一些實施例中，閘道模組240可以回應於確定運輸工具的當前駕駛狀態是手動駕駛狀態而將人類司機的操作發送到複數個電子控制單元（ECU）。例如，閘道模組240可以將由人類司機完成的加速器的按壓發送到引擎管理系統（EMS）260，以確定運輸工具的當前駕駛狀態是手動駕駛狀態。閘道模組240可以回應於確定運輸工具的當前駕駛狀態是自動駕駛狀態而將控制單元150的控制信號發送到複數個電子控制單元（ECU）。例如，閘道模組240可以回應於確定運輸工具的當前駕駛狀態是自動駕駛狀態而將與轉向相關的控制信號發送到轉向柱模組（SCM）290。閘道模組240可以回應於確定運輸工具的當前駕駛狀態是半自動駕駛狀態，將人類司機的操作和控制單元150的控制信號發送到複數個電子控制單元（ECU）。閘道模組240可以回應於確定運輸工具的當前駕駛狀態是錯誤狀態而將錯誤信號發送到複數個電子控制單元（ECU）。
控制器區域網路（CAN匯流排）是穩健的運輸工具匯流排標準（例如，基於訊息的協定），其允許微控制器（例如，控制單元150）和裝置（例如，引擎管理系統（EMS）260、電力系統（EPS）280、電子穩定控制（ESC）270及/或轉向柱模組（SCM）290或類似物）在沒有主電腦的應用程式中相互通訊。控制器區域網路（CAN）250可以被配置用於將控制單元150與複數個電子控制單元（ECU）（例如，引擎管理系統（EMS）260、電力系統（EPS）280、電子穩定控制（ESC）270、轉向柱模組（SCM）290）連接。
引擎管理系統（EMS）260可以被配置用於確定自動駕駛運輸工具130的引擎性能。在一些實施例中，引擎管理系統（EMS）260可以基於來自控制單元150的控制信號來確定自動駕駛運輸工具130的引擎性能。例如，在當前駕駛狀態是自動駕駛狀態時，引擎管理系統（EMS）260可以基於與來自控制單元150的加速度相關的控制信號來確定自動駕駛運輸工具130的引擎性能。在一些實施例中，引擎管理系統（EMS）260可以基於人類司機的操作來確定自動駕駛運輸工具130的引擎性能。例如，引擎管理系統（EMS）260可以基於當前駕駛狀態是手動駕駛狀態時由人類司機完成的加速器按壓來確定自動駕駛運輸工具130的引擎性能。
引擎管理系統（EMS）260可以包括複數個感測器和微處理器。複數個感測器可被配置用於檢測一個或多個物理信號，並將一個或多個物理信號轉換爲電信號以進行處理。在一些實施例中，複數個感測器可包括各種溫度感測器、空氣流量感測器、節氣門位置感測器、泵壓力感測器、速度感測器、氧氣感測器、負載感測器、爆震感測器或類似物或其任何組合。一個或多個物理信號可包括引擎溫度、引擎進氣量、冷却水溫度、引擎速度或類似物或其任何組合。微處理器可以基於複數個引擎控制參數來確定引擎性能。微處理器可以基於複數個電信號確定複數個引擎控制參數。可以確定複數個引擎控制參數以優化引擎性能。複數個引擎控制參數可包括點火正時、燃料輸送、怠速氣流或類似物或其任何組合。
油門系統265可以被配置用於改變自動駕駛運輸工具130的運動。例如，油門系統265可基於引擎輸出確定自動駕駛運輸工具130的速度。作爲另一示例，油門系統265可基於引擎輸出引起自動駕駛運輸工具130的加速。油門系統365可包括燃料噴射器、燃料壓力調節器、輔助空氣閥、溫度開關、節氣門、怠速馬達、故障指示器、點火線圈、繼電器或類似物或其任何組合。
在一些實施例中，油門系統265可以是引擎管理系統（EMS）260的外部執行器。油門系統265可以被配置用於基於由引擎管理系統（EMS）260確定的複數個引擎控制參數來控制引擎輸出。
電子穩定控制（ESC）270可以被配置用於改善運輸工具的穩定性。電子穩定控制（ESC）270可以通過檢測和减少牽引力的損失來改善運輸工具的穩定性。在一些實施例中，電子穩定控制（ESC）270可以控制剎車系統275的操作，以響應在確定電子穩定控制（ESC）270檢測到轉向控制的損失時幫助操縱運輸工具。例如，當運輸工具上坡起動時，電子穩定控制（ESC）270可以通過剎車改善運輸工具的穩定性。在一些實施例中，電子穩定控制（ESC）270可以進一步控制引擎性能以改善運輸工具的穩定性。例如，電子穩定控制（ESC）270可在發生可能的轉向控制損失時降低引擎功率。當運輸工具在緊急避讓轉向期間打滑時、當運輸工具在濕滑路面上判斷不良導致轉向不足或轉向過度時或類似物，可能發生轉向控制的損失。
剎車系統275可以被配置用於控制自動駕駛運輸工具130的運動狀態。例如，剎車系統275可以使自動駕駛運輸工具130减速。作爲另一示例，剎車系統275可以在一個或多個道路條件（例如，下坡）中停止自動駕駛運輸工具130。作爲又一示例，剎車系統275可以在下坡行駛時將自動駕駛運輸工具130保持在恒定速度。
剎車系統275包括機械控制部件、液壓單元、動力單元（例如，真空泵）、執行單元或類似物或其任何組合。機械控制部件可包括踏板、手剎車器或類似物。液壓單元可包括液壓油、液壓軟管、剎車泵或類似物。執行單元可包括剎車鉗、剎車塊、剎車盤或類似物。
電力系統（EPS）280可以被配置用於控制自動駕駛運輸工具130的電力供應。電力系統（EPS）280可以爲自動駕駛運輸工具130供應、傳輸及/或儲存電力。在一些實施例中，電力系統（EPS）280可以控制爲轉向系統295的供電。例如，電力系統（EPS）280可以回應於確定方向盤轉向到達極限（例如，左轉限制、右轉限制）時向轉向系統295提供大的電力以爲自動駕駛運輸工具130産生大的轉向扭矩。
轉向柱模組（SCM）290可以被配置用於控制運輸工具的方向盤。轉向柱模組（SCM）290可以鎖定/解鎖運輸工具的方向盤。轉向柱模組（SCM）290可以基於運輸工具的當前駕駛狀態來鎖定/解鎖運輸工具的方向盤。例如，轉向柱模組（SCM）290可以在確定當前駕駛狀態是自動駕駛狀態時鎖定運輸工具的方向盤。當確定當前駕駛狀態是自動駕駛狀態時，轉向柱模組（SCM）290可以進一步縮回轉向柱軸。作爲另一示例，轉向柱模組（SCM）290可以在確定當前駕駛狀態是半自動駕駛狀態、手動駕駛狀態及/或錯誤狀態時解鎖運輸工具的方向盤。
轉向柱模組（SCM）290可以基於控制單元150的控制信號來控制自動駕駛運輸工具130的轉向。控制信號可包括與轉彎方向、轉彎位置、轉彎角度或類似物有關的資訊或類似物或其任何組合。
轉向系統295可以被配置用於操縱自動駕駛運輸工具130。在一些實施例中，轉向系統295可以基於從轉向柱模組（SCM）290發送的信號來操縱自動駕駛運輸工具130。例如，回應於當前駕駛狀態是自動駕駛狀態，轉向系統295可以基於從轉向柱模組（SCM）290發送的控制單元150的控制信號來控制自動駕駛運輸工具130。在一些實施例中，轉向系統295可以基於人類司機的操作來操縱自動駕駛運輸工具130。例如，回應於當前駕駛狀態是手動駕駛狀態，當人類司機將方向盤轉向左方向時，轉向系統295可以將自動駕駛運輸工具130轉向左方向。
圖3係計算裝置300的示例性硬體組件的示意圖。
計算裝置300可以是用於自動駕駛的專用計算裝置，例如包括一個或多個微晶片的單板計算裝置。此外，控制單元150可以包括計算裝置300的一個或多個部件。計算裝置300可用於通過其硬體、軟體程式、韌體或其組合來實現本申請中描述的方法及/或系統。
例如，計算裝置300可以包括與網路相連接的通訊埠350，以實現資料通訊。計算裝置300還可以包括處理器320用來執行電腦指令，該處理器320以一個或多個處理器的形式存在。所述電腦指令可以包括例如執行在此描述的特定功能的函式、程式、物件、組件、資料結構、流程、模組和功能。例如，在操作期間，處理器320可以存取用於操作自動駕駛運輸工具130的指令並執行指令以確定自動駕駛運輸工具的行駛路徑。
在一些實施例中，處理器320可以包括內建在一個或多個微晶片中的一個或多個硬體處理器，諸如微控制器、微處理器、精簡指令集計算器（RISC）、特定應用積體電路（ASIC）、特定應用指令集處理器ASIP）、中央處理單元（CPU）、圖形處理單元（GPU）、物理處理單元（PPU）、微控制器單元、數位訊號處理器（DSP）、現場可程式閘陣列（FPGA）、高階RISC機器（ARM）、可程式邏輯裝置（PLD）、能够執行一個或多個功能的任何電路或處理器或類似物或其任何組合。
示例性的電腦裝置300可以包括一個內部通訊匯流排310、不同形式的程式儲存器和資料儲存器，例如，磁碟370和唯讀記憶體（ROM）330或隨機存取記憶體（RAM）340，用於儲存由電腦處理及/或傳輸的各種各樣的資料檔案。示例性電腦裝置300還可以包括儲存在ROM 330、RAM 340及/或其他類型的非暫時性儲存媒體中的由處理器320執行的程式指令。本申請的方法及/或流程可以以程式指令的方式實現。計算裝置300還包括輸入/輸出組件360，支持電腦和其他組件（例如，使用者介面組件）之間的輸入/輸出。計算裝置300也可以通過網路通訊接收程式設計和資料。
僅僅爲了說明，在計算裝置300中僅描述了一個處理器。然而，應該注意的是，本申請中的計算裝置300還可以包括多個處理器，因此如本申請中所描述的一個處理器執行的操作及/或方法步驟也可以由多個處理器聯合地或單獨地執行。例如，如果在本申請中，所述計算裝置300的處理器320執行步驟A和步驟B，應當理解的是，步驟A和步驟B也可以由所述計算裝置300的兩個不同的處理器共同或獨立執行（例如，所述第一處理器執行步驟A，所述第二處理器執行步驟B，或者所述第一和所述第二處理器共同執行步驟A和步驟B）。
而且，本領域具有通常知識者將理解，當圖2中的控制系統中的組件執行時，該組件可以通過電信號及/或電磁信號執行。例如，當感測器142、144或146發送檢測到的資訊時，例如數位照片或光達點雲圖像，該資訊可以以電子信號的形式發送到接收器。控制單元150可以接收檢測到的資訊的電子信號，並且可以操作其處理器中的邏輯電路以處理這些資訊。當控制單元150向控制器區域網路（CAN）250及/或閘道模組240發出命令以控制引擎管理系統（EMS）260、電子穩定控制（ESC）270、電力系統（EPS）280或類似物時，控制單元150的處理器可以産生編碼該命令的電信號，然後將電信號發送到輸出埠。此外，當處理器從儲存媒體檢索資料時，它可以將電信號發送到儲存媒體的讀取裝置，該讀取裝置可以讀取儲存媒體中的結構化資料。結構化資料可以通過控制單元150的匯流排以電信號的形式傳輸到處理器。此處，電信號可以指一個電信號、一系列電信號及/或複數個不連續的電信號。
圖4係根據本申請的一些實施例所示的示例性感測模組的方塊圖。感測系統140可以與控制單元150通訊，以將原始感測資料（例如，圖像）或預處理的感測資料發送到控制單元150。在一些實施例中，感測系統140可包括至少一個相機410、至少一個光達檢測器420、至少一個雷達檢測器430和處理單元440。在一些實施例中，相機410、光達檢測器420和雷達檢測器430可以分別對應於感測器142、144和146。
相機410可以被配置用於捕獲運輸工具周圍環境資料的相機圖像。相機410可以包括不可更換的鏡頭相機、小型相機、3D相機、全景相機、音頻相機、紅外線相機、數位相機或類似物或其任何組合。在一些實施例中，可以將多個相同或不同類型的相機安裝在運輸工具上。例如，紅外線相機可以安裝在運輸工具的後罩上，以捕獲運輸工具後方物體的紅外線圖像，尤其是當運輸工具在夜間倒車時。又例如，音頻相機可以安裝在運輸工具的反光鏡上以捕獲運輸工具側面的物體的圖像。音頻相機可以標記所獲得的圖像上的不同部分或物體的聲級。在一些實施例中，由安裝在運輸工具上的多個相機410捕獲的圖像可以共同覆蓋運輸工具周圍的整個區域。
僅作爲示例，多個相機410可以安裝在運輸工具的不同部分，包括但不限於窗戶、車身、後視鏡、把手、燈、天窗和車牌。窗戶可包括前窗、後窗、側窗或類似物。車身可包括前罩、後罩、車頂、底盤、側面或類似物。在一些實施例中，多個相機410可以連接到或安裝在運輸工具車厢的配件上（例如，方向盤、引擎蓋、反光鏡）。安裝方法可包括黏接、螺栓和螺母連接、卡口配合、真空固定或類似物或其任何組合。
光達裝置（或光達檢測器）420可以被配置用於獲得具有來自運輸工具的特定範圍的高解析度圖像。例如，光達裝置420可以被配置用於檢測運輸工具35米內的物體。
光達裝置420可以被配置用於産生光達裝置420所安裝到的運輸工具的周圍環境的光達點雲圖像。光達裝置420可包括雷射產生器和感測器。雷射束可包括紫外光、可見光、近紅外光或類似物。雷射產生器可以用固定的預定頻率或預定的變化頻率的脈衝雷射束照射物體。雷射束可以在接觸物體表面之後反射回來，並且感測器可以接收反射的雷射束。通過反射的雷射束，光達裝置420可以測量物體表面和光達裝置420之間的距離。在操作期間，光達裝置420可以旋轉並使用雷射束掃描運輸工具的周圍環境，從而根據反射的雷射束産生光達點雲圖像。由於光達裝置420沿著運輸工具周圍環境的有限高度旋轉並掃描，因此光達點雲圖像測量運輸工具的預定高度之間的運輸工具周圍的360°環境。光達點雲圖像可以是靜態或動態圖像。此外，由於光達點雲圖像中的每個點測量的是光達裝置與反射雷射束的物體表面之間的距離，因此光達點雲圖像是三維圖像。在一些實施例中，光達點雲圖像可以是顯示雷射束的實時傳播的實時圖像。
僅作爲示例，光達裝置420可安裝在運輸工具的車頂或前窗上，然而，應注意，光達裝置420也可安裝在運輸工具的其他部分上，包括但不限於窗戶、車身、後視鏡、把手、燈、天窗和車牌。
雷達裝置430可以被配置用於通過經由無線電波測量到運輸工具周圍的物體的距離來産生雷達圖像。與光達裝置420相比，雷達裝置430可能不太精確（具有較低的解析度），但可能具有更寬的檢測範圍。因此，雷達裝置430可用於測量比光達裝置420的檢測範圍更遠的物體。例如，雷達裝置430可以被配置用於測量距離運輸工具35米和100米之間的物體。
雷達裝置430可以包括用於在無線電或微波域中産生電磁波的發射器、用於發射或廣播無線電波的發射天線、用於接收無線電波的接收天線和用於産生雷達圖像的處理器。僅作爲示例，雷達裝置430可以安裝在運輸工具的車頂或前窗上，然而，應該注意，雷達裝置430也可以安裝在運輸工具的其他部分上，包括但不限於窗戶、車身、後視鏡、把手、燈、天窗和車牌。
在一些實施例中，光達圖像和雷達圖像可以融合以産生補償圖像。關於光達圖像和雷達圖像的融合的詳細方法可以在本申請的其他地方找到（參見例如圖15及其描述）。在一些實施例中，相機410、光達裝置420和雷達裝置430可以同時或單獨工作。在它們以不同的訊框速率單獨工作的情况下，可以採用同步方法。關於相機410、光達裝置420及/或雷達裝置430的訊框同步的詳細方法可以在本申請的其他地方找到（參見例如圖16及其描述）。
感測系統140還可以包括處理單元440，其被配置用於預處理所産生的圖像（例如，相機圖像、光達圖像和雷達圖像）。在一些實施例中，圖像的預處理可以包括平滑、濾波、去雜訊、重建或類似物或其任何組合。
圖5係根據本申請的一些實施例所示的用於産生標記有物體三維形狀的光達點雲圖像的示例性流程的流程圖。在一些實施例中，流程500可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程500可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在510中，控制單元150可以獲得基站周圍的光達點雲圖像（也稱爲第一光達點雲圖像）。
基站可以是安裝有光達裝置、雷達和相機的任何裝置。例如，基站可以是可移動平臺，例如運輸工具（例如，汽車、飛機、船或類似物）。基站也可以是固定平臺，例如檢測站或機場控制塔。僅僅出於說明目的，本申請採用運輸工具或安裝在運輸工具上的裝置（例如，機架）作爲基站的示例。
第一光達點雲圖像可以由光達裝置420產生。第一光達點雲圖像可以是三維點雲圖像，其包括與基站周圍的一個或多個物體相對應的立體像素。在一些實施例中，第一光達點雲圖像可以對應於第一時間訊框（也稱爲第一時間點）。
在520中，控制單元150可以識別第一光達點雲圖像中的一個或多個物體。
一個或多個物體可包括行人、運輸工具、障礙物、建築物、標志、交通燈、動物或類似物或其任何組合。在一些實施例中，控制單元150可以識別520中的一個或多個物體的區域和類型。在一些實施例中，控制單元150可以僅識別區域。例如，控制單元150可以將光達點雲圖像的第一區域識別爲第一物體，光達點雲圖像的第二區域識別爲第二物體並且剩餘區域識別爲地面（或空氣）。又例如，控制單元150可以將第一區域識別爲行人並且將第二區域識別爲運輸工具。
在一些實施例中，如果當前方法被車載裝置用作駕駛輔助的方式，則控制單元150可以首先確定車載基站周圍的點（或立體像素）的高度（例如，車載裝置的運輸工具高度加上車載裝置的高度）。在識別一個或多個物體之前，控制單元150可以去除太低（地面）或太高（例如，在不太可能是在駕駛期間要避免或考慮的物體的高度）的點。剩餘的點可以聚類成複數個聚類。在一些實施例中，剩餘的點可以是基於三維點雲圖像中的三維座標（例如，笛卡爾座標）的聚類（例如，彼此距離小於臨界值的點聚類到相同的聚類中）。在一些實施例中，可以在聚類成複數個聚類之前對剩餘的點進行擺動掃描。擺動掃描可以包括將三維點雲圖像中剩餘的點從三維直角座標系轉換爲極座標系。極座標系可包括原點或參考點。每個剩餘點的極座標可以表示爲距原點的直線距離和從原點到該點的角度。可以基於剩餘點的極座標産生圖表（例如，從原點的角度作爲x軸或水平軸並且距離原點的距離作爲y軸或垂直軸）。可以連接圖中的點以産生包括具有大曲率的部分和具有小曲率的部分的曲線。具有小曲率的部分的曲線上的點可能是同一物體上的點，並且可以聚類到相同的聚類中。具有大曲率的部分的曲線上的點可能是不同物體上的點，並且可以聚類到不同的聚類中。每個聚類可以對應於一個物體。識別一個或多個物體的方法可以在圖11中找到。在一些實施例中，控制單元150可以獲得相機圖像，該圖像可以是在與第一光達點雲圖像相同（或基本相同或相似）的時間和角度拍攝的。控制單元150可識別相機圖像中的一個或多個物體，並直接將它們視爲光達點雲圖像中的一個或多個物體。
在530中，控制單元150可以確定第一光達點雲圖像中的一個或多個物體的一個或多個位置。控制單元150可以分別考慮每個識別的物體，並且分別對一個或多個物體中的每一個執行操作530。在一些實施例中，一個或多個物體的位置可以是一個或多個物體的聚類區域的幾何中心或重心點。在一些實施例中，一個或多個物體的位置可以是在540中産生一個或多個物體的三維形狀之後調整或重新確定的初步位置。應當注意操作520和530可以以任何順序執行，或組合爲一個操作。例如，控制單元150可以確定與一個或多個未知物體相對應的點的位置，將這些點聚集到複數個聚類中，然後將這些聚類識別爲物體。
在一些實施例中，控制單元150可以獲得相機圖像。相機圖像可以由相機以與光達點雲圖像相同（或基本相同或相似）的時間和角度拍攝。控制單元150可以基於神經網路（例如，如圖10中所描述的小型YOLO網路）來確定相機圖像中的物體的位置。控制單元150可通過將相機圖像中的位置映射到光達點雲圖像來確定光達點雲圖像中的一個或多個物體的位置。從二維相機圖像到三維光達點雲圖像的位置映射可以包括圓錐投影或類似物。
在一些實施例中，用於識別物體和確定物體的位置的操作520和530可以被稱爲粗略檢測。
在540中，控制單元150可以爲一個或多個物體中的每一個物體産生三維形狀（例如，三維框）。關於爲一個或多個物體中的每一個物體産生三維形狀的詳細方法可以在本申請的其他地方找到（參見例如圖13及其描述）。在一些實施例中，用於爲物體産生三維形狀的操作540可以被稱爲精細檢測。
在550中，控制單元150可以基於一個或多個物體的位置和三維形狀來産生第二光達點雲圖像。例如，控制單元150可以使用一個或多個物體的三維形狀在其對應位置處標記第一光達點雲圖像，以産生第二光達點雲圖像。
圖6A-6C係根據本申請的一些實施例所示的産生和標記光達點雲圖像中物體的三維形狀的一系列示意圖。如圖6A所示，基站（例如，光達點的機架或運輸工具本身）可以安裝在運輸工具610上以接收運輸工具610周圍的光達點雲圖像。可以看出雷射在物體620處被阻擋。控制單元150可以通過流程500中揭露的方法識別和定位物體620。例如，控制單元150可以在識別和定位物體620之後標記物體620，如圖6B所示。控制單元150還可以確定物體620的三維形狀，並將物體620標記爲三維形狀，如圖6C所示。
圖7係根據本申請的一些實施例所示的用於産生標記的相機圖像的示例性流程的流程圖。在一些實施例中，流程700可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程700可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在710中，控制單元150可以獲得第一相機圖像。相機圖像可以由相機410獲得。僅作爲示例，相機圖像可以是二維圖像，包括運輸工具周圍的一個或多個物體。
在720中，控制單元150可以識別一個或多個物體以及一個或多個物體的位置。識別可以基於神經網路來實現。神經網路可以包括人工神經網路、卷積神經網路、YOLO網路、小型YOLO網路或類似物或其任何組合。神經網路可以由複數個相機圖像樣本訓練，樣本中的物體已通過手動或人工被識別。在一些實施例中，控制單元150可以將第一相機圖像輸入到訓練好的神經網路中，並且訓練好的神經網路可以輸出一個或多個物體的標識和位置。
在730中，控制單元150可以産生並標記相機圖像中的一個或多個物體的三維形狀的二維表示。在一些實施例中，可以通過將光達點雲圖像中的一個或多個物體的三維形狀映射到相機圖像中一個或者以上物體的相應位置處來産生一個或多個物體的三維形狀的二維表示。關於在相機圖像中産生一個或多個物體的三維形狀的二維表示的詳細方法可以在圖8中找到。
圖8係根據本申請的一些實施例所示的用於産生相機圖像中一個或多個物體的三維形狀的二維表示的示例性流程的流程圖。在一些實施例中，流程800可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程800可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在步驟810中，控制單元150可以獲得第一相機圖像中的一個或多個目標物體的二維形狀。
應該注意的是，因爲相機僅在有限視圖中捕獲物體，而光達在基站周圍掃描360°，第一相機圖像可能只包括第一光達點雲圖像中所有物體的一部分。爲簡潔起見，在本申請中，在第一相機圖像和第一光達點雲圖像中均出現的物體可以被稱爲目標物體。還應注意，本申請中描述的二維形狀可包括但不限於三角形、矩形（也稱爲二維框）、正方形、圓形、橢圓形和多邊形。類似地，本申請中描述的三維形狀可包括但不限於長方體（也稱爲三維框）、立方體、球體、多面體和錐體。三維形狀的二維表示可以是看起來像三維形狀的二維形狀。
可以通過執行神經網路來産生一個或多個目標物體的二維形狀。神經網路可以包括人工神經網路、卷積神經網路、YOLO網路、小型YOLO網路或類似物或其任何組合。神經網路可以由複數個相機圖像樣本訓練，樣本中的物體的二維形狀、位置和類型已通過手動或人工被識別。在一些實施例中，控制單元150可以將第一相機圖像輸入到訓練好的神經網路中，並且訓練好的神經網路可以輸出一個或多個目標物體的類型、位置和二維形狀。在一些實施例中，神經網路可以産生相機圖像，其中的一個或多個物體根據第一相機圖像用二維形狀（例如，二維框）標記。
在步驟820，控制單元150可以關聯第一相機圖像與第一光達點雲圖像。
例如，可以測量和關聯第一相機圖像和第一光達點雲圖像中的一個或多個目標物體和基站（例如，運輸工具或運輸工具上的光達裝置和相機的機架）之間的距離。例如，控制單元150可以將第一相機圖像中的目標物體與基站之間的距離與第一光達點雲圖像中的目標物體與基站之間的距離相關。因此，控制單元150可以將第一相機圖像中的目標物體的二維或三維形狀的尺寸與第一光達點雲圖像中的目標物體的二維或三維形狀的尺寸相關。例如，第一相機圖像中目標物體的尺寸和目標物體與基站之間的距離可以與第一光達點雲圖像中目標物體的尺寸和目標物體與基站之間的距離成比例。第一相機圖像和第一光達點雲圖像之間的相關性可以包括映射關係或它們之間的座標轉換。例如，相關性可以包括從三維笛卡爾座標到以基站爲中心的三維球面座標的二維平面的轉換。
在步驟830，控制單元150可以基於目標物體的二維形狀以及光達點雲圖像與第一相機圖像之間的關聯，産生目標物體的三維形狀的二維表示。
例如，控制單元150可以首先在相機圖像中的目標物體的二維形狀與光達點雲圖像中的目標物體的三維形狀之間進行配準。然後，控制單元150可以基於光達點雲圖像中的目標物體的三維形狀和相關性來産生目標物體的三維形狀的二維表示。例如，控制單元150可以從基站的中心執行模擬的圓錐投影，並且基於光達點雲圖像和第一相機圖像之間的相關性在二維相機圖像的平面處産生目標物體的三維形狀的二維表示。
在步驟840，控制單元150可以基於三維形狀的二維表示和第一相機圖像中的識別位置來標記第一相機圖像中的一個或多個目標物體，以産生第二相機圖像。
圖9A和9B係根據本申請的一些實施例所示的汽車的相同二維相機圖像的示意圖。如圖9A所示，識別並定位運輸工具910，並在其上標記二維框。在一些實施例中，控制單元150可以執行本申請中揭露的方法（例如，流程800）以産生汽車的三維框的二維表示。如圖9B所示，汽車的三維框的二維表示被標記在汽車上。與圖9A相比，圖9B不僅表示汽車的尺寸，還表示垂直於相機圖像平面的軸的汽車深度，因此更佳地理解汽車的位置。
圖10係根據本申請的一些實施例所示的YOLO網路的示意圖。YOLO網路可以是神經網路，其將相機圖像劃分爲多個區域並預測每個區域的邊界框和機率。YOLO網路可以是多層神經網路（例如，包括多個層）。多個層可以包括至少一個卷積層（CONV）、至少一個池化層（POOL）和至少一個全連接層（FC）。YOLO網路的多個層可以對應於排列多個維度的神經元，包括但不限於寬度、高度、中心座標、置信度和分類。
CONV層可以將神經元連接到局部區域並計算輸入中的連接到局部區域的神經元的輸出，每個神經元計算它們的權重與它們所連接的區域之間的點積。POOL層可以沿著空間尺寸（寬度、高度）執行下取樣操作，從而導致體積减小。POOL層的功能可以包括逐漸减小表示的空間大小以减少網路中的參數和計算的數量，並且因此還控制過度擬合。POOL層在輸入的每個深度切片上獨立運行，並使用MAX運算在空間上調整大小。在一些實施例中，FC層中的每個神經元可以連接到先前體積中的所有值，並且FC層可以計算分類分數。
如圖10所示，1010可以是體積爲例如[448*448*3]的初始圖像，其中「448」涉及解析度（或像素數），「3」涉及通道（RGB 3通道）。圖像1020-1070可以是由多個CONV層和POOL層産生的中間圖像。可以注意到，從圖像1010到1070，圖像的尺寸减小了而維度增加了。圖像1070的體積可以是[7*7*1024]，並且圖像1070的尺寸可以不再通過額外的CONV層减小。可以在1070之後布置兩個全連接層以産生圖像1080和1090。圖像1090可以將原始圖像劃分爲49區域，每個區域包含30個維度並且負責預測邊界框。在一些實施例中，30個維度可以包括邊界框矩形的x、y、寬度、高度、置信度分數和20個類別的機率分布。如果一個區域負責預測多個邊界框，則可以將該維度乘以相應的數字。例如，如果一個區域負責預測5個邊界框，則1090的維度可以是150。
小型YOLO網路可以是具有類似結構但是比YOLO網路更少的層的網路，例如，更少的卷積層和更少的池化層。小型YOLO網路可以基於暗網（Darknet）參考網路，並且可以比正常的YOLO網路快得多但不太準確。
圖11係根據本申請的一些實施例所示的用於識別光達點雲圖像中的物體的示例性流程的流程圖。在一些實施例中，流程1100可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程1100可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在1110中，控制單元150可以獲得光達點雲圖像（例如，第一光達點雲圖像）中的複數個點（或立體像素）的座標。複數個點中的每一個的座標可以是對應於原點（例如，基站或雷射束的源）的相對座標。
在1120中，控制單元150可以根據它們的座標從複數個點移除不感興趣的點。在使用本申請作爲駕駛輔助的場景中，不感興趣的點可以是在光達點雲圖像中位置太低（例如，地面）或太高（例如，在不太可能是在駕駛期間要避免或考慮的物體的高度）的點。
在1130，控制單元150可以基於點雲聚類算法將光達點雲圖像中的複數個點中的剩餘點聚類爲一個或多個聚類。在一些實施例中，可以測量三維笛卡爾座標系中任意兩個剩餘點之間的空間距離（或歐氏距離）並將其與臨界值進行比較。如果兩點之間的空間距離小於或或類似物於臨界值，則將這兩個點視爲來自於同一物體並且聚類到相同的聚類中。臨界值可以根據剩餘點之間的距離動態變化。在一些實施例中，可以在聚類成複數個聚類之前對剩餘的點進行擺動掃描。擺動掃描可以包括將三維點雲圖像中剩餘的點從三維直角座標系轉換爲極座標系。極座標系可包括原點或參考點。每個剩餘點的極座標可以表示爲距原點的直線距離和從原點到該點的角度。可以基於剩餘點的極座標産生圖表（例如，從原點的角度作爲x軸或水平軸並且距離原點的距離作爲y軸或垂直軸）。可以連接圖中的點以産生包括具有大曲率的部分和具有小曲率的部分的曲線。具有小曲率的部分的曲線上的點可能是同一物體上的點，並且可以聚類到相同的聚類中。具有大曲率的部分的曲線上的點可能是不同物體上的點，並且可以聚類到不同的聚類中。又例如，點雲聚類算法可包括採用預先訓練好的聚類模型。聚類模型可包括具有預先訓練參數的複數個分類器。聚類模型在聚類剩餘點時，可以進一步更新。
在1140中，控制單元150可以選擇一個或多個聚類中的至少一個作爲目標聚類。例如，一個或多個聚類中的一些不具有任何有意義的物體的尺寸，例如樹葉、塑料袋或水瓶的尺寸，可以被移除。在一些實施例中，可以僅選擇滿足預定大小的物體的聚類作爲目標聚類。
圖12A-12E係根據本申請的一些實施例所示的識別光達點雲圖像中的物體的一系列示意圖。圖12A是運輸工具1210周圍的示例性光達點雲圖像。控制單元150可以獲得圖12A中的點的座標，並且可以移除太低或太高的點以産生圖12B。然後，控制單元150可以擺動掃描圖12A中的點，並測量圖12B中每個點與參考點或原點的距離和角度，如圖12C所示。控制單元150可以進一步基於距離和角度將點聚類爲一個或多個聚類，如圖12D所示。控制單元150可以單獨提取一個或多個聚類中的聚類，如圖12E所示，並在提取的聚類中産生物體的三維形狀。關於在提取的聚類中産生物體的三維形狀的詳細方法可以在本申請的其他地方找到（參見例如圖13及其描述）。
圖13係根據本申請的一些實施例所示的用於産生光達點雲圖像中物體的三維形狀的示例性流程的流程圖。在一些實施例中，流程1300可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程1300可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在1310中，控制單元150可以確定物體的初步三維形狀。
初步的三維形狀可以是立體像素、長方體（也稱爲三維框）、立方體或類似物。在一些實施例中，控制單元150可以確定物體的中心點。可以基於物體中的點的座標來確定物體的中心點。例如，控制單元150可以將中心點確定爲物體中的點的座標的平均值。然後，控制單元150可以將初步三維形狀放置在物體（例如，物體的聚類和提取的光達點雲圖像）的中心點處。例如，可以通過控制單元150將預設尺寸的長方體放置在物體的中心點上。
因爲光達點雲圖像僅包括反射雷射束的物體表面的點，所以這些點僅反映物體的表面形狀。在不考慮誤差和點的變化的理想情况下，物體的點的分布可以緊密沿著物體形狀的輪廓。輪廓內沒有點，輪廓外沒有點。然而，實際上，由於測量誤差，點分散在輪廓周圍。因此，可能需要形狀建議來識別物體的粗略形狀以用於自動駕駛。爲此，控制單元150可以調整三維形狀以獲得理想的尺寸、形狀、取向和位置，並使用三維形狀作爲形狀建議。
在1320中，控制單元150可以調整包括初步三維形狀的高度、寬度、長度、偏航或方向參數中的至少一個，以産生三維形狀建議。在一些實施例中，可以疊代地執行操作1320（以及操作1330和1340）。在每次疊代中，可以調整一個或多個的參數。例如，在第一次疊代中調整三維形狀的高度，並且在第二次疊代中調整三維形狀的長度。又例如，在第一次疊代中調整三維形狀的高度和長度，並且在第二次疊代中調整三維形狀的高度和寬度。參數的調整可以是增量或减量。而且，每次疊代中參數的調整可以相同或不同。在一些實施例中，可以基於網格搜索方法進行高度、寬度、長度和偏航的調整。
理想的形狀建議應作爲自動駕駛運輸工具規劃其行車路徑的可靠參考形狀。例如，當自動駕駛運輸工具使用形狀建議作爲物體的描述决定超過物體時，行駛路徑應該保證運輸工具能够準確地規劃其行駛路徑以安全地繞開物體行駛的同時，以最小幅度向左或向右轉動，以確保駕駛盡可能平穩。作爲示例結果，可能不需要形狀建議來精確地描述物體的形狀，但是必須足够大以覆蓋物體，使得自動駕駛運輸工具可以可靠地依賴形狀建議來確定避免碰撞及/或撞擊物體的行駛路徑。然而，形狀建議不需要不必要地大，以免影響繞過物體的行駛路徑的效率。
因此，控制單元150可以評估損失函數，該損失函數用於衡量形狀建議在描述用於自動駕駛路徑規劃目的物體態樣有多好。損失函數的得分或值越小，形狀建議描述物體越好。
在1330中，控制單元150可以計算三維形狀建議的損失函數的分數（或值）。僅作爲示例，損失函數可包括三個部分：Linbox、Lsuf和Lother。例如，三維形狀建議的損失函數可表示如下：
(1)
(2)
(3)
+(4)
(5)
這裏L可以表示三維形狀建議的總分，Linbox可以表示與三維形狀建議內的物體的點數相關的三維形狀建議的分數。Lsuf可以表示描述三維形狀建議與物體的真實形狀有多接近的分數，通過點到形狀建議的表面的距離來測量。因此，Lsuf的較小分數意味著三維形狀建議更接近物體的表面形狀或輪廓。此外，Lsuf（car）可以表示關於汽車的點與三維形狀建議的表面之間的距離的三維形狀建議的得分，Lsuf（ped）可以表示關於行人的點與三維形狀建議的表面之間的距離的三維形狀建議的得分，以及Lother可以表示由於其他獎金或罰款的三維形狀建議的得分。
此外，N可以表示點的數量，P_all可以表示物體的所有點，P_out可以表示三維形狀建議之外的點，P_in可以表示三維形狀建議內的點，P_behind可以表示三維形狀建議背後的點（例如，點在三維形狀建議的背面），以及dis可以表示從物體的點到三維形狀建議的表面的距離。在某些實施例中，m、n、a、b和c是常數。例如，m可以是2.0，n可以是1.5，a可以是2.0，b可以是0.6，c可以是1.2。
Linbox可能被配置爲最小化三維形狀建議內的點的數量。因此，裏面的點的數量越少，Linbox的得分就越小。可以配置Lsurf以鼓勵三維形狀建議的某些形狀和取向，使得盡可能接近三維形狀建議的表面的點。因此，點到三維形狀建議表面的累積距離越小，Lsurf的得分越小。Lother被配置爲鼓勵一個小且密集的點群，即點聚類的數量更大並且三維形狀建議的體積更小。因此，f（N）被定義爲與三維形狀建議中的總點數相關的函數，即，三維形狀建議中的點越多，損失函數越好，因此f（N）的得分越小；以及Lmin（V）被定義爲對三維形狀建議的體積的約束，其試圖最小化三維形狀建議的體積，即，三維形狀建議的體積越小，Lmin（V）的得分越小。
因此，等式（1）中的損失函數L包括對不同因素的平衡考慮，這些因素促使三維形狀建議接近物體的輪廓而不會不必要地大。
在1340中，控制單元150可以確定三維形狀建議的得分是否滿足預設條件。預設條件可以包括得分小於或或類似物於臨界值、得分在多次疊代中不改變、執行一定次數的疊代或類似物。響應在確定三維形狀建議的得分不滿足預設條件的情况下，流程1300可以回到1320；否則，流程1300可以進行到1360。
在1320中，控制單元150可以進一步調整三維形狀建議。在一些實施例中，在後續疊代中調整的參數可以與當前疊代不同。例如，控制單元150可以在起先的五次疊代中對三維形狀建議的高度執行第一組調整。發現三維形狀建議的得分僅通過調整高度不能低於臨界值。控制單元150可以在接下來的10次疊代中對三維形狀建議的寬度、長度、偏航執行第二組調整。在第二調整之後，三維形狀建議的得分仍然可能高於臨界值，並且控制單元150可以對三維形狀建議的方向（例如，位置或中心點）執行第三組調整。應當注意，參數的調整可以以任何順序執行，並且每個調整中的參數的數量和類型可以相同或不同。
在1360中，控制單元150可以將三維形狀建議確定爲物體的三維形狀（或物體的標稱三維形狀）。
圖14A-14D係根據本申請的一些實施例所示的産生光達點雲圖像中物體的三維形狀的一系列示意圖。圖14A是物體的聚類和提取的光達點雲圖像。控制單元150可以産生初步三維形狀並且可以調整初步三維形狀的高度、寬度、長度和偏航以産生三維形狀建議，如圖14B所示。在調整高度、寬度、長度和偏航之後，控制單元150可以進一步調整三維形狀建議的方向，如圖14C所示。最後，滿足如在流程1300的描述中描述的預設條件的三維形狀建議可以被確定爲物體的三維形狀，並且可以在物體上被標記，如圖14D所示。
圖15係根據本申請的一些實施例所示的用於産生補償圖像的示例性流程的流程圖。在一些實施例中，流程1500可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程1500可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在1510中，控制單元150可以獲得基站周圍的第一雷達圖像。第一雷達圖像可以由雷達裝置430產生。與光達裝置420相比，雷達裝置430可能不太精確（具有較低的解析度），但可能具有更寬的檢測範圍。例如，光達裝置420可以僅從35米內的物體接收合理質量的反射雷射束。然而，雷達裝置430可以從數百米之外的物體接收反射的無線電波。
在1520中，控制單元150可以識別第一雷達圖像中的一個或多個物體。識別第一雷達圖像中的一個或多個物體的方法可以與第一光達點雲圖像中識別物體的方法類似，在此不再贅述。
在1530中，控制單元150可以確定第一雷達圖像中的一個或多個物體的一個或多個位置。確定第一雷達圖像中的一個或多個物體的一個或多個位置的方法可以與第一光達點雲圖像中確定物體位置的方法相似，在此不再贅述。
在1540中，控制單元150可以爲第一雷達圖像中的一個或多個物體中的每一個産生三維形狀。在一些實施例中，爲第一雷達圖像中的一個或多個物體中的每一個産生三維形狀的方法可以與第一光達點雲圖像中産生物體三維形狀的方法類似。在另一些實施例中，控制單元150可以獲得一個或多個物體中的每一個的前表面的尺寸和中心點。可以簡單地通過在物體的主體方向上延伸前表面來産生物體的三維形狀。
在1550中，控制單元150可以基於第一雷達圖像中的一個或多個物體的位置和三維形狀來標記第一雷達圖像中的一個或多個物體，以産生第二雷達圖像。
在1560中，控制單元150可以融合第二雷達圖像和第二光達點雲圖像以産生補償圖像。在一些實施例中，光達點雲圖像在基站附近可以具有比雷達圖像更高的解析度和可靠性，並且雷達圖像可以在遠離基站處具有比光達點雲圖像更高的解析度和可靠性。例如，控制單元150可以將第二雷達圖像和第二光達點雲圖像劃分爲距基站0到30米、30到50米、並且大於50米的3個部分。第二雷達圖像和第二光達點雲圖像可以以僅保留0到30米的光達點雲圖像並且僅保留大於50米的雷達圖像的方式融合。在一些實施例中，可以對第二雷達圖像和第二光達點雲圖像的30至50米的立體像素的灰階值進行平均。
圖16係根據本申請的一些實施例所示的在相機、光達裝置及/或雷達裝置之間進行同步的示意圖。如圖16所示，相機（例如，相機410）、光達裝置（例如，光達裝置420）和雷達裝置（例如，雷達裝置430）的訊框速率是不同的。假設相機、光達裝置和雷達裝置在第一時間訊框T1同時開始工作，可以大致同時（例如，同步）産生相機圖像、光達點雲圖像和雷達圖像。但是，由於訊框速率不同，後續圖像不同步。在一些實施例中，可以確定在相機、光達裝置和雷達裝置中具有最慢訊框速率的裝置（在圖16的示例中，它是相機）。控制單元150可以記錄相機捕獲的相機圖像的每個時間訊框，並且可以搜索接近相機圖像的每個時間訊框的時間的其他光達圖像和雷達圖像。對於相機圖像的每個時間訊框，可以獲得相應的光達圖像和相應的雷達圖像。例如，在T2獲得相機圖像1610，控制單元150可以搜索最接近T2的光達圖像和雷達圖像（例如，光達圖像1620和雷達圖像1630）。相機圖像和相應的光達圖像和雷達圖像被提取爲一組。假設該組中的三個圖像是同時獲得的並同步。
圖17係根據本申請的一些實施例所示的用於基於現有光達點雲圖像産生光達點雲圖像或視頻的示例性流程的流程圖。在一些實施例中，流程1700可以在如圖1所示的自動駕駛運輸工具中實現。例如，流程1700可以以指令的形式儲存在儲存器220及/或其他儲存器（例如，ROM 330、RAM 340）中，並且由處理單元（例如，處理器320、控制單元150、控制單元150的一個或多個微晶片）調用及/或執行。本申請以控制單元150爲例來執行指令。
在1710中，控制單元150可以獲得基站周圍兩個不同的時間訊框的兩個第一光達點雲圖像。兩個不同的時間訊框可以由相同的光達裝置連續拍攝。
在1720中，控制單元150可以基於兩個第一光達點雲圖像産生兩個第二光達點雲圖像。可以在流程500中找到從兩個第一光達點雲圖像産生兩個第二光達點雲圖像的方法。
在1730，控制單元150可以使用內插法基於兩個第二光達點雲圖像産生第三時間訊框的第三光達點雲圖像。
圖18係根據本申請的一些實施例所示的驗證和內插圖像訊框的示意圖。如圖18所示，雷達圖像、相機圖像和光達圖像是同步的（例如，通過圖16中揭露的方法）。通過內插法在現有相機圖像之間産生附加相機圖像。控制單元150可以基於相機圖像産生視頻。在一些實施例中，控制單元150可以基於歷史資訊驗證和修改相機圖像、光達圖像及/或雷達圖像的每個訊框。歷史資訊可以包括上一訊框或前面多訊框中的相同或不同類型的圖像。例如，汽車在相機圖像的特定訊框中沒有被正確識別和定位。然而，所有先前的5訊框正確識別並定位了汽車。控制單元150可以基於先前訊框的相機圖像和不正確的訊框以及先前訊框的光達圖像及/或雷達圖像來修改不正確的訊框的相機圖像。
上文已對基本概念做了描述，顯然，對於閱讀此揭示後的本領域具有通常知識者來說，上述申請揭露僅作爲示例，並不構成對本申請的限制。雖然此處並未明確說明，但本領域具有通常知識者可能會對本申請進行各種修改、改進和修正。該類修改、改進和修正在本申請中被建議，所以該類修改、改進、修正仍屬於本申請示範實施例的精神和範圍。
同時，本申請使用了特定詞語來描述本申請的實施例。例如「一個實施例」、「一實施例」、及/或「一些實施例」意指與本申請至少一個實施例相關的某一特徵、結構或特性。因此，應當强調並注意的是，本說明書中在不同位置兩次或以上提及的「一實施例」或「一個實施例」或「一替代性實施例」並不一定是指同一實施例。此外，本申請的一個或多個實施例中的某些特徵、結構或特點可以進行適當的組合。
此外，本領域具有通常知識者可以理解，本申請的各態樣可以通過若干具有可專利性的種類或情况進行說明和描述，包括任何新的和有用的流程、機器、産品或物質的組合，或對其任何新的和有用的改進。相應地，本申請的各個態樣可以完全由硬體執行、可以完全由軟體（包括韌體、常駐軟體、微代碼或類似物）執行、也可以由硬體和軟體組合執行。以上硬體或軟體均可被稱爲「單元」、「模組」或「系統」。此外，本申請的各態樣可以採取體現在一個或多個電腦可讀取媒體中的電腦程式産品的形式，其中電腦可讀取程式代碼包含在其中。
非暫時性電腦可讀取信號媒體可以包括傳播的資料信號，其中包含電腦可讀取程式代碼，例如，在基帶中或作爲載波的一部分。此類傳播信號可以有多種形式，包括電磁形式，光形式或類似物或任何合適的組合形式。電腦可讀取信號媒體可以是除電腦可讀取儲存媒體之外的任何電腦可讀取媒體，該媒體可以通過連接至一個指令執行系統，裝置或裝置以實現通訊，傳播或傳輸供使用的程式。位於電腦可讀取信號媒體上的程式代碼可以通過任何合適的媒體進行傳播，包括無線電、纜線、光纖纜線、RF或類似物，或任何上述媒體的組合。
本申請各部分操作所需的電腦程式編碼可以用任意一種或以上程式語言編寫，包括面向主體程式設計語言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB. NET、Python或類似物，常規程式化程式設計語言如C語言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，動態程式設計語言如Python、Ruby和Groovy，或其他程式設計語言或類似物。該程式代碼可以完全在使用者電腦上運行、或作爲獨立的軟體包在使用者電腦上運行、或部分在使用者電腦上運行部分在遠程電腦運行、或完全在遠程電腦或伺服器上運行。在後種情况下，遠程電腦可以通過任何網路形式與使用者電腦連接，比如區域網路（LAN）或廣域網路（WAN），或連接至外部電腦（例如通過網際網路），或在雲端計算環境中，或作爲服務使用如軟體即服務（SaaS）。
此外，除非申請專利範圍中明確說明，本申請所述處理元素和序列的順序、數字字母的使用、或其他名稱的使用，並非用於限定本申請流程和方法的順序。儘管上述揭露中通過各種示例討論了一些目前認爲有用的申請實施例，但應當理解的是，該類細節僅起到說明的目的，附加的申請專利範圍並不僅限於揭露的實施例，相反，申請專利範圍旨在覆蓋所有符合本申請實施例實質和範圍的修改和均等配置。例如，雖然以上所描述的系統組件可以通過硬體裝置實現，但是也可以只通過軟體的解决方案得以實現，如在現有的伺服器或行動裝置上所安裝的方案。
同理，應當注意的是，爲了簡化本申請揭露的表述，從而幫助對一個或多個申請實施例的理解，前文對本申請實施例的描述中，有時會將多種特徵歸並至一個實施例、圖式或對其的描述中。然而，此揭露方法不應被解釋爲反映本申請所需的特徵需要比每個申請專利範圍中明確記載的更多特徵的意圖。相反，申請的標的應具備比上述單一實施例更少的特徵。
在某些實施例中，用於描述和要求本申請的某些實施例的表示數量，性質或類似物的數字應理解爲在某些情况下通過術語「約」、「近似」或「基本上」。除非另外說明，「大約」、「近似」或「大體上」表明所述數字允許有±20%的變化。相應地，在一些實施例中，說明書和申請專利範圍中使用的數值參數均爲近似值，該近似值根據個別實施例所需特點可以發生改變。在一些實施例中，數值參數應考慮規定的有效位數並採用一般位數保留的方法。儘管本申請一些實施例中用於確認其範圍廣度的數值域和參數爲近似值，在具體實施例中，此類數值的設定在可行範圍內盡可能精確。
本文中提及的所有專利、專利申請案、專利申請案的公開本和其他材料(如論文、書籍、說明書、出版物、記錄、事物及/或類似的東西)均在此通過引用的方式全部並入本文以達到所有目的，與上述文件相關的任何申請文件記錄、與本文件不一致或衝突的任何上述文件或對遲早與本文件相關的申請專利範圍的廣泛範疇有限定作用的任何上述文件除外。舉例來說，如果任何並入材料相關的與本文件相關的描述、定義及/或術語使用之間有任何不一致或衝突，那麽本文件中的描述、定義及/或術語使用應當優先。
最後，應當理解的是，本申請中所述實施例僅用以說明本申請實施例的原則。其他的變形也可能屬於本申請的範圍。因此，作爲示例而非限制，本申請實施例的替代配置可視爲與本申請的教示一致。相應地，本申請的實施例不僅限於本申請明確介紹和描述的實施例。
110‧‧‧障礙物
120‧‧‧路徑
121‧‧‧道路
130‧‧‧運輸工具
140‧‧‧感測系統
142、144、146‧‧‧感測器
150‧‧‧控制單元
220‧‧‧儲存器
230‧‧‧網路
230-1‧‧‧網際網路交換點
240‧‧‧閘道模組
250‧‧‧控制器區域網路（CAN）
260‧‧‧引擎管理系統（EMS）
265‧‧‧油門系統
270‧‧‧電子穩定控制（ESC）
275‧‧‧剎車系統
280‧‧‧電力系統（EPS）
290‧‧‧轉向柱模組（SCM）
295‧‧‧轉向系統
300‧‧‧計算裝置
310‧‧‧匯流排
320‧‧‧處理器
330‧‧‧唯讀記憶體（ROM）
340‧‧‧隨機存取記憶體（RAM）
350‧‧‧通訊埠
360‧‧‧I/O
370‧‧‧磁碟
410‧‧‧相機
420‧‧‧光達檢測器
430‧‧‧雷達檢測器
440‧‧‧處理單元
500‧‧‧流程
510‧‧‧步驟
520‧‧‧步驟
530‧‧‧步驟
540‧‧‧步驟
550‧‧‧步驟
610‧‧‧運輸工具
620‧‧‧物體
700‧‧‧流程
710‧‧‧步驟
720‧‧‧步驟
730‧‧‧步驟
800‧‧‧流程
810‧‧‧步驟
820‧‧‧步驟
830‧‧‧步驟
840‧‧‧步驟
1010-1090‧‧‧圖像
1100‧‧‧流程
1110‧‧‧步驟
1120‧‧‧步驟
1130‧‧‧步驟
1140‧‧‧步驟
1300‧‧‧流程
1310‧‧‧步驟
1320‧‧‧步驟
1330‧‧‧步驟
1340‧‧‧步驟
1360‧‧‧步驟
1500‧‧‧流程
1510‧‧‧步驟
1520‧‧‧步驟
1530‧‧‧步驟
1540‧‧‧步驟
1550‧‧‧步驟
1560‧‧‧步驟
1610‧‧‧相機圖像
1620‧‧‧光達圖像
1630‧‧‧雷達圖像
1700‧‧‧流程
1710‧‧‧步驟
1720‧‧‧步驟
1730‧‧‧步驟
本申請將通過示例性實施例進行進一步描述。這些示例性實施例將通過圖式進行詳細說明。圖式未按比例繪製。這些實施例是非限制性的示例性實施例，在這些實施例中，各圖中相同的元件符號表示相似的結構，其中：
圖1係根據本申請的一些實施例所示的自動駕駛運輸工具的示例性場景的示意圖；
圖2係根據本申請的一些實施例所示的具有自動駕駛能力的示例性運輸工具的方塊圖；
圖3係示出計算裝置300的示例性硬體組件的示意圖；
圖4係根據本申請的一些實施例所示的示例性感測模組的方塊圖；
圖5係根據本申請的一些實施例所示的用於産生標記有物體三維形狀的光達點雲圖像的示例性流程的流程圖；
圖6A-6C係根據本申請的一些實施例所示的産生和標記光達點雲圖像中物體的三維形狀的一系列示意圖；
圖7係根據本申請的一些實施例所示的用於産生標記的相機圖像的示例性流程的流程圖；
圖8係根據本申請的一些實施例所示的用於産生相機圖像中一個或多個物體的三維形狀的二維表示的示例性流程的流程圖；
圖9A和9B係根據本申請的一些實施例所示的汽車的相同二維相機圖像的示意圖；
圖10係根據本申請的一些實施例所示的YOLO網路的示意圖；
圖11係根據本申請的一些實施例所示的用於識別光達點雲圖像中的物體的示例性流程的流程圖；
圖12A-12E係根據本申請的一些實施例所示的識別光達點雲圖像中的物體的一系列示意圖；
圖13係根據本申請的一些實施例所示的用於産生光達點雲圖像中物體的三維形狀的示例性流程的流程圖；
圖14A-14D係根據本申請的一些實施例所示的産生光達點雲圖像中物體的三維形狀的一系列示意圖；
圖15係根據本申請的一些實施例所示的用於産生補償圖像的示例性流程的流程圖；
圖16係根據本申請的一些實施例所示的在相機、光達裝置及/或雷達裝置之間進行同步的示意圖；
圖17係根據本申請的一些實施例所示的用於基於現有光達點雲圖像産生光達點雲圖像或視頻的示例性流程的流程圖；以及
圖18係根據本申請的一些實施例所示的驗證和內插圖像訊框的示意圖。

Claims (23)

  1. 一種用於駕駛輔助的系統，包括控制單元，包括： 一個或多個儲存媒體，包括用於識別和定位運輸工具周圍的一個或多個物體的一組指令；以及 一個或多個微晶片，以電子方式連接到所述一個或多個儲存媒體，其中在所述系統的操作期間，所述一個或多個微晶片執行該組指令，用以： 獲得檢測基站周圍的第一光達（LiDAR）點雲圖像； 識別所述第一光達點雲圖像中的一個或多個物體； 確定所述第一光達點雲圖像中所述一個或多個物體的一個或多個位置； 爲所述一個或多個物體中的每一個物體産生三維形狀；以及 基於所述一個或多個物體的所述位置和所述三維形狀而標記所述第一光達點雲圖像中的所述一個或多個物體來産生第二光達點雲圖像。
  2. 如申請專利範圍第1項之系統，還包括： 與所述控制單元通訊的至少一個光達裝置，用於將所述第一光達點雲圖像發送到所述控制單元； 與所述控制單元通訊的至少一個相機，用於將相機圖像發送到所述控制單元；以及 與所述控制單元通訊的至少一個雷達裝置，用於將雷達圖像發送到所述控制單元。
  3. 如申請專利範圍第1項之系統，其中，所述基站是一種運輸工具；且所述系統還包括： 安裝在所述運輸工具的方向盤、引擎蓋或反光鏡上的至少一個光達裝置，其中所述至少一個光達裝置的安裝包括黏合劑黏合、螺栓和螺母連接、卡口配件或真空固定中的至少一種。
  4. 如申請專利範圍第1項之系統，其中，所述一個或多個微晶片進一步用以： 獲得包括所述一個或多個物體中的至少一個物體的第一相機圖像； 識別所述第一相機圖像中的所述一個或多個物體的至少一個目標物體和所述第一相機圖像中的所述至少一個目標物體的至少一個目標位置；以及 基於所述第一相機圖像中的所述至少一個目標位置和所述第二光達點雲圖像中的所述至少一個目標物體的所述三維形狀而標記所述第一相機圖像中的所述至少一個目標物體來産生第二相機圖像。
  5. 如申請專利範圍第4項之系統，其中，標記所述第一相機圖像中的所述至少一個目標物體時，所述一個或多個微晶片進一步用以： 獲得所述第一相機圖像中的所述至少一個目標物體的二維形狀； 關聯所述第二光達點雲圖像與所述第一相機圖像； 基於所述至少一個目標物體的所述二維形狀和所述第二光達點雲圖像與所述第一相機圖像之間的關聯來産生所述第一相機圖像中的所述至少一個目標物體的三維形狀； 基於所述第一相機圖像中的識別的位置和所述第一相機圖像中的所述至少一個目標物體的所述三維形狀而標記所述第一相機圖像中的所述至少一個目標物體來産生第二相機圖像。
  6. 如申請專利範圍第4項之系統，其中，爲了識別所述第一相機圖像中的所述至少一個目標物體和所述第一相機圖像中的所述至少一個目標物體的所述位置，所述一個或多個微晶片操作YOLO（you only look once）網路或小型YOLO（tiny you look only once，tiny-YOLO）網路來識別所述第一相機圖像中的所述至少一個目標物體和所述第一相機圖像中的所述至少一個目標物體的所述位置。
  7. 如申請專利範圍第1項之系統，其中，爲了識別所述第一光達點雲圖像中的所述一個或多個物體，所述一個或多個微晶片進一步用以： 獲得所述第一光達點雲圖像中複數個點的座標，其中所述複數個點包括不感興趣的點和剩餘點； 根據所述座標從所述複數個點中删除所述不感興趣的點； 基於點雲聚類算法聚類所述剩餘點爲一個或多個聚類；以及 選擇所述一個或多個聚類中的至少一個作爲目標聚類，所述目標聚類中的每一個目標聚類對應於一個物體。
  8. 如申請專利範圍第1項之系統，其中，爲了爲所述一個或多個物體中的每一個物體産生三維形狀，所述一個或多個微晶片進一步用以： 確定所述物體的初步三維形狀； 調整所述初步三維形狀的高度、寬度、長度、偏航或方向中的至少一個以産生三維形狀建議； 計算所述三維形狀建議的得分； 確定所述三維形狀建議的所述得分是否滿足預設條件； 回應於確定所述三維形狀建議的所述得分不滿足預設條件，進一步調整所述三維形狀建議；以及 回應於確定所述三維形狀建議或進一步調整的三維形狀建議的所述得分滿足所述預設條件，確定所述三維形狀建議或進一步調整的三維形狀建議爲所述物體的所述三維形狀。
  9. 如申請專利範圍第8項之系統，其中，所述三維形狀建議的所述得分是根據所述三維形狀建議內的所述第一光達點雲圖像中的多個點、所述三維形狀建議外的所述第一光達點雲圖像中的多個點、或點與所述三維形狀之間的距離中的至少一個來計算的。
  10. 如申請專利範圍第1項之系統，其中，所述一個或多個微晶片進一步用以： 獲得所述檢測基站周圍的第一雷達（Radar）圖像； 識別所述第一雷達圖像中的所述一個或多個物體； 確定所述第一雷達圖像中的所述一個或多個物體的一個或多個位置； 爲所述第一雷達圖像中的所述一個或多個物體的每一個物體産生三維形狀； 基於所述第一雷達圖像中的所述一個或多個物體的所述位置和所述三維形狀而標記所述第一雷達圖像中的所述一個或多個物體來産生第二雷達圖像；以及 融合所述第二雷達圖像和所述第二光達點雲圖像以産生補償圖像。
  11. 如申請專利範圍第1項之系統，其中，所述一個或多個微晶片進一步用以： 獲得所述基站周圍兩個不同時間訊框的兩個第一光達點雲圖像； 根據所述兩個第一光達點雲圖像，産生所述兩個不同時間訊框的兩個第二光達點雲圖像；以及 基於所述兩個第二光達點雲圖像，通過內插法産生第三時間訊框的第三光達點雲圖像。
  12. 如申請專利範圍第1項之系統，其中，所述一個或多個微晶片進一步用以： 獲得所述基站周圍複數個不同時間訊框的複數個第一光達點雲圖像； 根據所述複數個第一光達點雲圖像，産生所述複數個不同時間訊框的複數個第二光達點雲圖像；以及 基於所述複數個第二光達點雲圖像産生視頻。
  13. 一種在計算裝置上實施的方法，所述計算裝置具有儲存用於識別和定位運輸工具周圍的一個或多個物體的指令的一個或多個儲存媒體，以及電連接到所述一個或多個儲存媒體的一個或多個微晶片，所述方法包括： 獲得檢測基站周圍的第一光達（LiDAR）點雲圖像； 識別所述第一光達點雲圖像中的一個或多個物體； 確定所述第一光達點雲圖像中所述一個或多個物體的一個或多個位置； 爲所述一個或多個物體中的每一個物體産生三維形狀；以及 基於所述一個或多個物體的所述位置和所述三維形狀而標記所述第一光達點雲圖像中的所述一個或多個物體來産生第二光達點雲圖像。
  14. 如申請專利範圍第13項之方法，還包括： 獲得包括所述一個或多個物體中的至少一個物體的第一相機圖像； 識別所述第一相機圖像中的所述一個或多個物體的至少一個目標物體和所述第一相機圖像中的所述至少一個目標物體的至少一個目標位置；以及 基於所述第一相機圖像中的所述至少一個目標位置和所述第二光達點雲圖像中的所述至少一個目標物體的所述三維形狀而標記所述第一相機圖像中的所述至少一個目標物體來産生第二相機圖像。
  15. 如申請專利範圍第14項之方法，其中，標記所述第一相機圖像中的所述至少一個目標物體進一步包括： 獲得所述第一相機圖像中的所述至少一個目標物體的二維形狀； 關聯所述第二光達點雲圖像與所述第一相機圖像； 基於所述至少一個目標物體的所述二維形狀和所述第二光達點雲圖像與所述第一相機圖像之間的關聯來産生所述第一相機圖像中的所述至少一個目標物體的三維形狀； 基於所述第一相機圖像中的識別的位置和所述第一相機圖像中的所述至少一個目標物體的所述三維形狀而標記所述第一相機圖像中的所述至少一個目標物體來産生第二相機圖像。
  16. 如申請專利範圍第14項之方法，其中，識別所述第一相機圖像中的所述至少一個目標物體和所述第一相機圖像中的所述至少一個目標物體的所述位置進一步包括： 操作YOLO（you only look once）網路或小型YOLO（tiny you look only once，tiny-YOLO）網路來識別所述第一相機圖像中的所述至少一個目標物體和所述第一相機圖像中的所述至少一個目標物體的所述位置。
  17. 如申請專利範圍第13項之方法，其中，識別所述第一光達點雲圖像中的所述一個或多個物體進一步包括： 獲得所述第一光達點雲圖像中複數個點的座標，其中所述複數個點包括不感興趣的點和剩餘點； 根據所述座標從所述複數個點中删除所述不感興趣的點； 基於點雲聚類算法聚類所述剩餘點爲一個或多個聚類；以及 選擇所述一個或多個聚類中的至少一個作爲目標聚類，所述目標聚類中的每一個目標聚類對應於一個物體。
  18. 如申請專利範圍第13項之方法，其中，爲所述一個或多個物體中的每一個物體産生三維形狀還包括： 確定所述物體的初步三維形狀； 調整所述初步三維形狀的高度、寬度、長度、偏航或方向中的至少一個以産生三維形狀建議； 計算所述三維形狀建議的得分； 確定所述三維形狀建議的所述得分是否滿足預設條件； 回應於確定所述三維形狀建議的所述得分不滿足預設條件，進一步調整所述三維形狀建議；以及 回應於確定所述三維形狀建議或進一步調整的三維形狀建議的所述得分滿足所述預設條件，確定所述三維形狀建議或進一步調整的三維形狀建議爲所述物體的所述三維形狀。
  19. 如申請專利範圍第18項之方法，其中，所述三維形狀建議的所述得分是根據所述三維形狀建議內的所述第一光達點雲圖像中的多個點、所述三維形狀建議外的所述第一光達點雲圖像中的多個點或點與所述三維形狀之間的距離中的至少一個來計算的。
  20. 如申請專利範圍第13項之方法，還包括： 獲得所述檢測基站周圍的第一雷達（Radar）圖像； 識別所述第一雷達圖像中的所述一個或多個物體； 確定所述第一雷達圖像中的所述一個或多個物體的一個或多個位置； 爲所述第一雷達圖像中的所述一個或多個物體的每一個物體産生三維形狀； 基於所述第一雷達圖像中的所述一個或多個物體的所述位置和所述三維形狀而標記所述第一雷達圖像中的所述一個或多個物體來産生第二雷達圖像；以及 融合所述第二雷達圖像和所述第二光達點雲圖像以産生補償圖像。
  21. 如申請專利範圍第13項之方法，還包括： 獲得所述基站周圍兩個不同時間訊框的兩個第一光達點雲圖像； 根據所述兩個第一光達點雲圖像，産生所述兩個不同時間訊框的兩個第二光達點雲圖像；以及 基於所述兩個第二光達點雲圖像，通過內插法産生第三時間訊框的第三光達點雲圖像。
  22. 如申請專利範圍第13項之方法，還包括： 獲得所述基站周圍複數個不同時間訊框的複數個第一光達點雲圖像； 根據所述複數個第一光達點雲圖像，産生所述複數個不同時間訊框的複數個第二光達點雲圖像；以及 基於所述複數個第二光達點雲圖像産生視頻。
  23. 一種非暫時性電腦可讀取媒體，包括用於識別和定位運輸工具周圍的一個或多個物體的至少一組指令，其中，當由電子終端的微晶片執行時，所述至少一組指令指示所述微晶片執行： 獲得檢測基站周圍的第一光達（LiDAR）點雲圖像； 識別所述第一光達點雲圖像中的一個或多個物體； 確定所述第一光達點雲圖像中所述一個或多個物體的一個或多個位置； 爲所述一個或多個物體中的每一個物體産生三維形狀；以及 基於所述一個或多個物體的所述位置和所述三維形狀而標記所述第一光達點雲圖像中的所述一個或多個物體來産生第二光達點雲圖像。
TW107144499A 2017-12-11 2018-12-11 用於識別和定位運輸工具周圍的物體的系統和方法 TW201937399A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/CN2017/115491 2017-12-11
PCT/CN2017/115491 WO2019113749A1 (en) 2017-12-11 2017-12-11 Systems and methods for identifying and positioning objects around a vehicle

Publications (1)

Publication Number Publication Date
TW201937399A true TW201937399A (zh) 2019-09-16

Family

ID=66697075

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144499A TW201937399A (zh) 2017-12-11 2018-12-11 用於識別和定位運輸工具周圍的物體的系統和方法

Country Status (7)

Country Link
US (1) US20190180467A1 (zh)
EP (1) EP3523753A4 (zh)
JP (1) JP2020507137A (zh)
CN (1) CN110168559A (zh)
CA (1) CA3028659C (zh)
TW (1) TW201937399A (zh)
WO (1) WO2019113749A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726630B (zh) * 2020-02-25 2021-05-01 宏碁股份有限公司 地圖建構系統以及地圖建構方法
CN113433566A (zh) * 2020-03-04 2021-09-24 宏碁股份有限公司 地图建构系统以及地图建构方法
TWI828176B (zh) * 2021-06-02 2024-01-01 大陸商北京石頭世紀科技股份有限公司 線鐳射模組及自移動設備

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10733338B2 (en) * 2017-06-29 2020-08-04 The Boeing Company Methods and apparatus to generate a synthetic point cloud of a spacecraft
US11307309B2 (en) * 2017-12-14 2022-04-19 COM-IoT Technologies Mobile LiDAR platforms for vehicle tracking
US20190204845A1 (en) * 2017-12-29 2019-07-04 Waymo Llc Sensor integration for large autonomous vehicles
US11017548B2 (en) * 2018-06-21 2021-05-25 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using range images
CN110757446B (zh) * 2018-07-25 2021-08-27 深圳市优必选科技有限公司 机器人回充登录的方法、装置及存储装置
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
CN109271893B (zh) * 2018-08-30 2021-01-01 百度在线网络技术（北京）有限公司 一种仿真点云数据的生成方法、装置、设备及存储介质
CN109188457B (zh) * 2018-09-07 2021-06-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
US10909424B2 (en) * 2018-10-13 2021-02-02 Applied Research, LLC Method and system for object tracking and recognition using low power compressive sensing camera in real-time applications
US10984540B2 (en) * 2018-10-15 2021-04-20 Tusimple, Inc. Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US10878282B2 (en) * 2018-10-15 2020-12-29 Tusimple, Inc. Segmentation processing of image data for LiDAR-based vehicle tracking system and method
US10878580B2 (en) 2018-10-15 2020-12-29 Tusimple, Inc. Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method
KR102635265B1 (ko) * 2018-12-20 2024-02-13 주식회사 에이치엘클레무브 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
EP3710984A1 (en) * 2019-01-30 2020-09-23 Baidu.com Times Technology (Beijing) Co., Ltd. Map partition system for autonomous vehicles
DE102019202025B4 (de) * 2019-02-15 2020-08-27 Zf Friedrichshafen Ag System und Verfahren zum sicheren Betreiben eines automatisierten Fahrzeugs
EP3933439A4 (en) * 2019-04-03 2022-03-30 Huawei Technologies Co., Ltd. LOCATION METHOD AND LOCATION DEVICE
CN110082775B (zh) * 2019-05-23 2021-11-30 北京主线科技有限公司 基于激光装置的车辆定位方法和系统
US11507789B2 (en) * 2019-05-31 2022-11-22 Lg Electronics Inc. Electronic device for vehicle and method of operating electronic device for vehicle
CN110287032B (zh) * 2019-07-02 2022-09-20 南京理工大学 一种YoloV3-Tiny在多核片上系统的功耗优化调度方法
CN110412564A (zh) * 2019-07-29 2019-11-05 哈尔滨工业大学 一种基于多传感器融合的列车车皮识别与测距方法
CN110550072B (zh) * 2019-08-29 2022-04-29 北京博途智控科技有限公司 一种铁路调车作业识别障碍物的方法、系统、介质及设备
CN110471085B (zh) * 2019-09-04 2023-07-04 深圳市镭神智能系统有限公司 一种轨道检测系统
US11526706B2 (en) * 2019-10-09 2022-12-13 Denso International America, Inc. System and method for classifying an object using a starburst algorithm
CN110706288A (zh) * 2019-10-10 2020-01-17 上海眼控科技股份有限公司 目标检测的方法、装置、设备及可读存储介质
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
US20210141078A1 (en) * 2019-11-11 2021-05-13 Veoneer Us, Inc. Detection system and method for characterizing targets
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
CN111127442B (zh) * 2019-12-26 2023-05-02 内蒙古科技大学 台车轮轴缺陷检测方法和装置
CN111160302B (zh) * 2019-12-31 2024-02-23 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111353481A (zh) * 2019-12-31 2020-06-30 成都理工大学 基于激光点云与视频图像的道路障碍物识别方法
CN111260789B (zh) * 2020-01-07 2024-01-16 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
EP3851870A1 (en) * 2020-01-14 2021-07-21 Aptiv Technologies Limited Method for determining position data and/or motion data of a vehicle
CN111341096B (zh) * 2020-02-06 2020-12-18 长安大学 一种基于gps数据的公交运行状态评估方法
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data
CN111458718B (zh) * 2020-02-29 2023-04-18 阳光学院 一种基于图像处理与无线电技术相融合的空间定位装置
CN111402161B (zh) * 2020-03-13 2023-07-21 北京百度网讯科技有限公司 点云障碍物的去噪方法、装置、设备和存储介质
CN111414911A (zh) * 2020-03-23 2020-07-14 湖南信息学院 基于深度学习的卡号识别方法及系统
KR20210124789A (ko) * 2020-04-07 2021-10-15 현대자동차주식회사 라이다센서 기반의 객체 인식 장치 및 그 방법
CN111308500B (zh) * 2020-04-07 2022-02-11 三一机器人科技有限公司 基于单线激光雷达的障碍物感知方法、装置和计算机终端
US11180162B1 (en) 2020-05-07 2021-11-23 Argo AI, LLC Systems and methods for controlling vehicles using an amodal cuboid based algorithm
CN111553353B (zh) * 2020-05-11 2023-11-07 北京小马慧行科技有限公司 3d点云的处理方法、装置、存储介质与处理器
CN111666855B (zh) * 2020-05-29 2023-06-30 中国科学院地理科学与资源研究所 基于无人机的动物三维参数提取方法、系统及电子设备
CN111695486B (zh) * 2020-06-08 2022-07-01 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
CN111832548B (zh) * 2020-06-29 2022-11-15 西南交通大学 一种列车定位方法
US11628856B2 (en) 2020-06-29 2023-04-18 Argo AI, LLC Systems and methods for estimating cuboids from LiDAR, map and image data
CN111860227B (zh) * 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
CN111914839B (zh) * 2020-07-28 2024-03-19 特微乐行(广州)技术有限公司 基于YOLOv3的同步端到端车牌定位与识别方法
CN111932477B (zh) * 2020-08-07 2023-02-07 武汉中海庭数据技术有限公司 一种基于单线激光雷达点云的噪声去除方法及装置
CN112068155B (zh) * 2020-08-13 2024-04-02 沃行科技(南京)有限公司 一种基于多个多线激光雷达分区障碍物检测方法
US20220067399A1 (en) * 2020-08-25 2022-03-03 Argo AI, LLC Autonomous vehicle system for performing object detections using a logistic cylinder pedestrian model
WO2022049842A1 (ja) * 2020-09-07 2022-03-10 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
CN112560671B (zh) * 2020-12-15 2022-04-12 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112754658B (zh) * 2020-12-31 2023-03-14 华科精准（北京）医疗科技有限公司 一种手术导航系统
CN112935703B (zh) * 2021-03-19 2022-09-27 山东大学 识别动态托盘终端的移动机器人位姿校正方法及系统
CN112926476A (zh) * 2021-03-08 2021-06-08 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质
US20220284707A1 (en) * 2021-03-08 2022-09-08 Beijing Roborock Technology Co., Ltd. Target detection and control method, system, apparatus and storage medium
US20220291681A1 (en) * 2021-03-12 2022-09-15 6 River Systems, Llc Systems and methods for edge and guard detection in autonomous vehicle operation
RU2767831C1 (ru) * 2021-03-26 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и электронные устройства для обнаружения объектов в окружении беспилотного автомобиля
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113051304B (zh) * 2021-04-02 2022-06-24 中国有色金属长沙勘察设计研究院有限公司 一种雷达监测数据与三维点云融合的计算方法
CN113091737A (zh) * 2021-04-07 2021-07-09 阿波罗智联(北京)科技有限公司 一种车路协同定位方法、装置、自动驾驶车辆及路侧设备
CN113221648B (zh) * 2021-04-08 2022-06-03 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
US11557129B2 (en) * 2021-04-27 2023-01-17 Argo AI, LLC Systems and methods for producing amodal cuboids
CN115248428B (zh) * 2021-04-28 2023-12-22 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN113536892B (zh) * 2021-05-13 2023-11-21 泰康保险集团股份有限公司 姿态识别方法、装置、可读存储介质及电子设备
CN113296119B (zh) * 2021-05-24 2023-11-28 江苏盛海智能科技有限公司 一种基于激光雷达和uwb阵列的无人避障驾驶方法与终端
CN113296118B (zh) * 2021-05-24 2023-11-24 江苏盛海智能科技有限公司 一种基于激光雷达与gps的无人驾驶绕障方法与终端
CN113192109B (zh) * 2021-06-01 2022-01-11 北京海天瑞声科技股份有限公司 在连续帧中识别物体运动状态的方法及装置
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
US11978259B2 (en) * 2021-07-09 2024-05-07 Ford Global Technologies, Llc Systems and methods for particle filter tracking
CN113625299B (zh) * 2021-07-26 2023-12-01 北京理工大学 基于三维激光雷达的装车物料高度与偏载检测方法及装置
WO2023055366A1 (en) * 2021-09-30 2023-04-06 Zimeno, Inc. Dba Monarch Tractor Obstruction avoidance
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
CN114513746B (zh) * 2021-12-17 2024-04-26 南京邮电大学 融合三重视觉匹配模型和多基站回归模型的室内定位方法
US20230219578A1 (en) * 2022-01-07 2023-07-13 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud
US20230219595A1 (en) * 2022-01-13 2023-07-13 Motional Ad Llc GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
CN114255359B (zh) * 2022-03-01 2022-06-24 深圳市北海轨道交通技术有限公司 一种基于运动图像识别的智能报站校验方法和系统
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN114494248B (zh) * 2022-04-01 2022-08-05 之江实验室 基于点云和不同视角下的图像的三维目标检测系统及方法
WO2024025850A1 (en) * 2022-07-26 2024-02-01 Becton, Dickinson And Company System and method for vascular access management
CN115035195B (zh) * 2022-08-12 2022-12-09 歌尔股份有限公司 点云坐标提取方法、装置、设备及存储介质
CN116385431B (zh) * 2023-05-29 2023-08-11 中科航迈数控软件(深圳)有限公司 基于红外热成像与点云结合的数控机床设备故障检测方法
CN116913033B (zh) * 2023-05-29 2024-04-05 深圳市兴安消防工程有限公司 一种火灾大数据远程探测与预警系统
CN117470249B (zh) * 2023-12-27 2024-04-02 湖南睿图智能科技有限公司 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10305861A1 (de) * 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
CN102538802B (zh) * 2010-12-30 2016-06-22 上海博泰悦臻电子设备制造有限公司 三维导航显示方法以及相关装置
US8630805B2 (en) * 2011-10-20 2014-01-14 Robert Bosch Gmbh Methods and systems for creating maps with radar-optical imaging fusion
CN103578133B (zh) * 2012-08-03 2016-05-04 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
JP6682833B2 (ja) * 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN106371105A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达车辆目标识别方法、装置和汽车
US10328934B2 (en) * 2017-03-20 2019-06-25 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726630B (zh) * 2020-02-25 2021-05-01 宏碁股份有限公司 地圖建構系統以及地圖建構方法
US11421997B2 (en) 2020-02-25 2022-08-23 Acer Incorporated Map construction system and map construction method
CN113433566A (zh) * 2020-03-04 2021-09-24 宏碁股份有限公司 地图建构系统以及地图建构方法
CN113433566B (zh) * 2020-03-04 2023-07-25 宏碁股份有限公司 地图建构系统以及地图建构方法
TWI828176B (zh) * 2021-06-02 2024-01-01 大陸商北京石頭世紀科技股份有限公司 線鐳射模組及自移動設備
US11966233B2 (en) 2021-06-02 2024-04-23 Beijing Roborock Technology Co., Ltd. Line laser module and autonomous mobile device

Also Published As

Publication number Publication date
CA3028659C (en) 2021-10-12
EP3523753A1 (en) 2019-08-14
US20190180467A1 (en) 2019-06-13
WO2019113749A1 (en) 2019-06-20
EP3523753A4 (en) 2019-10-23
CN110168559A (zh) 2019-08-23
AU2017421870A1 (en) 2019-06-27
JP2020507137A (ja) 2020-03-05
CA3028659A1 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
TW201937399A (zh) 用於識別和定位運輸工具周圍的物體的系統和方法
US20210122364A1 (en) Vehicle collision avoidance apparatus and method
JP6441993B2 (ja) レーザー点クラウドを用いる物体検出のための方法及びシステム
US9607226B2 (en) Methods and systems for object detection using multiple sensors
US8989944B1 (en) Methods and devices for determining movements of an object in an environment
US9207680B1 (en) Estimating multi-vehicle motion characteristics by finding stable reference points
US8473144B1 (en) Controlling vehicle lateral lane positioning
US9201424B1 (en) Camera calibration using structure from motion techniques
US9164511B1 (en) Use of detected objects for image processing
US11079768B2 (en) Use of a reference image to detect a road obstacle
US11945499B2 (en) Method and apparatus for trailer angle measurement and vehicle
US11592524B2 (en) Computation of the angle of incidence of laser beam and its application on reflectivity estimation
CN112512887A (zh) 一种行驶决策选择方法以及装置
AU2017421870B2 (en) Systems and methods for identifying and positioning objects around a vehicle
US20230215273A1 (en) Object recognition device, movable body collision prevention device, and object recognition method
CN115082886A (zh) 目标检测的方法、装置、存储介质、芯片及车辆