TWI691730B - 用於檢測運輸工具的環境資訊之方法和系統 - Google Patents

用於檢測運輸工具的環境資訊之方法和系統 Download PDF

Info

Publication number
TWI691730B
TWI691730B TW107129629A TW107129629A TWI691730B TW I691730 B TWI691730 B TW I691730B TW 107129629 A TW107129629 A TW 107129629A TW 107129629 A TW107129629 A TW 107129629A TW I691730 B TWI691730 B TW I691730B
Authority
TW
Taiwan
Prior art keywords
points
dimensional coordinates
objects
point cloud
dimensional
Prior art date
Application number
TW107129629A
Other languages
English (en)
Other versions
TW201920982A (zh
Inventor
姚為龍
孟澤楠
劉健
張浩
譚深
蔡葉荷
楊政
Original Assignee
大陸商北京航跡科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京航跡科技有限公司 filed Critical 大陸商北京航跡科技有限公司
Publication of TW201920982A publication Critical patent/TW201920982A/zh
Application granted granted Critical
Publication of TWI691730B publication Critical patent/TWI691730B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

一種用於檢測周圍對象的系統，可以從相機接收包括與一個或多個對象相關的複數個圖元的第一圖像，以及從一個或多個雷射雷達接收包括與所述複數個圖元相對應的複數個點的第一點雲。所述系統還可以基於所述第一點雲確定所述複數個點的三維座標和反射強度。所述系統可以基於所述三維座標和所述反射強度通過對所述複數個點進行分類來產生分割結果。所述系統可以進一步將所述複數個點的三維座標轉換為二維座標，以及基於所述二維座標、所述三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。

Description

用於檢測運輸工具的環境資訊之方法和系統
本申請涉及運輸工具，更具體地涉及用於檢測運輸工具的環境資訊的方法和系統。
本申請主張2017年8月25日提交之申請號為PCT/CN2017/099173的PCT申請案的優先權，其全部內容通過引用被包含於此。
隨著微電子技術和機器人技術的推進，無人駕駛技術如今迅速發展。檢測運輸工具的環境資訊是無人駕駛系統的重要技術。在用於檢測環境資訊的現有方法和系統中，難以準確和及時地確定環境資訊，並且存在無人駕駛系統無法檢測到的盲區。因此，期望提供用於準確並且及時地檢測運輸工具的環境資訊的方法和系統。
其他特徵將在接下來的描述中部分闡述。通過對以下描述和相應圖式的檢查或者對實施例的生產或操作的瞭解，本申請的一部分附加特性對於本領域具有通常知識者是明顯的。本申請的特徵可以通過實踐或使用下面討論的詳細示例中闡述的方法、手段和組合的各個態樣來實現和獲得。
根據本申請的一個態樣，一種系統可以包括一個或多個處理器，以及被配置為與所述一個或多個處理器通訊的儲存裝置。所述儲存裝置可以包括一組指令。當所述一個或多個處理器執行該組指令時，所述一個或多個處理器可被指示執行以下操作中的一個或多個操作。所述一個或多個處理器可以從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像。所述一個或多個處理器可以從一個或多個雷射雷達（LiDAR）處接收包括與所述第一圖像的所述複數個圖元對應的複數個點的第一點雲。所述一個或多個處理器可以基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度。所述一個或多個處理器可以基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果。所述一個或多個處理器可以將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標。所述一個或多個處理器可以基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
在一些實施例中，所述一個或多個處理器可以基於所述對象類型確定與所述一個或多個對象有關的環境資訊。
在一些實施例中，與所述一個或多個對象有關的環境資訊可包括所述一個或多個對象的對象類型、所述一個或多個對象中的至少一個對象的運動狀態、所述一個或多個對象中的至少一個對象相對於包括所述一個或多個雷射雷達和所述相機的運輸工具的速度、所述一個或多個對象中的至少一個對象相對於所述運輸工具的加速度、所述一個或多個對象中的至少一個對象的移動方向、或者所述一個或多個對象中的至少一個對象與所述運輸工具之間的距離之中的至少一個。
在一些實施例中，所述第一點雲可包括由第一雷射雷達獲得的第一點雲子集和由第二雷射雷達獲得的第二點雲子集。
在一些實施例中，為了確定所述複數個點的第一三維座標，所述一個或多個處理器可以確定對應於與所述第一雷射雷達相關的第一三維坐標系的所述第一點雲子集的第二三維座標。所述一個或多個處理器可以確定對應於與所述第二雷射雷達相關的第二三維坐標系的所述第二點雲子集的第三三維座標。所述一個或多個處理器可以將所述第三三維座標轉換為與所述第一三維坐標系對應的所述第二點雲子集的第四三維座標。所述一個或多個處理器可以基於所述第一點雲子集的所述第二三維座標和所述第二點雲子集的所述第四三維座標來確定所述第一三維座標。
在一些實施例中，為了將所述複數個點的所述第一三維座標轉換為所述複數個點的所述第一二維座標，所述一個或多個處理器可以獲取轉換矩陣。所述一個或多個處理器可以基於所述轉換矩陣將所述複數個點的所述第一三維座標轉換為所述複數個點的所述第一二維座標。
在一些實施例中，為了獲取所述轉換矩陣，所述一個或多個處理器可以從所述一個或多個雷射雷達中的一個雷射雷達接收包括與目標有關的複數個點的第二點雲。所述一個或多個處理器可以從所述相機處接收包括與所述目標有關的複數個圖元的第二圖像。所述一個或多個處理器可以確定與所述目標相關的所述複數個點的第二三維座標。所述一個或多個處理器可以確定與所述目標有關的所述複數個圖元的第二二維座標。所述一個或多個處理器可以基於所述第二三維座標和所述第二二維座標確定所述轉換矩陣。
在一些實施例中，為了基於所述第二三維座標和所述第二二維座標確定所述轉換矩陣，所述一個或多個處理器可以基於最小二乘法來確定所述轉換矩陣。
在一些實施例中，所述目標可以包括具有一個或多個點的二維圖案，每個點可以是一個圓的中心。
在一些實施例中，為了確定所述一個或多個對象的對象類型，所述一個或多個處理器可以基於Faster-RCNN模型確定所述一個或多個對象的對象類型。
根據本申請的另一態樣，一種方法可包括以下操作中的一個或多個操作。所述一個或多個處理器可以從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像。所述一個或多個處理器可以從一個或多個雷射雷達處接收包括與所述第一圖像的所述複數個圖元對應的複數個點的第一點雲。所述一個或多個處理器可以基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度。所述一個或多個處理器可以基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果。所述一個或多個處理器可以將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標。所述一個或多個處理器可以基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
根據本申請的另一態樣，一種非暫時性電腦可讀取媒體可包括至少一組指令。所述至少一組指令可以由計算裝置的一個或多個處理器執行。所述至少一組指令可以使所述計算裝置執行一方法。所述方法可以包括：從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像；從一個或多個雷射雷達處接收包括與所述第一圖像的所述複數個圖元對應的複數個點的第一點雲；基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度；基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果；將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標；基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
根據本申請的又一態樣，一種系統可以包括：圖像接收模組，被配置為從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像；點接收模組，被配置為從一個或多個雷射雷達處接收包括與所述第一圖像的複數個圖元對應的複數個點的第一點雲；點資訊確定模組，被配置為基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度；分割結果產生模組，被配置為基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果；轉換模組，被配置為將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標；以及類型確定模組，被配置為基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
為了說明與本申請的實施例相關的技術方案，下面提供在實施例的描述中參考的圖式的簡要介紹。顯然，下面描述的圖式僅是本申請的一些示例或實施例。在沒有進一步創造性努力的情況下，本領域具有通常知識者可以根據這些圖式將本申請應用於其他類似場景。除非另有說明或從上下文中顯而易見，否則圖式中相同的元件符號表示相同的結構和操作。
如在本申請和所附申請專利範圍中所使用的，單數形式「一」、「一個」和「該」包括複數指示物，除非內容另有明確說明。將進一步理解，當在本申請中使用時，術語「包含」及/或「包括」指所述步驟和元件的存在，但不排除存在或添加一個或多個其他步驟和元件。
根據本申請的一些實施例，流程圖用於說明由系統執行的操作。應明確理解，上面或下面的操作可以按或可以不按順序實施。相反，操作可以按相反循序執行，或同時執行。此外，可以將一個或多個其他操作添加到流程圖中，或者可以從流程圖中省略一個或多個操作。
本申請的實施例可以應用於機器人領域和不同的運輸情況，包括但不限於陸地運輸情況、海運情況、空運情況、空間運輸情況或類似物或其任意組合。在運輸情況下的運輸工具可以包括馬、馬車、人力車（例如，自行車、三輪車）、電動車（例如，電動自行車、電動三輪車）、汽車（例如，計程車、公共汽車、私家車）、列車、地鐵、船隻、飛機（例如，飛機、直升機、太空梭、火箭、熱氣球）、無人駕駛運輸工具或類似物或其任意組合。應當理解的是，本文揭露的系統和方法的應用場景僅是一些示例或實施例。在沒有進一步創造性努力的情況下，本領域具有通常知識者可以將這些圖式應用於其他應用場景。
圖1係根據本申請的一些實施例所示的示例性環境資訊檢測系統100的示意圖。所述環境資訊檢測系統100可以被配置為檢測運輸工具（例如，無人駕駛運輸工具）周圍的環境的資訊。所述運輸工具周圍的環境資訊（例如，也稱為環境資訊）可以包括距離所述運輸工具一定距離（例如，500米）內的對象的對象類型（例如，人、動物、樹、路障、建築物或運輸工具）、所述對象的運動狀態、所述對象相對於所述運輸工具的速度、所述對象相對於所述運輸工具的加速度、所述對象的移動方向、所述運輸工具與所述對象之間的距離或類似物或其任意組合。所述運動狀態可以包括靜態或移動狀態。處理裝置130可以引導所述運輸工具基於所述環境資訊避開障礙物。例如，當所述處理裝置130基於所述環境資訊確定所述運輸工具與一個對象之間的距離小於距離臨界值時，所述處理裝置130可以發送指令並控制所述運輸工具，例如刹車、減慢所述運輸工具的速度、改變所述運輸工具的移動方向或向後移動以引導所述運輸工具避開所述對象。
環境資訊檢測系統100可以包括一個或多個雷射雷達（例如，雷射雷達112、雷射雷達114或雷射雷達116）、相機120、處理裝置130、網路140和儲存裝置150。
所述一個或多個雷射雷達可以被配置為獲取點雲，所述點雲可以包括與在所述一個或多個雷射雷達的範圍內(例如，距離所述運輸工具一定距離，例如500米)的對象(例如，人、動物、樹、路障、建築物或運輸工具)相關的複數個點。點雲中的點可以包括該點的三維座標和該點的反射強度。該點的反射強度可以指由該點反射的雷射光束的強度。
在一些實施例中，雷射雷達可以包括雷射發射器、掃描和光學元件以及光敏元件。所述雷射發射器可以被配置為發射具有特定波長的雷射光束。例如，所述雷射發射器可以發射波長範圍為600nm至1000nm的雷射光束。
以雷射光束為例，當雷射光束照射在一個對象上的一點時，該點可以反射雷射光束的一部分，並且反射的雷射光束可以由雷射雷達接收。掃描和光學部件可以被配置為記錄雷射光束的發射時間和反射的雷射光束的接收時間，並確定所述發射時間和所述接收時間之間的間隔。掃描和光學部件還可以被配置為確定反射雷射光束和地面之間的角度。雷射雷達可以基於所述發射時間和所述接收時間之間的間隔以及所述反射的雷射光束與地面之間的角度來確定該點的三維座標。所述雷射雷達還可以基於所述發射時間和所述接收時間之間的間隔以及光速（≈3×108 m/s）來確定所述雷射雷達與所述點之間的距離。所述雷射雷達可以基於所述雷射雷達與所述點之間的距離以及所述反射的雷射光束與地面之間的角度來確定該點的三維座標。在一些實施例中，所述雷射雷達可以確定與所述雷射雷達對應的三維坐標系下的點的三維座標。
在從發射到接收的過程中，雷射光束的強度可能會減弱，例如，雷射光束的一部分可以被所述對象上的所述點吸收。光敏元件可以被配置為檢測反射的雷射光束的強度。反射雷射光束的強度可能受到對象材料的影響。所述反射光束的強度可用於粗略地確定哪些點屬於同一對象。
在一些實施例中，雷射雷達可以發射複數個雷射光束並以特定角速度旋轉，以使複數個雷射光束照射在距離所述運輸工具一定距離（例如，500米）內的對象上，使得所述雷射雷達可以獲得包括與所述對象有關的複數個點的點雲。例如，當雷射雷達完成360°的旋轉時，雷射雷達可以獲得點雲。
在一些實施例中，因為所述運輸工具周圍的對象可能不斷地改變，所以雷射雷達可以不斷地發射雷射光束並且不斷地獲得與所述運輸工具周圍的對象相關的點雲。在一些實施例中，所述雷射雷達可以將所述點雲發送到儲存裝置150及/或處理裝置130。
在一些實施例中，一個或多個雷射雷達可以安裝在所述運輸工具的任何位置。例如，所述運輸工具可配置有一個所述雷射雷達。所述雷射雷達（例如，雷射雷達112）可以組裝在所述運輸工具的頂部。又例如，所述運輸工具可以配置有三個所述雷射雷達（例如，雷射雷達112、雷射雷達114和雷射雷達116）。三個所述雷射雷達中的一個（例如，雷射雷達112）可以組裝在所述運輸工具的頂部，而另外兩個雷射雷達（例如，雷射雷達114和雷射雷達116）可以分別組裝在所述運輸工具的兩側。可以基於沒有盲區的原則來確定所述雷射雷達的數量和位置。在一些實施例中，當多於一個的所述雷射雷達安裝在所述運輸工具上時，一個以上的所述雷射雷達可以同時獲得點。一個點雲可以包括由一個以上的雷射雷達獲得的點。
相機120可以被配置為獲得與在所述相機120的範圍內（例如，距離所述運輸工具一定距離，例如，500米）的對象（例如，人、動物、樹、路障、建築物或運輸工具）相關的一個或多個圖像。如在本申請中所使用的，圖像可以是靜態圖像、視頻、視頻串流或從視頻中獲得的視頻訊框。在一些實施例中，所述相機120可以是數位相機、網路相機、智慧行動電話、平板電腦、筆記型電腦、配備有網路相機的視頻遊戲控制台、具有複數個鏡頭的相機等。在一些實施例中，所述相機120可以被配置為捕獲二維（2D）圖像及/或三維（3D）圖像。例如，所述相機120可以是靜態相機、平移-傾斜-變焦相機、移動相機、立體相機、結構光相機、飛行時間相機等。在一些實施例中，所述相機120也可以是配備有飛行時間裝置、Kinect感測器、3D雷射掃描器、照相掃描器等的相機。在一些實施例中，所述相機120可以旋轉以捕獲包括運輸工具周圍對象的圖像。例如，當所述相機120完成360°的旋轉時，所述相機120可以獲得圖像。
在一些實施例中，因為所述運輸工具周圍的對象可能不斷地改變，所以相機120可以不斷地捕獲與運輸工具周圍的對象有關的圖像。在一些實施例中，一個或多個雷射雷達獲得一個點雲和相機120捕獲一張圖像可以是同時的，以使得所述點雲中的點可以對應於所述圖像中的圖元。在一些實施例中，所述相機120可以將圖像發送到儲存裝置150及/或處理裝置130。
在一些實施例中，相機120可以組裝在所述運輸工具的任何部分中。例如，所述相機120可以安裝在所述運輸工具的前部，如圖1所示。
處理裝置130可以處理從一個或多個雷射雷達（例如，雷射雷達112、雷射雷達114或雷射雷達116）、相機120或儲存裝置150獲得的資料及/或資訊。例如，所述處理裝置130可以處理從所述雷射雷達112獲得的點雲。又例如，所述處理裝置130可以處理從所述相機120獲得的圖像。在一些實施例中，所述處理裝置130可以是單個伺服器或伺服器組。所述伺服器組可以是集中式的或分散式的。在一些實施例中，所述處理裝置130可以是本地的或遠端的。例如，所述處理裝置130可以經由網路存取儲存在一個或多個所述雷射雷達（例如，雷射雷達112、雷射雷達114或雷射雷達116）、所述相機120或所述儲存裝置150中的資訊及/或資料。又例如，所述處理裝置130可以直接連接到一個或多個所述雷射雷達（例如，雷射雷達112、雷射雷達114或雷射雷達116），所述相機120或所述儲存裝置150以存取儲存的資訊及/或資料。在一些實施例中，所述處理裝置130可以在雲端平臺上實現。僅作為示例，雲端平臺可以包括私有雲、公共雲、混合雲、社區雲、分散式雲、內部雲、多層雲或類似物或其任意組合。在一些實施例中，所述處理裝置130可以由具有如圖2所示的一個或多個組件的計算裝置200來實現。
網路140可以包括可以促進環境資訊檢測系統100的資訊及/或資料交換的任何合適的網路。在一些實施例中，所述環境資訊檢測系統100的一個或多個元件(例如，一個或多個雷射雷達、相機120、處理裝置130或儲存裝置150)可以經由網路140與所述環境資訊檢測系統100的一個或多個其他元件遞送資訊及/或資料。例如，處理裝置130可以經由網路140從所述相機120獲得圖像。又例如，處理裝置130可以經由網路140從雷射雷達112獲得點雲。網路140可以是及/或包括公共網路（例如，網際網路）、私人網路（例如，區域網路（LAN）、廣域網路（WAN）等）、有線網路（例如，乙太網網路）、無線網路（例如，802.11網路、Wi-Fi網路等）、蜂窩網路（例如，長期演進（LTE）網路）、框架轉送網路、虛擬私人網路（「VPN」）、衛星網路、電話網路、路由器、集線器、交換機、伺服器電腦及/或其任何組合。僅作為示例，網路140可以包括有線電視網、有線網路、光纖網路、電信網路、內聯網、無線區域網路（WLAN）、都會區網路（MAN）、公共電話交換網路（PSTN）、藍牙網路、紫蜂（ZigBee）網路、近場通訊（NFC）網路或類似物或其任意組合。在一些實施例中，網路140可以包括一個或多個網路接取點。例如，網路140可以包括有線及/或無線網路接取點，例如基站及/或網際網路交換點，所述環境資訊檢測系統100的一個或多個元件可以通過它們連接到所述網路140以交換資料及/或資訊。
儲存裝置150可以儲存資料、指令及/或任何其他資訊。在一些實施例中，儲存裝置150可以儲存從一個或多個雷射雷達、相機120或處理裝置130獲得的資料。在一些實施例中，儲存裝置150可以儲存所述處理裝置130執行或使用的資料及/或指令，以執行本申請中描述的示例性方法。在一些實施例中，儲存裝置150可以包括大容量儲存器、可移式儲存器、揮發性讀寫記憶體、唯讀記憶體（ROM）或類似物或其任意組合。示例性大容量儲存器可以包括磁碟、光碟、固態硬碟等。示例性可移式儲存器可以包括快閃記憶體驅動器、軟碟、光碟、記憶卡、壓縮磁碟、磁帶，所述示例性揮發性讀寫記憶體可以包括隨機存取記憶體（RAM）。示例性RAM可以包括動態RAM（DRAM）、雙倍資料速率同步動態RAM（DDR SDRAM）、靜態RAM（SRAM）、閘流體RAM（T-RAM）和零電容器RAM（Z-RAM）。示例性唯讀記憶體（ROM）可以包括遮罩式ROM（MROM）、可程式ROM（PROM）、可擦除可程式ROM（EPROM）、電子可擦除可程式ROM（EEPROM）、光碟ROM（CD-ROM）、以及數位通用磁碟ROM等。在一些實施例中，儲存裝置150可以在雲端平臺上實現。僅作為示例，雲端平臺可以包括私有雲、公共雲、混合雲、社區雲、分散式雲、內部雲、多層雲或類似物或其任意組合。
在一些實施例中，儲存裝置150可以連接到網路140以與環境資訊檢測系統100中的一個或多個其他元件（例如，處理裝置130、一個或多個雷射雷達或相機120）通訊。環境資訊檢測系統100的一個或多個元件可以經由網路140存取儲存在儲存裝置150中的資料或指令。在一些實施例中，儲存裝置150可以直接連接到環境資訊檢測系統100中的一個或多個其他元件或與之通訊（例如，處理裝置130、一個或多個雷射雷達或相機120）。在一些實施例中，儲存裝置150可以是處理裝置130的一部分。
該描述旨在是說明性的，而不是限制本申請的範圍。許多替代、修改和變化對於本領域具有通常知識者來說是顯而易見的。可以以各種方式組合本文描述的示例性實施例的特徵、結構、方法和其他特徵，以獲得另外的及/或替代的示例性實施例。例如，儲存裝置150可以是包括雲端計算平臺的資料儲存，諸如公共雲、私有雲、社區雲和混合雲等。然而，那些變化和修改不脫離本申請的範圍。
圖2係根據本申請的一些實施例所示的可以在其上實現處理裝置130的示例性計算裝置200的示例性硬體及/或軟體組件的示意圖。如圖2所示，計算裝置200可以包括處理器210、儲存器220、輸入/輸出(I/O)230和通訊埠240。
處理器210（例如，邏輯電路）可以執行電腦指令（例如，程式碼）並根據本文描述的技術執行處理裝置130的功能。例如，處理器210可以包括其中的介面電路210-a和處理電路210-b。所述介面電路可以被配置為從匯流排（圖2中未示出）接收電子信號，其中電子信號對用於處理電路的結構化資料及/或指令進行編碼。所述處理電路可以進行邏輯計算，然後確定編碼為電子信號的結論、結果及/或指令。然後，所述介面電路可以經由匯流排從處理電路發出電子信號。
電腦指令可以包括例如執行本文描述的特定功能的函式、程式、對象、元件、資料結構、流程、模組和功能。例如，處理器210可以處理從一個或多個雷射雷達、儲存裝置150及/或環境資訊檢測系統100的任何其他元件獲得的點雲。在一些實施例中，所述處理器210可以包括一個或多個硬體處理器，例如微控制器、微處理器、精簡指令集電腦（RISC）、特定應用積體電路（ASIC）、特定應用指令集處理器（ASIP）、中央處理單元（CPU）、圖形處理單元（GPU）、物理處理單元（PPU）、微控制器單元、數位訊號處理器（DSP）、現場可程式閘陣列（FPGA）、高級RISC機器（ARM）、可程式邏輯裝置（PLD）、能夠執行一個或多個功能的任何電路或處理器或類似物或其任意組合。
僅僅為了說明，在計算裝置200中僅描述了一個處理器。然而，應該注意，本申請中的所述計算裝置200還可以包括複數個處理器。因此，由本申請中描述的由一個處理器執行的操作及/或方法步驟也可以由複數個處理器聯合或單獨執行。例如，如果在本申請中計算裝置200的處理器執行步驟A和步驟B，則應當理解，步驟A和步驟B也可以由在計算裝置200中的兩個或多個不同處理器聯合或單獨執行（例如，第一處理器執行步驟A，第二處理器執行步驟B，或者第一和第二處理器共同執行步驟A和B）。
儲存器220可以儲存從一個或多個雷射雷達、相機120、儲存裝置150及/或環境資訊檢測系統100的任何其他元件獲得的資料/資訊。在一些實施例中，所述儲存器220可以包括大容量儲存器、可移式儲存器、揮發性讀寫記憶體、唯讀記憶體（ROM）或類似物或其任意組合。例如，大容量儲存器可以包括磁碟、光碟、固態硬碟等。可移式儲存器可以包括快閃記憶體驅動器、軟碟、光碟、記憶卡、壓縮磁碟、磁帶。揮發性讀寫記憶體可以包括隨機存取記憶體（RAM）。隨機存取記憶體RAM可以包括動態RAM（DRAM）、雙倍資料速率同步動態RAM（DDR SDRAM）、靜態RAM（SRAM）、閘流體RAM（T-RAM）和零電容器RAM（Z-RAM）。唯讀記憶體（ROM）可以包括遮罩式ROM（MROM）、可程式ROM（PROM）、可擦除可程式ROM（EPROM）、電子可擦除可程式ROM（EEPROM）、光碟ROM（CD-ROM）、以及數位通用磁碟ROM等。在一些實施例中，儲存器220可以儲存一個或多個程式及/或指令以執行本申請中描述的示例性方法。例如，儲存器220可以儲存用於處理裝置130的程式，用於確定運輸工具的環境資訊。
I/O 230可以輸入及/或輸出信號、資料、資訊等。在一些實施例中，I/O 230可以實現使用者與處理裝置130的互動。在一些實施例中，I/O 230可以包括輸入裝置和輸出裝置。輸入裝置的示例可以包括鍵盤、滑鼠、觸控式螢幕、麥克風或類似物或其組合。輸出裝置的示例可以包括顯示裝置、揚聲器、列印機、投影儀或類似物或其組合。顯示裝置的示例可包括液晶顯示器（LCD）、基於發光二極體（LED）的顯示器、平板顯示器、曲面螢幕、電視裝置、陰極射線管（CRT）、觸控式螢幕或類似物或其組合。
通訊埠240可以連接到網路（例如，網路140）以促進資料通訊。所述通訊埠240可以在處理裝置130與一個或多個雷射雷達、相機120或儲存裝置150之間建立連接。該連接可以是有線連接、無線連接、可以實現資料傳輸及/或接收的任何其他通訊連接，及/或這些連接的任何組合。所述有線連接可以包括例如纜線、光纜、電話線或類似物或其任意組合。所述無線連接可以包括例如藍牙鏈路、Wi-Fi鏈路、WiMax鏈路、WLAN鏈路、紫蜂鏈路、移動網路鏈路（例如，3G、4G、5G等），或類似物或其組合。在一些實施例中，通訊埠240可以是及/或包括標準化通訊埠，例如RS232、RS485等。
本領域具有通常知識者將理解，當環境資訊檢測系統100的組件執行時，該組件可以通過電信號及/或電磁信號執行。例如，當處理裝置130處理諸如做出確定或識別資訊的任務時，處理裝置130可以在其處理器中操作邏輯電路以處理這樣的任務。當一個或多個雷射雷達及/或相機120將資料（例如，點雲及/或圖像）發送到所述處理裝置130時，所述一個或多個雷射雷達及/或所述相機120可以產生編碼資料。然後，所述一個或多個雷射雷達及/或所述相機120可以將電信號發送到所述處理裝置130的輸入埠。如果所述一個或多個雷射雷達及/或所述相機120經由有線網路與所述處理裝置130通訊，則輸入埠可以實體地連接到纜線。如果所述一個或多個雷射雷達及/或所述相機120經由無線網路與所述處理裝置130通訊，則所述處理裝置130的輸入埠可以是一個或多個天線，其可以將電信號轉換為電磁信號。在諸如所述一個或多個雷射雷達、所述相機120或所述處理裝置130的電子裝置內，當其處理器處理指示、發出指令及/或執行動作時，指令及/或動作是通過電信號進行。例如，當處理器從儲存媒體(例如，儲存裝置150)檢索或保存資料時，它可以向所述儲存媒體的讀/寫裝置發送電信號，所述讀/寫裝置可以在所述儲存媒體中讀取或寫入結構化資料。所述結構化資料可以經由電子裝置的匯流排以電信號的形式發送到處理器。這裡，所述電信號可以指一個電信號、一系列電信號及/或複數個離散電信號。
圖3係根據本申請的一些實施例所示的示例性處理裝置130的方塊圖。所述處理裝置130可以包括圖像接收模組310、點接收模組320、點資訊確定模組330、分割結果產生模組340、轉換模組350、類型確定模組360和環境確定模組370。
圖像接收模組310可以被配置為從相機120接收圖像。所述圖像可以包括與在相機120的範圍內（例如，距離運輸工具一定距離，例如，500米）的一個或多個對象相關的複數個圖元。在一些實施例中，因為所述運輸工具周圍的對象可能不斷地改變，所述相機120可以不斷地捕獲與所述運輸工具周圍的對象有關的圖像並且即時地將圖像發送到圖像接收模組310。
點接收模組320可以被配置為從一個或多個雷射雷達接收點雲。點雲可以包括與所述點雲同時捕獲的圖像的圖元對應的複數個點。在一些實施例中，當兩個或更多個雷射雷達安裝在運輸工具上時，點雲可以包括由兩個或更多個雷射雷達獲得的點。例如，雷射雷達112、雷射雷達114和雷射雷達116可以安裝在運輸工具上。點雲可以包括由雷射雷達112、雷射雷達114和雷射雷達116獲得的點。
在一些實施例中，因為運輸工具周圍的對象可能不斷地改變，所以一個或多個雷射雷達可以不斷地獲得與運輸工具周圍的對象相關的點雲並且即時地將點雲發送到點接收模組320。
點資訊確定模組330可以被配置為基於點雲確定複數個點的三維座標和複數個點的反射強度。由雷射雷達獲得的點可以包括點的反射強度、以及在對應於雷射雷達的三維坐標系下確定的點的三維座標。在一些實施例中，如果點雲包括由一個雷射雷達獲得的點，則點資訊確定模組330可以基於複數個點直接確定所述三維座標。在一些實施例中，不同的雷射雷達可以對應於不同的三維坐標系。如果所述點雲包括由多於一個雷射雷達獲得的點，則由不同雷射雷達獲得的點的三維座標可以對應於不同的三維坐標系。點資訊確定模組330可將與一個雷射雷達對應的三維坐標系統確定為標準三維坐標系，並將對應於其他三維坐標系的三維座標轉換為該標準坐標系下的三維座標（例如，如下面結合圖5詳細描述的內容）。
分割結果產生模組340可以被配置為通過基於複數個點的三維座標和複數個點的反射強度對複數個點進行分類來產生分割結果。例如，分割結果產生模組340可以將三維座標近似類似的點分為同一組。又例如，分割結果產生模組340可以將反射強度近似類似的點分為同一組。可以基於分割結果將點雲中的點粗略地分類為若干組。
分割結果產生模組340可以根據對點進行分類的演算法來產生分割結果。例如，該演算法可以是聚類演算法。聚類演算法可以包括分區方法、分層方法、基於密度的方法、基於網格的方法、基於模型的方法或類似物或其任意組合。
轉換模組350可以被配置為將複數個點的三維座標轉換為複數個點的二維座標。轉換模組350可以使用轉換矩陣來確定二維座標（例如，如下面結合圖7和8詳細描述的內容）。
類型確定模組360可以被配置為基於複數個點的二維座標、複數個點的三維座標、分割結果和圖像來確定圖像中的一個或多個對象的對象類型。類型確定模組360可以通過基於複數個點的分割結果和所述二維座標確定一個或多個對象中的每個對象的邊界框來識別圖像中的一個或多個對象。對於一個或多個對象中的一個對象，類型確定模組360可以基於對象中心點的三維座標、對象的長度、對象的寬度、對象的高度、對象的點數或類似物或其任意組合，確定對象類型。對象的中心點可以指對象的邊界框的中心圖元（或體素）。類型確定模組360可以基於一個點的二維座標確定中心點的三維座標，該點的二維座標與邊界框的中心圖元的二維座標相同。類型確定模組360可以基於複數個點的三維座標來確定對象的長度、寬度和高度，複數個點的二維座標與邊界框內的圖元的二維座標相同。對象的點數可以是二維座標與包括在邊界框中的圖元的二維座標相同的點的數量。
類型確定模組360可以將對象的中心點的三維座標、對象的長度、對象的寬度、對象的高度以及對象的點數輸入到Faster-RCNN模型中。該Faster-RCNN模型可以輸出對象所屬的不同對象類型的機率，並將具有最高機率的對象類型作為該對象的對象類型。例如，Faster-RCNN模型可以確定屬於運輸工具的機率是45％，屬於人的機率是60％，屬於建築物的機率是10％。因此，Faster-RCNN模型可以將該對象確定為人。
環境確定模組380可以被配置為基於對象類型確定與一個或多個對象有關的環境資訊。在一些實施例中，與一個或多個對象有關的環境資訊可包括一個或多個對象的對象類型、一個或多個對象中的至少一個的運動狀態、一個或多個對象中的至少一個對象相對於運輸工具的速度、一個或多個對象中的至少一個對象相對於運輸工具的加速度、一個或多個對象中至少一個對象的移動方向、運輸工具與一個或多個對象中至少一個對象之間的距離，或其任何組合。運動狀態可以包括靜態或移動狀態。
這裡以及整個本申請中，模組可以以許多不同的方式實現，並且可以以硬體、軟體或硬體和軟體的不同組合來實現。例如，模組實現的全部或部分可以是處理電路，其可以包括指令處理器的一部分或全部，例如中央處理單元（CPU）、微控制器、微處理器；或特定應用積體電路（ASIC）、數位訊號處理器（DSP）、數位信號處理裝置（DSPD）、可程式邏輯裝置（PLD）、現場可程式閘陣列（FPGA）、控制器、其他電子組件；或者作為包括分立邏輯或其他電路組件的電路，包括類比電路組件、數位電路組件或兩者；或作為包括離散邏輯或其他電路元件的電路，包括類比電路元件、數位電路元件或兩者；或其任意組合。例如，電路可以包括分立的互連硬體元件、或者可以組合在單個積體電路晶粒上、分佈在複數個積體電路晶粒中、或者在共同封裝中的複數個積體電路晶粒的多晶片模組（MCM）中實現。
處理裝置130中的模組可以經由有線連接或無線連接彼此連接或通訊。所述有線連接可以包括金屬線纜、光纜、混合線纜或類似物或其任意組合。所述無線連接可以包括區域網路（LAN）、廣域網路（WAN）、藍牙、紫蜂、近場通訊（NFC）或類似物或其任意組合。兩個或以上個模組可以被組合為單個模組，並且任何一個模組可以被分成兩個或以上個單元。例如，圖像接收模組310可以整合到點接收模組320中成為單個模組，該單個模組可以接收圖像和點雲。
應該注意的是，以上描述僅僅是為了說明的目的而提供的，並且不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。例如，處理裝置130還可以包括儲存模組（圖3中未示出）。儲存模組可以被配置為儲存在由處理裝置130中的任何元件執行的任何流程期間產生的資料。又例如，處理裝置130的每個元件可以對應於儲存模組。附加地或替代地，處理裝置130的元件可以共用公共儲存模組。
圖4係根據本申請的一些實施例所示的用於確定環境資訊的示例性流程的流程圖。在一些實施例中，流程400可以在圖1所示的環境資訊檢測系統100中實現。例如，流程400可以作為指令的形式儲存在儲存媒體（例如，儲存裝置150或儲存器220）中，並且由處理裝置130（例如，圖3中所示的處理裝置130的處理器220，或處理裝置130中的一個或多個模組）調用及/或執行。以下呈現的流程400的操作旨在是說明性的。在一些實施例中，流程400可以利用未描述的一個或多個附加操作，及/或沒有所討論的一個或多個操作來完成。另外，如圖4中所示和下面描述中包括的流程400的操作順序不是旨在限制性的。
在一些實施例中，相機120可以不斷地捕獲圖像並即時地將圖像發送到處理裝置130。一個或多個雷射雷達可以不斷地獲得點雲並即時地將點雲發送到處理裝置130。處理裝置130可以不斷地處理該圖像和點雲。為簡潔起見，流程400可描述用於處理一個圖像和對應於該圖像的一個點雲的流程。應當注意，流程400的描述僅出於說明的目的而提供，並不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。處理裝置130可以通過重複流程400來處理複數個圖像和複數個點雲。
在410中，圖像接收模組310可以從相機120接收第一圖像，該第一圖像包括與在相機120範圍內(例如，距運輸工具一定距離，比如，500米)的一個或多個對象相關的複數個圖元。
在420中，點接收模組320可以從一個或多個雷射雷達接收包括與第一圖像的複數個圖元對應的複數個點的第一點雲。在一些實施例中，第一點雲可以與第一圖像同時獲得。
在一些實施例中，當兩個或以上個雷射雷達安裝在運輸工具上時，第一點雲可包括由兩個或以上個雷射雷達獲得的點。例如，雷射雷達112、雷射雷達114和雷射雷達116可以安裝在運輸工具上。第一點雲可以包括由雷射雷達112、雷射雷達114和雷射雷達116獲得的點。
在430中，點資訊確定模組330可以基於第一點雲確定複數個點的第一三維座標和複數個點的反射強度。由雷射雷達獲得的點可以包括點的反射強度，以及在對應於雷射雷達的三維坐標系下確定的點的三維座標。在一些實施例中，如果第一點雲包括由一個雷射雷達獲得的點，則點資訊確定模組330可以基於複數個點直接確定第一三維座標。在一些實施例中，不同的雷射雷達可以對應於不同的三維坐標系。如果第一點雲包括由多於一個雷射雷達獲得的點，則由不同雷射雷達獲得的點的三維座標可以對應於不同的三維坐標系。點資訊確定模組330可將與一個雷射雷達對應的三維坐標系確定為標準三維坐標系，並將對應於其他三維坐標系的三維座標轉換為該標準坐標系下的三維座標（例如，如以下結合圖5詳細說明的內容）。
在440中，分割結果產生模組340可以通過基於複數個點的第一三維座標和複數個點的反射強度對複數個點進行分類來產生分割結果。例如，分割結果產生模組340可以將三維座標近似類似的點分為同一組。又例如，分割結果產生模組340可以將反射強度近似類似的點分為同一組。可以基於分割結果將第一點雲中的點粗略地分類為若干組。
分割結果產生模組340可以根據對點進行分類的演算法來產生分割結果。例如，該演算法可以是聚類演算法。聚類演算法可以包括分區方法、分層方法、基於密度的方法、基於網格的方法、基於模型的方法或類似物或其任意組合。
在450中，轉換模組350可以將複數個點的第一三維座標轉換為複數個點的第一二維座標。轉換模組350可以使用轉換矩陣來確定複數個點的二維座標（例如，如下面結合圖7和8詳細描述的內容）。
在460中，類型確定模組360可以基於複數個點的第一二維座標、複數個點的第一三維座標、分割結果和第一圖像來確定一個或多個對象的對象類型。類型確定模組360可以通過基於所述分割結果和複數個點的第一二維座標確定一個或多個對象中的每個對象的邊界框來識別第一圖像中的一個或多個對象。對於一個或多個對象中的一個對象，類型確定模組360可以基於該對象的中心點的三維座標、對象的長度、對象的寬度、對象的高度、對象的點數或類似物或其任意組合，確定對象類型。對象的中心點可以指該對象的邊界框的中心圖元。類型確定模組360可以基於一個點的二維座標確定所述中心點的三維座標，該點的二維座標與所述邊界框的中心圖元的二維座標相同。類型確定模組360可以基於複數個點的三維座標來確定對象的長度、寬度和高度，該複數個點的二維座標與所述邊界框內的圖元的二維座標相同。對象的點數可以是二維座標與包括在邊界框中的圖元的二維座標相同的點的數量。
類型確定模組360可以將對象的中心點的三維座標、對象的長度、對象的寬度、對象的高度以及對象的點數輸入到Faster-RCNN模型。Faster-RCNN模型可以輸出該對象所屬的不同對象類型的機率，並將具有最高機率的對象類型作為該對象的對象類型。例如，Faster-RCNN模型可以確定屬於運輸工具的機率是45％，屬於人的機率是60％，屬於建築物的機率是10％。因此，Faster-RCNN模型可以將該對象確定為人。
在470中，環境確定模組370可以基於對象類型確定與第一圖像中的一個或多個對象有關的環境資訊。在一些實施例中，與一個或多個對象有關的環境資訊可包括一個或多個對象的對象類型、一個或多個對象中至少一個對象的運動狀態、一個或多個對象中至少一個對象相對於運輸工具的的速度、一個或多個對象中至少一個對象相對於運輸工具的加速度、一個或多個對象中至少一個對象的移動方向、運輸工具與一個或多個對象中至少一個對象之間的距離，或其任何組合。運動狀態可以包括靜態或移動狀態。
環境確定模組370可以基於兩個連續圖像（例如，由相機120捕獲的第一圖像和第一圖像的下一個圖像）來確定環境資訊。可以使用例如資料關聯將兩個連續圖像中具有相同對象類型的對象用相同的ID標記。該資料關聯可以被配置為識別來自不同節點的兩組資料是否屬於同一目標。在本申請中，資料關聯可以用於通過匹配兩個對象的特徵來識別兩個連續圖像中的兩個對象是否屬於相同的對象類型。對象的特徵可以包括對象的中心點的三維座標、對象的形狀、對象的長度、對象的寬度、對象的高度、對象的點數或類似物或其任意組合。
環境確定模組370可以基於第一圖像中的對象的中心點的三維座標來確定對象與運輸工具之間的距離。環境確定模組370可以基於第一圖像和第一圖像的下一個圖像之間的時間間隔、運輸工具與第一圖像中的對象之間的距離以及運輸工具與第一圖像的下一個圖像中與該對象類型相同的對象（也稱為下一個圖像中的對象）之間的距離確定第一圖像中該對象的速度。例如，第一圖像中運輸工具與對象之間的距離為
Figure 02_image001
，下一個圖像中該運輸工具與該對象之間的距離為
Figure 02_image003
，第一圖像與下一個圖像之間的時間間隔為
Figure 02_image005
，環境確定模組370可以將與該第一圖像有關的對象的速度確定為
Figure 02_image007
。環境確定模組370可以基於第一圖像和下一個圖像之間的時間間隔、與第一圖像有關的對象的速度以及與下一個圖像有關的對象的速度來確定與該第一圖像有關的對象的加速度。例如，與第一圖像有關的對象的速度是
Figure 02_image009
，與下一個圖像有關的對象的速度是
Figure 02_image011
，該第一圖像和下一個圖像之間的時間間隔是
Figure 02_image005
，環境確定模組370可以將與該第一圖像有關的對象的加速度確定為
Figure 02_image013
。環境確定模組370可以基於第一圖像中的對象的中心點的三維座標和下一個圖像中的對象的中心點的三維座標來確定與該第一圖像有關的對象的移動方向。
當對象相對於運輸工具的速度低於或等於速度臨界值（例如，0.1 m/s）時，環境確定模組370可以確定該對象相對於運輸工具是靜止的。當對象的速度大於速度臨界值（例如，0.1 m/s）時，環境確定模組370可以確定該對象相對於所述運輸工具是移動的。
應該注意的是，以上描述僅僅是為了說明的目的而提供的，並且不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。例如，可以在示例性流程400中的其他地方添加一個或多個其他可選步驟（例如，儲存步驟）。又例如，處理裝置130可以同時執行410和420。再例如，處理裝置130可以在450之前、之後或同時執行440。
圖5係根據本申請的一些實施例所示的用於確定第一點雲中的複數個點的第一三維座標的示例性流程的流程圖。在一些實施例中，流程500可以在圖1所示的環境資訊檢測系統100中實現。例如，流程500可以作為指令的形式儲存在儲存媒體（例如，儲存裝置150或儲存器220）中，並且由處理裝置130（例如，圖3中所示的處理裝置130的處理器220，或處理裝置130中的一個或多個模組）調用及/或執行。以下呈現的所示流程500的操作旨在是說明性的。在一些實施例中，流程500可以利用未描述的一個或多個附加操作，及/或沒有所討論的一個或多個操作來完成。另外，如圖5所示和下文所述的流程500的操作的順序不是限制性的。在一些實施例中，處理裝置130可基於流程500執行流程400的430。
為簡潔起見，假設第一點雲包括從兩個雷射雷達獲得的點，所述兩個雷射雷達包括第一雷射雷達和第二雷射雷達（例如，雷射雷達112和雷射雷達114）。應當注意，流程500的描述僅出於說明的目的而提供，並且不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。流程500可以應用於第一點雲包括從多於兩個雷射雷達獲得的點的情況。
在一些實施例中，第一雷射雷達可以對應於第一三維坐標系。第二雷射雷達可以對應於與該第一三維坐標系不同的第二三維坐標系。點資訊確定模組330可以選擇該第一三維坐標系作為標準三維坐標系。
在510中，點資訊確定模組330可以確定從對應於第一三維坐標系的第一雷射雷達獲得的第一點雲子集的第二三維座標。在一些實施例中，點資訊確定模組330可以基於第一點雲子集中包括的點直接確定該第一點雲子集的第二三維座標。
在520中，點資訊確定模組330可以確定從對應於第二三維坐標系的第二雷射雷達獲得的第二點雲子集的第三三維座標。在一些實施例中，點資訊確定模組330可以基於第二點雲子集中包括的點直接確定該第二點雲子集的第三三維座標。
在530中，點資訊確定模組330可以將第三三維座標轉換為與第一三維坐標系對應的第二點雲子集的第四三維座標。
在一些實施例中，點資訊確定模組330可以使用第一轉換矩陣將第三三維座標轉換為第四三維座標。例如，點資訊確定模組330可以基於下面的等式（1）確定第四三維座標：
Figure 02_image015
（1） 其中x1 、 y1 和z1 指的是第一三維坐標系下的一個點的三維座標。x2 、 y2 和z2 指的是第二三維坐標系下該點的三維座標。R1 T1 指的是第一轉換矩陣。R1 指的是旋轉矩陣，表示第一三維坐標系相對於第二三維坐標系的x軸、y軸和z軸的旋轉角度。R1 可以基於下面的等式（2）表示：
Figure 02_image017
（2） 其中roll1 ， pitch1 和yaw1 分別指的是第一三維坐標系相對於第二三維坐標系的x軸、y軸和z軸的旋轉角度。T1 指的是平移矩陣，表示第一三維坐標系的原點在第二三維坐標系中的三維座標。T1 可以基於下面的等式（3）表示：
Figure 02_image019
（3） 其中
Figure 02_image021
、
Figure 02_image023
和
Figure 02_image025
是指第一三維坐標系原點在第二三維坐標系下的三維座標。
在一些實施例中，處理裝置130可以離線時提前確定第一轉換矩陣。在確定第一轉換矩陣之後，處理裝置130可以將第一轉換矩陣儲存到儲存媒體（例如，儲存裝置150或儲存器220）中。點資訊確定模組330可以存取該儲存媒體以獲得所述第一轉換矩陣。處理裝置130可以基於以下操作（a1）和（b1）來確定第一轉換矩陣。
（a1）處理裝置130可以從第一雷射雷達獲得第一點，並且從第二雷射雷達獲得第二點。所述第一點和第二點可以與同一對象有關。
（b1）處理裝置130可以通過匹配第一點的三維座標和第二點的三維座標來確定第一轉換矩陣。例如，處理裝置130可以使用點雲匹配方法匹配第一點的三維座標和第二點的三維座標。點雲匹配方法可以包括反覆運算最近點（Iterative Closest Point , ICP）方法。
在一些實施例中，如果第一雷射雷達和第二雷射雷達之間的相對位置是恒定的，則第一轉換矩陣（例如，R1 和T1 ）可以是恒定的。
在540中，點資訊確定模組330可以基於第二三維座標和第四三維座標確定第一三維座標。
應該注意的是，以上描述僅僅是為了說明的目的而提供的，並且不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。例如，可以在示例性流程500的其他地方添加一個或多個其他可選步驟（例如，儲存步驟）。又例如，點資訊確定模組330可以在520、530或540之前執行510。再例如，點資訊確定模組330可以同時執行510和520。
圖6係根據本申請的一些實施例所示的用於將第一三維座標轉換為第一二維座標的示例性流程的流程圖。在一些實施例中，流程600可以在圖1所示的環境資訊檢測系統100中實現。例如，流程600可以作為指令的形式儲存在儲存媒體（例如，儲存裝置150或儲存器220）中，並且由處理裝置130（例如，圖3中所示的處理裝置130的處理器220，或處理裝置130中的一個或多個模組）調用及/或執行。以下呈現的流程600的操作旨在是說明性的。在一些實施例中，流程600可以利用未描述的一個或多個附加操作，及/或沒有所討論的一個或多個操作來完成。另外，圖6和下面描述的不是限制性的。在一些實施例中，處理裝置130可以基於流程600執行流程400的450。
在610中，轉換模組350可以獲得第二轉換矩陣。在一些實施例中，處理裝置130可以離線時提前確定第二轉換矩陣（例如，如結合圖7詳細描述的內容）。在確定第二轉換矩陣之後，處理裝置130可以將該第二轉換矩陣儲存到儲存媒體（例如，儲存裝置150或儲存器220）中。轉換模組350可以存取該儲存媒體以獲得第二轉換矩陣。
在620中，轉換矩陣模組350可以基於第二轉換矩陣將複數個點的第一三維座標轉換為複數個點的第一二維座標。例如，轉換矩陣模組350可以基於下面的等式（4）確定二維座標：
Figure 02_image027
(4) 其中u1 和v1 指的是第一點雲中一個點的二維座標。x 、 y 和z 指的是該點的三維座標。R2 T2 指的是第二轉換矩陣。R2 指的是旋轉矩陣，表示對應於第一圖像的二維坐標系相對於對應第一三維座標的三維坐標系的x軸、y軸和z軸的旋轉角度。R2 可以基於下面的等式（5）表示：
Figure 02_image029
(5) 其中roll2 、 pitch2 和yaw2 分別指的是二維坐標系相對於三維坐標系的x軸、y軸和z軸的旋轉角度。T2 指的是平移矩陣，表示二維坐標系的原點在三維坐標系下的三維座標。T2 可以基於下面的等式（6）表示：
Figure 02_image031
(6) 其中∆
Figure 02_image033
和∆
Figure 02_image035
指的是二維坐標系的原點在三維坐標系下的三維座標。
應該注意的是，以上描述僅僅是為了說明的目的而提供的，並且不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。例如，可以在示例性流程600中的其他地方添加一個或多個其他可選步驟（例如，儲存步驟）。
圖7係根據本申請的一些實施例所示的用於確定第二轉換矩陣的示例性流程的流程圖。在一些實施例中，流程700可以在圖1所示的環境資訊檢測系統100中實現。例如，流程700可以作為指令的形式儲存在儲存媒體（例如，儲存裝置150或儲存器220）中，並且由處理裝置130（例如，圖3中所示的處理裝置130的處理器220，或處理裝置130中的一個或多個模組）調用及/或執行。以下呈現的所示流程700的操作旨在是說明性的。在一些實施例中，流程700可以利用未描述的一個或多個附加操作，及/或沒有所討論的一個或多個操作來完成。另外圖7和下面描述的不是限制性的。在一些實施例中，處理裝置130可以基於流程700執行流程600的610。
在710中，處理裝置130可以從一個雷射雷達接收包括與目標有關的複數個點的第二點雲。目標可以包括靜態二維圖案。該靜態二維圖案可以包括一個或多個點，每個點可以是一個圓的中心。例如，目標可以是具有六個點的靜態二維圖案，每個點可以是一個圓的中心。一個或多個點可以按任何順序排列。一個或多個雷射雷達可以向六個中心發射雷射光束。第二點雲可以包括對應於六個圓的中心的六個點。在一些實施例中，雷射雷達可以對應於標準三維坐標系。例如，如果在運輸工具上安裝了三個雷射雷達，則處理裝置130可以確定相機120和該雷射雷達之間的轉換矩陣，雷射雷達對應的三維坐標系被選作標準三維坐標系。
在720中，處理裝置130可以從相機120接收包括與目標有關的複數個圖元的第二圖像。例如，如果目標是六個圓的六個中心，則相機120可以捕獲包括該六個中心的第二圖像。
在730中，處理裝置130可以確定第二點雲的第五三維座標。在一些實施例中，處理裝置130可以基於所述第二點雲中的點直接確定第五三維座標。
在740中，處理裝置130可以確定與目標有關的第二圖像的圖元的第二二維座標。在一些實施例中，處理裝置130可以識別與目標有關的圖元（例如，對應於六個圓的六個中心的六個圖元）並確定圖元的第二二維座標。例如，在捕獲第二圖像之後，相機120可以將第二圖像發送到處理裝置130。在接收到該第二圖像之後，處理裝置130可以在螢幕上顯示該第二圖像。使用者（例如，工程師）可以在螢幕上通過使用手或滑鼠點選圖元來選擇與目標有關的圖元。又例如，處理裝置130可以基於圖像識別技術（例如，範本匹配、SVM分類或基於灰度值的方法）自動確定圖元。
在750中，處理裝置130可以基於第五三維座標和第二二維座標確定第二轉換矩陣。在一些實施例中，處理裝置130可以基於最小二乘法確定第二轉換矩陣。處理裝置130可以基於以下操作（a2）-（d2）來確定第二轉換矩陣。
（a2）處理裝置130可以設置初步轉換矩陣。可以基於使用者（例如，工程師）的經驗或環境資訊檢測系統100的預設設置來確定初步轉換矩陣。
（b2）處理裝置130可以基於初步轉換矩陣和第二點雲中的點的第五三維座標來確定該第二點雲中的點的估計二維座標。
（c2）處理裝置130可以將第二點雲中的點的估計二維座標與和目標相關的圖元的第二二維座標進行比較。處理裝置130還可以確定第二點雲中的點的估計二維座標與和目標相關的圖元的第二二維座標之間的平方偏差。
（d2）處理裝置130可以確定平方偏差之和是否小於臨界值（例如，0.01）。回應於確定平方偏差之和小於臨界值（例如，0.01），處理裝置130可以將初步轉換矩陣確定為第二轉換矩陣。回應於確定平方偏差之和大於或等於臨界值（例如，0.01），處理裝置130可以重複（a2）-（d2）。
僅作為示例，處理裝置130可以基於下面的等式（7）和（8）確定第二轉換矩陣：
Figure 02_image037
（7） 和
Figure 02_image039
（8） 其中x3 、 y3 和z3 指的是第二個點雲中一個點的三維座標。
Figure 02_image041
和
Figure 02_image043
指的是該點的估計二維座標。
Figure 02_image045
指的是初步轉換矩陣。
Figure 02_image047
和
Figure 02_image011
指的是與該點對應的第二圖像中的圖元的二維座標。n 指第二點雲中的點數。例如，如果目標是六個圓的六個中心，則第二點雲中的點數可以是six (n=6)。
Figure 02_image049
指的是第二點雲中的點的估計二維座標與和目標相關的圖元的第二二維座標之間的平方偏差之和。
在一些實施例中，如果雷射雷達和相機120之間的相對位置是恒定的，則第二轉換矩陣（例如，R2 和T2 ）可以是恒定的。
應該注意的是，以上描述僅僅是為了說明的目的而提供的，並且不旨在限制本申請的範圍。對於本領域具有通常知識者而言，可以在本申請的教導下進行多種變化和修改。然而，那些變化和修改不脫離本申請的範圍。例如，可以在示例性流程700中的其他地方添加一個或多個其他可選步驟（例如，儲存步驟）。又例如，處理裝置130可以在720之前、之後或同時執行710。再例如，處理裝置130可以在740之前、之後或同時執行730。
上文已對基本概念做了描述，顯然，對於本領域具有通常知識者來說，上述申請揭露僅僅作為示例，而並不構成對本申請的限定。雖然此處並沒有明確說明，本領域具有通常知識者可對本申請進行各種修改、改進和修正。該類修改、改進和修正在本申請中被建議，所以該類修改、改進、修正仍屬本申請示範實施例的精神和範圍。
此外，某些術語已用於描述本申請的實施例。例如，術語「一個實施例」、「實施例」及/或「一些實施例」意味著結合該實施例描述的特定特徵、結構或特性被包括在本申請的至少一個實施例中。因此，強調並且應該認識到，在本說明書的各個部分中對「實施例」或「一個實施例」或「替代實施例」的兩個或以上個引用不一定都指的是相同的實施例。此外，在本申請的一個或多個實施例中，特定特徵、結構或特性可以適當地組合。
此外，本領域具有通常知識者可以理解，本申請的各態樣可以通過若干具有可專利性的種類或情況進行說明和描述，包括任何新的和有用的流程、機器、產品或物質的組合，或對他們的任何新的和有用的改進。相應地，本申請的各個態樣可完全實現為硬體、完全軟體（包括韌體、常駐軟體、微代碼等）或組合軟體和硬體實現，其在本文中通常可被稱為「單元」、「模組」、或「系統」。此外，本申請的態樣可以採取體現在一個或多個電腦可讀取媒體中的電腦程式產品的形式，其中電腦可讀取程式碼包含在其中。
電腦可讀取信號媒體可以包括其中包含有電腦可讀取程式碼的傳播資料信號，例如在基帶中或者作為載波的一部分。這樣的傳播信號可以採用多種形式中的任何形式，包括電磁、光學等或其任何合適的組合。所述電腦可讀取信號媒體可以是任何電腦可讀取媒體，其不是電腦可讀取儲存媒體並且可以通訊、傳播或傳輸程式以供指令執行系統，裝置或裝置使用或與其結合使用。所述電腦可讀取信號媒體上包含的程式碼可以使用任何適當的媒體傳輸，包括無線、有線、光纖纜線、RF等，或者前述的任何合適的組合。
用於執行本申請的態樣的操作的電腦程式碼可以以一種或多種程式設計語言的任何組合來編寫，包括諸如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C＃、VB. NET、Python等物件導向的程式設計語言。傳統的流程程式設計語言，如「C」程式設計語言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，動態程式設計語言，如Python、Ruby和Groovy，或其他程式設計語言。程式碼可以完全在使用者的電腦上，部分在使用者的電腦上，作為獨立的軟體包，部分在使用者的電腦上，部分在遠端電腦上，或者完全在遠端電腦或伺服器上執行。在後一種情況下，遠端電腦可以通過任何類型的網路連接到使用者的電腦，包括區域網路（LAN）或廣域網路（WAN），或者可以連接到外部電腦（用於例如通過使用網際網路服務提供者的網際網路）或者在雲計算環境中提供，諸如軟體即服務（SaaS）。
進一步地，處理組件或序列的所述順序或者數字、字母或其他標識的使用不旨在將要求保護的流程和方法限制為除了申請專利範圍中可能指定的順序之外的任何順序。雖然上面的揭露通過各種示例討論了當前被認為是本申請的各種有用實施例的內容，但是應該理解，這樣的細節僅僅是為了該目的，並且所附申請專利範圍不限於所揭露的實施例，而是相反，旨在覆蓋在所揭露的實施例的精神和範圍內的修改和均等配置。例如，儘管上述各種元件的實現可以體現在硬體裝置中，但是其也可以實現為僅軟體解決方案，例如安裝在現有伺服器或行動裝置上。
同理，應當注意的是，為了簡化本申請揭露的表述，從而幫助對一個或多個申請實施例的理解，前文對本申請實施例的描述中，有時會將多種特徵歸併至一個實施例、圖式或對其的描述中。但是，這種揭露方法並不意味著本申請標的所需要的特徵比申請專利範圍中提及的特徵多。實際上，本申請的標的的特徵要少於上述揭露的單個實施例的全部特徵。
100‧‧‧環境資訊檢測系統112‧‧‧雷射雷達114‧‧‧雷射雷達116‧‧‧雷射雷達120‧‧‧相機130‧‧‧處理裝置140‧‧‧網路150‧‧‧儲存裝置200‧‧‧計算裝置210‧‧‧處理器210-a‧‧‧介面電路210-b‧‧‧處理電路220‧‧‧儲存器230‧‧‧輸入/輸出240‧‧‧通訊埠310‧‧‧圖像接收模組320‧‧‧點接收模組330‧‧‧點資訊確定模組340‧‧‧分割結果產生模組350‧‧‧轉換模組360‧‧‧類型確定模組370‧‧‧環境確定模組400‧‧‧流程410‧‧‧步驟420‧‧‧步驟430‧‧‧步驟440‧‧‧步驟450‧‧‧步驟460‧‧‧步驟470‧‧‧步驟500‧‧‧流程510‧‧‧步驟520‧‧‧步驟530‧‧‧步驟540‧‧‧步驟600‧‧‧流程610‧‧‧步驟620‧‧‧步驟700‧‧‧流程710‧‧‧步驟720‧‧‧步驟730‧‧‧步驟740‧‧‧步驟750‧‧‧步驟
根據示意性實施例進一步描述本申請。參考圖式詳細描述這些示意性實施例。圖式並未按比例繪製。這些實施例是非限制性的示意性實施例，其中相同的元件符號在圖式的若干視圖中表示類似的結構，並且其中：
圖1係根據本申請的一些實施例所示的示例性環境資訊檢測系統的示意圖；
圖2係根據本申請的一些實施例所示的計算裝置的示例性硬體和軟體元件的示意方塊圖；
圖3係根據本申請的一些實施例所示的示例性處理裝置的方塊圖；
圖4係根據本申請的一些實施例所示的用於確定環境資訊的示例性流程的流程圖；
圖5係根據本申請的一些實施例所示的用於確定第一三維座標的示例性流程的流程圖；
圖6係根據本申請的一些實施例所示的用於將第一三維座標轉換為第一二維座標的示例性流程的流程圖；以及
圖7係根據本申請的一些實施例所示的用於確定轉換矩陣的示例性流程的流程圖。
400‧‧‧流程
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
450‧‧‧步驟
460‧‧‧步驟
470‧‧‧步驟

Claims (21)

  1. 一種用於檢測運輸工具的環境資訊之系統，包括：儲存裝置，儲存一組指令；以及一個或多個處理器，被配置為與所述儲存裝置通訊，當執行該組指令時，所述一個或多個處理器被配置為使所述系統：從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像；從一個或多個雷射雷達處接收包括與所述第一圖像的所述複數個圖元對應的複數個點的第一點雲；基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度；基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果；將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標，其中，所述轉換與所述一個或多個對象有關的所述複數個圖元的二維坐標系相關聯；以及基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
  2. 如申請專利範圍第1項之系統，所述一個或多個處理器進一步被配置為使所述系統：基於所述對象類型確定與所述一個或多個對象相關的環境資訊。
  3. 如申請專利範圍第2項之系統，其中，與所述一個或多個對象有關的環境資訊包括下列中的至少一個：所述一個或多個對象的對象類型， 所述一個或多個對象中的至少一個對象的運動狀態，所述一個或多個對象中的至少一個對象相對於包括所述一個或多個雷射雷達和所述相機的運輸工具的速度，所述一個或多個對象中的至少一個對象相對於所述運輸工具的加速度，所述一個或多個對象中的至少一個對象的移動方向，或所述一個或多個對象中的至少一個對象與所述運輸工具之間的距離。
  4. 如申請專利範圍第1項之系統，其中，所述第一點雲包括由第一雷射雷達獲得的第一點雲子集和由第二雷射雷達獲得的第二點雲子集。
  5. 如申請專利範圍第4項之系統，其中，為了確定所述複數個點的第一三維座標，所述一個或多個處理器被配置為使所述系統：確定對應於與所述第一雷射雷達相關的第一三維坐標系的所述第一點雲子集的第二三維座標；確定對應於與所述第二雷射雷達相關的第二三維坐標系的所述第二點雲子集的第三三維座標；將所述第三三維座標轉換為與所述第一三維坐標系對應的所述第二點雲子集的第四三維座標；以及基於所述第一點雲子集的所述第二三維座標和所述第二點雲子集的所述第四三維座標來確定所述第一三維座標。
  6. 如申請專利範圍第1項之系統，其中，為了將所述複數個點的所述第一三維座標轉換為所述複數個點的所述第一二維座標，所述一個或多個處理器被配置為使所述系統：獲取轉換矩陣；以及基於所述轉換矩陣將所述複數個點的所述第一三維座標轉換為所述複數個點的所述第一二維座標。
  7. 如申請專利範圍第6項之系統，其中，為了獲取所述轉換矩陣，所述一個或多個處理器被配置為使所述系統：從所述一個或多個雷射雷達中的一個雷射雷達接收包括與目標有關的複數個點的第二點雲；從所述相機接收包括與所述目標相關的複數個圖元的第二圖像；確定與所述目標相關的所述複數個點的第二三維座標；確定與所述目標有關的所述複數個圖元的第二二維座標；以及基於所述第二三維座標和所述第二二維座標確定所述轉換矩陣。
  8. 如申請專利範圍第7項之系統，其中，為了基於所述第二三維座標和所述第二二維座標確定所述轉換矩陣，所述一個或多個處理器被配置為使所述系統：根據最小二乘法來確定所述轉換矩陣。
  9. 如申請專利範圍第7項之系統，其中，所述目標包括具有一個或多個點的二維圖案，每個點是一個圓的中心。
  10. 如申請專利範圍第1項之系統，其中，為了確定所述一個或多個對象的對象類型，所述一個或多個處理器被配置為使所述系統：根據Fastar-RCNN模型確定所述一個或多個對象的對象類型。
  11. 一種在具有一個或多個處理器和儲存裝置的計算裝置上實施的方法，所述方法包括：從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像；從一個或多個雷射雷達處接收包括與所述第一圖像的所述複數個圖元對應的複數個點的第一點雲；基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度； 基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果；將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標，其中，所述轉換與所述一個或多個對象有關的所述複數個圖元的二維坐標系相關聯；以及基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
  12. 如申請專利範圍第11項之方法，所述方法進一步包括：基於所述對象類型確定與所述一個或多個對象相關的環境資訊。
  13. 如申請專利範圍第12項之方法，其中，與所述一個或多個對象相關的環境資訊包括下列中的至少一個：所述一個或多個對象的對象類型，所述一個或多個對象中的至少一個對象的運動狀態，所述一個或多個對象中的至少一個對象相對於包括所述一個或多個雷射雷達和所述相機的運輸工具的速度，所述一個或多個對象中的至少一個對象相對於所述運輸工具的加速度，所述一個或多個對象中的至少一個對象的移動方向，或所述一個或多個對象中的至少一個對象與所述運輸工具之間的距離。
  14. 如申請專利範圍第11項之方法，其中，所述第一點雲包括由第一雷射雷達獲得的第一點雲子集和由第二雷射雷達獲得的第二點雲子集。
  15. 如申請專利範圍第14項之方法，其中，確定所述複數個點的所述第一三維座標包括：確定對應於與所述第一雷射雷達相關的第一三維坐標系的所述第一點雲子集的第二三維座標； 確定對應於與所述第二雷射雷達相關的第二三維坐標系的所述第二點雲子集的第三三維座標；將所述第三三維座標轉換為與所述第一三維坐標系對應的所述第二點雲子集的第四三維座標；以及基於所述第一點雲子集的所述第二三維座標和所述第二點雲子集的所述第四三維座標來確定所述第一三維座標。
  16. 如申請專利範圍第11項之方法，其中，將所述複數個點的所述第一三維座標轉換為所述複數個點的所述第一二維座標包括：獲取轉換矩陣；以及基於所述轉換矩陣將所述複數個點的所述第一三維座標轉換成所述複數個點的所述第一二維座標。
  17. 如申請專利範圍第16項之方法，其中，獲取轉換矩陣包括：從所述一個或多個雷射雷達中的一個雷射雷達接收包括與目標有關的複數個點的第二點雲；從所述相機接收包括與所述目標相關的複數個圖元的第二圖像；確定與所述目標相關的所述複數個點的第二三維座標；確定與所述目標有關的所述複數個圖元的第二二維座標；以及基於所述第二三維座標和所述第二二維座標確定所述轉換矩陣。
  18. 如申請專利範圍第17項之方法，其中，所述目標包括具有一個或多個點的二維圖案，每個點是一個圓的中心。
  19. 如申請專利範圍第17項之方法，其中，基於所述第二三維座標和所述第二二維座標確定所述轉換矩陣包括：基於最小二乘法來確定所述轉換矩陣。
  20. 一種非暫時性電腦可讀取媒體，包括至少一組指令，其中，當 由計算裝置的一個或多個處理器執行時，所述至少一組指令使所述計算裝置執行一方法，所述方法包括：從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像；從一個或多個雷射雷達處接收包括與所述第一圖像的所述複數個圖元對應的複數個點的第一點雲；基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度；基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果；將所述第一三維座標轉換為所述複數個點的第一二維座標，其中，所述轉換與所述一個或多個對象有關的所述複數個圖元的二維坐標系相關聯；以及基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
  21. 一種用於檢測運輸工具的環境資訊之系統，包括：圖像接收模組，被配置為從相機處接收包括與一個或多個對象有關的複數個圖元的第一圖像；點接收模組，被配置為從一個或多個雷射雷達處接收包括與所述第一圖像的複數個圖元對應的複數個點的第一點雲；點資訊確定模組，被配置為基於所述第一點雲確定所述複數個點的第一三維座標和所述複數個點的反射強度；分割結果產生模組，被配置為基於所述複數個點的所述第一三維座標和所述複數個點的所述反射強度，通過對所述複數個點進行分類來產生分割結果；轉換模組，被配置為將所述複數個點的所述第一三維座標轉換為所述複數個點的第一二維座標，其中，所述轉換與所述一個或多個對象有關的所述複數 個圖元的二維坐標系相關聯；以及類型確定模組，被配置為基於所述複數個點的所述第一二維座標、所述複數個點的所述第一三維座標、所述分割結果和所述第一圖像來確定所述一個或多個對象的對象類型。
TW107129629A 2017-08-25 2018-08-24 用於檢測運輸工具的環境資訊之方法和系統 TWI691730B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/099173 WO2019037129A1 (en) 2017-08-25 2017-08-25 METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE
??PCT/CN2017/099173 2017-08-25
WOPCT/CN2017/099173 2017-08-25

Publications (2)

Publication Number Publication Date
TW201920982A TW201920982A (zh) 2019-06-01
TWI691730B true TWI691730B (zh) 2020-04-21

Family

ID=65229096

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107129629A TWI691730B (zh) 2017-08-25 2018-08-24 用於檢測運輸工具的環境資訊之方法和系統

Country Status (8)

Country Link
US (1) US10824880B2 (zh)
EP (1) EP3465267A4 (zh)
JP (1) JP6689006B2 (zh)
CN (1) CN109716160B (zh)
CA (1) CA3026667C (zh)
SG (1) SG11201810922VA (zh)
TW (1) TWI691730B (zh)
WO (1) WO2019037129A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740627B2 (en) * 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
US11019249B2 (en) * 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
CN114503044A (zh) * 2019-09-30 2022-05-13 北京航迹科技有限公司 用于在3d点云中自动标记对象的系统和方法
KR102324511B1 (ko) * 2019-11-20 2021-11-09 국민대학교산학협력단 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
US11614742B2 (en) * 2019-11-27 2023-03-28 Zoox, Inc. Height estimation using sensor data
CN113066121A (zh) * 2019-12-31 2021-07-02 深圳迈瑞生物医疗电子股份有限公司 图像分析系统和识别重复细胞的方法
US20230045319A1 (en) * 2020-01-30 2023-02-09 Outsight A surveillance sensor system
USD960727S1 (en) * 2020-04-15 2022-08-16 Beijing Voyager Technology Co., Ltd. Lidar device
CN111596090A (zh) * 2020-06-17 2020-08-28 中国第一汽车股份有限公司 车辆行驶速度的测量方法、装置、车辆和介质
US11461922B2 (en) * 2020-06-23 2022-10-04 Tusimple, Inc. Depth estimation in images obtained from an autonomous vehicle camera
US11373389B2 (en) * 2020-06-23 2022-06-28 Tusimple, Inc. Partitioning images obtained from an autonomous vehicle camera
US11715277B2 (en) 2020-06-23 2023-08-01 Tusimple, Inc. Perception system for autonomous vehicles
US20220135074A1 (en) * 2020-11-02 2022-05-05 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11841439B2 (en) 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
CN112629520A (zh) * 2020-11-25 2021-04-09 北京集光通达科技股份有限公司 一种机器人导航与定位方法、系统、设备及存储介质
CN112528829B (zh) * 2020-12-07 2023-10-24 中国科学院深圳先进技术研究院 一种基于视觉的非结构化道路的居中行驶方法
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
US20220185324A1 (en) * 2020-12-10 2022-06-16 Motional Ad Llc Merging LiDAR Information and Camera Information
TWI745204B (zh) * 2020-12-28 2021-11-01 國家中山科學研究院 基於深度學習之高效率光達物件偵測方法
CN112977541A (zh) * 2021-03-17 2021-06-18 上海电气泰雷兹交通自动化系统有限公司 一种基于多技术融合的列车防护预警系统
WO2022264894A1 (ja) 2021-06-17 2022-12-22 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム
KR20230075882A (ko) * 2021-11-23 2023-05-31 주식회사 모라이 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
CN113879338B (zh) * 2021-11-24 2023-02-17 广州文远知行科技有限公司 一种行驶规划模块优化方法、装置、设备和介质
TWI816387B (zh) 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US20160282468A1 (en) * 2015-03-25 2016-09-29 Google Inc. Vehicle with Multiple Light Detection and Ranging Devices (LIDARs)
CN106908775A (zh) * 2017-03-08 2017-06-30 同济大学 一种基于激光反射强度的无人车实时定位方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069328A (ja) * 2002-08-01 2004-03-04 Nissan Motor Co Ltd 前方環境認識装置及び前方環境認識方法
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
ATE399359T1 (de) * 2006-03-15 2008-07-15 Delphi Tech Inc Hindernisbeurteilungsverfahren für ein kraftfahrzeug
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
JP5688876B2 (ja) * 2008-12-25 2015-03-25 株式会社トプコン レーザスキャナ測定システムの較正方法
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9482529B2 (en) * 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US8565481B1 (en) * 2011-05-26 2013-10-22 Google Inc. System and method for tracking objects
US9891318B2 (en) * 2011-11-30 2018-02-13 Intel Corporation Location detection system
US8736463B1 (en) * 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US9110169B2 (en) * 2013-03-08 2015-08-18 Advanced Scientific Concepts, Inc. LADAR enabled impact mitigation system
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9523772B2 (en) * 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9177481B2 (en) 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
CN105302151B (zh) * 2014-08-01 2018-07-13 深圳中集天达空港设备有限公司 一种飞机入坞引导和机型识别的系统及方法
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
CN104407351B (zh) * 2014-12-05 2017-05-17 北京公科飞达交通工程发展有限公司 车辆窗口位置识别方法
JP6410178B2 (ja) * 2015-01-08 2018-10-24 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
US10007849B2 (en) * 2015-05-29 2018-06-26 Accenture Global Solutions Limited Predicting external events from digital video content
JP6673371B2 (ja) * 2015-07-08 2020-03-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を使用して障害物を検出する方法及びそのシステム
CN105014678A (zh) * 2015-07-16 2015-11-04 深圳市得意自动化科技有限公司 基于激光测距的机器人手眼标定方法
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9922553B2 (en) * 2015-12-22 2018-03-20 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
EP3430427B1 (en) * 2016-03-14 2021-07-21 IMRA Europe S.A.S. Processing method of a 3d point cloud
WO2018039337A1 (en) * 2016-08-23 2018-03-01 Canvas Technology, Inc. Autonomous cart for manufacturing and warehouse applications
CN106570454B (zh) * 2016-10-10 2019-06-11 同济大学 基于移动激光扫描的行人交通参数提取方法
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
WO2018125938A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
JP6599031B2 (ja) * 2017-02-06 2019-10-30 三菱電機株式会社 監視装置
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术（北京）有限公司 用于检测道路的方法和装置
JP7016058B2 (ja) * 2017-04-28 2022-02-04 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP6861592B2 (ja) * 2017-07-14 2021-04-21 三菱電機株式会社 データ間引き装置、測量装置、測量システム及びデータ間引き方法
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
US20160282468A1 (en) * 2015-03-25 2016-09-29 Google Inc. Vehicle with Multiple Light Detection and Ranging Devices (LIDARs)
CN106908775A (zh) * 2017-03-08 2017-06-30 同济大学 一种基于激光反射强度的无人车实时定位方法

Also Published As

Publication number Publication date
AU2017417170A1 (en) 2019-03-14
US20190138822A1 (en) 2019-05-09
WO2019037129A1 (en) 2019-02-28
EP3465267A4 (en) 2019-05-22
JP2019533133A (ja) 2019-11-14
JP6689006B2 (ja) 2020-04-28
CA3026667A1 (en) 2019-01-31
CA3026667C (en) 2020-09-15
SG11201810922VA (en) 2019-03-28
US10824880B2 (en) 2020-11-03
CN109716160B (zh) 2022-12-02
TW201920982A (zh) 2019-06-01
CN109716160A (zh) 2019-05-03
EP3465267A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
TWI691730B (zh) 用於檢測運輸工具的環境資訊之方法和系統
CN110363058B (zh) 使用单触发卷积神经网络的用于避障的三维对象定位
US11783230B2 (en) Automatic generation of ground truth data for training or retraining machine learning models
JP6548691B2 (ja) 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
WO2019179464A1 (zh) 用于预测目标对象运动朝向的方法、车辆控制方法及装置
CN111598034B (zh) 障碍物检测方法、装置及存储介质
US11016496B2 (en) Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications
EP3822852A2 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
WO2018066351A1 (ja) シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
WO2022213729A1 (zh) 对目标的运动信息进行检测的方法和装置、设备和介质
WO2021218693A1 (zh) 一种图像的处理方法、网络的训练方法以及相关设备
US11971481B2 (en) Point cloud registration for lidar labeling
KR20210022703A (ko) 운동 물체 검출 및 지능형 운전 제어 방법, 장치, 매체 및 기기
WO2023036083A1 (zh) 传感器数据处理方法、系统及可读存储介质
Barodi et al. Intelligent transportation system based on smart soft-sensors to analyze road traffic and assist driver behavior applicable to smart cities
CN114332845A (zh) 一种3d目标检测的方法及设备
US20230144073A1 (en) Information processing system, information processing method, and storage medium
US20240062386A1 (en) High throughput point cloud processing
US20230342944A1 (en) System and Method for Motion Prediction in Autonomous Driving