TWI819613B - 物件的雙感測方法及用於物件感測的運算裝置 - Google Patents

物件的雙感測方法及用於物件感測的運算裝置 Download PDF

Info

Publication number
TWI819613B
TWI819613B TW111118729A TW111118729A TWI819613B TW I819613 B TWI819613 B TW I819613B TW 111118729 A TW111118729 A TW 111118729A TW 111118729 A TW111118729 A TW 111118729A TW I819613 B TWI819613 B TW I819613B
Authority
TW
Taiwan
Prior art keywords
area
sensing
radar
image
clustering
Prior art date
Application number
TW111118729A
Other languages
English (en)
Other versions
TW202346894A (zh
Inventor
郭峻因
林佳正
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW111118729A priority Critical patent/TWI819613B/zh
Priority to CN202210684376.3A priority patent/CN117095365A/zh
Priority to US17/951,115 priority patent/US20230375694A1/en
Priority to EP22202707.0A priority patent/EP4279954A1/en
Application granted granted Critical
Publication of TWI819613B publication Critical patent/TWI819613B/zh
Publication of TW202346894A publication Critical patent/TW202346894A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本發明實施例提供一種物件的雙感測方法及用於物件感 測的運算裝置。在方法中，對雷達資訊進行第一聚類。對第一聚類的結果進行第二聚類。將第二聚類的結果作為一個或更多個興趣區域。依據興趣區域對結合資訊進行物件偵測及/或物件追蹤。雷達資訊包括空間中的多個感測點，且第一聚類用以決定那些感測點中的第一部分為一個或更多個物件。第二聚類用以決定第一聚類的結果為物件的那些感測點位於第一密集程度的區域。結合資訊是結合雷達資訊與影像所形成的，且雷達資訊的偵測區域重疊於影像的拍攝區域。藉此，可改善辨識準確度。

Description

物件的雙感測方法及用於物件感測的運算裝置
本發明是有關於一種感測資訊處理技術，且特別是有關於一種物件的雙感測方法及用於物件感測的運算裝置。
在智慧交通系統中，分散在各處的各種感測器彼此發揮其重要的作用。這些感測器收集準確且即時的本地資訊，並將這資訊傳送到雲端，使系統可即時掌握此處情況並據以作出決策。在許多感測器中，相機與雷達分別扮演著重要的角色。相機擁有豐富的影像資訊，並能供深度學習模型辨識出物件類別。然而，在惡劣環境中，影像辨識容易失效。另一方面，雷達所用的毫米波的特性是，較不受惡劣天候影響，還能偵測物件的位置、速度等物理資訊。然而，雷達無法辨識物件類別。由此可知，相機與雷達感測皆有其各自的缺點。
有鑑於此，本發明實施例提供一種物件的雙感測方法及 用於物件感測的運算裝置，可融合相機及雷達感測，結合兩種感測的優點，進而彌補各自的缺點。
本發明實施例的物件的雙感測方法包括(但不僅限於)下列步驟：對雷達資訊進行第一聚類。對第一聚類的結果進行第二聚類。將第二聚類的結果作為一個或更多個興趣區域。依據興趣區域對結合資訊進行物件偵測及/或物件追蹤。雷達資訊包括空間中的多個感測點，且第一聚類用以決定那些感測點中的第一部分為一個或更多個物件。第二聚類用以決定第一聚類的結果為物件的那些感測點位於第一密集程度的區域。結合資訊是結合雷達資訊與影像所形成的，且雷達資訊的偵測區域重疊於影像的拍攝區域。
本發明一實施例的用於物件感測的運算裝置包括(但不僅限於)記憶體及處理器。記憶體用以儲存程式碼。處理器耦接記憶體。處理器經配置用以載入並執行程式碼以執行：對雷達資訊進行第一聚類，對第一聚類的結果進行第二聚類，將第二聚類的結果作為一個或更多個興趣區域，並依據興趣區域對結合資訊進行物件偵測及/或物件追蹤。雷達資訊包括空間中的多個感測點，且第一聚類用以決定那些感測點中的第一部分為一個或更多個物件。第二聚類用以決定第一聚類的結果為物件的那些感測點位於第一密集程度的區域。結合資訊是結合雷達資訊與影像所形成的，且雷達資訊的偵測區域重疊於影像的拍攝區域。
基於上述，依據本發明實施例的物件的雙感測方法及用於物件感測的運算裝置，對雷達資訊進行二次聚類，並據以作為雙 感測的結合資訊在物件偵測及/或物件追蹤所用的興趣區域。藉此，可提升偵測及追蹤的準確度，更能增進運算效率。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
1:感測系統
20:雷達
30:影像擷取裝置
100:運算裝置
110:記憶體
130:通訊收發器
150:處理器
S210~S240、S510~S520、S1510~S1560:步驟
G:群組
DR1、DRI:興趣區域
FR:固定區域
O1:物件
Orw、Ocw、Oc、Op:原點
xrw、yrw、zrw、xcw、ycw、zcw、xc、yc、zc、xp、yp、xcw、ycw、zcw、x0、y0、xnew、ynew:座標
β:偏航角度
θ:俯仰角度
Lx:水平距離
Ly:垂直距離
RIM:雷達影像
Heightradar_object:高度差異
yr:深度距離
yr_new:投影深度距離
α:夾角
MCA:多通道陣列
BT:第一框選區域
BI:第二框選區域
OA:重疊區域
圖1是依據本發明一實施例的感測系統的元件方塊圖。
圖2是依據本發明一實施例的物件的雙感測方法的流程圖。
圖3A是依據本發明一實施例的雷達資訊在空間中的感測點的示意圖。
圖3B是依據本發明一實施例的第一聚類的示意圖。
圖3C是依據本發明一實施例的第二聚類的示意圖。
圖4A是依據本發明一實施例的固定區域的示意圖。
圖4B是依據本發明一實施例的動態興趣區域的示意圖。
圖5是依據本發明一實施例的雙感測融合的流程圖。
圖6是依據本發明一實施例的雙感測的位置關係的示意圖。
圖7是依據本發明一實施例的雷達設置的空間示意圖。
圖8是依據本發明一實施例的雷達、相機及影像座標的示意圖。
圖9是依據本發明一實施例的雷達與物件的位置關係的示意圖。
圖10是依據本發明一實施例的雷達座標、雷達世界座標與偏航(yaw)角度的關係的示意圖。
圖11是依據本發明一實施例的相機座標、新相機座標與偏航角度的關係的示意圖。
圖12是依據本發明另一實施例的雙感測的位置關係的示意圖。
圖13是依據本發明一實施例的座標軸轉換的示意圖。
圖14是依據本發明一實施例的資訊融合的示意圖。
圖15是依據本發明一實施例的物件偵測及物件追蹤的流程圖。
圖16是依據本發明一實施例的交錯單元(Intersection of Union，IoU)的示意圖。
圖1是依據本發明一實施例的感測系統1的元件方塊圖。請參照圖1，感測系統1包括(但不僅限於)雷達20、影像擷取裝置30及運算裝置100。須說明的是，圖1以一台雷達20及一台影像擷取裝置30作為範例說明，然其數量不以此為限。
雷達20是將電波、光或聲波發射至空間中並偵測空間中的物件所反射的回波(echo)的裝置。在一實施例中，可依據回波決定諸如相對位置、相對速度、方向及/或強度的雷達資訊。
影像擷取裝置30可以是相機、攝影機、監視器、智慧型 手機或具備影像擷取功能的路側單元(Road Side Unit，RSU)，並據以擷取指定視野內的影像。
運算裝置100可以是智慧型手機、平板電腦、伺服器、雲端主機或電腦主機。運算裝置100包括(但不僅限於)記憶體110、通訊收發器130及處理器150。
記憶體110可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體110用以儲存程式碼、軟體模組、組態配置、資料(例如，影像、雷達資訊、感測結果等)或檔案，並待後文詳述其實施例。
通訊收發器130可以是支援諸如第四代(4G)或其他世代行動通訊、Wi-Fi、藍芽、紅外線、無線射頻辨識(Radio Frequency Identification，RFID)、乙太網路(Ethernet)、光纖網路等通訊收發器、序列通訊介面(例如RS-232)，也可以是通用串列匯流排(Universal Serial Bus，USB)、Thunderbolt或其他通訊傳輸介面。在本發明實施例中，通訊收發器130用以與其他電子裝置(例如，雷達20、影像擷取裝置30)傳送或接收資料。
處理器150耦接記憶體110及通訊收發器130。處理器150可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般 用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器150用以執行運算裝置100的所有或部份作業，且可載入並執行記憶體110所儲存的各程式碼、軟體模組、檔案及資料。在一些實施例中，處理器150的功能可透過軟體或晶片實現。
在一些實施例中，雷達20及影像擷取裝置30中的任一個可與運算裝置100整合成獨立裝置。
下文中，將搭配感測系統1中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖2是依據本發明一實施例的物件的雙感測方法的流程圖。請參照圖2，處理器150對雷達資訊進行第一聚類(clustering)(步驟S210)。具體而言，雷達資訊包括空間中的一個或更多個感測點。這些感測點是依據雷達20的回波所得出的。也就是說，雷達發出的電磁、光或聲波經空間中的物件反射的回波，可用於得出物件在空間中的感測點。例如，調頻連續波(Frequency Modulated Continuous Wave，FMCW)雷達在頻率掃描(sweep)期間發射變動頻率的連續波(CW)。受物件反射的回波與雷達20所發射的傳送訊號之間有特定頻率差。而這頻率差可用於決定物件與雷 達20之間的相對位置或距離。這些可得出相對位置或距離的物件在雷達的感測結果可形成一個或更多個感測點。
舉例而言，圖3A是依據本發明一實施例的雷達資訊在空間中的感測點的示意圖。請參照圖3A，假設雷達資訊以點雲圖形式，點雲圖中的感測點(如圖中所示的圓點)代表在空間中的對應位置可能有物件。
第一聚類用以決定那些感測點中的第一部分為一個或更多個物件。第一部分可以是雷達資訊中的全部的感測點或是部分的感測點。即，決定部分或全部的感測點是否有物件的存在。第一聚類所用的聚類法(又稱分群法)可以是k-平均(K-means)演算法、高斯混合模型(Gaussian Mixture Model，GMM)、平均平移(Mean-Shift)演算法、階層式(Hierarchical)分群法、譜(Spectral)分群演算法、DBSCAN(Density-Based Spatial Clustering of Applications with Noise)演算法或其他聚類/分群演算法。
以DBSCAN為例，可設定距離參數及點數(或稱群內的點的最少數量)參數。接著，將各感測點作為中央點並以距離參數作為半徑而形成一個圓。若圓中的感測點的數量大於點數參數，則將作為這圓的中央點的感測點作為核心點，且標記並連線圓中的其他感測點。若圓中的感測點的數量未大於點數參數，則作為這圓的中央點的感測點並非核心點，且圓中的其他感測點不會建立連線。接著，將已連接的感測點分配到相同群組。而其他離群(outlier)點(即，未連接的感測點)可能分配到不同群組。
須說明的是，在一些應用情境中，相較於K-means演算法，DBSCAN較適合自動化領域的應用。然而，本發明實施例不限制聚類法的類型。最終，形成群組的那些感測點可視為有物件，而未被分配到任一群組的感測點不會被視為物件。
例如，圖3B是依據本發明一實施例的第一聚類的示意圖。請參照圖3B，假設對圖3A的點雲圖進行第一聚類，位於圖3B的左上區域中的那些感測點可分配到一個群組G。
請參照圖2，處理器150對第一聚類的結果進行第二聚類(步驟S220)。具體而言，第二聚類用以決定第一聚類的結果為物件的那些感測點位於第一密集程度的區域。換句而言，針對第一聚類的結果為已分配到群組的感測點(例如，排除第一聚類是未分配到群組的感測點)再次聚類(即，第二聚類)，以決定哪些區域內的感測點較為密集或是較多物件。第一密集程度的區域是由第二聚類所得出的受分配到群組的那些感測點所形成的區域。而第二聚類所用的參數定義這第一密集程度。此外，第二聚類所用的聚類法(又稱分群法)可以是K-means演算法、GMM、Mean-Shift、階層式分群法、譜分群演算法、DBSCAN演算法或其他聚類/分群演算法。
在一實施例中，若採用DBSCAN演算法，則第二聚類的點數(例如，前述點數參數)少於第一聚類，且第二聚類的範圍(例如，前述距離參數)小於第一聚類。在一實施例中，第二聚類的點數(例如，前述距離參數)亦可以大於第一聚類，且第二聚類的範圍(例如，前述距離參數)大於第一聚類。
舉例而言，圖3C是依據本發明一實施例的第二聚類的示意圖。請參照圖3B及圖3C，假設圖3B的第一聚類的點數參數為4個且距離參數為40像素數。若以40像素數作為圓的半徑，則這圓內有超過4個感測點的中心感測點為核心點。最終，第一聚類形成3個核心點。圖3C的第二聚類的點數參數為2個且距離參數為30像素數。若以30像素數作為圓的半徑，則這圓內有超過2個感測點的中心感測點為核心點。最終，第二聚類形成1個核心點，且這一個核心點的圓可視為第一密集程度的區域。
須說明的是，聚類所用的參數還可能有其他變化。此外，前述第一聚類及第二聚類的結果可轉換成影像座標，即將群組中的感測點由雷達座標轉換至影像座標。而座標轉換將於後續實施例詳述。
請參照圖2，處理器150將第二聚類的結果作為一個或多個興趣區域(步驟S230)。具體而言，若第二聚類的結果為具有第一密集程度的區域或形成群組的區域中有感測點，則處理器150利用這區域內的感測點形成(動態)興趣區域。興趣區域的形狀及大小可事先定義或依據使用者操作所輸入的設定而決定。在一實施例中，處理器150可將具有第一密集程度的區域中的感測點的中心作為興趣區域的中心。例如，第二聚類的核心為興趣區域的中心。以圖3C為例，核心點大致位於興趣區域DR1的中心。
另一方面，若第二聚類的結果為未具有第一密集程度的區域或未形成群組，則處理器150使用一個或更多個固定區域作 為(固定)興趣區域。這些固定區域是事先定義的。例如，依據先前偵測或追蹤結果所得出的區域、或是任一指定區域。
舉例而言，圖4A是依據本發明一實施例的固定區域FR的示意圖，且圖4B是依據本發明一實施例的(動態)興趣區域DRI的示意圖。請參照圖4A及圖4B，固定區域FR中沒有物件。而第二聚類所得出的興趣區域DRI中有物件O1。也就是說，第二聚類所得出第一密集程度的區域可反映出物件O1的存在，並有助於後續物件偵測或追蹤。
請參照圖2，處理器150依據一個或更多個興趣區域對結合資訊進行物件偵測及/或物件追蹤(步驟S240)。具體而言，如同前述說明，二次聚類所得出的興趣區域有助於物件偵測及/或物件追蹤。另一方面，結合資訊是結合雷達資訊與影像所形成的，且雷達資訊的偵測區域重疊於影像的拍攝區域。影像可透過影像擷取裝置30擷取。也就是說，雷達20的偵測區域部分或全部重疊於影像擷取裝置30的拍攝區域(或稱視野)。
而為了結合雷達及影像感測的特點，需先整合/融合兩類資訊。圖5是依據本發明一實施例的雙感測融合的流程圖。請參照圖5，在一實施例中，處理器150可將雷達資訊中的那些感測點在空間上的座標轉換成多個影像座標，以產生經轉換雷達資訊(步驟S510)。這經轉換雷達資訊包括那些影像座標上的雷達資訊。也就是，雷達資訊映射到與影像相同的座標系。雷達20可用於取得雷達資訊，且影像擷取裝置30用於取得影像。值得注意的是，雷 達20及影像擷取裝置30的設置位置及感測方向不同。例如，圖6是依據本發明一實施例的雙感測的位置關係的示意圖。請參照圖6，雷達20設於影像擷取裝置30上方。因此，兩種資訊融合之前可先校正資訊。
首先，處理器150可取得雷達20設置的姿態。這姿態可三個垂直軸上的旋轉角度(例如，俯仰(Pitch)、偏航(Yaw)及水平(Horizontal)(或是翻滾(Roll))角度)來定義。圖7是依據本發明一實施例的雷達20設置的空間示意圖。請參照圖7。為了方便說明，以零度的水平角度為例，但不以此為限制。
圖8是依據本發明一實施例的雷達、相機及影像座標的示意圖。請參照圖8，處理器150可將雷達世界座標Orw-xrwyrwzrw(Orw為原點，xrw、yrw、zrw分別為三軸的座標)轉換到相機世界座標Ocw-xcwycwzcw(Ocw為原點，xcw、ycw、zcw分別為三軸的座標)。雷達世界座標是代表雷達20的座標，而相機世界座標是代表影像擷取裝置30的座標。處理器150可將相機世界座標Ocw-xcwycwzcw轉換到相機座標Oc-xcyczc(Oc為原點，xc、yc、zc分別為三軸的座標)。這相機座標Oc-xcyczc是影像擷取裝置30在水平軸(例如，座標ycw對應的軸)形成俯仰角度θ下的拍攝視野所形成的座標系中的座標。接著，處理器150可將相機座標Oc-xcyczc轉換到影像座標Op-xpyp(也就是影像擷取裝置30所擷取的影像中的座標，Op為原點，xp、yp分別為二軸的座標)。
更具體而言，針對雷達世界座標Orw-xrwyrwzrw至相機世界 座標Ocw-xcwycwzcw的轉換，由於雷達20所取得的初始雷達資訊僅是二維資訊，因此僅能得出雷達20與物件在二維的相對距離。為了取得雷達世界座標，處理器150可決定雷達20的偏航角度及雷達20與物件之間的高度差異。
圖9是依據本發明一實施例的雷達20與物件的位置關係的示意圖。請參照圖9，由於雷達20缺少一軸(例如，垂直軸)的資訊，因此需要依據高度差異決定投影深度距離yr_new。yr是雷達20與物件之間的深度距離。而Heightradar_object是雷達20與物件之間的高度差異。因此，投影深度距離yr_new可由方程式(1)得出：
Figure 111118729-A0305-02-0014-1
圖10是依據本發明一實施例的雷達座標、雷達世界座標與偏航(yaw)角度的關係的示意圖。請參照圖10，β是雷達20的偏航角度。雷達座標與雷達世界座標的座標關係可由方程式(2)、(3)得出：x rw =x r ＊cosβ+y r_new ＊sinβ...(2)
y rw =(-x r ＊sinβ)+y r_new ＊cosβ...(3)
在一實施例中，處理器150可依據雷達20及影像擷取裝置30的相對位置設定雷達世界座標及相機世界座標的座標關係。這座標關係可由方程式(4)、(5)得出：x cw =x rw -L x ...(4)
y cw =y rw -L y ...(5) Lx及Ly為雷達20與影像擷取裝置30之間的水平距離及垂直距離(即，相對位置)。
接著，處理器150可依據這座標關係決定雷達資訊的各感測點所對應的那些影像座標。雷達資訊中的任一個感測點是依序自雷達座標、雷達世界座標、相機世界座標及相機座標而轉換成一個影像座標。具體而言，由雷達座標、雷達世界座標至相機世界座標的轉換如前述說明，於此不再贅述。接著，針對相機世界座標至相機座標的轉換，並可由方程式(6)得出：
Figure 111118729-A0305-02-0015-2
 θ為俯仰角度，且H為影像感測裝置30相對於地面的高度。
接著，同樣考慮偏航角度β，圖11是依據本發明一實施例的相機座標、新相機座標與偏航角度的關係的示意圖。請參照圖11，針對(原)相機座標至新相機座標的轉換，可由方程式(7)、(8)、(9)得出：x c_new =x c ＊cosβ+z c ＊sinβ...(7)
y c_new =y c ...(8)
z c_new =(-x c ＊sinβ)+y c ＊cosβ...(9)須說明的是，若未有偏航角度β，則可忽略相機座標轉換。
接著，針對相機座標至影像座標的轉換，可由方程式(10)、(11)得出：
Figure 111118729-A0305-02-0015-3
Figure 111118729-A0305-02-0016-4
須說明的是，不限於如圖6所示的雷達20與影像擷取裝置30的位置關係，位置關係還可能有其他變化。例如，圖12是依據本發明另一實施例的雙感測的位置關係的示意圖。請參照圖12，雷達20位於影像擷取裝置30左邊。相似地，可透過改變方程式(4)、(5)中的水平距離Lx及垂直距離Ly來更新座標轉換。
在一實施例中，雷達20與影像擷取裝置30皆未朝前感測。例如，水平角度不為零。因此，可進行座標軸轉換。例如，圖13是依據本發明一實施例的座標軸轉換的示意圖。請參照圖13，新座標軸與原座標軸的關係可由方程式(12)得出：
Figure 111118729-A0305-02-0016-5
 α為新座標軸與原座標軸之間的夾角。
雷達資訊轉換至影像座標之後，處理器150可結合經轉換雷達資訊(包括影像座標上的雷達資訊)及影像，以產生結合資訊。圖14是依據本發明一實施例的資訊融合的示意圖。請參照圖14，在一實施例中，雷達資訊中的第一感測類型包括相對距離、相對速度及/或強度。影像中的第二感測類型包括色彩空間定義的多個顏色類型。例如，RGB(紅綠藍)色彩空間有紅、綠及藍三種顏色類型。HSV(色相-飽和度-明度)有色相、飽和度及明度三種顏色類型。處理器150可依據第一感測類型及第二感測類型將經轉換雷達資訊及影像結合成多個通道的感測影像(步驟S520)。通道分別對應到相對距離、相對速度及強度中的至少一者、以及那些顏色類型。
值得注意的是，深度學習模型所用的特徵圖可依據顏色類型區分通道。以RGB為例，影像IM包括三個通道。為了將雷達資訊與影像共同輸入至深度學習模型，經轉換雷達資訊可依據感測類型區分成多個通道。例如，經轉換雷達資訊是雷達資訊映射到影像座標後的雷達影像RIM。雷達影像RIM包括相對距離、相對速度及強度三個通道。而在步驟S520中，處理器150將影像IM及雷達影像RIM串接在一起，以形成多通道陣列MCA(即，多通道陣列MCA)。
須說明的是，在其他實施例中，雷達影像RIM可僅取三個通道中的任兩者或任一者與影像IM融合。此外，假設雷達影像RIM的像素值限制在0~255，則可設定各感測類型的上限值。例如，最大相對距離為90公尺，最大相對速度為每秒33.3公尺，且最大強度為100dBw。雷達影像RIM中的相對距離、相對速度及強度的轉換如下：D=d＊2.83...(13)
V=|v|＊7.65...(14)
I=(10log 10(10 SNR＊0.01＊(P Noise ＊0.1)))＊2.55...(15)d為原相對距離，D為新相對距離，v為原相對速度，V為新相對速度，i為原強度，I為新強度。此外，SNR為訊雜比，PNoise為雜訊功率。若新數值(例如，新相對距離、新相對速度或新強度)仍超過255，則直接設定新數值為255。決定新數值之後，可將雷達影像RIM與影像IM融合成多通道陣列MCA。此外，依據實際需求， 可將多通道陣列MCA中各通道的尺寸調整成一致。
接著，針對物件偵測及物件追蹤。圖15是依據本發明一實施例的物件偵測及物件追蹤的流程圖。請參照圖15，處理器150可使用動態興趣區域及預設興趣區域(即，固定區域)中的一者(步驟S1510)。如步驟S230的說明，依據第二聚類的結果決定選擇第一密集程度的區域形成(動態)興趣區域或選擇固定區域作為興趣區域，於此不再贅述。
針對物件偵測(步驟S1520)，處理器150可將那些通道的感測影像(例如，圖14的多通道陣列MCA)輸入至用於物件偵測的偵測模型，以輸出偵測模型的預測結果。物件偵測的演算法有很多種。例如，YOLO(You Only Look Once)、SSD(Single Shot Detector)或R-CNN。這結合資訊僅是影像資料。因此，結合資訊可直接輸入至偵測模型(即，基於前述物件偵測演算法所訓練出的預測模型)，並據以輸出預測結果。例如，物件的類型及其位置。在一些實施例中，可採用COCO、VisDrone或其他資料集來偵測物件偵測模型的訓練樣本的總量。
而興趣區域可用於物件偵測。如圖4A及圖4B所示，若採用動態興趣區域DRI，則可在動態興趣區域DRI中偵測到物件O1。在一實施例中，處理器150可將興趣區域應用在多維度物件偵測，並據以改善較小物件的偵測準確度。例如，處理器150可依據興趣區域直接裁切感測影像並可視需求調整尺寸。這裁切的感測影像可輸入至偵測模型。此外，未裁切的感測影像也可一併輸入 至偵測模型。
針對(多)物件追蹤(步驟S1530)，物件追蹤的主要功能在於追蹤前後影像訊框(frame)所框選的相同物件。物件追蹤的演算法也有很多種。例如，Kalman濾波器、光流法(optical flow)、SORT(Simple Online and Realtime Tracking)或Deep SORT、聯合檢測及嵌入向量(Joint Detection and Embedding，JDE)。
處理器150可依據物件偵測的預測結果進行物件追蹤。例如，物件偵測的預測結果可作為物件追蹤的輸入。
在一實施例中，預測結果可經預處理。處理器150可決定物件偵測的預測結果中的第一框選區域(框選一個或更多個物件)及物件追蹤的第二框選區域(框選一個或更多個物件)的重疊區域。這重疊區域是第一框選區域及第二框選區域的交集。舉例而言，圖16是依據本發明一實施例的交錯單元(Intersection of Union，IoU)的示意圖。請參照圖16，第一框選區域BT與第二框選區域BI的交集為重疊區域OA(圖中點網底的區域)。
處理器150可依據重疊區域所占總區域的比例決定第一框選區域及第二框選區域中的物件是否相同。這總區域是第一框選區域及第二框選區域的聯集。交錯單元是重疊區域所占總區域的比例。即，重疊區域的面積除以總區域的面積的結果。
以圖16為例，這交錯單元包括物件追蹤的追蹤器所框選的部分第二框選區域BI及物件偵測所框選的部分第一框選區域BT。若交錯單元的數值大於門檻值，則處理器150可將第一框選 區域BT與第二框選區域BI中的物件視為相同物件。若交錯單元的數值未大於門檻值，則處理器150可將第一框選區域BT與第二框選區域BI中的物件視為不同物件。
在一實施例中，處理器150可偵測一個或更多個固定區域中是否有物件(步驟S1540)。這固定區域是事先定義的。一個或更多個固定區域的第二部分未重疊於第二聚類的結果為第一密集程度的區域或形成群組的區域。處理器150可依據固定區域的偵測結果更新興趣區域。若固定區域中有偵測到物件，則處理器150可更新興趣區域。例如，依據物件在影像中的位置形成興趣區域。若固定區域中未有偵測到物件，則處理器150可禁能/忽略/不更新興趣區域。
處理器150可將預測結果及/或追蹤結果與雷達資訊相關聯(步驟S1550)。由於雷達資訊與影像的異質性，可透過資料相關聯來將雷達20所偵測到的感測點映射到物件偵測及/或物件追蹤的框選區域。在一實施例中，處理器150可利用組合最佳化演算法配對雷達資訊的一個或更多個感測點及感測影像中的一個或更多個目標物件(受框選)。組合最佳化演算法例如是匈牙利(Hungarian)演算法、K-M演算法(Kuhn-Munkres Algorithm)或是對偶方法。以匈牙利演算法為例，歐幾里得(Euclidean)距離及馬哈拉諾比斯(Mahalanohis)距離可應用於資料相關聯。由於雷達資訊與影像使用不同維度，因此馬哈拉諾比斯距離更適合異質性資料的相關聯，但不以此為限。
最後，可輸出結果(步驟S1560)。例如，預測結果、追蹤結果及/或相關聯的資料。
綜上所述，在本發明實施例的雙感測方法及用於物件感測的運算裝置中，對雷達資訊進行二次聚類以決定動態興趣區域，並依據動態興趣區域對雷達與影像擷取裝置的結合資訊進行物件偵測及/或物件追蹤。藉此，透過異質資料融合，增進物件偵測及/或追蹤的辨識準確度。此外，本發明實施例可進一步應用於物件移動軌跡分析、交通車流量分析、視覺死角來車警示等智慧交通應用。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S240:步驟

Claims (18)

  1. 一種物件的雙感測方法，包括：對一雷達資訊進行一第一聚類，其中該雷達資訊包括一空間中的多個感測點，且該第一聚類用以決定該些感測點中的一第一部分為至少一物件；對該第一聚類的結果進行一第二聚類，其中該第二聚類用以決定該第一聚類的結果為該至少一物件的該些感測點位於一第一密集程度的區域；將該第二聚類的結果作為至少一興趣區域；反應於該第二聚類未有該第一密集程度的區域，使用至少一固定區域作為該至少一興趣區域，其中該至少一固定區域是事先定義的；以及依據該至少一興趣區域對一結合資訊進行一物件偵測及一物件追蹤中的至少一者，其中該結合資訊是結合該雷達資訊與一影像所形成的，且該雷達資訊的偵測區域重疊於該影像的拍攝區域。
  2. 如請求項1所述的物件的雙感測方法，其中該第二聚類的點數少於該第一聚類，且該第二聚類的範圍小於該第一聚類；或是，其中該第二聚類的點數大於該第一聚類，且該第二聚類的範圍大於該第一聚類。
  3. 如請求項1所述的物件的雙感測方法，其中將該第二聚類的結果作為該至少一興趣區域的步驟包括：將該第一密集程度的區域中的感測點的中心作為該至少一興 趣區域的中心。
  4. 如請求項1所述的物件的雙感測方法，更包括：將該雷達資訊中的該些感測點在該空間上的座標轉換成多個影像座標，以產生一經轉換雷達資訊，其中該經轉換雷達資訊包括該些影像座標上的雷達資訊；以及結合該經轉換雷達資訊及該影像，以產生該結合資訊。
  5. 如請求項4所述的物件的雙感測方法，其中將該雷達資訊中的該些感測點在該空間上的座標轉換成該些影像座標的步驟更包括：依據一雷達及一影像擷取裝置的一相對位置設定一雷達世界座標及一相機世界座標的一座標關係，其中該雷達用於取得該雷達資訊，且該影像擷取裝置用於取得該影像；以及依據該座標關係決定該些影像座標，其中該雷達資訊中的該些感測點是依序自一雷達座標、該雷達世界座標、該相機世界座標及一相機座標而轉換成該些影像座標中的一者。
  6. 如請求項4所述的物件的雙感測方法，其中該雷達資訊中的一第一感測類型包括一相對距離、一相對速度及一強度中的至少一者，該影像中的一第二感測類型包括一色彩空間定義的多個顏色類型，且結合該經轉換雷達資訊及該影像的步驟包括：依據該第一感測類型及該第二感測類型將該經轉換雷達資訊及該影像結合成多個通道的感測影像，其中該些通道分別對應到該相對距離、該相對速度及該強度中的至少一者、以及該些顏色類 型。
  7. 如請求項6所述的物件的雙感測方法，其中依據該至少一興趣區域對該結合資訊進行該物件偵測及該物件追蹤中的至少一者的步驟包括：將該些通道的感測影像輸入至用於該物件偵測的一偵測模型，以輸出該偵測模型的一預測結果；以及依據該預測結果進行該物件追蹤。
  8. 如請求項1或7所述的物件的雙感測方法，其中依據該至少一興趣區域對該結合資訊進行該物件偵測及該物件追蹤中的至少一者的步驟包括：決定該物件偵測的預測結果中的一第一框選區域及該物件追蹤的一第二框選區域的一重疊區域，其中該重疊區域是該第一框選區域及該第二框選區域的交集；以及依據該重疊區域所占一總區域的比例決定該第一框選區域及該第二框選區域中的一物件是否相同，其中該總區域是該第一框選區域及該第二框選區域的聯集。
  9. 如請求項1所述的物件的雙感測方法，其中依據該至少一興趣區域對該結合資訊進行該物件偵測及該物件追蹤中的至少一者的步驟包括：偵測至少一固定區域中是否有該至少一物件，其中該至少一固定區域是事先定義的，且該至少一固定區域的一第二部分未重疊於該第二聚類的結果；以及 依據該至少一固定區域的偵測結果更新該至少一興趣區域。
  10. 一種用於物件感測的運算裝置，包括：一記憶體，用以儲存一程式碼；以及一處理器，耦接該記憶體，經配置用以載入並執行該程式碼以執行：對一雷達資訊進行一第一聚類，其中該雷達資訊包括一空間中的多個感測點，且該第一聚類用以決定該些感測點中的一第一部分為至少一物件；對該第一聚類的結果進行一第二聚類，其中該第二聚類用以決定該第一聚類的結果為該至少一物件的該些感測點位於一第一密集程度的區域；將該第二聚類的結果作為至少一興趣區域；反應於該第二聚類未有該第一密集程度的區域，使用至少一固定區域作為該至少一興趣區域，其中該至少一固定區域是事先定義的；以及依據該至少一興趣區域對一結合資訊進行一物件偵測及一物件追蹤中的至少一者，其中該結合資訊是結合該雷達資訊與一影像所形成的，且該雷達資訊的偵測區域重疊於該影像的拍攝區域。
  11. 如請求項10所述的用於物件感測的運算裝置，其中該第二聚類的點數少於該第一聚類，且該第二聚類的範圍小於 該第一聚類；或是，其中該第二聚類的點數大於該第一聚類，且該第二聚類的範圍大於該第一聚類。
  12. 如請求項10所述的用於物件感測的運算裝置，其中該處理器更經配置用以：將該第一密集程度的區域中的感測點的中心作為該至少一興趣區域的中心。
  13. 如請求項10所述的用於物件感測的運算裝置，其中該處理器更經配置用以：將該雷達資訊中的該些感測點在該空間上的座標轉換成多個影像座標，以產生一經轉換雷達資訊，其中該經轉換雷達資訊包括該些影像座標上的雷達資訊；以及結合該經轉換雷達資訊及該影像，以產生該結合資訊。
  14. 如請求項13所述的用於物件感測的運算裝置，其中該處理器更經配置用以：依據一雷達及一影像擷取裝置的一相對位置設定一雷達世界座標及一相機世界座標的一座標關係，其中該雷達用於取得該雷達資訊，且該影像擷取裝置用於取得該影像；以及依據該座標關係決定該些影像座標，其中該雷達資訊中的該些感測點是依序自一雷達座標、該雷達世界座標、該相機世界座標及一相機座標而轉換成該些影像座標中的一者。
  15. 如請求項13所述的用於物件感測的運算裝置，其中該雷達資訊中的一第一感測類型包括一相對距離、一相對速度 及一強度中的至少一者，該影像中的一第二感測類型包括一色彩空間定義的多個顏色類型，且該處理器更經配置用以：依據該第一感測類型及該第二感測類型將該經轉換雷達資訊及該影像結合成多個通道的感測影像，其中該些通道分別對應到該相對距離、該相對速度及該強度中的至少一者、以及該些顏色類型。
  16. 如請求項15所述的用於物件感測的運算裝置，其中該處理器更經配置用以：將該些通道的感測影像輸入至用於該物件偵測的一偵測模型，以輸出該偵測模型的一預測結果；以及依據該預測結果進行該物件追蹤。
  17. 如請求項10或16所述的用於物件感測的運算裝置，其中該處理器更經配置用以：決定該物件偵測的預測結果中的一第一框選區域及該物件追蹤的一第二框選區域的一重疊區域，其中該重疊區域是該第一框選區域及該第二框選區域的交集；以及依據該重疊區域所占一總區域的比例決定該第一框選區域及該第二框選區域中的一物件是否相同，其中該總區域是該第一框選區域及該第二框選區域的聯集。
  18. 如請求項10所述的用於物件感測的運算裝置，其中該處理器更經配置用以：偵測至少一固定區域中是否有該至少一物件，其中該至少一 固定區域是事先定義的，且該至少一固定區域的一第二部分未重疊於該第二聚類的結果；以及依據該至少一固定區域的偵測結果更新該至少一興趣區域。
TW111118729A 2022-05-19 2022-05-19 物件的雙感測方法及用於物件感測的運算裝置 TWI819613B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW111118729A TWI819613B (zh) 2022-05-19 2022-05-19 物件的雙感測方法及用於物件感測的運算裝置
CN202210684376.3A CN117095365A (zh) 2022-05-19 2022-06-16 物件的双感测方法及用于物件感测的运算装置
US17/951,115 US20230375694A1 (en) 2022-05-19 2022-09-23 Dual sensing method of object and computing apparatus for object sensing
EP22202707.0A EP4279954A1 (en) 2022-05-19 2022-10-20 Dual sensing method of object and computing apparatus for object sensing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111118729A TWI819613B (zh) 2022-05-19 2022-05-19 物件的雙感測方法及用於物件感測的運算裝置

Publications (2)

Publication Number Publication Date
TWI819613B true TWI819613B (zh) 2023-10-21
TW202346894A TW202346894A (zh) 2023-12-01

Family

ID=83903328

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111118729A TWI819613B (zh) 2022-05-19 2022-05-19 物件的雙感測方法及用於物件感測的運算裝置

Country Status (4)

Country Link
US (1) US20230375694A1 (zh)
EP (1) EP4279954A1 (zh)
CN (1) CN117095365A (zh)
TW (1) TWI819613B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865388A (zh) * 2019-11-28 2020-03-06 芜湖汽车前瞻技术研究院有限公司 摄像机与激光雷达的联合标定方法、装置及存储介质
CN112847343A (zh) * 2020-12-29 2021-05-28 深圳市普渡科技有限公司 动态目标跟踪定位方法、装置、设备和存储介质
WO2021217518A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 雷达点云聚类方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US11462054B2 (en) * 2019-10-21 2022-10-04 Analog Devices International Unlimited Company Radar-based indoor localization and tracking system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865388A (zh) * 2019-11-28 2020-03-06 芜湖汽车前瞻技术研究院有限公司 摄像机与激光雷达的联合标定方法、装置及存储介质
WO2021217518A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 雷达点云聚类方法和装置
CN112847343A (zh) * 2020-12-29 2021-05-28 深圳市普渡科技有限公司 动态目标跟踪定位方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP4279954A1 (en) 2023-11-22
TW202346894A (zh) 2023-12-01
CN117095365A (zh) 2023-11-21
US20230375694A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
US11915502B2 (en) Systems and methods for depth map sampling
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
WO2020083024A1 (zh) 障碍物的识别方法和装置、存储介质、电子装置
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
US8385599B2 (en) System and method of detecting objects
CN110782465B (zh) 一种基于激光雷达的地面分割方法、装置及存储介质
CN109283538A (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN111045000A (zh) 监测系统和方法
TWI726278B (zh) 行車偵測方法、車輛及行車處理裝置
WO2022206517A1 (zh) 一种目标检测方法及装置
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
TWI819613B (zh) 物件的雙感測方法及用於物件感測的運算裝置
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
CN115131756A (zh) 一种目标检测方法及装置
CN115205375A (zh) 检测目标的方法、跟踪目标的方法及装置
CN114693799A (zh) 参数标定方法、目标物体跟踪方法、设备和系统
TWI851992B (zh) 物件追蹤整合方法及整合裝置
CN115331421B (zh) 路侧多传感环境感知方法、装置及系统
CN117576653A (zh) 目标追踪方法、装置、计算机设备和存储介质
CN116580365A (zh) 一种毫米波雷达与视觉融合的目标车辆检测方法及系统
Shojaeipour et al. Laser-pointer rangefinder between mobile robot and obstacles via webcam based
CN117169828A (zh) 外参标定方法、设备以及系统
CN117523428A (zh) 基于飞行器平台的地面目标检测方法和装置
CN118135554A (zh) 基于反光标志物的位姿识别方法及可移动设备