TWI834771B - 相機與雷達訊框之早期融合 - Google Patents

相機與雷達訊框之早期融合 Download PDF

Info

Publication number
TWI834771B
TWI834771B TW108143476A TW108143476A TWI834771B TW I834771 B TWI834771 B TW I834771B TW 108143476 A TW108143476 A TW 108143476A TW 108143476 A TW108143476 A TW 108143476A TW I834771 B TWI834771 B TW I834771B
Authority
TW
Taiwan
Prior art keywords
camera
radar
feature image
frame
frames
Prior art date
Application number
TW108143476A
Other languages
English (en)
Other versions
TW202109078A (zh
Inventor
拉狄卡 迪利普 果瓦伊卡
瑞維 泰賈 蘇克哈法西
丹尼爾 亨德里克斯 弗朗西斯庫斯 馮締吉內
本斯 梅吉爾
艾明 安薩里
狄陽 林
桑德 蘇布拉馬尼亞安
吳新宙
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202109078A publication Critical patent/TW202109078A/zh
Application granted granted Critical
Publication of TWI834771B publication Critical patent/TWI834771B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93276—Sensor installation details in the windshield area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/17—Coherent light, e.g. laser signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/30—Radio signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示用於融合相機與雷達訊框以在一或多個空間域中執行物件偵測之技術。在一態樣中，一主車輛(host vehicle)之一車載電腦自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序，以產生一第一相機特徵映像；對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序，以產生一第一雷達特徵映像；將該第一相機特徵映像及/或該第一雷達特徵映像轉換成一公共空間域；及串接該第一雷達特徵映像與該第一相機特徵映像，以在該公共空間域中產生一第一串接特徵映像。

Description

相機與雷達訊框之早期融合
本發明之態樣大體上係關於相機與雷達訊框之早期融合。
通常在車輛上採用雷達及相機感測器來實現系統之增強型車輛安全性(諸如自適應巡航控制(ACC)、前向碰撞警示(FCW)、經由自控制動的碰撞減輕或避免)、預碰撞功能(諸如安全氣囊裝備或預啟動)及車道偏離警示(LDW)）。採用雷達及相機感測器兩者之系統可提供高級的主動安全性能力且在生產車輛時日益可用。
一或多個相機感測器安裝於車輛前方(及可能地車輛的後方及側面)的場景之車輛捕捉影像上。車輛內的數位信號處理器(DSP)接著嘗試識別捕捉到的影像內之物件。此類物件可為其他車輛、行人、道路標識、行進道路內的物件等。雷達系統亦可用於沿著行進道路偵測物件。雷達系統利用無線電波沿著道路測定物件之距離、海拔、方向及/或速度。傳輸器傳輸在物件之路徑中自物件彈出的無線電波之脈衝。自物件反射之脈衝將較小部分的無線電波能量返回至接收器，該接收器通常位於與傳輸器相同的位置處。
雷達系統在各種天氣條件下提供對物距及速度之合理準確的量測。然而，雷達系統通常具有不足以識別偵測到之物件的特徵的解析度。然而，相機感測器通常確實提供足以識別物件特徵之解析度。自捕捉到的影像提取之物件形狀及外觀的提示可提供足以對不同物件進行分類之特徵。考慮到兩個感測器之互補特性，來自兩個感測器之資料可經組合(稱為「融合」)於單個系統中以用於改良效能。
雷達視覺融合方法主要在融合層級上有差異。早期融合組合原始資料之若干源以產生經預期比隔離中的輸入中之任一者具有更多直接信息性之輸出。在早期融合中，各種特徵(諸如邊緣、拐角、線、紋理參數等)組合成接著供其他處理階段使用之特徵映像。在高級融合中，每一輸入源皆產生決策，且該等決策經融合。
下文呈現與本文中所揭示之一或多個態樣有關的簡化發明內容。因此，不應將以下發明內容視為與所有預期態樣有關之廣泛綜述，亦不應將以下發明內容視作識別與所有預期態樣有關之關鍵或重要元素或劃定與任何特定態樣相關聯之範疇。因此，以下發明內容之唯一目的在於在下文呈現之詳細描述之前，以簡化形式呈現同與本文中所揭示之機制有關的一或多個態樣有關的某些概念。
在一態樣中，一種融合相機與雷達訊框以在由一主車輛之一車載電腦執行之一或多個空間域中執行物件偵測之方法包括：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序，以產生一第一相機特徵映像；對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序，以產生一第一雷達特徵映像；將該第一相機特徵映像及/或該第一雷達特徵映像轉換成一公共空間域；串接該第一雷達特徵映像與該第一相機特徵映像以在該公共空間域中產生一第一串接特徵映像；及在該第一串接特徵映像中偵測一或多個物件。
在一態樣中，一種融合相機與雷達訊框以在由一主車輛之一車載電腦執行的一或多個空間域中執行物件偵測之方法包括：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；將一編碼器-解碼器網路應用於該第一相機訊框上，以在該第一雷達訊框之一空間域中產生一第一相機特徵映像；組合該第一雷達訊框與該第一相機特徵映像，以在該第一雷達訊框之該空間域中產生一第一組合特徵映像；及在該第一組合特徵映像中偵測一或多個物件。
在一態樣中，一種一主車輛之車載電腦包括：至少一個處理器，其經組態以執行以下操作：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序，以產生一第一相機特徵映像；對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序，以產生一第一雷達特徵映像；將該第一相機特徵映像及/或該第一雷達特徵映像轉換成一公共空間域；串接該第一雷達特徵映像與該第一相機特徵映像以在該公共空間域中產生一第一串接特徵映像；及在該第一串接特徵映像中偵測一或多個物件。
在一態樣中，一種一主車輛之車載電腦包括：至少一個處理器，其經組態以執行以下操作：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；將一編碼器-解碼器網路應用於該第一相機訊框上，以在該第一雷達訊框之一空間域中產生一第一相機特徵映像；組合該第一雷達訊框與該第一相機特徵映像，以在該第一雷達訊框之該空間域中產生一第一組合特徵映像；及在該第一組合特徵映像中偵測一或多個物件。
在一態樣中，一種一主車輛之車載電腦包括：用於自該主車輛一相機感測器接收複數個相機訊框之構件；用於自該主車輛之一雷達感測器接收複數個雷達訊框之構件；用於對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序以產生一第一相機特徵映像之構件；用於對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序以產生一第一雷達特徵映像之構件；用於將該第一相機特徵映像及/或該第一雷達特徵映像轉換成一公共空間域之構件；用於串接該第一雷達特徵映像與該第一相機特徵映像以在該公共空間域中產生一第一串接特徵映像之構件；及用於在該第一串接特徵映像中偵測一或多個物件的構件。
在一態樣中，一種一主車輛之車載電腦包括：用於自該主車輛之一相機感測器接收複數個相機訊框之構件；用於自該主車輛之一雷達感測器接收複數個雷達訊框之構件；用於將一編碼器-解碼器網路應用於該第一相機訊框上以在該第一雷達訊框之一空間域中產生一第一相機特徵映像之構件；用於組合該第一雷達訊框與該第一相機特徵映像以在該第一雷達訊框之該空間域中產生一第一組合特徵映像之構件；及用於在該第一組合特徵映像中偵測一或多個物件之構件。
在一態樣中，一種儲存電腦可執行指令之非暫時性電腦可讀媒體包括：電腦可執行指令，其包含：指示一主車輛之一車載電腦自該主車輛之一相機感測器接收複數個相機訊框之至少一個指令；指示該車載電腦自該主車輛之一雷達感測器接收複數個雷達訊框之至少一個指令；指示該車載電腦對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序以產生一第一相機特徵映像之至少一個指令；指示該車載電腦對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序以產生一第一雷達特徵映像之至少一個指令；指示該車載電腦將該第一相機特徵映像及/或該第一雷達特徵映像轉換成一公共空間域之至少一個指令；指示該車載電腦串接該第一雷達特徵映像與該第一相機特徵映像以在該公共空間域中產生一第一串接特徵映像之至少一個指令；及指示該車載電腦在該第一串接特徵映像中偵測一或多個物件之至少一個指令。
在一態樣中，一種儲存電腦可執行指令之非暫時性電腦可讀媒體包括：電腦可執行指令，其包含：指示一主車輛之一車載電腦自該主車輛之一相機感測器接收複數個相機訊框之至少一個指令；指示該車載電腦自該主車輛的一雷達感測器接收複數個雷達訊框之至少一個指令；指示該車載電腦將一編碼器-解碼器網路應用於該第一相機訊框上以在該第一雷達訊框之一空間域產生一第一相機特徵映像之至少一個指令；指示該車載電腦組合該第一雷達訊框與該第一相機特徵映像以在該第一雷達訊框之該空間域中產生一第一組合特徵映像之至少一個指令；及指示該車載電腦在該第一組合特徵映像中偵測一或多個物件之至少一個指令。
對於熟習此項技術者而言，基於隨附圖式及詳細描述，與本文中所揭示之態樣相關聯的其他目標及優勢將顯而易見。
本專利申請案主張2018年11月30日申請之名稱為「EARLY FUSION OF CAMERA AND RADAR FRAMES」的美國臨時申請案第62/774,020號之益處，該申請案已讓與給其受讓人，且以全文引用之方式明確地併入本文中。
本發明之態樣在以下描述及針對出於說明目的而提供之各種實例的相關圖式中提供。可在不脫離本發明之範疇的情況下設計替代態樣。此外，可不詳細地描述或可省略本發明之熟知態樣以免混淆更多相關細節。
熟習此項技術者應瞭解，下文所描述之資訊及信號可使用多種不同技術及技藝中之任一者來表示。舉例而言，部分取決於特定應用、部分取決於所要設計、部分取決於對應技術等，貫穿以下描述參考之資料、指令、命令、資訊、信號、位元、符號及晶片可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合表示。
另外，就待由例如計算裝置之元件執行之動作的序列而言描述許多態樣。將認識到，本文中所描述之各種動作可藉由具體電路(例如特殊應用積體電路(ASIC))、藉由由一或多個處理器執行之程式指令或藉由兩者之組合來執行。另外，對於本文中所描述之態樣中的每一者，任何此態樣之對應形式可實施為例如「經組態以執行所描述動作之邏輯」。
現在參看圖 1 ，說明包括雷達-相機感測器模組120之車輛100 (稱為「自我車輛(ego vehicle)」或「主車輛」)，該雷達-相機感測器模組120位於車輛100在擋風玻璃112後方的內部隔室中。雷達-相機感測器模組120包括雷達組件，該雷達組件經組態以在水平覆蓋區域150 (藉由虛線展示)中經由擋風玻璃112傳輸雷達信號，且接收自覆蓋區域150內的任何物件反射之經反射雷達信號。雷達-相機感測器模組120進一步包括用於基於在水平覆蓋區域160 (藉由虛線展示)中經由擋風玻璃112看見及捕捉的光波來捕捉影像之相機組件。
儘管圖1說明其中雷達組件及相機組件為共用殼體中之共置組件的實例，但如應瞭解，可將雷達組件及相機組件分別容納於車輛100內之不同位置中。舉例而言，相機可如圖1中所展示一樣定位，且雷達組件可位於車輛100之護柵或前保險桿中。此外，儘管圖1說明位於擋風玻璃112後方之雷達-相機感測器模組120，但該雷達-相機感測器模組120可替代地位於車頂感測器陣列中或其他地方。另外，儘管圖1僅說明單個雷達-相機感測器模組120，但如應瞭解，車輛100可具有指向不同方向(指向側面、前部、後部等)之多個雷達-相機感測器模組120。各種雷達-相機感測器模組120可位於車輛之「外皮」下方(例如在擋風玻璃112、車門、保險桿、護欄等後方)或位於車頂感測器陣列內。
雷達-相機感測器模組120可相對於車輛100偵測一或多個(或無)物件。在圖1之實例中，在雷達-相機感測器模組120可偵測之水平覆蓋區域150及160內存在兩個物件：車輛130及140。雷達-相機感測器模組120可估計偵測到之物件的參數，諸如位置、距離、方向、速度、大小、分類(例如車輛、行人、道路標識等)及類似者。可採用針對汽車安全性應用(諸如自適應巡航控制(ACC)、前向碰撞警示(FCW)、經由自控制動的碰撞減輕或避免、車道偏離警示(LDW)及類似者)車載於車輛100上之雷達-相機感測器模組120。
共置相機與雷達允許此等組件共用電子元件及信號處理，且特別地使得能夠實現早期雷達-相機資料融合。舉例而言，雷達及相機可整合於單個板上。聯合之雷達-相機對準技術可用於對準雷達與相機兩者。然而，雷達與相機之共置不是實踐本文中所描述的技術所需的。
圖 2 說明根據本發明之各個態樣的車輛100之車載電腦(OBC) 200。在一態樣中，OBC 200可為ADAS或ADS之部分。OBC 200包括非暫時性電腦可讀儲存媒體(亦即，記憶體204)及經由資料匯流排208與記憶體204通信之一或多個處理器206。記憶體204包括儲存可由處理器206執行的電腦可讀指令以執行本文中所描述之OBC 200的功能之一或多個儲存模組。舉例而言，處理器206連同記憶體204可實施本文中所描述之各種神經網路架構。
一或多個雷達-相機感測器模組120耦接至OBC 200 (在圖2中為簡單起見僅展示一個)。在一些態樣中，雷達-相機感測器模組120包括至少一個相機212、至少一個雷達214及視情況選用之光偵測及測距(LiDAR)感測器216。OBC 200亦包括藉助於資料匯流排208將處理器206連接至雷達-相機感測器模組120及視情況連接至其他車輛子系統(未展示)的一或多個系統介面220。
至少在一些情況下，OBC 200亦包括經組態以經由一或多個無線通信網路(未展示) (諸如NR網路、LTE網路、GSM網路及/或類似者)通信之無線廣域網路(WWAN)收發器230。WWAN收發器230可連接至一或多個天線(未展示)以經由至少一個指定的RAT (例如NR、LTE、GSM等)通過感興趣的無線通信媒體(例如特定頻率光譜中之某一組時間/頻率資源)與其他網路節點(諸如其他車輛UE、行人UE、基礎設施存取點、路邊單元(RSU)、基地台(例如eNB、gNB)等)通信。WWAN收發器230可經不同地組態以根據指定的RAT傳輸及編碼信號(例如訊息、指示、資訊等)且相反地經組態以接收及解碼信號(例如訊息、指示、資訊、導頻等)。
至少在一些情況下，OBC 200亦包括無線區域網路(WLAN)收發器240。WLAN收發器240可連接至一或多個天線(未展示)以經由至少一個指定的RAT (例如蜂窩式車輛對外界(cellular vehicle-to-everything，C-V2X)、IEEE 802.11p (亦稱為車載環境之無線存取(WAVE))、專用短程通信(DSRC)等)通過感興趣的無線通信媒體與其他網路節點(諸如其他車輛UE、行人UE、基礎設施存取點、RSU等)通信。WLAN收發器240可經不同地組態以根據指定的RAT傳輸及編碼信號(例如訊息、指示、資訊等)且相反地經組態以接收及解碼信號(例如訊息、指示、資訊、導頻等)。
如本文中所使用，「收發器」可包括傳輸器電路、接收器電路或其組合，但在所有設計中不需要提供傳輸功能性及接收功能性兩者。舉例而言，低功能性接收器電路在一些設計中可用以在提供充分通信並非必要時降低成本(例如僅提供低層級監聽之接收器晶片或類似電路系統)。
至少在一些情況下，OBC 200亦包括全球定位系統(GPS)接收器250。GPS接收器250可連接至一或多個天線(未展示)以用於接收衛星信號。GPS接收器250可包含用於接收及處理GPS信號之任何合適的硬體及/或軟體。GPS接收器250視需要向其他系統請求資訊及操作，且執行使用由任何合適的GPS演算法獲得的量測判定車輛100之位置所需的計算。
在一態樣中，OBC 200可利用WWAN收發器230及/或WLAN收發器240下載接著可儲存於記憶體204中且用於車輛導航之一或多個映像202。映像202可為一或多個高清晰度(HD)映像，該高清晰度映像可提供在7至10 cm的絕對距離內之準確度、與道路有關的所有靜止實體資產之高度詳細的清單(諸如道路車道、道路邊緣、路肩、分隔物、交通信號、標牌、噴塗標記、桿)及可用於藉由車輛100進行道路及十字路口的安全導航之其他資料。映像202亦可提供使得車輛100能夠知道什麼處於前方之電子地平線預測感知。
在一態樣中，相機212可以某一週期性速率捕捉相機212之可視區(如圖1中經說明為水平覆蓋區域160)內的場景之影像訊框(在本文中亦稱為相機訊框)。同樣地，雷達214可以某一週期性速率捕捉雷達214之可視區(如圖1中經說明為水平覆蓋區域150)內的場景之雷達訊框。相機212及雷達214捕捉其各別訊框之週期性速率可相同或不同。每一相機訊框及雷達訊框可為帶時間戳的。因此，在週期性速率不同之情況下，時間戳可用於同時或幾乎同時選擇捕捉到的相機訊框及雷達訊框以供進一步處理(例如融合)。
圖 3 說明所感測的觀測雷達柵格300。雷達214之傳輸器(例如傳輸天線陣列)傳輸自傳輸路徑中之物件(諸如圖1中之車輛130及140)反射的電磁RF波之脈衝。將自物件反射之一部分電磁RF波返回至雷達214之接收器(例如接收天線陣列)，該接收器通常位於與雷達214之傳輸器相同的位點處。
在一態樣中，雷達214可為使用波束成形進行水平地及豎直地掃描之成像雷達。波束成形為用於藉由改變不同傳輸天線之間的延遲來瞄準雷達波束之有效方向以使得信號在所指定方向上建設性地增加的技術。因此，雷達214可藉由使用包含以電子方式操縱之天線的陣列之傳輸器來水平地及豎直地掃描感測區(例如水平覆蓋區域150)。
藉由雷達214量測的所返回之回應經表徵為具有複數個觀測小區342之觀測柵格340。每一小區342表示呈具體距離(r )及角度/方位角(θ )所量測的返回回應值。每一小區342交替地稱為距離-角度頻率組(range-angle bin)。自小區342提取特徵344以判定該特徵344是否為物件(例如車輛130/140)。可將各別小區342內之每一特徵344識別為具有至多四個參數：距離、都卜勒(Doppler)、方位角及高度。此小區被稱作雷達訊框。作為實例，小區342內之特徵344可為藉由恆假警率(CFAR)演算法計算的信雜比（SNR）。然而，應理解，其他方法可用於瞄準及識別小區342內之特徵344。
相比於影像(例如來自相機212)，雷達信號(例如來自雷達214)具有若干唯一特徵。一個特徵為鏡面反射，其中具有有利定向之目標上的僅某些表面反射通常導致少數反射之雷達信號。第二特徵為非均一性的，其中在{距離，方位角}信號空間之遠距離處出現之物件始終較小且具有與在更接近之距離處出現的彼等物件不同之形狀。此不係相機影像之情況。
圖 4 說明相同場景之相機影像410與雷達影像420之間的例示性差異。亦可稱為雷達訊框之雷達影像(例如雷達影像420)可為所感測的佔用雷達柵格(例如所感測的佔用雷達柵格300)之視覺表示。雷達影像為距離-方位角矩陣/張量(在雷達影像為二維雷達影像之情況下)或距離-方位角-都卜勒矩陣/張量(在雷達影像為三維雷達影像之情況下)。矩陣/張量將所返回的雷達信號之接收到的功率表示為沿著此等軸線中的每一者之值。舉例而言，距離-方位角雷達訊框(諸如雷達影像420)將逐距離-方位角儲倉具有一個功率值(例如以dB為單位)。一般而言，如雷達影像420中所展示，將不同功率值表示為不同顏色及/或色調。
參看圖4，相機影像410可能已由相機212捕捉，且雷達影像420可能已由雷達214捕捉。在相機影像410中，已偵測到三個物件(此處為車輛)，每一物件由限界框412、414及416包圍。在雷達影像420中，相同之三個物件(車輛)已經被偵測到且由限界框422、424及426包圍。如圖4中可見，雷達影像420中的物件/限界框422、424及426之形狀基於其是位於雷達影像420之中線428下方(亦即，限界框422)抑或是位於該中線428上方(亦即，限界框424及426)而呈不同大小及形狀。另外，歸因於因雷達214與其他物件之間的較大距離而在雷達214處接收更少經反射無線電波，因此與更接近的物件相關聯之限界框(亦即，限界框422)大於與更遠的物件相關聯之限界框(亦即，限界框424及426)。
圖 5 為展示根據本發明之各個態樣的雷達-相機感測器模組120及/或處理器206如何處理來自相機212及雷達感測器214之資料的方塊圖500。如上文所提及，雷達感測器214可捕捉雷達感測器214之可視區(如圖1中經說明為水平覆蓋區域150)內的場景之雷達訊框。自捕捉到的雷達訊框產生時域(例如I/Q)樣本502。時域樣本502為經處理以產生將在後端處理期間使用之張量的原始資料。
更具體地，計算前端504執行張量產生、開窗、次取樣、快速傅里葉變換(FFT)、運動補償及類似者，以針對由雷達感測器214偵測到之佔用柵格340的小區342內之特徵344產生四維(4D)張量506。在一態樣中，雷達感測器214為水平地及豎直地掃描之成像雷達感測器。因此，張量506表示每一偵測到之特徵344的距離(自雷達214至偵測到之特徵344的距離)、方位角(特徵344與由雷達214發射之參考RF射線(諸如雷達掃掠之初始RF射線)之間的水平距離)、都卜勒(指示偵測到之特徵344的速度)及高度(自雷達214至偵測到之特徵的豎直方向)。接著將此等張量傳遞至計算後端508，該計算後端508基於張量506及自相機212之計算前端514接收到之未失真的相機訊框516來執行物件偵測、物件分類、定位及性質估計。
在相機212側，相機212與捕捉相同場景之雷達訊框的雷達214同時(或幾乎同時)捕捉相機212之可視區內的場景之原始相機訊框512 (如圖1中經說明為水平覆蓋區域160)。相機212之計算前端514校正原始相機訊框512中的任何失真以產生未失真的相機訊框516。將未失真的相機訊框516傳遞至計算後端508以供與張量506一起進行處理。
由計算後端508執行之處理的結果510為偵測到之物件的各種屬性，諸如以笛卡爾(Cartesian) x-y座標緊密地封閉物件的限界框、物件(例如汽車、卡車、行人、摩托車、道路標識等)的類型、相對(例如相對於車輛100)速度、定向、所有屬性之柔性最大傳遞函數分數(二元分類中之張量的給定輸出之概率)、物件在某一時間量(例如50 ms、100 ms等)之後的預測位置及類似者。
更詳細地參看計算前端504，計算前端504接收經組織為雷達訊框之輸入I/Q樣本502，其中可將每一訊框表示為三維(3D)張量，該三維張量表示對應雷達信號之虛擬接收天線索引(其指示MIMO操作以便自2個傳輸(Tx)天線及16個接收(Rx)天線虛擬地建構例如31個天線)、線性調頻脈衝索引及樣本索引。計算前端504可輸出表示距離、方位角、都卜勒及高度之4D複合值張量。視情況，計算前端504可子選擇、分組、壓縮「argmax」(某一函數之域的函數值經最大化之點)或此等維度中之一或多者「之任何函數」。替代地，計算前端504可輸出表示距離、方位角及都卜勒之3D複合值張量。作為又一替代方案，計算前端504可輸出表示距離及方位角、距離及都卜勒、都卜勒及方位角、距離及高度、都卜勒及高度或方位角及高度中之一或多者的一組二維(2D)複合值張量。突出資訊有時包含於雷達信號之頻率內容中，在此情況下，可執行用以提取此頻率資訊之進一步信號處理。
更詳細地參看計算後端508，計算後端508可實施各種「深度學習」技術(相較於任務特定的演算法，基於學習資料表示之機器學習方法)以判定結果510。深度神經網路(DNN) (一種類型的深度學習，其包含在輸入層與輸出層之間具有多個層的人工神經網路(ANN))可用於根據雷達信號及相機影像來偵測、分類、定位及理解物件。
本文中揭示用於早期融合相機訊框(例如未失真的相機訊框516)與雷達訊框以在鳥瞰圖(雷達214之視角)中執行物件偵測之技術。雷達214捕捉之「鳥瞰圖」為在雷達214正在發射無線電波之脈衝的方向(如圖1中所說明)上的環境之俯視圖或俯瞰圖。相比之下，相機212捕捉實質上與環境之雷達214的視圖正交之相同環境的影像。由於此等兩個視圖彼此正交，因此需要使相同場景之雷達訊框及相機訊框處於相同平面中(亦即，經融合)，以便使現有物件偵測技術可適用。
可在不同處理層級處執行融合。早期融合組合原始資料(諸如來自相機212之資料(例如原始相機訊框512)、來自雷達214之資料(例如I/Q樣本502)及/或來自LiDAR感測器216之資料)之若干源，以產生經預期比隔離中的輸入具有更多直接信息性之新輸出。在早期融合中，各種特徵(諸如邊緣、拐角、線、紋理參數等)組合成接著供其他處理階段使用之特徵映像。相比之下，在高級融合中，每一輸入源(例如相機212、雷達214及/或LiDAR感測器216)產生決策(例如物件偵測及/或分類)，且該等決策經融合。執行融合之層級愈高，後續計算成本愈低(歸因於資訊之凝聚性質)。然而，準確度可較低。相比之下，執行融合之層級愈低，後續計算成本愈高。然而，準確度可高得多。因此，能夠在降低計算成本的同時在早期階段融合來自不同源之資訊將為有益的。
在一態樣中，為執行早期融合，將所選擇的相機訊框及對應雷達訊框傳遞通過各別特徵提取分支，且串接來自兩個分支之特徵以允許在組合訊框中的物件之後續偵測。如上文所提及，歸因於相機212及雷達214捕捉其各別訊框之不同週期性速率，訊框之時間戳可以不匹配。為了將相機訊框與雷達訊框相匹配，選擇相機訊框(其可以較慢週期性速率經捕捉)，且將最接近的帶時間戳的雷達訊框(其可以較快週期性速率經捕捉)選擇為對應訊框。接著將相機訊框傳遞通過具有多個迴旋層之特徵提取分支(表示正如經由另一函數移位的一個函數之交疊量的整數；因此將一個函數與另一函數「混合」)，以產生表示相機影像之潛在特徵映像。藉由執行顯式反向透視映射變換將相機訊框之潛在特徵映像(亦即，在經過多個迴旋層之後的特徵映像)轉換成與雷達訊框(亦即，鳥瞰圖)相同之空間。
替代地，用以在雷達訊框之座標空間中產生抽象相機影像表示的另一方式為首先將相機影像變換至與雷達影像(亦即，鳥瞰圖)相同的空間，且接著經由多個迴旋層運行此結果以產生相機訊框之潛在特徵映像。無論哪種將相機訊框轉換成雷達空間之方式，經由其自身的特徵提取分支(經由多個迴旋層)運行對應雷達訊框以產生表示雷達訊框之潛在特徵映像。串接來自兩個分支之特徵，且在經由物件偵測演算法模組(例如單發偵測(SSD))運行所得表示之前經由一組新迴旋層運行新張量(表示串接訊框)，以達成最終物件偵測。接著針對下一對相機訊框及雷達訊框重複該程序。
在替代態樣中，可使雷達訊框變為相機訊框，或兩個訊框可在中間的某處經彙聚，而非將相機訊框與雷達訊框相匹配。舉例而言，兩個訊框可首先朝向彼此傾斜，且接著可使結果傾斜回鳥瞰圖。
SSD為用於使用單個深度神經網路偵測影像中之物件之方法。SSD經由不同縱橫比將限界框之輸出空間離散化成一組預設框(亦稱為「先前框」或「錨定框」)且根據特徵映像位置按比例調整。在預測時間處，網路在每一預設框中之每一物件類別存在的情況下產生分數且產生對框之調整以與物件形狀更佳匹配。此外，網路組合根據具有不同解析度之多個特徵映像的預測，以自然地處置各種大小之物件。SSD頭指示SSD網路之偵測及回歸頭。SSD模型消除提議產生及後續像素或特徵重取樣階段，且包封單個網路中之所有計算。此使得SSD易於訓練且使得SSD直接地集成至需要偵測組件之系統中。
如上文所提及，針對每一訊框(至少針對以較慢週期性速率捕捉到的訊框)執行以上融合技術。因此，減少基於雷達或基於視覺之物件偵測網路之每一訊框計算將是有益的。此可藉由使用區塊雜湊來實現。舉例而言，在自控驅動應用中，訊框(相機或雷達中任一者)之較大部分不會自一個訊框(絕對地或相對地)改變為另一訊框。舉例而言，每一訊框之一部分可捕捉儀錶盤、天空、道路等，且此等區可不在訊框間顯著地改變或根本不改變。因此，在一系列訊框中處理每一整個訊框可為不必要地冗餘的。
基於此觀測，雷達-相機感測器模組120可對每一輸入訊框之區塊執行精確或感知雜湊，以識別哪些區塊尚未自前一訊框改變為當前訊框。舉例而言，可將每一訊框劃分成具有64個區塊之8×8柵格。接著，雷達-相機感測器模組120可使用此資訊將特徵映像值自前一訊框的計算簡單地複製至當前訊框，而不是重新計算相同(或幾乎相同)之值。此資訊可進一步經由神經網路傳播，以防止網路在網路之後續層中執行冗餘計算(亦即，經由特徵映像錐形傳播)。
在一態樣中，預先訓練的基於相機之物件偵測網路可用於在雷達訊框中實現鳥瞰圖物件偵測及定位。舉例而言，相機影像之預先訓練的物件偵測網路(諸如ResNeXt (影像分類之模組化網路架構)或Inception-Resnet-V2)可用於在相機訊框中執行物件偵測。相同網路可經增強以估計在相機訊框中捕捉到的物件之長度(藉由增強SSD頭)。舉例而言，在物件為車輛之情況下，車輛之品牌及型號以及可在相機訊框中感知的深度可用於估計車輛之長度/深度。
出於說明之目的，圖 6 展示其中三個物件在高速公路上位於主車輛(例如車輛100)之前的例示性場景。所說明物件分別為牽引車掛車、運動型多用途車輛及摩托車。如圖6中所展示，每一物件分別藉由限界框602、限界框604及限界框606概述。
在一態樣中，上覆於相機訊框上之2D限界框(例如限界框602、604及606)可用於在反向透視映射之後估計鳥瞰圖中的物件之寬度。此可經由使用深度學習之相機分支(經由習得特徵)進行。物件之所估計長度及寬度可用於在鳥瞰圖中形成完整限界框。
在一態樣中，可在基地網路之後期階段使用較新技術(諸如雙側迴旋網路、可變形迴旋網路(其中添加2D偏移以實現變形的取樣柵格之卷積神經網路(CNN))或空間變換網路(使用空間變換器來學習平移之不變性、按比例調整、旋轉及更通用之變形的CNN))，而非執行顯式反向透視映射，其對雷達214及相機212之校準參數極為敏感。
考慮到訓練融合網路(亦即，融合相機與雷達訊框之神經網路)的難度，不大可能看到經削弱的相機分支(亦即，用於在相機訊框中偵測物件之神經網路)。此主要係歸因於不存在自相機訊框至鳥瞰圖之簡單(例如仿射)映射/變換的事實。此意謂雷達分支(亦即，用於在雷達訊框中偵測物件之神經網路)將在處理中發揮主要作用，此係由於該雷達分支可相對較容易地經訓練。解決此問題之一種方式為使用編碼器-解碼器網路將相機訊框轉換成較佳地類似於雷達訊框之訊框。以此方式，相機訊框之特徵映像將類似於對應雷達訊框。此使得相機網路能夠判定至少類似於其中融合之最終結果經預期的雷達網路之鳥瞰圖的輸出。替代地，相機分支可在先前預先經訓練。在早期相機-雷達融合訓練期間，可將此預先訓練的網路之權重(經凍結時)載入至相機分支中。
應注意，編碼器-解碼器網路之編碼器側係取得輸入(例如相機訊框)且輸出特徵映像/向量/張量之網路。編碼器-解碼器網路之解碼器側係取得來自編碼器之特徵向量且產生與實際輸入或預期輸出的最接近匹配(例如類似於雷達訊框之相機訊框)的網路(通常為與編碼器相同但處於相反定向上的網路結構)。
使用編碼器-解碼器網路以用於取得相機訊框且使其類似於雷達訊框的優點為訓練此新相機分支不需要標註。稍後，此網路之最終結果(以預先訓練的權重)可與雷達輸入及/或特徵串接且經由網路之最終層運行。
圖 7 說明根據本發明之態樣的融合相機與雷達訊框以在一或多個空間域中執行物件偵測之例示性方法700。在一態樣中，方法700可由主車輛(車輛100)之車載電腦(例如OBC 200)執行。
在710處，OBC自主車輛之相機感測器(例如相機212)接收複數個相機訊框。在一態樣中，操作710可由系統介面210、資料匯流排208、記憶體204及/或處理器206 (可將其中之任一者或所有視為用於執行此操作之構件)執行。
在720處，OBC自主車輛之雷達感測器(例如雷達214)接收複數個雷達訊框。在一態樣中，操作720可由系統介面210、資料匯流排208、記憶體204及/或處理器206 (可將其中之任一者或所有視為用於執行此操作之構件)執行。
在730處，OBC對複數個相機訊框中之第一相機訊框執行相機特徵提取程序，以產生第一相機特徵映像。在一態樣中，操作730可由處理器206 (其可被視為用於執行此操作之構件)執行。
在740處，OBC對複數個雷達訊框中之第一雷達訊框執行雷達特徵提取程序，以產生第一雷達特徵映像。在一態樣中，操作740可由處理器206 (其可被視為用於執行此操作之構件)執行。
在750處，OBC將第一相機特徵映像及/或第一雷達特徵映像轉換成公共空間域。在一態樣中，操作750可由處理器206 (其可被視為用於執行此操作之構件)執行。
在760處，OBC串接第一雷達特徵映像與第一相機特徵映像，以在公共空間域中產生第一串接特徵映像。在一態樣中，操作760可由處理器206 (其可被視為用於執行此操作之構件)執行。
在770處，OBC在第一串接特徵映像中偵測一或多個物件(例如車輛)。在一態樣中，操作770可由處理器206 (其可被視為用於執行此操作之構件)執行。
圖 8 說明根據本發明之態樣的融合相機與雷達訊框以在一或多個空間域中執行物件偵測之例示性方法800。在一態樣中，方法800可由主車輛(車輛100)之車載電腦(例如OBC 200)執行。
在810處，OBC自主車輛之相機感測器(例如相機212)接收複數個相機訊框。在一態樣中，操作810可由系統介面210、資料匯流排208、記憶體204及/或處理器206 (其中之任一者或所有可被視為用於執行此操作之構件)執行。
在820處，OBC自主車輛之雷達感測器(例如雷達214)接收複數個雷達訊框。在一態樣中，操作820可由系統介面210、資料匯流排208、記憶體204及/或處理器206 (其中之任一者或所有可被視為用於執行此操作之構件)執行。
在830處，OBC將編碼器-解碼器網路應用於第一相機訊框上，以在第一雷達訊框之空間域中產生第一相機特徵映像。在一態樣中，操作830可由處理器206 (其可被視為用於執行此操作之構件)執行。
在840處，OBC組合第一雷達訊框與第一相機特徵映像以在第一雷達訊框之空間域中產生第一組合特徵映像。在一態樣中，操作840可由處理器206 (其可被視為用於執行此操作之構件)執行。
在850處，OBC在第一組合特徵映像中偵測一或多個物件(例如車輛)。在一態樣中，操作850可由處理器206 (其可被視為用於執行此操作之構件)執行。
應注意，儘管在本文中之各個態樣中描述了特定頻率、積體電路(IC)、硬體及其他特徵，但替代態樣可改變。亦即，替代態樣可利用額外頻率或替代頻率(例如除了60 GHz及/或28 GHz的頻帶之外)、天線元件(例如具有不同大小/形狀的天線元件陣列）、掃描週期(包括靜態掃描週期及動態掃描週期兩者)、電子裝置(例如行動電話、平板電腦、個人電腦(PC)等)及/或其他特徵。一般熟習此項技術者應瞭解此類變化。
應理解，本文中使用諸如「第一」、「第二」等指定之元件的任何參考通常不限制彼等元件之數量或次序。實情為，本文中可使用此等指定作為區別兩個或更多個元件或元件之例項的便利方法。因此，對第一元件及第二元件之參考不意謂此處僅可採用兩個元件或第一元件必須以某一方式先於第二元件。此外，除非另外說明，否則一組元件可包含一或多個元件。另外，描述或申請專利範圍中所使用之形式術語「A、B或C中之至少一者」或「A、B或C中之一或多者」或「由A、B及C組成的群組中之至少一者」意謂「A或B或C或此等元件之任何組合」。舉例而言，此術語可包括A、或B、或C、或A及B、或A及C、或A及B及C、或2A、或2B、或2C等。
鑒於以上描述及解釋，熟習此項技術者應瞭解，結合本文中所揭示之態樣描述之各種說明性邏輯區塊、模組、電路及演算法步驟可實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體就其功能性而言加以描述。將此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統上之設計約束。熟習此項技術者可針對每一特定應用而以變化的方式實施所描述的功能性，但不應將此類實施決策解釋為致使脫離本發明之範疇。
因此，應瞭解，(例如)如本文中所教示，設備或設備之任何組件可經組態以(或可操作以或經調適以)提供功能性。其可例如藉由以下達成：藉由加工(例如製造)設備或組件以使其將提供功能性；藉由對設備或組件進行程式設計以使其將提供功能性；或經由使用一些其他合適的實施技術。作為一個實例，積體電路可經製造以提供必需的功能性。作為另一實例，積體電路可經製造以支援必需的功能性且接著經組態(例如經由程式化)以提供必需的功能性。作為又一實例，處理器電路可執行程式碼以提供必需的功能性。
此外，結合本文中所揭示之態樣描述的方法、序列及/或演算法可以硬體、以由處理器執行之軟體模組、或以兩者之組合直接體現。軟體模組可駐留於隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可抹除可程式化ROM (EPROM)、電可抹除可程式化ROM (EEPROM)、暫存器、硬碟、可移式磁碟、CD-ROM、或此項技術中已知的任何其他形式之儲存媒體。例示性儲存媒體耦接至處理器，以使得處理器可自儲存媒體讀取資訊及將資訊寫入至儲存媒體。在替代方案中，儲存媒體可與處理器(例如快取記憶體)成一體式。
因此，亦應瞭解(例如)本發明之某些態樣可包括體現用於利用雷達影像使臉部驗證個人化之方法的電腦可讀媒體。
儘管前述揭示內容展示各種說明性態樣，但應注意，在不脫離由所附申請專利範圍所定義之範疇的情況下，可對所說明之實例作出各種改變及修改。本發明不意欲獨自限制於具體說明之實例。舉例而言，除非另外說明，否則根據本文中所描述之本發明的態樣之方法請求項的功能、步驟及/或動作不必以任何特定次序執行。此外，雖然某些態樣可以單數形式描述或主張，但除非明確地陳述對單數形式之限制，否則涵蓋複數形式。
100:車輛 112:擋風玻璃 120:雷達-相機感測器模組 130:車輛 140:車輛 150:水平覆蓋區域 160:水平覆蓋區域 200:車載電腦 202:映像 204:記憶體 206:處理器 208:資料匯流排 210:系統介面 212:相機 214:雷達 216:光偵測及測距感測器 220:系統介面 230:無線廣域網路 240:無線區域網路收發器 250:全球定位系統接收器 300:所感測的觀測雷達柵格 340:觀測柵格 342:觀測小區 344:特徵 410:相機影像 412:限界框 414:限界框 416:限界框 420:雷達影像 422:限界框 424:限界框 426:限界框 428:中線 500:方塊圖 502:樣本 504:計算前端 506:四維張量 508:計算後端 510:結果 512:原始相機訊框 514:計算前端 516:未失真的相機訊框 602:限界框 604:限界框 606:限界框 700:例示性方法 710:操作 720:操作 730:操作 740:操作 750:操作 760:操作 770:操作 800:例示性方法 810:操作 820:操作 830:操作 840:操作 850:操作r:距離θ:角度/方位
呈現隨附圖式以輔助描述本發明之各個態樣，且提供該等隨附圖式僅僅為了說明該等態樣而非對其進行限制。
圖1為根據各個態樣之在擋風玻璃後方採用整合式雷達-相機感測器的車輛之俯視圖。
圖2說明根據各個態樣之車載電腦架構。
圖3為所感測的觀測雷達柵格之示意圖。
圖4說明相同場景之相機影像與雷達影像之間的例示性差異。
圖5為展示根據各個態樣之雷達-相機感測器模組及/或一或多個處理器如何處理來自相機感測器及雷達感測器之資料的方塊圖。
圖6說明根據本發明之態樣的行車上路場景。
圖7及圖8說明根據本發明之態樣的融合相機與雷達訊框以在一或多個空間域中執行物件偵測的例示性方法。
700:例示性方法
710:操作
720:操作
730:操作
740:操作
750:操作
760:操作
770:操作

Claims (28)

  1. 一種執行相機與雷達訊框之早期融合以在由一主車輛之一車載電腦執行的一或多個空間域中執行物件偵測之方法，其包含：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序，以產生一第一相機特徵映像；對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序，以產生一第一雷達特徵映像，其中該第一雷達訊框在時間上對應該第一相機訊框；將該第一相機特徵映像、該第一雷達特徵映像或兩者轉換成一公共空間域；串接該第一雷達特徵映像與該第一相機特徵映像，以在該公共空間域中產生一第一串接特徵映像；對該第一串接特徵映像執行物件偵測，以在該第一串接特徵映像中偵測一或多個物件而不對該第一相機特徵映像或該第一雷達特徵映像執行物件偵測；及基於包封該一或多個物件中的每一者之該第一相機訊框中的一限界框，在反向透視映射之後在一鳥瞰圖中估計該一或多個物件之一寬度、長度或兩者。
  2. 如請求項1之方法，其中該公共空間域為該雷達感測器之一空間域。
  3. 如請求項1之方法，其中將該第一相機特徵映像、該第一雷達特徵映像或兩者轉換成該公共空間域包含將該第一相機特徵映像轉換成該公共空間域，且將該第一相機特徵映像轉換成該公共空間域包含對該第一相機特徵映像執行一顯式反向透視映射變換。
  4. 如請求項1之方法，其中將該第一相機特徵映像、該第一雷達特徵映像或兩者轉換成該公共空間域包含將該第一相機特徵映像轉換成該公共空間域，且將該第一相機特徵映像轉換成該公共空間域發生在執行該相機特徵提取程序期間。
  5. 如請求項1之方法，其進一步包含：雜湊該第一相機訊框之複數個區塊，以識別尚未在該複數個相機訊框中之一前一相機訊框與該第一相機訊框之間改變的一或多個區塊；及將該前一相機訊框之一第二相機特徵映像的特徵映像值複製為該第一特徵映像之對應特徵映像值。
  6. 如請求項1之方法，其中至少部分地基於該一或多個物件之一品牌、型號或兩者估計該一或多個物件之該寬度、長度或兩者。
  7. 如請求項1之方法，其進一步包含： 對該複數個相機訊框中之一第二相機訊框執行該相機特徵提取程序，以產生一第二相機特徵映像；對該複數個雷達訊框中之一第二雷達訊框執行該雷達特徵提取程序，以產生一第二雷達特徵映像；將該第二相機特徵映像轉換成該公共空間域以產生一經轉換第二相機特徵映像、將該第二雷達特徵映像轉換成該公共空間域以產生一經轉換第二雷達特徵映像、或兩者；及串接該經轉換第二雷達特徵映像、該經轉換第二相機特徵映像或兩者以產生一第二串接特徵映像，其中偵測該一或多個物件係進一步基於該第二串接特徵映像。
  8. 如請求項1之方法，其中該雷達感測器與該相機感測器共置於該主車輛之一共用殼體中。
  9. 如請求項1之方法，其進一步包含：基於偵測到該一或多個物件執行一自控驅動操作。
  10. 如請求項9之方法，其中該自控驅動操作為制動、加速、操縱方向盤、調整一巡航控制設定或發信中之一或多者。
  11. 一種執行相機與雷達訊框之早期融合以在由一主車輛之一車載電腦執行的一或多個空間域中執行物件偵測之方法，其包含：自該主車輛之一相機感測器接收複數個相機訊框； 自該主車輛之一雷達感測器接收複數個雷達訊框；將一編碼器-解碼器網路應用於該複數個相機訊框中之一第一相機訊框上，以在該複數個雷達訊框中之一第一雷達訊框之一空間域中產生一第一相機特徵映像，其中該第一雷達訊框在時間上對應該第一相機訊框；組合該第一雷達訊框與該第一相機特徵映像以在該第一雷達訊框之該空間域中產生一第一組合特徵映像；對該第一組合特徵映像執行物件偵測，以在該第一組合特徵映像中偵測一或多個物件而不對該第一相機特徵映像或該第一雷達訊框執行物件偵測；及基於包封該一或多個物件中的每一者之該第一相機訊框中的一限界框，在反向透視映射之後在一鳥瞰圖中估計該一或多個物件之一寬度、長度或兩者。
  12. 如請求項11之方法，其進一步包含：將該第一組合特徵映像提供至一神經網路。
  13. 如請求項11之方法，其進一步包含：基於偵測到該一或多個物件執行一自控驅動操作。
  14. 如請求項13之方法，其中該自控驅動操作為制動、加速、操縱方向盤、調整一巡航控制設定或發信中之一或多者。
  15. 一種一主車輛之車載電腦，其包含： 至少一個處理器，其經組態以執行以下操作：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；對該複數個相機訊框中之一第一相機訊框執行一相機特徵提取程序，以產生一第一相機特徵映像；對該複數個雷達訊框中之一第一雷達訊框執行一雷達特徵提取程序，以產生一第一雷達特徵映像，其中該第一雷達訊框在時間上對應該第一相機訊框；將該第一相機特徵映像、該第一雷達特徵映像或兩者轉換成一公共空間域；串接該第一雷達特徵映像與該第一相機特徵映像，以在該公共空間域中產生一第一串接特徵映像；對該第一串接特徵映像執行物件偵測，以在該第一串接特徵映像中偵測一或多個物件而不對該第一相機特徵映像或該第一雷達特徵映像執行物件偵測；及基於包封該一或多個物件中的每一者之該第一相機訊框中的一限界框，在反向透視映射之後在一鳥瞰圖中估計該一或多個物件之一寬度、長度或兩者。
  16. 如請求項15之車載電腦，其中該公共空間域為該雷達感測器之一空間域。
  17. 如請求項15之車載電腦，其中該至少一個處理器經組態以將該第一 相機特徵映像、該第一雷達特徵映像或兩者轉換成該公共空間域包含將該第一相機特徵映像轉換成該公共空間域，且該至少一個處理器經組態以將該第一相機特徵映像轉換成該公共空間域包含：該至少一個處理器經組態以對該第一相機特徵映像執行一顯式反向透視映射變換。
  18. 如請求項15之車載電腦，其中：該至少一個處理器經組態以將該第一相機特徵映像、該第一雷達特徵映像或兩者轉換成該公共空間域包含將該第一相機特徵映像轉換成該公共空間域，且該至少一個處理器經組態以在執行該相機特徵提取程序期間將該第一相機特徵映像轉換成該公共空間域。
  19. 如請求項15之車載電腦，其中該至少一個處理器進一步經組態以執行以下操作：雜湊該第一相機訊框之複數個區塊，以識別尚未在該複數個相機訊框中之一前一相機訊框與該第一相機訊框之間改變的一或多個區塊；及將該前一相機訊框之一第二相機特徵映像的特徵映像值複製為該第一特徵映像之對應特徵映像值。
  20. 如請求項16之車載電腦，其中至少部分地基於該一或多個物件之一品牌、型號或兩者估計該一或多個物件之該寬度、長度或兩者。
  21. 如請求項15之車載電腦，其中該至少一個處理器進一步經組態以執行以下操作：對該複數個相機訊框中之一第二相機訊框執行該相機特徵提取程序，以產生一第二相機特徵映像；對該複數個雷達訊框中之一第二雷達訊框執行該雷達特徵提取程序，以產生一第二雷達特徵映像；將該第二相機特徵映像轉換成該公共空間域以產生一經轉換第二相機特徵映像、將該第二雷達特徵映像轉換成該公共空間域以產生一經轉換第二雷達特徵映像、或兩者；及串接該經轉換第二雷達特徵映像、該經轉換第二相機特徵映像或兩者以產生一第二串接特徵映像，其中偵測該一或多個物件係進一步基於該第二串接特徵映像。
  22. 如請求項15之車載電腦，其中該雷達感測器與該相機感測器共置於該主車輛之一共用殼體中。
  23. 如請求項15之車載電腦，其中該至少一個處理器進一步經組態以執行以下操作：基於偵測到該一或多個物件觸發一自控驅動操作。
  24. 如請求項23之車載電腦，其中該自控驅動操作為制動、加速、操縱方向盤、調整一巡航控制設定或發信中之一或多者。
  25. 一種一主車輛之車載電腦，其包含：至少一個處理器，其經組態以執行以下操作：自該主車輛之一相機感測器接收複數個相機訊框；自該主車輛之一雷達感測器接收複數個雷達訊框；將一編碼器-解碼器網路應用於該複數個相機訊框中之一第一相機訊框上，以在該複數個雷達訊框中之一第一雷達訊框之一空間域中產生一第一相機特徵映像，其中該第一雷達訊框在時間上對應該第一相機訊框；組合該第一雷達訊框與該第一相機特徵映像以在該第一雷達訊框之該空間域中產生一第一組合特徵映像；對該第一組合特徵映像執行物件偵測，以在該第一組合特徵映像中偵測一或多個物件而不對該第一相機特徵映像或該第一雷達訊框執行物件偵測；及基於包封該一或多個物件中的每一者之該第一相機訊框中的一限界框，在反向透視映射之後在一鳥瞰圖中估計該一或多個物件之一寬度、長度或兩者。
  26. 如請求項25之車載電腦，其中該至少一個處理器進一步經組態以執行以下操作：將該第一組合特徵映像提供至一神經網路。
  27. 如請求項25之車載電腦，其中該至少一個處理器進一步經組態以執行以下操作： 基於偵測到該一或多個物件觸發一自控驅動操作。
  28. 如請求項25之車載電腦，其中該自控驅動操作為制動、加速、操縱方向盤、調整一巡航控制設定或發信中之一或多者。
TW108143476A 2018-11-30 2019-11-28 相機與雷達訊框之早期融合 TWI834771B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862774020P 2018-11-30 2018-11-30
US62/774,020 2018-11-30
US16/698,601 US11899099B2 (en) 2018-11-30 2019-11-27 Early fusion of camera and radar frames
US16/698,601 2019-11-27

Publications (2)

Publication Number Publication Date
TW202109078A TW202109078A (zh) 2021-03-01
TWI834771B true TWI834771B (zh) 2024-03-11

Family

ID=68966081

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143476A TWI834771B (zh) 2018-11-30 2019-11-28 相機與雷達訊框之早期融合

Country Status (6)

Country Link
US (2) US11899099B2 (zh)
EP (1) EP3887857A2 (zh)
KR (1) KR20210096608A (zh)
CN (1) CN113167888A (zh)
TW (1) TWI834771B (zh)
WO (1) WO2020113166A2 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816659B2 (en) * 2018-05-15 2020-10-27 GM Global Technology Operations LLC Method for efficient volumetric integration for 3D sensors
US11393097B2 (en) * 2019-01-08 2022-07-19 Qualcomm Incorporated Using light detection and ranging (LIDAR) to train camera and imaging radar deep learning networks
US11585896B2 (en) * 2019-02-04 2023-02-21 Metawave Corporation Motion-based object detection in a vehicle radar using convolutional neural network systems
US10928508B2 (en) * 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
US11282180B1 (en) * 2019-04-24 2022-03-22 Apple Inc. Object detection with position, pose, and shape estimation
EP3767332B1 (en) * 2019-07-18 2023-12-13 Aptiv Technologies Limited Methods and systems for radar object detection
US11681903B2 (en) 2019-10-31 2023-06-20 Micron Technology, Inc. Spike detection in memristor crossbar array implementations of spiking neural networks
US11668797B2 (en) * 2019-12-18 2023-06-06 Micron Technology, Inc. Intelligent radar electronic control units in autonomous vehicles
US11947359B2 (en) 2020-02-14 2024-04-02 Micron Technology, Inc. Intelligent lidar sensors for autonomous vehicles
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc. RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
KR20210152741A (ko) * 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US20220026557A1 (en) * 2020-07-22 2022-01-27 Plato Systems, Inc. Spatial sensor system with background scene subtraction
EP3943968A1 (en) * 2020-07-24 2022-01-26 Aptiv Technologies Limited Methods and system for detection of objects in a vicinity of a vehicle
EP3992665A1 (en) 2020-11-02 2022-05-04 Aptiv Technologies Limited Methods and systems for determining a direction of arrival of a radar detection
KR102408375B1 (ko) * 2020-11-03 2022-06-14 엘아이지넥스원 주식회사 이미지 처리를 이용한 레이더 공제선 측정 장치 및 방법
GB2601772A (en) * 2020-12-09 2022-06-15 Xmos Ltd Manipulation of radar readings
CN112233163B (zh) * 2020-12-14 2021-03-30 中山大学 一种激光雷达立体相机融合的深度估计方法、装置及其介质
US12105192B2 (en) * 2020-12-17 2024-10-01 Aptiv Technologies AG Radar reference map generation
CN113158763B (zh) * 2021-02-23 2021-12-07 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US12078715B2 (en) * 2021-03-25 2024-09-03 Aptiv Technologies AG Radar tracking with model estimates augmented by radar detections
US12092734B2 (en) 2021-03-25 2024-09-17 Aptiv Technologies AG Partially-learned model for speed estimates in radar tracking
US20230038842A1 (en) * 2021-08-03 2023-02-09 Waymo Llc Association of camera images and radar data in autonomous vehicle applications
CN114049613A (zh) * 2021-10-11 2022-02-15 深圳市惠尔智能有限公司 一种目标检测方法、装置、电子设备和可读存储介质
CN114415489B (zh) * 2021-12-02 2023-09-22 北京罗克维尔斯科技有限公司 一种车载传感器时间同步方法、装置、设备和介质
EP4194885A1 (en) 2021-12-09 2023-06-14 Aptiv Technologies Limited Method for determining the mobility status of a target object
CN114419572B (zh) * 2022-03-31 2022-06-17 国汽智控(北京)科技有限公司 多雷达目标检测方法、装置、电子设备及存储介质
US20230316546A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Camera-radar fusion using correspondences
DE102023003086A1 (de) * 2022-09-15 2024-03-21 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Trainieren eines neuronalen Netzes zur Detektion eines Objekts und Verfahren zur Detektion eines Objekts mittels eines neuronalen Netzes
CN117237777B (zh) * 2023-11-13 2024-02-27 四川观想科技股份有限公司 一种基于多模态融合的船舶目标识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1395851B1 (en) * 2001-05-17 2006-07-19 Lucas Industries Limited Sensing apparatus for vehicles
US20180341263A1 (en) * 2017-05-25 2018-11-29 GM Global Technology Operations LLC Methods and systems for moving object velocity determination

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212127B1 (ko) * 2010-10-28 2012-12-13 재단법인대구경북과학기술원 장애 물체 검출 장치 및 방법
JP5632762B2 (ja) 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
KR101289386B1 (ko) * 2011-11-11 2013-07-29 재단법인대구경북과학기술원 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
US10185030B2 (en) * 2014-09-05 2019-01-22 GM Global Technology Operations LLC Object boundary detection for automotive radar imaging
US9784829B2 (en) * 2015-04-06 2017-10-10 GM Global Technology Operations LLC Wheel detection and its application in object tracking and sensor registration
WO2017057058A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10317522B2 (en) * 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
EP3433131B1 (en) * 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US10816654B2 (en) 2016-04-22 2020-10-27 Huawei Technologies Co., Ltd. Systems and methods for radar-based localization
CN106908783B (zh) * 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法
WO2018154367A1 (en) 2017-02-23 2018-08-30 Kpit Technologies Limited System and method for target track management of an autonomous vehicle
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
CN108680156B (zh) * 2018-02-26 2022-01-07 青岛克路德机器人有限公司 一种多传感器数据融合的机器人定位方法
DE102018205879A1 (de) * 2018-04-18 2019-10-24 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten
CN112721950A (zh) * 2021-01-14 2021-04-30 肖玉连 一种基于深度学习的自主车辆控制方法及系统
US20220357441A1 (en) * 2021-05-10 2022-11-10 Qualcomm Incorporated Radar and camera data fusion
US20230230484A1 (en) * 2022-01-18 2023-07-20 The Regents Of The University Of California Methods for spatio-temporal scene-graph embedding for autonomous vehicle applications
CN116110025A (zh) * 2023-02-02 2023-05-12 清华大学 栅格检测跟踪框架构建环境语义占据与速度场方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1395851B1 (en) * 2001-05-17 2006-07-19 Lucas Industries Limited Sensing apparatus for vehicles
US20180341263A1 (en) * 2017-05-25 2018-11-29 GM Global Technology Operations LLC Methods and systems for moving object velocity determination

Also Published As

Publication number Publication date
KR20210096608A (ko) 2021-08-05
US11899099B2 (en) 2024-02-13
EP3887857A2 (en) 2021-10-06
WO2020113166A3 (en) 2020-07-23
US20200175315A1 (en) 2020-06-04
TW202109078A (zh) 2021-03-01
CN113167888A (zh) 2021-07-23
WO2020113166A2 (en) 2020-06-04
US20240192361A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
TWI834771B (zh) 相機與雷達訊框之早期融合
TWI834772B (zh) 雷達深度學習
TWI841695B (zh) 用於雷達輔助之單一影像三維深度重建之方法、車載電腦及非暫時性電腦可讀媒體
US10739438B2 (en) Super-resolution radar for autonomous vehicles
US11948249B2 (en) Bounding box estimation and lane vehicle association
US11378654B2 (en) Recurrent super-resolution radar for autonomous vehicles
US11479262B2 (en) Geographically disparate sensor fusion for enhanced target detection and identification in autonomous vehicles
US11587204B2 (en) Super-resolution radar for autonomous vehicles
US12066518B2 (en) GAN-based data synthesis for semi-supervised learning of a radar sensor
CN116359908A (zh) 点云数据增强方法、装置、计算机设备、系统及存储介质
US20230341542A1 (en) Use of camera information for radar beamforming
SUGIYAMA et al. Fundamental Study on Synthetic Aperture Imaging by using Millimeter Wave Automotive Radar