WO2022058331A1 - Verfahren, computerprogramm, speichermedium, vorrichtung zum tracking eines objekts - Google Patents

Verfahren, computerprogramm, speichermedium, vorrichtung zum tracking eines objekts Download PDF

Info

Publication number
WO2022058331A1
WO2022058331A1 PCT/EP2021/075287 EP2021075287W WO2022058331A1 WO 2022058331 A1 WO2022058331 A1 WO 2022058331A1 EP 2021075287 W EP2021075287 W EP 2021075287W WO 2022058331 A1 WO2022058331 A1 WO 2022058331A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
module
status
object status
tracking
Prior art date
Application number
PCT/EP2021/075287
Other languages
English (en)
French (fr)
Inventor
Alex Matskevych
Thomas Gumpp
Alexandru Paul Condurache
Claudius Glaeser
Jasmin Ebert
Sebastian Muenzner
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US18/245,105 priority Critical patent/US20230358877A1/en
Priority to CN202180063244.2A priority patent/CN116324502A/zh
Publication of WO2022058331A1 publication Critical patent/WO2022058331A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a method for tracking an object.
  • the present invention relates to corresponding computer programs, storage media, devices.
  • DE 10 2010 029 637 A1 discloses a method for object tracking in a locating system with a wave emitter and a wave sensor.
  • the procedure comprises the following steps:
  • Calculating a predicted distance and a predicted speed of the object for a second measurement cycle by performing Kalman filtering based on the first speed and the first distance, using a motion model in spherical sensor coordinates and an auxiliary variable for the Kalman filtering.
  • tracking an object or object tracking can be understood to mean a field of technology that aims to be based on Identifying sensor values from environment sensors a set of objects and deriving an object status in each case, associating the sensor values with identified objects and continuously updating the object status based on new sensor values.
  • Object tracking in the automotive sector has the inherent problem that typically extended objects, usually vehicles, are to be tracked primarily based on the signals from an environment sensor system.
  • One task is to assign the received sensor signals to an object (associating step). For this purpose, among other things using sensor models.
  • the object of the present invention is to learn a sensor measurement model, i. H. essentially using a corresponding Kl module, with the application of which the predicted object status can be corrected as a function of the detected sensor signals.
  • the present invention creates a method for tracking an object with an environment sensor.
  • an environment sensor can be understood to mean a sensor or a sensor system that detects waves, in particular electromagnetic waves, and optionally emits corresponding waves.
  • Typical environment sensors are video, radar, ultrasonic, infrared and lidar sensors.
  • driver assistance systems for longitudinal and lateral control for longitudinal and lateral control (so-called adaptive cruise control, ACC).
  • the method of the present invention has the following typical steps of a method for object tracking using a Kalman filter: Recording a sensor value of the surroundings sensor.
  • the steps of predicting and updating typically run as part of processing within a Bayesian filter, in particular within a Kalman filter, in particular an extended Kalman filter.
  • the method of the present invention is characterized in that a KI module is used in the updating step.
  • the AI module is trained in such a way that the detected sensor value is associated with the object and the object status of the object is updated as a function of the future object status of the object and of the detected sensor value.
  • the invention is based on the finding that a KI module can be trained on sensor measurement models in such a way as to associate detected sensor values with a tracked object and to update the object status of the tracked object.
  • the learned sensor measurement model solves the task of first associating the recorded sensor measurement values that are present in the sensor measurement value space with the tracked object and then using the associated sensor measurement values to update the object status of the tracked object that is present in the object status space, which typically differs from the sensor measurement value space .
  • the trained Kl module can be understood as a kind of virtual sensor that maps measured values from the measured value space into an abstract dimension.
  • the abstract dimension should be related to the object status space. It is advantageous if the abstract dimension matches the object status space.
  • x k the updated object status of the tracked object in journal k.
  • x k the predicted object status of the tracked object for journal k.
  • K k is the Kalman gain, which minimizes the a posteriori error covariance and represents a value to which extent the predicted object status x k was adjusted using the sensor measurement values z k or virtual sensor measurement values z k NN .
  • Sensor reading function that converts the object status into the abstract
  • the KI module can be a regression system.
  • the AI module comprises a grid-based artificial neural network.
  • a grid-based artificial neural network can be understood to mean a convolutional neural network that works on a data grid (grid) as input.
  • a grid can be implemented using a polar field.
  • the data grid can represent a predetermined area centered around the tracked object. An area of 10 m by 10 m with a cell size of 0.25 m by 0.25 m has proven useful. A processed subset of the recorded environment variables can be entered in the depth of the input grid. When using a radar sensor as an environment sensor, the attributes of the radial speed and the backscatter cross section or the backscatter beam area of the radar sensor have emerged as environment variables.
  • the strength can be determined using the attribute angle quality of the sensor signal. Alternatively, an average of the radar reflections or a weighting of the attributes via the angle quality can be used.
  • the use of a grid-based artificial neural network as a KI module has the advantage that the robustness of the method can be increased compared to the classic measurement models such as the L-shape or the closest reflex model.
  • the Closes Reflex Model is an association model that uses the nearest radar reflex in a distance-based metric.
  • the KI module comprises an artificial neural network based on adaptive lists, e.g. with an architecture derived from T-Net according to CR Qi, H. Su, K. Mo, and LJ Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in IEEE conference on computer vision and pattern recognition, 2017, pp. 652-660 hereinafter referred to as Point T-Net.
  • the Point T-Net is structured in such a way that when using a radar sensor as an environment sensor, the first layers are first learned independently for each radar reflection, the results of which are subsequently combined to form a global feature vector that is suitable for representing the entire recorded scene .
  • the network learns directly how to predict corrections to the object state.
  • Point T-Net as a Kl module has the advantage that, in addition to the increased robustness compared to the classic L-Shape and Closest Reflex Model models, the Point T-Net is also significantly superior to the known methods in terms of accuracy. In addition, the natural measurement principle of the radar with a different number of reflections is better represented by the adaptive list input.
  • the AI module is trained to map a detected sensor value from the sensor measurement space into the object status space.
  • the measurement noise is derived as a function of the KI module.
  • the measurement noise can be derived as a function of the Kl module both offline, i. H. before performing the procedure or online, d. H. take place during the implementation of the procedure.
  • the derivation takes place by calculating a covariance matrix, which can be introduced into the Bayesian filter, in particular the Kalman filter, as measurement noise.
  • the artificial neural network m is first trained. After the neural network m has finished training, the data points of the validation set gt k are divided into the cells mentioned above. Each data point is entered into the trained network by normalization with different prediction errors. Here the noise with 2500 offsets has proven to be useful.
  • the covariance matrix of the measurement noise is calculated for each grid cell using the relationship below. The calculated covariance matrices are saved and used in the case of inference.
  • the covariance matrix is calculated using the appropriately trained KI module.
  • a covariance matrix R for the measurement noise of the Kalman filter can be derived by dividing the scanning field of the sensor into a grid, for example a polar field, and for each cell of the field a respective covariance matrix R is absolved.
  • the estimation is made by determining the deviations between the prediction of the Kl module z k NN and the ground truth gt k according to the following relationship:
  • the calculated covariance matrices are stored and used in the case of inference, ie while the method of the present invention is being carried out.
  • An alternative way of determining the measurement uncertainty is to use the distribution error after digital signal processing. Since each reflection is characterized by an average value (mean) and a standard deviation (standard deviation), sampling can take place online during the inference step, ie while the method is being carried out from the distribution per reflection. These samples are fed to the trained artificial neural network. The measurement noise can be determined from their errors.
  • Another alternative embodiment is to determine the measurement noise of the Bayesian filter, in particular the Kalman filter, directly by using output uncertainties of an artificial neural network. This is already trained in the training step to output network uncertainties. These can be used directly online in the inference step.
  • This embodiment is derived from D. Feng, L. Rosenbaum, F. Timm, and K. Dietmayer, "Leveraging heteroscedastic aleatoric uncertainties for robust realtime lidar 3d object detection," in IEEE Intelligent Vehicles Symposium, 2019, pp. 1280-1287.
  • a further aspect of the present invention is the use of a method according to one of the preceding claims in a method for the longitudinal and/or lateral control of a motor vehicle.
  • a further aspect of the present invention is a computer program which is set up to carry out all the steps of the method according to the present invention.
  • Another aspect of the present invention is a machine-readable storage medium on which the computer program according to an aspect of the present invention is stored.
  • a further aspect of the present invention is a device which is set up to carry out all the steps of the method according to the present invention. Embodiments of the present invention are explained in more detail below with reference to drawings.
  • FIG. 1 shows a flowchart of an embodiment of the method according to the present invention
  • Figure 2 is a block diagram of an apparatus implementing the method according to the present invention.
  • FIG. 1 shows a flow chart of an embodiment of the method 100 for tracking an object, comprising an AI module according to the present invention.
  • step 101 a sensor value of an environment sensor is recorded.
  • step 102 a future object status of the tracked object is predicted.
  • step 103 the object status of the tracked object is updated.
  • Steps 102 and 103 run in the Kalman filter.
  • the method of the present invention is based on the knowledge that the previously customary steps of associating the detected sensor values with the tracked object and updating the object status of the tracked object use a Kl module, which is trained in such a way that the detected sensor value matches the tracked object is associated and the object status of the tracked object is updated depending on the predicted future object status of the object and on the detected and associated sensor value. It goes without saying that the object status cannot be updated if the detected sensor value cannot be associated with the tracked object.
  • the detected sensor value has no relation to the tracked object, e.g. because the sensor value includes information about another tracked object (so-called true negative).
  • the detected sensor value is related to the tracked object, but is not associated because the association is too weak and there is too great a residual probability that the detected sensor value is not related to the tracked object (so-called false negative).
  • Figure 2 shows a block diagram of an apparatus implementing the method according to the present invention.
  • Block 11 represents the detection of sensor signals by means of an environment sensor (measurement).
  • the asterisks in the display stand for signal reflections that have been detected in each case.
  • a surroundings sensor is typically understood to be a sensor or a sensor system that detects waves, in particular electromagnetic waves, and, if necessary, emits corresponding waves.
  • Typical environment sensors are video, radar, ultrasonic, infrared and lidar sensors.
  • the detected sensor signals are fed to a method for object tracking, shown in block 10 .
  • the object is tracked by means of a Kalman filter, then typically the steps of prediction of a future object status (prediction), shown in block 12, association of the sensor signals with a tracked object (association), shown in block 13, updating of the object status (update), shown in block 14 and compilation of the current list of tracked objects (tracked objects) for output to a further processing system such as an adaptive cruise control (ACC), shown in block 15, run through cyclically.
  • ACC adaptive cruise control
  • the present invention is based on the finding that the step of association 13 and part of the step of updating 14 can be implemented by means of a Kl module 21, that the detected sensor signals may be pre-processed and in the context of processing both the association and also the required transformation from the sensor measurement space to the
  • Object status space 22 makes.
  • This characteristic part of the present invention is represented in block 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren (100) zum Tracking eines Objekts [in einem Ortungssystem] mit einem Umfeldsensor (Wellenemitter und Wellensensor), insbesondere eines Radarsensors, wobei das Objekt mittels eines Objektstatus repräsentiert wird, umfassend die Schritte: - Erfassen (101) eines Sensorwertes des Umfeldsensors; - Prädizieren (102) eines zukünftigen Objektstatus des Objekts und - Aktualisieren (103) des Objektstatus mittels eines Kalman-Filters, dadurch gekennzeichnet, dass im Schritt des Aktualisierens (103) ein KI-Modul eingesetzt wird, wobei das KI-Modul derart trainiert ist, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.

Description

Beschreibung
Titel
Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts
Die vorliegende Erfindung betrifft in einem ersten Aspekt ein Verfahren zum Tracking eines Objekts. In weiteren Aspekten betrifft die vorliegende Erfindung entsprechende Computerprogramme, Speichermedien, Vorrichtungen.
Stand der Technik
Aus der DE 10 2010 029 637 Al ist ein Verfahren zum Objekt-Tracking in einem Ortungssystem mit einem Wellenemitter und einem Wellensensor bekannt. Das Verfahren umfasst dabei die nachstehenden Schritte:
Messen eines ersten Abstandes und einer ersten Geschwindigkeit eines Objektes in einem ersten Messzyklus, indem mittels des Wellenemitters Wellen ausgesandt werden und von dem Objekt reflektierte Wellen mittels des Wellensensors detektiert werden,
Berechnen eines prädizierten Abstandes und einer prädizierten Geschwindigkeit des Objektes für einen zweiten Messzyklus, indem basierend auf der ersten Geschwindigkeit und dem ersten Abstand eine Kalman- Filterung durchgeführt wird, wobei für die Kalman- Filterung ein Bewegungsmodell in sphärischen Sensorkoordinaten und eine Hilfsvariable verwendet werden.
Vorteile der Erfindung
Unter Tracking eines Objekts bzw. Objekt-Tracking kann vorliegend ein Technologiefeld verstanden werden, das darauf abzielt basierend auf Sensorwerten von Umfeldsensoren eine Menge von Objekten zu identifizieren und jeweils einen Objektstatus abzuleiten, die Sensorwerte mit identifizieren Objekte zu assoziieren sowie den Objektstatus laufend basierend auf neuen Sensorwerten zu aktualisieren.
Objekt-Tracking im Automotive- Bereich weist die inhärente Problemstellung auf, dass typischerweise ausgedehnte Objekte, im Regelfall Fahrzeuge, primär basierend auf den Signalen einer Umfeldsensorik zu tracken sind. Dabei ist es eine Aufgabe die empfangenen Sensorsignale einem Objekt zuzuordnen (Schritt des Assoziierens). Dazu wird u. a. auf Sensormodelle zurückgegriffen.
Insbesondere die Erstellung eines entsprechenden Sensormodells ist bisher sehr aufwändig.
Daher ist es Ziel der vorliegenden Erfindung ein Sensormessmodell zu lernen, d. h. im Wesentlichen ein entsprechendes Kl-Modul einzusetzen, mit dessen Anwendung die prädizierten Objektstatus in Abhängigkeit von den erfassten Sensorsignalen korrigiert werden kann.
Vor diesem Hintergrund schafft die vorliegende Erfindung in einem ersten Aspekt ein Verfahren zum Tracking eines Objekts mit einem Umfeldsensor.
Unter einem Umfeldsensor kann vorliegend ein Sensor bzw. ein Sensorsystem verstanden werden, dass Wellen, insbesondere elektromagnetische Wellen, erfasst und ggf. korrespondierende Wellen aussendet. Typische Umfeldsensoren sind dabei Video-, Radar-, Ultraschall-, Infrarot-, Lidarsensoren.
Ein Anwendungsfeld der Technologie Objekt-Tracking sind im Automotive- Bereich Fahrerassistenzsysteme zur Längs- und Quersteuerung (sog. Adaptive Geschwindigkeitsregelung, Adaptive Cruise Control, ACC).
Das Verfahren der vorliegenden Erfindung weist dazu die nachstehenden, typischen Schritte eines Verfahren zum Objekttracking mittels eines Kalman- Filters auf: Erfassen eines Sensorwertes des Umfeldsensors.
Prädizieren eines zukünftigen Objektstatus des Objekts.
Aktualisieren des Objektstatus.
Die Schritte des Prädizierens und des Aktualisierens laufen dabei typischerweise im Rahmen einer Verarbeitung innerhalb eines Bayes’schen Filters, insbesondere innerhalb eines Kalman- Filters, insbesondere eines Extended Kalman Filters, ab.
Das Verfahren der vorliegenden Erfindung zeichnet sich dadurch aus, dass im Schritt des Aktualisierens ein Kl-Modul eingesetzt wird. Das Kl-Modul ist dabei derart trainiert, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.
Dabei basiert die Erfindung auf der Erkenntnis, dass ein Kl-Modul derart auf Sensormessmodelle (engl. sensor measurement models) trainiert werden kann, erfasste Sensorwerte mit einem getrackten Objekt zu assoziieren und den Objektstatus des getrackten Objekts zu aktualisieren. Dabei löst das gelernte Sensormessmodell die Aufgabe, die erfassten Sensormesswerte, die im Sensormesswertraum vorliegen, zunächst mit dem getrackten Objekt zu assoziieren und dann mittels der assoziierten Sensormesswerte den Objektstatus des getrackten Objekts, der im Objektstatusraum vorliegt, welcher sich typischerweise vom Sensormesswertraum unterscheidet, zu aktualisieren.
Das trainierte Kl-Modul kann dabei als eine Art virtueller Sensor aufgefasst werden, der Messwerte aus dem Messwertraum in eine abstrakte Dimension abbildet. Die abstrakte Dimension sollte dabei in einem Zusammenhang mit dem Objektstatusraum stehen. Vorteilhaft ist, wenn die abstrakte Dimension mit dem Objektstatusraum übereinstimmt.
Seien m das trainierte Modell und zk die erfassten Sensormesswerte, dann gilt für virtuellen Sensormesswert zk NN: z°NN = m zk) Dieses Modell lässt sich einfach in den bekannten Aktualisierungsschritt eines Objekttrackers mit Bayes’schem Filter, insbesondere mit Kalman- Filter, einsetzen:
Figure imgf000006_0001
Alternativ kann die Korrektur zwischen dem prädizierten Objektstatus xk und der erfassten Sensormesswerten zk direkt gelernt werden. Dazu sei m das trainierte Modell:
Figure imgf000006_0002
Dieses Modell lässt sich einfach in den bekannten Aktualisierungsschritt eines Objekttrackers mit Bayes’schem Filter, insbesondere mit Kalman- Filter, einsetzen:
Figure imgf000006_0003
Dabei sind xk: der aktualisierte Objektstatus des getrackten Objekts im Zeitschrift k. xk der prädizierte Objektstatus des getrackten Objekts für Zeitschrift k.
Kk der Kalman-Gain, der den a posteriori Fehlerkovarianz minimiert und einen Wert repräsentiert, bis zum welchem Ausmaß der prädizierte Objektstatus xk anhand der Sensormesswerte zk bzw. virtuellen Sensormesswerte zk NN angepasst wurde. Sensormesswertfunktion, die den Objektstatus in die abstrakte
Dimension der virtuellen Sensormesswerte zk NN abbildet. Von Vorteil ist, wenn die abstrakte Dimension der virtuelle Sensormesswerte mit dem Objektzustandsraum übereinstimmt. vk: das Sensormessrauschen.
Bei dem Kl-Modul kann es sich um ein Regressionssystem handeln.
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung umfasst das Kl-Modul ein Grid-basiertes künstliches neuronales Netz. Unter einem Grid-basierten künstlichen neuronalen Netz kann vorliegend ein Convolutional Neural Network verstanden werden, das auf einem Datengitter (Grid) als Eingabe arbeiten. Eine Umsetzung eines Grids kann mit Hilfe eines Polarfeldes erfolgen.
Das Datengitter kann dabei eine vorbestimmte Fläche zentriert um das getrackte Objekte repräsentieren. Eine Fläche von 10 m auf 10 m mit einer Zellengröße von jeweils 0,25 m auf 0,25 m hat dabei sich als brauchbar erwiesen. In die Tiefe des Eingabegitters kann eine verarbeitete Untermenge der erfassten Umfeldgrößen aufgetragen werden. Bei der Verwendung eines Radarsensors als Umfeldsensor haben sich als Umfeldgrößen die Attribute Radialgeschwindigkeit und der Rückstreuquerschnitt bzw. die Rückstreustrahlfläche des Radarsensors herausgestellt.
Bei der Verwendung eines Radarsensors als Umfeldsensor hat es sich ferner als hilfreich erwiesen, wenn mehr als ein Radarreflex in eine Zelle fällt, nur die Attribute des stärksten Reflexes zu berücksichtigen. Die Stärke kann dabei mittels dem Attribut Winkelqualität des Sensorsignals bestimmt werden. Alternativ kann ein Mittelwert der Radarreflexe oder eine Gewichtung der Attribute über die Winkelqualität verwendet werden.
Die Verwendung eines Grid-basierten künstlichen neuronalen Netzes als Kl- Modul hat den Vorteil, dass sich dadurch die Robustheit des Verfahrens im Vergleich zu den klassischen Messmodellen, wie L-Shape oder das Closest Reflex Model erhöhen lässt. Bei dem Closes Reflex Model handelt es sich um ein Assoziationsmodell, das den nächsten Radarreflex in einer distanzbasierten Metrik verwendet.
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung umfasst das Kl-Modul ein künstliches neuronales Netz, das auf adaptiven Listen basierten, bspw. mit einer Architektur abgeleitet von T-Net nach C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in IEEE conference on computer vision and pattern recognition, 2017, pp. 652-660 im Folgenden Point T-Net genannt. Dabei ist das Point T-Net derart aufgebaut, dass bei der Verwendung eines Radarsensors als Umfeldsensor die ersten Schichten zunächst unabhängig je Radarreflex erlernt werden, die Ergebnisse davon werden nachfolgenden zu einem globalen Merkmalsvektor zusammengeführt, der dazu geeignete ist, die gesamte erfasste Szene zu repräsentieren.
Dabei lernt das Netz direkt die Vorhersage von Korrekturen des Objektzustands.
Es hat sich ebenfalls als vorteilhaft herausgestellt, die Eingabe des Point T-Net derart anzulegen, dass das getrackte Objekt der Ursprung des Koordinatensystems der Eingabeparameter darstellt.
Die Verwendung eines Point T-Nets als Kl-Modul hat den Vorteil, dass neben der erhöhten Robustheit im Vergleich zu den klassischen Modellen L-Shape und Closest Reflex Model auch das Point T-Net zudem hinsichtlich der Genauigkeit den bekannten Verfahren signifikant überlegen ist. Zudem wird durch den adaptiven Listeneingang das natürliche Messprinzip des Radars mit einer unterschiedlichen Anzahl an Reflexen besser abgebildet.
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung ist das Kl-Modul derart trainiert, einen erfassten Sensorwert aus dem Sensormessraum in den Objektstatusraum abzubilden.
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird das Messrauschen in Abhängigkeit von dem Kl-Modul abgeleitet.
Die Ableitung des Messrauschens in Abhängigkeit von dem Kl-Modul kann sowohl offline, d. h. vor dem Durchführen des Verfahrens oder online, d. h. während des Durchführens des Verfahrens erfolgen.
Im Offline- Fall erfolgt die Ableitung durch Berechnung einer Kovarianzmatrix, die als Messrauschen in den Bayes’schen Filter, insbesondere den Kalman- Filter eingebracht werden kann. Für den Offline-Fall erfolgt zunächst das Training des künstlichen neuronalen Netzes m. Nachdem das neuronale Netzwerk m fertig trainiert wurde, werden die Datenpunkte des Validierungssatzes gtk in die oben genannten Zellen eingeteilt. Jeder Datenpunkt wird durch Normalisierung mit verschiedene Prädiktionsfehlern in das trainierte Netzwerk gegeben. Hier hat sich das Verrauschen mit 2500 Offsets als sinnvoll erwiesen. Pro Grid Zelle wird die Kovarianzmatrix des Messrauschens über die untere Beziehung errechnet. Die errechneten Kovarianzmatrizen werden abgespeichert und im Inferenzfall genutzt.
Die Berechnung der Kovarianzmatrix erfolgt mittels des entsprechend trainierten Kl-Moduls. Die Ableitung einer Kovarianzmatrix R für das Messrauschen des Kalman- Filters, kann erfolgen, indem das Abtastfeld des Sensors in ein Grid, bspw. ein Polarfeld, aufgeteilt wird und für jede Zelle des Feldes eine jeweilige Kovarianzmatrix R abgeschäftzt wird. Die Abschätzung erfolgt dabei durch das bestimmen der Abweichungen zwischen der Vorhersage des Kl-Moduls zk NN und dem Groundtruth gtk gemäß der nachstehenden Beziehung:
Rf»« = COv[zJ>«" - RtJ
Im Falle des alternativen Ansatzes zur direkten Bestimmung der Differenz (m(zk,xk) = zk —
Figure imgf000009_0001
vfe)) aus dem Kl Modul ergibt sich analog : R°NN = Cov[m(zk,xk)J
Die so abgeschätzten Kovarianzmatrizen können auf einfache Art und Weise in den Kalman- Filter gemäß der nachstehenden Beziehung aufgenommen werden:
Figure imgf000009_0002
Zur Berechnung der Kovarianzmatrix hat es sich als vorteilhaft erwiesen, das trainierte Kl-Modul auf 2500 Prädiktions- und Messsituationen anzuwenden. Mögliche Prädiktionssituationen können beispielsweise aus künstlichen Offsets durch Verrauschen des Ground Turth gtk erzeugt werden.
Die errechneten Kovarianzmatrizen werden abgespeichert und im Inferenzfall, d. h. während des Durchführens des Verfahrens der vorliegenden Erfindung verwendet. Eine Alternative Möglichkeit die Messunsicherheit zu bestimmen ist die Verteilungsfehler nach der digitalen Signalverarbeitung zu nutzen. Da jeder Reflex durch einen Durchschnittswert (Mean) und eine Standardabweichung (Standard Deviation) gekennzeichnet ist, kann online während des Inferenzschritts, d. h. während des Durchführens des Verfahrens aus der Verteilung pro Reflex gesampelt werden. Diese Samples werden dem trainierten künstlichen neuronalen Netz zugeführt. Aus deren Fehlern kann das Messrauschen bestimmt werden.
Eine weitere alternative Ausführungsform ist es, das Messrauschen des Bayes’schen Filters, insbesondere des Kalman- Filters, direkt durch die Nutzung von Ausgabeunsicherheiten eines künstlichen neuronalen Netzes zu bestimmen. Dieses wird bereits im Trainingsschritt darauf trainiert Netzwerkunsicherheiten mit auszugeben. Diese können direkt online im Inferenzschritt genutzt werden. Diese Ausführungsform ist abgeleitet von D. Feng, L. Rosenbaum, F. Timm, and K. Dietmayer, “Leveraging heteroscedastic aleatoric uncertainties for robust realtime lidar 3d object detection,” in IEEE Intelligent Vehicles Symposium, 2019, pp. 1280-1287.
Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche, in einem Verfahren zur Längs- und/oder Quersteuerung eines Kraftfahrzeugs.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß einem Aspekt der vorliegenden Erfindung gespeichert ist.
Ein weiter Aspekt der vorliegenden Erfindung ist eine Vorrichtung, welche eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen. Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen näher erläutert.
Es zeigen
Fig. 1 ein Ablaufdiagramm einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung;
Fig. 2 ein Blockdiagramm einer Vorrichtung, die das Verfahren gemäß der vorliegenden Erfindung umsetzt.
Figur 1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens 100 zum Tracking eines Objekts umfassend ein Kl-Modul gemäß der vorliegenden Erfindung.
In Schritt 101 wird ein Sensorwert eines Umfeldsensors erfasst.
In Schritt 102 wird ein zukünftiger Objektstatus des getrackten Objekts prädiziert.
In Schritt 103 wird der Objektstatus des getrackten Objekts aktualisiert.
Die Schritte 102 und 103 laufen dabei im Kalman- Filter ab.
Das Verfahren der vorliegenden Erfindung basiert auf der Erkenntnis, für die bisher üblichen Schritte des Assoziierens der erfassten Sensorwerte mit dem getrackten Objekt und des Aktualisierens des Objektstatus des getrackten Objekts Kl-Modul einzusetzen, welches derart trainiert ist, dass der erfasste Sensorwert mit dem getrackten Objekt assoziiert wird und der Objektstatus des getrackten Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten und assoziierten Sensorwert aktualisiert wird. Es versteht sich, dass eine Aktualisierung des Objektstatus nicht erfolgen kann, wenn der erfasste Sensorwert nicht mit dem getrackten Objekt assoziiert werden kann.
Für diesen Fall kann es im Wesentlichen zwei Gründe geben. Entweder hat der erfasste Sensorwert keinen Bezug zu dem getrackten Objekt, bspw., weil der Sensorwert Informationen über ein weiteres getracktes Objekt umfasst (sog. true negative). Oder der erfasste Sensorwert hat einen Bezug zu dem getrackten Objekt, wird aber nicht assoziiert, weil die Assoziation zu schwach ist und eine zu große Restwahrscheinlichkeit verbleibt, dass der erfasste Sensorwert keinen Bezug zu dem getrackten Objekt hat (sog. false negative).
Figur 2 zeigt ein Blockdiagramm einer Vorrichtung, die das Verfahren gemäß der vorliegenden Erfindung umsetzt.
Block 11 stellt die Erfassung von Sensorsignalen mittels eines Umfeldsensors (Measurement) dar. Die Sterne stehen in der Darstellung für jeweils erfasste Signalreflexe. Unter einem Umfeldsensor wird typsicherweise ein Sensor bzw. ein Sensorsystem verstanden werden, der bzw. das Wellen, insbesondere elektromagnetische Wellen, erfasst und ggf. korrespondierende Wellen aussendet. Typische Umfeldsensoren sind dabei Video-, Radar-, Ultraschall-, Infrarot-, Lidarsensoren.
Die erfassten Sensorsignale werden einem Verfahren zum Objekttracking, dargestellt in Block 10, zugeführt.
Erfolgt das Objekttracking mittels eines Kalman- Filters, so werden typischerweise die Schritte Vorhersage eines zukünftigen Objektstatus (Prediction), dargestellt in Block 12, Assoziation der Sensorsignale mit einem getrackten Objekt (Association), dargestellt in Block 13, Aktualisierung des Objektstatus (Update), dargestellt in Block 14 und Zusammenstellung der aktuellen Liste an getrackten Objekten (Tracked Objects) zu Ausgabe an ein weiterverarbeitendes System wie bspw. ein Adaptive Geschwindigkeitsregelung (ACC), dargestellt in Block 15, zyklisch durchlaufen. Die vorliegende Erfindung basiert auf der Erkenntnis, dass der Schritt der Assoziation 13 und ein Teil des Schrittes der Aktualisierung 14, mittels eines Kl- Moduls 21 umgesetzt werden kann, dass die erfassten Sensorsignale ggf. vorverarbeitet aufnimmt und im Rahmen der Verarbeitung sowohl die Assoziation als auch die erforderliche Transformation aus dem Sensormessraum in den
Objektstatusraum 22 vornimmt.
Dieser kennzeichnende Teil der vorliegenden Erfindung ist in Block 20 dargestellt.

Claims

Ansprüche
1. Verfahren (100) zum Tracking eines Objekts mit einem Umfeldsensor, insbesondere eines Radarsensors, wobei das Objekt mittels eines Objektstatus repräsentiert wird, umfassend die Schritte:
Erfassen (101) eines Sensorwertes des Umfeldsensors;
Prädizieren (102) eines zukünftigen Objektstatus des Objekts und Aktualisieren (103) des Objektstatus mittels eines Bayes’schen Filters, insbesondere eines Kalman- Filters, dadurch gekennzeichnet, dass im Schritt des Aktualisierens (103) ein Kl- Modul eingesetzt wird, wobei das Kl-Modul derart trainiert ist, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.
2. Verfahren (100) nach Anspruch 1, wobei das Kl-Modul ein Grid-basiertes künstliches neuronales Netz umfasst.
3. Verfahren (100) nach Anspruch 1, wobei das Kl-Modul ein auf adaptiven Listen basierendes künstliches neuronales Netz umfasst.
4. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Kl- Modul derart trainiert ist, den erfassten Sensorwert aus dem Sensormessraum in den Objektstatusraum abzubilden.
5. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Messrauschen in Abhängigkeit von dem Kl-Modul abgeleitet wird.
6. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche, in einem Verfahren zur Längs- und/oder Quersteuerung eines Kraftfahrzeugs. Computerprogramm, welches eingerichtet ist, alle Schritte eines Verfahrens (100) nach einem der vorhergehenden Ansprüche auszuführen. Maschinenlesbares Speichermedium, auf dem ein Computerprogramm nach Anspruch 7 gespeichert ist. Vorrichtung, welche eingerichtet ist, alle Schritte eines Verfahrens (100) nach einem der Ansprüche 1 bis 6 auszuführen.
PCT/EP2021/075287 2020-09-16 2021-09-15 Verfahren, computerprogramm, speichermedium, vorrichtung zum tracking eines objekts WO2022058331A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/245,105 US20230358877A1 (en) 2020-09-16 2021-09-15 Method, Computer Program, Storage Medium, Device for Tracking an Object
CN202180063244.2A CN116324502A (zh) 2020-09-16 2021-09-15 用于跟踪对象的方法、计算机程序、存储介质、设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211590.7A DE102020211590A1 (de) 2020-09-16 2020-09-16 Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts
DE102020211590.7 2020-09-16

Publications (1)

Publication Number Publication Date
WO2022058331A1 true WO2022058331A1 (de) 2022-03-24

Family

ID=77914343

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/075287 WO2022058331A1 (de) 2020-09-16 2021-09-15 Verfahren, computerprogramm, speichermedium, vorrichtung zum tracking eines objekts

Country Status (4)

Country Link
US (1) US20230358877A1 (de)
CN (1) CN116324502A (de)
DE (1) DE102020211590A1 (de)
WO (1) WO2022058331A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029637A1 (de) 2010-06-02 2011-12-08 Robert Bosch Gmbh Verfahren zum Objekt-Tracking in einem Ortungssystem und Ortungssystem
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029637A1 (de) 2010-06-02 2011-12-08 Robert Bosch Gmbh Verfahren zum Objekt-Tracking in einem Ortungssystem und Ortungssystem
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. R. QIH. SUK. MOL. J. GUIBAS: "Pointnet: Deep learning on point sets for 3d classification and segmentation", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2017, pages 652 - 660
D. FENGL. ROSENBAUMF. TIMMK. DIETMAYER: "Leveraging heteroscedastic aleatoric uncertainties for robust realtime lidar 3d object detection", IEEE INTELLIGENT VEHICLES SYMPOSIUM, 2019, pages 1280 - 1287
GROB JOHANNES ET AL: "AlignNet-3D: Fast Point Cloud Registration of Partially Observed Objects", 2019 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), IEEE, 16 September 2019 (2019-09-16), pages 623 - 632, XP033653301, DOI: 10.1109/3DV.2019.00074 *

Also Published As

Publication number Publication date
DE102020211590A1 (de) 2022-03-17
CN116324502A (zh) 2023-06-23
US20230358877A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
DE102013102153A1 (de) Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
DE102006045115A1 (de) System und Verfahren zur Zielverfolgung unter Verwendung von Sensorfusion
EP3695244A1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
DE102017101476B3 (de) Lokalisieren eines Objekts in einer Umgebung eines Kraftfahrzeugs durch ein Ultraschallsensorsystem
DE102016225590A1 (de) Radarvorrichtung und Sensorfusionssystem, das diese verwendet
DE102020102712A1 (de) Entfernung von fehlalarmen in der keulenbildungsphase zum erfassen von radaren unter verwendung eines tiefen neuronalen netzwerks
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
WO2022122933A1 (de) Verfahren und vorrichtung zum detektieren von objekten in einer umgebung eines fahrzeugs
DE102018122560A1 (de) Zielklassifizierungsverfahren und zugehörige vorrichtung
WO2022058331A1 (de) Verfahren, computerprogramm, speichermedium, vorrichtung zum tracking eines objekts
DE102018001533B4 (de) Echtzeitverfahren zur dynamischen Koordinaten- und Parameterschätzung mit gitterbasierten nicht-linearen probabilistischen Filtern
WO2019063393A1 (de) Verfahren und system zur bestimmung zumindest einer bewegungskomponente einer absolutbewegung eines objektes im ruhenden bezugssystem
DE102022211987A1 (de) Verfahren, Computerprogramm, maschinenlesbares Speichermedium und System zur Klassifizierung von Geisterobiekten in einer Umgebung eines Straßenfahrzeugs, eines Beförderungssystems und/oder einer Komponente einer Verkehrsinfrastruktur
DE102022123257A1 (de) Selektives Ausscheiden der Merkmale für entgegenwirkende Robustheit neuronaler Netze
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
DE102016116471A1 (de) Navigationskorrekturmodul sowie unbemanntes Unterwasserfahrzeug damit und Verfahren
DE102020116027A1 (de) Verfahren und Vorrichtung zur Ermittlung von Belegungsinformation für einen Umfeldpunkt auf Basis von Radardetektionen
DE102021111114A1 (de) Fahrspurunbestimmtheitsmodellierung und -verfolgung in einem Fahrzeug
DE102020213527A1 (de) Verfahren zum Optimieren einer Strategie für einen Roboter
WO2011036013A1 (de) Verfahren und vorrichtung zum bestimmen der position eines wasserfahrzeugs
DE102019214008A1 (de) Verfahren und Vorrichtung zur Lokalisierung eines mobilen Agenten in einer Umgebung mit dynamischen Objekten
DE102019128686A1 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungsinformation in Bezug auf ein Objekt
DE102006051091B4 (de) Verfahren zur Objekterkennung von Fahrzeugen mittels Nahbereichsdetektion
DE102018130745A1 (de) Verfahren zur Steuerung eines autonomen Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21777718

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21777718

Country of ref document: EP

Kind code of ref document: A1