WO2022129266A1 - Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems - Google Patents

Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems Download PDF

Info

Publication number
WO2022129266A1
WO2022129266A1 PCT/EP2021/086060 EP2021086060W WO2022129266A1 WO 2022129266 A1 WO2022129266 A1 WO 2022129266A1 EP 2021086060 W EP2021086060 W EP 2021086060W WO 2022129266 A1 WO2022129266 A1 WO 2022129266A1
Authority
WO
WIPO (PCT)
Prior art keywords
reflection signals
frame
occupancy grid
sensor system
radar sensor
Prior art date
Application number
PCT/EP2021/086060
Other languages
English (en)
French (fr)
Inventor
Ernest-Adrian Scheiber
Alan KONCAR
Claudius Glaeser
Florian Faion
Chun Yang
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN202180093933.8A priority Critical patent/CN116964472A/zh
Publication of WO2022129266A1 publication Critical patent/WO2022129266A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity

Definitions

  • Radar sensor systems are important for perceiving the environment because of their precise distance and speed measurements. Radar sensor systems are inexpensive and robust to different light and weather conditions.
  • CFAR Constant False Alarm Rate
  • Doppler speed
  • RCS intensity
  • a method for detecting at least one object in an environment using reflection signals from a radar sensor system a method for training a neural network for detecting at least one object using reflection signals from a radar sensor system, a detection device, a computer program and a machine-readable Storage medium according to the features of the independent claims proposed.
  • Advantageous configurations are the subject of the dependent claims and the following description.
  • a method for detecting at least one object in an environment using reflection signals from a radar sensor system is proposed, with the following steps:
  • respective spatial coordinates are provided for a large number of the reflection signals of at least one frame of the radar sensor system.
  • a first measurement attribute of at least a first part of the multiplicity of reflection signals of at least one frame of the radar sensor system is provided.
  • the respective spatial coordinates of the multiplicity of reflection signals of the at least one frame are transformed into an occupancy grid.
  • an occupancy grid is generated, with the plurality of reflection signals of the at least one frame being spatially represented in the occupancy grid by mapping the respective spatial coordinates of the plurality of reflection signals of the at least one frame in the occupancy grid and the respective first measurement attribute of the plurality of reflection signals of the at least one frame is assigned to the spatial representation of the plurality of reflection signals of the at least one frame.
  • an input tensor is generated using the occupancy grid, which spatially represents the plurality of reflection signals of the at least one frame, and the associated first measurement attribute for a trained neural network for detecting the at least one object.
  • the at least one object is detected using the input tensor and the trained neural network.
  • the signal at a connection of artificial neurons can be a real number, and the output of an artificial neuron is calculated by a non-linear function of the sum of its inputs.
  • the connections of the artificial neurons typically have a weight that adjusts as learning progresses. Weight increases or decreases the strength of the signal on a connection.
  • Artificial neurons can Have threshold, so that only a signal is output when the total signal exceeds this threshold.
  • a large number of artificial neurons are combined in layers. Different layers may perform different types of transformations on their inputs. Signals travel from the first layer, the input layer, to the last layer, the output layer; possibly after going through the shifts several times.
  • the architecture of such an artificial neural network can be a neural network, which is optionally expanded with additional, differently constructed layers.
  • such neural networks have at least three layers of neurons: an input layer, an intermediate layer (hidden layer) and an output layer. This means that all neurons in the network are divided into layers.
  • a deep neural network can have many such intermediate layers.
  • Each neuron of the corresponding architecture of the neural network receives z. B. a random starting weight. Then the input data is fed into the network, and each neuron can weight the input signals with its weight and passes the result on to the neurons of the next layer. The overall result is then made available at the output layer. The size of the error can be calculated, as well as the contribution each neuron made to that error, and then change the weight of each neuron in the direction that minimizes the error. Then recursively runs, re-measures the error and adjusts the weights until an error criterion is met.
  • Such an error criterion can be, for example, the classification error on a test data set, or also a current value of a loss function, for example on a training data set.
  • the error criterion can relate to a termination criterion as a step in which overfitting would occur during training or the time available for training has expired.
  • the method for detection can use a radar standard output as input for processing and thus does not require a particularly demanding data transmission rate for the radar sensor system. Furthermore, the method does not require any pre-processing and feature extraction for data preparation.
  • the respective reflection signal can be spatially described by polar coordinates with a reflection distance, an azimuth angle r and an elevation angle and a speed assigned to the reflection signal and an assigned reflection strength (RCS: radar cross section). For this purpose, the reflection signal can be determined from the reflection signal determined with the radar sensor system, taking into account a specific ego movement of the radar sensor system.
  • the detected object can be represented with a two-dimensional or three-dimensional bounding box that indicates the position and orientation of the vehicle relative to the coordinates of the radar sensor system and the extent of the object in two and/or three directions.
  • the reflection signals can be rendered into the coverage grid, with each pixel of the coverage grid being assigned either a 1 or a 0 to represent whether or not a radar reflection described by the reflection signal is included.
  • the assigned measurement attributes such as speed and/or radar signal strength (RCS) can be assigned to the occupancy grid or the data format of the occupancy grid, for example in the form of additional levels and can have a different value range than the occupancy grid. In order to achieve a data structure that corresponds to the occupancy grid, the assigned measurement attributes can be normalized.
  • the method proposed here thus uses the entire radar data of at least one frame as input for object detection, classification and bounding box regression of the object.
  • the method can be used to detect multiple objects at the same time, provided they are detected in the respective frames. This can provide a continuous, one-step, and no-suggestion detector for processing radar data.
  • such a single-stage detector has a higher computational efficiency without sacrificing performance, which can be particularly important in the case of sparse radar reflections and is therefore suitable for a real-time implementation.
  • PRN region proposal network
  • the occupancy grid has Cartesian coordinates and/or is arranged around the radar sensor system. Such a description is particularly favorable and can be arranged in relation to a host vehicle with a radar sensor system in such a way that the origin of the occupancy grid lies in the radar sensor system.
  • the reflection signals are provided by the radar sensor systems in polar coordinates.
  • the method comprises the following steps:
  • the accuracy of the detection and the reliability of the detection of the object can be increased.
  • the input tensor is generated in that the occupancy grid is two-dimensional and the respective spatial coordinates of the multiplicity of reflection signals of the at least one frame are transformed into the two-dimensional occupancy grid.
  • the occupancy grid is two-dimensional and the respective spatial coordinates of the multiplicity of reflection signals of the at least one frame are transformed into the two-dimensional occupancy grid.
  • a reflection height can be determined by means of the elevation angle in accordance with the determination or transformation of the polar coordinates with the azimuth angle. If a height of the respective reflection is not taken into account, this means that all reflections appear to return from the same plane at a certain height above the ground.
  • a representation of the reflection signals from a bird's-eye view can be realized by means of a two-dimensional occupancy grid.
  • a data structure of such a two-dimensional population grid can use a population with a reflection signal, a radar reflection strength (RCS) and a speed determined with the reflection signals to build up presentation layers.
  • RCS radar reflection strength
  • occupancy feature maps can be computed with a grid resolution dL*dW*dH
  • RCS and velocity feature maps can be computed with a resolution of dL*dW*dH. If the occupancy feature maps have two additional channels to cover out-of-range points, the final representation may be of the form (L/dL)*(W/dW)*(H/dH+4).
  • the input tensor is generated by spatially representing the multiplicity of reflection signals of a multiplicity of frames in the occupancy grid.
  • additional reflection signals can be included in the occupancy grid.
  • the reflection signal relates to a cell of the occupancy grid that already represents a reflection signal, it can be represented by statistical measures, such as in particular a mean value.
  • the inclusion of reflection signals in the coverage grid can also be made dependent on a provided accuracy of the angle determination in polar coordinates. Since the reflection signals of a typical street scene are sparse, the accuracy of the detection of the object can be improved by a plurality of frames and the additional reflection signals associated therewith.
  • an effect of the sparseness of radar data can be reduced by reflection signals from a plurality of frames being accumulated in the occupancy grid.
  • the density of the radar data has a significant impact on the detection performance of the neural network. Taking into account the resolution and measuring rate of a radar sensor system used, the vehicle structure and the application goal, an accumulation of reflection signals can improve detection.
  • the first measurement attribute of the reflection signal is different from the second measurement attribute of the reflection signal; and/or the respective measurement attribute has a speed and/or a radar cross section and/or an elevation.
  • Additional measurement attributes can be represented in a representation of the occupancy grid by adding an additional layer.
  • the strength of a reflection signal can be described with a radar cross section.
  • a method for training a neural network for detecting at least one object using reflection signals from a radar sensor system is proposed in accordance with the method described above for detecting at least one object in an environment using reflection signals from a radar sensor system, which has the following steps: In one step, respective spatial coordinates of a plurality of reflection signals provided at least one frame of the radar sensor system. In a further step, respective first measurement attributes of at least a first part of the multiplicity of reflection signals of at least one frame of the radar sensor system are provided. In a further step, the respective spatial coordinates of the multiplicity of reflection signals of the at least one frame are transformed into an occupancy grid. In a further step, spatial coordinates of the at least one object to be detected by means of the reflection signals of the radar sensor system are provided.
  • an occupancy grid is generated, with the plurality of reflection signals of the at least one frame being spatially represented in the occupancy grid by mapping the respective spatial coordinates of the plurality of reflection signals of the at least one frame in the occupancy grid and the respective first Measurement attribute of the plurality of reflection signals of the at least one frame is assigned to the spatial representation of the plurality of reflection signals of the at least one frame.
  • an input tensor is generated for the neural network using the occupancy grid, which spatially represents the multiplicity of reflection signals of the at least one frame, and the respectively assigned first measurement attributes.
  • a large number of input tensors generated in this way, each with a large number of different reflection signals of at least one frame of the radar sensor system are formed.
  • the neural network is trained with the plurality of input tensors and respectively associated provided spatial coordinates of the respective at least one object to be detected to detect at least one object in an environment using signals from a radar sensor system.
  • the object can be represented with a two-dimensional or three-dimensional bounding box.
  • the neural network is trained to indicate a location of the object as well as the dimensions and the arrangement of the object to the coordinates of the corresponding reflection signal.
  • the proposed method thus carries out both an object detection and a regression of the object in parallel.
  • the method for training has the following steps:
  • respective second measurement attributes determined by means of at least a second part of the multiplicity of reflection signals of the at least one frame are provided.
  • the input tensor is generated by additionally assigning the respective second measurement attribute of the at least first part of the plurality of reflection signals of the at least one frame to the plurality of reflection signals in the occupancy grid.
  • the input tensor is generated by the occupancy grid being designed two-dimensionally and the respective spatial coordinates of the plurality of reflection signals of the at least one frame being transformed into the two-dimensional occupancy grid.
  • the input tensor is generated by the plurality of Reflection signals of a plurality of frames are spatially represented in the occupancy grid.
  • a sufficient temporal resolution of the detection of the object can be ensured if a plurality of frames is spatially represented in the occupancy grid.
  • the neural network has a backbone network and a head network.
  • a backbone network which in particular provides a feature map and a header network, which provides the classification and parameterization of the object.
  • a structure of the method for detection can have four parts: a radar data pre-processing, a radar data representation, a backbone network and a head network.
  • a standard output of a radar sensor system with a reflection distance, an azimuth angle, an elevation angle and a speed and radar signal strength (RCS) assigned to the respective reflection signal can be used in the radar data preprocessing.
  • RCS radar signal strength
  • the reflection signals can be transformed from the polar coordinate system into the Cartesian system by distance and azimuth angle according to the coverage grid used.
  • the two-dimensional positions of the reflection signals can be determined from a respective radial distance r and an azimuth angle.
  • the backbone network may include blocks of a convolutional neural network used to extract robust features from input data.
  • the backbone can have residual blocks.
  • the head network can have small convolution filters that are used to make task-specific predictions.
  • the head network can have several variants: a. Two branches, each targeting a task separately: one branch for classification and the other for bounding box regression (localization).
  • the classification branch C outputs channels with confidence values, each channel corresponding to each class.
  • a special class or object class can represent a background or a non-object that can be included in class categories.
  • a regression branch can output P channels of predictions, each channel corresponding to a regressed parameter.
  • Two branches share sublayers. The output of each branch corresponds to variant a.
  • An entire branch carries the multi-task output.
  • the output of the head network includes (C+P) channels for C-classes and P-parameter predictions, i.e. the classification result that includes the detection since the background is considered as a special object class.
  • the backbone network has a convolutional neural network.
  • a method is proposed in which, based on at least one detected object that was detected according to one of the methods described above, a control signal for controlling an at least partially automated vehicle is provided; and/or based on the at least one detected object, a warning signal for warning, or
  • Intervention a vehicle occupant is provided.
  • control signal is provided based on at least one detected object generated according to one of the methods described above. It is to be understood that the detected object is used for any determination or calculation of a control signal, although this does not rule out other input variables also being used for this determination of the control signal. This applies accordingly to the provision of a warning signal and/or emergency signal.
  • a detection device which is set up to carry out one of the methods described above. With such a detection Device, the corresponding method can be easily integrated into different systems.
  • a computer program which comprises instructions which, when the computer program is executed by a computer, cause the latter to execute one of the methods described above.
  • Such a computer program enables the method described to be used in different systems.
  • a machine-readable storage medium is specified, on which the computer program described above is stored.
  • the computer program described above can be transported by means of such a machine-readable storage medium.
  • FIGS. 1 to 4 Exemplary embodiments of the invention are illustrated with reference to FIGS. 1 to 4 and explained in more detail below. Show it:
  • FIG. 1 shows a data flow diagram of the method for detecting at least one object by means of reflection signals
  • Figure 2 shows a modification of the headnet of Figure 1
  • FIG. 3 shows a further modification of the headnet of FIG. 1;
  • FIG. 4a shows a lidar detection signal of a road situation
  • FIG. 4b shows a radar detection signal for the road situation in FIG. 4a.
  • FIG. 1 schematically outlines a data flow diagram of the method for detecting at least one object using reflection signals from a radar sensor system.
  • a point cloud 110 of reflection signals is provided with their spatial coordinates and a respective first measurement attribute of at least a first part of the plurality of reflection signals of at least one frame of the radar sensor system.
  • the respective spatial coordinates of the plurality of reflection signals of the at least one frame are transformed into an occupancy grid 120 and an occupancy grid is generated, the plurality of reflection signals of the at least one frame being spatially represented in the occupancy grid by the respective spatial coordinates of the plurality of reflection signals of at least one frame in are arranged in the occupancy grid and the respective first measurement attribute of the plurality of reflection signals of the at least one frame is assigned to the spatial representation of the plurality of reflection signals of the at least one frame.
  • An input tensor is generated using the occupancy grid, with the occupancy grid spatially representing the multiplicity of reflection signals of the at least one frame, and the respective first measurement attribute for a trained neural network 105, 107 for detecting the at least one object using signals from a radar sensor system is assigned.
  • the at least one object is detected using the input tensor and the trained neural network 105, 107 by being classified 131 with a first head network 109 and being parameterized with a second head network 108.
  • Figure 2 outlines a variant of the header network 207, which is divided into three main parts 206, 208, 209, with a common header 206 interacting with a first header 209 and a second header 208 to classify 231 and parameterize 232 the object .
  • FIG. 3 sketches a further variant of the head network 307, which has only a single head part and provides both the classification and the parameterization 331.
  • FIG. 4a outlines the results of the method with actually recorded radar data with a road situation that was detected with a lidar sensor system and shows a vehicle 401 that is following a truck 402. Another vehicle 403 is coming towards the two vehicles.
  • FIG. 4b outlines the same road situation as FIG. 4a but has been detected with a radar system.
  • speeds are assigned to the respective detected object, which are designated with the speed vectors 401a for the vehicle 401 and with the speed vectors 402a for the truck 402.
  • Solid line boxes correspond to ground truth data and dotted line boxes correspond to network detections.
  • a host vehicle is placed in the lateral and longitudinal position 0.0 in both representations of FIG. 4a and FIG.
  • the vehicle traveling in the opposite direction 403 cannot be detected by the radar sensor system because no corresponding reflection signal is received.

Abstract

Es wird ein Verfahren zur Detektion zumindest eines Objektes einer Umgebung mittels Reflexionssignalen eines Radar-Sensorsystems, mit den folgenden Schritten vorgeschlagen: Bereitstellen von jeweiligen räumlichen Koordinaten zu einer Vielzahl der Reflexionssignale zumindest eines Frames des Radar-Sensorsystems; Bereitstellen eines ersten Messattributes zumindest eines ersten Teils der Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems; Transformieren der jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in ein Belegungsgitter; Generieren eines Belegungsgitters, wobei die Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter räumlich repräsentiert wird, indem die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter abgebildet werden und das jeweilige erste Messattribut der Vielzahl von Reflexionssignalen des zumindest einen Frames der räumlichen Repräsentation der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird; Generieren eines Eingangstensors mittels des Belegungsgitters, das die Vielzahl von Reflexionssignalen des zumindest einen Frames räumlich repräsentiert, und dem jeweils zugeordneten ersten Messattribut für ein trainiertes neuronales Netzwerk zur Detektion des zumindest einen Objektes; und Detektieren des zumindest einen Objektes mittels des Eingangstensors und des trainierten neuronalen Netzwerkes.

Description

Beschreibung
Titel
Verfahren zur Detektion zumindest eines Objektes einer Umgebung mittels Reflexionssignalen eines Radar-Sensorsystems
Stand der Technik
Automatisiertes Fahren muss eine gute Wahrnehmung der Umwelt gewährleisten. Radar-Sensorsysteme sind wichtig für die Wahrnehmung der Umwelt aufgrund ihrer präzisen Entfernungs- und Geschwindigkeitsmessungen. Radar-Sensorsysteme sind kostengünstig und robust gegenüber unterschiedlichen Licht- und Wetterbedingungen.
Die konventionelle Radarobjekterkennung wird durch einen CFAR-Detektor (Constant False Alarm Rate) realisiert, der eine Reihe von isolierten Radarreflexionen mit Messungen von Reichweite, Azimutwinkel, Höhenwinkel, Geschwindigkeit (Doppler) und RCS (Intensität) generiert.
Offenbarung der Erfindung
Gemäß Aspekten der Erfindung wird ein Verfahren zur Detektion zumindest eines Objektes einer Umgebung mittels Reflexionssignalen eines Radar- Sensorsystems, ein Verfahren zum Trainieren eines neuronalen Netzwerks zur Detektion zumindest eines Objektes mittels Reflexionssignalen eines Radar- Sensorsystems, eine Detektions-Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche, vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
Gemäß einem Aspekt wird ein Verfahren zur Detektion zumindest eines Objektes einer Umgebung mittels Reflexionssignalen eines Radar-Sensorsystems, mit den folgenden Schritten vorgeschlagen:
In einem Schritt werden jeweilige räumliche Koordinaten zu einer Vielzahl der Reflexionssignale zumindest eines Frames des Radar-Sensorsystems bereitgestellt. In einem weiteren Schritt wird ein erstes Messattribut zumindest eines ersten Teils der Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems bereitgestellt. In einem weiteren Schritt werden die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in ein Belegungsgitter transformiert. In einem weiteren Schritt wird ein Belegungsgitters generiert, wobei die Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter räumlich repräsentiert werden, indem die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter abgebildet werden und das jeweilige erste Messattribut der Vielzahl von Reflexionssignalen des zumindest einen Frames der räumlichen Repräsentation der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird. In einem weiteren Schritt wird ein Eingangstensor mittels des Belegungsgitters, das die Vielzahl von Reflexionssignalen des zumindest einen Frames räumlich repräsentiert, und dem jeweils zugeordneten ersten Messattribut für ein trainiertes neuronales Netzwerk zur Detektion des zumindest einen Objektes generiert. Und in einem weiteren Schritt wird das zumindest eine Objekt mittels des Eingangstensors und des trainierten neuronalen Netzwerks detektiert.
Bei neuronalen Netzwerken kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.
Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten.
Die Architektur eines solchen künstlichen neuronalen Netzwerks kann ein neuronales Netzwerk sein, das ggf. mit weiteren, anders aufgebauten Schichten erweitert ist. Grundsätzlich weisen solche neuronalen Netzwerke mindestens drei Schichten von Neuronen auf: eine Eingabe-Schicht, eine Zwischen-Schicht (hidden layer) und eine Ausgabe-Schicht. Das bedeutet, alle Neuronen des Netzwerks sind in Schichten eingeteilt.
Dabei sind in feed-forward Netzwerken keine Verbindungen zu vorherigen Schichten realisiert. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sein können. Ein tiefes neuronales Netzwerk kann viele solcher Zwischen-Schichten aufweisen.
Solche neuronalen Netzwerke müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzwerkes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs- Daten in das Netzwerk gegeben, und jedes Neuron kann die Eingangs- Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt- Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist.
Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test- Daten-Set sein, oder auch ein aktueller Wert einer Loss- Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium betreffen als einen Schritt, bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist. Das Verfahren zur Detektion kann eine Radar- Standardausgabe als Input für die Verarbeitung nutzen und erfordert somit keine besonders anspruchsvolle Datenübertragungsrate für das Radar-Sensorsystem. Weiterhin erfordert das Verfahren keine Vorverarbeitung und Merkmalsextraktion zur Datenaufbereitung. Das jeweilige Reflexionssignal kann räumlich durch Polarkoordinaten mit einem Reflexionsabstand, einem Azimutwinkel r und einem Elevationswinkel und einer dem Reflexionssignal zugeordneten Geschwindigkeit und einer zugeordneten Reflexionsstärke (RCS: engl. radar cross section) beschrieben werden. Dazu kann das Reflexionssignal aus dem mit dem Radar-Sensorsystem bestimmten Reflexionssignal unter Berücksichtigung einer bestimmten Ego-Bewegung des Radar-Sensorsystems ermittelt werden.
Das detektierte Objekt kann mit einer zweidimensionalen oder dreidimensionalen Begrenzungsbox, die die Position und Orientierung des Fahrzeugs relativ zu den Koordinaten des Radar-Sensorsystems und die Ausdehnung des Objektes in zwei und/oder drei Richtungen angibt, repräsentiert werden.
Die Reflexionssignale können in das Belegungsgitter gerendert werden, wobei jedes Pixel des Belegungsgitters entweder mit 1 oder 0 belegt wird, um darzustellen, ob eine Radarreflexion, die mit dem Reflexionssignal beschrieben wird, enthalten ist oder nicht. Die zugeordneten Messattribute, wie Geschwindigkeit und/oder Radar-Signalstärke (RCS) können dem Belegungsgitter, bzw. dem Datenformat des Belegungsgitters, beispielsweise in Form zusätzlicher Ebenen zugeordnet werden und können einen anderen Wertebereich als das Belegungsgitter aufweisen. Um eine dem Belegungsgitter entsprechende Datenstruktur zu erreichen, können die zugeordneten Messattribute normalisiert werden.
Das hier vorgeschlagene Verfahren verwendet somit die gesamten Radardaten zumindest eines Frames als Input für eine Objektdetektion, eine Klassifikation und eine Begrenzungsbox- Regression des Objektes. Vorteilhafterweise können mit dem Verfahren mehrere Objekte gleichzeitig detektiert werden, sofern sie in den jeweiligen Frames erfasst werden. Dadurch kann ein durchgehender, einstufiger und vorschlagsfreier Detektor zur Verarbeitung von Radardaten bereitgestellt werden.
Somit werden die folgenden zwei Vorverarbeitungsschritte vermieden: eine Gruppierung von Radarzielen in Clustern und die Generierung von vordefinierten Merkmalsvektoren aus diesen Clustern vor der eigentlichen Detektion. Dieses Verfahren, das diese Vorverarbeitungsschritte überflüssig macht, kann die Leistung der Detektion erheblich steigern.
Zusätzlich weist ein solcher einstufiger Detektor im Vergleich zu einem zweistufigen Detektor, wie z.B. ein region Proposal Network (PRN), eine höhere Recheneffizienz ohne Leistungseinbußen auf, was insbesondere bei spärlichen Radarreflexionen wesentlich sein kann und ist somit für eine Echtzeit- Implementierung geeignet.
Gemäß einem Aspekt wird vorgeschlagen, dass das Belegungsgitter kartesische Koordinaten aufweist und/oder um das Radar-Sensorsystem herum angeordnet ist. Eine solche Beschreibung ist besonders günstig und kann zu einem Egofahrzeug mit einem Radar-Sensorsystem so angeordnet sein, dass der Ursprung des Belegungsgitters im Radar-Sensorsystem liegt.
Gemäß einem Aspekt wird vorgeschlagen, die jeweiligen räumlichen Koordinaten einer Vielzahl von Reflexionssignalen des zumindest einen Frames des Radar- Sensorsystems von Radarreflexions-Daten in Polarkoordinaten bereitzustellen.
Vorteilhafterweise werden die Reflexionssignale von den Radar-Sensorsystemen in Polarkoordinaten bereitgestellt.
Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren, die folgenden Schritte aufweist:
Bereitstellen von jeweiligen, mittels zumindest eines zweiten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames jeweils bestimmten, zweiten Messattributen; und Generieren des Eingangstensors, indem der Vielzahl von Reflexionssignalen im Belegungsgitter zusätzlich das jeweilige zweite Messattribut des zumindest ersten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird.
Durch das Erweitern des Eingangstensors um das zweite Messattribut, das insbesondere eine Geschwindigkeit des mit dem Reflexionssignal repräsentierten Objektpunktes angeben kann, kann die Genauigkeit der Detektion und die Sicherheit der Detektion des Objektes gesteigert werden.
Gemäß einem Aspekt wird vorgeschlagen, dass der Eingangstensor generiert wird, indem das Belegungsgitter zweidimensional ausgestaltet ist und die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in das zweidimensionale Belegungsgitter transformiert werden. Je nach Genauigkeit des verwendeten Radar-Sensorsystems kann es günstig sein, das Belegungsgitter zweidimensional auszugestalten, um durch eine gegebenenfalls ungenaue Höheninformation, die beispielsweise durch einen Elevationswinkel durch das Radar-Sensorsystem angegeben sein kann, keine zusätzliche Ungenauigkeit für die Detektion des Objektes zu generieren.
Mittels des Elevationswinkels kann eine Reflexionshöhe entsprechend der Bestimmung bzw. Transformation der Polarkoordinaten mit dem Azimut- Winkel bestimmt werden. Wenn eine Höhe der jeweiligen Reflexion nicht berücksichtigt wird bedeutet das, dass scheinbar alle Reflexionen von der gleichen Ebene in einer bestimmten Höhe über dem Boden zurückkehren.
Mittels eines zweidimensionalen Belegungsgitters kann eine Darstellung der Reflexionssignale aus einer Vogelperspektive (BEV) realisiert sein. Eine Datenstruktur eines solchen zweidimensionalen Belegungsgitters kann eine Belegung mit einem Reflexionssignal, eine Radar- Reflexstärke (RCS) und eine mit den Reflexionssignalen bestimmte Geschwindigkeit zum Aufbau von Darstellungsschichten verwenden.
Zuerst können physikalische 3D-Dimension L*W*H der Szene definiert werden, dann können Belegungsmerkmalskarten mit einer Gitterauflösung dL*dW*dH berechnet werden, und RCS und Geschwindigkeitsmerkmalskarte können mit einer Auflösung von dL*dW*dH berechnet werden. Wenn die Belegungsmerkmalskarten zwei zusätzliche Kanäle aufweisen, um Punkte außerhalb der Reichweite abzudecken, kann die endgültige Darstellung die Form (L/dL)*(W/dW)*(H/dH+4) aufweisen.
Gemäß einem Aspekt wird vorgeschlagen, dass der Eingangstensor generiert wird, indem die Vielzahl von Reflexionssignalen einer Mehrzahl von Frames in dem Belegungsgitter räumlich repräsentiert werden. Dabei können zusätzliche Reflexionssignale in das Belegungsgitter aufgenommen werden. Alternativ oder zusätzlich kann, wenn das Reflexionssignal eine Zelle des Belegungsgitters betrifft, die schon ein Reflexionssignal repräsentiert, durch statistische Maßzahlen, wie insbesondere ein Mittelwert, dargestellt werden. Die Aufnahme von Reflexionssignal in das Belegungsgitter können auch abhängig von einer bereitgestellten Genauigkeit der Winkelbestimmung in Polarkoordinaten gemacht werden. Da die Reflexionssignale einer typischen Straßenszene spärlich sind, kann durch eine Mehrzahl von Frames und die damit verbundenen zusätzlichen Reflexionssignale eine Genauigkeit der Detektion des Objektes verbessert werden. Vorteilhafterweise kann durch die Berücksichtigung einer Mehrzahl von Frames eine Auswirkung der Spärlichkeit von Radardaten reduziert werden, indem Reflexionssignale aus einer Mehrzahl von Frames in dem Belegungsgitter akkumuliert werden. Insbesondere bei der Durchführung von Mehrklassenklassifizierung und Regression hat die Dichte der Radardaten einen erheblichen Einfluss auf eine Erkennungsleistung des neuronalen Netzwerkes. Unter Berücksichtigung der Auflösung und Messrate eines verwendeten Radar- Sensorsystems, des Fahrzeugaufbaus und des Anwendungsziels kann eine Akkumulation von Reflexionssignalen eine Detektion verbessern.
Gemäß einem Aspekt wird vorgeschlagen, dass das erste Messattribut des Reflexionssignals verschieden von dem zweiten Messattribut des Reflexionssignals ist; und/oder das jeweilige Messattribut eine Geschwindigkeit und/oder einen Radarquerschnitt und/oder eine Elevation aufweist.
Zusätzliche Messattribute können in einer Darstellung des Belegungsgitters durch ein Hinzufügen einer zusätzlichen Schicht dargestellt werden. Dabei kann die Stärke eines Reflexionssignals mit einem Radarquerschnitt beschrieben werden.
Es wird ein Verfahren zum Trainieren eines neuronalen Netzwerkes zur Detektion zumindest eines Objektes mittels Reflexionssignalen eines Radar- Sensorsystems entsprechend dem oben beschriebenen Verfahren zur Detektion zumindest eines Objekts einer Umgebung mittels Reflexionssignalen eines Radar-Sensorsystems vorgeschlagen, das die folgenden Schritte aufweist: In einem Schritt werden jeweilige räumliche Koordinaten einer Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems bereitgestellt. In einem weiteren Schritt werden jeweilige erste Messattribute zumindest eines ersten Teils der Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems bereitgestellt. In einem weiteren Schritt werden die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in ein Belegungsgitter transformiert. In einem weiteren Schritt werden räumliche Koordinaten des mittels der Reflexionssignale des Radar-Sensorsystems zu detektierenden zumindest einen Objekts bereitgestellt. In einem weiteren Schritt wird ein Belegungsgitters generiert, wobei die Vielzahl der Reflexionssignale des zumindest einen Frames in dem Belegungsgitter räumlich repräsentiert werden, indem die jeweiligen räumlichen Koordinaten der Vielzahl der Reflexionssignale des zumindest einen Frames in dem Belegungsgitter abgebildet werden und das jeweilige erste Messattribut der Vielzahl der Reflexionssignale des zumindest einen Frames der räumlichen Repräsentation der Vielzahl der Reflexionssignale des zumindest einen Frames zugeordnet wird. In einem weiteren Schritt wird ein Eingangstensor mittels des Belegungsgitters, das die Vielzahl der Reflexionssignale des zumindest einen Frames räumlich repräsentiert, und den jeweils zugeordneten ersten Messeattributen für das neuronale Netzwerk generiert. In weiteren Schritten wird eine Vielzahl so generierter Eingangstensoren mit jeweils einer Vielzahl von unterschiedlichen Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems gebildet. In weiteren Schritten wird das neuronale Netzwerk mit der Vielzahl von Eingangstensoren und jeweils zugehörigen bereitgestellten räumlichen Koordinaten des jeweils zumindest einen zu detektieren Objektes, zur Detektion zumindest eines Objektes einer Umgebung mittels Signalen eines Radar-Sensorsystems trainiert.
Dabei kann das Objekt wie bei der Detektion mit einer zweidimensionalen oder dreidimensionalen Begrenzungsbox repräsentiert werden.
Somit wird das neuronale Netzwerk trainiert sowohl einen Ort des Objektes anzugeben als auch die Ausmaße und die Anordnung des Objektes zu den Koordinaten des entsprechenden Reflexionssignals. Das vorgeschlagene Verfahren führt somit sowohl eine Objektdetektion als auch eine Regression des Objektes parallel durch.
Gemäß einem Aspekt wird für das Verfahren zum Trainieren vorgeschlagen, dass das Verfahren die folgenden Schritte aufweist:
In einem Schritt werden jeweilige, mittels zumindest eines zweiten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames bestimmte, zweite Messattribute bereitgestellt. In einem weiteren Schritt wird der Eingangstensor generiert, indem der Vielzahl von Reflexionssignalen im Belegungsgitter zusätzlich das jeweilige zweite Messattribut des zumindest ersten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird.
Gemäß einem Aspekt wird für das Verfahren zum Trainieren vorgeschlagen, dass der Eingangstensor generiert wird, indem das Belegungsgitter zweidimensional ausgestaltet ist und die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in das zweidimensionale Belegungsgitter transformiert werden.
Gemäß einem Aspekt wird für das Verfahren zum Trainieren vorgeschlagen, dass der Eingangstensor generiert wird, indem die Vielzahl von Reflexionssignalen einer Mehrzahl von Frames in dem Belegungsgitter räumlich repräsentiert werden.
Vorteilhafterweise kann durch die höhere Frequenz der Bereitstellung von Daten eines Radar-Sensorsystems eine ausreichende zeitliche Auflösung der Detektion des Objektes gewährleistet werden, wenn eine Mehrzahl von Frames in dem Belegungsgitter räumlich repräsentiert wird.
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Netzwerk ein Backbone-Netzwerk und ein Kopfnetz aufweist. Durch die Aufteilung des neuronalen Netzwerkes in ein Backbone-Netzwerk, das insbesondere eine Merkmalskarte bereitstellt und ein Kopfnetz, das die Klassifikation und die Parametrisierung des Objektes bereitstellt, kann der jeweilige Teil des neuronalen Netzwerks besonders spezifisch auf seine Aufgabe trainiert werden.
Mit anderen Worten kann eine Struktur des Verfahrens zur Detektion vier Teile aufweisen: eine Radardatenvorverarbeitung, eine Radardatendarstellung, ein Backbone-Netzwerk und ein Kopfnetz.
Bei der Radardatenvorverarbeitung kann eine Standardausgabe eines Radar- Sensorsystems mit einem Reflexionsabstand, einem Azimutwinkel, einem Elevationswinkel und einer dem jeweiligen Reflexionssignal zugeordneten Geschwindigkeit und Radar-Signalstärke (RCS) verwendet werden.
Bei der Vorverarbeitung kann eine Transformation der Reflexionssignale aus dem Polarkoordinatensystem in das kartesische System durch Abstand und Azimutwinkel entsprechend dem verwendeten Belegungsgitter erfolgen. Mit einem Belegungsgitter in kartesischen Koordinaten können die zweidimensionalen Positionen der Reflexionssignale aus einem jeweiligen radialen Abstand r und einer Azimutwinkel bestimmt werden.
Das Backbone-Netzwerk kann Blöcke eines neuronalen Faltungsnetzes aufweisen, das zur Extraktion robuster Merkmale aus Eingangsdaten verwendet wird. Dazu kann das Backbone residual blocks (Restblöcke) aufweisen.
Tatsächlich können viele Trend netzwerke in diesem Backbone-Netzwerk Anwendungen finden, wie z.B. vggl6 mit halber Kanalzahl, pvanet, resnet-50, usw.
Das Kopfnetzwerk kann kleine Faltungsfilter aufweisen, mit denen aufgabenspezifische Vorhersagen gemacht werden.
Dabei kann das Kopfnetzwerk mehrere Varianten aufweisen: a. Zwei Zweige, die jeweils separat auf eine Aufgabe abzielen: ein Zweig für die Klassifikation und der andere für die Begrenzungsbox- Regression (Lokalisierung).
In diesem Fall gibt der Klassifikationszweig C Kanäle mit Vertrauenswerten aus, wobei jeder Kanal den einzelnen Klassen entspricht.
Dabei kann eine spezielle Klasse bzw. Objektklasse einen Hintergrund bzw. ein Nicht-Objekt darstellen, die in Klassenkategorien aufgenommen werden können. Ein Regressionszweig kann P Kanäle von Vorhersagen ausgeben, wobei jeder Kanal einem regressierten Parameter entspricht. b. Zwei Zweige teilen sich Teilschichten. Die Ausgabe jedes Zweiges entspricht der Variante a. c. Ein ganzer Zweig trägt die Multi-Task- Ausgabe. Die Ausgabe des Kopfnetzwerks umfasst (C+P)-Kanäle für C-Klassen und P-Parameter- Vorhersagen, also das Klassifikationsergebnis, das die Detektion einschließt, da der Hintergrund als spezielle Objektklasse betrachtet wird.
Gemäß einem Aspekt wird vorgeschlagen, dass das Backbone-Netzwerk ein neuronales Faltungsnetzwerk aufweist.
Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf zumindest einem detektierten Objekt, das entsprechend einem der oben beschriebenen Verfahren detektiert wurde, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem zumindest einem detektierten Objekt, ein Warnsignal zur Warnung, bzw.
Intervention, eines Fahrzeuginsassen bereitgestellt wird.
Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf zumindest einem detektierten Objekt, das entsprechend einem der oben beschriebenen Verfahren generiert wurde, bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass das detektierte Objekt für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals und/oder Notsignals.
Es wird eine Detektions-Vorrichtung vorgeschlagen, die eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Detektions- Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.
Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.
Ausführungsbeispiele
Ausführungsbeispiele der Erfindung werden mit Bezug auf die Figuren 1 bis 4 dargestellt und im Folgenden näher erläutert. Es zeigen:
Figur 1 ein Datenflussdiagramm des Verfahrens zur Detektion zumindest eines Objektes mittels Reflexionssignalen;
Figur 2 eine Modifikation des Kopfnetzes der Figur 1;
Figur 3 eine weitere Modifikation des Kopfnetzes der Figur 1;
Figur 4a ein Lidar- Detektionssignal einer Straßensituation; und Figur 4b ein Radar- Detektionssignal der Straßensituation der Figur 4a.
Die Figur 1 skizziert schematisch ein Datenflussdiagramm des Verfahrens zur Detektion zumindest eines Objektes mittels Reflexionssignalen eines Radar- Sensorsystems. Eine Punktewolke 110 von Reflexionssignalen wird mit ihren räumlichen Koordinaten und einem jeweiligen ersten Messattribut des zumindest eines ersten Teils der Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems bereitgestellt. Die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames werden in ein Belegungsgitter 120 transformiert und es wird ein Belegungsgitter generiert, wobei die Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter räumlich repräsentiert werden, indem die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter angeordnet werden und das jeweilige ersten Messattribut der Vielzahl von Reflexionssignalen des zumindest einen Frames der räumlichen Repräsentation der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird. Mittels des Belegungsgitters wird ein Eingangstensor generiert, wobei das Belegungsgitter die Vielzahl von Reflexionssignalen des zumindest einen Frames räumlich repräsentiert, und das jeweils erste Messattribut für ein trainiertes neuronales Netzwerk 105,107 zur Detektion des zumindest einen Objekts mittels Signalen eines Radar-Sensorsystems zugeordnet wird. Das zumindest eine Objekt wird mittels des Eingangstensors und des trainierten neuronalen Netzwerkes 105, 107 detektiert, indem es mit einem ersten Kopfnetzwerk 109 klassifiziert wird 131 und mit einem zweiten Kopfnetzwerk 108 parametrisiert wird.
Die Figur 2 skizziert eine Variante des Kopfnetzwerks 207, das in drei Haupt- Teile 206, 208, 209 aufgeteilt ist, wobei ein gemeinsamer Kopfteil 206 mit einem ersten Kopfteil 209 und einem zweiten Kopfteil 208 zusammenwirkt, um das Objekt zu klassifizieren 231 und zu parametrisieren232.
Die Figur 3 skizziert eine weitere Variante des Kopfnetzwerks 307, das nur einen einzigen Kopfteil aufweist und sowohl die Klassifikation als auch die Parametrisierung 331 bereitstellt.
Die Figur 4a skizziert Ergebnisse des Verfahrens mit real aufgezeichneten Radardaten mit einer Straßensituation, die mit einem Lidar-Sensorsystem detektiert wurde und ein Fahrzeug 401 darstellt, dass einem Truck 402 folgt. Ein weiteres Fahrzeug 403 kommt den beiden Fahrzeugen entgegen.
Die Figur 4b skizziert die gleiche Straßensituation wie die Figur 4a ist aber mit einem Radarsystem detektiert worden. Dadurch werden dem jeweiligen detektierten Objekt Geschwindigkeiten zugeordnet die für das Fahrzeug 401 mit den Geschwindigkeits- Vektoren 401a bezeichnet sind und für den Truck 402 mit den Geschwindigkeits-Vektoren 402a bezeichnet sind. Die Kästchen mit durchgezogenen Linien entsprechen Ground Truth Daten und Kästchen mit gepunkteten Linien entsprechen Detektionen des Netzwerkes. In der lateralen und longitudinalen Position 0,0 ist in beiden Darstellungen Figur 4a und Figur 4b ein Egofahrzeug platziert, von dem aus gesehen die Geschwindigkeiten der Fahrzeuge 401, 402 geschätzt werden und entsprechend dem Messverfahren radial gerichtet sind. Das in die entgegengesetzte Richtung fahrende Fahrzeug 403 kann vom Radar-Sensorsystem nicht erkannt werden, da kein entsprechendes Reflexionssignal empfangen wird.

Claims

Ansprüche
1. Verfahren zur Detektion zumindest eines Objektes (401, 402) einer Umgebung mittels Reflexionssignalen eines Radar-Sensorsystems, aufweisend:
Bereitstellen von jeweiligen räumlichen Koordinaten zu einer Vielzahl der Reflexionssignale zumindest eines Frames des Radar-Sensorsystems;
Bereitstellen eines ersten Messattributes zumindest eines ersten Teils der Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems;
Transformieren der jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in ein Belegungsgitter (120);
Generieren eines Belegungsgitters (120), wobei die Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter (120) räumlich repräsentiert werden, indem die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in dem Belegungsgitter (120) abgebildet werden und das jeweilige erste Messattribut der Vielzahl von Reflexionssignalen des zumindest einen Frames der räumlichen Repräsentation der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird;
Generieren eines Eingangstensors mittels des Belegungsgitters (120), das die Vielzahl von Reflexionssignalen des zumindest einen Frames räumlich repräsentiert, und dem jeweils zugeordneten ersten Messattribut, für ein trainiertes neuronales Netzwerk (100), zur Detektion des zumindest einen Objektes (401, 402); und
Detektieren des zumindest einen Objektes (401, 402) mittels des Eingangstensors und des trainierten neuronalen Netzwerkes (100).
2. Verfahren gemäß Anspruch 1, wobei das Belegungsgitter (120) kartesische Koordinaten aufweist und/oder um das Radar-Sensorsystem herum angeordnet ist.
3. Verfahren gemäß einem der vorhergehenden Ansprüche, aufweisend:
Bereitstellen von jeweiligen, mittels zumindest eines zweiten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames jeweils bestimmten, zweiten Messattributen; und
Generieren des Eingangstensors, indem der Vielzahl von Reflexionssignalen im Belegungsgitter (120) zusätzlich das jeweilige zweite Messattribut des zumindest ersten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird.
4. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei der Eingangstensor generiert wird, indem das Belegungsgitter (120) zweidimensional ausgestaltet ist und die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in das zweidimensionale Belegungsgitter (120) transformiert werden.
5. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei der Eingangstensor generiert wird, indem die Vielzahl von Reflexionssignalen einer Mehrzahl von Frames in dem Belegungsgitter (120) räumlich repräsentiert wird.
6. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das erste Messattribut des Reflexionssignals verschieden von dem zweiten Messattribut des Reflexionssignals ist; und/oder das jeweilige Messattribut eine Geschwindigkeit und/oder einen Radarquerschnitt und/oder eine Elevation aufweist.
7. Verfahren zum Trainieren eines neuronalen Netzwerkes (100) zur Detektion zumindest eines Objektes (401, 402) mittels Reflexionssignalen eines Radar- Sensorsystems, gemäß einem der vorhergehenden Ansprüche, aufweisend:
Bereitstellen von jeweiligen räumlichen Koordinaten einer Vielzahl von Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems;
Bereitstellen von jeweiligen ersten Messattributen zumindest eines ersten Teils der Vielzahl von Reflexionssignalen zumindest eines Frames des Radar- Sensorsystems;
Transformieren der jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in ein Belegungsgitter (120);
Bereitstellen von räumlichen Koordinaten des mittels der Reflexionssignale des Radar-Sensorsystems zu detektierenden zumindest einen Objektes (401, 402);
Generieren eines Belegungsgitters (120), wobei die Vielzahl der Reflexionssignale des zumindest einen Frames in dem Belegungsgitter räumlich repräsentiert wird, indem die jeweiligen räumlichen Koordinaten der Vielzahl der Reflexionssignale des zumindest einen Frames in das Belegungsgitter (120) transformiert werden und das jeweilige erste Messattribut der Vielzahl der Reflexionssignalen des zumindest einen Frames der räumlichen Repräsentation der Vielzahl der Reflexionssignale des zumindest einen Frames zugeordnet wird; - 16 -
Generieren eines Eingangstensors mittels des Belegungsgitters (120), das die Vielzahl der Reflexionssignale des zumindest einen Frames räumlich repräsentiert, und den jeweils zugeordneten ersten Messeattributen für das neuronales Netzwerk (100);
Bilden einer Vielzahl so generierter Eingangstensoren mit jeweils einer Vielzahl von unterschiedlichen Reflexionssignalen zumindest eines Frames des Radar-Sensorsystems;
Trainieren des neuronalen Netzwerkes (100) mit der Vielzahl von Eingangstensoren und jeweils zugehörigen bereitgestellten räumlichen Koordinaten des jeweils zumindest einen zu detektierenden Objektes, zur Detektion zumindest eines Objektes (401, 402) einer Umgebung mittels Signalen eines Radar-Sensorsystems.
8. Verfahren gemäß Anspruch 7, aufweisend:
Bereitstellen von jeweiligen, mittels zumindest eines zweiten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames bestimmten, zweiten Messattributen; und
Generieren des Eingangstensors, indem der Vielzahl von Reflexionssignalen im Belegungsgitter (120) zusätzlich das jeweilige zweite Messattribut des zumindest ersten Teils der Vielzahl von Reflexionssignalen des zumindest einen Frames zugeordnet wird.
9. Verfahren gemäß Anspruch 7 oder 8, wobei der Eingangstensor generiert wird, indem das Belegungsgitter (120) zweidimensional ausgestaltet ist und die jeweiligen räumlichen Koordinaten der Vielzahl von Reflexionssignalen des zumindest einen Frames in das zweidimensionale Belegungsgitter transformiert werden.
10. Verfahren gemäß einem der Ansprüche 7 bis 9, wobei der Eingangstensor generiert wird, indem die Vielzahl von Reflexionssignalen einer Mehrzahl von Frames in dem Belegungsgitter (120) räumlich repräsentiert wird.
11. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das neuronale Netzwerk (100) ein Backbone- Netzwerk (105) und ein Kopfnetz (107) aufweist.
12. Verfahren gemäß Anspruch 11, wobei das Backbone- Netzwerk (105) ein neuronales Faltungsnetzwerk aufweist. - 17 -
13. Verfahren gemäß einem der Ansprüche 1 bis 6, wobei basierend auf zumindest einem detektierten Objekt (401, 402) ein Ansteuerungssignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs und/oder basierend auf dem zumindest einen detektierten Objekt ein Warnsignal zur Warnung eines Fahrzeuginsassen ausgesendet wird.
14. Detektions-Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.
15. Computerprogramm, umfassend Befehle, die bei der Ausführung des
Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
PCT/EP2021/086060 2020-12-17 2021-12-16 Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems WO2022129266A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202180093933.8A CN116964472A (zh) 2020-12-17 2021-12-16 用于借助于雷达传感器系统的反射信号来探测环境的至少一个对象的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020216196.8 2020-12-17
DE102020216196.8A DE102020216196A1 (de) 2020-12-17 2020-12-17 Verfahren zur Detektion zumindest eines Objektes einer Umgebung mittels Reflexionssignalen eines Radar-Sensorsystems

Publications (1)

Publication Number Publication Date
WO2022129266A1 true WO2022129266A1 (de) 2022-06-23

Family

ID=79287659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/086060 WO2022129266A1 (de) 2020-12-17 2021-12-16 Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems

Country Status (3)

Country Link
CN (1) CN116964472A (de)
DE (1) DE102020216196A1 (de)
WO (1) WO2022129266A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200217950A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Resolution of elevation ambiguity in one-dimensional radar processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200217950A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Resolution of elevation ambiguity in one-dimensional radar processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAJOR BENCE ET AL: "Vehicle Detection With Automotive Radar Using Deep Learning on Range-Azimuth-Doppler Tensors", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW), IEEE, 27 October 2019 (2019-10-27), pages 924 - 932, XP033732575, DOI: 10.1109/ICCVW.2019.00121 *

Also Published As

Publication number Publication date
DE102020216196A1 (de) 2022-06-23
CN116964472A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
DE102009006113A1 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102020214283A1 (de) Vorrichtung zur erkennung von hindernissen, fahrzeugsystem mit dieser und verfahren dafür
DE102011119767A1 (de) Erscheinungsbild-gestützte vereinigung von kamera- undentfernungssensordaten für mehrere objekte
DE102013102153A1 (de) Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
DE102020105642A1 (de) Entwerfen von und verarbeiten mit antennenarrays zur beseitigung von fehldetektionen in einem radarsystem
DE112018007810T5 (de) Objektverfolgung auf Grundlage von mehreren Messhypothesen
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102018122560A1 (de) Zielklassifizierungsverfahren und zugehörige vorrichtung
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102018222800A1 (de) Ortung und/oder Klassifikation von Objekten aus Radardaten mit verbesserter Verlässlichkeit bei unterschiedlichen Entfernungen
WO2019162317A1 (de) Verfahren zur erzeugung von sensordaten für sicherheitskritische automobil-steuergeräte
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102020215773A1 (de) Verfahren und Vorrichtung zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102019218349A1 (de) Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
WO2020169386A1 (de) VERFAHREN UND COMPUTERPROGRAMMPRODUKT ZUM ADAPTIEREN EINER AUFLÖSUNG EINES MULTISENSORSYSTEMS EINES STRAßENFAHRZEUGES UND STEUERGERÄT FÜR EIN MULTISENSORSYSTEM UND COMPUTERPROGRAMMPRODUKT
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
DE102022000849A1 (de) Verfahren zur Erzeugung einer Umgebungsrepräsentation für ein Fahrzeug
DE102022103324A1 (de) System und Verfahren zur Erkennung von Inkonsistenzen in Wahrnehmungssystemen von automatisierten Fahrzeugen.
DE102021005276A1 (de) Verfahren und Framework zur Sensorfusion und Umgebungsrepräsentation
DE102006051091B4 (de) Verfahren zur Objekterkennung von Fahrzeugen mittels Nahbereichsdetektion
DE102019104245A1 (de) Verfahren und System zum Modellieren einer Radarerfassung einer Umgebung eines Fahrzeugs
DE102019101127A1 (de) Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21839941

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180093933.8

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21839941

Country of ref document: EP

Kind code of ref document: A1