WO2022112298A1 - Method for generating a temporal sequence of augmented data frames - Google Patents

Method for generating a temporal sequence of augmented data frames Download PDF

Info

Publication number
WO2022112298A1
WO2022112298A1 PCT/EP2021/082772 EP2021082772W WO2022112298A1 WO 2022112298 A1 WO2022112298 A1 WO 2022112298A1 EP 2021082772 W EP2021082772 W EP 2021082772W WO 2022112298 A1 WO2022112298 A1 WO 2022112298A1
Authority
WO
WIPO (PCT)
Prior art keywords
data frames
sensor data
scene
temporal sequence
augmented
Prior art date
Application number
PCT/EP2021/082772
Other languages
German (de)
French (fr)
Inventor
Florian Drews
Claudius Glaeser
Florian Faion
Lars Rosenbaum
Koba Natroshvili
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2022112298A1 publication Critical patent/WO2022112298A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • Deep neural networks are increasingly used in the field of environmental perception with sensors installed in the vehicle. These are typically trained using supervised learning, i.e. on the basis of labeled environment data.
  • supervised learning i.e. on the basis of labeled environment data.
  • the creation and in particular the labeling of corresponding data sets is very time-consuming and costly.
  • Typical augmentations include, for example, adding noise, cropping or scaling camera images or rotating and mirroring LI DAR point clouds, radar reflections or individual objects in the vehicle environment.
  • a method for generating a temporal sequence of augmented data frames which has the following steps:
  • a temporal sequence of sensor data frames generated by a sensor system is provided.
  • at least one augmented data frame is determined by interpolating a scene that is characterized by consecutive sensor data frames, at least part of the temporal sequence of sensor data frames.
  • the temporal sequence of augmented data frames is generated by a temporal sequence of a multiplicity of specific augmented data frames that corresponds to the temporal sequence of sensor data frames.
  • This method can be used to provide training data sets for training perception, prediction or planning tasks that operate on the basis of multiple frames, with the data sets having temporal sequences of augmented data frames and possibly associated labels or other object attributes.
  • the method can therefore be used for various systems that are based on sequence-based data sets.
  • the training of neural networks for perception, prediction or planning tasks in the area of driver assistance systems and the automated driving in question In addition, an application in other areas (eg robotics) is conceivable.
  • data sets that are generated according to the method can be used advantageously for the verification and validation of algorithms and system components.
  • An example of such an application of such training data sets is a temporal tracking (tracking) of detected objects in a vehicle environment.
  • a diversity of sequence-based sensor data frames can be artificially increased by generating a temporal sequence of augmented data frames.
  • the temporal sequence of augmented data frames can enable a more comprehensive training of neural networks for sequence-based applications and thus increase their accuracy and robustness.
  • a frame rate can be changed and by changing the frame rate, in addition to the time sequence of sensor data frames, other speeds of the ego vehicle and all other road users be simulated. Because if the augmented data frames generated in this way result in a slower or faster “playback” of the sensor data at the same frame rate for the sensor data frames and the augmented data frames. In this way, a slower or faster movement of road users, including the recording ego vehicle, can be simulated.
  • a temporal sequence of augmented data frames can have additional data frames, so that both an increased and a reduced speed of the road users can be simulated with such sequences of data frames.
  • an additional time sequence of augmented data frames can be generated using the time sequence of sensor data frames, in which only every Nth frame of the sequence of sensor data frames is converted into the sequence of augmented data frames.
  • N-fold speed of the road users is thus simulated. This procedure can be repeated for different integer N, whereby the sequence-based data set can be artificially enlarged many times over.
  • the temporal sequence of augmented data frames can be generated by interpolating the sensor data frames.
  • interpolation of frames allows any speeds of road users are simulated. This includes both faster and slower speeds than the original sensor data frame sequence. Since the original sequence of the sensor data frames can be interpolated for any sampling frequency, the method allows an unlimited artificial enlargement of the temporal sequence of sensor data frames.
  • the variability of the available data frames can be increased by such a generation of a temporal sequence of augmented data frames.
  • corresponding neural networks for perception, prediction and planning tasks can be trained more efficiently, which is reflected in increased precision and/or robustness.
  • temporal sequences of augmented data frames generated in this way enable the simulation of traffic events that are observed only rarely or in insufficient numbers in reality, such as speeding by road users.
  • time sequences of augmented data frames generated in this way also reduces the effort involved in introducing and storing corresponding sensor data, which represents a time and cost saving.
  • this can also be used for the verification and validation of algorithms and system components in the area of driver assistance systems and automated driving.
  • the temporal sequence of augmented data frames is provided for a system for perceiving the surroundings and/or for object prediction and/or for planning the behavior of at least partially automated mobile platforms.
  • the temporal sequence of augmented data frames can be provided for training machine learning systems and/or for training neural networks.
  • a system created with the temporal sequence of augmented data frames is used for environmental perception and/or for object prediction and/or for behavior planning of at least partially automated mobile platforms.
  • the scene is characterized by sensor data frames with raw sensor data from the sensor system and/or with a representation of the raw sensor data from the sensor system.
  • Generating a temporal sequence of augmented data frames by interpolating a temporal sequence of sensor data frames alternatively or additionally to new points in time can prove difficult if the sensor data frames are based on raw sensor data. For example, images from optical camera systems are difficult to interpolate. Therefore, it is proposed here to determine the interpolation based on a representation of the raw sensor data of the sensor system. This is particularly advantageous when neural networks for perception, prediction or planning tasks operate on such derived representations. This applies in particular to occupancy maps, which can be used for various applications in the field of driver assistance systems and automated driving.
  • the relative distances of the raw sensor data and/or the relative distances of the representation are particularly relevant for the method for generating a temporal sequence of augmented data frames.
  • the scene is characterized by sensor data frames with an occupancy grid as a representation of the respective raw sensor data of the sensor system.
  • occupancy maps occupancy maps
  • occupancy maps occupancy maps
  • a plurality of augmented data frames of the temporal sequence of augmented data frames is determined by interpolating the scene using consecutive sensor data frames in such a way that the scene of the respective augmented data frame is opposite to the scene of the corresponding sensor data frame is shifted in time in order to generate a temporal jitter in the temporal sequence of augmented data frames.
  • a temporal jitter can be understood as a temporal fluctuation and/or a temporal fluctuation corresponding to a signal that is noisy in relation to the sampling frequency.
  • the generation of a temporal sequence of augmented data frames is combined with additional noise in the sampling frequency, or temporal jitter.
  • temporal inaccuracies that occur when sensor data is recorded can be mapped and correspondingly simulated with the temporal sequence of augmented data frames.
  • a correspondingly augmented data set can thus contribute to perception, prediction or planning methods becoming more robust in relation to such a temporal jitter.
  • the method for generating a temporal sequence of augmented data frames has the following steps:
  • At least a first object is identified in the respective scene from consecutive sensor data frames, at least part of the temporal sequence of sensor data frames.
  • at least one second object is identified in the respective scene of consecutive sensor data frames, at least of the part of the temporal sequence of sensor data frames.
  • at least one augmented data frame of the temporal sequence of augmented data frames is determined, with the interpolation for the at least first object in the scene being different from the interpolation of the at least second object in the scene.
  • the first object and/or the second object can relate both to a static object and to a dynamic object of the respective scene.
  • this advantageously makes it possible to interpolate augmented data frames in which two dynamic objects of the scene each have different speeds in comparison with the sensor data frames.
  • the speeds of the road users or the dynamic objects can be changed independently of one another. i.e. the speeds of the dynamic objects can be determined object-specifically.
  • the interpolation for determining the at least one augmented data frame for the at least first object and/or for the second object is dependent on a change in a position of an ego vehicle in the scene, the sensor system of which provides the temporal sequence of the sensor data frames.
  • the ego vehicle can be viewed as a mobile platform that has the sensor system that generates and provides the temporal sequence of sensor data frames.
  • static objects taking into account the change in the position of the host vehicle, corresponding to the known movement of the host vehicle in the form of a displacement or translation and a rotation, is sufficient for determining the augmented data frame.
  • dynamic objects trajectories of the respective dynamic objects must also be taken into account.
  • At least one object is determined as a dynamic object based on a label for the interpolation which is assigned to the object in the respective scene.
  • the respective label can be assigned to a respective frame with, for example, a list of objects for a frame. This means that a number of raw data points that fall into a cuboid (bounding box) can be assigned to the respective object using the object list.
  • At least one object is determined as a dynamic object for the interpolation, based on an automatic determination of dynamic areas of the scene.
  • Data sets of temporal sequences of sensor data frames typically have labels for other objects such as road users, e.g. in the form of bounding boxes, as well as information about the recording vehicle (host vehicle), e.g. in the form of speeds via CAN bus, in addition to the sensor data on.
  • dynamic areas or dynamic objects can be determined automatically, for example by means of flow algorithms that are applied to the raw sensor data, the respective data frames.
  • at least one augmented data frame is generated based on an interpolated dynamic object and/or an interpolated static object.
  • new augmented data frames can be created by merging the static and dynamic objects.
  • Such new frames can be generated or interpolated from various neighboring frames, e.g. the point in time (N+0.3) can be generated from frame N by “forward propagation” by 0.3 or from frame (N+l) by “back propagation” by 0.7.
  • the interpolations can also be performed in both directions and then both results can be weighted to get more accurate results.
  • the method for generating a temporal sequence of augmented data frames has the following steps:
  • a trajectory for at least one object of the scene that is determined to be dynamic is determined using the successive sensor data frames.
  • the scene with the at least one dynamically determined object is interpolated based on the trajectory for the at least one dynamically determined object.
  • All of the methods mentioned above for generating a temporal sequence of augmented data frames can also be combined with single-frame-based augmentation methods, so that the combination is advantageous for our applications, such as object tracking or trajectory planning.
  • they can be applied to sequence data from various sensors (e.g. video, radar, LIDAR) or representations derived from them.
  • the at least one object determined as dynamic is a host vehicle whose sensor system provides the temporal sequence of the sensor data frames and the method has the following steps: in one step, a drivable trajectory for the host vehicle of the scene definitely.
  • the scene with the host vehicle is interpolated based on the drivable trajectory for the host vehicle.
  • a drivable trajectory for the ego vehicle can be a trajectory that is dynamically possible in terms of vehicle dynamics and/or has a desired course for the interpolation of the scene within the trajectories of other road users. In other words, this means that different positions are assigned to the ego vehicle, resulting in a different drivable trajectory.
  • This method is particularly simple since the raw sensor data can be transformed using the drivable trajectory of the host vehicle. This means that the host vehicle is shifted to the corresponding position of the drivable trajectory for each individual data frame and the raw sensor data is transformed accordingly in order to convert an augmented data frame from a point in time N into an augmented data frame at a point in time N +l to convert.
  • the ego vehicle can be assigned a new drivable trajectory, so that augmented data frames are generated which correspond to the ego vehicle driving through the same scene multiple times on different drivable trajectories.
  • the corresponding method can also be used for simulating different trajectories of other road users, as is described in detail in the exemplary embodiments.
  • an object contained in a scene of a sequence of sensor data frames can also be exchanged for any other desired object in order to generate a temporal sequence of augmented data frames with this desired object.
  • a dynamic object driving ahead in the form of a car can be exchanged for a truck driving ahead or a cyclist.
  • new objects that follow any trajectory can be integrated into the sequence of augmented data frames.
  • the new objects can be derived from other sequences of sensor data frames, from which the corresponding sensor data are selected.
  • additional objects can be integrated into the temporal sequence of augmented data frames using simulated sensor data.
  • the temporal sequence of sensor data frames be provided by means of a video system and/or a RADAR system and/or a LIDAR system.
  • a video system can be an optical camera system.
  • the signal at a connection of artificial neurons can be a real number, and the output of an artificial neuron is calculated by a non-linear function of the sum of its inputs.
  • the connections of the artificial neurons typically have a weight that adjusts as learning progresses. Weight increases or decreases the strength of the signal on a connection.
  • Artificial neurons can have a threshold such that a signal is only output if the total signal exceeds this threshold.
  • a large number of artificial neurons are combined in layers. Different layers may perform different types of transformations on their inputs. Signals travel from the first layer, the input layer, to the last layer, the output layer; possibly after going through the shifts several times.
  • neural networks consist of at least three layers of neurons: an input layer, an intermediate layer (hidden layer) and an output layer. This means that all neurons in the network are divided into layers, with a neuron in one layer always being connected to all neurons in the next layer. Except for the input layer, the different layers consist of neurons that are subject to a non-linear activation function and are connected to the neurons of the next layer.
  • a deep neural network can have many such intermediate layers.
  • Each neuron of the corresponding architecture of the neural network receives z. B. a random starting weight. Then the input data is fed into the network, and each neuron weights the input signals with its weight and passes the result on to the neurons of the next layer. The overall result is then made available at the output layer. The size of the error can be calculated, as well as the contribution each neuron made to that error, and then change the weight of each neuron in the direction that minimizes the error. Then done recursively Runs, re-measures the error, and adjusts the weights until the error is below a predetermined limit.
  • a data device which is set up to carry out one of the methods described above for generating a temporal sequence of augmented data frames.
  • a system for capturing the surroundings of a sensor system has been trained with a temporal sequence of augmented data frames to capture the surroundings of the sensor system, with the augmented data frames being generated in accordance with one of the methods described above.
  • the environment of the mobile platform can be recorded with less economic effort and with high quality of the recording.
  • a mobile platform which has the system described above for detecting the surroundings of a sensor system.
  • the environment of the mobile platform can be recorded with less economic effort and with high quality of the recording.
  • a mobile platform can be understood to mean an at least partially automated system that is mobile and/or a driver assistance system.
  • An example can be an at least partially automated vehicle or a vehicle with a driver assistance system. That is, in this context, an at least partially automated system includes a mobile platform in terms of at least partially automated functionality, but a mobile platform also includes vehicles and other mobile machines including driver assistance systems.
  • Other examples of mobile platforms can be driver assistance systems with multiple sensors, mobile multi-sensor robots such as robot vacuum cleaners or lawn mowers.
  • the method described for detecting an environment of a first sensor system can be used for mobile platforms and/or also for multi-sensor monitoring systems and/or a production machine and/or a personal assistant and/or an access control system.
  • Each of these systems can be a fully or partially automated system.
  • a computer program is proposed which has instructions which, when the computer program is executed by a computer, cause the latter to execute one of the methods described above. Using such a computer program, the methods described above can be made available in a simple manner, for example on a mobile platform.
  • a machine-readable storage medium is proposed, on which the computer program described above is stored.
  • the computer program described above can be transported by means of such a machine-readable storage medium.
  • a neural network is proposed that is trained with one of the temporal sequences of augmented data frames described above.
  • FIGS. 1 to 9 Exemplary embodiments of the invention are illustrated with reference to FIGS. 1 to 9 and explained in more detail below. Show it:
  • FIG. 1 shows a sketch of a chronological sequence of sensor data frames and chronological sequences of augmented data frames interpolated therefrom by only taking over every nth frame of the original sequence in the new sequence;
  • FIG. 2 shows a sketch of a time sequence of sensor data frames and time sequences of augmented data frames interpolated therefrom at other sampling times;
  • FIG. 3 shows a sketch of a time sequence of sensor data frames and time sequences of augmented data frames interpolated therefrom from representations
  • FIG. 4 shows a sketch of a time sequence of sensor data frames and time sequences of augmented data frames interpolated therefrom at other sampling times in order to generate a time jitter
  • FIG. 5a shows a sketch of a frame with a scene made up of static and dynamic objects at a first point in time
  • FIG. 5b shows a sketch of a frame with a scene made up of static and dynamic objects at a second point in time
  • FIG. 6a shows a sketch of a frame with a scene with a host vehicle on a trajectory and static objects
  • FIG. 6b shows a sketch of a frame with a scene with a host vehicle following a trajectory and static objects
  • FIG. 7a shows a sketch of a frame with a scene with a host vehicle and dynamic objects that follow a trajectory at a first point in time
  • FIG. 7b shows a sketch of a frame with a scene with a host vehicle and dynamic objects that follow a trajectory at a second point in time
  • FIG. 8a shows a sketch of a frame with a scene with a host vehicle following a trajectory and dynamic objects
  • FIG. 8b shows a sketch of a frame with a scene with a host vehicle that follows a drivable trajectory and dynamic objects
  • FIG. 9a shows a sketch of a frame with a scene with an ego vehicle that follows an ego trajectory and a dynamic object that follows an object trajectory
  • FIG. 9b shows a sketch of a frame with a scene with an ego vehicle that follows an ego trajectory and a dynamic object that follows a drivable object trajectory.
  • Figure 1 a) to d) show schematically a temporal sequence of sensor
  • 2 outlines a temporal sequence of sensor data frames 102 and temporal sequences of augmented data frames 210, 220 interpolated therefrom the temporal sequence of sensor data frames 102 formed by interpolation. It is outlined that in this case the number of frames in the temporal sequence of augmented data frames 210 is greater than the number of frames in the temporal sequence of sensor data frames 102.
  • the temporal sequence of augmented data frames 220 with the frames 220a to 220b is formed from the elements 102a to 102c of the temporal sequence of sensor data frames 102 by interpolation. It is outlined that in this case the number of frames in the temporal sequence of augmented data frames 220 is smaller than the number of frames in the temporal sequence of sensor data frames 102.
  • the assigned times for the respective frames of the augmented data frames 210, 220 can differ from the assigned times of the frames of the temporal sequence of sensor data frames 102.
  • FIG. 3 outlines a temporal sequence of sensor data frames 102 and a temporal sequence of augmented data frames 300 interpolated therefrom.
  • the elements 102a to 102c of the temporal sequence of sensor data frames 102 first become a sequence of representations of the raw sensor data of the sensor system 302 with the elements 302a to 302c before the temporal sequence of augmented data frames 300 with the elements 300a and 300b is formed by interpolation from the sequence of representations of the raw sensor data of the sensor system 302.
  • the number of elements in the augmented data frames 300 differs from the number of frames in the temporal sequence of sensor data frames 102.
  • Such a representation of the raw sensor data of the sensor system can be an occupancy grid, for example.
  • the augmented data frames 400a, 400b of the Temporal sequence of augmented data frames 400 are determined by interpolating the scene using successive sensor data frames in such a way that the scene of the respective augmented data frame 400a, 400b is shifted in time relative to the scene of the corresponding sensor data frame 102a to 102c to generate a temporal jitter 410,420 in the temporal sequence of augmented data frames 400.
  • FIG. 5a sketches a frame from a temporal sequence of sensor data frames 102 with a scene of static objects 530, 540, 550 and dynamic objects 500a, 510a, 520a at a first point in time, the dynamic object 500a being a host vehicle on a trajectory 502 represents.
  • the black dots can be understood as raw sensor data, for example of a LIDAR system of the temporal sequence of sensor data frames 102, which were assigned by means of object recognition as label rectangles corresponding to a bounding box for the respective object and possibly an object ID.
  • attributes such as a speed of the host vehicle are assigned to the host vehicle 500a.
  • the trajectory 502 of the ego vehicle relates both to a part that has already been traveled and to a future part.
  • FIG. 5b corresponds to FIG. 5a and sketches a frame from a temporal sequence of sensor data frames 102 with a scene from static 530
  • the dynamic object 500a, 500b representing a host vehicle on a trajectory 502 at the two points in time.
  • the relative positions of the dynamic objects 510b, 520b at the second time are shown in FIG. 5b.
  • Such frames from a temporal sequence of sensor data frames 102 represent the starting point for the interpolation of temporal sequences of augmented data frames, as has already been explained above.
  • FIG. 6a sketches an augmented data frame with a scene with a host vehicle 600a on a trajectory 502 and static objects 530, 540,
  • Figure 6b outlines an augmented data frame with a scene with a host vehicle 600a on a trajectory 502 and static objects 530, 540, 550 at a second point in time N+l, which is determined by successive sensor data frames, at least part of the time Sequence of sensor data frames was determined as described above.
  • the interpolation of the raw sensor data of the sensor system can be done separately for static and dynamic objects.
  • the division into static and dynamic raw sensor data can take place both via labels, i.e. an assignment of raw sensor data to a bounding box, for example, and/or through an automatic determination of dynamic ranges, which can be done, for example, via flow algorithms that are applied to the raw sensor data .
  • a comparison of FIGS. 6a and 6b shows that for static objects only raw sensor data has to be shifted and rotated according to the determined and known movement of the host vehicle.
  • FIG. 7a outlines an augmented data frame with a scene with a host vehicle 700a and a first dynamic object 710a on a trajectory 710 at a first point in time N and 710b at a second point in time N+1, and a second dynamic object 720a on a trajectory 720 at a first point in time N and 720b at a second point in time N+1.
  • FIG. 7b outlines an augmented data frame with a scene corresponding to FIG. 7a.
  • a movement of the host vehicle 700a at a first point in time and 700b at a second point in time is also sketched.
  • FIG. 7b outlines that the first dynamic object 710a, 710b at the two points in time and the second dynamic object 720a, 720b at the two points in time can also be interpolated to a position in the scene at an intermediate point in time 710c or 720c.
  • static raw sensor data only has to be shifted and rotated according to the known own movement of the host vehicle 700a, 700b.
  • the labels can be used to construct trajectories through consecutive sensor data frames, at least part of the temporal sequence of sensor data frames, and the raw sensor data can be shifted according to the trajectories, which may be associated with the movement of the Ego vehicle compensated Need to become. New frames can ultimately be created by merging the static and dynamic parts.
  • Such augmented data frames can be generated or interpolated from various neighboring sensor data frames, e.g. the point in time (N+0.3) can be generated from frame N by “forward propagation” by 0.3 or from frame (N+1) by “ Backpropagation” by 0.7
  • the interpolations can also be performed in both directions and then both results can be weighted to get more accurate results.
  • the dynamic object 800a represents a host vehicle on a trajectory 802a.
  • the trajectory 802a of the ego vehicle relates both to a part that has already been traveled and to a future part.
  • FIG. 8b outlines how the method for generating a temporal sequence of augmented data frames can be combined with methods for single-frame augmentation, so that this combination can advantageously be used for object tracking or trajectory planning, for example.
  • different drivable trajectories 802b of the host vehicle are simulated by rotating or shifting the raw sensor data around the ego vehicle in each individual augmented data frame according to the position of the ego vehicle on the new drivable trajectory.
  • completely new drivable trajectories of the ego vehicle can be simulated with a generated temporal sequence of augmented data frames, i.e. the ego vehicle 800b can drive through the same scene multiple times and differently. Time sequences of augmented data frames are then generated in each case.
  • FIG. 9a corresponds to FIG. 5a and outlines a frame from a temporal sequence of sensor data frames 102 with a scene made up of static objects 530, 540, 550 and dynamic objects 900, 910a, 920a at a first time, wherein the dynamic object 900 represents a host vehicle on a trajectory 902 .
  • the trajectory 902 of the ego vehicle relates both to a part that has already been traveled and to a future part.
  • the dynamic object 920a is located on the trajectory 920c, which can be determined by successive sensor data frames, at least part of the temporal sequence of sensor data frames.
  • FIG. 9b outlines how the combination of the method for generating a temporal sequence of augmented data frames with single-frame augmentation according to the method for simulating different trajectories for the host vehicle explained with FIGS. 8a and 9a on a trajectory of a dynamic Object can be applied. i.e. in combination with a temporal augmentation, different trajectories of the other road users can be simulated.
  • different drivable trajectories 920d of the dynamic object 920a, 920b such as the Trajectory 920d on which the dynamic object 920b is positioned at a different point in time can be simulated in a temporal sequence of augmented data frames by the raw sensor data corresponding to the position of the dynamic object 920a, 920b on the new drivable trajectory in each individual augmented data frame 920d can be rotated or shifted around the dynamic object 920a, 920b.
  • completely new drivable trajectories of the dynamic object 920a, 920b can be simulated with a generated temporal sequence of augmented data frames, i.e. the dynamic object 920a, 920b can drive through the same scene multiple times and differently. Time sequences of augmented data frames are then generated in each case.

Abstract

The invention relates to a method for generating a temporal sequence of augmented data frames, comprising the following steps: providing a temporal sequence of sensor data frames which are generated by a sensor system; determining at least one augmented data frame by interpolating a scene which is characterized by successive sensor data frames of at least a part of the temporal sequence of sensor data frames; and generating the temporal sequence of augmented data frames by a temporal succession of a plurality of determined augmented data frames, said temporal succession corresponding to the temporal sequence of sensor data frames.

Description

Beschreibung description
Titel title
Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames Method for generating a temporal sequence of augmented data frames
Stand der Technik State of the art
Maschinelle Lernverfahren, insb. Deep Learning, gewinnen zunehmend an Bedeutung im Bereich des automatisierten Fahrens. Insbesondere im Bereich der Umfeldwahrnehmung mit im Fahrzeug verbauten Sensoren kommen tiefe neuronale Netze verstärkt zum Einsatz. Diese werden typischerweise mittels supervised Learning trainiert, d.h. auf Basis gelabelter Umfelddaten. Die Erstellung und insbesondere das Labeling entsprechender Datensätze ist jedoch sehr zeit- und kostenintensiv. Machine learning methods, especially deep learning, are becoming increasingly important in the field of automated driving. Deep neural networks are increasingly used in the field of environmental perception with sensors installed in the vehicle. These are typically trained using supervised learning, i.e. on the basis of labeled environment data. However, the creation and in particular the labeling of corresponding data sets is very time-consuming and costly.
Um die Diversität von Datensätzen zu erhöhen, kommen oftmals Methoden zur Datenaugmentierung zum Einsatz. Dabei werden die aufgenommenen Sensordaten künstlich verändert und somit der Umfang des Datensatzes vergrößert. Typische Augmentierungen umfassen beispielsweise das Verrauschen, Zuschneiden oder Skalieren von Kamerabildern oder das Rotieren und Spiegeln von LI DAR Punktwolken, Radar Reflexen oder einzelnen Objekten im Fahrzeugumfeld. In order to increase the diversity of data sets, methods for data augmentation are often used. The recorded sensor data is artificially changed and thus the scope of the data set is increased. Typical augmentations include, for example, adding noise, cropping or scaling camera images or rotating and mirroring LI DAR point clouds, radar reflections or individual objects in the vehicle environment.
Offenbarung der Erfindung Disclosure of Invention
Diese Methoden zur Datenaugmentierung werden derzeit auf einzelne Frames von Sensordaten angewandt (z.B. die einzelnen Bilder einer Videokamera). Sie sind somit insbesondere geeignet, um das Training solcher neuronaler Netze zu unterstützen, welche eine single-Frame Anwendung realisieren, wie z.B. die Detektion von Objekten in einzelnen Frames. Entsprechend Aspekten der Erfindung wird ein Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames, eine Verwendung des Verfahrens, eine Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung. These methods for data augmentation are currently applied to individual frames of sensor data (e.g. individual images from a video camera). They are therefore particularly suitable for supporting the training of neural networks that implement a single-frame application, such as the detection of objects in individual frames. According to aspects of the invention, a method for generating a temporal sequence of augmented data frames, a use of the method, a device, a computer program and a machine-readable storage medium according to the features of the independent claims are proposed. Advantageous configurations are the subject of the dependent claims and the following description.
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Throughout this description of the invention, the sequence of method steps is presented in such a way that the method is easy to follow.
Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale. However, those skilled in the art will recognize that many of the method steps can also be carried out in a different order and lead to the same or a corresponding result. In this sense, the order of the method steps can be changed accordingly. Some features are numbered to improve readability or to clarify attribution, but this does not imply the presence of specific features.
Gemäß einem Aspekt wird ein Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames vorgeschlagen, das die folgenden Schritte aufweist: According to one aspect, a method for generating a temporal sequence of augmented data frames is proposed, which has the following steps:
In einem Schritt wird eine zeitliche Sequenz von Sensor- Daten- Frames bereitgestellt, die von einem Sensorsystem generiert werden. In einem weiteren Schritt wird zumindest ein augmentiertes Daten- Frame mittels Interpolieren einer Szene bestimmt, die durch aufeinanderfolgende Sensor- Daten- Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor- Daten- Frames, charakterisiert wird. In einem weiteren Schritt wird die zeitliche Sequenz augmentierter Daten-Frames, durch eine zu der zeitlichen Sequenz von Sensor- Daten- Frames korrespondierende zeitliche Abfolge einer Vielzahl von bestimmten augmentierten Daten-Frames generiert. In one step, a temporal sequence of sensor data frames generated by a sensor system is provided. In a further step, at least one augmented data frame is determined by interpolating a scene that is characterized by consecutive sensor data frames, at least part of the temporal sequence of sensor data frames. In a further step, the temporal sequence of augmented data frames is generated by a temporal sequence of a multiplicity of specific augmented data frames that corresponds to the temporal sequence of sensor data frames.
Mit diesem Verfahren können Trainingsdatensätze zum Training von Perzeptions-, Prädiktions- oder Planungsaufgaben, welche auf Basis mehrerer Frames operieren, zur Verfügung gestellt werden, wobei die Datensätze zeitliche Sequenzen von augmentierten Daten-Frames und ggf. zugehörigen Labels oder andere Attribute von Objekten aufweisen. This method can be used to provide training data sets for training perception, prediction or planning tasks that operate on the basis of multiple frames, with the data sets having temporal sequences of augmented data frames and possibly associated labels or other object attributes.
Damit kann das Verfahren für verschiedene Systeme Anwendung finden, welche auf sequenzbasierten Datensätzen beruhen. Hier kommen insbesondere das Training von neuronalen Netzen für Perzeptions-, Prädiktions- oder Planungsaufgaben im Bereich von Fahrerassistenzsystemen und des automatisierten Fahrens in Frage. Darüber hinaus ist eine Anwendung in anderen Gebieten (z.B. Robotik) denkbar. Zusätzlich können Datensätze, welche entsprechend dem Verfahren generiert werden, vorteilhaft für die Verifikation und Validation von Algorithmen und Systemkomponenten eingesetzt werden. The method can therefore be used for various systems that are based on sequence-based data sets. In particular, the training of neural networks for perception, prediction or planning tasks in the area of driver assistance systems and the automated driving in question. In addition, an application in other areas (eg robotics) is conceivable. In addition, data sets that are generated according to the method can be used advantageously for the verification and validation of algorithms and system components.
Ein Beispiel für eine solche Anwendung solcher Trainingsdatensätze ist eine zeitliche Verfolgung (Tracking) von detektierten Objekten in einem Fahrzeugumfeld. Durch das Generieren einer zeitlichen Sequenz augmentierter Daten-Frames kann eine Diversität von sequenzbasierten Sensor- Daten- Frames künstlich vergrößert werden. Die zeitliche Sequenz augmentierter Daten-Frames kann ein umfassenderes Training von neuronalen Netzen für sequenzbasierte Anwendungen ermöglichen und somit deren Genauigkeit und Robustheit erhöhen. An example of such an application of such training data sets is a temporal tracking (tracking) of detected objects in a vehicle environment. A diversity of sequence-based sensor data frames can be artificially increased by generating a temporal sequence of augmented data frames. The temporal sequence of augmented data frames can enable a more comprehensive training of neural networks for sequence-based applications and thus increase their accuracy and robustness.
Durch eine Selektion mit zumindest einem Teil der zeitlichen Sequenz von Sensor- Daten- Frames kann eine Framerate verändert werden und durch die Veränderung der Framerate können zusätzlich zu der zeitlichen Sequenz von Sensor- Daten- Frames, weitere Geschwindigkeiten des Ego-Fahrzeugs sowie aller anderen Verkehrsteilnehmer simuliert werden. Denn wenn die so generierten augmentierten Daten-Frames resultierend bei gleicher Framerate für die Sensor- Daten- Frames und die augmentierten Daten-Frames in einem langsameren oder schnelleren “Abspielen” der Sensordaten. Somit kann eine langsamere bzw. schnellere Bewegung der Verkehrsteilnehmer, inklusive des aufnehmenden Egofahrzeugs simuliert werden. By selecting at least part of the time sequence of sensor data frames, a frame rate can be changed and by changing the frame rate, in addition to the time sequence of sensor data frames, other speeds of the ego vehicle and all other road users be simulated. Because if the augmented data frames generated in this way result in a slower or faster “playback” of the sensor data at the same frame rate for the sensor data frames and the augmented data frames. In this way, a slower or faster movement of road users, including the recording ego vehicle, can be simulated.
Alternativ oder zusätzlich kann eine zeitliche Sequenz augmentierter Daten- Frames zusätzliche Daten-Frames aufweisen, sodass sowohl eine erhöhte als auch eine erniedrigte Geschwindigkeit der Verkehrsteilnehmer mit solchen Sequenzen von Daten-Frames simuliert werden kann. Alternatively or additionally, a temporal sequence of augmented data frames can have additional data frames, so that both an increased and a reduced speed of the road users can be simulated with such sequences of data frames.
Beispielsweise kann mittels der zeitlichen Sequenz von Sensor- Daten- Frames eine zusätzliche zeitliche Sequenz augmentierter Daten-Frames generiert werden, in dem nur jedes N-te Frame der Sequenz der Sensor- Daten- Frames in die Sequenz der augmentierten Daten-Frames überführt wird. Bei einer gleichbleibenden Framerate wird somit eine N-fache Geschwindigkeit der Verkehrsteilnehmer simuliert. Dieses Verfahren kann für verschiedene ganzzahlige N wiederholt werden, wodurch der sequenzbasierte Datensatz um ein vielfaches künstlich vergrößert werden kann. For example, an additional time sequence of augmented data frames can be generated using the time sequence of sensor data frames, in which only every Nth frame of the sequence of sensor data frames is converted into the sequence of augmented data frames. With a constant frame rate, an N-fold speed of the road users is thus simulated. This procedure can be repeated for different integer N, whereby the sequence-based data set can be artificially enlarged many times over.
Alternativ oder zusätzlich kann die zeitliche Sequenz augmentierter Daten- Frames durch eine Interpolation der Sensor- Daten- Frames generiert werden. Durch eine solche Interpolation von Frames können beliebige Geschwindigkeiten der Verkehrsteilnehmer simuliert werden. Dies umfasst sowohl schnellere als auch langsamere Geschwindigkeiten als in der Originalsequenz der Sensor- Daten-Frames. Da die Interpolation der Originalsequenz der Sensor-Daten- Frames für beliebige Abtastfrequenzen erfolgen kann, ermöglicht das Verfahren eine unbegrenzte künstliche Vergrößerung der zeitlichen Sequenz von Sensor- Daten- Frames. Alternatively or additionally, the temporal sequence of augmented data frames can be generated by interpolating the sensor data frames. Such an interpolation of frames allows any speeds of road users are simulated. This includes both faster and slower speeds than the original sensor data frame sequence. Since the original sequence of the sensor data frames can be interpolated for any sampling frequency, the method allows an unlimited artificial enlargement of the temporal sequence of sensor data frames.
Durch ein solches Generieren einer zeitlichen Sequenz augmentierter Daten- Frames kann die Variabilität der zur Verfügung stehenden Daten- Frames erhöht werden. Als Ergebnis können entsprechende neuronale Netzwerke für Perzeptions-, Prädiktions- und Planungsaufgaben effizienter trainiert werden, was sich in einer gesteigerten Präzision und/oder Robustheit widerspiegelt. The variability of the available data frames can be increased by such a generation of a temporal sequence of augmented data frames. As a result, corresponding neural networks for perception, prediction and planning tasks can be trained more efficiently, which is reflected in increased precision and/or robustness.
Zusätzlich ermöglichen so generierte zeitliche Sequenzen augmentierter Daten- Frames die Simulation von Verkehrsgeschehen, welche in der Realität nur selten oder in nicht ausreichender Anzahl beobachtet werden, wie zum Beispiel Geschwindigkeitsüberschreitungen von Verkehrsteilnehmern. In addition, temporal sequences of augmented data frames generated in this way enable the simulation of traffic events that are observed only rarely or in insufficient numbers in reality, such as speeding by road users.
Durch die Verwendung so generierter zeitlicher Sequenzen augmentierter Daten- Frames verringert sich somit auch der Aufwand für das Einfahren und Labein entsprechender Sensordaten, was eine Zeit- und Kostenersparnis darstellt. The use of time sequences of augmented data frames generated in this way also reduces the effort involved in introducing and storing corresponding sensor data, which represents a time and cost saving.
Vorteilhafterweise kann neben der Verwendung der zeitlichen Sequenz augmentierter Daten- Frames zum Training neuronaler Netze, diese auch für die Verifikation und Validation von Algorithmen und Systemkomponenten im Bereich der Fahrerassistenzsysteme und des automatisierten Fahrens eingesetzt werden. Advantageously, in addition to using the temporal sequence of augmented data frames for training neural networks, this can also be used for the verification and validation of algorithms and system components in the area of driver assistance systems and automated driving.
Gemäß einem Aspekt wird vorgeschlagen, dass die zeitliche Sequenz augmentierter Daten- Frames für ein System zur Umfeldwahrnehmung und/oder zur Objektprädiktion und/oder zur Verhaltensplanung zumindest teilautomatisierter mobiler Plattformen vorgesehen ist. According to one aspect, it is proposed that the temporal sequence of augmented data frames is provided for a system for perceiving the surroundings and/or for object prediction and/or for planning the behavior of at least partially automated mobile platforms.
Insbesondere kann die zeitliche Sequenz augmentierter Daten- Frames zum Trainieren maschineller Lernsystem und/ oder zum Trainieren neuronaler Netzwerke vorgesehen sein. In particular, the temporal sequence of augmented data frames can be provided for training machine learning systems and/or for training neural networks.
Gemäß einem Aspekt wird vorgeschlagen, dass ein mit der zeitlichen Sequenz augmentierter Daten- Frames erstelltes System zur Umfeldwahrnehmung und/oder zur Objektprädiktion und/oder zur Verhaltensplanung zumindest teilautomatisierter mobiler Plattformen verwendet wird. Gemäß einem Aspekt wird vorgeschlagen, dass die Szene durch Sensor-Daten- Frames mit Rohsensordaten des Sensorsystems und/oder mit einer Repräsentation der Rohsensordaten des Sensorsystems charakterisiert wird. According to one aspect, it is proposed that a system created with the temporal sequence of augmented data frames is used for environmental perception and/or for object prediction and/or for behavior planning of at least partially automated mobile platforms. According to one aspect, it is proposed that the scene is characterized by sensor data frames with raw sensor data from the sensor system and/or with a representation of the raw sensor data from the sensor system.
Das Generieren einer zeitlichen Sequenz augmentierter Daten- Frames mittels Interpolation einer zeitlichen Sequenz von Sensor- Daten- Frames alternativ oder zusätzlich auf neue Zeitpunkte kann sich als schwierig erweisen, wenn die Sensor- Daten- Frames auf Rohsensordaten basieren. So lassen sich beispielsweise Bilder optischer Kamerasysteme nur schwer interpolieren. Daher wird hier vorgeschlagenen, die Interpolation basierend auf einer Repräsentation der Rohsensordaten des Sensorsystems zu bestimmen. Dies ist insbesondere dann vorteilhaft, wenn neuronale Netzwerke für Perzeptions-, Prädiktions- oder Planungsaufgaben auf solchen abgeleiteten Repräsentationen operieren. Dies gilt insbesondere für Belegungsgitter (Occupancy Maps), welche für verschiedene Anwendungen im Bereich der Fahrerassistenzsysteme und des automatisierten Fahrens genutzt werden können. Generating a temporal sequence of augmented data frames by interpolating a temporal sequence of sensor data frames alternatively or additionally to new points in time can prove difficult if the sensor data frames are based on raw sensor data. For example, images from optical camera systems are difficult to interpolate. Therefore, it is proposed here to determine the interpolation based on a representation of the raw sensor data of the sensor system. This is particularly advantageous when neural networks for perception, prediction or planning tasks operate on such derived representations. This applies in particular to occupancy maps, which can be used for various applications in the field of driver assistance systems and automated driving.
Für das Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames sind dabei insbesondere die relativen Abstände der Rohsensordaten und/oder die relativen Abstände der Repräsentation relevant. The relative distances of the raw sensor data and/or the relative distances of the representation are particularly relevant for the method for generating a temporal sequence of augmented data frames.
Gemäß einem Aspekt wird vorgeschlagen, dass die Szene durch Sensor-Daten- Frames mit einem Belegungsgitter als Repräsentation der jeweiligen Rohsensordaten des Sensorsystems charakterisiert wird. According to one aspect, it is proposed that the scene is characterized by sensor data frames with an occupancy grid as a representation of the respective raw sensor data of the sensor system.
Mittels solcher Belegungsgitter (Occupancy Maps) als Repräsentation der jeweiligen Rohsensordaten kann je nach Art der Rohsensordaten das interpolieren einer Szene vereinfacht werden. By means of such occupancy maps (occupancy maps) as a representation of the respective raw sensor data, the interpolation of a scene can be simplified depending on the type of raw sensor data.
Gemäß einem Aspekt wird vorgeschlagen, dass eine Mehrzahl von augmentierten Daten- Frames der zeitlichen Sequenz augmentierter Daten- Frames bestimmt wird, indem die Szene so mittels aufeinanderfolgender Sensor- Daten- Frames interpoliert wird, dass die Szene des jeweiligen augmentierten Daten-Frames gegenüber der Szene des korrespondierenden Sensordaten- Frames zeitlich verschoben ist, um einen zeitlichen Jitter in der zeitlichen Sequenz augmentierter Daten-Frames zu generieren. Unter einem zeitlichen Jitter kann eine zeitliche Fluktuation und/oder eine zeitliche Schwankung entsprechend einem in Bezug auf die Abtastfrequenz verrauschten Signal verstanden werden. Gemäß diesem Aspekt des Verfahrens wird das Generieren einer zeitlichen Sequenz augmentierter Daten- Frames mit einem zusätzlichen Verrauschen der Abtastfrequenz, bzw. einem zeitlichen Jitter, kombiniert. According to one aspect, it is proposed that a plurality of augmented data frames of the temporal sequence of augmented data frames is determined by interpolating the scene using consecutive sensor data frames in such a way that the scene of the respective augmented data frame is opposite to the scene of the corresponding sensor data frame is shifted in time in order to generate a temporal jitter in the temporal sequence of augmented data frames. A temporal jitter can be understood as a temporal fluctuation and/or a temporal fluctuation corresponding to a signal that is noisy in relation to the sampling frequency. According to this aspect of the method, the generation of a temporal sequence of augmented data frames is combined with additional noise in the sampling frequency, or temporal jitter.
Dadurch können zeitliche Ungenauigkeiten wie sie bei der Aufnahme von Sensordaten auftreten, wie z.B. variable Belichtungszeiten von Kamerabildern, abgebildet und entsprechend mit der zeitlichen Sequenz augmentierter Daten- Frames simuliert werden. Ein entsprechend augmentierter Datensatz kann somit dazu beitragen, dass Perzeptions-, Prädiktions- oder Planungsverfahren robuster gegenüber einem solchen zeitlichen Jitter werden. As a result, temporal inaccuracies that occur when sensor data is recorded, such as variable exposure times of camera images, can be mapped and correspondingly simulated with the temporal sequence of augmented data frames. A correspondingly augmented data set can thus contribute to perception, prediction or planning methods becoming more robust in relation to such a temporal jitter.
Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten-Frames die folgenden Schritte aufweist:According to one aspect, it is proposed that the method for generating a temporal sequence of augmented data frames has the following steps:
In einem Schritt wird zumindest ein erstes Objekt in der jeweiligen Szene von aufeinanderfolgenden Sensor-Daten-Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor-Daten-Frames, identifiziert. In einem weiteren Schritt wird zumindest ein zweites Objekt in der jeweiligen Szene von aufeinanderfolgenden Sensor-Daten-Frames, zumindest des Teils der zeitlichen Sequenz von Sensor-Daten- Frames, identifiziert. In einem weiteren Schritt wird zumindest ein augmentiertes Daten- Frame der zeitlichen Sequenz augmentierter Daten-Frames bestimmt, wobei die Interpolation für das zumindest erste Objekt der Szene verschieden von der Interpolation des zumindest zweiten Objekts der Szene ist. In one step, at least a first object is identified in the respective scene from consecutive sensor data frames, at least part of the temporal sequence of sensor data frames. In a further step, at least one second object is identified in the respective scene of consecutive sensor data frames, at least of the part of the temporal sequence of sensor data frames. In a further step, at least one augmented data frame of the temporal sequence of augmented data frames is determined, with the interpolation for the at least first object in the scene being different from the interpolation of the at least second object in the scene.
Dabei kann das erste Objekt und/oder das zweite Objekt sowohl ein statisches Objekt als auch ein dynamisches Objekt der jeweiligen Szene betreffen. Beispielsweise ist es dadurch vorteilhafterweise möglich, augmentierte Daten-Frames zu interpolieren, in denen zwei dynamische Objekte der Szene im Vergleich mit den Sensor-Daten- Frames jeweils verschiedene Geschwindigkeiten aufweisen. In this case, the first object and/or the second object can relate both to a static object and to a dynamic object of the respective scene. For example, this advantageously makes it possible to interpolate augmented data frames in which two dynamic objects of the scene each have different speeds in comparison with the sensor data frames.
Denn wenn die Interpolation der jeweiligen Szene ausgehend von dem jeweiligen Sensor-Daten-Frame für das gesamte Daten-Frame gleich durchgeführt wird, ergibt sich für alle Objekte der Szene die gleiche Änderung der Geschwindigkeit. This is because if the interpolation of the respective scene is carried out in the same way for the entire data frame, starting from the respective sensor data frame, the same change in speed results for all objects in the scene.
Mit diesem Aspekt des Verfahrens können die Geschwindigkeiten der Verkehrsteilnehmer bzw. der dynamische Objekte unabhängig voneinander verändert werden. D. h. die Geschwindigkeiten der dynamischen Objekte können objekt spezifisch bestimmt werden. With this aspect of the method, the speeds of the road users or the dynamic objects can be changed independently of one another. i.e. the speeds of the dynamic objects can be determined object-specifically.
Gemäß einem Aspekt wird vorgeschlagen, dass die Interpolation zum Bestimmen des zumindest einen augmentierten Daten-Frames für das zumindest erste Objekt und/oder für das zweite Objekt abhängig von einer Veränderung einer Position eines Egofahrzeugs in der Szene ist, dessen Sensorsystem die zeitliche Sequenz der Sensor- Daten- Frames bereitstellt. According to one aspect it is proposed that the interpolation for determining the at least one augmented data frame for the at least first object and/or for the second object is dependent on a change in a position of an ego vehicle in the scene, the sensor system of which provides the temporal sequence of the sensor data frames.
Dabei kann das Egofahrzeugs als eine mobile Plattform angesehen werden, die das Sensorsystem aufweist, dass die zeitliche Sequenz von Sensor- Daten- Frames generiert und bereitstellt. Für statische Objekte ist die Berücksichtigung der Veränderung der Position des Egofahrzeugs, entsprechend der bekannten Eigenbewegung des Egofahrzeugs in Form einer Verschiebung bzw. Translation und einer Rotation, ausreichend für die Bestimmung des augmentierten Daten- Frames. Für dynamische Objekte müssen zusätzlich Trajektorien der jeweiligen dynamischen Objekte berücksichtigt werden. The ego vehicle can be viewed as a mobile platform that has the sensor system that generates and provides the temporal sequence of sensor data frames. For static objects, taking into account the change in the position of the host vehicle, corresponding to the known movement of the host vehicle in the form of a displacement or translation and a rotation, is sufficient for determining the augmented data frame. For dynamic objects, trajectories of the respective dynamic objects must also be taken into account.
Gemäß einem Aspekt wird vorgeschlagen, dass zumindest ein Objekt als dynamisches Objekt basierend auf einem Label für die Interpolation bestimmt wird, das dem Objekt in der jeweiligen Szene zugeordnet ist. According to one aspect it is proposed that at least one object is determined as a dynamic object based on a label for the interpolation which is assigned to the object in the respective scene.
Dabei kann das jeweilige Label einem jeweiligen Frame mit beispielsweise einer Liste von Objekten für ein Frame zugeordnet sein. Das bedeutet das eine Menge von Rohdatenpunkten, die in einen Quader (Bounding Box) fallen, dem jeweiligen Objekt, mittels der Objektliste, zugeordnet werden können. In this case, the respective label can be assigned to a respective frame with, for example, a list of objects for a frame. This means that a number of raw data points that fall into a cuboid (bounding box) can be assigned to the respective object using the object list.
Gemäß einem Aspekt wird vorgeschlagen, dass zumindest ein Objekt als dynamisches Objekt, basierend auf einer automatischen Bestimmung dynamischer Bereiche der Szene, für die Interpolation bestimmt wird. According to one aspect it is proposed that at least one object is determined as a dynamic object for the interpolation, based on an automatic determination of dynamic areas of the scene.
Mit anderen Worten bedeutet das, dass eine Aufteilung der Objekte in statische und dynamische Objekte bzw. Rohsensordaten, die einem statischen bzw. einem dynamischen Objekt zugeordnet werden können, über Label, die beispielsweise einer Bounding Box zugeordnet werden, den Rohsensordaten, die in diese Bounding Box fallen, zugeordnet werden können. In other words, this means that a division of the objects into static and dynamic objects or raw sensor data, which can be assigned to a static or a dynamic object, via labels that are assigned to a bounding box, for example, the raw sensor data that can be assigned to this bounding Box fall, can be assigned.
Datensätze von zeitlichen Sequenzen von Sensor- Daten- Frames weisen typischerweise neben den Sensordaten auch Labels für andere Objekte wie beispielsweise Verkehrsteilnehmer, z.B. in Form von Bounding Boxen, als auch Informationen über das Aufnahmefahrzeug (Egofahrzeug), beispielsweise in Form von Geschwindigkeiten über CAN-Bus auf. Alternativ oder zusätzlich kann eine automatische Bestimmung dynamischer Bereiche bzw. dynamischer Objekte, beispielsweise mittels Fluss-Algorithmen die auf die Rohsensordaten, der jeweiligen Daten-Frames, angewendet werden, erfolgen. Gemäß einem Aspekt wird vorgeschlagen, dass zumindest ein augmentiertes Daten- Frame basierend auf einem interpolierten dynamischen Objekt und/oder interpolierten statischen Objekt generiert wird. Data sets of temporal sequences of sensor data frames typically have labels for other objects such as road users, e.g. in the form of bounding boxes, as well as information about the recording vehicle (host vehicle), e.g. in the form of speeds via CAN bus, in addition to the sensor data on. Alternatively or additionally, dynamic areas or dynamic objects can be determined automatically, for example by means of flow algorithms that are applied to the raw sensor data, the respective data frames. According to one aspect, it is proposed that at least one augmented data frame is generated based on an interpolated dynamic object and/or an interpolated static object.
Mit anderen Worten können neue augmentierte Daten- Frames durch Zusammenführen der statischen und dynamischen Objekte erzeugt werden. In other words, new augmented data frames can be created by merging the static and dynamic objects.
Solche neuen Frames können aus verschiedenen benachbarten Frames generiert bzw. interpoliert werden, z.B. kann der Zeitpunkt (N+0.3) aus Frame N durch “Vorwärtspropagation” um 0.3 erzeugt werden oder aus Frame (N+l) durch “Rückpropagation” um 0.7. Die Interpolationen können auch in beide Richtungen durchgeführt werden und anschließend können beide Ergebnisse gewichtet werden, um genauere Ergebnisse zu erhalten. Such new frames can be generated or interpolated from various neighboring frames, e.g. the point in time (N+0.3) can be generated from frame N by “forward propagation” by 0.3 or from frame (N+l) by “back propagation” by 0.7. The interpolations can also be performed in both directions and then both results can be weighted to get more accurate results.
Gemäß einem Aspekt wird vorgeschlagen, dass das Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten-Frames die folgenden Schritte aufweist: According to one aspect, it is proposed that the method for generating a temporal sequence of augmented data frames has the following steps:
In einem ersten Schritt wird eine Trajektorie für zumindest ein als dynamisch bestimmtes Objekt der Szene mittels der aufeinanderfolgenden Sensor- Daten- Frames bestimmt. In einem weiteren Schritt wird die Szene mit dem zumindest einen dynamisch bestimmten Objekts, basierend auf der Trajektorie für das zumindest eine dynamisch bestimmte Objekt interpoliert. In a first step, a trajectory for at least one object of the scene that is determined to be dynamic is determined using the successive sensor data frames. In a further step, the scene with the at least one dynamically determined object is interpolated based on the trajectory for the at least one dynamically determined object.
Alle oben genannten Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten-Frames können zusätzlich mit Einzel- Frame basierten Augmentierungsmethoden kombiniert werden, so dass die Kombination vorteilhaft für unsere Anwendungen, wie beispielsweise für ein Objekttracking oder für eine Trajektorienplanung, ist. Darüber hinaus können sie auf Sequenzdaten verschiedener Sensoren (z.B. Video, Radar, LI DAR) bzw. daraus abgeleiteter Repräsentationen angewandt werden. All of the methods mentioned above for generating a temporal sequence of augmented data frames can also be combined with single-frame-based augmentation methods, so that the combination is advantageous for our applications, such as object tracking or trajectory planning. In addition, they can be applied to sequence data from various sensors (e.g. video, radar, LIDAR) or representations derived from them.
Gemäß einem Aspekt wird vorgeschlagen, dass das zumindest eine als dynamisch bestimmte Objekt ein Egofahrzeug ist, dessen Sensorsystem die zeitliche Sequenz der Sensor- Daten- Frames bereitstellt und das Verfahren die folgenden Schritte aufweist: in einem Schritt wird eine fahrbare Trajektorie für das Egofahrzeug der Szene bestimmt.According to one aspect, it is proposed that the at least one object determined as dynamic is a host vehicle whose sensor system provides the temporal sequence of the sensor data frames and the method has the following steps: in one step, a drivable trajectory for the host vehicle of the scene definitely.
In einem weiteren Schritt wird die Szene mit dem Egofahrzeug, basierend auf der fahrbaren Trajektorie für das Egofahrzeug interpoliert. In a further step, the scene with the host vehicle is interpolated based on the drivable trajectory for the host vehicle.
Dabei kann eine fahrbare Trajektorie für das Egofahrzeug eine Trajektorie sein, die fahrzeugdynamisch möglich ist und/oder innerhalb der Trajektorien anderer Verkehrsteilnehmer einen für die Interpolation der Szene gewünschten Verlauf hat. Das bedeutet mit anderen Worten, dass dem Egofahrzeug jeweils andere Positionen zugeordnet werden, wodurch sich eine andere fahrbare Trajektorie ergibt. Dieses Verfahren ist besonders einfach, da die Rohsensordaten mit der fahrbaren Trajektorie des Egofahrzeugs transformiert werden können. D. h., dass das Egofahrzeug für jedes einzelne Daten-Frame auf die entsprechende Position der fahrbaren Trajektorie verschoben wird und die Rohsensordaten entsprechend transformiert werden, um ein augmentiertes Daten-Frame von einem Zeitpunkt N in ein augmentierten Daten-Frame zu einem Zeitpunkt N+l zu überführen. A drivable trajectory for the ego vehicle can be a trajectory that is dynamically possible in terms of vehicle dynamics and/or has a desired course for the interpolation of the scene within the trajectories of other road users. In other words, this means that different positions are assigned to the ego vehicle, resulting in a different drivable trajectory. This method is particularly simple since the raw sensor data can be transformed using the drivable trajectory of the host vehicle. This means that the host vehicle is shifted to the corresponding position of the drivable trajectory for each individual data frame and the raw sensor data is transformed accordingly in order to convert an augmented data frame from a point in time N into an augmented data frame at a point in time N +l to convert.
In Kombination mit einem Generieren einer zeitlichen Sequenz augmentierter Daten- Frames kann dem Egofahrzeugs eine neue fahrbare Trajektorie zugeordnet werden, sodass augmentierte Daten-Frames generiert werden, die einem mehrfachen Durchfahren des Egofahrzeugs auf unterschiedlichen fahrbaren Trajektorien durch die gleiche Szene entsprechen. In combination with generating a temporal sequence of augmented data frames, the ego vehicle can be assigned a new drivable trajectory, so that augmented data frames are generated which correspond to the ego vehicle driving through the same scene multiple times on different drivable trajectories.
Das entsprechende Verfahren kann auch für eine Simulation verschiedener Trajektorien anderer Verkehrsteilnehmer verwendet werden wie bei den Ausführungsbeispielen genau beschrieben wird. The corresponding method can also be used for simulating different trajectories of other road users, as is described in detail in the exemplary embodiments.
Entsprechend kann auch ein Objekt, das in einer Szene einer Sequenz von Sensor- Daten- Frames enthalten ist gegen ein anderes beliebiges gewünschtes Objekt ausgetauscht werden, um eine zeitliche Sequenz augmentierter Daten-Frames mit diesem gewünschten Objekt zu generieren. Correspondingly, an object contained in a scene of a sequence of sensor data frames can also be exchanged for any other desired object in order to generate a temporal sequence of augmented data frames with this desired object.
So kann beispielsweise ein vorausfahrendes dynamisches Objekt in Form eines PKWs mit einem vorausfahrenden LKW oder einem Fahrradfahrer ausgetauscht werden. Alternativ oder zusätzlich können neue Objekte, welche beliebigen Trajektorien folgen, in die Sequenz von augmentierten Daten-Frames eingebunden werden. Die neuen Objekte können aus anderen Sequenzen von Sensor- Daten- Frames abgeleitet werden, aus welchen die entsprechenden Sensordaten selektiert werden. Alternativ oder zusätzlich können mittels simulierter Sensordaten zusätzliche Objekte in die zeitliche Sequenz augmentierter Daten-Frames integriert werden. For example, a dynamic object driving ahead in the form of a car can be exchanged for a truck driving ahead or a cyclist. Alternatively or additionally, new objects that follow any trajectory can be integrated into the sequence of augmented data frames. The new objects can be derived from other sequences of sensor data frames, from which the corresponding sensor data are selected. Alternatively or additionally, additional objects can be integrated into the temporal sequence of augmented data frames using simulated sensor data.
Gemäß einem Aspekt wird vorgeschlagen, dass die zeitliche Sequenz von Sensor- Daten- Frames mittels eines Video-Systems und/oder eines RADAR-Systems und/oder eines LIDAR-Systems bereitgestellt wird. According to one aspect, it is proposed that the temporal sequence of sensor data frames be provided by means of a video system and/or a RADAR system and/or a LIDAR system.
Ein Video-System kann ein optisches Kamerasystem sein. Es wird eine Verwendung eines der oben beschriebenen Verfahren zur Verifikation und/oder Validation von Algorithmen und/oder Systemkomponenten für ein Fahrerassistenz-System und/oder ein System zum zumindest teilautomatisierten Fahren vorgeschlagen. A video system can be an optical camera system. Use of one of the methods described above for verification and/or validation of algorithms and/or system components for a driver assistance system and/or a system for at least partially automated driving is proposed.
Bei neuronalen Netzwerken kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neuronen haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. In neural networks, the signal at a connection of artificial neurons can be a real number, and the output of an artificial neuron is calculated by a non-linear function of the sum of its inputs. The connections of the artificial neurons typically have a weight that adjusts as learning progresses. Weight increases or decreases the strength of the signal on a connection. Artificial neurons can have a threshold such that a signal is only output if the total signal exceeds this threshold.
Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten. Typically, a large number of artificial neurons are combined in layers. Different layers may perform different types of transformations on their inputs. Signals travel from the first layer, the input layer, to the last layer, the output layer; possibly after going through the shifts several times.
Grundsätzlich bestehen neuronale Netze aus mindestens drei Schichten von Neuronen: einer Eingabe-Schicht, einer Zwischen-Schicht (hidden layer) und einer Ausgabe-Schicht. Das bedeutet, alle Neuronen des Netzwerks sind in Schichten eingeteilt, wobei ein Neuron einer Schicht immer mit allen Neuronen der nächsten Schicht verbunden ist. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sind. Ein tiefes neuronales Netz kann viele solcher Zwischen schichten aufweisen. Basically, neural networks consist of at least three layers of neurons: an input layer, an intermediate layer (hidden layer) and an output layer. This means that all neurons in the network are divided into layers, with a neuron in one layer always being connected to all neurons in the next layer. Except for the input layer, the different layers consist of neurons that are subject to a non-linear activation function and are connected to the neurons of the next layer. A deep neural network can have many such intermediate layers.
Solche neuronalen Netzwerke müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzwerks z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs- Daten in das Netz gegeben, und jedes Neuron gewichtet die Eingangs- Signale mit seinem Gewicht und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt- Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis der Fehler unter einer vorgegebenen Grenze liegt. Such neural networks must be trained for their specific task. Each neuron of the corresponding architecture of the neural network receives z. B. a random starting weight. Then the input data is fed into the network, and each neuron weights the input signals with its weight and passes the result on to the neurons of the next layer. The overall result is then made available at the output layer. The size of the error can be calculated, as well as the contribution each neuron made to that error, and then change the weight of each neuron in the direction that minimizes the error. Then done recursively Runs, re-measures the error, and adjusts the weights until the error is below a predetermined limit.
Es wird eine Daten-Vorrichtung vorgeschlagen, die eingerichtet ist, eines der oben beschriebenen Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames durchzuführen. A data device is proposed which is set up to carry out one of the methods described above for generating a temporal sequence of augmented data frames.
Es wird ein System zur Erfassung eines Umfeldes eines Sensorsystems vorgeschlagen, dass mit einer zeitlichen Sequenz augmentierter Daten- Frames trainiert wurde, das Umfeld des Sensorsystems zu erfassen, wobei die augmentierten Daten- Frames entsprechend einem der oben beschriebenen Verfahren generiert wurden. A system for capturing the surroundings of a sensor system is proposed that has been trained with a temporal sequence of augmented data frames to capture the surroundings of the sensor system, with the augmented data frames being generated in accordance with one of the methods described above.
Dadurch kann die Erfassung des Umfelds der mobilen Plattform mit geringerem wirtschaftlichen Aufwand mit hoher Qualität der Erfassung erfolgen. As a result, the environment of the mobile platform can be recorded with less economic effort and with high quality of the recording.
Es wird eine mobile Plattform vorgeschlagen, die das oben beschriebene System zur Erfassung des Umfelds eines Sensorsystems aufweist. A mobile platform is proposed which has the system described above for detecting the surroundings of a sensor system.
Dadurch kann die Erfassung des Umfelds der mobilen Plattform mit geringerem wirtschaftlichen Aufwand mit hoher Qualität der Erfassung erfolgen. As a result, the environment of the mobile platform can be recorded with less economic effort and with high quality of the recording.
Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenz systeme. Weitere Beispiele für mobile Plattformen können Fahrerassistenz systeme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher sein. A mobile platform can be understood to mean an at least partially automated system that is mobile and/or a driver assistance system. An example can be an at least partially automated vehicle or a vehicle with a driver assistance system. That is, in this context, an at least partially automated system includes a mobile platform in terms of at least partially automated functionality, but a mobile platform also includes vehicles and other mobile machines including driver assistance systems. Other examples of mobile platforms can be driver assistance systems with multiple sensors, mobile multi-sensor robots such as robot vacuum cleaners or lawn mowers.
Das beschriebene Verfahren zur Erfassung eines Umfelds eines ersten Sensorsystems kann für mobile Plattformen und/oder auch für Multisensor- Überwachungssysteme und/oder eine Fertigungsmaschine und/oder einen persönlichen Assistenten und/oder ein Zugangskontrollsystem verwendet werden. The method described for detecting an environment of a first sensor system can be used for mobile platforms and/or also for multi-sensor monitoring systems and/or a production machine and/or a personal assistant and/or an access control system.
Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein. Es wird ein Computerprogramm vorgeschlagen, dass Befehle aufweist, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Mittels eines solchen Computerprogramms können die oben beschriebenen Verfahren auf eine einfache Art und Weise zum Beispiel einer mobilen Plattform verfügbar gemacht werden. Each of these systems can be a fully or partially automated system. A computer program is proposed which has instructions which, when the computer program is executed by a computer, cause the latter to execute one of the methods described above. Using such a computer program, the methods described above can be made available in a simple manner, for example on a mobile platform.
Es wird ein maschinenlesbares Speichermedium vorgeschlagen, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel. A machine-readable storage medium is proposed, on which the computer program described above is stored. The computer program described above can be transported by means of such a machine-readable storage medium.
Es wird ein neuronales Netzwerk vorgeschlagen, das mit einer der oben beschriebenen zeitlichen Sequenzen augmentierter Daten- Frames trainiert ist. A neural network is proposed that is trained with one of the temporal sequences of augmented data frames described above.
Ausführungsbeispiele exemplary embodiments
Ausführungsbeispiele der Erfindung werden mit Bezug auf die Figuren 1 bis 9 dargestellt und im Folgenden näher erläutert. Es zeigen: Exemplary embodiments of the invention are illustrated with reference to FIGS. 1 to 9 and explained in more detail below. Show it:
Figur 1 eine Skizze einer zeitlichen Sequenz von Sensor-Daten- Frames und daraus interpolierte zeitliche Sequenzen augmentierter Daten- Frames indem nur jedes n-te Frame der Originalsequenz in die neue Sequenz übernommen wird; FIG. 1 shows a sketch of a chronological sequence of sensor data frames and chronological sequences of augmented data frames interpolated therefrom by only taking over every nth frame of the original sequence in the new sequence;
Figur 2 eine Skizze einer zeitlichen Sequenz von Sensor-Daten- Frames und daraus interpolierte zeitliche Sequenzen augmentierter Daten- Frames zu anderen Abtastzeitpunkten; FIG. 2 shows a sketch of a time sequence of sensor data frames and time sequences of augmented data frames interpolated therefrom at other sampling times;
Figur 3 eine Skizze einer zeitlichen Sequenz von Sensor-Daten- Frames und daraus aus Repräsentationen interpolierte zeitliche Sequenzen augmentierter Daten- Frames; FIG. 3 shows a sketch of a time sequence of sensor data frames and time sequences of augmented data frames interpolated therefrom from representations;
Figur 4 eine Skizze einer zeitlichen Sequenz von Sensor-Daten- Frames und daraus interpolierte zeitliche Sequenzen augmentierter Daten- Frames zu anderen Abtastzeitpunkten, um einen zeitlichen Jitter zu generieren; Figur 5a eine Skizze eines Frames mit einer Szene aus statischen und dynamischen Objekten zu einem ersten Zeitpunkt; FIG. 4 shows a sketch of a time sequence of sensor data frames and time sequences of augmented data frames interpolated therefrom at other sampling times in order to generate a time jitter; FIG. 5a shows a sketch of a frame with a scene made up of static and dynamic objects at a first point in time;
Figur 5b eine Skizze eines Frames mit einer Szene aus statischen und dynamischen Objekten zu einem zweiten Zeitpunkt; FIG. 5b shows a sketch of a frame with a scene made up of static and dynamic objects at a second point in time;
Figur 6a eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug auf einer Trajektorie und statischen Objekten; FIG. 6a shows a sketch of a frame with a scene with a host vehicle on a trajectory and static objects;
Figur 6b eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, das einer Trajektorie folgt, und statischen Objekten; FIG. 6b shows a sketch of a frame with a scene with a host vehicle following a trajectory and static objects;
Figur 7a eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, und dynamischen Objekten, die einer Trajektorie folgen zu einem ersten Zeitpunkt; FIG. 7a shows a sketch of a frame with a scene with a host vehicle and dynamic objects that follow a trajectory at a first point in time;
Figur 7b eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, und dynamischen Objekten, die einer Trajektorie folgen zu einem zweiten Zeitpunkt; FIG. 7b shows a sketch of a frame with a scene with a host vehicle and dynamic objects that follow a trajectory at a second point in time;
Figur 8a eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, das einer Trajektorie folgt, und dynamischen Objekten; FIG. 8a shows a sketch of a frame with a scene with a host vehicle following a trajectory and dynamic objects;
Figur 8b eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, das einer fahrbaren Trajektorie folgt, und dynamischen Objekten; FIG. 8b shows a sketch of a frame with a scene with a host vehicle that follows a drivable trajectory and dynamic objects;
Figur 9a eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, das einer Ego-Trajektorie folgt, und einem dynamischen Objekt, dass einer Objekt-Trajektorie folgt; und FIG. 9a shows a sketch of a frame with a scene with an ego vehicle that follows an ego trajectory and a dynamic object that follows an object trajectory; and
Figur 9b eine Skizze eines Frames mit einer Szene mit einem Egofahrzeug, das einer Ego-Trajektorie folgt, und einem dynamischen Objekt, dass einer fahrbaren Objekt-Trajektorie folgt. Die Figur 1 a) bis d) zeigen schematisch eine zeitliche Sequenz von Sensor-FIG. 9b shows a sketch of a frame with a scene with an ego vehicle that follows an ego trajectory and a dynamic object that follows a drivable object trajectory. Figure 1 a) to d) show schematically a temporal sequence of sensor
Daten- Frames 102 und daraus interpolierte neue zeitliche Sequenzen augmentierter Daten- Frames 100 indem nur jedes n-te Frame der Originalsequenz in die neue Sequenz übernommen wird. Die Figur 2 skizziert eine zeitlichen Sequenz von Sensor- Daten- Frames 102 und daraus interpolierte zeitliche Sequenzen augmentierter Daten- Frames 210, 220. Die zeitliche Sequenz von augmentierten Daten- Frames 210 mit den Frames 210a bis 210d wird aus den Elementen 102a a bis 102c der zeitlichen Sequenz von Sensor- Daten- Frames 102 durch Interpolation gebildet. Dabei ist skizziert, dass in diesem Fall die Anzahl der Frames in der zeitlichen Sequenz von augmentierten Daten- Frames 210 größer ist als die Anzahl der Frames in der zeitlichen Sequenz von Sensor- Daten- Frames 102. Data frames 102 and new temporal sequences of augmented data frames 100 interpolated from them by only taking over every nth frame of the original sequence in the new sequence. 2 outlines a temporal sequence of sensor data frames 102 and temporal sequences of augmented data frames 210, 220 interpolated therefrom the temporal sequence of sensor data frames 102 formed by interpolation. It is outlined that in this case the number of frames in the temporal sequence of augmented data frames 210 is greater than the number of frames in the temporal sequence of sensor data frames 102.
Die zeitliche Sequenz von augmentierten Daten- Frames 220 mit den Frames 220a bis 220b wird aus den Elementen 102a a bis 102c der zeitlichen Sequenz von Sensor- Daten- Frames 102 durch Interpolation gebildet. Dabei ist skizziert, dass in diesem Fall die Anzahl der Frames in der zeitlichen Sequenz von augmentierten Daten- Frames 220 kleiner ist als die Anzahl der Frames in der zeitlichen Sequenz von Sensor- Daten- Frames 102. The temporal sequence of augmented data frames 220 with the frames 220a to 220b is formed from the elements 102a to 102c of the temporal sequence of sensor data frames 102 by interpolation. It is outlined that in this case the number of frames in the temporal sequence of augmented data frames 220 is smaller than the number of frames in the temporal sequence of sensor data frames 102.
Darüber hinaus können sich die zugeordneten Zeitpunkte für die jeweiligen Frames der augmentierten Daten- Frames 210, 220 von den zugeordneten Zeitpunkten der Frames der zeitlichen Sequenz von Sensor- Daten- Frames 102 unterscheiden. In addition, the assigned times for the respective frames of the augmented data frames 210, 220 can differ from the assigned times of the frames of the temporal sequence of sensor data frames 102.
Die Figur 3 skizziert eine zeitliche Sequenz von Sensor- Daten- Frames 102 und eine daraus interpolierte zeitliche Sequenzen augmentierter Daten- Frames 300. Dabei wird aus den Elementen 102a a bis 102c der zeitlichen Sequenz von Sensor- Daten- Frames 102 erst eine Sequenz von Repräsentationen der Rohsensordaten des Sensorsystems 302 mit den Elementen 302a bis 302c gebildet, bevor aus der Sequenz von Repräsentationen der Rohsensordaten des Sensorsystems 302 die zeitliche Sequenz von augmentierten Daten- Frames 300 mit den Elementen 300a und 300b durch Interpolation gebildet wird. FIG. 3 outlines a temporal sequence of sensor data frames 102 and a temporal sequence of augmented data frames 300 interpolated therefrom. The elements 102a to 102c of the temporal sequence of sensor data frames 102 first become a sequence of representations of the raw sensor data of the sensor system 302 with the elements 302a to 302c before the temporal sequence of augmented data frames 300 with the elements 300a and 300b is formed by interpolation from the sequence of representations of the raw sensor data of the sensor system 302.
Auch hier unterscheidet sich die Anzahl der Elemente der augmentierten Daten- Frames 300 von der Anzahl der Frames der zeitlichen Sequenz von Sensor- Daten- Frames 102. Eine solche Repräsentation der Rohsensordaten des Sensorsystems kann beispielsweise ein Belegungsgitter sein. Here, too, the number of elements in the augmented data frames 300 differs from the number of frames in the temporal sequence of sensor data frames 102. Such a representation of the raw sensor data of the sensor system can be an occupancy grid, for example.
Die Figur 4 skizziert eine zeitliche Sequenz von Sensor- Daten- Frames 102 und eine daraus interpolierte zeitliche Sequenz augmentierter Daten- Frames 400 mit den Elementen 400a und 400b, wobei die augmentierten Daten- Frames 400a, 400b der zeitlichen Sequenz augmentierter Daten-Frames 400 bestimmt werden, indem die Szene so mittels aufeinanderfolgender Sensor- Daten- Frames interpoliert wird, dass die Szene des jeweiligen augmentierten Daten-Frames 400a, 400b gegenüber der Szene des korrespondierenden Sensordaten- Frames 102a bis 102c zeitlich verschoben ist, um einen zeitlichen Jitter 410,420 in der zeitlichen Sequenz augmentierter Daten- Frames 400 zu generieren. 4 outlines a temporal sequence of sensor data frames 102 and a temporal sequence of augmented data frames 400 interpolated therefrom with the elements 400a and 400b, the augmented data frames 400a, 400b of the Temporal sequence of augmented data frames 400 are determined by interpolating the scene using successive sensor data frames in such a way that the scene of the respective augmented data frame 400a, 400b is shifted in time relative to the scene of the corresponding sensor data frame 102a to 102c to generate a temporal jitter 410,420 in the temporal sequence of augmented data frames 400.
Die Figur 5a skizziert ein Frame aus einer zeitlichen Sequenz von Sensor-Daten- Frames 102 mit einer Szene aus statischen 530, 540, 550 und dynamischen Objekten 500a, 510a, 520a zu einem ersten Zeitpunkt, wobei das dynamische Objekt 500a ein Egofahrzeug auf einer Trajektorie 502 darstellt. Die schwarzen Punkte können als Rohsensordaten, beispielsweise eines LIDAR-Systems der zeitlichen Sequenz von Sensor- Daten- Frames 102 verstanden werden, die mittels einer Objekterkennung als Label Rechtecken entsprechend jeweils einer Bounding Box für das jeweilige Objekt und gegebenenfalls eine Objekt-ID zugeordnet wurden. Darüber hinaus sind dem Egofahrzeug 500a Attribute zugeordnet wie beispielsweise eine Geschwindigkeit des Egofahrzeugs. Dabei bezieht sich die Trajektorie 502 des Egofahrzeugs sowohl auf einen bereits abgefahrenen Teil und einem zukünftigen Teil. FIG. 5a sketches a frame from a temporal sequence of sensor data frames 102 with a scene of static objects 530, 540, 550 and dynamic objects 500a, 510a, 520a at a first point in time, the dynamic object 500a being a host vehicle on a trajectory 502 represents. The black dots can be understood as raw sensor data, for example of a LIDAR system of the temporal sequence of sensor data frames 102, which were assigned by means of object recognition as label rectangles corresponding to a bounding box for the respective object and possibly an object ID. In addition, attributes such as a speed of the host vehicle are assigned to the host vehicle 500a. The trajectory 502 of the ego vehicle relates both to a part that has already been traveled and to a future part.
Die Figur 5b entspricht der Figur 5a und skizziert ein Frame aus einer zeitlichen Sequenz von Sensor- Daten- Frames 102 mit einer Szene aus statischen 530,FIG. 5b corresponds to FIG. 5a and sketches a frame from a temporal sequence of sensor data frames 102 with a scene from static 530,
540, 550 und dynamischen Objekten 500a, 510a, 520a (gestrichelt gezeichnet) zu einem ersten und einem zweiten Zeitpunkt, wobei das dynamische Objekt 500a, 500b ein Egofahrzeug auf einer Trajektorie 502 zu den beiden Zeitpunkten darstellt. Zusätzlich sind in der Figur 5b die relativen Positionen der dynamischen Objekte 510b, 520b zu dem zweiten Zeitpunkt eingezeichnet. 540, 550 and dynamic objects 500a, 510a, 520a (drawn in dashed lines) at a first and a second point in time, the dynamic object 500a, 500b representing a host vehicle on a trajectory 502 at the two points in time. In addition, the relative positions of the dynamic objects 510b, 520b at the second time are shown in FIG. 5b.
Solche Frames aus einer zeitlichen Sequenz von Sensor- Daten- Frames 102 stellen den Ausgangspunkt für die Interpolation zeitlicher Sequenzen augmentierter Daten-Frames dar, wie schon oben erläutert wurde. Such frames from a temporal sequence of sensor data frames 102 represent the starting point for the interpolation of temporal sequences of augmented data frames, as has already been explained above.
Die Figur 6a skizziert ein augmentiertes Daten-Frame mit einer Szene mit einem Egofahrzeug 600a auf einer Trajektorie 502 und statischen Objekten 530, 540,FIG. 6a sketches an augmented data frame with a scene with a host vehicle 600a on a trajectory 502 and static objects 530, 540,
550 zu einem ersten Zeitpunkt N, das durch aufeinanderfolgende Sensor-Daten- Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor- Daten- Frames bestimmt wurde, wie es oben beschrieben wurde. Die Figur 6b skizziert ein augmentiertes Daten-Frame mit einer Szene mit einem Egofahrzeug 600a auf einer Trajektorie 502 und statischen Objekten 530, 540, 550 zu einem zweiten Zeitpunkt N+l, das durch aufeinanderfolgende Sensor- Daten-Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor-Daten- Frames bestimmt wurde, wie es oben beschrieben wurde. 550 at a first point in time N, which was determined by consecutive sensor data frames, at least part of the temporal sequence of sensor data frames, as described above. Figure 6b outlines an augmented data frame with a scene with a host vehicle 600a on a trajectory 502 and static objects 530, 540, 550 at a second point in time N+l, which is determined by successive sensor data frames, at least part of the time Sequence of sensor data frames was determined as described above.
Dabei kann die Interpolation der Rohsensordaten des Sensorsystems getrennt für statische und dynamische Objekte erfolgen. Dabei kann die Aufteilung in statische und dynamische Rohsensordaten sowohl über Labels, d.h. eine Zuordnung von Rohsensordaten zu z.B. einer Bounding Box erfolgen und/oder durch eine automatische Bestimmung dynamischer Bereiche, was beispielsweise über Fluss-Algorithmen, die auf die Rohsensordaten angewendet werden, erfolgen kann. Dabei ist im Vergleich der Figur 6a und 6b zu erkennen, dass für statische Objekte lediglich Rohsensordaten entsprechend der bestimmten und bekannten Eigenbewegung des Egofahrzeugs verschoben und rotiert werden müssen. The interpolation of the raw sensor data of the sensor system can be done separately for static and dynamic objects. The division into static and dynamic raw sensor data can take place both via labels, i.e. an assignment of raw sensor data to a bounding box, for example, and/or through an automatic determination of dynamic ranges, which can be done, for example, via flow algorithms that are applied to the raw sensor data . A comparison of FIGS. 6a and 6b shows that for static objects only raw sensor data has to be shifted and rotated according to the determined and known movement of the host vehicle.
Die Figur 7a skizziert ein augmentiertes Daten-Frame mit einer Szene mit einem Egofahrzeug 700a und einem ersten dynamischen Objekt 710a auf einer Trajektorie 710 zu einem ersten Zeitpunkt N und 710b zu einem zweiten Zeitpunkt N+l, sowie einem zweiten dynamischen Objekt 720a auf einer Trajektorie 720 zu einem ersten Zeitpunkt N und 720b zu einem zweiten Zeitpunkt N+l. FIG. 7a outlines an augmented data frame with a scene with a host vehicle 700a and a first dynamic object 710a on a trajectory 710 at a first point in time N and 710b at a second point in time N+1, and a second dynamic object 720a on a trajectory 720 at a first point in time N and 720b at a second point in time N+1.
Die Figur 7b skizziert ein augmentiertes Daten-Frame mit einer Szene entsprechend der Figur 7a. Dabei ist zusätzlich eine Eigenbewegung des Egofahrzeugs 700a zu einem ersten Zeitpunkt und 700b zu einem zweiten Zeitpunkt skizziert. FIG. 7b outlines an augmented data frame with a scene corresponding to FIG. 7a. A movement of the host vehicle 700a at a first point in time and 700b at a second point in time is also sketched.
Darüber hinaus skizziert die Figur 7b, dass das erste dynamische Objekt 710a, 710b zu den zwei Zeitpunkten und das zweite dynamische Objekt 720a, 720b zu den zwei Zeitpunkten auch einer Position in der Szene zu einem Zwischenzeitpunkt 710c bzw. 720c interpoliert werden kann. In addition, FIG. 7b outlines that the first dynamic object 710a, 710b at the two points in time and the second dynamic object 720a, 720b at the two points in time can also be interpolated to a position in the scene at an intermediate point in time 710c or 720c.
Mit anderen Worten müssen statische Rohsensordaten lediglich entsprechend der bekannten Eigenbewegung des Egofahrzeugs 700a, 700b verschoben und rotiert werden. Für dynamische Objekte 710a bis 710c können mit Hilfe der Labels Trajektorien durch aufeinanderfolgende Sensor- Daten- Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor- Daten- Frames konstruiert werden und die Verschiebung der Rohsensordaten entsprechend der Trajektorien erfolgen, die gegebenenfalls mit der Bewegung des Egofahrzeugs kompensiert werden müssen. Neue Frames können letztlich durch Zusammenführen der statischen und dynamischen Teile erzeugt werden. In other words, static raw sensor data only has to be shifted and rotated according to the known own movement of the host vehicle 700a, 700b. For dynamic objects 710a to 710c, the labels can be used to construct trajectories through consecutive sensor data frames, at least part of the temporal sequence of sensor data frames, and the raw sensor data can be shifted according to the trajectories, which may be associated with the movement of the Ego vehicle compensated Need to become. New frames can ultimately be created by merging the static and dynamic parts.
Solche augmentierten Daten- Frames können aus verschiedenen benachbarten Sensor- Daten- Frames erzeugt bzw. interpoliert werden, z.B. kann der Zeitpunkt (N+0.3) aus Frame N durch “Vorwärtspropagation” um 0.3 erzeugt werden oder aus Frame (N+l) durch “Rückpropagation” um 0.7 Die Interpolationen können auch in beide Richtungen durchgeführt werden und anschließend können beide Ergebnisse gewichtet werden, um genauere Ergebnisse zu erhalten. Such augmented data frames can be generated or interpolated from various neighboring sensor data frames, e.g. the point in time (N+0.3) can be generated from frame N by “forward propagation” by 0.3 or from frame (N+1) by “ Backpropagation” by 0.7 The interpolations can also be performed in both directions and then both results can be weighted to get more accurate results.
Die Figur 8a entspricht der Figur 5a und skizziert ein Frame aus einer zeitlichen Sequenz von Sensor- Daten- Frames 102 mit einer Szene aus statischen 530, 540, 550 und dynamischen Objekten 800a, 810a, 820a zu einem ersten Zeitpunkt, wobei das dynamische Objekt 800a ein Egofahrzeug auf einer Trajektorie 802a darstellt. Die Trajektorie 802a des Egofahrzeugs bezieht sich dabei sowohl auf einen bereits abgefahrenen Teil und einen zukünftigen Teil. 8a corresponds to FIG. 5a and outlines a frame from a temporal sequence of sensor data frames 102 with a scene of static 530, 540, 550 and dynamic objects 800a, 810a, 820a at a first point in time, the dynamic object 800a represents a host vehicle on a trajectory 802a. The trajectory 802a of the ego vehicle relates both to a part that has already been traveled and to a future part.
Basierend auf der Figur 8a skizziert die Figur 8b wie das Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten-Frames mit Methoden zur Single-Frame Augmentierung kombiniert werden kann, so dass diese Kombination vorteilhafterweise z.B. zum Objekttracking oder zur Trajektorienplanung angewendet werden kann. Based on FIG. 8a, FIG. 8b outlines how the method for generating a temporal sequence of augmented data frames can be combined with methods for single-frame augmentation, so that this combination can advantageously be used for object tracking or trajectory planning, for example.
Insbesondere können abweichend von der Trajektorie 802a des Egofahrzeugs 800a, die sich aus der zeitlichen Sequenz von Sensor- Daten- Frames ableitet, verschiedene fahrbare Trajektorien 802b des Egofahrzeugs, wie beispielsweise die Trajektorie 802b auf der das Egofahrzeug 800b zu einem anderen Zeitpunkt positioniert ist, in einer zeitlichen Sequenz augmentierter Daten-Frames simuliert werden, indem in jedem einzelnen augmentierten Daten-Frame die Rohsensordaten entsprechend der Position des Egofahrzeugs auf der neuen fahrbaren Trajektorie um das Ego- Fahrzeug rotiert bzw. verschoben werden.In particular, deviating from the trajectory 802a of the host vehicle 800a, which is derived from the temporal sequence of sensor data frames, different drivable trajectories 802b of the host vehicle, such as the trajectory 802b on which the host vehicle 800b is positioned at a different time, in a temporal sequence of augmented data frames are simulated by rotating or shifting the raw sensor data around the ego vehicle in each individual augmented data frame according to the position of the ego vehicle on the new drivable trajectory.
So können mit dieser Kombination der Verfahren mit einer generierten zeitlichen Sequenz augmentierter Daten-Frames komplett neue fahrbare Trajektorien des Egofahrzeugs simuliert werden, d.h. das Egofahrzeug 800b kann so mehrfach und unterschiedlich durch die gleiche Szene fahren. Dabei werden dann jeweils zeitliche Sequenzen augmentierter Daten-Frames generiert. With this combination of methods, completely new drivable trajectories of the ego vehicle can be simulated with a generated temporal sequence of augmented data frames, i.e. the ego vehicle 800b can drive through the same scene multiple times and differently. Time sequences of augmented data frames are then generated in each case.
Die Figur 9a entspricht der Figur 5a und skizziert ein Frame aus einer zeitlichen Sequenz von Sensor- Daten- Frames 102 mit einer Szene aus statischen 530, 540, 550 und dynamischen Objekten 900, 910a, 920a zu einem ersten Zeitpunkt, wobei das dynamische Objekt 900 ein Egofahrzeug auf einer Trajektorie 902 darstellt. Die Trajektorie 902 des Egofahrzeugs bezieht sich dabei sowohl auf einen bereits abgefahrenen Teil und einem zukünftigen Teil. Dabei befindet sich das dynamische Objekt 920a auf der Trajektorie 920c, die durch aufeinanderfolgende Sensor- Daten- Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor- Daten- Frames bestimmt werden kann. FIG. 9a corresponds to FIG. 5a and outlines a frame from a temporal sequence of sensor data frames 102 with a scene made up of static objects 530, 540, 550 and dynamic objects 900, 910a, 920a at a first time, wherein the dynamic object 900 represents a host vehicle on a trajectory 902 . The trajectory 902 of the ego vehicle relates both to a part that has already been traveled and to a future part. In this case, the dynamic object 920a is located on the trajectory 920c, which can be determined by successive sensor data frames, at least part of the temporal sequence of sensor data frames.
Basierend auf der Figur 9a skizziert die Figur 9b wie die Kombination des Verfahrens zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames mit Single- Frame Augmentierung entsprechend dem mit den Figuren 8a und 9a erläuterten Verfahren zur Simulation unterschiedlicher Trajektorien für das Egofahrzeug auf eine Trajektorie eines dynamischen Objekts angewendet werden kann. D. h. in Kombination mit einer zeitlichen Augmentierung lassen sich verschiedene Trajektorien der anderen Verkehrsteilnehmer simulieren. Based on FIG. 9a, FIG. 9b outlines how the combination of the method for generating a temporal sequence of augmented data frames with single-frame augmentation according to the method for simulating different trajectories for the host vehicle explained with FIGS. 8a and 9a on a trajectory of a dynamic Object can be applied. i.e. in combination with a temporal augmentation, different trajectories of the other road users can be simulated.
Entsprechend dem zu der Figur 8 erläuterten Verfahren, können abweichend von der Trajektorie 920c des dynamischen Objekts 920a, 920b, die sich aus der zeitlichen Sequenz von Sensor- Daten- Frames ableitet, verschiedene fahrbare Trajektorien 920d des dynamischen Objekts 920a, 920b, wie beispielsweise die Trajektorie 920d auf der das dynamische Objekt 920b zu einem anderen Zeitpunkt positioniert ist, in einer zeitlichen Sequenz augmentierter Daten- Frames simuliert werden, indem in jedem einzelnen augmentierten Daten-Frame die Rohsensordaten entsprechend der Position des dynamischen Objekts 920a, 920b auf der neuen fahrbaren Trajektorie 920d um das dynamische Objekt 920a, 920b rotiert bzw. verschoben werden. According to the method explained in relation to FIG. 8, different drivable trajectories 920d of the dynamic object 920a, 920b, such as the Trajectory 920d on which the dynamic object 920b is positioned at a different point in time can be simulated in a temporal sequence of augmented data frames by the raw sensor data corresponding to the position of the dynamic object 920a, 920b on the new drivable trajectory in each individual augmented data frame 920d can be rotated or shifted around the dynamic object 920a, 920b.
So können mit dieser Kombination der Verfahren mit einer generierten zeitlichen Sequenz augmentierter Daten- Frames komplett neue fahrbare Trajektorien des dynamischen Objekts 920a, 920b simuliert werden, d.h. das dynamische Objekt 920a, 920b kann so mehrfach und unterschiedlich durch die gleiche Szene fahren. Dabei werden dann jeweils zeitliche Sequenzen augmentierter Daten- Frames generiert. With this combination of methods, completely new drivable trajectories of the dynamic object 920a, 920b can be simulated with a generated temporal sequence of augmented data frames, i.e. the dynamic object 920a, 920b can drive through the same scene multiple times and differently. Time sequences of augmented data frames are then generated in each case.

Claims

Ansprüche Expectations
1. Verfahren zum Generieren einer zeitlichen Sequenz augmentierter Daten- Frames (100, 210, 220, 300, 400), mit den Schritten: 1. Method for generating a temporal sequence of augmented data frames (100, 210, 220, 300, 400), with the steps:
Bereitstellen einer zeitlichen Sequenz von Sensor- Daten- Frames (102), die von einem Sensorsystem generiert werden; Providing a temporal sequence of sensor data frames (102) which are generated by a sensor system;
Bestimmen zumindest eines augmentierten Daten- Frames mittels Interpolieren einer Szene, die durch aufeinanderfolgende Sensor- Daten- Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor- Daten- Frames (102), charakterisiert wird; und Generieren der zeitlichen Sequenz augmentierter Daten- Frames (100, 210,Determining at least one augmented data frame by interpolating a scene that is characterized by consecutive sensor data frames, at least part of the temporal sequence of sensor data frames (102); and generating the temporal sequence of augmented data frames (100, 210,
220, 300, 400), durch eine zu der zeitlichen Sequenz von Sensor- Daten- Frames (102) korrespondierende zeitliche Abfolge einer Vielzahl von bestimmten augmentierten Daten- Frames. 220, 300, 400), by a temporal sequence of a plurality of specific augmented data frames corresponding to the temporal sequence of sensor data frames (102).
2. Verfahren gemäß Anspruch 1, wobei die Szene durch Sensor- Daten- Frames (102a, 102b, 102c) mit Rohsensordaten des Sensorsystems und/oder mit einer Repräsentation (300a, 300b) der Rohsensordaten des Sensorsystems charakterisiert wird. 2. The method according to claim 1, wherein the scene is characterized by sensor data frames (102a, 102b, 102c) with raw sensor data of the sensor system and/or with a representation (300a, 300b) of the raw sensor data of the sensor system.
3. Verfahren gemäß Anspruch 2, wobei die Szene durch Sensor- Daten- Frames (102a, 102b, 102c) mit einem Belegungsgitter als Repräsentation der jeweiligen Rohsensordaten des Sensorsystems charakterisiert wird. 3. The method according to claim 2, wherein the scene is characterized by sensor data frames (102a, 102b, 102c) with an occupancy grid as a representation of the respective raw sensor data of the sensor system.
4. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei eine Mehrzahl von augmentierten Daten- Frames der zeitlichen Sequenz augmentierter Daten-Frames (100, 210, 220, 300, 400) bestimmt wird, indem die Szene so mittels aufeinanderfolgender Sensor- Daten- Frames interpoliert wird, dass die Szene des jeweiligen augmentierten Daten-Frames gegenüber der Szene des korrespondierenden Sensordaten- Frames zeitlich verschoben ist, um einen zeitlichen Jitter (410, 420) in der zeitlichen Sequenz augmentierter Daten-Frames (100, 210, 220, 300, 400) zu generieren. 4. The method according to any one of the preceding claims, wherein a plurality of augmented data frames of the temporal sequence of augmented data frames (100, 210, 220, 300, 400) is determined by interpolating the scene using consecutive sensor data frames that the scene of the respective augmented data frame is temporally shifted compared to the scene of the corresponding sensor data frame in order to avoid a temporal jitter (410, 420) in the temporal sequence of augmented data frames (100, 210, 220, 300, 400 ) to generate.
5. Verfahren gemäß einem der vorhergehenden Ansprüche, mit den Schritten: Identifizieren von zumindest einem ersten Objekt (500a, 510a, 520a, 530, 540, 550) in der jeweiligen Szene von aufeinanderfolgenden Sensor- Daten- Frames, zumindest eines Teils der zeitlichen Sequenz von Sensor- Daten- Frames; 5. The method according to any one of the preceding claims, with the steps: identifying at least one first object (500a, 510a, 520a, 530, 540, 550) in the respective scene from consecutive sensor data frames, at least part of the temporal sequence of sensor data frames;
Identifizieren von zumindest einem zweiten Objekt (500a, 510a, 520a, 530, 540, 550) in der jeweiligen Szene von aufeinanderfolgenden Sensor- Daten- Frames, zumindest des Teils der zeitlichen Sequenz von Sensor- Daten- Frames; identifying at least one second object (500a, 510a, 520a, 530, 540, 550) in the respective scene from consecutive sensor data frames, at least part of the temporal sequence of sensor data frames;
Bestimmen zumindest eines augmentierten Daten- Frames der zeitlichen Sequenz augmentierter Daten- Frames (100, 210, 220, 300, 400), wobei die Interpolation für das zumindest erste Objekt (500a, 510a, 520a, 530, 540, 550) der Szene verschieden von der Interpolation des zumindest zweiten Objekts (500a, 510a, 520a, 530, 540, 550) der Szene ist. Determining at least one augmented data frame of the temporal sequence of augmented data frames (100, 210, 220, 300, 400), the interpolation for the at least first object (500a, 510a, 520a, 530, 540, 550) of the scene being different from the interpolation of the at least second object (500a, 510a, 520a, 530, 540, 550) of the scene.
6. Verfahren gemäß Anspruch 5, wobei die Interpolation zum Bestimmen des zumindest einen augmentierten Daten- Frames für das zumindest erste Objekt (500a, 510a, 520a, 530, 540, 550) und/oder für das zweite Objekt (500a, 510a, 520a, 530,6. The method according to claim 5, wherein the interpolation for determining the at least one augmented data frame for the at least first object (500a, 510a, 520a, 530, 540, 550) and/or for the second object (500a, 510a, 520a , 530,
540, 550) abhängig von einer Veränderung einer Position eines Egofahrzeugs (500a, 600a, 700a, 800a) in der Szene ist, dessen Sensorsystem die zeitliche Sequenz der Sensor- Daten- Frames bereitstellt. 540, 550) is dependent on a change in a position of a host vehicle (500a, 600a, 700a, 800a) in the scene, whose sensor system provides the temporal sequence of the sensor data frames.
7. Verfahren gemäß Anspruch 5 oder 6, wobei zumindest ein Objekt (500a,7. The method according to claim 5 or 6, wherein at least one object (500a,
510a, 520a, 530, 540, 550) als dynamisches Objekt (500a, 510a, 520a) basierend auf einem Label für die Interpolation bestimmt wird, das dem Objekt (500a, 510a, 520a, 530, 540, 550) in der jeweiligen Szene zugeordnet ist. 510a, 520a, 530, 540, 550) as a dynamic object (500a, 510a, 520a) is determined based on a label for interpolation that corresponds to the object (500a, 510a, 520a, 530, 540, 550) in the respective scene assigned.
8. Verfahren gemäß einem der Ansprüche 5 bis 7, wobei zumindest eine Objekt (500a, 510a, 520a, 530, 540, 550) als dynamisches Objekt (500a, 510a, 520a), basierend auf einer automatischen Bestimmung dynamischer Bereiche der Szene, für die Interpolation bestimmt wird. 8. The method according to any one of claims 5 to 7, wherein at least one object (500a, 510a, 520a, 530, 540, 550) as a dynamic object (500a, 510a, 520a), based on an automatic determination of dynamic areas of the scene, for the interpolation is determined.
9. Verfahren gemäß einem der Ansprüche 7 bis 8, mit den Schritten: 9. The method according to any one of claims 7 to 8, with the steps:
Bestimmen einer Trajektorie für zumindest ein als dynamisch bestimmtesDetermining a trajectory for at least one determined to be dynamic
Objekt (500a, 510a, 520a) der Szene mittels der aufeinanderfolgenden Sensor- Daten- Frames; und object (500a, 510a, 520a) of the scene using the consecutive sensor data frames; and
Interpolieren der Szene mit dem zumindest einen dynamisch bestimmten Objekts (500a, 510a, 520a), basierend auf der Trajektorie für das zumindest eine dynamisch bestimmte Objekt (500a, 510a, 520a). interpolating the scene with the at least one dynamically determined object (500a, 510a, 520a) based on the trajectory for the at least one dynamically determined object (500a, 510a, 520a).
10. Verfahren gemäß Anspruch 9, wobei das zumindest eine als dynamisch bestimmte Objekt ein Egofahrzeug (500a, 600a, 700a, 800a) ist, dessen Sensorsystem die zeitliche Sequenz der Sensor- Daten- Frames (102) bereitstellt; und den Schritten: 10. The method according to claim 9, wherein the at least one object determined as dynamic is a host vehicle (500a, 600a, 700a, 800a) whose sensor system provides the temporal sequence of the sensor data frames (102); and the steps:
Bestimmen einer fahrbaren Trajektorie für das Egofahrzeug der Szene; und Interpolieren der Szene mit dem Egofahrzeug (500a, 600a, 700a, 800a), basierend auf der fahrbaren Trajektorie für das Egofahrzeug. determining a drivable trajectory for the scene's host vehicle; and interpolating the scene with the host vehicle (500a, 600a, 700a, 800a) based on the drivable trajectory for the host vehicle.
11. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die zeitliche Sequenz von Sensor- Daten- Frames (102) mittels eines Video-Systems und/oder eines RADAR-Systems und/oder eines LIDAR-Systems bereitgestellt wird. 11. The method according to any one of the preceding claims, wherein the temporal sequence of sensor data frames (102) is provided by means of a video system and/or a RADAR system and/or a LIDAR system.
12. Verwendung des Verfahrens gemäß einem der vorhergehenden Ansprüche, zur Verifikation und/oder Validation von Algorithmen und/oder Systemkomponenten für ein Fahrerassistenz-System und/oder ein System zum zumindest teilautomatisierten Fahren. 12. Use of the method according to one of the preceding claims for the verification and/or validation of algorithms and/or system components for a driver assistance system and/or a system for at least partially automated driving.
13. Daten-Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen. 13. Data device that is set up to carry out a method according to any one of claims 1 to 11.
14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen. 14. A computer program comprising instructions which, when the computer program is executed by a computer, cause the latter to execute the method according to any one of claims 1 to 11.
15. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist. 15. Machine-readable storage medium on which the computer program according to claim 14 is stored.
PCT/EP2021/082772 2020-11-25 2021-11-24 Method for generating a temporal sequence of augmented data frames WO2022112298A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020214766.3A DE102020214766A1 (en) 2020-11-25 2020-11-25 Method for generating a temporal sequence of augmented data frames
DE102020214766.3 2020-11-25

Publications (1)

Publication Number Publication Date
WO2022112298A1 true WO2022112298A1 (en) 2022-06-02

Family

ID=78822015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/082772 WO2022112298A1 (en) 2020-11-25 2021-11-24 Method for generating a temporal sequence of augmented data frames

Country Status (2)

Country Link
DE (1) DE102020214766A1 (en)
WO (1) WO2022112298A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2296106A1 (en) * 2009-09-02 2011-03-16 Autoliv Development AB A method of training and/or evaluating a vehicle safety algorithm
US8537278B1 (en) * 2007-02-26 2013-09-17 MotionDSP, Inc. Enhancing the resolution and quality of sequential digital images
CN110996171A (en) * 2019-12-12 2020-04-10 北京金山云网络技术有限公司 Training data generation method and device for video tasks and server
WO2020113160A2 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Radar deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537278B1 (en) * 2007-02-26 2013-09-17 MotionDSP, Inc. Enhancing the resolution and quality of sequential digital images
EP2296106A1 (en) * 2009-09-02 2011-03-16 Autoliv Development AB A method of training and/or evaluating a vehicle safety algorithm
WO2020113160A2 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Radar deep learning
CN110996171A (en) * 2019-12-12 2020-04-10 北京金山云网络技术有限公司 Training data generation method and device for video tasks and server

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAO YU ET AL: "Egocentric Vision-based Future Vehicle Localization for Intelligent Driving Assistance Systems", 2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 20 May 2019 (2019-05-20), pages 9711 - 9717, XP033594443, DOI: 10.1109/ICRA.2019.8794474 *
ZHAOTAO WU ET AL: "Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 31 January 2020 (2020-01-31), XP081589535 *

Also Published As

Publication number Publication date
DE102020214766A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
EP3765927B1 (en) Method for generating a training data record for training an artificial intelligence module for a control device of a vehicle
DE102016107705A1 (en) Reactive path planning for autonomous driving
DE102019205962A1 (en) Method for generating digital image pairs as training data for neural networks
EP3789926A1 (en) Method for detecting an adversarial fault in the input data of a neural network
DE102021002798A1 (en) Process for camera-based environment detection
WO2019110177A1 (en) Training and operating a machine learning system
WO2020048669A1 (en) Method for determining a lane change indication of a vehicle, computer-readable storage medium, and vehicle
EP3850536A1 (en) Analysis of dynamic spatial scenarios
WO2019206792A1 (en) Method and device for converting an input image of a first domain into an output image of a second domain
DE102018122374A1 (en) Method for determining a free space surrounding a motor vehicle, computer program product, free space determination device and motor vehicle
DE102020105192A1 (en) Method for detecting moving objects in a vehicle environment and motor vehicle
WO2022112298A1 (en) Method for generating a temporal sequence of augmented data frames
DE102019218349A1 (en) Method for classifying at least one ultrasonic echo from echo signals
DE102019213009A1 (en) Processing of radar signals with suppression of motion artifacts
DE102018216719A1 (en) Keyframe-based autonomous vehicle operation
EP4027245A1 (en) Computer-implemented method for determining similarities of traffic scenarios
DE202017105656U1 (en) Predictive measuring system, actuator control system and apparatus for operating the predictive measuring system and / or the actuator control system
WO2021078512A1 (en) Method for making a neural network more robust against adversarial disruptions
DE102020200875A1 (en) Method for providing sensor data by a sensor system of a vehicle
DE102019111608A1 (en) Method for determining the proper movement of a motor vehicle, electronic computing device and electronic vehicle guidance system
DE102019217952A1 (en) Method and device for providing a training data set for training an AI function on an unknown data domain
EP0814402A2 (en) Method for the design or for the adaption of a fuzzy controller, or a system of linked fuzzy controllers
DE102020208981A1 (en) Method for estimating the geometry of a movement path
EP4253188A1 (en) Adjustment of a detection of a rail on the basis of a registration of a rail model with a camera image
DE102022200353A1 (en) Method for generating data for training an object recognition method based on artificial intelligence

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21819801

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21819801

Country of ref document: EP

Kind code of ref document: A1