WO2021122338A1 - Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen - Google Patents

Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen Download PDF

Info

Publication number
WO2021122338A1
WO2021122338A1 PCT/EP2020/085650 EP2020085650W WO2021122338A1 WO 2021122338 A1 WO2021122338 A1 WO 2021122338A1 EP 2020085650 W EP2020085650 W EP 2020085650W WO 2021122338 A1 WO2021122338 A1 WO 2021122338A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor data
piece
sensors
replaced
quilting
Prior art date
Application number
PCT/EP2020/085650
Other languages
English (en)
French (fr)
Inventor
Peter Schlicht
Fabian HÜGER
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to EP20829547.7A priority Critical patent/EP4078238A1/de
Priority to CN202080085755.XA priority patent/CN114829978A/zh
Priority to US17/786,302 priority patent/US20230052885A1/en
Publication of WO2021122338A1 publication Critical patent/WO2021122338A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/023—Interference mitigation, e.g. reducing or avoiding non-intentional interference with other HF-transmitters, base station transmitters for mobile communication or other radar systems, e.g. using electro-magnetic interference [EMI] reduction techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/537—Counter-measures or counter-counter-measures, e.g. jamming, anti-jamming

Definitions

  • the invention relates to a method and a device for robustizing sensor data against adversarial disturbances.
  • the invention also relates to a method for operating an assistance system for a vehicle, an assistance system for a vehicle, and a computer program and a data carrier signal.
  • Machine learning for example based on neural networks, has great potential for use in modern driver assistance systems and automated vehicles.
  • Functions based on deep neural networks process sensor data (e.g. from cameras, radar or lidar sensors) in order to derive relevant information from it.
  • sensor data e.g. from cameras, radar or lidar sensors
  • This information includes, for example, a type and a position of objects in the surroundings of the motor vehicle, a behavior of the objects or a road geometry or topology.
  • CNN convolutional neural networks
  • CNN convolutional neural networks
  • CNN convolutional neural networks
  • input data e.g. image data
  • CNN convolutional neural networks
  • the convolution network independently develops feature maps based on filter channels that process the input data locally in order to derive local properties. These feature cards are then processed again by further filter channels, which derive more valuable feature cards from them.
  • the deep neural network On the basis of this information compressed from the input data, the deep neural network finally derives its decision and makes it available as output data.
  • the invention is based on the object of improving a method and a device for robustizing sensor data against adversarial interference, in particular with regard to the use of a plurality of sensors and sensor data fusion.
  • a method for robustizing sensor data against adversarial interference with sensor data being obtained from at least two sensors, the sensor data obtained from the at least two sensors being replaced piece by piece by means of quilting, the piece-by-piece replacement being carried out in such a way that each replaced Sensor data from different sensors are plausible to one another, and the sensor data replaced piece by piece are output.
  • a device for robustizing sensor data against adversarial disturbances comprising a computing device, the computing device being set up to receive sensor data from at least two sensors, to replace the sensor data obtained from the at least two sensors piece by piece by quilting, and piece by piece Carry out replacement in such a way that each replaced sensor data from different sensors are plausible to one another, and output the sensor data replaced piece by piece.
  • the method and the device make it possible, when using a plurality of sensors, that is to say at least two sensors, to robustize the sensor data provided by the plurality of sensors against adversarial disturbances.
  • the sensor data of the at least two sensors are replaced piece by piece by means of quilting.
  • the piece-by-piece replacement takes place in such a way that the piece-wise replaced sensor data (across sensors) are plausible to one another.
  • sensor data patches used for piece-by-piece replacement are selected in such a way that replaced sensor data of the at least two sensors that correspond to one another in terms of time and location are plausible to one another.
  • the sensor data that have been robustized in this way are then used For example, supplied as input data to a neural network, an adverse disturbance originally contained in the sensor data received has lost its effect without any semantic content in the sensor data being changed. Because plausibility is maintained between the sensor data of the at least two sensors, the piece-by-piece replacement does not change a contextual relationship, in particular a spatial and temporal relationship or a correlation, between the sensor data of the at least two sensors. This is particularly advantageous if sensor data fusion takes place after the method has been carried out.
  • Quilting includes in particular the piece-wise replacement of sensor data, which can also be referred to as piece-wise reconstruction of the sensor data (the term “image quilting” is also used in connection with image data).
  • the sensor data can in particular be of any type, that is, the quilting is not limited to two-dimensional image data.
  • a set of replaced sensor data forms a reconstruction data domain or is encompassed by a reconstruction data domain. If, for example, images from a camera are involved, the camera image is divided into several partial sections. Usually, small, rectangular sections of the image (also known as patches) are defined for this purpose.
  • the individual partial or image sections are compared with partial sections, hereinafter referred to as sensor data patches, which are stored, for example, in a database.
  • the sensor data patches can also be referred to as data blocks.
  • the sensor data patches here in particular form subsymbolic subsets of previously recorded sensor data of the same type, the sensor data definitely being free from adverse disturbances.
  • the comparison takes place on the basis of a distance measure which is defined, for example, via a Euclidean distance on image element vectors or sensor data vectors.
  • a partial or image section is linearized as a vector.
  • a distance is then determined using a vector space norm, for example the L2 norm.
  • the partial or image sections are each replaced by the closest or most similar sensor data patch from the database. It can be provided here that a minimum distance must be maintained or that at least no identity may exist between the partial section from the sensor data and the sensor data patch.
  • the piece-by-piece replacement takes place in an analogous manner.
  • the piece-by-piece replacement takes place in particular for all partial excerpts of the recorded sensor data, so that replaced or reconstructed sensor data are then available.
  • the piece by piece replacement that is, after quilting, there is an effect of the adversarial Disturbances in the replaced or reconstructed sensor data eliminated or at least reduced.
  • a “plausibility” of replaced sensor data should in particular mean that the replaced sensor data are physically plausible to one another. In particular, there should be a probability that the respectively replaced sensor data would also occur in the respectively selected combination under real conditions, i.e. in the real world,
  • the replaced sensor data of the at least two sensors should be selected in such a way that the probability that these sensor data would also actually occur in this combination is maximized. If, for example, the at least two sensors are a camera and a lidar sensor, then a plausibility between the respectively replaced sensor data means that a viewed image section in the replaced camera data and a spatially and temporally corresponding partial section from the replaced lidar data are selected in such a way that that the sensor data are consistent with one another, i.e. that they are physically free of contradictions to one another.
  • the at least two sensors are a camera and a lidar sensor
  • the partial sections of the sensor data are each replaced in such a way that each replaced image section corresponds to a replaced partial section of the lidar data, as this is very likely also when simultaneously capturing Sensor data of the camera and the lidar sensor would result.
  • the at least two sensors are in particular calibrated with respect to one another in terms of location and time, so that the sensor data of the at least two sensors correspond to one another in terms of location and time or have common reference points in time and location.
  • the sensor data of the at least two sensors can in principle be one-dimensional or multidimensional, in particular two-dimensional.
  • the sensor data can be two-dimensional camera images from a camera and two-dimensional or three-dimensional lidar data from a lidar sensor.
  • the sensor data can also come from other sensors, such as radar sensors or ultrasonic sensors, etc.
  • the sensor data obtained are, in particular, sensor data that are recorded and / or output for a function for the automated or partially automated driving of a vehicle and / or for perception of the surroundings.
  • a vehicle is in particular a motor vehicle. In principle, however, the vehicle can also be another land, air, water, rail or space vehicle, for example a drone or an air taxi.
  • An adversarial perturbation is, in particular, a deliberately made disruption of the input data of a neural network, for example provided in the form of sensor data, in which semantic content in the input data is not changed, but the disruption leads to the neuronal Network inferred an incorrect result, that is, for example, incorrectly classifies or incorrectly semantic segmentation of the input data.
  • a neural network is in particular a deep neural network, in particular a convolutional neural network (CNN).
  • the neural network is or is, for example, trained on a specific function, for example on a function of an assistance system of a vehicle, in particular for automated or partially automated driving and / or for perception of the surroundings, for example perception of pedestrians or other objects in captured camera images.
  • the method is in particular repeated cyclically, so that in particular continuously replaced sensor data can be provided for received sensor data of a sensor data stream.
  • the method can be carried out as a computer-implemented method.
  • the method can be carried out by means of a data processing device.
  • the data processing device comprises in particular at least one computing device and at least one storage device.
  • a computer program is also created, comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out the method steps of the disclosed method in accordance with any of the described embodiments.
  • a data carrier signal is also created that transmits the aforementioned computer program.
  • Parts of the device in particular the computing device, can be designed individually or collectively as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • the method includes the acquisition of the sensor data by means of the at least two sensors.
  • the sensor data replaced piece by piece are fed to at least one function for automated or partially automated driving of a vehicle and / or for perception of the surroundings.
  • the at least one function can be supplied with robustized sensor data, so that a functionality provided by the at least one function can also be provided in a more robust manner.
  • the sensor data that have been replaced piece by piece are fed to the at least one function and, based on the sensor data that has been replaced piece by piece, the at least one function generates, in particular, at least one control signal and / or an evaluation signal and provides this.
  • an output of the at least one function in the form of the at least one control signal and / or evaluation signal can thereby be generated and provided more reliably.
  • the at least one control signal and / or evaluation signal can be used, for example, to control or regulate an actuator system of the vehicle and / or can be further processed in the context of automated or partially automated driving, for example for trajectory planning.
  • the at least one function is in particular a function that is provided by means of a method of machine learning and / or artificial intelligence.
  • the at least one function can be provided by means of a trained artificial neural network.
  • a database with sensor data patches generated from sensor data of the at least two sensors is provided for quilting, the sensor data patches of the at least two sensors in the database being linked to one another in such a way that the respectively linked sensor data patches are plausible to one another.
  • the sensor data patches that are used to replace the sensor data of the at least two sensors piece by piece can be stored in the database, for example in the form of common database entries.
  • the sensor data patches for the at least two sensors can already be combined into vectors and stored in the database.
  • the sensors are, for example, a camera and a lidar sensor
  • the sensor data patches of the camera that is to say individual image excerpts that are used for replacement are combined to form common vectors with sensor data patches that correspond with them in a physically plausible manner, that is to say partial excerpts from lidar data.
  • the sensor data of the at least two sensors are then combined analogously to the stored vectors, so that a distance to the vectors stored in the database can be determined with the aid of a distance measure, for example the L2 standard.
  • the vector from the database that is closest to a vector to be replaced is used for replacement during quilting.
  • the database is created in particular on the basis of (previously independently of the disclosed method) acquired sensor data, the sensor data of the at least two sensors being acquired at the same time, the sensors being calibrated with respect to one another in terms of location and time.
  • trustworthy sensor data are used, that is to say sensor data in which there are definitely no adverse disturbances.
  • training data from a (deep) neural network can be used to which the (replacement) sensor data are to be supplied in an application phase.
  • the sensor data patches are generated from this trustworthy sensor data and stored in the database. If the at least two sensors are other types of sensors, the procedure is analogous.
  • a selection of sensor data patches used in quilting for the at least two sensors takes place as a function of the sensor data of only a part of the at least two sensors.
  • a selection of a sensor data patch for replacing sensor data of the at least two sensors takes place as a function of sensor data received from only one of the sensors.
  • the computing power required for searching can be reduced since, for example, a comparison with sensor data patches in the database only takes into account the sensor data of one sensor. If the sensor data patch is found with the smallest distance to the sensor data of the one sensor, the sensor data patches of the other of the at least two sensors can also be taken from the found sensor data patch without further search due to the existing link.
  • the comparison or the search for the closest sensor data patch can also take place on the basis of the lidar data, the associated image section being taken from the entries of the vector after the sensor data patch has been found. Overall, the comparison or the search in the database can be accelerated.
  • At least one item of identification information is obtained, the piece-wise replacement during quilting additionally taking into account the at least one identification information item received.
  • Identification information can also be referred to as a tag or label.
  • the entries in the database that is to say the sensor data patches stored therein, can be marked with additional information so that they can be found more quickly later.
  • the database is indexed with the aid of a hash function so that a search in the database can be accelerated, since a number of entries in the database can be reduced via a preselection even before a comparison with the sensor data of the at least two sensors.
  • the identification information obtained is or is derived from context information of an environment in which the sensor data of the at least two sensors are or have been recorded.
  • Context information can, for example, be a geographical coordinate (e.g. GPS coordinate), a time of day and / or season, a month, a weekday, weather (sun, rain, fog, snow, etc.) and / or a traffic context (city, country , Motorway, pedestrian zone, country road, main road, secondary road etc.).
  • sensor data patches can be marked (“Tagged”) with at least one context information must be stored in the database.
  • Tagged a preselection can be made before the search in the database, so that only entries or sensor data patches that partially or completely match the at least one identification information are considered during the search or have at least one context information. This means that the piece-by-piece replacement can be accelerated.
  • the piece-wise replacement of the received sensor data is carried out taking into account temporally and / or spatially adjacent sensor data of the at least two sensors.
  • a correlation between temporally and / or spatially adjacent sensor data can be taken into account in the case of piece-by-piece replacement.
  • individual image sections of the camera image usually have a high correlation with respect to their properties to (locally) adjacent image sections of the camera image. If a sequence of camera images is viewed, an image section of a camera image usually also has a high correlation in terms of properties with the same image section of a (temporally) adjacent camera image.
  • entries or sensor data patches stored in the database are marked with respect to a temporal and / or spatial proximity to one another.
  • the sensor data patches stored as entries in the database can be linked to other stored sensor data patches with regard to their temporal and / or local proximity to these. This can accelerate the comparison with the sensor data patches stored in the database.
  • a preselection is made for further partial sections of the sensor data of the one of the at least two sensors. The preselection comprises those sensor data patches which are less than a predefined temporal and / or spatial distance from the already selected sensor data patch, that is to say which are in a predefined temporal and / or spatial proximity to this.
  • a method for operating an assistance system for a vehicle is also provided, with at least one function for automated or partially automated driving of a vehicle and / or for perception of the surroundings being provided by means of the assistance system, with sensor data being recorded by at least two sensors, with one
  • the method is carried out according to one of the embodiments described above, the piece-wise replaced sensor data being fed to the at least one function, and the at least one function generating and providing at least one control signal and / or an evaluation signal based on the piece-wise replaced sensor data.
  • An assistance system for a vehicle comprising at least two sensors, set up to acquire sensor data, and a device according to one of the embodiments described above, the assistance system being set up to include at least one function for automated or partially automated driving of the vehicle and / or to provide for perception of the surroundings, the at least one function generating and providing at least one control signal and / or an evaluation signal based on the sensor data replaced piece by piece by means of the device.
  • a vehicle comprising at least one device and / or at least one assistance system according to one of the described embodiments.
  • a vehicle is in particular a motor vehicle.
  • the vehicle can also be another land, air, water, rail or space vehicle, for example a drone or an air taxi.
  • FIG. 1 shows a schematic representation of an embodiment of the device for robustizing sensor data against adversarial disturbances and an embodiment of an assistance system
  • FIG. 2 shows a schematic representation to illustrate quilting (prior art).
  • FIG. 3 shows a schematic representation to illustrate the quilting according to a
  • Embodiment of the method described in this disclosure. 1 shows a schematic representation of an embodiment of the device 1 for robustizing sensor data 20, 21 against adversarial disturbances.
  • the device 1 comprises a computing device 2 and a memory device 3.
  • the device 1 can be used in particular in a vehicle, in particular a motor vehicle, in order to robustize input data of a neural network 50 used there against adversarial interference.
  • the device 1 carries out the method described in this disclosure for robustizing sensor data 20, 21 against adversarial disturbances.
  • Parts of the device 1, in particular the computing device 2 can be designed individually or collectively as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor.
  • the device 1 or the computing device 2 is supplied with sensor data 20, 21 from two sensors 10, 11.
  • the sensors 10, 11 can be, for example, a camera and a lidar sensor.
  • the computing device 2 receives or receives the sensor data 20, 21 and replaces the sensor data 20, 21 piece by piece by means of quilting.
  • the piece-by-piece replacement takes place in such a way that sensor data 30, 31 of the two sensors 10, 11 that are replaced piece-by-piece are plausible to one another.
  • the sensor data 30, 31 replaced piece by piece are then output by the computing device 2.
  • the sensor data 30, 31 replaced piece by piece are then fed to an artificial neural network 50.
  • the neural network 50 is provided by means of a control device 51, for example in that a computing device of the control device 51 provides a functionality of the neural network 50 or carries out the arithmetic operations necessary to provide the neural network 50.
  • the neural network 50 provides, in particular, a function for automated or partially automated driving of a vehicle and / or for perception of the surroundings.
  • the function is provided in particular with the aid of an assistance system 200 comprising sensors 10, 11 and device 1.
  • the neural network 50 is trained to provide the function.
  • the function provided by the neural network 50 generates at least one control signal 52 and / or evaluation signal 53 on the basis of the piece-wise replaced sensor data 30, 31, which, for example, an actuator (not shown) of the vehicle and / or at least one further control unit of the vehicle can be supplied.
  • the piece-wise replaced sensor data 30, 31 have the same format after quilting or after the piece-wise replacement as the sensor data 20, 21, so that it is possible to insert the device 1 into already existing applications of sensors 10, 11 and neural networks 50 and to use.
  • a database 40 with sensor data patches 60, 61 generated from sensor data from sensors 10, 11 to be provided for quilting, with sensor data patches 60, 61 of sensors 10, 11 being linked to one another in database 40 in such a way that the respectively linked Sensor data patches 60, 61 are plausible to one another.
  • the database 40 is stored in the storage device 3, for example.
  • the database 40 was created beforehand in particular with the aid of trustworthy recorded sensor data from the two sensors 10, 11, in that a large number of interlinked sensor data patches were generated from the recorded trustworthy sensor data.
  • trustworthy is intended to mean, in particular, that the recorded sensor data definitely do not contain any adverse disturbances.
  • the trustworthy sensor data are camera images and lidar data, for example, it can be provided that a sensor data patch 60, 61 each has a partial section of 8x8 picture elements of a camera image and a corresponding partial section from the lidar data of 8x8 measurement points.
  • the sensors used or the trustworthy sensor data are in particular calibrated with respect to one another in terms of time and location.
  • the computing device 2 proceeds in particular as follows.
  • the sensor data 20, 21 are each subdivided into partial sections.
  • the partial sections are each compared with the sensor data patches 60, 61 stored in the database 40.
  • That sensor data patch 60, 61 is searched for for for each sub-section which has the smallest distance to the sub-section under consideration.
  • the sensor data 20, 21 comprised by the respective partial section and the sensor data comprised by the sensor data patches 60, 61 are for this purpose each expressed as vectors, for example.
  • the distance measure for example the L2 standard, a distance between these vectors can then be determined and the determined distances can be compared with one another.
  • the sub-section in the sensor data 20, 21 is replaced by it and made available as replaced sensor data 30, 31. Since the sensor data patches 60, 61 for the two sensors 10, 11 are linked to one another in the database 40, the sensor data 20, 21 of the two sensors 10, 11 are replaced by the linked sensor data patches 60, 61 , 61 the replaced sensor data 30, 31 of the two sensors 10, 11 are checked for plausibility with respect to one another.
  • a selection of sensor data patches 60, 61 used during quilting for the two sensors 10, 11 takes place as a function of the sensor data 20, 21 of only some of the sensors 10, 11.
  • the selection can only be made on the basis of the sensor data 20 of the sensor 10. Since the sensor data patches 60, 61 are linked to one another, the sensor data patch 61 linked therewith for the sensor data 21 can be identified immediately for a sensor data patch 60 found on the basis of the sensor data 20.
  • the sensor data patches 60, 61 in the database 40 can be linked or marked with one another in relation to a temporal and / or spatial neighborhood.
  • a preselection can be made in which a temporal and / or spatial correlation is taken into account when the sensor data 20, 21 mapped by the sensor data patches 60, 61 occur.
  • the sensor data 20, 21 received are sensor data that are recorded and / or output for a function for automated or partially automated driving of a vehicle and / or for driver assistance of the vehicle and / or for environment detection and / or environment perception become.
  • FIG. 2 shows a schematic representation to clarify quilting from the prior art using the example of a camera image 22.
  • Sensor data 20, in the present case a camera image 22, are divided into partial sections 23.
  • a search is made in a database 40 for a sensor data patch 60 which has the smallest distance to the sub-section 23 in terms of a distance.
  • a sensor data patch 60 is an image section which has the size of the partial sections 23, that is to say the same number of picture elements (pixels).
  • the distance measure is, for example, the L2 standard, which is applied to vectors that have been generated by linearizing the image sections.
  • each partial section 23 is then replaced by the respective sensor data patch 60 with the smallest distance therefrom. It can be provided here that a minimum distance must be maintained. In this way, all partial excerpts 23 are replaced by sensor data patches 60 from database 40.
  • Replaced partial sections 24 are created which, taken together, form the replaced sensor data 30 or the replaced camera image 25.
  • FIG. 3 shows a schematic illustration to clarify the quilting according to an embodiment of the method described in this disclosure using the example of sensor data 20 in the form of a camera image 22 and of sensor data 21 in the form of lidar data 26.
  • the quilting itself takes place in the same way as was already described above in connection with FIG.
  • the piece-by-piece replacement is carried out in such a way that replaced sensor data 30, 31 of the sensors, that is to say of the camera and the lidar sensor, are plausible to one another.
  • a plausibility check also takes place in the quilting step 100.
  • sensor data patches 60, 61 are determined or selected from the database 40 in such a way that the sensor data patches 60, 61 are plausible to one another.
  • the replaced partial sections 24, 28 or the replaced camera image 25 and the replaced lidar data 29 must be consistent with one another and must not contradict one another in terms of content or physics.
  • a scene imaged in the replaced camera image 25 must fit together in a plausible manner with a depth profile of the replaced lidar data 29.
  • the sensor data patches 60, 61 are already stored in the database 40 in a manner linked to one another.
  • the database 40 can exist Execution of the method described in this disclosure can be created by creating sensor data patches 60, 61 for both (or even more) sensors at the same time, partial excerpts being generated from trustworthy sensor data recorded at the same time and each being jointly or linked to one another in database 40 as sensor data patches 60 , 61 are filed.
  • the individual partial sections for both sensors can be combined to form a common vector and stored as a common or linked sensor data patch 60, 61.
  • the piece-wise replacement in quilting step 100 additionally taking into account the at least one identification information item 15 received.
  • sensor data patches 60, 61 can be preselected as a function of the identification information 15 received, so that the search for that sensor data patch 60, 61 with the smallest distance can be accelerated.
  • the identification information 15 obtained is or is derived from context information 16 of an environment in which the sensor data 20, 21 of the sensors are or have been recorded.
  • Context information 16 can, for example, be a geographical coordinate (e.g. GPS coordinate), a time of day and / or season, a month, a day of the week, weather (sun, rain, fog, snow, etc.) and / or a traffic context (city, Country, motorway, pedestrian zone, country road, main road, secondary road etc.).
  • context information 16 can, for example, be recorded by means of at least one context sensor or be provided in some other way.
  • context information can be requested from a vehicle controller, for example via a Controller Area Network (CAN) bus.
  • CAN Controller Area Network
  • a preselection from sensor data patches 60, 61 can be made so that the search for the next sensor data patch 60, 61 can be accelerated.
  • the sensor data patches 60, 61 are each marked (“tagged”) in the database 40 with an associated expression of the context information.
  • Partial section replaced Partial section replaced lidar data replaced sensor data replaced sensor data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen Die Erfindung betrifft ein Verfahren zum Robustifizieren von Sensordaten (20,21) gegen adversariale Störungen, wobei Sensordaten (20,21) von mindestens zwei Sensoren (10,11) erhalten werden, wobei die erhaltenen Sensordaten (20,21) der mindestens zwei Sensoren (10,11) jeweils mittels Quilting stückweise ersetzt werden, wobei das stückweise Ersetzen derart durchgeführt wird, dass jeweils ersetzte Sensordaten (30,31) unterschiedlicher Sensoren (10,11) zueinander plausibel sind, und wobei die stückweise ersetzten Sensordaten (30,31) ausgegeben werden. Ferner betrifft die Erfindung eine Vorrichtung (1) zum Robustifizieren von Sensordaten (20,21) gegen adversariale Störungen, ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug, ein Assistenzsystem für ein Fahrzeug sowie ein Computerprogramm und ein Datenträgersignal.

Description

Beschreibung
Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen. Ferner betrifft die Erfindung ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug, ein Assistenzsystem für ein Fahrzeug sowie ein Computerprogramm und ein Datenträgersignal.
Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Kraftfahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensordaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
Unter den Neuronalen Netzen haben sich insbesondere Faltungsnetze (engl. Convolutional Neural Networks, CNN) als besonders geeignet für Anwendungen in der Bildverarbeitung erwiesen. Faltungsnetze extrahieren in unüberwachter Form stufenweise verschiedene hochwertige Merkmale aus Eingangsdaten (z.B. Bilddaten). Das Faltungsnetz entwickelt hierbei während einer Trainingsphase eigenständig Merkmalskarten basierend auf Filterkanälen, die die Eingangsdaten lokal verarbeiten, um hierdurch lokale Eigenschaften abzuleiten. Diese Merkmalskarten werden dann erneut von weiteren Filterkanälen verarbeitet, die daraus höherwertigere Merkmalskarten ableiten. Auf Grundlage dieser derart aus den Eingangsdaten verdichteten Informationen leitet das tiefe Neuronale Netz schließlich seine Entscheidung ab und stellt diese als Ausgangsdaten bereit.
Während Faltungsnetze klassische Ansätze an funktionaler Genauigkeit übertreffen, besitzen diese jedoch auch Nachteile. So können beispielsweise auf adversarialen Störungen in den Sensordaten/Eingangsdaten basierende Angriffe dazu führen, dass trotz eines semantisch nicht veränderten Inhalts in den erfassten Sensordaten eine Fehlklassifizierung bzw. eine falsche semantische Segmentierung erfolgt. Aus Chuan Guo et al. , Countering Adversarial Images Using Input Transformations, axViv: 1711.00117v3 [cs.CV], 25. Jan. 2018, https://arxiv.org/pdf/1711.00117.pdf, ist ein Quilting-Verfahren zum Beseitigen von adversarialen Störungen in Bilddaten bekannt.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen, insbesondere im Hinblick auf eine Verwendung mehrerer Sensoren und eine Sensordatenfusion, zu verbessern.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Robustifizieren von Sensordaten gegen adversariale Störungen zur Verfügung gestellt, wobei Sensordaten von mindestens zwei Sensoren erhalten werden, wobei die erhaltenen Sensordaten der mindestens zwei Sensoren jeweils mittels Quilting stückweise ersetzt werden, wobei das stückweise Ersetzen derart durchgeführt wird, dass jeweils ersetzte Sensordaten unterschiedlicher Sensoren zueinander plausibel sind, und wobei die stückweise ersetzten Sensordaten ausgegeben werden.
Ferner wird insbesondere ein Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen geschaffen, umfassend eine Recheneinrichtung, wobei die Recheneinrichtung dazu eingerichtet ist, Sensordaten von mindestens zwei Sensoren zu erhalten, die erhaltenen Sensordaten der mindestens zwei Sensoren jeweils durch Quilting stückweise zu ersetzen, und das stückweise Ersetzen derart durchzuführen, dass jeweils ersetzte Sensordaten unterschiedlicher Sensoren zueinander plausibel sind, und die stückweise ersetzten Sensordaten auszugeben.
Das Verfahren und die Vorrichtung ermöglichen es, bei Verwendung von mehreren, das heißt von mindestens zwei, Sensoren die von den mehreren Sensoren bereitgestellten Sensordaten gegen adversariale Störungen zu robustifizieren. Hierzu werden die Sensordaten der mindestens zwei Sensoren jeweils mittels Quilting stückweise ersetzt. Das stückweise Ersetzen erfolgt hierbei derart, dass die stückweise ersetzten Sensordaten (sensorübergreifend) zueinander plausibel sind. Insbesondere werden beim Quilting zum stückweise Ersetzen verwendete Sensordatenpatches derart ausgewählt, dass jeweils zeitlich und örtlich miteinander korrespondierende ersetzte Sensordaten der mindestens zwei Sensoren zueinander plausibel sind. Werden die derart robustifizierten Sensordaten anschließend beispielsweise einem Neuronalen Netz als Eingangsdaten zugeführt, so hat eine ursprünglich in den erhaltenen Sensordaten enthaltene adversariale Störung ihre Wirkung verloren, ohne dass ein semantischer Inhalt in den Sensordaten verändert wurde. Dadurch, dass eine Plausibilität zwischen den Sensordaten der mindestens zwei Sensoren gewahrt bleibt, wird durch das stückweise Ersetzen ein inhaltlicher Zusammenhang, insbesondere ein örtlicher und zeitlicher Zusammenhang bzw. eine Korrelation, zwischen den Sensordaten der mindestens zwei Sensoren nicht verändert. Dies ist insbesondere von Vorteil, wenn nach Durchführen des Verfahrens eine Sensordatenfusion erfolgt.
Das Quilting umfasst insbesondere das stückweise Ersetzen von Sensordaten, welches auch als stückweise Rekonstruktion der Sensordaten bezeichnet werden kann (im Zusammenhang mit Bilddaten wird auch der Begriff „Image-Quilting“ verwendet). Die Sensordaten können hierbei insbesondere beliebiger Art sein, das heißt das Quilting ist nicht beschränkt auf zweidimensionale Bilddaten. Eine Menge von ersetzten Sensordaten bildet eine Rekonstruktionsdatendomäne aus bzw. ist von einer Rekonstruktionsdatendomäne umfasst. Handelt es sich beispielsweise um Bilder einer Kamera, so wird das Kamerabild in mehrere Teilausschnitte unterteilt. Meistens werden hierzu kleine, rechteckige Bildausschnitte (auch als Patches bezeichnet) definiert. Die einzelnen Teil- bzw. Bildausschnitte werden mit Teilausschnitten, nachfolgend als Sensordatenpatches bezeichnet, verglichen, die beispielsweise in einer Datenbank hinterlegt sind. Die Sensordatenpatches können auch als Datenblöcke bezeichnet werden. Die Sensordatenpatches bilden hierbei insbesondere subsymbolische Teilmengen von vorher erfassten Sensordaten gleicher Art aus, wobei die Sensordaten mit Sicherheit frei von adversarialen Störungen waren. Der Vergleich erfolgt auf Grundlage eines Abstandsmaßes, welches beispielsweise über einen euklidischen Abstand auf Bildelementvektoren oder Sensordatenvektoren definiert ist. Hierzu wird ein Teil- bzw. Bildausschnitt als Vektor linearisiert. Das Bestimmen eines Abstands erfolgt dann über eine Vektorraumnorm, beispielsweise über die L2-Norm. Die Teil- bzw. Bildausschnitte werden jeweils durch den nächstliegenden bzw. ähnlichsten Sensordatenpatch aus der Datenbank ersetzt. Es kann hierbei vorgesehen sein, dass ein Mindestabstand eingehalten werden muss bzw. dass zumindest keine Identität zwischen dem Teilausschnitt aus den Sensordaten und dem Sensordatenpatch vorliegen darf. Haben die Sensordaten eine andere Form (z.B. Lidardaten) bzw. ein anderes Format, so erfolgt das stückweise Ersetzen in analoger Weise. Das stückweise Ersetzen erfolgt insbesondere für alle Teilausschnitte der erfassten Sensordaten, sodass anschließend ersetzte bzw. rekonstruierte Sensordaten vorliegen. Nach dem stückweise Ersetzen, das heißt nach dem Quilting, ist eine Wirkung der adversarialen Störungen in den ersetzten bzw. rekonstruierten Sensordaten beseitigt oder zumindest verringert.
Eine „Plausibilität“ von ersetzten Sensordaten soll insbesondere bedeuten, dass die ersetzten Sensordaten physikalisch zueinander plausibel sind. Insbesondere soll hierbei eine Wahrscheinlichkeit, dass die jeweils ersetzten Sensordaten in der jeweils gewählten Kombination auch unter realen Bedingungen, das heißt in der realen Welt, auftreten würden,
(im Sinne z.B. einer Maximum-Likelihood) möglichst groß sein. Einfach ausgedrückt sollen die ersetzten Sensordaten der mindestens zwei Sensoren derart gewählt sein, dass die Wahrscheinlichkeit, dass diese Sensordaten in dieser Kombination auch real auftreten würden, maximiert ist. Handelt es sich beispielsweise bei den mindestens zwei Sensoren um eine Kamera und einen Lidarsensor, so bedeutet eine Plausibilität zwischen den jeweils ersetzten Sensordaten, dass ein betrachteter Bildausschnitt in den ersetzten Kameradaten und ein örtlich und zeitlich hiermit korrespondierender Teilausschnitt aus den ersetzten Lidardaten derart gewählt sind, dass die Sensordaten zueinander konsistent, das heißt physikalisch widerspruchsfrei zueinander, sind. Im vorgenannten Beispiel, in dem die mindestens zwei Sensoren eine Kamera und ein Lidarsensor sind, werden die Teilausschnitte der Sensordaten jeweils derart ersetzt, dass jeder ersetzte Bildausschnitt jeweils mit einem ersetzten Teilausschnitt der Lidardaten korrespondiert, wie dieser sich mit großer Wahrscheinlichkeit auch beim zeitgleichen Erfassen von Sensordaten der Kamera und des Lidarsensors ergeben würde.
Die mindestens zwei Sensoren sind insbesondere örtlich und zeitlich zueinander kalibriert, so dass die Sensordaten der mindestens zwei Sensoren örtlich und zeitlich miteinander korrespondieren bzw. gemeinsame zeitliche und örtliche Bezugspunkte aufweisen.
Die Sensordaten der mindestens zwei Sensoren können prinzipiell eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Sensordaten zweidimensionale Kamerabilder einer Kamera und zweidimensionale oder dreidimensionale Lidardaten eines Lidarsensors sein. Grundsätzlich können die Sensordaten aber auch von anderen Sensoren stammen, wie beispielsweise Radarsensoren oder Ultraschallsensoren etc.
Die erhaltenen Sensordaten sind insbesondere Sensordaten, die für eine Funktion für das automatisierte oder teilautomatisierte Fahren eines Fahrzeugs und/oder zur Umfeldwahrnehmung erfasst und/oder ausgegeben werden. Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Prinzipiell kann das Fahrzeug jedoch auch ein anderes Land-, Luft-, Wasser-, Schienen- oder Raumfahrzeug sein, beispielsweise eine Drohne oder ein Lufttaxi.
Eine adversariale Störung (engl adversarial perturbation) ist insbesondere eine gezielt vorgenommene Störung der, beispielsweise in Form von Sensordaten bereitgestellten, Eingangsdaten eines Neuronalen Netzes, bei der ein semantischer Inhalt in den Eingangsdaten zwar nicht verändert wird, die Störung jedoch dazu führt, dass das Neuronale Netz ein falsches Ergebnis inferiert, das heißt beispielsweise eine Fehlklassifikation oder eine falsche semantische Segmentierung der Eingangsdaten vornimmt.
Ein Neuronales Netz ist insbesondere ein tiefes Neuronales Netz, insbesondere ein Faltungsnetz (engl. Convolutional Neural Network, CNN). Das Neuronale Netz wird oder ist beispielsweise auf eine bestimmte Funktion trainiert, beispielsweise auf eine Funktion eines Assistenzsystems eine Fahrzeugs, insbesondere zum automatisierten oder teilautomatisierten Fahren und/oder zur Umfeldwahrnehmung, beispielsweise auf eine Wahrnehmung von Fußgängern oder anderen Objekten in erfassten Kamerabildern.
Das Verfahren wird insbesondere zyklisch wiederholt, sodass insbesondere fortlaufend ersetzte Sensordaten für erhaltene Sensordaten eines Sensordatenstroms bereitgestellt werden können.
Das Verfahren kann als computerimplementiertes Verfahren ausgeführt werden. Insbesondere kann das Verfahren mittels einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung umfasst insbesondere mindestens eine Recheneinrichtung und mindestens eine Speichereinrichtung.
Es wird insbesondere auch ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des offenbarten Verfahrens gemäß einer beliebigen der beschriebenen Ausführungsformen auszuführen.
Darüber hinaus wird insbesondere auch ein Datenträgersignal geschaffen, das das vorgenannte Computerprogramm überträgt.
Teile der Vorrichtung, insbesondere die Recheneinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.
Es kann vorgesehen sein, dass das Verfahren das Erfassen der Sensordaten mittels der mindestens zwei Sensoren umfasst.
In einer Ausführungsform ist vorgesehen, dass die stückweise ersetzten Sensordaten mindestens einer Funktion zum automatisierten oder teilautomatisierten Fahren eines Fahrzeugs und/oder zur Umfeldwahrnehmung zugeführt werden. Hierdurch können der mindestens einen Funktion robustifizierte Sensordaten zugeführt werden, sodass eine von der mindestens einen Funktion bereitgestellte Funktionalität ebenfalls robuster bereitgestellt werden kann. Der mindestens einen Funktion werden die stückweise ersetzten Sensordaten zugeführt und die mindestens eine Funktion erzeugt ausgehend von den stückweise ersetzten Sensordaten insbesondere mindestens ein Steuersignal und/oder ein Auswertungssignal und stellt dieses bereit. Insbesondere kann eine Ausgabe der mindestens einen Funktion in Form des mindestens einen Steuersignals und/oder Auswertungssignals hierdurch zuverlässiger erzeugt und bereitgestellt werden. Das mindestens eine Steuersignal und/oder Auswertungssignal kann beispielsweise zur Steuerung oder Regelung einer Aktorik des Fahrzeugs verwendet werden und/oder im Rahmen des automatisierten oder teilautomatisierten Fahrens weiterverarbeitet werden, beispielsweise zur Trajektorienplanung. Die mindestens eine Funktion ist insbesondere eine Funktion, die mittels eines Verfahrens des Maschinenlernens und/oder der Künstlichen Intelligenz bereitgestellt wird. Beispielsweise kann die mindestens eine Funktion mittels eines trainierten künstlichen Neuronalen Netzes bereitgestellt werden.
In einer Ausführungsform ist vorgesehen, dass zum Quilting eine Datenbank mit aus Sensordaten der mindestens zwei Sensoren erzeugten Sensordatenpatches bereitgestellt wird, wobei die Sensordatenpatches der mindestens zwei Sensoren in der Datenbank derart miteinander verknüpft sind, dass die jeweils verknüpften Sensordatenpatches zueinander plausibel sind. Hierdurch kann eine Plausibilität zwischen ersetzten Sensordaten auf besonders effiziente Weise ermöglicht werden. Die Sensordatenpatches, die zum stückweise Ersetzen der Sensordaten der mindestens zwei Sensoren verwendet werden, können in der Datenbank beispielsweise in Form von gemeinsamen Datenbankeinträgen hinterlegt sein. So können die Sensordatenpatches für die mindestens zwei Sensoren bereits zu Vektoren zusammengefasst sein und in der Datenbank hinterlegt sein. Handelt es sich bei den Sensoren beispielsweise um eine Kamera und einen Lidarsensor, so können die Sensordatenpatches der Kamera, das heißt einzelne Bildausschnitte, die zum Ersetzen verwendet werden, mit jeweils hiermit auf physikalisch plausible Weise korrespondierenden Sensordatenpatches, das heißt Teilausschnitte aus Lidardaten, zu gemeinsamen Vektoren zusammengefasst werden. Jedem Bildelement der Kamera ist dann eine aus den Lidardaten abgeleitete Tiefeninformation zugeordnet. Werden beispielsweise Bildausschnitte von jeweils 8x8 Bildelementen (Pixeln) betrachtet, so ergibt sich bei drei Farbkanälen und einem Tiefensignal jeweils ein Vektor mit (8 x 8 x (3+1) = ) 256 Einträgen. Jeder Eintrag in der Datenbank umfasst dann einen solchen Vektor. Die Sensordaten der mindestens zwei Sensoren werden dann analog zu den hinterlegten Vektoren zusammengefasst, sodass ein Abstand zu den in der Datenbank hinterlegten Vektoren mit Hilfe eines Abstandsmaßes, beispielsweise der L2-Norm, bestimmt werden kann. Derjenige Vektor aus der Datenbank, der den geringsten Abstand zu einem zu ersetzenden Vektor aufweist, wird beim Quilting zum Ersetzen verwendet. Das Erstellen der Datenbank erfolgt insbesondere auf Grundlage von (vorher unabhängig von dem offenbarten Verfahren) erfassten Sensordaten, wobei die Sensordaten der mindestens zwei Sensoren hierbei insbesondere zeitgleich erfasst werden, wobei die Sensoren örtlich und zeitlich zueinander kalibriert sind. Hierbei werden vertrauenswürdige Sensordaten verwendet, das heißt Sensordaten, in denen mit Sicherheit keine adversarialen Störungen vorhanden sind. Beispielsweise können hierbei Trainingsdaten eines (tiefen) Neuronalen Netzes verwendet werden, dem in einer Anwendungsphase die (ersetzen) Sensordaten zugeführt werden sollen. Aus diesen vertrauenswürdigen Sensordaten werden die Sensordatenpatches erzeugt und in der Datenbank hinterlegt. Handelt es sich bei den mindestens zwei Sensoren um andere Arten von Sensoren, so ist das Vorgehen analog.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass eine Auswahl von beim Quilting verwendeten Sensordatenpatches für die mindestens zwei Sensoren in Abhängigkeit der Sensordaten nur eines Teils der mindestens zwei Sensoren erfolgt. Insbesondere kann vorgesehen sein, dass eine Auswahl eines Sensordatenpatches zum Ersetzen von Sensordaten der mindestens zwei Sensoren in Abhängigkeit von erhaltenen Sensordaten nur eines der Sensoren erfolgt. Hierdurch kann beispielsweise eine zum Suchen benötigte Rechenleistung verringert werden, da beispielsweise ein Vergleich mit Sensordatenpatches in der Datenbank nur die Sensordaten des einen Sensors berücksichtigt. Ist der Sensordatenpatch mit dem zu den Sensordaten des einen Sensors geringsten Abstand aufgefunden, so können aufgrund der vorhandenen Verknüpfung auch die Sensordatenpatches des bzw. der anderen der mindestens zwei Sensoren dem aufgefundenen Sensordatenpatch ohne weitere Suche entnommen werden. Eine Suche in der Datenbank kann hierdurch beschleunigt werden. Im vorgenannten Beispiel, bei dem Sensordatenpatches als 8x8 Bildelemente umfassende Bildausschnitte einer Kamera mit einer zugehörige Tiefeninformation in der Datenbank hinterlegt sind, kann beispielsweise vorgesehen sein, dass ein Vergleich mit den Sensordatenpatches in der Datenbank nur für die Bildausschnitte erfolgt, wobei anschließend zum Ersetzen der Lidardaten direkt die zugehörigen Einträge im Vektor für die Lidardaten verwendet werden. Alternativ kann das Vergleichen bzw. die Suche nach dem nächstliegenden Sensordatenpatch auch auf Grundlage der Lidardaten erfolgen, wobei nach Auffinden des Sensordatenpatches der zugehörige Bildausschnitt aus den Einträgen des Vektors übernommen wird. Insgesamt kann der Vergleich bzw. die Suche in der Datenbank beschleunigt werden. Da die in der Datenbank hinterlegten Sensordatenpatches für die mindestens zwei Sensoren auf plausible Weise miteinander verknüpft sind, gibt es trotz der beschleunigten Suche keine qualitativen Einbußen beim Quilting bzw. in den ersetzten Sensordaten der mindestens zwei Sensoren. Die ersetzten Sensordaten der mindestens zwei Sensoren sind nach dem Quilting weiterhin zueinander plausibel.
In einer Ausführungsform ist vorgesehen, dass mindestens eine Kennzeichnungsinformation erhalten wird, wobei das stückweise Ersetzen beim Quilting zusätzlich unter Berücksichtigung der mindestens einen erhaltenen Kennzeichnungsinformation erfolgt. Eine Kennzeichnungsinformation kann auch als Tag oder Label bezeichnet werden. Hierdurch können beispielsweise die Einträge in der Datenbank, das heißt darin hinterlegte Sensordatenpatches, mit zusätzlichen Informationen markiert werden, sodass diese später schneller aufgefunden werden können. Insbesondere kann vorgesehen sein, dass die Datenbank mit Hilfe einer Hashfunktion indiziert wird, sodass eine Suche in der Datenbank beschleunigt werden kann, da eine Anzahl von Einträgen der Datenbank bereits vor einem Vergleich mit den Sensordaten der mindestens zwei Sensoren über eine Vorauswahl reduziert werden kann.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass die erhaltene Kennzeichnungsinformation von einer Kontextinformation eines Umfelds, in dem die Sensordaten der mindestens zwei Sensoren erfasst werden oder erfasst wurden, abgeleitet wird oder abgeleitet ist. Eine Kontextinformation kann beispielsweise eine geographische Koordinate (z.B. GPS-Koordinate), eine Tages- und/oder Jahreszeit, einen Monat, einen Wochentag, eine Witterung (Sonne, Regen, Nebel, Schnee etc.) und/oder ein Verkehrskontext (Stadt, Land, Autobahn, Fußgängerzone, Landstraße, Hauptstraße, Nebenstraße etc.) umfassen. Hierdurch kann zum einen eine Qualität der stückweise ersetzten Sensordaten verbessert werden, da beim stückweise Ersetzen ein Kontext, in dem die Sensordaten erfasst wurden, berücksichtigt werden kann. Insbesondere können Sensordatenpatches markiert („getaggt“) mit mindestens einer Kontextinformation in der Datenbank hinterlegt sein. In Abhängigkeit der mindestens einen erhaltenen Kennzeichnungsinformation bzw. der mindestens einen Kontextinformation kann zum anderen vor dem Suchen in der Datenbank eine Vorauswahl getroffen werden, sodass beim Suchen nur noch Einträge bzw. Sensordatenpatches berücksichtigt werden, die eine teilweise oder vollständige Übereinstimmung mit der mindestens einen Kennzeichnungsinformation bzw. mindestens einen Kontextinformation haben. Hierdurch kann das stückweise Ersetzen beschleunigt werden.
In einer Ausführungsform ist vorgesehen, dass das stückweise Ersetzen der erhaltenen Sensordaten unter Berücksichtigung von jeweils zeitlich und/oder örtlich benachbarten Sensordaten der mindestens zwei Sensoren durchgeführt wird. Hierdurch kann eine Korrelation zwischen zeitlich und/oder örtlich benachbarten Sensordaten beim stückweisen Ersetzen berücksichtigt werden. Im Beispiel eines Kamerabildes kann beispielsweise berücksichtigt werden, dass einzelne Bildausschnitte des Kamerabildes hinsichtlich ihrer Eigenschaften üblicherweise eine hohe Korrelation zu (örtlich) benachbarten Bildausschnitten des Kamerabildes aufweisen. Wird eine Abfolge von Kamerabildern betrachtet, so weist ein Bildausschnitt eines Kamerabildes üblicherweise mit demselben Bildausschnitt eines (zeitlich) benachbarten Kamerabildes hinsichtlich der Eigenschaften ebenfalls eine hohe Korrelation auf. Dies wird beim stückweisen Ersetzen genutzt, um das Verfahren zu beschleunigen. Insbesondere kann vorgesehen sein, dass in der Datenbank hinterlegte Einträge bzw. Sensordatenpatches in Bezug auf eine zeitliche und/oder örtliche Nachbarschaft zueinander markiert sind. Insbesondere können die in der Datenbank als Einträge hinterlegten Sensordatenpatches hinsichtlich ihrer zeitlichen und/oder örtlichen Nachbarschaft zu anderen hinterlegten Sensordatenpatches mit diesen verknüpft sein. Hierdurch kann das Vergleichen mit den in der Datenbank hinterlegten Sensordatenpatches beschleunigt werden. Beispielsweise kann vorgesehen sein, dass nach Auffinden eines Sensordatenpatches für einen Teilausschnitt aus den Sensordaten eines der mindestens zwei Sensoren eine Vorauswahl für weitere Teilausschnitte der Sensordaten des einen der mindestens zwei Sensoren getroffen wird. Die Vorauswahl umfasst diejenigen Sensordatenpatches, die einen vorgegebenen zeitlichen und/oder örtlichen Abstand zu dem bereits ausgewählten Sensordatenpatch unterschreiten, das heißt die in einer vorgegebenen zeitlichen und/oder örtlichen Nachbarschaft zu diesem liegen.
Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens. Es wird ferner auch ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug zur Verfügung gestellt, wobei mindestens eine Funktion zum automatisierten oder teilautomatisierten Fahren eines Fahrzeugs und/oder zur Umfeldwahrnehmung mittels des Assistenzsystems bereitgestellt wird, wobei Sensordaten mittels mindestens zweier Sensoren erfasst werden, wobei ein Verfahren gemäß einer der voranstehend beschriebenen Ausführungsformen ausgeführt wird, wobei die stückweise ersetzten Sensordaten der mindestens einen Funktion zugeführt werden, und wobei die mindestens eine Funktion ausgehend von den stückweise ersetzten Sensordaten mindestens ein Steuersignal und/oder ein Auswertungssignal erzeugt und bereitstellt.
Es wird weiter auch ein Assistenzsystem für ein Fahrzeug geschaffen, umfassend mindestens zwei Sensoren, eingerichtet zum Erfassen von Sensordaten, und eine Vorrichtung gemäß einer der voranstehend beschriebenen Ausführungsformen, wobei das Assistenzsystem dazu eingerichtet ist, mindestens eine Funktion zum automatisierten oder teilautomatisierten Fahren des Fahrzeugs und/oder zur Umfeldwahrnehmung bereitzustellen, wobei die mindestens eine Funktion ausgehend von den mittels der Vorrichtung stückweise ersetzten Sensordaten mindestens ein Steuersignal und/oder ein Auswertungssignal erzeugt und bereitstellt.
Weiter wird insbesondere auch ein Fahrzeug geschaffen, umfassend mindestens eine Vorrichtung und/oder mindestens ein Assistenzsystem nach einer der beschriebenen Ausführungsformen. Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Grundsätzlich kann das Fahrzeug jedoch auch ein anderes Land-, Luft-, Wasser-, Schienen- oder Raumfahrzeug sein, beispielsweise eine Drohne oder ein Lufttaxi.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen und einer Ausführungsform eines Assistenzsystems;
Fig. 2 eine schematische Darstellung zur Verdeutlichung des Quilting (Stand der Technik);
Fig. 3 eine schematische Darstellung zur Verdeutlichung des Quilting gemäß einer
Ausführungsform des in dieser Offenbarung beschriebenen Verfahrens. In Fig. 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Robustifizieren von Sensordaten 20, 21 gegen adversariale Störungen gezeigt. Die Vorrichtung 1 umfasst eine Recheneinrichtung 2 und eine Speichereinrichtung 3. Die Vorrichtung 1 kann insbesondere in einem Fahrzeug, insbesondere einem Kraftfahrzeug, zum Einsatz kommen, um Eingangsdaten eines dort eingesetzten Neuronalen Netzes 50 gegen adversariale Störungen zu robustifizieren. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren zum Robustifizieren von Sensordaten 20, 21 gegen adversariale Störungen aus.
Teile der Vorrichtung 1, insbesondere die Recheneinrichtung 2, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
Der Vorrichtung 1 bzw. der Recheneinrichtung 2 werden Sensordaten 20, 21 von zwei Sensoren 10, 11 zugeführt. Die Sensoren 10, 11 können beispielsweise eine Kamera und ein Lidarsensor sein.
Die Recheneinrichtung 2 erhält bzw. empfängt die Sensordaten 20, 21 und ersetzt die Sensordaten 20, 21 stückweise mittels Quilting. Das stückweise Ersetzen erfolgt derart, dass jeweils stückweise ersetzte Sensordaten 30, 31 der beiden Sensoren 10, 11 zueinander plausibel sind.
Die stückweise ersetzten Sensordaten 30, 31 werden anschließend von der Recheneinrichtung 2 ausgegeben. Insbesondere werden die stückweise ersetzten Sensordaten 30, 31 anschließend einem künstlichen Neuronalen Netz 50 zugeführt. Das Neuronale Netz 50 wird mittels eines Steuergeräts 51 bereitgestellt, beispielsweise indem eine Recheneinrichtung des Steuergeräts 51 eine Funktionalität des Neuronalen Netzes 50 bereitstellt bzw. zum Bereitstellen des Neuronalen Netzes 50 notwendige Rechenoperationen ausführt. Das Neuronale Netz 50 stellt insbesondere eine Funktion zum automatisierten oder teilautomatisierten Fahren eines Fahrzeugs und/oder zur Umfeldwahrnehmung bereit. Die Funktion wird insbesondere mit Hilfe eines die Sensoren 10,11 und die Vorrichtung 1 umfassenden Assistenzsystems 200 bereitgestellt. Das Neuronale Netz 50 ist hierzu auf das Bereitstellen der Funktion trainiert. Die von dem Neuronalen Netz 50 bereitgestellte Funktion erzeugt ausgehend von den stückweise ersetzten Sensordaten 30, 31 mindestens ein Steuersignal 52 und/oder Auswertungssignal 53, welches beispielsweise einer Aktorik (nicht gezeigt) des Fahrzeugs und/oder mindestens einem weiteren Steuergerät des Fahrzeugs zugeführt werden kann.
Die stückweise ersetzten Sensordaten 30, 31 haben nach dem Quilting bzw. nach dem stückweisen Ersetzen das gleiche Format wie die Sensordaten 20, 21, sodass es möglich ist, die Vorrichtung 1 in bereits bestehende Anwendungen von Sensoren 10, 11 und Neuronalen Netzen 50 einzufügen und zu verwenden.
Insbesondere ist vorgesehen, dass zum Quilting eine Datenbank 40 mit aus Sensordaten der Sensoren 10, 11 erzeugten Sensordatenpatches 60, 61 bereitgestellt wird, wobei die Sensordatenpatches 60, 61 der Sensoren 10, 11 in der Datenbank 40 derart miteinander verknüpft sind, dass die jeweils verknüpften Sensordatenpatches 60, 61 zueinander plausibel sind. Die Datenbank 40 ist beispielsweise in der Speichereinrichtung 3 hinterlegt.
Die Datenbank 40 wurde hierzu vorher insbesondere mit Hilfe von vertrauenswürdigen erfassten Sensordaten der beiden Sensoren 10, 11 erstellt, indem aus den erfassten vertrauenswürdigen Sensordaten eine Vielzahl von miteinander verknüpften Sensordatenpatches erzeugt wurden. Vertrauenswürdig soll hierbei insbesondere bedeuten, dass die erfassten Sensordaten mit Sicherheit keine adversarialen Störungen beinhalten. Handelt es sich bei den vertrauenswürdigen Sensordaten beispielsweise um Kamerabilder und Lidardaten, so kann vorgesehen sein, dass ein Sensordatenpatch 60, 61 jeweils einen Teilausschnitt von 8x8 Bildelementen eines Kamerabilds und einen hiermit korrespondierenden Teilausschnitt aus den Lidardaten von 8x8 Messpunkten aufweist. Die verwendeten Sensoren bzw. die vertrauenswürdigen Sensordaten sind hierbei insbesondere zeitlich und örtlich zueinander kalibriert.
Zum stückweise Ersetzen beim Quilting geht die Recheneinrichtung 2 insbesondere wie folgt vor. Die Sensordaten 20, 21 werden jeweils in Teilausschnitte unterteilt. Die Teilausschnitte werden jeweils mit den in der Datenbank 40 hinterlegten Sensordatenpatches 60, 61 verglichen. Auf Grundlage eines Abstandsmaßes wird für jeden Teilausschnitt dasjenige Sensordatenpatch 60, 61 gesucht, das den geringsten Abstand zum betrachteten Teilausschnitt aufweist. Die von dem jeweiligen Teilausschnitt umfassten Sensordaten 20, 21 und die von den Sensordatenpatches 60, 61 umfassten Sensordaten werden hierzu beispielsweise jeweils als Vektoren ausgedrückt. Mittels des Abstandsmaßes, beispielsweise der L2-Norm, kann dann ein Abstand zwischen diesen Vektoren bestimmt werden und die bestimmten Abstände können miteinander verglichen werden. Ist das Sensordatenpatch 60, 61 mit dem kleinsten Abstand zu dem betrachteten Teilausschnitt gefunden, so wird der Teilausschnitt in den Sensordaten 20, 21 durch dieses ersetzt und als ersetzte Sensordaten 30, 31 bereitgestellt. Da die Sensordatenpatches 60, 61 für die beiden Sensoren 10, 11 in der Datenbank 40 miteinander verknüpft vorliegen, erfolgt das Ersetzen der Sensordaten 20, 21 der beiden Sensoren 10, 11 durch die verknüpften Sensordatenpatches 60, 61. Durch das Verwenden der verknüpften Sensordatenpatches 60, 61 sind die ersetzten Sensordaten 30, 31 der beiden Sensoren 10, 11 zueinander plausibiliert.
Es kann vorgesehen sein, dass eine Auswahl von beim Quilting verwendeten Sensordatenpatches 60, 61 für die beiden Sensoren 10, 11 in Abhängigkeit der Sensordaten 20, 21 nur eines Teils der Sensoren 10, 11 erfolgt. Beispielsweise kann die Auswahl nur auf Grundlage von den Sensordaten 20 des Sensors 10 erfolgen. Da die Sensordatenpatches 60, 61 miteinander verknüpft sind, kann zu einem ausgehend von den Sensordaten 20 aufgefundenen Sensordatenpatch 60 das hiermit verknüpfte Sensordatenpatch 61 für die Sensordaten 21 sofort identifiziert werden.
Es kann vorgesehen sein, dass das stückweise Ersetzen der erhaltenen Sensordaten 20, 21 unter Berücksichtigung von jeweils zeitlich und/oder örtlich benachbarten Sensordaten 20, 21 der mindestens zwei Sensoren 10, 11 durchgeführt wird. Insbesondere können die Sensordatenpatches 60, 61 in der Datenbank 40 in Bezug auf eine zeitliche und/oder örtliche Nachbarschaft miteinander verknüpft werden bzw. markiert werden. Hierdurch kann beim Aufsuchen eines Sensordatenpatches 60, 61 bereits eine Vorauswahl getroffen werden, bei der eine zeitliche und/oder örtliche Korrelation beim Auftreten der von den Sensordatenpatches 60, 61 abgebildeten Sensordaten 20, 21 berücksichtigt wird.
Es ist insbesondere vorgesehen, dass die erhaltenen Sensordaten 20, 21 Sensordaten sind, die für eine Funktion für das automatisierte oder teilautomatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung erfasst und/oder ausgegeben werden.
Sind mehr als zwei Sensoren 10, 11 vorhanden, so wird das Verfahren für alle Sensoren 10, 11 in analoger Weise ausgeführt. Insbesondere sind nach Durchführen des Verfahrens die ersetzten Sensordaten 30, 31 aller Sensoren 10, 11 zueinander plausibel. Insbesondere kann vorgesehen sein, dass zusätzlich oder alternativ auch andere Sensoren als eine Kamera und ein Lidarsensor verwendet werden. ln Fig. 2 ist eine schematische Darstellung zur Verdeutlichung des Quilting aus dem Stand der Technik am Beispiel eines Kamerabildes 22 gezeigt. Sensordaten 20, vorliegend ein Kamerabild 22, werden in Teilausschnitte 23 zerteilt. Für jeden der Teilausschnitte 23 des Kamerabildes 22 wird im Rahmen eines Quiltingschritts 100 in einer Datenbank 40 nach einem Sensordatenpatch 60 gesucht, der in Bezug auf ein Abstandsmaß den geringsten Abstand zu dem Teilausschnitt 23 aufweist. Ein Sensordatenpatch 60 ist vorliegend ein Bildausschnitt, der die Größe der Teilausschnitte 23, das heißt dieselbe Anzahl von Bildelementen (Pixeln), aufweist. Das Abstandsmaß ist beispielsweise die L2-Norm, die auf Vektoren angewandt wird, die durch Linearisierung der Bildausschnitte erzeugt wurden. Im Quiltingschritt 100 wird dann jeder Teilausschnitt 23 durch das jeweilige Sensordatenpatch 60 mit dem jeweils hierzu kleinsten Abstand ersetzt. Es kann hierbei vorgesehen sein, dass ein Mindestabstand eingehalten werden muss. Auf diese Weise werden sämtliche Teilausschnitte 23 durch Sensordatenpatches 60 aus der Datenbank 40 ersetzt. Es entstehen ersetzte Teilausschnitte 24, die zusammengenommen die ersetzten Sensordaten 30 bzw. das ersetzte Kamerabild 25 ausbilden.
In Fig. 3 ist eine schematische Darstellung zur Verdeutlichung des Quilting gemäß einer Ausführungsform des in dieser Offenbarung beschriebenen Verfahrens am Beispiel von Sensordaten 20 in Form eines Kamerabildes 22 und von Sensordaten 21 in Form von Lidardaten 26 gezeigt. Das Quilting selbst erfolgt auf dieselbe Weise, wie voranstehend bereits im Zusammenhang mit der Fig. 2 beschrieben wurde. Jedoch wird das stückweise Ersetzen derart durchgeführt, dass jeweils ersetzte Sensordaten 30, 31 der Sensoren, das heißt der Kamera und des Lidarsensors, zueinander plausibel sind. Hierzu findet in dem Quiltingschritt 100 zusätzlich eine Plausibilisierung statt. Insbesondere werden im Rahmen dieses Quiltingschritts 100 Sensordatenpatches 60, 61 derart bestimmt bzw. aus der Datenbank 40 ausgewählt, dass die Sensordatenpatches 60, 61 zueinander plausibel sind. Im vorliegenden Beispiel bedeutet dies insbesondere, dass die ersetzten Teilausschnitte 24 der Sensordaten 20 der Kamera auf physikalisch plausible Weise mit den jeweils ersetzten Teilausschnitten 28 der Lidardaten 26 korrespondieren. Einfach ausgedrückt müssen die ersetzten Teilausschnitte 24, 28 bzw. das ersetzte Kamerabild 25 und die ersetzten Lidardaten 29 miteinander in Einklang stehen und dürfen sich inhaltlich bzw. physikalisch nicht widersprechen. So muss insbesondere eine in dem ersetzten Kamerabild 25 abgebildete Szene mit einem Tiefenprofil der ersetzten Lidardaten 29 auf plausible Weise zusammenpassen.
Hierzu ist insbesondere vorgesehen, dass die Sensordatenpatches 60, 61 bereits miteinander verknüpft in der Datenbank 40 hinterlegt sind. Beispielsweise kann die Datenbank 40 vor Ausführen des in dieser Offenbarung beschriebenen Verfahrens erstellt werden, indem Sensordatenpatches 60, 61 für beide (oder noch mehr) Sensoren gleichzeitig erzeugt werden, wobei aus zeitgleich erfassten vertrauenswürdigen Sensordaten jeweils Teilausschnitte erzeugt und jeweils gemeinsam bzw. miteinander verknüpft in der Datenbank 40 als Sensordatenpatches 60, 61 abgelegt werden. Beispielsweise können die einzelnen Teilausschnitte für beide Sensoren zusammen zu jeweils einem gemeinsamen Vektor zusammengefasst und als gemeinsamer bzw. verknüpfter Sensordatenpatch 60, 61 hinterlegt werden.
Es kann zusätzlich vorgesehen sein, dass mindestens eine Kennzeichnungsinformation 15 erhalten wird, wobei das stückweise Ersetzen im Quiltingschritt 100 zusätzlich unter Berücksichtigung der mindestens einen erhaltenen Kennzeichnungsinformation 15 erfolgt. Beispielsweise kann beim Suchen in der Datenbank 40 eine Vorauswahl von Sensordatenpatches 60, 61 in Abhängigkeit der erhaltenen Kennzeichnungsinformation 15 erfolgen, sodass das Suchen desjenigen Sensordatenpatches 60, 61 mit dem kleinsten Abstand beschleunigt werden kann.
Weiterbildend kann vorgesehen sein, dass die erhaltene Kennzeichnungsinformation 15 von einer Kontextinformation 16 eines Umfelds, in dem die Sensordaten 20, 21 der Sensoren erfasst werden oder erfasst wurden, abgeleitet wird oder abgeleitet ist. Eine Kontextinformation 16 kann beispielsweise eine geographische Koordinate (z.B. GPS- Koordinate), eine Tages- und/oder Jahreszeit, einen Monat, einen Wochentag, eine Witterung (Sonne, Regen, Nebel, Schnee etc.) und/oder ein Verkehrskontext (Stadt, Land, Autobahn, Fußgängerzone, Landstraße, Hauptstraße, Nebenstraße etc.) sein. Eine solche Kontextinformation 16 kann beispielsweise mittels mindestens eines Kontextsensors erfasst werden oder auf sonstige Weise bereitgestellt werden. In einem Fahrzeug können Kontextinformationen beispielsweise über einen Controller Area Network (CAN)-Bus bei einer Fahrzeugsteuerung abgefragt werden. Mittels der Kontextinformation 16 kann beispielsweise eine Vorauswahl aus Sensordatenpatches 60, 61 getroffen werden, sodass das Suchen des nächsten Sensordatenpatches 60, 61 beschleunigt werden kann. Hierzu ist vorgesehen, dass die Sensordatenpatches 60, 61 jeweils mit einer zugehörigen Ausprägung der Kontextinformation markiert („getaggt“) in der Datenbank 40 hinterlegt sind bzw. werden. Bezugszeichenliste
Vorrichtung Recheneinrichtung Speichereinrichtung Sensor (Kamera)
Sensor (Lidarsensor)
Kennzeichnungsinformation
Kontextinformation
Sensordaten
Sensordaten
Kamerabild
Teilausschnitt ersetzter Teilausschnitt ersetztes Kamerabild
Lidardaten
Teilausschnitt ersetzter Teilausschnitt ersetzte Lidardaten ersetzte Sensordaten ersetzte Sensordaten
Datenbank
Neuronales Netz
Steuergerät
Steuersignal
Auswertungssignal
Sensordatenpatch
Sensordatenpatch
Quiltingschritt
Assistenzsystem

Claims

Patentansprüche
1. Verfahren zum Robustifizieren von Sensordaten (20,21) gegen adversariale Störungen, wobei Sensordaten (20,21) von mindestens zwei Sensoren (10,11) erhalten werden, wobei die erhaltenen Sensordaten (20,21) der mindestens zwei Sensoren (10,11) jeweils mittels Quilting stückweise ersetzt werden, wobei das stückweise Ersetzen derart durchgeführt wird, dass jeweils ersetzte Sensordaten (30,31) unterschiedlicher Sensoren (10,11) zueinander plausibel sind, und wobei die stückweise ersetzten Sensordaten (30,31) ausgegeben werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die stückweise ersetzten Sensordaten (30,31) mindestens einer Funktion zum automatisierten oder teilautomatisierten Fahren eines Fahrzeugs und/oder zur Umfeldwahrnehmung zugeführt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zum Quilting eine Datenbank (40) mit aus Sensordaten (20,21) der mindestens zwei Sensoren (10,11) erzeugten Sensordatenpatches (60,61) bereitgestellt wird, wobei die Sensordatenpatches (60,61) der mindestens zwei Sensoren (10,11) in der Datenbank (40) derart miteinander verknüpft sind, dass die jeweils verknüpften Sensordatenpatches (60,61) zueinander plausibel sind.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine Auswahl von beim Quilting verwendeten Sensordatenpatches (60,61) für die mindestens zwei
Sensoren (10,11) in Abhängigkeit der Sensordaten (20,21) nur eines Teils der mindestens zwei Sensoren (10,11) erfolgt.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens eine Kennzeichnungsinformation (15) erhalten wird, wobei das stückweise Ersetzen beim Quilting zusätzlich unter Berücksichtigung der mindestens einen erhaltenen Kennzeichnungsinformation (15) erfolgt.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die erhaltene Kennzeichnungsinformation (15) von einer Kontextinformation (16) eines Umfelds, in dem die Sensordaten (20,21) der mindestens zwei Sensoren (10,11) erfasst werden oder erfasst wurden, abgeleitet wird oder abgeleitet ist.
7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das stückweise Ersetzen der erhaltenen Sensordaten (20,21) unter Berücksichtigung von jeweils zeitlich und/oder örtlich benachbarten Sensordaten (20,21) der mindestens zwei Sensoren (10,11) durchgeführt wird.
8. Verfahren zum Betreiben eines Assistenzsystems (200) für ein Fahrzeug, wobei mindestens eine Funktion zum automatisierten oder teilautomatisierten Fahren des Fahrzeugs und/oder zur Umfeldwahrnehmung mittels des Assistenzsystems (200) bereitgestellt wird, wobei Sensordaten (20,21) mittels mindestens zweier Sensoren (10,11) erfasst werden, wobei ein Verfahren gemäß einem der Ansprüche 1 bis 8 ausgeführt wird, wobei die stückweise ersetzten Sensordaten (30,31) der mindestens einen Funktion zugeführt werden, und wobei die mindestens eine Funktion ausgehend von den stückweise ersetzten Sensordaten (30,31) mindestens ein Steuersignal (52) und/oder ein Auswertungssignal (53) erzeugt und bereitstellt.
9. Vorrichtung (1) zum Robustifizieren von Sensordaten (20,21) gegen adversariale Störungen, umfassend eine Recheneinrichtung (2), wobei die Recheneinrichtung (2) dazu eingerichtet ist, Sensordaten (20,21) von mindestens zwei Sensoren (10,11) zu erhalten, die erhaltenen Sensordaten (20,21) der mindestens zwei Sensoren (10,11) jeweils durch Quilting stückweise zu ersetzen, und das stückweise Ersetzen derart durchzuführen, dass jeweils ersetzte Sensordaten (30,31) unterschiedlicher Sensoren (10,11) zueinander plausibel sind, und die stückweise ersetzten Sensordaten (30,31) auszugeben.
10. Assistenzsystem (200) für ein Fahrzeug, umfassend: mindestens zwei Sensoren (10,11), eingerichtet zum Erfassen von Sensordaten (20,21), eine Vorrichtung (1) nach Anspruch 9, wobei das Assistenzsystem (200) dazu eingerichtet ist, mindestens eine Funktion zum automatisierten oder teilautomatisierten Fahren des Fahrzeugs und/oder zur Umfeldwahrnehmung bereitzustellen, wobei die mindestens eine Funktion ausgehend von den mittels der Vorrichtung (1) stückweise ersetzten Sensordaten (30,31) mindestens ein Steuersignal (52) und/oder ein Auswertungssignal (53) erzeugt und bereitstellt.
11. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 8 auszuführen.
12. Datenträgersignal, das das Computerprogramm nach Anspruch 11 überträgt.
PCT/EP2020/085650 2019-12-17 2020-12-10 Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen WO2021122338A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20829547.7A EP4078238A1 (de) 2019-12-17 2020-12-10 Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
CN202080085755.XA CN114829978A (zh) 2019-12-17 2020-12-10 一种用于针对对抗干扰强化传感器数据的方法和设备
US17/786,302 US20230052885A1 (en) 2019-12-17 2020-12-10 Method and Device for Making Sensor Data More Robust Against Adverse Disruptions

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019219923.2 2019-12-17
DE102019219923.2A DE102019219923A1 (de) 2019-12-17 2019-12-17 Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen

Publications (1)

Publication Number Publication Date
WO2021122338A1 true WO2021122338A1 (de) 2021-06-24

Family

ID=74068254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/085650 WO2021122338A1 (de) 2019-12-17 2020-12-10 Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen

Country Status (5)

Country Link
US (1) US20230052885A1 (de)
EP (1) EP4078238A1 (de)
CN (1) CN114829978A (de)
DE (1) DE102019219923A1 (de)
WO (1) WO2021122338A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627597B (zh) * 2021-08-12 2023-10-13 上海大学 一种基于通用扰动的对抗样本生成方法及系统
DE102022209129A1 (de) 2022-09-02 2024-03-07 Robert Bosch Gesellschaft mit beschränkter Haftung Modellerstellvorrichtung und Modellerstellverfahren für zumindest zwei an und/oder in einem Fahrzeug montierte Sensorvorrichtungen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEXEI A EFROS ET AL: "Image quilting for texture synthesis and transfer", COMPUTER GRAPHICS. SIGGRAPH 2001. CONFERENCE PROCEEDINGS. LOS ANGELES, CA, AUG. 12 - 17, 2001; [COMPUTER GRAPHICS PROCEEDINGS. SIGGRAPH], NEW YORK, NY : ACM, US, 1 August 2001 (2001-08-01), pages 341 - 346, XP058253454, ISBN: 978-1-58113-374-5, DOI: 10.1145/383259.383296 *
ANONYMOUS: "Textursynthese - Wikipedia", 21 March 2021 (2021-03-21), XP055787992, Retrieved from the Internet <URL:https://de.wikipedia.org/wiki/Textursynthese> [retrieved on 20210321] *
CHUAN GUO ET AL.: "Countering Adversarial Images Using Input Transformations", AXVIV:1711.00117V3 [CS.CV, 25 January 2018 (2018-01-25), Retrieved from the Internet <URL:https://arxiv.org/pdf/1711.00117.pdf>
CHUAN GUO ET AL: "Countering Adversarial Images using Input Transformations", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 31 October 2017 (2017-10-31), XP081307843 *

Also Published As

Publication number Publication date
EP4078238A1 (de) 2022-10-26
DE102019219923A1 (de) 2021-06-17
US20230052885A1 (en) 2023-02-16
CN114829978A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
EP2149131B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
DE102018101318A1 (de) Objekterkennung unter verwendung eines rekurrenten neuronalen netzwerks und einer verketteten merkmalsabbildung
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102011055459A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mit zusätzlichen Klassifikatoren
DE102012107886A1 (de) Verfahren zur elektronischen Erkennung von Verkehrszeichen
DE102021002798A1 (de) Verfahren zur kamerabasierten Umgebungserfassung
EP3789926A1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
WO2021122338A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
WO2020126339A1 (de) Verfahren und vorrichtung zum betreiben eines maschinenlernmodells
EP3748454B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
EP4078239A1 (de) Verfahren und vorrichtung zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
WO2021122337A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
EP4049186A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE112019004315T5 (de) Kartenerzeugungsvorrichtung und kartenerzeugungsverfahren
DE102019217952A1 (de) Verfahren und Vorrichtung zum Bereitstellen eines Trainingsdatensatzes zum Trainieren einer KI-Funktion auf eine unbekannte Datendomäne
DE102019219924B4 (de) Verfahren und Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting
DE102021117529B3 (de) Verfahren, System und Computerprogrammprodukt zur Verbesserung der Performance von Wahrnehmungsfunktionen für automatisierte Fahrassistenzsysteme
EP2696310A1 (de) Verfahren zum Identifizieren eines Straßenrands
DE102019219926A1 (de) Verfahren und Vorrichtung zum Trainieren eines Neuronalen Netzes
DE102020213058A1 (de) Verfahren und Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs
DE102021214474A1 (de) Computerimplementiertes verfahren zur optimierung eines algorithmus zum erkennen eines interessierenden objekts ausserhalb eines fahrzeugs
EP3985565A1 (de) Verfahren und vorrichtung zum überprüfen eines beim teilautomatisierten oder vollautomatisierten steuern eines fahrzeugs verwendeten ki-basierten informationsverarbeitungssystems
DE102022200353A1 (de) Verfahren zum Erzeugen von Daten zum Trainieren eines auf künstlicher Intelligenz basierenden Objekterkennungsverfahrens
DE102022127884A1 (de) System und verfahren zur verdeckungsrekonstruktion in umgebenden ansichten unter verwendung zeitlicher informationen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20829547

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020829547

Country of ref document: EP

Effective date: 20220718