WO2020260020A1 - Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes - Google Patents

Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes Download PDF

Info

Publication number
WO2020260020A1
WO2020260020A1 PCT/EP2020/066085 EP2020066085W WO2020260020A1 WO 2020260020 A1 WO2020260020 A1 WO 2020260020A1 EP 2020066085 W EP2020066085 W EP 2020066085W WO 2020260020 A1 WO2020260020 A1 WO 2020260020A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine learning
learning system
image
neural network
dis
Prior art date
Application number
PCT/EP2020/066085
Other languages
English (en)
French (fr)
Inventor
Lydia Gauerhof
Nianlong GU
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US17/596,126 priority Critical patent/US20220222929A1/en
Priority to CN202080046927.2A priority patent/CN114008633A/zh
Publication of WO2020260020A1 publication Critical patent/WO2020260020A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the invention relates to a method for checking the robustness of an artificial neural network, a method for training the artificial neural network, a method for operating this artificial neural network, a training device, a computer program and a
  • CVAE-GAN Fine-Grained Image Generation through Asymmetry Training
  • arXiv preprint arXiv: 1703.10155, 2017, Jianmin Bao, Dong Chen, Fang Wen, Houqiang Li, and Gang Hua offers an overview of known generative processes such as Variational Autoencoder and Generative Adversarial Networks.
  • the invention with the features of independent claim 1 has the advantage that a novel generative model is made available that is equally advantageous for augmenting image data and for detecting anomalies.
  • the invention in a first aspect, relates to a computer-implemented neural network system, comprising a first machine learning system also referred to as a generator, in particular a first neural network, a second machine learning system also referred to as an encoder, in particular a second neural network and a third machine learning system also referred to as a discriminator Learning system, in particular a third neural network, the first machine learning system being designed, from a predeterminable low-dimensional latent variable
  • This reverse autoencoder of this network system has the advantage that the dependence of latent features (such as the hair color) is detected
  • Pedestrian is particularly easy to extract, so that augmentation of training data sets is particularly easy. At the same time is one
  • Anomaly detection can be carried out particularly robustly, since the system can be trained adverserially.
  • the invention relates to a method for training the neural network system, wherein the first machine learning system, and in particular only the first machine learning system, is trained to the effect that an activation in a predeterminable
  • the feature map of the feature maps of the third machine learning system assumes the same value if possible when it is supplied with a real image or an image of the real image reconstructed by a series connection of a second machine learning system and a first machine learning system. It has been shown that the training converges particularly well as a result.
  • the first machine learning system is also trained in such a way that the third machine learning system does not, as far as possible, recognize that a from the image generated by the first machine learning system is not a real image. This ensures particularly robust anomaly detection.
  • the second machine learning system and in particular only the second machine learning system, is trained in such a way that a reconstruction of the latent variable determined by a series connection of the first machine learning system and the second machine learning system is as similar as possible to the latent variable. It was recognized that the convergence of the method is considerably improved if this reconstruction is chosen so that only the
  • Parameters of the second machine learning system are trained, since otherwise the cost function of the encoder and the generator are difficult to reconcile with one another.
  • Learning system in particular a fourth neural network, for the classification and / or semantic segmentation of an input image (x) fed to it, for example for the recognition of pedestrians and / or others
  • Monitoring unit which comprises the first machine learning system trained with one of the above methods according to one of the claims and the second machine learning system of the neural network system, the input image being fed to the second machine learning system, which uses it to determine a low-dimensional latent variable from which the first machine learning system a reconstruction of the input image is determined, depending on the input image and the reconstructed input image, it is decided whether the machine learning system is robust or not.
  • the monitoring is particularly reliable, since it is particularly easy to ensure that the statistical distributions of the training data sets are comparable (namely: identical).
  • the invention relates to a method for generating an augmented training data set comprising input images for training a machine learning system, which is set up for the classification and / or semantic segmentation of input images, using the second machine learning system of the neural network system, in particular with
  • latent variables were determined from the input images, the input images being classified depending on the determined characteristics of their image data, and an augmented input image of the augmented training data set from at least one of the input images depending on average values of the determined latent variables in at least two of the classes is determined.
  • the augmented input image by means of the first machine learning system of the neural network system, which was trained in particular with an aforementioned training method, is dependent on a determined augmented latent variable is determined. This can be used to efficiently generate a modified image.
  • the augmented latent variable is determined from a specifiable one of the determined latent variables and a difference between the average values.
  • the feature of the image that corresponds to the predeterminable of the determined latent variables is thus varied.
  • the machine learning system is trained with the generated augmented training data set when the monitoring with one of the aforementioned monitoring methods has shown that the machine learning system is not robust.
  • the invention relates to a computer program which is set up to carry out the above methods and to a machine-readable storage medium on which this computer program is stored.
  • Figure 5 schematically shows an embodiment for controlling a
  • Figure 7 schematically shows an embodiment for controlling a
  • FIG. 8 shows a possible structure of the monitoring unit
  • Sensors can be given, for example a stereo camera. Other imaging sensors are also conceivable, such as radar, ultrasound or lidar. A thermal imaging camera is also conceivable.
  • the sensor signal S - or, in the case of a plurality of sensors, one sensor signal S each - from the sensor 30 is transmitted to the control system 40.
  • the control system 40 thus receives a sequence of sensor signals S.
  • the control system 40 determines from this control signals A, which are transmitted to the actuator 10.
  • the control system 40 receives the sequence of sensor signals S from the sensor 30 in an optional receiving unit 50, which receives the sequence from
  • Input images x are fed to a machine learning system, in the exemplary embodiment an artificial neural network 60.
  • Parameters F which are stored in a parameter memory P and are provided by this.
  • the artificial neural network 60 determines x from the input images
  • Forming unit 80 is supplied.
  • the control signal A is also determined as a function of the monitoring signal d.
  • the monitoring signal d characterizes whether the neural network 60 reliably determines the output variables y or not. If that Monitoring signal d characterizes an unreliability, can
  • control system 40 includes the sensor 30. In still further embodiments, the control system 40 alternatively or additionally also includes the actuator 10.
  • control system 40 comprises one or a plurality of processors 45 and at least one
  • the sensor 30 can, for example, be a video sensor preferably arranged in the motor vehicle 100.
  • the artificial neural network 60 is set up to reliably identify x objects from the input images.
  • the control signal A can then be determined in such a way that the actuator or the actuators 10 are controlled in such a way that the motor vehicle 100 prevents, for example, a collision with the objects reliably identified by the artificial neural network 60, in particular when they are objects of certain classes, e.g. pedestrians.
  • control signal A can be used to control the display unit 10a, and for example the determined safe areas can be displayed.
  • the display unit 10a it is also possible for the display unit 10a to be activated with the activation signal A in such a way that it emits an optical or acoustic warning signal if it is determined that the motor vehicle 100 is threatening with one of the reliably identified Objects to collide.
  • FIG. 3 shows an exemplary embodiment in which the control system 40 is used to control a production machine 11 of a production system 200, in that an actuator 10 controlling this production machine 11 is controlled.
  • the manufacturing machine 11 can, for example, be a machine for punching, sawing, drilling and / or cutting.
  • the sensor 30 can then, for example, be an optical sensor which, for example, detects properties of manufactured products 12a, 12b.
  • FIG. 4 shows an exemplary embodiment in which the control system 40 is used to control an access system 300.
  • the access system 300 may include a physical access control, for example a door 401.
  • Video sensor 30 is set up to detect a person. Using the
  • Control signal A releases the access control or not, for example the door 401 opens or not.
  • the control signal A can be selected depending on the interpretation of the object identification system 60, for example depending on the identified identity of the person.
  • a logical access control can also be provided.
  • control system 40 determines a control signal A from the personal assistant 250, for example by the neural network carrying out gesture recognition. This determined control signal A is then transmitted to personal assistant 250 and is thus controlled accordingly.
  • This determined control signal A act can in particular be selected such that it corresponds to a presumed desired control by the user 249. This presumed desired activation can be determined as a function of the gesture recognized by the artificial neural network 60.
  • the control system 40 can then select the activation signal A for transmission to the personal assistant 250 and / or the activation signal A for transmission to the personal assistant depending on the presumed desired activation
  • a household appliance (not shown), in particular a washing machine, stove, oven, microwave or dishwasher, can also be provided in order to be controlled accordingly.
  • FIG. 7 shows an exemplary embodiment in which the control system 40 is used to control a medical imaging system 500, for example an MRT, X-ray or ultrasound device.
  • the sensor 30 can be given for example by an imaging sensor
  • the display unit 10a is controlled by the control system 40.
  • the neural network 60 can determine whether an area recorded by the imaging sensor is conspicuous, and the control signal A can then be selected such that this area is shown highlighted in color by the display unit 10a.
  • the input image x is fed to an encoder ENC, which uses this to determine a so-called latent variable z.
  • the latent variable z has a smaller dimensionality than the input image x.
  • This latent variable z is fed to a generator GEN which uses it to generate a reconstructed image x.
  • the encoder ENC and generator GEN are each given by a convolutional neural network.
  • the input image x and the reconstructed image x are fed to a discriminator DIS.
  • the discriminator DIS has been trained to generate a variable as well as possible which characterizes whether an image fed to the discriminator DIS is a real image or whether it was generated by the generator GEN. This is explained in more detail below in connection with FIG.
  • Generator GEN is also a convolutional neural network.
  • Feature maps (English: “feature maps") of an l-th layer (where l is a predefinable number), which result when the generator GEN
  • an abnormality value A (x) can be used as the proportion of those
  • Reconstruction error is smaller than the determined reconstruction error E x .
  • FIG. 9 shows a possible structure of a first training device 141 for training the monitoring unit 51. This is set with parameters q
  • Parameters q include generator parameters q GEN , which parameterize the generator GEN, encoder parameters q ENC , which parameterize the encoder ENC and
  • Discriminator parameters q DIS which parameterize the discriminator DIS.
  • Training device 141 comprises a provider 71, which consists of a
  • Training data set provides input images e.
  • Input images e are fed to the monitoring unit 61 to be trained, which determines output variables a therefrom.
  • Output variables a and input images e are fed to an assessor 74 which, as described in connection with FIG. 10, determines new parameters q 'therefrom, which are transmitted to parameter memory P and replace parameters q there.
  • the methods executed by exercise device 141 can be configured as
  • Storage medium 146 can be stored and executed by a processor 145.
  • FIG. 10 illustrates the interaction of generator GEN, encoder ENC and discriminator DIS during training.
  • the arrangement of generator GEN, encoder ENC and discriminator DIS shown here is also referred to in this document as a neural network system.
  • the discriminator DIS is trained.
  • the following steps for training the discriminator DIS can be repeated n DIS times, for example, where n DIS is a specifiable whole number.
  • n DIS is a specifiable whole number.
  • These input images x (i) are real images that are made available, for example, from a database. The entirety of these input images is also called
  • the probability distribution p z is here, for example, a
  • a stack of random variables is considered to be randomly selected from a
  • the latent variables z are fed to the generator GEN and give a constructed input image , so
  • Cost function of the input image x and a reconstruction cost function of the latent variable z determined as
  • Discriminator parameters then replace the generator parameters q GEN ,
  • FIG. 11 shows an exemplary second training device 140 for training the neural network 60.
  • Training device 140 comprises a provider 72 which provides input images x and target output variables ys, for example target classifications.
  • the input image x is fed to the artificial neural network 60 to be trained, which determines output variables y therefrom.
  • Output variables y and desired output variables ys are fed to a comparator 75, which determines new parameters F 'therefrom depending on whether the respective output variables y and desired output variables ys match.
  • Storage medium 148 be stored and executed by a processor 147.
  • a data record comprising input images x and associated target output variables ys can be augmented or generated (e.g. by provider 72) as follows. First, a data record comprising input images is provided. These are classified according to predefinable characteristics (named “A” and “B” for example) of a feature, for example vehicles can be classified according to the feature “headlights switched on” or “headlights
  • New images can be generated from this using
  • image sections are classified as objects with a detection algorithm, that these image sections are then cut out, possibly a new image section (corresponding to the new image ) is generated and inserted into the associated image in place of the cropped image section. In this way it is possible, for example, to selectively adapt the hair color of this pedestrian in an image with a detected pedestrian.
  • the associated target output variable ys can be adopted unchanged.
  • the augmented data set can thus be generated and the neural network 60 can be trained with it. This ends the procedure.
  • the term “computer” encompasses any device for processing specifiable arithmetic rules. These calculation rules can be in the form of software, or in the form of hardware, or else in a mixed form

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

Computerimplementiertes neuronales Netzwerksystem, umfassend ein erstes maschinelles Lernsystem, insbesondere ein erstes neuronales Netzwerk, (GEN), ein zweites maschinelles Lernsystem, insbesondere ein zweites neuronales Netzwerk (ENC) und ein drittes maschinelles Lernsystem, insbesondere ein drittes neuronales Netzwerk (DIS), wobei das erste maschinelle Lernsystem (GEN) ausgebildet ist, aus einem vorgebbaren niederdimensionalen latenten Variable (z) ein höherdimensionales konstruiertes Bild (formula (A)) zu ermitteln, wobei das zweite maschinelle Lernsystem (ENC) ausgebildet ist, aus dem höherdimensionalen konstruierten Bild (formula (A)) wieder die latente Variable (z) zu ermitteln, und wobei das dritte maschinelle Lernsystem (DIS) ausgebildet ist, zu unterscheiden, ob ein ihm zu geführtes Bild ein reales Bild (x) ist, oder nicht.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
Die Erfindung betrifft einen Verfahren zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes, ein Verfahren zum Trainieren des künstlichen neuronalen Netzes, ein Verfahren zum Betreiben dieses künstlichen neuronalen Netzes, eine Trainingsvorrichtung, ein Computerprogramm und ein
maschinenlesbares Speichermedium.
Stand der Technik
„CVAE-GAN: Fine-Grained Image Generation through Asymmetrie Training”, arXiv preprint arXiv: 1703.10155, 2017, Jianmin Bao, Dong Chen, Fang Wen, Houqiang Li, und Gang Hua bietet einen Überblick über bekannte generative Verfahren wie Variational Autoencoder und Generative Adversarial Networks.
Vorteile der Erfindung
Die Erfindung mit den Merkmalen des unabhängigen Anspruch 1 hat demgegenüber den Vorteil, dass ein neuartiges generatives Modell zur Verfügung gestellt wird, dass sich in gleichermaßen vorteilhafter Weise zum augmentieren von Bilddaten wie auch zur Anomaliedetektion eignet.
Weitere Aspekte der Erfindung sind Gegenstand der nebengeordneten
Ansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
Offenbarung der Erfindung In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes neuronales Netzwerksystem, umfassend ein auch als Generator bezeichnetes erstes maschinelles Lernsystem, insbesondere ein erstes neuronales Netzwerk, ein auch als Kodierer bezeichnetes zweites maschinelles Lernsystem, insbesondere ein zweites neuronales Netzwerk und ein auch als Diskriminator bezeichnetes drittes maschinelles Lernsystem, insbesondere ein drittes neuronales Netzwerk, wobei das erste maschinelle Lernsystem ausgebildet ist, aus einem vorgebbaren niederdimensionalen latenten Variable ein
höherdimensionales konstruiertes Bild zu ermitteln, wobei das zweite
maschinelle Lernsystem ausgebildet ist, aus dem höherdimensionalen konstruierten Bild wieder die latente Variable zu ermitteln, und wobei das dritte maschinelle Lernsystem ausgebildet ist, zu unterscheiden, ob ein ihm
zugeführtes Bild ein reales, d.h. mit einem Sensor aufgenommenes, Bild ist, oder nicht. Dieser umgekehrte Autoencoder dieses Netzwerksystem den Vorteil, dass die Abhängigkeit latenter Merkmale (wie z.B. der Haarfarbe detektierter
Fußgänger) besonders einfach extrahierbar ist, sodass Augmentierungen von Trainingsdatensätzen besonders einfach sind. Gleichzeitig ist eine
Anomaliedetektion besonders robust durchführbar, da das System adverseriell trainierbar ist.
In einem nebengeordneten Aspekt betrifft die Erfindung ein Verfahren zum Trainieren des neuronalen Netzwerksystems, wobei das erste maschinelle Lernsystem, und insbesondere nur das erste maschinelle Lernsystem, dahingehend trainiert wird, dass eine Aktivierung in einer vorgebbaren
Merkmalskarte der Merkmalskarten des dritten maschinellen Lernsystems möglichst den gleichen Wert annimmt, wenn ihm ein reales Bild bzw. ein von einer Hintereinanderschaltung aus zweitem maschinellem Lernsystem und erstem maschinellem Lernsystem rekonstruiertes Bild des realen Bildes zugeführt wird. Es hat sich gezeigt, dass das Training hierdurch besonders gut konvergiert.
In einer Weiterbildung dieses Aspekts kann vorgesehen sein, dass das erste maschinelle Lernsystem auch dahingehend trainiert wird, dass das dritte maschinelle Lernsystem möglichst nicht erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem generiertes Bild kein reales Bild ist. Dies sorgt für besonders robuste Anomaliedetektion.
Alternativ oder zusätzlich kann vorgesehen sein, dass das zweite maschinelle Lernsystem, und insbesondere nur das zweite maschinelle Lernsystem, dahingehend trainiert wird, dass eine von einer Hintereinanderschaltung aus erstem maschinellem Lernsystem und zweitem maschinellen Lernsystem ermittelte Rekonstruktion der latenten Variable möglichst der latenten Variable gleicht. Es wurde erkannt, dass die Konvergenz des Verfahrens erheblich verbessert ist, wenn diese Rekonstruktion so gewählt wird, dass nur die
Parameter des zweiten maschinellen Lernsystems trainiert werden, da ansonsten die Kostenfunktion des Kodierers und des Generators schwer miteinander in Einklang zu bringen sind.
Um eine möglichst gute Verbesserung des Trainingsergebnisses zu erreichen, kann in einer Weiterbildung vorgesehen sein, dass wobei das dritte maschinelle Lernsystem dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem generiertes Bild kein reales Bild ist und/oder dass das dritte maschinelle Lernsystem auch dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes reales Bild ein reales Bild ist.
In einem weiteren nebengeordnete Aspekt betrifft die Erfindung ein Verfahren zum Überwachen der korrekten Funktionsweise eines maschinellen
Lernsystems, insbesondere eines vierten neuronalen Netzes, zur Klassifikation und/oder semantischen Segmentierung eines ihm zugeführten Eingangsbilds (x), beispielsweise zur Erkennung von Fußgängern und/oder anderen
Verkehrsteilnehmern und/oder Straßenschildern, wobei einer
Überwachungseinheit, welche das mit einem der obigen Verfahren nach einem der Ansprüche trainierte erste maschinelle Lernsystem und zweite maschinelle Lernsystem des neuronalen Netzwerkssystems umfasst, wobei das Eingangsbild dem zweiten maschinellen Lernsystem zugeführt wird, das hieraus eine niederdimensionale latente Variable ermittelt, aus der das erste maschinelle Lernsystem eine Rekonstruktion des Eingangsbilds ermittelt, wobei abhängig von Eingangsbild und rekonstruiertem Eingangsbild entschieden wird, ob das maschinelle Lernsystem robust ist, oder nicht.
Werden das maschinelle Lernsystem und das neuronale Netzwerksystem mit Datensätzen, die die gleichen Eingangsbilder umfassen, trainiert, so ist die Überwachung besonders zuverlässig, da besonders einfach sichergestellt ist, dass die statistischen Verteilungen der Trainingsdatensätze vergleichbar (nämlich: identisch) sind.
In einem noch weiteren nebengeordneten Aspekt betrifft die Erfindung ein Verfahren zum Erzeugen eines augmentierten Trainingsdatensatzes umfassend Eingangsbilder zum Trainieren eines maschinellen Lernsystem, welches eingerichtet ist zur Klassifikation und/oder semantischen Segmentierung von Eingangsbildern, wobei mittels des zweiten maschinellen Lernsystems des neuronalen Netzwerksystems, das insbesondere mit einem der obigen Verfahren wurde jeweils latente Variablen aus den Eingangsbildern ermittelt werden, wobei die Eingangsbilder abhängig von ermittelten Merkmalsausprägungen ihrer Bilddaten klassifiziert werden, und wobei ein augmentiertes Eingangsbild des augmentierten Trainingsdatensatzes aus wenigstens einem der Eingangsbilder abhängig von durchschnittlichen Werten der ermittelten latenten Variablen in wenigstens zwei der Klassen ermittelt wird.
Mit diesem Verfahren ist es mögliche, Merkmale der Bilder im Raum der latenten Variablen (englisch:„latent space“) zu analysieren und entflochtene Merkmale zu extrahieren, sodass in der beschriebenen Vorgehensweise ein besonderes gezieltes Variieren der Merkmale der Bilder möglich ist.
Besonders sauber ist das entflechten der Merkmale, wenn die Bildklassen derart gewählt werden, dass die darin einklassifizierten Eingangsbilder (x( i )) bezüglich ihrer Ausprägungen in einer vorgebbaren Menge anderer Merkmale
übereinstimmen.
Hierbei kann dann vorteilhafterweise vorgesehen sein, dass das augmentierte Eingangsbild mittels des ersten maschinellen Lernsystems des neuronalen Netzwerksystems, das insbesondere mit einem vorgenannten Trainingsverfahren trainiert wurde, abhängig von einer ermittelten augmentierten latenten Variable ermittelt wird. Hiermit kann man effizient ein modifiziertes Bild erzeugen.
Um ganz gezielt ein vorgebbares Merkmal eines bestehenden Bildes zu modifizieren, kann vorgesehen sein, dass die augmentierte latente Variable aus einer vorgebbaren der ermittelten latenten Variablen und einer Differenz der durchschnittlichen Werte ermittelt wird. Damit wird das Merkmal des Bildes, das zur vorgebbaren der ermittelten latenten Variablen korrespondiert, variiert.
Um eine möglichst große Vielzahl an neuen Merkmalsausprägungen zu erhalten, kann vorgesehen sein, dass die Differenz mit einem vorgebbaren Gewichtsfaktor a gewichtet wird. Insbesondere ist es so möglich, eine Vielzahl an
Trainingsbildern zu generieren, deren Merkmale unterschiedlich stark variiert sind.
Beispielsweise ist es möglich, für Straßenszenen die visuellen Attribute von Fußgängern in einer Vielzahl von Ausprägungen zu variieren, und somit einen besonders großen Trainings- oder Testdatensatz zur Verfügung zu stellen, der hinsichtlich dieses Merkmals eine sehr hohe Abdeckung gewährleistet.
Es kann insbesondere vorgesehen sein, dass das maschinelle Lernsystem dann mit dem erzeugten augmentierten Trainingsdatensatz trainiert wird, wenn die Überwachung mit einem der vorgenannten Überwachungsverfahren ergeben hat, dass das maschinelle Lernsystem nicht robust ist.
In weiteren Aspekten betrifft die Erfindung ein Computerprogramm, das eingerichtet, die obigen Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
Figur 1 schematisch einen Aufbau einer Ausführungsform der Erfindung;
Figur 2 schematisch ein Ausführungsbeispiel zur Steuerung eines
wenigstens teilautonomen Roboters; Figur 3 schematisch ein Ausführungsbeispiel zur Steuerung eines
Fertigungssystems; Figur 4 schematisch ein Ausführungsbeispiel zur Steuerung eines
Zugangssystems;
Figur 5 schematisch ein Ausführungsbeispiel zur Steuerung eines
Überwachungssystems;
Figur 6 schematisch ein Ausführungsbeispiel zur Steuerung eines
persönlichen Assistenten;
Figur 7 schematisch ein Ausführungsbeispiel zur Steuerung eines
medizinisch bildgebenden Systems;
Figur 8 einen möglichen Aufbau der Überwachungseinheit;
Figur 9 einen möglichen Aufbau einer ersten Trainingsvorrichtung 141;
Figur 10 das neuronale Netzwerksystem;
Figur 11 einen möglichen Aufbau einer zweiten Trainingsvorrichtung 140. Beschreibung der Ausführungsbeispiele
Figur 1 zeigt einen Aktor 10 in seiner Umgebung 20 in Interaktion mit einem Steuerungssystem 40. In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung 20 in einem Sensor 30, insbesondere einem bildgebenden Sensor wie einem Videosensor, erfasst, der auch durch eine Mehrzahl von
Sensoren gegeben sein kann, beispielsweise eine Stereokamera. Auch andere bildgebende Sensoren sind denkbar, wie beispielsweise Radar, Ultraschall oder Lidar. Auch eine Wärmebildkamera ist denkbar. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an den Aktor 10 übertragen werden.
Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von
Sensorsignalen S in eine Folge von Eingangsbildern x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangsbild x übernommen werden). Das Eingangsbild x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangsbild x umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird
Eingangsbild x abhängig von Sensorsignal S ermittelt. Die Folge von
Eingangsbildern x wird einem maschinellen Lernsystem, im Ausführungsbeispiel einem künstlichen neuronalen Netz 60, zugeführt.
Das künstliche neuronale Netz 60 wird vorzugsweise parametriert durch
Parameter F, die in einem Parameterspeicher P hinterlegt sind und von diesem bereitgestellt werden.
Das künstliche neuronale Netz 60 ermittelt aus den Eingangsbildern x
Ausgangsgrößen y. Diese Ausgangsgrößen y können insbesondere eine Klassifikation und/oder semantische Segmentierung der Eingangsbilder x umfassen. Ausgangsgrößen y werden einer optionalen Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden, um den Aktor 10 entsprechend anzusteuern. Ausgangsgröße y umfasst Informationen über Objekte, die der Sensor 30 erfasst hat.
Das Steuerungssystem 40 umfasst ferner eine Überwachungseinheit 61 zum Überwachen der Funktionsweise des künstlichen neuronalen Netzes 60. Der Überwachungseinheit 61 wird ebenfalls das Eingangsbild x zugeführt. Sie ermittelt abhängig hiervon ein Überwachungssignal d, das ebenfalls der
Umformeinheit 80 zugeführt wird. Das Ansteuersignal A wird auch abhängig vom Überwachungssignal d ermittelt.
Das Überwachungssignal d charakterisiert, ob das neuronale Netz 60 die Ausgangsgrößen y zuverlässig ermittelt, oder nicht. Wenn das Überwachungssignal d eine Unzuverlässigkeit charakterisiert, kann
beispielsweise vorgesehen sein, dass das Ansteuersignal A entsprechend eines abgesicherten Betriebsmodus ermittelt wird (während es andernfalls in einem normalen Betriebsmodus ermittelt wird). Der abgesicherte Betriebsmodus kann beispielsweise beinhalten, dass eine Dynamik des Aktors 10 reduziert wird, oder dass Funktionalitäten zur Ansteuerung des Aktors 10 ausgeschaltet.
Der Aktor 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor 10 angesteuert wird.
In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktor 10.
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein
maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das erfindungsgemäße Verfahren auszuführen.
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.
Figur 2 zeigt, wie das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs 100, eingesetzt werden kann.
Bei dem Sensor 30 kann es sich beispielsweise um einen vorzugsweise im Kraftfahrzeug 100 angeordneten Videosensor handeln. Das künstliche neuronale Netz 60 ist eingerichtet, aus den Eingangsbildern x Objekte sicher zu identifizieren.
Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des
Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom künstlichen neuronalen Netz 60 sicher identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom künstlichen neuronalen Netz 60 identifizierten Objekten verhindert.
Alternativ oder zusätzlich kann mit dem Ansteuersignal A die Anzeigeeinheit 10a angesteuert werden, und beispielsweise die ermittelten sicheren Bereiche dargestellt werden. Auch ist es beispielsweise beim einem Kraftfahrzeug 100 mit nicht automatisierter Lenkung möglich, dass die Anzeigeeinheit 10a mit dem Ansteuersignal A derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug 100 droht, mit einem der sicher identifizierten Objekte zu kollidieren.
Figur 3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln. Bei dem Sensor 30 kann es sich dann beispielsweise um einen optischen Sensor handeln, der z.B. Eigenschaften von Fertigungserzeugnissen 12a, 12b erfasst.
Es ist möglich, dass diese Fertigungserzeugnisse 12a, 12b beweglich sind. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse 12a, 12b angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden
Bearbeitungsschritt des richtigen der Fertigungserzeugnisses 12a, 12b ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse 12a, 12b (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine 11 entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
Figur 4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Videosensor 30 ist eingerichtet ist, eine Person zu erfassen. Mittels des
Objektidentifikationssystem 60 kann dieses erfasste Bild interpretiert werden.
Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktor 10 kann ein Schloss sein, dass abhängig vom
Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des Objektidentifikationssystem 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
Figur 5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in Figur 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom
künstlichen neuronalen Netz 60 zuverlässig eine Identität der vom Videosensor 30 aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
Figur 6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Der Sensor 30 ist bevorzugt ein optischer Sensor, der Bilder einer Geste eines Nutzers 249 empfängt.
Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom künstlichen neuronalen Netz 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten
entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.
Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
Figur 7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
Figur 8 zeigt einen möglichen Aufbau der Überwachungseinheit 61. Das
Eingangsbild x wird einem Kodierer (englisch:„Encoder“) ENC zugeführt, der hieraus eine sogenannte latente Variable z ermittelt. Die latente Variable z hat eine geringere Dimensionalität als das Eingangsbild x. Diese latente Variable z wird einem Generator GEN zugeführt, der hieraus ein rekonstruiertes Bild x erzeugt. Kodierer ENC und Generator GEN sind im Ausführungsbeispiel jeweils durch ein faltendes neuronales Netz (englisch:„convolutional neural network“) gegeben. Eingangsbild x und rekonstruiertes Bild x werden einem Diskriminator DIS zugeführt. Der Diskriminator DIS wurde trainiert, möglichst gut eine Größe zu erzeugen, die charakterisiert, ob ein dem Diskriminator DIS zugeführtes Bild ein reales Bild ist, oder ob es vom Generator GEN erzeugt wurde. Dies ist unten im Zusammenhang mit Figur 10 näher erläutert. Generator GEN ist ebenfalls ein faltendes neuronales Netz.
Merkmalskarten (englisch:„feature maps“) einer l-ten Schicht (wobei l eine vorgebbare Zahl ist), die sich ergeben, wenn dem Generator GEN das
Eingangsbild x bzw. das rekonstruierte Bild x zugeführt werden, werden mit DlSl(x) bzw. bezeichnet. Diese werden einem Bewerter BE zugeführt, in dem beispielsweise ein Rekonstruktionsfehler . In einer (nicht dargestellten) alternativen Ausführungsform ist es auch möglich, den Rekonstruktionsfehler unter Umgehung des Diskriminators DIS als
zu wählen.
Anschließend kann ein Anomalitätswert A(x) als der Anteil derjenigen
Eingangsbilder eines Referenzdatensatzes (beispielsweise eines
Trainingsdatensatzes, mit dem der Diskriminator DIS und/oder der Generator GEN und/oder der Kodierer ENC trainiert wurde) ermittelt werden, deren
Rekonstruktionsfehler kleiner ist als der ermittelte Rekonstruktionsfehler Ex. Ist der Anomlitätswert A(x) größer als ein vorgebbarer Schwellwert, wird das Überwachungssignal d auf den Wert d = 1 gesetzt, was signalisiert, dass die Ausgangsgrößen y potenziell unzuverlässig ermittelt werden. Andernfalls wird das Überwachungssignal d auf den Wert d = 0 gesetzt, was signalisiert, dass die Ermittlung der Ausgangsgrößen y als zuverlässig eingestuft wird.
Figur 9 zeigt einen möglichen Aufbau einer ersten Trainingsvorrichtung 141 zum Trainieren der Überwachungseinheit 51. Diese wird mit Parametern q
parametriert, die von Parameterspeicher P bereitgestellt werden. Parameter q umfassen Generatorparameter qGEN , die den Generator GEN parametrieren, Kodiererparameter qENC, die den Kodierer ENC parametrieren und
Diskriminatorparameter qDIS, die den Diskriminator DIS parametrieren.
Trainingsvorrichtung 141 umfasst einen Bereitsteller 71, der aus einem
Trainingsdatensatz Eingangsbilder e bereitstellt. Eingangsbilder e werden der zu trainierenden Überwachungseinheit 61 zugeführt, die hieraus Ausgangsgrößen a ermittelt. Ausgangsgrößen a und Eingangsbilder e werden einem Beurteiler 74 zugeführt, der hieraus wie im Zusammenhang mit Figur 10 beschrieben neue Parameter q' ermittelt, die dem Parameterspeicher P übermittelt werden und dort Parameter q ersetzen.
Die vom Trainingsvorrichtung 141 ausgeführten Verfahren können als
Computerprogramm implementiert auf einem maschinenlesbaren
Speichermedium 146 hinterlegt sein und von einem Prozessor 145 ausgeführt werden.
Figur 10 illustriert das Zusammenspiel von Generator GEN, Kodierer ENC und Diskriminator DIS beim Training. Die hier dargestellte Anordnung von Generator GEN, Kodierer ENC und Diskriminator DIS wird in dieser Schrift auch als neuronales Netzwerksystem bezeichnet.
Zunächst wird der Diskriminator DIS trainiert. Die nachfolgenden Schritte zum Training des Diskriminators DIS können beispielsweise nDIS-fach wiederholt werden, wobei nDIS eine vorgebbare ganze Zahl ist. Zunächst wird ein Stapel (englisch:„batch“) realer Eingangsbilder x zur
Verfügung gestellt. Diese werden als mit einer (i.a.
Figure imgf000016_0001
unbekannten) Wahrscheinlichkeitsverteilung px bezeichnet. Diese Eingangsbilder x(i) sind reale Bilder, die beispielsweise aus einer Datenbank zur Verfügung gestellt werden. Die Gesamtheit dieser Eingangsbilder wird auch als
Trainingsdatensatz bezeichnet.
Ferner wird ein Stapel latenter Variablen z als , die zufällig aus
Figure imgf000016_0002
einer Wahrscheinlichkeitsverteilung pz gezogen wurden, bereitgestellt. Die Wahrscheinlichkeitsverteilung pz ist hierbei beispielsweise eine
(mehrdimensionale) Standard-Normalverteilung.
Ferner wird ein Stapel Zufallsvariablen als , die zufällig aus einer
Figure imgf000016_0003
Wahrscheinlichkeitsverteilung pÎ gezogen wurden, bereitgestellt. Die
Wahrscheinlichkeitsverteilung pÎ ist hierbei beispielsweise eine Gleichverteilung über dem Intervall [0; 1].
Die latenten Variablen z werden dem Generator GEN zugeführt und geben ein konstruiertes Eingangsbild
Figure imgf000016_0004
, also
Figure imgf000016_0005
Zwischen Eingangsbild x und konstruiertem Eingangsbild x wird mit der
Zufallsvariablen Î interpoliert, also
Figure imgf000016_0006
Mit einem vorgebbaren Gradientenkoeffizienten l, der z.B. als l = 10 gewählt sein kann, wird dann eine Diskriminator- Kostenfunktion
Figure imgf000016_0007
ermittelt. Neue Diskriminatorparameter können hieraus als
Figure imgf000016_0008
Ermittelt werden, wobei„Adam“ für ein Gradientenabstiegsverfahren steht. Damit endet dieses Training des Diskriminators DIS.
Anschließend werden Generator GEN und Kodierer ENC trainiert. Auch hier werden als reale Eingangsbilder und zufällig gewählte latente
Figure imgf000017_0001
Variablen zur Verfügung gestellt. Erneut wird
Figure imgf000017_0002
Figure imgf000017_0003
ermittelt. Hieraus wird eine rekonstruierte latente Variable
Figure imgf000017_0005
ermittelt, indem das konstruierte Bild
Figure imgf000017_0006
dem Kodierer ENC zugeführt wird, also
Figure imgf000017_0004
Ebenso wird wie in Figur 8 illustriert das Eingangsbild x mittels Kodierer ENC und Generator GEN versucht, zu rekonstruieren, also
Figure imgf000017_0007
Nun werden eine Generator- Kostenfunktion , eine Rekonstruktions-
Figure imgf000017_0012
Kostenfunktion
Figure imgf000017_0013
des Eingangsbildes x und eine Rekonstruktions- Kostenfunktion der latenten Variable z ermittelt als
Figure imgf000017_0014
Figure imgf000017_0008
Neue Generatorparameter und neue Kodiererparameter werden dann
Figure imgf000017_0011
Figure imgf000017_0010
ermittelt als
Figure imgf000017_0009
Neue Generatorparameter
Figure imgf000018_0001
, neue Kodiererparameter und neue
Figure imgf000018_0002
Diskriminatorparameter erstetzen dann die Generatorparameter qGEN ,
Figure imgf000018_0003
Kodiererparameter qENC und Diskriminatorparameter qDIS.
An dieser Stelle kann eine Konvergenz der Parameter 9 überprüft werden und ggf. das Trining des Diskriminators DIS und/oder von Generator GEN und Kodierer ENC wiederholt werden, bis Konvergenz vorliegt. Damit endet das Verfahren.
Figur 11 zeigt eine beispielhafte zweite Trainingsvorrichtung 140 zum Trainieren des neuronalen Netzes 60. Trainingsvorrichtung 140 umfasst einen Bereitsteller 72, der Eingangsbilder x und Soll-Ausgangsgrößen ys, beispielsweise Soll- Klassifikationen, bereitstellt. Eingangsbild x wird dem zu trainierenden künstlichen neuronalen Netz 60 zugeführt, das hieraus Ausgangsgrößen y ermittelt. Ausgangsgrößen y und Soll-Ausgangsgrößen ys werden einem Vergleicher 75 zugeführt, der hieraus abhängig von einer Übereinstimmung den jeweiligen Ausgangsgrößen y und Soll-Ausgangsgrößen ys neue Parameter F' ermittelt, die dem Parameterspeicher P übermittelt werden und dort Parameter F ersetzen.
Die vom Trainingssystem 140 ausgeführten Verfahren können als
Computerprogramm implementiert auf einem maschinenlesbaren
Speichermedium 148 hinterlegt sein und von einem Prozessor 147 ausgeführt werden.
Ein Datensatz umfassend Eingangsbilder x und zugehörige Soll- Ausgangsgrößen ys kann (z.B. von Bereitsteller 72) wie folgt augmentiert oder erzeugt werden. Zunächst wird ein Datensatz umfassend Eingangsbilde bereitgestellt. Diese sind nach vorgebbaren Ausprägungen (beispielhaft„A“ und „B“ genannt) eines Merkmals klassifiziert, beispielsweise können Fahrzeuge nach dem Merkmal„Scheinwerfer eingeschaltet“ bzw.„Scheinwerfer
ausgeschaltet“ klassifiziert sein, oder identifizierte Autos nach dem Typ „Limousine“ oder„Kombi“. Auch sind beispielsweise unterschiedliche
Ausprägungen des Merkmals„Haarfarbe“ bei erkannten Fußgängern möglich. Je nachdem, welche Ausprägung dieses Merkmal hat, werden die Eingangsbilder x(i) in zwei Mengen unterteilt, also IA = {i |x(i) hat die Ausprägung "A"} und IB = {i |x(i) hat die Ausprägung " B "}. Vorteilhafterweise werden diese Mengen noch dahingehend homogenisiert, dass für eine vorgebbare Menge anderer Merkmale, vorzugsweise aller anderen Merkmale, die Eingangsbilder x(i) die gleiche Ausprägung X haben, also
IA IA Ç {i |x(i) hat die Ausprägung X}
IB IB Ç {i |x(i) hat die Ausprägung X}
Mittels des Kodierers ENC werden für jedes der Eingangsbilder x(i) die zugehörigen latenten Variablen z(i) = ENC(x(i)) ermittelt.
Dann werden Mittelwerte der latenten Variablen über den Mengen ermittelt, also
Figure imgf000019_0001
Anschließend werden die Differenzen der Mittelwerte gebildet, also
Figure imgf000019_0002
Nun werden zu Bildern aus der Menge IA neue latente Variablen mit einem vorgebbaren Skalenfaktor « gebildet, der beispielsweise Werte zwischen 0 und 1 annehmen kann, also
Figure imgf000019_0003
Entsprechend können zu Bildern aus der Menge IB neue latente Variablen gebildet werden als
Figure imgf000019_0004
Hieraus können neue Bilder erzeugt werden mittels
Figure imgf000019_0005
Figure imgf000019_0006
Selbstverständlich müssen nicht ganze Bilder klassifiziert werden. Es ist möglich, dass mit einem Detektionsalgorithmus z.B. Bildausschnitte als Objekte klassifiziert werden, dass diese Bildausschnitte dann ausgeschnitten werden, ggf. ein neuer Bildausschnitt (entsprechend dem neuen Bild
Figure imgf000020_0001
) erzeugt wird und an Stelle des ausgeschnittenen Bildausschnitts in das zugehörige Bild eingesetzt wird. Auf diese Weise ist es beispielsweise möglich, in einem Bild mit einem detektierten Fußgänger selektiv die Haarfarbe dieses Fußgängers anzupassen.
Mit Ausnahme der Klassifikation des so zwischen Ausprägung„A“ und „B“ variierten Merkmals kann die zugehörige Soll-Ausgangsgröße ys unverändert übernommen werden. So kann der augmentierte Datensatz erzeugt und damit das neuronale Netz 60 trainiert werden. Damit endet das Verfahren.
Der Begriff„Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus
Software und Hardware.

Claims

Ansprüche
1. Computerimplementiertes neuronales Netzwerksystem, umfassend ein
erstes maschinelles Lernsystem, insbesondere ein erstes neuronales Netzwerk, (GEN), ein zweites maschinelles Lernsystem, insbesondere ein zweites neuronales Netzwerk (ENC) und ein drittes maschinelles
Lernsystem, insbesondere ein drittes neuronales Netzwerk (DIS), wobei das erste maschinelle Lernsystem (GEN) ausgebildet ist, aus einem vorgebbaren niederdimensionalen latenten Variable (z) ein höherdimensionales konstruiertes Bild
Figure imgf000021_0001
zu ermitteln, wobei das zweite maschinelle Lernsystem (ENC) ausgebildet ist, aus dem höherdimensionalen konstruierten Bild
Figure imgf000021_0002
wieder die latente Variable (z) zu ermitteln, und wobei das dritte maschinelle Lernsystem (DIS) ausgebildet ist, zu unterscheiden, ob ein ihm zugeführtes Bild ein reales Bild (x) ist, oder nicht.
2. Verfahren zum Trainieren des neuronalen Netzwerksystems (61) nach
Anspruch 1, wobei das erste maschinelle Lernsystem (GEN) dahingehend trainiert wird, dass eine Aktivierung ( DISl ) in einer vorgebbaren
Merkmalskarte der Merkmalskarten des dritten maschinellen Lernsystems (DIS) möglichst den gleichen Wert annimmt, wenn ihm ein reales Bild (x) bzw. ein von einer Hintereinanderschaltung aus zweitem maschinellem Lernsystem (ENC) und erstem maschinellem Lernsystem (GEN)
rekonstruiertes Bild
Figure imgf000021_0003
des realen Bildes (x) zugeführt wird.
3. Verfahren nach Anspruch 2, wobei das erste maschinelle Lernsystem (GEN) auch dahingehend trainiert wird, dass das dritte maschinelle Lernsystem (DIS) möglichst nicht erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem (GEN) generiertes Bild
Figure imgf000021_0004
kein reales Bild ist.
4. Verfahren nach Anspruch 2 oder 3, wobei das zweite maschinelle
Lernsystem (ENC) dahingehend trainiert wird, dass eine von einer
Hintereinanderschaltung aus erstem maschinellem Lernsystem (GEN) und zweitem maschinellen Lernsystem (ENC) ermittelte Rekonstruktion
Figure imgf000021_0005
der latenten Variable (z) möglichst der latenten Variable (z) gleicht.
5. Verfahren nach einem der Ansprüche 2 bis 4, wobei das dritte maschinelle Lernsystem (DIS) dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes vom ersten maschinellen Lernsystem (GEN) generiertes Bild
Figure imgf000022_0001
kein reales Bild ist.
6. Verfahren nach Anspruch 5, wobei das dritte maschinelle Lernsystem (DIS) auch dahingehend trainiert wird, dass es möglichst erkennt, dass ein ihm zugeführtes reales Bild (x) ein reales Bild ist.
7. Trainingsvorrichtung (141), die eingerichtet ist, das Verfahren nach einem der Ansprüche 2 bis 6 auszuführen.
8. Verfahren zum Überwachen der korrekten Funktionsweise eines
maschinellen Lernsystems (60), insbesondere eines vierten neuronalen Netzes, zur Klassifikation und/oder semantischen Segmentierung eines ihm zugeführten Eingangsbilds (x), wobei einer Überwachungseinheit (61), welche das mit dem Verfahren nach einem der Ansprüche 2 bis 6 trainierte erste maschinelle Lernsystem (GEN) und zweite maschinelle Lernsystem (ENC) des neuronalen Netzwerkssystems nach Anspruch 1 umfasst, wobei das Eingangsbild (x) dem zweiten maschinellen Lernsystem (ENC) zugeführt wird, das hieraus eine niederdimensionale latente Variable (z) ermittelt, aus der das erste maschinelle Lernsystem (GEN) eine Rekonstruktion des Eingangsbilds (x) ermittelt, wobei abhängig von Eingangsbild (x) und rekonstruiertem Eingangsbild
Figure imgf000022_0002
entschieden wird, ob das maschinelle Lernsystem (60) robust ist, oder nicht.
9. Verfahren nach Anspruch 8, wobei die Überwachungseinheit (61) auch das dritte maschinelle Lernsystem (DIS) des neuronalen Netzwerksystems nach Anspruch 1 umfasst, wobei abhängig davon entschieden wird, ob das maschinelle Lernsystem (60) robbst ist, oder nicht, welchen Wert (DISl(x)) die die Aktivierung ( DISl) in der vorgebbaren Merkmalskarte des dritten maschinellen Lernsystems (DIS) annimmt, wenn ihm das Eingangsbild (x) zugeführt wird und welchen Wert
Figure imgf000022_0003
die die Aktivierung ( DISl) in der vorgebbaren Merkmalskarte des dritten maschinellen Lernsystems (DIS) annimmt, wenn ihm das rekonstruierte Eingangsbild
Figure imgf000023_0003
zugeführt wird.
10. Verfahren nach Anspruch 8 oder 9, wobei das maschinelle Lernsystem (60) und das neuronale Netzwerksystem mit Datensätzen, die die gleichen Eingangsbilder (x) umfassen, trainiert wurden.
11. Verfahren nach einem der Ansprüche 8 bis 10, wobei ein Ansteuersignal (A) zur Ansteuerung eines Aktors (10), welches abhängig von einem
Ausgangssignal (y) des maschinellen Lernsystems (60) bereitgestellt wird, abhängig davon gewählt wird, ob entschieden wurde, dass das maschinelle Lernsystem (60) robust ist, oder nicht.
12. Überwachungseinheit (61), die eingerichtet ist, das Verfahren nach einem der Ansprüche 8 bis 11 auszuführen.
13. Verfahren zum Erzeugen eines augmentierten Trainingsdatensatzes
umfassend Eingangsbilder (x(i)) zum Trainieren eines maschinellen
Lernsystem (60), welches eingerichtet ist zur Klassifikation und/oder semantischen Segmentierung von Eingangsbildern (x), wobei mittels des zweiten maschinellen Lernsystems (ENC) des neuronalen Netzwerksystems nach Anspruch 1, das insbesondere mit dem Verfahren nach einem der Ansprüche 2 bis 6 trainiert wurde, jeweils latente Variablen (z(i)) aus den Eingangsbildern (x(i)) ermittelt werden, wobei die Eingangsbilder (x(i)) abhängig von ermittelten Merkmalsausprägungen ihrer Bilddaten klassifiziert werden, und wobei ein augmentiertes Eingangsbild des augmentierten
Figure imgf000023_0001
Trainingsdatensatzes aus wenigstens einem der Eingangsbilder (x(i)) abhängig von durchschnittlichen Werten
Figure imgf000023_0002
der ermittelten latenten Variablen (z(i)) in wenigstens zwei der Klassen ermittelt wird.
14. Verfahren nach Anspruch 13, wobei die Bildklassen derart gewählt werden, dass die darin einklassifizierten Eingangsbilder (x(i)) bezüglich ihrer Ausprägungen in einer vorgebbaren Menge anderer Merkmale
übereinstimmen.
15. Verfahren nach einem der Ansprüche 13 bis 14, wobei das augmentierte Eingangsbild mittels des ersten maschinellen Lernsystems (GEN) des
Figure imgf000024_0001
neuronalen Netzwerksystems nach Anspruch 1, das insbesondere mit dem Verfahren nach einem der Ansprüche 2 bis 6 trainiert wurde, abhängig von einer ermittelten augmentierten latenten Variable ermittelt wird.
Figure imgf000024_0002
16. Verfahren nach Anspruch 15, wobei die augmentierte latente Variable
Figure imgf000024_0003
aus einer vorgebbaren der ermittelten latenten Variablen (z(i)) und einer Differenz (vA-B) der durchschnittlichen Werte ermittelt wird.
Figure imgf000024_0004
17. Verfahren nach Anspruch 16, wobei die Differenz (vA-B) mit einem
vorgebbaren Gewichtsfaktor (a) gewichtet wird.
18. Verfahren nach einem der Ansprüche 13 bis 17, wobei das maschinelle Lernsystem (60) dann mit dem erzeugten augmentierten Trainingsdatensatz trainiert wird, wenn die Überwachung mit dem Verfahren nach einem der Ansprüche 8 bis 10 ergeben hat, dass das maschinelle Lernsystem (60) nicht robust ist.
19. Trainingsvorrichtung (140), welche eingerichtet ist, das Verfahren nach
einem der Ansprüche 13 bis 18 auszuführen.
20. Computerprogramm, welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 6 oder 8 bis 11 oder 13 bis 18 auszuführen.
21. Maschinenlesbares Speichermedium (46, 146, 148), auf dem das
Computerprogramm nach Anspruch 20 gespeichert ist.
PCT/EP2020/066085 2019-06-28 2020-06-10 Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes WO2020260020A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/596,126 US20220222929A1 (en) 2019-06-28 2020-06-10 Method and device for testing the robustness of an artificial neural network
CN202080046927.2A CN114008633A (zh) 2019-06-28 2020-06-10 用于检验人工神经网络的稳健性的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019209565.8A DE102019209565A1 (de) 2019-06-28 2019-06-28 Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102019209565.8 2019-06-28

Publications (1)

Publication Number Publication Date
WO2020260020A1 true WO2020260020A1 (de) 2020-12-30

Family

ID=71092527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/066085 WO2020260020A1 (de) 2019-06-28 2020-06-10 Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes

Country Status (4)

Country Link
US (1) US20220222929A1 (de)
CN (1) CN114008633A (de)
DE (1) DE102019209565A1 (de)
WO (1) WO2020260020A1 (de)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11983630B2 (en) 2023-01-19 2024-05-14 Tesla, Inc. Neural networks for embedded devices

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403496B2 (en) * 2020-11-04 2022-08-02 Silicon Laboratories Inc. Detecting anomalous events in a discriminator of an embedded device
DE102021127958A1 (de) 2021-10-27 2023-04-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Computerimplementiertes Verfahren zum Training einer künstlichen Intelligenz
DE102021213392A1 (de) 2021-11-29 2023-06-01 Continental Autonomous Mobility Germany GmbH Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems
CN116912633B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 目标追踪模型的训练方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3477553B1 (de) * 2017-10-27 2023-08-30 Robert Bosch GmbH Verfahren zum erfassen eines anomalen bildes unter einem ersten datensatz von bildern mit einem kontradiktorischen autoencoder

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAN HENDRIK METZEN ET AL: "On Detecting Adversarial Perturbations", 21 February 2017 (2017-02-21), arXiv.org, pages 1 - 12, XP055539598, Retrieved from the Internet <URL:https://arxiv.org/abs/1702.04267> [retrieved on 20190109] *
JIANMIN BAODONG CHENFANG WENHOUQIANG LIGANG HUA: "CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training", ARXIV PREPRINT ARXIV: 1703.10155, 2017
XIANXU HOU ET AL: "Improving Variational Autoencoder with Deep Feature Consistent and Generative Adversarial Training", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 June 2019 (2019-06-04), XP081373410, DOI: 10.1016/J.NEUCOM.2019.03.013 *
XIAOYONG YUAN ET AL: "Adversarial Examples: Attacks and Defenses for Deep Learning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 December 2017 (2017-12-19), XP081106322 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11983630B2 (en) 2023-01-19 2024-05-14 Tesla, Inc. Neural networks for embedded devices

Also Published As

Publication number Publication date
CN114008633A (zh) 2022-02-01
US20220222929A1 (en) 2022-07-14
DE102019209565A1 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2020260020A1 (de) Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes
WO2020260016A1 (de) Verfahren und vorrichtung zum trainieren eines maschinellen lernsystems
DE202020101012U1 (de) Vorrichtung zum Vorhersagen einer geeigneten Konfiguration eines maschinellen Lernsystems für einen Trainingsdatensatz
WO2020126378A1 (de) Verfahren zum trainieren eines neuronalen netzes
DE102020211849A1 (de) Trainieren eines maschinellen lernmodells unter verwendung eines batch-basierten aktiven lernansatzes
WO2020173700A1 (de) Verfahren und vorrichtung zum betreiben eines steuerungssystems
DE102018218834A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Ansteuersignals
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102020208309A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE102020208828A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE202020104005U1 (de) Vorrichtung zum Erstellen eines Systems zum automatisierten Erstellen von maschinellen Lernsystemen
DE102018216078A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
EP3899809A1 (de) Verfahren und vorrichtung zum klassifizieren von sensordaten und zum ermitteln eines ansteuersignals zum ansteuern eines aktors
EP3973466A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102018121317A1 (de) Verfahren und Vorrichtung zur Schätzung einer durch eine Freiraumgeste vermittelten Richtungsinformation zur Bestimmung einer Benutzereingabe an einer Mensch-Maschine-Schnittstelle
DE102020211714A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE102022204263A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
DE102021209212A1 (de) Verfahren und Vorrichtung zum Ermitteln von Objektdetektionen eines Bildes
DE102021214329A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Abdeckung eines Datensatzes für ein maschinelles Lernsystem hinsichtlich Trigger Events
DE202020105509U1 (de) Vorrichtung zum Anlernen eines maschinellen Lernsystems
DE102020202392A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Vorhersagen einer geeigneten Konfiguration eines maschinellen Lernsystems für einen Trainingsdatensatz
DE102022110870A1 (de) Verfahren und Trainingseinrichtung zum Trainieren eines Maschinenlernmodells durch effizientes unsicherheitsbasiertes Bereitstellen von Trainingsdaten
DE102020204005A1 (de) Verfahren und Vorrichtung zum Training eines Bildklassifikators
DE102021129864A1 (de) Verfahren und System zur Annotation von Sensordaten
DE102021204611A1 (de) Computerimplementiertes Verfahren zur Erzeugung von Trainingsdaten für die Verwendung im Bereich der Fahrzeuginsassenbeobachtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20732559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20732559

Country of ref document: EP

Kind code of ref document: A1