WO2022129203A1 - Verfahren zum trainieren eines ml-systems, ml-system, computerprogramm, maschinenlesbares speichermedium und vorrichtung - Google Patents

Verfahren zum trainieren eines ml-systems, ml-system, computerprogramm, maschinenlesbares speichermedium und vorrichtung Download PDF

Info

Publication number
WO2022129203A1
WO2022129203A1 PCT/EP2021/085951 EP2021085951W WO2022129203A1 WO 2022129203 A1 WO2022129203 A1 WO 2022129203A1 EP 2021085951 W EP2021085951 W EP 2021085951W WO 2022129203 A1 WO2022129203 A1 WO 2022129203A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss function
artificial neural
neural network
output
function
Prior art date
Application number
PCT/EP2021/085951
Other languages
English (en)
French (fr)
Inventor
Rolf Michael KOEHLER
Pia PETRIZIO
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN202180084216.9A priority Critical patent/CN116615732A/zh
Priority to US18/256,924 priority patent/US20240028891A1/en
Publication of WO2022129203A1 publication Critical patent/WO2022129203A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Definitions

  • the present invention relates to a method for training a machine learning system (ML system), in particular an artificial neural network, in particular for the classification of sensor data.
  • ML system machine learning system
  • an artificial neural network in particular for the classification of sensor data.
  • the present invention relates to a corresponding ML system, computer program, machine-readable storage medium and a corresponding device.
  • a common loss function (e.g. for a classification task) is the cross-entropy loss function.
  • this loss function is preceded by a softmax function or layer that normalizes the incoming data using the following function:
  • the softmax function ensures that each value of the output data or output vector is between [0,1] and that the sum of all output vector values is 1. This softmax function is often expensive or impossible to compute on inference hardware because it has exponential terms.
  • the calculation of the loss function is no longer required.
  • the softmax function could also be omitted, but this results in different output ranges.
  • the normalized output is required in particular for a classification task (e.g. pixel-by-pixel classification in semantic segmentation; the object classification of objects in bounding boxes). For example, in the pixel-by-pixel classification, each pixel is normalized individually. After this normalization, the class values can be compared between pixels. If a semantic segmentation network outputs 5 classes, there will be a class score for each of these 5 classes. If these pixel values are not normalized, it is difficult to compare them between pixels, since the scores for each pixel are not guaranteed to be in the same range. For the classification of bounding box objects, it is important that the scores are also normalized, since there is usually a threshold that excludes boxes where there is not a single object class that scores above a certain threshold.
  • the present invention provides a method for training an ML system as a function of a first loss function and a second loss function, the first loss function being calculated as a function of the output of the artificial neural network.
  • the method is characterized in that the second loss function is designed in such a way that the output of the artificial neural network is essentially normalized.
  • a system of machine learning can in this case be a system for the artificial creation of knowledge from information, e.g.
  • training data can be understood. Such a system “learns” from the comparison of input data and the output data expected for this input data.
  • artificial intelligence can be counted among the systems of machine learning.
  • artificial neural networks are among the systems of machine learning (ML systems).
  • an artificial neural network can be understood to mean a network of artificial neurons for information processing.
  • Artificial neural networks essentially go through three phases. In an initial phase, a basic topology is specified, mostly depending on the task. This is followed by a training phase in which the basic topology for efficiently solving the task is learned using training data. The topology of the network can also be adapted within the training phase. The output data of the taught-in network then represent the output data searched for according to the task.
  • the ML system of the present invention in particular the artificial neural networks, are suitable for the classification of sensor data.
  • the sensor data can be data from sensors from the automotive sector. This includes, for example, video, radar, lidar, ultrasonic, infrared sensors as well as thermal imaging cameras.
  • the method of the present invention thereby solves the task of ensuring that the output of the ML system is already normalized by the training of the ML system. i.e. e.g. that the sum of the output values along a dimension (in the case of a classification task to be solved or semantic segmentation) is 1 or comes close to the value 1.
  • a softmax function approximation artificial neural network is applied to the output of the artificial neural network to calculate the second loss function.
  • This embodiment has the advantage that the exponential terms can be dispensed with in a network for approximating a softmax function.
  • the output of the artificial neural network is summed along at least one dimension.
  • the second loss function is designed such that the output of the artificial neural network sums to 1.
  • a softmax function approximation artificial neural network is applied to the output of the artificial neural network to calculate the first loss function.
  • a soft max function is applied to the output of the artificial neural network to calculate the second loss function.
  • This embodiment is characterized in that the second loss function is designed in such a way that the output of the artificial neural network approximates the output of the softmax function.
  • Another aspect of the present invention is an ML system trained according to the method according to the present invention.
  • a system of machine learning can in this case be a system for the artificial creation of knowledge from information, e.g.
  • training data can be understood. Such a system “learns” from the comparison of input data and expected output data.
  • artificial intelligence can be counted among the systems of machine learning.
  • artificial neural networks are among the systems of machine learning (ML systems).
  • the output of the ML system according to the present invention can be used to control an actuator or to generate a control signal for controlling an actuator.
  • an actuator can be understood to mean a robot.
  • a robot can be an at least partially automated vehicle or a part of such a vehicle, such as a longitudinal or lateral control system.
  • the method for training an ML system can be part of a method which in a first step involves training an ML system and in a second step controlling an actuator or robot depending on the output of the ML system includes.
  • a further aspect of the present invention is a computer program which is set up to carry out the method according to the present invention.
  • Another aspect of the present invention is a machine-readable storage medium on which the computer program according to the present invention is stored.
  • a further aspect of the present invention is a device which is set up to carry out the method according to the present invention.
  • FIG. 1 shows a flow chart of an embodiment of the training method according to the present invention
  • FIG. 2 shows a flow chart of an embodiment of the manufacturing method according to the present invention
  • Fig. 3 is a block diagram of a first embodiment of the present invention.
  • Fig. 4 is a block diagram of the second embodiment of the present invention.
  • Fig. 5 is a block diagram of the third embodiment of the present invention.
  • FIG. 1 shows a flow chart of an embodiment of the training method (100) according to the present invention.
  • This flow chart describes a possibility of introducing a second loss function according to the present invention into the training of an ML system in order to achieve the object of the present invention.
  • the usual loss function for training an ML system for a classification task is calculated.
  • This usual loss function can be, for example, the cross entropy loss function.
  • step 102 the output data of the network to be trained are recorded before a softmax function is applied.
  • This output data can be present in a tensor with the dimensions H x W x C.
  • step 103 a l x l operation with a filter of dimensions 1 x 1 x C is applied to the output data extracted in step 102.
  • the coefficients of the filter can each be 1. This step leads to a summation of the output data along the dimension C.
  • the resulting feature map has the dimension H x W.
  • step 104 a filter with the dimensions H ⁇ W is subtracted from the resulting feature map.
  • the coefficients of the filter each have the value 1, so the filter is a unit matrix with the dimensions H x W.
  • step 105 a norm, for example the L2 norm, is applied to the result of the subtraction of step 104.
  • step 106 the network to be trained is trained as a function of a total loss function, which is composed of the usual loss function according to step 101 and the result after applying the standard according to step 105 105 must be taken into account accordingly in the composition of the total loss functions.
  • FIG. 2 shows a flow chart of a method according to the present invention.
  • step 201 the ML system, e.g. an artificial neural network, is trained according to the training method of the present invention.
  • step 202 the output of the trained ML system is used to control an actuator.
  • An actuator can be understood to mean a robot.
  • a robot can be an at least partially automated vehicle or a part of such a vehicle, such as a longitudinal or lateral control system.
  • Figure 3 shows a block diagram of a first embodiment of the present invention.
  • Input data 30 are supplied to the artificial neural network 3 to be trained.
  • the input data 30 are converted into output data 35 by the network 3 .
  • the output data 35 are shown as a tensor with the dimensions H ⁇ W ⁇ C.
  • the network 3 is trained, for example, for the classification of image data.
  • the possible classes can be plotted in dimension C.
  • a probability of belonging to the respective class can be entered in the dimensions H ⁇ W for each pixel of the input data.
  • a softmax function is performed on the output data 35 in order to obtain normalized output data 35'.
  • the normalized output data is fed to a first loss function L ce .
  • a conventional loss function such as the cross-entropy loss function, can be used as the first loss function L ce .
  • the embodiment of the present invention is based on the knowledge that for the subsequent inference of the trained network 3 the application of the softmax function can be dispensed with if a second loss function L a dd is provided within the framework of the training, which is designed in such a way that which the values of the output data 35 along dimension C sum to 1.
  • the second loss function L a dd is shown to be an L2 norm, represented by the double bars, which returns the distance to an identity matrix 36 of dimensions H x W.
  • a filter 37 with the dimensions 1 ⁇ 1 ⁇ C is applied to the output data 35 .
  • the filter is designed such that the output data 35 is summed along the C dimension.
  • the coefficients of the filter can be 1. It is also conceivable that the coefficients of the filter are also trained. To do this, it is advisable to initialize the coefficients with the value 1 first.
  • the trained network 3 is transmitted to the inference hardware for the inference.
  • Figure 4 shows a block diagram of a second embodiment of the present invention.
  • the application of the softmax function is dispensed with as part of the training of the artificial neural network 3 .
  • the approximated output data 35'' is fed to both a first loss function L ce and a second loss function L a dd.
  • the first loss function L ce can be a usual loss function, for example a cross-entropy loss function can be used
  • the second loss function L a dd is shown to be an L2 norm, represented by the double bars, which returns the distance to an identity matrix 36 of dimensions H x W.
  • a filter 37 with the dimensions 1 ⁇ 1 ⁇ C is applied to the approximated output data 35′′.
  • the filter is designed such that the approximated output data 35'' is summed along the C dimension.
  • the coefficients of the filter can be 1. It is also conceivable that the coefficients of the filter are also trained. To do this, it is advisable to initialize the coefficients with the value 1 first.
  • FIG. 5 shows a block diagram of a third embodiment of the present invention.
  • a softmax function is applied to output data 35 of the network 3 to be trained for the supply to the first loss function in order to obtain normalized output data 35'.
  • a conventional loss function such as the cross-entropy loss function, can be used as the first loss function L ce .
  • the output data 35 is supplied to a further artificial neural network 4, which is trained in such a way that it outputs an approximation of the softmax function.
  • the normalized output data 35′ which are also supplied to the first loss function L ce , are also supplied to the second loss function L a dd.
  • the second loss function L a dd can be the L2 norm, as in the previously described embodiments. In the present case, this is used for the approximated output data 35'' to approximate the normalized output data 35'.
  • the trained network 3 and the artificial neural network for approximating a softmax function 4 are transferred to the inference hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zum Trainieren (100) eines ML-Systems (3), insbesondere eines künstlichen neuronalen Netzwerks, insbesondere zur Klassifikation von Sensordaten, in Abhängigkeit von einer ersten Verlustfunktion (Lce) und von einer zweiten Verlustfunktion (Ladd), wobei die erste Verlustfunktion (Lce) in Abhängigkeit von der Ausgabe (35) des künstlichen neuronalen Netzwerks (3) berechnet wird, dadurch gekennzeichnet, dass die zweite Verlustfunktion (Ladd) derart gestaltet ist, dass die Ausgabe (35 35', 35'') des künstlichen neuronalen Netzes (3) im Wesentlichen normalisiert wird.

Description

Beschreibung
Titel
Verfahren zum Trainieren eines ML-Systems, ML-System, Computerprogramm, maschinenlesbares Speichermedium und Vorrichtung
Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines Systems des maschinellen Lernens (ML-System), insbesondere eines künstlichen neuronalen Netzes, insbesondere zur Klassifikation von Sensordaten.
Ferner betrifft die vorliegende Erfindung ein entsprechendes ML-System, Computerprogramm, maschinenlesbares Speichermedium und eine entsprechende Vorrichtung.
Stand der Technik
Beim Training eines künstlichen neuronalen Netzes ist eine gängige Verlustfunktion (z. B. für eine Klassifizierungsaufgabe) die Cross- Entropy- Verlustfunktion. Üblicherweise wird dieser Verlustfunktion eine Softmax- Funktion bzw. -Schicht vorangestellt, die die eingehenden Daten normalisiert, indem sie folgende Funktion verwendet:
Figure imgf000003_0001
Die Softmax- Funktion sorgt dafür, dass jeder Wert der Ausgabedaten bzw. des Ausgabevektors zwischen [0,1] liegt und dass die Summe aller Ausgangsvektorwerte 1 ist. Diese Softmax- Funktion ist oft teuer oder unmöglich auf der Inferenzhardware zu berechnen, da sie Exponentialterme aufweist.
Beim Ausführen des trainierten neuronalen Netzes auf der Inferenzhardware, insbesondere beim Ausführen des Vorwärtspasses auf der Inferenzhardware, wird die Berechnung der Verlustfunktion nicht mehr benötigt. Die Softmax- Funktion könnte auch weggelassen werden, dies führt jedoch zu unterschiedlichen Ausgabebereichen.
Insbesondere bei einer Klassifikationsaufgabe (z. B. pixelweise Klassifikation bei der semantischen Segmentierung; der Objektklassifikation von Objekten in Bounding-Boxen), wird die normalisierte Ausgabe benötigt. So wird bspw. bei der pixelweisen Klassifikation jeder Pixel einzeln normalisiert. Nach dieser Normalisierung können die Klassenwerte zwischen den Pixeln verglichen werden. Wenn ein semantisches Segmentierungsnetz 5 Klassen ausgibt, wird es für jede dieser 5 Klassen einen Klassenscore geben. Wenn diese Pixelwerte nicht normalisiert werden, ist es schwierig, diese zwischen den Pixeln zu vergleichen, da nicht gewährleistet ist, dass die Scores für jeden Pixel in demselben Bereich liegen. Für die Klassifizierung von Bounding-Box Objekten ist es wichtig, dass die Scores auch normalisiert werden, da es normalerweise einen Schwellenwert gibt, der Boxen ausschließt, in denen es keine einzige Objektklasse gibt, deren Punktzahl einen bestimmten Schwellenwert überschreitet.
Offenbarung der Erfindung
Vor diesem Hintergrund schafft die vorliegende Erfindung ein Verfahren zum Trainieren eines ML-Systems in Abhängigkeit von einer ersten Verlustfunktion und von einer zweiten Verlustfunktion, wobei die erste Verlustfunktion in Abhängigkeit von der Ausgabe des künstlichen neuronalen Netzwerks berechnet wird. Das Verfahren zeichnet sich dadurch aus, dass die zweite Verlustfunktion derart gestaltet ist, dass die Ausgabe des künstlichen neuronalen Netzes im Wesentlichen normalisiert wird.
Unter einem System des maschinellen Lernens (ML-System) kann vorliegend ein System zur künstlichen Schaffung von Wissen aus Informationen, bspw.
Trainingsdaten verstanden werden. Ein solches System „lernt“ aus dem Abgleich von Eingangsdaten und den zu diesen Eingangsdaten erwarteten Ausgangsdaten.
So kann bspw. eine künstliche Intelligenz zu den Systemen des maschinellen Lernens gezählt werden. Insbesondere zählen künstliche neuronale Netze zu den Systemen des maschinellen Lernens (ML-Systeme).
Unter einem künstlichen neuronalen Netz kann vorliegend ein Netz aus künstlichen Neuronen zur Informationsverarbeitung verstanden werden. Künstliche neuronale Netze durchleben im Wesentlichen drei Phasen. In einer initialen Phase wird eine Basistopologie, meist abhängig von der Aufgabenstellung, vorgegeben. Danach folgt eine Trainingsphase, in der die Basistopologie zur effizienten Lösung der Aufgabenstellung mittels Trainingsdaten angelernt wird. Innerhalb der Trainingsphase kann auch die Topologie des Netzes angepasst werden. Die Ausgabedaten des angelernten Netzes stellen dann gemäß der Aufgabestellung gesuchten Ausgabedaten dar.
Die ML-System der vorliegenden Erfindung, insbesondere die künstlichen neuronalen Netze eignen sich zur Klassifikation von Sensordaten.
Bei den Sensordaten kann es sich vorliegend um Daten von Sensoren aus dem Automobilbereich handeln. Darunter fallen bspw. Video-, Radar-, Lidar-, Ultraschall-, Infrarot-Sensoren wie auch Wärmebildkameras.
Das Verfahren der vorliegenden Erfindung löst dabei die Aufgabe, sicherzustellen, dass bereits durch das Training des ML-Systems die Ausgabe des ML-Systems normalisiert ist. D. h. bspw., dass die Summe der Ausgabewerte entlang einer Dimension (im Falle einer durch das ML-System zu lösenden Klassifikationsaufgabe bzw. semantischen Segmentierung) 1 beträgt bzw. dem Wert 1 nahekommt.
Dies wird insbesondere durch die Einführung der zweiten Verlustfunktion erreicht.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung wird zur Berechnung der zweiten Verlustfunktion auf die Ausgabe des künstlichen neuronalen Netzes ein künstliches neuronales Netz zur Annäherung einer Softmax- Funktion angewendet.
Diese Ausführungsform birgt den Vorteil, dass bei einem Netz zur Annäherung einer Softmax- Funktion auf die Exponentialterme verzichtet werden kann.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung wird zur Berechnung der zweiten Verlustfunktion die Ausgabe des künstlichen neuronalen Netzes entlang mindestens einer Dimension aufsummiert.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung ist die zweite Verlustfunktion derart gestaltet, dass sich die Ausgabe des künstlichen neuronalen Netzes zu 1 aufsummiert.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung wird zur Berechnung der ersten Verlustfunktion auf die Ausgabe des künstlichen neuronalen Netzes ein künstliches neuronales Netz zur Annäherung einer Softmax- Funktion angewendet.
Nach einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung wird zur Berechnung der zweiten Verlustfunktion auf die Ausgabe des künstlichen neuronalen Netzes eine Softmax- Funktion angewendet.
Diese Ausführungsform zeichnet sich dadurch aus, dass die zweite Verlustfunktion derart gestaltet ist, dass sich die Ausgabe des künstlichen neuronalen Netzes der Ausgabe der Softmax- Funktion annähert. Ein weiterer Aspekt der vorliegenden Erfindung ist ein ML-System trainiert nach dem Verfahren gemäß der vorliegenden Erfindung.
Unter einem System des maschinellen Lernens (ML-System) kann vorliegend ein System zur künstlichen Schaffung von Wissen aus Informationen, bspw.
Trainingsdaten verstanden werden. Ein solches System „lernt“ aus dem Abgleich von Eingangsdaten und erwarteten Ausgangsdaten.
So kann bspw. eine künstliche Intelligenz zu den Systemen des maschinellen Lernens gezählt werden. Insbesondere zählen künstliche neuronale Netze zu den Systemen des maschinellen Lernens (ML-Systeme).
Die Ausgabe des ML-Systems gemäß der vorliegenden Erfindung kann verwendet werden, um einen Aktuator zu steuern bzw. ein Steuersignal zum Steuern eines Aktors zu erzeugen.
Unter einem Aktuator kann vorliegend ein Roboter verstanden werden. Bei einem solchen Roboter kann es sich vorliegend um ein zumindest teilweise automatisiertes Fahrzeug bzw. um einen Teil eines solchen Fahrzeugs, wie bspw. einen Längs- oder Quersteuerungssystem handeln.
Zur Klarstellung, das Verfahren zum Training eines ML-Systems gemäß der vorliegenden Erfindung kann Teil eines Verfahrens sein, welches in einem ersten Schritt das Training eines ML-Systems und in einem zweiten Schritt die Steuerung eines Aktuators bzw. Roboters in Abhängigkeit von der Ausgabe des ML-Systems umfasst.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist, das Verfahren gemäß der vorliegenden Erfindung auszuführen. Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung, welche eingerichtet ist, das Verfahren gemäß der vorliegenden Erfindung auszuführen.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
Fig. 1 ein Ablaufdiagramm einer Ausführungsform des Trainingsverfahrens gemäß der vorliegenden Erfindung;
Fig. 2 ein Ablaufdiagramm einer Ausführungsform des Herstellungsverfahrens gemäß der vorliegenden Erfindung;
Fig. 3 ein Blockdiagramm einer ersten Ausführungsform der vorliegenden Erfindung;
Fig. 4 ein Blockdiagramm zweiten Ausführungsform der vorliegenden Erfindung;
Fig. 5 ein Blockdiagramm dritten Ausführungsform der vorliegenden Erfindung.
Figur 1 zeigt ein Ablaufdiagramm einer Ausführungsform des Trainingsverfahrens (100) gemäß der vorliegenden Erfindung. Dieses Ablaufdiagramm beschreibt eine Möglichkeit eine zweite Verlustfunktion gemäß der vorliegenden Erfindung in das Training eines ML-Systems einzuführen, um die Aufgabe der vorliegenden Erfindung zu lösen. In Schritt 101 wird die übliche Verlustfunktion zum Training eines ML-Systems für eine Klassifikationsaufgabe berechnet. Bei dieser üblichen Verlustfunktion kann es sich bspw. um die Cross- Entropy- Verlustfunktion handeln.
In Schritt 102 werden die Ausgabedaten des zu trainierend Netzes vor Anwendung einer Softmax- Funktion aufgenommen. Dies Ausgabedaten können dabei in einem Tensor mit den Dimensionen H x W x C vorliegend.
In Schritt 103 wird eine l x l Operation mit einem Filter mit den Dimensionen 1 x 1 x C auf die in Schritt 102 entnommenen Ausgabedaten angewendet. Die Koeffizienten des Filters können dabei jeweils 1 sein. Dieser Schritt für zu einem Aufsummieren der Ausgabedaten entlang der Dimension C. Die dabei entstehende Featuremap weist die Dimension H x W auf.
In Schritt 104 wird von der entstandenen Featuremap ein Filter mit den Dimensionen H x W subtrahiert. Dabei haben die Koeffizienten des Filters jeweils den Wert 1, mithin handelt es sich bei dem Filter um eine Einheitsmatrix mit den Dimensionen H x W.
In Schritt 105 wird auf das Ergebnis der Subtraktion des Schrittes 104 eine Norm, bspw. die L2-Norm angewendet.
In Schritt 106 wird das zu trainierende Netz in Abhängigkeit von einer Gesamtverlustfunktion trainiert, die sich zusammensetzt aus der üblichen Verlustfunktion gemäß Schritt 101 und dem Ergebnis nach Anwendung der Norm gemäß Schritt 105. Ferner kann durch ein entsprechen gewählter Gewichtsfaktor w das Ergebnis der Norm gemäß Schritt 105 bei der Zusammensetzung der Gesamtverlustfunktionen entsprechend berücksichtigt werden.
Denkbar ist, dass der Gewichtsfaktor über das Training hinweg konstant bleibt. Ebenso ist denkbar, dass der Gewichtsfaktor über das Training hinweg zunimmt. Ferner ist denkbar, dass der Gewichtsfaktor über das Training hinweg derart angepasst wird, dass der Einfluss des Ergebnisses der Norm gemäß Schritt 105 in den letzten Trainingsepochen stärker ist. Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens gemäß der vorliegenden Erfindung.
In Schritt 201 wird das ML-System, bspw. ein künstliches neuronales Netz gemäß dem Trainingsverfahren der vorliegenden Erfindung trainiert.
In Schritt 202 wird die Ausgabe des trainierten ML-Systems genutzt, um einen Aktuator zu steuern.
Unter einem Aktuator kann dabei ein Roboter verstanden werden. Bei einem solchen Roboter kann es sich vorliegend um ein zumindest teilweise automatisiertes Fahrzeug bzw. um einen Teil eines solchen Fahrzeugs, wie bspw. einen Längs- oder Quersteuerungssystem handeln.
Figur 3 zeigt ein Blockdiagramm einer ersten Ausführungsform der vorliegenden Erfindung.
Dem zu trainierende künstlichen neuronalen Netz 3 werden Eingangsdaten 30 zugeführt. Von dem Netz 3 werden die Eingangsdaten 30 in Ausgabedaten 35 überführt. In der Darstellung sind die Ausgabedaten 35 als Tensor mit den Dimension H x W x C dargestellt.
Wird das Netz 3 bspw. für die Klassifikation von Bilddaten trainiert. So können in der Dimension C die möglichen Klassen aufgetragen sein. In den Dimensionen H x W können für jeden Pixel der Eingangsdaten eine Wahrscheinlichkeit der Zugehörigkeit zu der jeweiligen Klasse eingetragen sein.
Um die Ausgabedaten 35 einer ersten Verlustfunktion Lce zuzuführen, wird auf den Ausgabedaten 35 eine Softmax- Funktion ausgeführt, um normalisierte Ausgabedaten 35‘ zu erhalten. Die normalisierten Ausgabedaten werden einer ersten Verlustfunktion Lce zugeführt. Hierfür kann als erste Verlustfunktion Lce eine übliche Verlustfunktion, wie bspw. die Cross-Entropy-Verlustfunktion verwendet werden.
Die Ausführungsform der vorliegenden Erfindung basiert auf der Erkenntnis, dass für die spätere Inferenz des trainierten Netzes 3 auf die Anwendung der Softmax- Funktion verzichtet werden kann, wenn im Rahmen des Trainings eine zweite Verlustfunktion Ladd vorgesehen wird, die derart gestaltet ist, dass die sich die Werte der Ausgabedaten 35 entlang der Dimension C zu 1 summieren.
Dies wird dadurch erreicht, dass wie in dem Blockdiagramm der Figur 3 dargestellt, die Ausgabedaten 35 ohne Anwendung einer Softmax- Funktion einer zweiten Verlustfunktion Ladd zugeführt werden.
Bei der zweiten Verlustfunktion Ladd handelt es sich gemäß der Darstellung um eine L2-Norm, dargestellt durch die Doppelbalken, die den Abstand zu einer Einheitsmatrix 36 mit den Dimensionen H x W zurückgibt.
Dazu wird auf die Ausgabedaten 35 ein Filter 37 mit den Dimension 1 x 1 x C angewendet. Der Filter ist derart gestaltet, dass die Ausgabedaten 35 entlang der Dimension C aufsummiert werden. Dazu können die Koeffizienten des Filters 1 betragen. Denkbar ist zudem, dass die Koeffizienten des Filters mittrainiert werden. Dazu bietet sich an die Koeffizienten zunächst mit dem Wert 1 zu initialisieren.
Die Einführung der zweiten Verlustfunktion Ladd führt dazu, dass die Ausgabedaten 35 des trainierten Netzes 3 normalisiert werden.
Für die Inferenz wird nach dieser Ausführungsform das trainierte Netz 3 auf die Inferenzhardware übertragen.
Figur 4 zeigt ein Blockdiagramm einer zweiten Ausführungsform der vorliegenden Erfindung. In der dargestellten zweiten Ausführungsform wird im Rahmen des Trainings des künstlichen neuronalen Netzes 3 auf die Anwendung der Softmax- Funktion verzichtet.
Zur Normalisierung der Ausgabedaten 35 werden diese einem weiteren künstlichen neuronalen Netz 4 zugeführt, welches derart trainiert ist, dass es eine Annährung der Softmax- Funktion ausgibt.
Die angenäherten Ausgabedaten 35“ werden sowohl einer ersten Verlustfunktion Lce als auch einer zweiten Verlustfunktion Ladd zugeführt. Bei der ersten Verlustfunktion Lce kann es sich um eine übliche Verlustfunktion handeln, bspw. um eine Cross-Entropy-Verlustfunktion verwendet werden
Bei der zweiten Verlustfunktion Ladd handelt es sich gemäß der Darstellung um eine L2-Norm, dargestellt durch die Doppelbalken, die den Abstand zu einer Einheitsmatrix 36 mit den Dimensionen H x W zurückgibt.
Dazu wird auf die angenäherten Ausgabedaten 35“ ein Filter 37 mit den Dimension 1 x 1 x C angewendet. Der Filter ist derart gestaltet, dass die angenäherten Ausgabedaten 35“ entlang der Dimension C aufsummiert werden. Dazu können die Koeffizienten des Filters 1 betragen. Denkbar ist zudem, dass die Koeffizienten des Filters mittrainiert werden. Dazu bietet sich an die Koeffizienten zunächst mit dem Wert 1 zu initialisieren.
Die Einführung der zweiten Verlustfunktion Ladd führt dazu, dass die angenäherten Ausgabedaten 35“ des trainierten Netzes 3 normalisiert werden.
Nach dieser Ausführungsform wird das trainierte Netz 3 sowie das künstliche neuronale Netz zur Annäherung einer Softmax- Funktion 4 auf die Inferenzhardware übertragen. Figur 5 zeigt ein Blockdiagramm einer dritten Ausführungsform der vorliegenden Erfindung.
Auf Ausgabedaten 35 des zu trainierenden Netzes 3 werde nach dieser Ausführungsform für die Zuführung zu ersten Verlustfunktion eine Softmax- Funktion angewendet, um normalisierte Ausgabedaten 35‘ zu erhalten.
Hierfür kann als erste Verlustfunktion Lce eine übliche Verlustfunktion, wie bspw. die Cross-Entropy-Verlustfunktion verwendet werden.
Für die Zuführung zu einer zweiten Verlustfunktion Ladd werden die Ausgabedaten 35 einem weiteren künstlichen neuronalen Netz 4 zugeführt, welches derart trainiert ist, dass es eine Annährung der Softmax- Funktion ausgibt.
Nach der dargestellten Ausführungsform wird neben den so angenäherten Ausgabedaten 35“ auch die normalisierten Ausgabedaten 35‘, die auch der ersten Verlustfunktion Lce zugeführt werden, der zweiten Verlustfunktion Ladd zugeführt. Bei der zweiten Verlustfunktion Ladd kann es sich wie in den vorherig beschriebenen Ausführungsformen um die L2-Norm handeln. Vorliegend wird diese dazu eingesetzt, dass die angenäherten Ausgabedaten 35“ sich den normalisierten Ausgabedaten 35‘ annähern.
Zur Normalisierung der Ausgabedaten 35 werden diese einem weiteren künstlichen neuronalen Netz 4 zugeführt, welches derart trainiert ist, dass es eine Annährung der Softmax- Funktion ausgibt.
Nach dieser Ausführungsform wird das trainierte Netz 3 sowie das künstliche neuronale Netz zur Annäherung einer Softmax- Funktion 4 auf die Inferenzhardware übertragen.

Claims

Ansprüche
1. Verfahren zum Trainieren (100) eines ML-Systems (3), insbesondere eines künstlichen neuronalen Netzwerks, insbesondere zur Klassifikation von Sensordaten, in Abhängigkeit von einer ersten Verlustfunktion (Lce) und von einer zweiten Verlustfunktion (Ladd), wobei die erste Verlustfunktion (Lce) in Abhängigkeit von der Ausgabe (35) des künstlichen neuronalen Netzwerks (3) berechnet wird, dadurch gekennzeichnet, dass die zweite Verlustfunktion (Ladd) derart gestaltet ist, dass die Ausgabe (35 35‘, 35“) des künstlichen neuronalen Netzes (3) im Wesentlichen normalisiert wird.
2. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass zur Berechnung der zweiten Verlustfunktion (Ladd) auf die Ausgabe (35, 35‘, 35“) des künstlichen neuronalen Netzes (3) ein künstliches neuronales Netz (4) zur Annäherung einer Softmax- Funktion angewendet wird.
3. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Berechnung der zweiten Verlustfunktion (Ladd) die Ausgabe (35, 35“, 35‘) des künstlichen neuronalen Netzes (3, 4) entlang mindestens einer Dimension aufsummiert wird.
4. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Verlustfunktion (Ladd) derart gestaltet ist, dass sich die Ausgabe des künstlichen neuronalen Netzes (35, 35‘, 35“) zu 1 aufsummiert.
5. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Berechnung der ersten Verlustfunktion (Lce) auf die Ausgabe (35, 35‘, 35“) des künstlichen neuronalen Netzes (3) ein künstliches neuronales Netz (4) zur Annäherung einer Softmax- Funktion angewendet wird.
6. Verfahren (100) nach Anspruch 2, wobei zur Berechnung der ersten Verlustfunktion (Lce) auf die Ausgabe (35, 35‘, 35“) des künstlichen neuronalen Netzes (3) eine Softmax- Funktion angewendet wird, dadurch gekennzeichnet, dass die zweite Verlustfunktion (Ladd) derart gestaltet ist, dass sich die Ausgabe des künstlichen neuronalen Netzes (35, 35‘, 35“) der Ausgabe der Softmax- Funktion annähert.
7. ML-System (3), insbesondere künstliches neuronales Netz, insbesondere zur Klassifikation von Sensordaten, trainiert gemäß dem Verfahren (100) nach einem der vorhergehenden Ansprüche.
8. Computerprogramm, welches eingerichtet ist, das Verfahren (100) gemäß einem der Ansprüche 1 bis 6 auszuführen.
9. Maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß Anspruch 8 gespeichert ist.
10. Vorrichtung, welche eingerichtet ist, das Verfahren (100) gemäß einem der Ansprüche 1 bis 6 auszuführen.
PCT/EP2021/085951 2020-12-15 2021-12-15 Verfahren zum trainieren eines ml-systems, ml-system, computerprogramm, maschinenlesbares speichermedium und vorrichtung WO2022129203A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180084216.9A CN116615732A (zh) 2020-12-15 2021-12-15 训练机器学习系统的方法、机器学习系统、计算机程序、机器可读存储介质和设备
US18/256,924 US20240028891A1 (en) 2020-12-15 2021-12-15 Method for Training a ML System, ML System, Computer Program, Machine-Readable Storage Medium and Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020215945.9A DE102020215945A1 (de) 2020-12-15 2020-12-15 Verfahren zum Trainieren eines ML-Systems, ML-System, Computerprogramm, maschinenlesbares Speichermedium und Vorrichtung
DE102020215945.9 2020-12-15

Publications (1)

Publication Number Publication Date
WO2022129203A1 true WO2022129203A1 (de) 2022-06-23

Family

ID=79283241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/085951 WO2022129203A1 (de) 2020-12-15 2021-12-15 Verfahren zum trainieren eines ml-systems, ml-system, computerprogramm, maschinenlesbares speichermedium und vorrichtung

Country Status (4)

Country Link
US (1) US20240028891A1 (de)
CN (1) CN116615732A (de)
DE (1) DE102020215945A1 (de)
WO (1) WO2022129203A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3748453A1 (de) * 2019-06-05 2020-12-09 Volkswagen Ag Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3748453A1 (de) * 2019-06-05 2020-12-09 Volkswagen Ag Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAUMANN ULRICH ET AL: "Predicting Ego-Vehicle Paths from Environmental Observations with a Deep Neural Network", 2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 21 May 2018 (2018-05-21), pages 1 - 9, XP033403219, DOI: 10.1109/ICRA.2018.8460704 *
GAO YUE ET AL: "Design and Implementation of an Approximate Softmax Layer for Deep Neural Networks", 2019 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS), IEEE, 12 October 2020 (2020-10-12), pages 1 - 5, XP033932893, ISSN: 2158-1525, ISBN: 978-1-7281-3320-1, [retrieved on 20200828], DOI: 10.1109/ISCAS45731.2020.9180870 *
WANG KAI-YEN ET AL: "A Customized Convolutional Neural Network Design Using Improved Softmax Layer for Real-time Human Emotion Recognition", 2019 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE CIRCUITS AND SYSTEMS (AICAS), IEEE, 18 March 2019 (2019-03-18), pages 102 - 106, XP033578904, DOI: 10.1109/AICAS.2019.8771616 *
XINGJUN MA ET AL: "Normalized Loss Functions for Deep Learning with Noisy Labels", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 24 June 2020 (2020-06-24), XP081709118 *

Also Published As

Publication number Publication date
CN116615732A (zh) 2023-08-18
DE102020215945A1 (de) 2022-06-15
US20240028891A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
EP3785177B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE202017102238U1 (de) Aktorsteuerungssystem
DE202017102235U1 (de) Trainingssystem
DE102017211331A1 (de) Bildauswertung mit zielgerichteter Vorverarbeitung
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
DE102017219282A1 (de) Verfahren und Vorrichtung zum automatischen Erzeugen eines künstlichen neuronalen Netzes
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
WO2021063572A1 (de) Vorrichtung und verfahren zum verarbeiten von daten eines neuronalen netzes
EP3785178B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
EP3467722B1 (de) Konfiguration einer kraftfahrzeug-fahrerassistenzvorrichtung mit einem neuronalen netzwerk im laufenden betrieb
WO2020064209A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
WO2022129203A1 (de) Verfahren zum trainieren eines ml-systems, ml-system, computerprogramm, maschinenlesbares speichermedium und vorrichtung
DE19612465C2 (de) Automatisches Optimieren von Objekt-Erkennungssystemen
DE102013224382A1 (de) Beschleunigte Objekterkennung in einem Bild
WO2021180470A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
DE102019216511A1 (de) Verfahren zur Detektion und Wiedererkennung von Objekten mit einem neuronalen Netz
DE102019207911A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Vorhersage einer Lernkurve
DE4404775C1 (de) Verfahren zum Betrieb eines hybriden neuronalen Netzwerks zur automatischen Objekterkennung
DE202021102084U1 (de) Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen
EP1835442A2 (de) Bewertungsvorrichtung, Verfahren und Computerprogramm
DE102021109754A1 (de) Verfahren und Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen
DE202021102086U1 (de) Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen
DE102020101911A1 (de) Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, computerimplementiertes Verfahren zur visuellen Objekterkennung, Verfahren zum Steuern eines Kraftfahrzeugs, Computerprogramm sowie computerlesbares Speichermedium
DE102019003621A1 (de) Verfahren zur Verarbeitung von Lidarsensordaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21839487

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18256924

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180084216.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21839487

Country of ref document: EP

Kind code of ref document: A1