WO2024088682A1 - Laufzeitoptimierung von neuronalen netzen bei quasistatischen inputs - Google Patents

Laufzeitoptimierung von neuronalen netzen bei quasistatischen inputs Download PDF

Info

Publication number
WO2024088682A1
WO2024088682A1 PCT/EP2023/076715 EP2023076715W WO2024088682A1 WO 2024088682 A1 WO2024088682 A1 WO 2024088682A1 EP 2023076715 W EP2023076715 W EP 2023076715W WO 2024088682 A1 WO2024088682 A1 WO 2024088682A1
Authority
WO
WIPO (PCT)
Prior art keywords
neuron
network
activation
input
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2023/076715
Other languages
English (en)
French (fr)
Inventor
Markus Birk
Steffen BIEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to CN202380070921.2A priority Critical patent/CN119923652A/zh
Publication of WO2024088682A1 publication Critical patent/WO2024088682A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Definitions

  • the invention relates to a method according to the preamble of claim 1 and a computer program according to claim 8.
  • Neural networks are often used in vehicle control units for complex control tasks. Their computing capacity requirements are comparatively high. This leads to the control unit hardware becoming more expensive.
  • the invention is based on the object of making the application of an artificial neural network more resource-efficient. This object is achieved by a method according to claim 1 and a computer program according to claim 8. Preferred developments are contained in the subclaims and emerge from the following description.
  • An artificial neural network consists of interconnected artificial neurons.
  • An artificial neuron has one or more inputs and one output. Input values present at the inputs are weighted. This is usually done by multiplying the values by a weight each.
  • a network input is determined from the input values weighted in this way using a transfer function.
  • a summation function is usually used as the transfer function, which calculates the sum of the weighted input values.
  • An activation function is applied to the network input. This assigns an activation to the network input, which is forwarded via the output.
  • the output of the neuron can form an output of the artificial neural network or be linked to an input of another neuron. Inputs of the neural network are formed by inputs of neurons.
  • the neural network receives input signals via the inputs. Output signals of the neural network are output accordingly via the outputs.
  • the method according to the invention requires that the activation function of at least one neuron assigns the value zero to the network inputs of the neuron depending on a threshold value. The activation function therefore assumes the value zero for all network inputs below the threshold value or alternatively for all network inputs above the threshold value.
  • the measurements determine a set of one or more input signals of the network.
  • a first set is determined by the first measurement, a second set by the second measurement and a third set by the third measurement.
  • the input signals are either measured directly or calculated from one or more measured physical quantities.
  • one or more output signals are determined depending on the one or more input signals.
  • a first set of one or more output signals is determined depending on the first set of the one or more input signals
  • a second set of one or more output signals is determined depending on the second set of the one or more input signals
  • a third set of one or more output signals is determined depending on the third set of the one or more input signals.
  • the determination of the output signals depending on the first set and the second set of the one or more input signals is carried out in a conventional manner.
  • the first set of the one or more output signals is thus determined by determining a first activation of the neurons of the network by applying a respective activation function to a respective network input calculated using a respective transfer function. calculated respective first network input.
  • the second set of the one or more output signals is determined by determining a second activation of the neurons of the network by applying the respective activation function to a respective second network input calculated using the respective transfer function.
  • the first or second network input of the neuron is calculated by applying the neuron's transfer function.
  • the first or second network input of the neuron is passed to the neuron's transfer function as a function value. This assigns an activation as the first or second output signal to the first or second network input.
  • the activation function can be different for individual or all neurons in the network. Preferably, however, only a single activation function that is identical for each neuron is used.
  • the third set of one or more output signals is also determined based on the activations of the neurons of the network as a function of the one or more input signals. Depending on the third set of one or more input signals, the third set of one or more output signals is determined by determining a third activation of the neurons of the network.
  • the invention provides for a different determination of the activation of the above-mentioned at least one neuron, whose activation function assumes the value zero depending on the threshold value.
  • the idea behind this is to dispense with calculating the activation function if it is foreseeable that the activation function assumes the value zero.
  • the first activation and the second activation of the at least one neuron are zero.
  • the first and second network input of the at least one neuron are checked with regard to the threshold value. It is checked whether the first and second network input of the at least one neuron are below or above the threshold value, so that the activation function of at least one neuron of the first and second network inputs is assigned the value zero.
  • the second network input of the at least one neuron is closer to the threshold value than the first network input. It is therefore checked whether an amount of a difference between the second network input and the threshold value is less than an amount of a difference between the first network input and the threshold value.
  • first and second network inputs of the at least one neuron are below or above the threshold value, respectively, and the second network input of the at least one neuron comes closer to the threshold value than the first network input, this indicates that the network input of the at least one neuron is approaching the threshold value and will exceed or fall below it, so that the activation function of the at least one neuron will assume a value other than zero. The time until then is extrapolated.
  • the time until the network input of the at least one neuron reaches the threshold value begins at the time of the second measurement and ends as soon as the difference between the first network input and the second network input of the at least one neuron reaches the threshold value.
  • the time depends on a difference between the first network input of the at least one neuron and the threshold value, on a difference between the second network input of the at least one neuron and the threshold value and on a time elapsed between the first measurement and the second measurement. This is taken into account when extrapolating the time. It is also checked whether the third measurement was taken before or after the extrapolated time has elapsed.
  • the activation function of the at least one neuron assigns the value zero to the third network input of the at least one neuron.
  • calculating the weights of the at least one neuron, applying the transfer function of the at least one neuron and applying the activation function of the at least one neuron can be dispensed with in order to determine the third activation of the at least one neuron.
  • the value zero is output as the third activation of the at least one neuron without applying the activation function of the at least one neuron.
  • the third activation of the at least one neuron is determined in a conventional manner.
  • the third measurement was made after the interpolated time had elapsed and/or if the first activation and/or the second activation of the at least one neuron are different from zero and/or if the second network input of the at least one neuron does not come closer to the threshold value than the first network input of the at least one neuron
  • the third activation of the at least one neuron is determined in a conventional manner by applying the activation function of the at least one neuron to a third network input calculated using the transfer function of the at least one neuron.
  • the method according to the invention is particularly advantageous when the measured one or more physical quantities change only slowly. This applies to many physical quantities measured in a vehicle. For quantities that change slowly, the risk of error due to extrapolation is comparatively low. In addition, it is possible to extrapolate long periods of time. By omitting the application of the activation function, considerable amounts of computing time can be saved.
  • the first activation and the second activation of the at least one neuron are zero, or whether the first and second network input of the at least one neuron are below or above the threshold value, and whether the second network input of the at least one neuron is further away from the threshold value than the first network input of the at least one neuron, ie whether an amount of a difference between the second network input and the threshold value is greater than an amount of a difference between the first network input and the threshold value.
  • a predefined time i.e. a time set before the method is carried out, is used until the end of which the transfer function of the at least one neuron is not applied. It is therefore checked whether the third measurement was carried out before the expiration of a predefined time. If the third measurement was carried out before the expiration of a predefined time, the value zero is selected as the third activation of the at least one neuron without applying the activation function of the at least one neuron. After the expiration of the predefined time, the activation of the at least one neuron is determined preferably in a conventional manner by applying the activation function of the at least one neuron to a network input calculated using the transfer function of the at least one neuron.
  • the time until the network input of the at least one neuron reaches the threshold value is determined by linear extrapolation.
  • the time can be determined as the product of the time elapsed between the first measurement and the second measurement, the difference between the second network input and the threshold value, and the reciprocal of a difference between the first network input and the second network input of the at least one neuron. Determining the time by linear extrapolation according to the development is particularly simple and quick.
  • one or more of the input signals of the network represent physical variables of a vehicle.
  • Variables such as temperature, force, torque, speed, position and engaged Gear ratio or transmission ratio.
  • these are physical quantities of a transmission and/or an engine of the vehicle.
  • the input signals of the network are at least partially provided by sensors of a vehicle.
  • one or more of the input signals of the network are therefore signals from sensors of a vehicle.
  • the sensors are preferably attached to a transmission and/or engine of the vehicle.
  • the above-mentioned physical quantities can be measured using the sensors.
  • one or more of the output signals of the network represent physical variables of a vehicle, for example temperature, force, torque, position, speed, rpm and/or the engaged gear or ratio. If an output signal represents the engaged gear or ratio, a transmission control can be implemented using the method according to the invention.
  • Actuators can also be controlled via the neural network.
  • one or more of the output signals of the network are control signals for actuators of a vehicle.
  • gear selectors of an automatically shiftable transmission can be controlled.
  • the computer program according to the invention implements the method according to the invention or a preferred development of the method.
  • the computer program therefore comprises instructions for carrying out the method according to the invention or a preferred development.
  • This means that the computer program causes a computer to carry out the method according to the invention or a preferred development when the computer program is executed by the computer.
  • the computer program can be stored on a storage medium or encoded in one or more transferable or transmitted signals.
  • the computer program can be present as a computer program product, that is to say as a tradable unit or a unit that serves the purpose of transferring ownership of the computer program.
  • the computer in question is preferably a vehicle control unit, such as an engine or transmission control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Anwendung eines künstlichen neuronalen Netzes. Es wird geprüft, ob eine erste Aktivierung und eine zweite Aktivierung mindestens eines Neurons Null betragen und eine zweite Netzeingabe des mindestens einen Neurons einem Schwellenwert näherkommt als eine erste Netzeingabe des mindestens einen Neurons, und in dem Fall in Abhängigkeit von einer Differenz zwischen der ersten Netzeingabe des mindestens einen Neurons und dem Schwellwert, von einer Differenz zwischen der zweiten Netzeingabe des mindestens einen Neurons und dem Schwellwert und von einer zwischen einer ersten Messung und einer zweiten Messung verstrichenen Zeit eine Zeit extrapoliert wird, bis die Netzeingabe des mindestens einen Neurons den Schwellenwert erreicht, und geprüft wird, ob die dritte Messung vor Ablauf der extrapolierten Zeit erfolgte, und in dem Fall als dritte Aktivierung des mindestens einen Neurons ohne Anwendung der Aktivierungsfunktion des mindestens einen Neurons der Wert Null ausgegeben wird.

Description

Laufzeitoptimierung von neuronalen Netzen bei quasistatischen Inputs
Die Erfindung betrifft ein Verfahren nach dem Oberbegriff von Anspruch 1 und ein Computerprogramm nach Anspruch 8.
Für anspruchsvolle Steuerungsaufgaben werden in Fahrzeugsteuergeräten häufig neuronale Netze verwendet. Deren Bedarf an Rechenkapazität ist vergleichsweise hoch. Dies führt dazu, dass sich die Hardware der Steuergeräte verteuert.
Der Erfindung liegt die Aufgabe zugrunde, die Anwendung eines künstlichen neuronalen Netzes ressourceneffizienter zu gestalten. Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1 und ein Computerprogramm nach Anspruch 8. Bevorzugte Weiterbildungen sind in den Unteransprüchen enthalten und ergeben sich aus nachfolgender Beschreibung.
Das erfindungsgemäße Verfahren dient der Anwendung eines zuvor bereits trainierten künstlichen neuronalen Netzes. Ein künstliches neuronales Netz besteht aus miteinander verknüpften künstlichen Neuronen. Ein künstliches Neuron weist ein oder mehrere Eingänge und einen Ausgang auf. An den Eingängen anliegende Eingangswerte werden gewichtet. Dies geschieht in der Regel, indem die Werte mit jeweils einem Gewicht multipliziert werden. Aus den so gewichteten Eingangswerten wird mittels einer Übertragungsfunktion eine Netzeingabe ermittelt. Als Übertragungsfunktion wird gewöhnlich eine Summierungsfunktion verwendet, welche die Summe der gewichteten Eingangswerte berechnet. Auf die Netzeingabe wird eine Aktivierungsfunktion angewendet. Diese ordnet der Netzeingabe eine Aktivierung zu, welche über den Ausgang weitergeleitet wird. Der Ausgang des Neurons kann einen Ausgang des künstlichen neuronalen Netzes bilden oder mit einem Eingang eines weiteren Neurons verknüpft sein. Eingänge des neuronalen Netzes werden durch Eingänge von Neuronen gebildet. Über die Eingänge erhält das neuronale Netz Eingangssignale. Entsprechend werden Ausgangssignale des neuronalen Netzes über die Ausgängen ausgegeben. Das erfindungsgemäße Verfahren setzt voraus, dass die Aktivierungsfunktion mindestens eines Neurons den Netzeingaben des Neurons in Abhängigkeit eines Schwellwerts den Wert Null zuordnet. Die Aktivierungsfunktion nimmt also bei allen Netzeingaben unterhalb des Schwellwerts oder alternativ bei allen Netzeingaben oberhalb des Schwellwerts den Wert Null an.
Bei Ausführung des erfindungsgemäßen Verfahrens werden drei Iterationen mit jeweils einer Messung ein oder mehrerer physikalischer Größen durchlaufen. Es werden also eine erste Messung, eine zweite Messung und eine dritte Messung der ein oder mehreren physikalischen Größen durchgeführt.
Durch die Messungen wird jeweils ein Satz eines oder mehrerer Eingangssignale des Netzes bestimmt. Ein erster Satz wird durch die erste Messung, ein zweiter Satz durch die zweite Messung und ein dritter Satz durch die dritte Messung bestimmt.
Die Eingangssignale werden dabei jeweils direkt gemessen oder aus einer oder mehreren gemessenen physikalischen Größen berechnet.
Mittels des neuronalen Netzes werden jeweils in Abhängigkeit der ein oder mehreren Eingangssignale eines oder mehrerer Ausgangssignale ermittelt. In Abhängigkeit des ersten Satzes der ein oder mehreren Eingangssignale wird ein erster Satz eines oder mehrerer Ausganssignale, in Abhängigkeit des zweiten Satzes der ein oder mehreren Eingangssignale ein zweites Satz der ein oder mehreren Ausganssignale und in Abhängigkeit des dritten Satzes der ein oder mehreren Eingangssignale ein dritter Satz der ein oder mehreren Ausganssignale ermittelt.
Die Ermittlung der Ausgangssignale in Abhängigkeit des ersten Satzes und des zweiten Satzes der ein oder mehreren Eingangssignale erfolgt dabei auf konventionellem Wege. Dies bedeutet, dass die Aktivierungen der einzelnen Neuronen des Netzes durch Anwendung einer jeweiligen Aktivierungsfunktion auf eine mittels einer jeweiligen Übertragungsfunktion berechnete jeweilige Netzeingabe ermittelt wird. Der erste Satz der ein oder mehreren Ausgangssignale wird also durch Ermittlung jeweils einer ersten Aktivierung der Neuronen des Netzes durch jeweilige Anwendung einer jeweiligen Aktivierungsfunktion auf eine mittels einer jeweiligen Übertragungsfunktion be- rechnete jeweilige erste Netzeingabe ermittelt. Analog wird der zweite Satz der ein oder mehreren Ausgangssignale durch Ermittlung jeweils einer zweiten Aktivierung der Neuronen des Netzes durch jeweilige Anwendung der jeweiligen Aktivierungsfunktion auf eine mittels der jeweiligen Übertragungsfunktion berechnete jeweilige zweite Netzeingabe ermittelt. Für jedes Neuron des Netzes wird also durch Anwendung der Übertragungsfunktion des Neurons die erste beziehungsweise zweite Netzeingabe des Neurons berechnet. Die erste beziehungsweise zweite Netzeingabe des Neurons wird der Übertragungsfunktion des Neurons als Funktionswert übergeben. Diese ordnet der ersten beziehungsweise zweiten Netzeingabe eine Aktivierung als erstes beziehungsweise zweites Ausgangssignal zu.
Die Aktivierungsfunktion kann ebenso wie die Übertragungsfunktion für einzelne oder alle Neuronen des Netzes unterschiedlich sein. Vorzugsweise wird aber nur eine einzige, für jedes Neuron identische Aktivierungsfunktion verwendet.
Auch der dritte Satz der ein oder mehreren Ausgangssignale wird auf Basis der Aktivierungen der Neuronen des Netzes in Abhängigkeit der ein oder mehreren Eingangssignale ermittelt. In Abhängigkeit des dritten Satzes der ein oder mehreren Eingangssignale wird also der dritte Satz der ein oder mehreren Ausgangssignale durch Ermittlung jeweils einer dritten Aktivierung der Neuronen des Netzes ermittelt.
Die Erfindung sieht allerdings eine abweichende Ermittlung der Aktivierung des oben genannten mindestens einen Neurons vor, dessen Aktivierungsfunktion in Abhängigkeit von dem Schwellwert den Wert Null annimmt. Dem liegt die Idee zugrunde, auf eine Berechnung der Aktivierungsfunktion zu verzichten, wenn absehbar ist, dass die die Aktivierungsfunktion den Wert Null annimmt.
Dazu wird geprüft, ob die erste Aktivierung und die zweite Aktivierung des mindestens einen Neurons Null betragen. Im Einzelnen werden die erste und zweite Netzeingabe des mindestens einen Neurons in Hinblick auf den Schwellwert geprüft. Es wird geprüft, ob die erste und zweite Netzeingabe des mindestens einen Neurons unterhalb bzw. oberhalb des Schwellwerts liegen, sodass die Aktivierungsfunktion des mindestens einen Neurons der ersten und zweiten Netzeingabe den Wert Null zuordnet.
Zusätzlich wird geprüft, ob die zweite Netzeingabe des mindestens einen Neurons dem Schwellwert näherkommt als die erste Netzeingabe. Es wird also geprüft, ob ein Betrag einer Differenz zwischen der zweiten Netzeingabe und dem Schwellwert geringer ist als ein Betrag einer Differenz zwischen der ersten Netzeingabe und dem Schwellwert.
Liegen die erste und zweite Netzeingabe des mindestens einen Neurons unterhalb bzw. oberhalb des Schwellwerts, und kommt die zweite Netzeingabe des mindestens einen Neurons dem Schwellwert näherkommt als die erste Netzeingabe, so deutet dies darauf hin, dass sich die Netzeingabe des mindestens einen Neurons dem Schwellwert nähert und diesen über- bzw. unterschreiten wird, sodass die Aktivierungsfunktion des mindestens einen Neurons einen von Null verschiedenen Wert annehmen wird. Die Zeit bis dahin wird extrapoliert. Wenn also die zuvor durchgeführte Prüfung ergeben hat, dass die erste und zweite Netzeingabe des mindestens einen Neurons unterhalb bzw. oberhalb des Schwellwerts liegen, sodass die erste Aktivierung und die zweite Aktivierung des mindestens einen Neurons Null betragen, und die zweite Netzeingabe des mindestens einen Neurons dem Schwellwert näherkommt als die erste Netzeingabe des mindestens einen Neurons, wird eine Zeit extrapoliert, bis die Netzeingabe des mindestens einen Neurons den Schwellwert erreicht.
Die Zeit, bis die Netzeingabe des mindestens einen Neurons den Schwellwert erreicht, beginnt mit dem Zeitpunkt der zweiten Messung zu laufen und endet, sobald die Differenz zwischen der ersten Netzeingabe und der zweiten Netzeingabe des mindestens einen Neurons den Schwellwert erreicht. Die Zeit ist abhängig von einer Differenz zwischen der ersten Netzeingabe des mindestens einen Neurons und dem Schwellwert, von einer Differenz zwischen der zweiten Netzeingabe des mindestens einen Neurons und dem Schwellwert und von einer zwischen der ersten Messung und der zweiten Messung verstrichenen Zeit. Diese wird bei der Extrapolation der Zeit berücksichtigt. Weiterhin wird geprüft, ob die dritte Messung vor oder nach Ablauf der extrapolierten Zeit erfolgte. Erfolgte die dritte Messung vor Ablauf der extrapolierten Zeit, deutet dies darauf hin, dass die Aktivierungsfunktion des mindestens einen Neurons der dritten Netzeingabe des mindestens einen Neurons den Wert Null zuordnet. In dem Fall kann auf eine Berechnung der Gewichtungen des mindestens einen Neurons, eine Anwendung der Übertragungsfunktion des mindestens einen Neurons und eine Anwendung der Aktivierungsfunktion des mindestens einen Neurons verzichtet werden, um die dritte Aktivierung des mindestens einen Neurons zu ermitteln. Stattdessen wird als dritte Aktivierung des mindestens einen Neurons ohne Anwendung der Aktivierungsfunktion des mindestens einen Neurons der Wert Null ausgegeben.
Andernfalls wird die dritte Aktivierung des mindestens einen Neurons auf herkömmlichem Weg ermittelt. Wenn also die dritte Messung nach Ablauf der interpolierten Zeit erfolgte und/oder wenn die erste Aktivierung und/oder die zweite Aktivierung des mindestens einen Neurons von Null verschieden sind und/oder wenn die zweite Netzeingabe des mindestens einen Neurons dem Schwellwert nicht näherkommt als die erste Netzeingabe des mindestens einen Neurons, wird die dritte Aktivierung des mindestens einen Neurons auf konventionelle Weise durch Anwendung der Aktivierungsfunktion des mindestens einen Neurons eine mittels der Übertragungsfunktion des mindestens einen Neurons berechnete dritte Netzeingabe ermittelt.
Das erfindungsgemäße Verfahren ist dann besonders vorteilhaft, wenn die gemessenen ein oder mehreren physikalischen Größen sich nur träge verändern. Dies trifft bei vielen in einem Fahrzeug gemessenen physikalischen Größen zu. Bei träge veränderlichen Größen ist das Fehlerrisiko durch die Extrapolation vergleichsweise gering. Zudem ist es möglich, große Zeiträume zu extrapolieren. Durch Verzicht auf die Anwendung der Aktivierungsfunktion lassen sich dabei erhebliche Mengen an Rechenzeit einzusparen.
In einer bevorzugten Weiterbildung wird geprüft, ob die erste Aktivierung und die zweite Aktivierung des mindestens einen Neurons Null betragen, bzw. ob die erste und zweite Netzeingabe des mindestens einen Neurons unterhalb bzw. oberhalb des Schwellwerts liegen, und ob die zweite Netzeingabe des mindestens einen Neurons weiter von dem Schwellenwert entfernt ist als die erste Netzeingabe des mindestens einen Neurons, d.h. ob ein Betrag einer Differenz zwischen der zweiten Netzeingabe und dem Schwellwert größer ist als ein Betrag einer Differenz zwischen der ersten Netzeingabe und dem Schwellwert. Dies ist ein Indiz dafür, dass sich die Netzeingabe des mindestens einen Neurons nicht dem Schwellwerts annähert, sodass die Aktivierung des mindestens einen Neurons auf absehbare Zeit weiterhin den Wert Null annehmen wird.
Weiterbildungsgemäß wird vor diesem Hintergrund eine vordefinierte, d.h. vor Ausführung des Verfahrens festgelegt Zeit herangezogen, bis zu deren Ablauf von einer Anwendung der Übertragungsfunktion des mindestens einen Neurons abgesehen wird. Es wird also geprüft, ob die dritte Messung vor Ablauf einer vordefinierten Zeit erfolgte. Erfolgte die dritte Messung vor Ablauf einer vordefinierten Zeit, wird weiterbildungsgemäß ohne Anwendung der Aktivierungsfunktion des mindestens einen Neurons der Wert Null als dritte Aktivierung des mindestens einen Neurons gewählt. Nach Ablauf der vordefinierten Zeit wird die Aktivierung des mindestens einen Neurons bevorzugt auf konventionellem Wege durch Anwendung der Aktivierungsfunktion des mindestens einen Neurons auf eine mittels der Übertragungsfunktion des mindestens einen Neurons berechnete Netzeingabe ermittelt.
Die Zeit, bis die Netzeingabe des mindestens einen Neurons den Schwellwert erreicht, wird in einer bevorzugten Weiterbildung durch lineare Extrapolation ermittelt. Insbesondere kann die Zeit ermittelt werden als Produkt aus der zwischen der ersten Messung und der zweiten Messung verstrichenen Zeit, aus der Differenz zwischen der zweiten Netzeingabe und dem Schwellwert und aus einem Kehrwert einer Differenz zwischen der ersten Netzeingabe und der zweiten Netzeingabe des mindestens einen Neurons. Die weiterbildungsgemäße Ermittlung der Zeit durch lineare Extrapolation gestaltet sich besonders einfach und schnell.
In einer bevorzugten Weiterbildung repräsentieren ein oder mehrere der Eingangssignale des Netzes physikalische Größen eines Fahrzeugs. In Betracht kommen etwa Größen wie Temperatur, Kraft, Drehmoment, Drehzahl, Position und eingelegte Gangstufe beziehungsweise Übersetzung. Vorzugsweise handelt es sich um physikalische Größen eines Getriebes und/oder eines Motors des Fahrzeugs.
In einer bevorzugten Weiterbildung werden die Eingangssignale des Netzes mindestens teilweise von Sensoren eines Fahrzeugs bereitgestellt. Bei ein oder mehreren der Eingangssignale des Netzes handelt es sich weiterbildungsgemäß also um Signale von Sensoren eines Fahrzeugs. Bevorzugt sind die Sensoren an einem Getriebe und/oder Motor des Fahrzeugs angebracht. Insbesondere können mittels der Sensoren die oben genannten physikalischen Größen gemessen werden.
Analog repräsentieren ein oder mehrere der Ausgangssignale des Netzes in einer bevorzugten Weiterbildung physikalische Größen eines Fahrzeugs, beispielsweise Temperatur, Kraft, Drehmoment, Position, Geschwindigkeit, Drehzahl und/oder eingelegte Gangstufe beziehungsweise Übersetzung. Repräsentiert ein Ausgangssignal die eingelegte Gangstufe beziehungsweise Übersetzung, lässt sich mittels des erfindungsgemäßen Verfahrens eine Getriebesteuerung realisieren.
Auch lassen sich über das neuronale Netz Aktoren ansteuern. In einer entsprechenden bevorzugten Weiterbildung handelt es sich bei ein oder mehreren der Ausgangssignale des Netzes um Steuersignale für Aktoren eines Fahrzeugs. Insbesondere können Gangsteller eines automatisch schaltbaren Getriebes angesteuert werden.
Das erfindungsgemäße Computerprogramm implementiert das erfindungsgemäße Verfahren oder eine bevorzugte Weiterbildung des Verfahrens. Das Computerprogramm umfasst also Anweisungen zur Ausführung des erfindungsgemäßen Verfahrens oder einer bevorzugten Weiterbildung. Dies bedeutet, dass das Computerprogramm einen Computer zur Ausführung des erfindungsgemäßen Verfahrens oder einer bevorzugten Weiterbildung veranlasst, wenn das Computerprogramm von dem Computer ausgeführt wird. Das Computerprogramm kann auf einem Speichermedium gespeichert oder in einem oder mehreren übertragungsfähigen oder übertragenen Signalen codiert sein. Insbesondere kann das Computerprogramm als ein Computerprogrammprodukt vorliegen, das heißt als eine handelbare Einheit beziehungs- weise eine Einheit, die dem Zweck dient, den Besitz an dem Computerprogramm zu übertragen. Bei dem genannten Computer handelt es sich bevorzugt um ein Fahrzeugsteuergerät, etwa ein Motor- oder Getriebesteuergerät.

Claims

Patentansprüche
1. Verfahren zur Anwendung eines künstlichen neuronalen Netzes; wobei die Aktivierungsfunktion mindestens eines Neuron den Netzeingaben des Neurons in Abhängigkeit eines Schwellwerts den Wert Null zuordnet; wobei durch eine erste Messung einer oder mehrerer physikalischer Größen ein erster Satz eines oder mehrere Eingangssignale des Netzes bestimmt wird; wobei in Abhängigkeit des ersten Satzes der ein oder mehreren Eingangssignale ein erster Satz eines oder mehrerer Ausganssignale durch Ermittlung jeweils einer ersten Aktivierung der Neuronen des Netzes durch jeweilige Anwendung einer jeweiligen Aktivierungsfunktion auf eine mittels einer jeweiligen Übertragungsfunktion berechnete jeweilige erste Netzeingabe ermittelt wird; wobei durch eine zweite Messung der ein oder mehreren physikalischen Größen ein zweiter Satz der ein oder mehreren Eingangssignale bestimmt wird; wobei in Abhängigkeit des zweiten Satzes der ein oder mehreren Eingangssignale ein zweites Satz der ein oder mehreren Ausganssignale durch Ermittlung jeweils einer zweiten Aktivierung der Neuronen des Netzes durch jeweilige Anwendung der jeweiligen Aktivierungsfunktion auf eine mittels der jeweiligen Übertragungsfunktion berechnete jeweilige zweite Netzeingabe ermittelt wird; wobei durch eine dritte Messung der ein oder mehreren physikalischen Größen ein dritter Satz der ein oder mehreren Eingangssignale bestimmt wird; und wobei in Abhängigkeit des dritten Satzes der ein oder mehreren Eingangssignale ein dritter Satz der ein oder mehreren Ausganssignale durch Ermittlung jeweils einer dritten Aktivierung der Neuronen des Netzes ermittelt wird; dadurch gekennzeichnet, dass geprüft wird, ob die erste Aktivierung und die zweite Aktivierung des mindestens einen Neurons Null betragen und die zweite Netzeingabe des mindestens einen Neurons dem Schwellenwert näherkommt als die erste Netzeingabe des mindestens einen Neurons, und in dem Fall in Abhängigkeit von einer Differenz zwischen der ersten Netzeingabe des mindestens einen Neurons und dem Schwellwert, von einer Differenz zwischen der zweiten Netzeingabe des mindestens einen Neurons und dem Schwellwert und von einer zwischen der ersten Messung und der zweiten Messung verstrichenen Zeit eine Zeit extrapoliert wird, bis die Netzeingabe des mindestens einen Neurons den Schwellenwert erreicht, und geprüft wird, ob die dritte Messung vor Ablauf der extrapolierten Zeit erfolgte, und in dem Fall als dritte Aktivierung des mindestens einen Neurons ohne Anwendung der Aktivierungsfunktion des mindestens einen Neurons der Wert Null ausgegeben wird.
2. Verfahren nach dem vorhergehenden Anspruch; dadurch gekennzeichnet, dass geprüft wird, ob die erste Aktivierung und die zweite Aktivierung des mindestens einen Neurons Null betragen, ob die zweite Netzeingabe des mindestens einen Neurons weiter von dem Schwellenwert entfernt ist als die erste Netzeingabe des mindestens einen Neurons, und ob die dritte Messung vor Ablauf einer vordefinierten Zeit erfolgte, und in dem Fall als dritte Aktivierung des mindestens einen Neurons ohne Anwendung der Aktivierungsfunktion des mindestens einen Neurons der Wert Null gewählt wird.
3. Verfahren nach einem der vorhergehenden Ansprüche; dadurch gekennzeichnet, dass die Zeit, bis die Netzeingabe des mindestens einen Neurons den Schwellenwert erreicht, durch lineare Extrapolation ermittelt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche; dadurch gekennzeichnet, dass ein oder mehrere der Eingangssignale des Netzes Werte physikalischer Größen eines Fahrzeugs repräsentieren.
5. Verfahren nach einem der vorhergehenden Ansprüche; dadurch gekennzeichnet, dass es sich bei ein oder mehreren der Eingangssignalen des Netzes um Signale von Sensoren eines/des Fahrzeugs handelt.
6. Verfahren nach einem der vorhergehenden Ansprüche; dadurch gekennzeichnet, dass ein oder mehrere der Ausgangssignale Werte physikalischer Größen eines/des Fahrzeugs repräsentieren.
7. Verfahren nach einem der vorhergehenden Ansprüche; dadurch gekennzeichnet, dass es sich bei ein oder mehreren der Ausgangssignale um Steuersignale für Aktoren eines/des Fahrzeugs handelt.
8. Computerprogram mit Anweisungen zur Ausführung eines Verfahrens einem der vorhergehenden Ansprüche.
PCT/EP2023/076715 2022-10-28 2023-09-27 Laufzeitoptimierung von neuronalen netzen bei quasistatischen inputs Ceased WO2024088682A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380070921.2A CN119923652A (zh) 2022-10-28 2023-09-27 在准静态输入下的神经网络的运行时间优化

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022211447 2022-10-28
DE102022211447.7 2022-10-28

Publications (1)

Publication Number Publication Date
WO2024088682A1 true WO2024088682A1 (de) 2024-05-02

Family

ID=88237988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/076715 Ceased WO2024088682A1 (de) 2022-10-28 2023-09-27 Laufzeitoptimierung von neuronalen netzen bei quasistatischen inputs

Country Status (2)

Country Link
CN (1) CN119923652A (de)
WO (1) WO2024088682A1 (de)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOJARSKI MARIUSZ ET AL: "Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car", ARXIV (CORNELL UNIVERSITY), 25 April 2017 (2017-04-25), Ithaca, XP093112460, Retrieved from the Internet <URL:https://arxiv.org/pdf/1704.07911.pdf> [retrieved on 20231214], DOI: 10.48550/arxiv.1704.07911 *
PINTO DENNIS ET AL: "Mixture-of-Rookies: Saving DNN Computations by Predicting ReLU Outputs", ARXIV (CORNELL UNIVERSITY), 10 February 2022 (2022-02-10), Ithaca, XP093112461, Retrieved from the Internet <URL:https://arxiv.org/pdf/2202.04990v1.pdf> [retrieved on 20231214], DOI: 10.48550/arxiv.2202.04990 *

Also Published As

Publication number Publication date
CN119923652A (zh) 2025-05-02

Similar Documents

Publication Publication Date Title
DE102004001318B4 (de) System und Verfahren einer Steer-by-wire-Regelung für Fahrzeuge unter Verwendung einer robusten Regelung
EP1023546B1 (de) Verfahren und vorrichtung zum ermitteln des fahrzeugantriebsmoments beim anfahren eines fahrzeugs, zum ermitteln einer extern verursachten, ein fahrzeug antreibenden oder bremsenden grösse sowie zum unterstützen des anfahrens am berg
DE112013000718B4 (de) Fahrzeugsteuervorrichtung
EP2106576A1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
DE102004005348A1 (de) System und Verfahren zur Steuerung von Kraftfahrzeug-Steer-By-Wire-Baugruppen mit einstellbarem Lenkgefühl
DE19531967A1 (de) Verfahren zum Training eines neuronalen Netzes mit dem nicht deterministischen Verhalten eines technischen Systems
DE102019211052A1 (de) Verfahren zum Trainieren eines neuronalen Netzes für eine Schätzung eines Reibwertes
DE112021007423T5 (de) Verfahren zur Parameteridentifizierung eines Synchronmotors basierend auf einem neuronalen Netzwerk
DE102006054425A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Modellparameters eines Referenzfahrzeugmodells
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
DE102004001320B4 (de) System und Verfahren einer Steer-by-wire-Regelung für Fahrzeuge mit einem Referenzwinkel-Generator für die Vorderräder
DE102015117047A1 (de) Geregeltes Management von Fahrzeugendantriebsspiel
DE112018005113T5 (de) Verfahren zum abschätzen eines reibungswerts
DE102013211122A1 (de) Steuersystem und -verfahren für ein Fahrzeuggetriebe
DE102020201133A1 (de) Verfahren und Vorrichtung zur Modellwertbildung, insbesondere zur Sensordatenfusion
DE102005018980A1 (de) Verfahren und Vorrichtung zur Fehlerdiagnose mechatronischer Systeme
DE10201018A1 (de) Neuronales Netz zur Modellierung eines physikalischen Systems sowie Verfahren zur Bildung eines solchen neuronalen Netzes
EP2318893A1 (de) Verfahren zum bereitstellen eines pilotwarn-signals für einen piloten eines flugzeuges, computerprogrammprodukt und warnvorrichtung
WO1998034175A1 (de) Verfahren zur transformation einer zur nachbildung eines technischen prozesses dienenden fuzzy-logik in ein neuronales netz
DE112020002151T5 (de) Verfahren zum Schätzen eines Wertes einer auf einen Abschnitt eines Servolenksystems ausgeübten Reibungskraft mittels eines mathematischen Modells
EP1262760B1 (de) Verfahren zum Bestimmen der Viskosität einer Betriebsflüssigkeit einer Brennkraftmaschine
DE19703964C1 (de) Verfahren zur Transformation einer zur Nachbildung eines technischen Prozesses dienenden Fuzzy-Logik in ein neuronales Netz
DE102020212946A1 (de) Verfahren zur Steuerung eines Drehmoments zumindest eines Rades
DE102019218252A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrdynamiksystems eines Kraftfahrzeugs
DE102023106248A1 (de) Spurstangenkraftschätzung bei Steer-by-Wire-Systemen mittels intelligentem Modellübergang

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23782837

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 202380070921.2

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380070921.2

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23782837

Country of ref document: EP

Kind code of ref document: A1