WO2020126378A1 - Verfahren zum trainieren eines neuronalen netzes - Google Patents

Verfahren zum trainieren eines neuronalen netzes Download PDF

Info

Publication number
WO2020126378A1
WO2020126378A1 PCT/EP2019/082837 EP2019082837W WO2020126378A1 WO 2020126378 A1 WO2020126378 A1 WO 2020126378A1 EP 2019082837 W EP2019082837 W EP 2019082837W WO 2020126378 A1 WO2020126378 A1 WO 2020126378A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
training
pairs
input signal
gradient
Prior art date
Application number
PCT/EP2019/082837
Other languages
English (en)
French (fr)
Inventor
Frank Schmidt
Torsten SACHSE
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to EP19812975.1A priority Critical patent/EP3899808A1/de
Priority to JP2021535840A priority patent/JP7137018B2/ja
Priority to US17/295,434 priority patent/US20210406684A1/en
Priority to KR1020217022763A priority patent/KR20210099149A/ko
Priority to CN201980084359.2A priority patent/CN113243021A/zh
Publication of WO2020126378A1 publication Critical patent/WO2020126378A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the invention relates to a method for training a neural network, a training system, uses of the neural network thus trained, a computer program and a machine-readable storage medium.
  • the method with the features of independent claim 1 has the advantage that there is a guaranteed reliability of the trained system, which is particularly important for safety-critical
  • Performance e.g. in the classification of images.
  • Deep learning methods ie (deep) artificial neural networks
  • This can be, for example, a classification of sensor data, in particular image data, that is to say a mapping from sensor data or
  • the task of training the neural network is to determine weights w £ W such that an expected value F one
  • the cost function L denotes a measure for the distance between the image of a determined by means of the function f w
  • Input variable x D to a variable f w (x D ) in the output space V k and an actual output variable y D in the output space V k .
  • a “deep neural network” can be understood to mean a neural network with at least two hidden layers (English: “hidden layer”).
  • nF is usually determined using Training data (X j , y) approximated, i.e. by V w L (f w (X j , y j )), the indices j being selected from a so-called epoch.
  • An epoch is a permutation of the labels ⁇ 1, ..., N ⁇ of the available ones
  • So-called data augmentation can be used to expand the training data set.
  • a xf) can be a lot of typical variations of the input signal x j (including the
  • Input signal x j itself), which leave a classification of the input signal x j , i.e. the output signal of the neural network, unchanged.
  • Augmentation using the set a (x j ) is difficult here, since the effect does not have to be equally pronounced for every entry date X j .
  • rotation can have no effect on circular objects, but can have a very strong impact on general objects. Therefore, the size of the Quantity a ⁇ x) depends on the date of receipt X j , which can be problematic for adverserial training methods.
  • the number N of training data points is usually a size difficult to set. If N is too large, the running time of the
  • Evaluation data set and determines the quality of convergence using this evaluation data set this can lead to an over-fitting of the weights w with respect to the data points of the evaluation data set, which not only reduces the data efficiency but also the performance of the The network can deteriorate if it is applied to data other than the training data. This can lead to a reduction in the so-called “generalizability” (English: “generalizability”).
  • batch normalization layers (English: "batch normalization layer") statistical parameters m and s over so-called
  • Training process can be updated probabilistically.
  • the values of these parameters m and s are selected as predefinable values, for example as estimated values from the training by extrapolation of the exponential drop behavior.
  • the layer with index i is a stack normalization layer
  • the size of the mini stack is a parameter that the
  • Training result in general influenced and must therefore be set as well as a further hyper parameter, for example in the context of a (possibly complex) architecture search.
  • the invention therefore relates to a method for training a neural network, which is in particular set up for
  • Classification of physical measurement variables the neural network being trained using a training data set X, pairs for training comprising an input signal and an associated desired one
  • Output signal are drawn from the training data set (randomly), with parameters of the neural network being adapted as a function of an output signal of the neural network when the input signal and the desired output signal are supplied, this pulling of pairs always taking place from the entire training data set.
  • pairs are pulled regardless of which pairs were previously drawn in the course of the training.
  • Training data set can be dragged by "dragging without replacement”. This “pulling with replacement” may initially appear disadvantageous, since it cannot be guaranteed that within a given number of training examples every data point from the training data record will actually be used.
  • this advantage arises without a deterioration in the performance that can be achieved at the end of the training (e.g. in the case of Classification of images).
  • an interface to other sub-blocks of a training system with which the neural network can be trained is greatly simplified.
  • the drawn pairs can optionally be augmented even further.
  • a set of augmentation functions can be provided to which the input signal can be subjected.
  • the corresponding augmentation function can also be selected randomly, preferably regardless of which pairs and / or which
  • Augmentation functions were previously pulled during the course of the training.
  • the input signal of the pair being pulled is augmented with the augmentation function a t , ie that the input signal is replaced by its image under the augmentation function.
  • the augmentation function a t is selected, in particular randomly, from the set a of possible augmentation functions, this set being dependent on the input signal.
  • the probability can be a predeterminable quantity.
  • the probability is advantageously selected proportional to the number of possible augmentation functions. This makes it possible to adequately take into account that some augmentation functions leave the input signal unchanged, so that the thickness of the set (i.e. the number of elements of the set) of the augmentation functions can be very different between the input signals.
  • an adverserial input signal can be generated in the case of adversial training methods using a suitable augmentation function, which has a sufficiently small distance smaller than a maximum distance r from the given input signal. Become two
  • the parameters are adjusted as a function of a determined gradient, and to determine the gradient an estimated value m 1 of the gradient by taking into account a successively increasing number of pairs that are drawn from the training data set, so is refined long until a predefinable termination condition, which is dependent on the estimated value m 1 of the gradient, is met.
  • the size of the mini-stacks can be optimized
  • Hyperparameters Because this optimization can be dispensed with, the method is more efficient and reliable, since overfitting can be suppressed more effectively and the stack size as a hyper parameter is eliminated.
  • the predefinable termination condition can also be dependent on a covariance matrix C of the estimated value m 1 of the gradient.
  • the predeterminable termination condition can include the condition whether the estimated value m 1 and the covariance matrix C for a predeterminable confidence value l fulfill the condition ⁇ m 1 , C ⁇ 1 m 1 )> l 2 .
  • components of the determined gradient are scaled depending on the layer of the neural network to which these components belong
  • scaling can be understood to mean that the components of the determined gradient are multiplied by a factor dependent on the layer.
  • the scaling can take place as a function of a position, that is to say the depth, of this layer within the neural network.
  • the depth can, for example, be characterized, in particular given, by the number of layers through which an input layer of the
  • neural network must propagate signal before it is present for the first time as an input signal to this layer.
  • the scaling also takes place depending on which feature of a feature card the corresponding component of the determined gradient belongs to. In particular, it can be provided that the scaling takes place depending on the size of a receptive field of this feature.
  • weights of a feature card are multiplied cumulatively with information about the features of the receptive field, which is why an over-adaptation can develop for these weights. This is effectively prevented with the proposed method.
  • the neural network comprises a scaling layer, the scaling layer mapping an input signal present at the input of the scaling layer to an output signal present at the output of the scaling layer such that the output signal present at the output is a rescaled signal of the input signal represents parameters that rescaling
  • the scaling layer maps an input signal present at the input of the scaling layer to an output signal present at the output of the scaling layer in such a way that this mapping corresponds to a projection onto a ball, the center c and / or radius p of this ball being able to be predetermined can.
  • these parameters it is also possible for these parameters to be adapted in the course of the training, just like other parameters of the neural network.
  • N ⁇ first norm
  • N 2 second norm
  • the first standard (N -ü and the second standard (N 2 ) are chosen the same.
  • the first norm (N -ü can be a L ° ° norm. This norm can also be calculated particularly efficiently, especially if the first norm (N -ü and the second norm (N 2 ) are not the same are selected.
  • the first norm (N -ü is an L 1 norm. This choice of the first norm favors the sparsity of the output signal of the scaling layer. This is for example for the
  • Compression of neural networks is advantageous since weights with the value 0 have no contribution to the output value of their layer.
  • a neural network with such a layer can therefore be used in a particularly memory-efficient manner, in particular in connection with a compression method.
  • the second standard (N 2 ) is an L 2 standard.
  • the methods can thus be implemented particularly easily.
  • Figure 1 schematically shows a structure of an embodiment of a
  • Figure 2 schematically shows an embodiment for controlling a
  • Figure 3 schematically shows an embodiment for controlling a
  • Figure 4 schematically shows an embodiment for controlling a
  • Figure 5 schematically shows an embodiment for controlling a
  • Figure 6 schematically shows an embodiment for controlling a
  • Figure 7 schematically shows an embodiment for controlling a
  • Figure 8 shows schematically a training system
  • FIG. 9 schematically shows a structure of a neural network
  • Figure 10 shows schematically an information transfer within the neural
  • FIG. 11 shows an embodiment of a flow chart
  • FIG. 12 shows a flowchart of an embodiment of a method for estimating a gradient
  • FIG. 13 shows a flowchart of an alternative embodiment of the method for estimating the gradient
  • FIG. 14 shows in a flowchart an embodiment of a method for scaling the estimated gradient
  • FIG. 15 in flow diagrams embodiments for implementing a
  • FIG. 16 shows a method for operating the trained neural network in a flowchart.
  • Figure 1 shows an actuator 10 in its environment 20 in interaction with a control system 40.
  • Actuator 10 and environment 20 are collectively referred to as an actuator system.
  • a state of the actuator system is detected with a sensor 30, which can also be given by a plurality of sensors.
  • the sensor signal S - or in the case of several sensors, one sensor signal S - from the sensor 30 is transmitted to the control system 40.
  • the control system 40 thus receives a sequence of sensor signals S.
  • the control system 40 uses this to determine control signals A which are transmitted to the actuator 10.
  • the sensor 30 is any sensor that detects a state of the environment 20 and transmits it as a sensor signal S.
  • it can be a
  • the senor can be an imaging sensor, in particular an optical sensor such as an image sensor or a video sensor, or a radar sensor, or an ultrasonic sensor, or a LiDAR sensor. It can also be an acoustic sensor that receives structure-borne noise or voice signals, for example. Likewise, the sensor can be a position sensor (such as GPS) or a kinematic sensor (for example a single or multi-axis sensor)
  • Accelerometer act.
  • a sensor that characterizes an orientation of the actuator 10 in the environment 20 for example a compass
  • the sensor 30 can also include an information system that determines information about a state of the actuator system, such as
  • a weather information system that determines a current or future state of the weather in the environment 20.
  • the control system 40 receives the sequence of sensor signals S from the sensor 30 in an optional receiving unit 50, which the sequence of
  • sensor signal S Converts sensor signals S into a sequence of input signals x (alternatively, sensor signal S can also be directly accepted as input signal x).
  • the input signal x can be, for example, a section or further processing of the sensor signal S.
  • the input signal x can comprise, for example, image data or images, or individual frames of a video recording. In other words, input signal x is determined as a function of sensor signal S.
  • the input signal x is fed to a neural network 60.
  • the neural network 60 is preferably parameterized by parameters Q, for example comprising weights w, which are stored in a parameter memory P and are provided by the latter.
  • the neural network 60 determines x output signals y from the input signals.
  • the output signals y encode classification information of the input signal x.
  • the output signals y become an optional
  • Forming unit 80 supplied, which determines control signals A, which are fed to the actuator 10 to control the actuator 10 accordingly.
  • the neural network 60 can for example be set up in the
  • the actuator 10 receives the control signals A, is controlled accordingly and carries out a corresponding action.
  • the actuator 10 can comprise a control logic (not necessarily structurally integrated), which determines a second control signal from the control signal A, with which the actuator 10 is then controlled.
  • control system 40 comprises the sensor 30. In still further embodiments, the control system 40 alternatively or additionally also includes the actuator 10.
  • control system 40 includes one or more processors 45 and at least one
  • machine readable storage medium 46 on which instructions are stored which, when executed on processors 45, cause control system 40 to execute the method of operating the
  • a display unit 10a is provided as an alternative or in addition to the actuator 10.
  • FIG. 2 shows an exemplary embodiment in which the control system 40 is used to control an at least partially autonomous robot, here an at least partially automated motor vehicle 100.
  • the sensor 30 can be one of the sensors mentioned in connection with FIG. 1, preferably one or more
  • video sensors and / or one or more radar sensors and / or one or more ultrasonic sensors and / or one or more LiDAR sensors and / or one or more position sensors are preferably arranged in motor vehicle 100.
  • the neural network 60 can, for example, from the input data x
  • the output signal y can be information that characterizes where in the vicinity of the at least partially autonomous Robot's items are present.
  • the output signal A can then be determined depending on this information and / or according to this information.
  • the actuator 10, which is preferably arranged in the motor vehicle 100, can be, for example, a brake, a drive or a steering of the motor vehicle 100
  • the control signal A can then be determined in such a way that the actuator or the actuators 10 is controlled in such a way that the motor vehicle 100, for example, prevents a collision with the objects identified by the neural network 60, in particular if it is
  • control signal A can be determined as a function of the determined class and / or according to the determined class.
  • the at least partially autonomous robot can also be another mobile robot (not shown), for example one that moves by flying, swimming, diving or walking.
  • the mobile robot can also be, for example, an at least partially autonomous lawn mower or an at least partially autonomous cleaning robot.
  • the control signal A can be determined in such a way that the drive and / or steering of the mobile robot are controlled such that the at least partially autonomous robot prevents, for example, a collision with the objects identified by the neural network 60,
  • the at least partially autonomous robot can also be a garden robot (not shown), which uses an imaging sensor 30 and the neural network 60 to determine a type or a state of plants in the environment 20.
  • the actuator 10 can then be an applicator of chemicals, for example.
  • the control signal A can be determined as a function of the determined type or the determined state of the plants in such a way that an amount of the chemicals corresponding to the determined type or the determined state is applied.
  • the at least partially autonomous robot can also be a household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a
  • a state of an object treated with the household appliance can be detected, for example in the case of the washing machine, a state of laundry that is in the washing machine.
  • a type or a state of this object can then be determined and transmitted
  • Output signal y can be characterized.
  • the control signal A can then be determined in such a way that the household appliance is controlled as a function of the determined type or the determined state of the object. For example, in the case of the washing machine, this can be controlled depending on the material from which the laundry contained therein is made. Control signal A can then be selected depending on which material of the laundry has been determined.
  • FIG. 3 shows an exemplary embodiment in which the control system 40 is used to control a production machine 11 of a production system 200 in that an actuator 10 controlling this production machine 11 is activated.
  • the production machine 11 can, for example, be a machine for punching, sawing, drilling and / or cutting.
  • the sensor 30 can be one of the sensors mentioned in connection with FIG. 1, preferably an optical sensor which e.g. Properties of finished products 12 recorded. It is possible that the actuator 10 controlling the production machine 11 is controlled depending on the determined properties of the production product 12, so that the production machine 11 accordingly executes a subsequent processing step of this production product 12. It is also possible for the sensor 30 to determine the properties of the manufactured product 12 processed by the manufacturing machine 11 and, depending on this, to adapt a control of the manufacturing machine 11 for a subsequent finished product.
  • FIG. 4 shows an exemplary embodiment in which the control system 40 is used to control a personal assistant 250.
  • the sensor 30 can be one of those mentioned in connection with FIG. 1 Act sensors.
  • Sensor 30 is preferably an acoustic sensor that receives voice signals from a user 249. Alternatively or additionally, the sensor 30 can also be set up to receive optical signals,
  • the control system 40 determines a control signal A of the personal assistant 250, for example by the neural network performing a gesture recognition. This determined control signal A is then transmitted to the personal assistant 250 and is thus controlled accordingly.
  • This determined control signal A ist can in particular be selected such that it corresponds to a presumed desired activation by the user 249. This presumed desired activation can be determined depending on the gesture recognized by the neural network 60.
  • the control system 40 can then select the control signal A for transmission to the personal assistant 250 depending on the presumed desired control and / or select the control signal A for transmission to the personal assistant in accordance with the presumed desired control 250.
  • This corresponding control can include, for example, that the personal assistant 250 retrieves information from a database and reproduces it in a way that the user 249 can receive.
  • a household appliance (not shown), in particular a washing machine, a stove, an oven, a microwave or a dishwasher, can also be provided in order to be controlled accordingly.
  • FIG. 5 shows an exemplary embodiment in which the control system 40 is used to control an access system 300.
  • Access system 300 may include physical access control, such as door 401.
  • the sensor 30 can be one of the sensors mentioned in connection with FIG. 1, preferably an optical sensor (for example for recording image or video data), which is set up to record a face.
  • This captured image can be captured by means of the neural network 60 be interpreted.
  • the actuator 10 can be a lock that, depending on the control signal A, releases the access control or not, for example opens the door 401, or not.
  • the control signal A can be selected depending on the interpretation of the neural network 60, for example depending on the identified identity of the person.
  • a logical access control can also be provided.
  • FIG. 6 shows an exemplary embodiment in which the control system 40 is used to control a monitoring system 400.
  • This exemplary embodiment differs from the exemplary embodiment shown in FIG. 5 in that, instead of the actuator 10, the display unit 10a is provided, which is controlled by the control system 40.
  • the neural network 60 can determine whether one is from the optical sensor
  • control signal A can then be selected such that this object is shown in color by the display unit 10a.
  • FIG. 7 shows an exemplary embodiment in which the control system 40 is used to control a medical imaging system 500, for example an MRI, X-ray or ultrasound device.
  • the sensor 30 can be provided, for example, by an imaging sensor, and the control system 40 controls the display unit 10a.
  • the neural network 60 can determine whether an area recorded by the imaging sensor is noticeable, and the control signal A can then be selected such that this area is highlighted in color by the display unit 10a.
  • FIG. 8 schematically shows an exemplary embodiment of a training system 140 for training the neural network 60 by means of a training method.
  • a training data unit 150 determines suitable input signals x, which are fed to the neural network 60. For example, the
  • Training data unit 150 to a computer-implemented database in which a set of training data is stored and, for example, randomly selects input signals x from the set of training data.
  • the Training data unit 150 also desired, or “actual”, output signals associated with the input signals x, which one
  • Evaluation unit 180 are supplied.
  • the artificial neural network x is set up to determine associated output signals y from the input signals x supplied to it. This
  • Output signals y are fed to the evaluation unit 180.
  • the evaluation unit 180 can, for example, by means of one of the
  • the parameters Q can be optimized depending on the cost function L.
  • training system 140 includes one or more processors 145 and at least one
  • machine-readable storage medium 146 on which instructions are stored which, when executed on processors 145, cause control system 140 to execute the training process.
  • FIG. 9 shows an example of a possible structure of the neural network 60, which is given as a neural network in the exemplary embodiment.
  • the neural network comprises a plurality of layers S 1 , S 2 , S 3 , S 4 , S 5 in order to convert from the input signal x, which is fed to an input of an input layer S 4
  • Each of the layers S 1 , S 2 , S 3 , S 4 , S 5 is set up here, from an (possibly multidimensional) input signal x, z 1 , z 3 , z 4 , z 6 which is at an input of the respective layer S 1 , S 2 , S 3 , S 4 , S 5 is present, a - a (possibly multidimensional) output signal z 1 , z 2 , z 4 , z 5 , y to determine that at an output of the respective layer S 1 , S 2 , S 3 , S 4 , S 5 is present.
  • Such output signals especially in image processing, are also referred to as feature maps. It is not necessary that the layers
  • S 1 , S 2 , S 3 , S 4 , S 5 are arranged in such a way that all output signals which are input to further layers come from a previous layer into an immediately following layer. Instead, there are also bridging connections (English: “Skip
  • the input signal x enters several of the layers or that the output signal y of the neural network 60 is composed of output signals of a plurality of layers.
  • the output layer S 5 can be given, for example, by an Argmax layer (i.e. a layer that selects from a plurality of inputs with associated input values a description of the input whose assigned input value is the largest among these input values), one or more of the layers S 1 , S 2 , S 3 can be given, for example, by folding layers.
  • an Argmax layer i.e. a layer that selects from a plurality of inputs with associated input values a description of the input whose assigned input value is the largest among these input values
  • one or more of the layers S 1 , S 2 , S 3 can be given, for example, by folding layers.
  • a layer S 4 is advantageously designed as a scaling layer which is designed such that an input signal (x) present at the input of the scaling layer (S 4 ) is mapped onto an output signal (y) present at the output of the scaling layer (S 4 ) such that the output signal (y) present at the output is a rescaling of the input signal (x), parameters which characterize the rescaling being predeterminable. Exemplary embodiments of methods that scaling layer S 4 can carry out are described below in connection with FIG. 15.
  • FIG. 10 schematically illustrates the forwarding of information within the neural network 60.
  • Three multidimensional signals within the neural network 60 namely the input signal x, and later feature maps z 1 , z 2 are shown schematically here.
  • the input signal x has
  • Embodiment a spatial resolution of n * x riy pixels, the first feature map z 4 of n x x ri y pixels, the second feature map z 2 of n? x x ri y pixels.
  • the resolution of the second feature map z 2 is less than the resolution of the input signal x, but this is not absolutely the case.
  • a feature, for example a pixel, (i) 3 of the second is also shown
  • Characteristic card z 2 The function that determines the second feature map z 2 from the first feature map z 4 , for example by a folding layer or a fully meshed layer (English: “fully connected layer”), it is also possible that a plurality of features of the first feature map z 4 .
  • Characteristic map z- the determination of the value of this characteristic (i, y) 3 is received.
  • “Incoming” can advantageously be understood to mean that there is a combination of values of the parameters that characterize the function with which the second feature map z 2 is determined from the first feature map z and of values of the first feature map z such that that the value of the feature (i, y) 3 depends on the value of the incoming feature.
  • One or more features of the input signal x are included in the determination of each feature (i, j) 2 of the area Be.
  • the set of all features of the input signal x that go into the determination of at least one of the features (i, j) 2 of the area Be are referred to as the receptive field rF of the feature (i) 3 .
  • the receptive field rF of the feature (i) 3 includes all those features of the input signal x that are directly or indirectly (in other words: at least indirectly) included in the determination of the feature (i, y) 3 , ie the values of which Can influence value of feature (i) 3 .
  • FIG. 11 shows the flow of a method for
  • Training neural network 60 according to one embodiment.
  • a training data record X comprising pairs (x j , y j ) of input signals and respectively associated output signals y t is provided.
  • first set G and a second set N are optionally initialized, for example if in step 1100 that illustrated in FIG. 12
  • step 1100 the exemplary embodiment of this part of the method illustrated in FIG can be used, the initialization of the first set G and the second set N can be dispensed with.
  • the initialization of the first set G and the second set N can take place as follows: The first set G, the pairs (x j , y j ) of the
  • Training data record X which has already been drawn in the course of a current epoch of the training process, is initialized as an empty set.
  • the second set N which comprises those pairs (x j , y j ) of the training data set X that have not yet been drawn in the course of the current epoch, is initialized by assigning all pairs (x j , y j ) of the training data set X to it .
  • ⁇ h a predeterminable learning rate reduction factor
  • ⁇ h 1/10
  • a number of epochs can be divided by a predefinable number of epochs, e.g. 5.
  • the parameters Q are updated by means of the determined and possibly scaled gradient g and the learning rate h.
  • the learning rate h For example, the
  • the convergence criterion can be met exactly when an L 2 standard for changing all parameters Q between the last two epochs is smaller than a predefinable convergence threshold.
  • Parameter Q is accepted as the learned parameter and the process ends.
  • FIG. 12 illustrates in a flowchart an exemplary method for determining the gradient g in step 1100.
  • Training data set X (without replacement) drawn, i.e. selected and assigned to a batch B (English: "batch").
  • the predeterminable number of bs is also referred to as a batch size.
  • Batch B is initialized as an empty set.
  • the stack size bs is not larger than the number of pairs (x ⁇ y;) that are present in the second set N, bs many pairs (x j , y j ) are randomly drawn from the second set N (1130), that is selected and the stack B
  • stack size bs is larger than the number of pairs (x ⁇ y;) which are present in the second set N, all pairs of the second set N, the number of which is denoted by s, are drawn (1140), that is to say selected and given Stack B added, and the rest, ie many - drawn from the first set G, selected and added to stack B.
  • step (1130) or (1140) it is then optionally decided (1150) at step (1130) or (1140) whether or not these parameters Q should be ignored in this training session. For example, for each Layer (S 1 , S 2 , ..., S 6 ) separately set a probability with which
  • Parameters Q of this layer are ignored. For example, this probability can be 50% for the first layer and can be reduced by 10% with each subsequent layer.
  • an augmentation function is selected and applied to the input signal x t .
  • the input signal x t thus augmented then replaces the original input signal x t .
  • the augmentation function can be given, for example, by rotation through a predeterminable angle.
  • Corresponding (and possibly augmented) input signal x t is selected and fed to the neural network 60.
  • the parameters Q to be transferred of the neural network 60 are here during the determination of the
  • corresponding output signal is deactivated, for example by temporarily setting it to zero.
  • the corresponding output signal y (x j ) of the neural network 60 is assigned to the corresponding pair (c ⁇ , g).
  • step (1200) If it is found that if the stack size bs is not greater than the number of pairs (x ⁇ y;) that are present in the second set N, then (1180) all pairs (x ⁇ y;) of the stack B of the first set G added and removed from the second set N. It is now checked (1185) whether the second set N is empty. If the second set N is empty, a new era begins (1186). For this purpose, the first set G is reinitialized as an empty set, and the second set N is reinitialized by reassigning all pairs (x j , y j ) of the training data set X, and the process branches to step (1200). If the second set N is not empty, the process branches directly to step (1200).
  • the first set G is reinitialized (1190) by matching all pairs (x j , y j ) of stack B
  • the second set N is reinitialized by re-assigning all pairs (x j , y j ) of training data set X and then the pairs (x ⁇ y;) that are also present in stack B. be removed.
  • a new epoch then begins and the process branches to step (1200). This ends this part of the procedure.
  • FIG. 13 illustrates a further exemplary method for determining the gradient g in step 1100 in a flowchart.
  • parameters of the method are initialized (1111).
  • the mathematical space of the parameters Q is referred to as W.
  • a pair (x j , y j ) is randomly selected from the training data record X and, if necessary, augmented. This can happen, for example, in such a way that for each input signal x t of the pairs (x j , y j ) training data set X is one Number m (a (c ⁇ )) of possible augmentations a (x is determined, and each pair (xi, yi) a position size is assigned. If a random number fe [0; 1], evenly distributed, that position variable p t can be selected that contains the inequality chain
  • the associated index i designates the selected pair (x ⁇ y;), an augmentation a t of the input variable can be drawn randomly from the set of possible augmentations cr (X j ) and applied to the input variable Xi, ie the selected pair (x j , y j ) is replaced by (a ⁇ (c ⁇ ) ⁇ ⁇ ).
  • the input signal x t is fed to the neural network 60.
  • the corresponding output signal y (x ; ) and the output signal y t of the pair (xi, yi) as the desired output signal y T the corresponding one
  • Cost function L t determined.
  • step (1200) If the inequality is satisfied, the current value of the first variable m 1 is adopted as the estimated gradient g and the process branches back to step (1200).
  • the process can branch back to step (1121). Alternatively, it can also be checked (1171) whether the iteration counter n has reached a predeterminable maximum iteration value n max . If this is not the case, the process branches back to step (1121), otherwise the zero vector 0 e W is adopted as the estimated gradient g (1181), and the process branches back to step (1200). This ends this part of the procedure.
  • FIG. 14 shows an embodiment of the method for scaling the
  • Gradients g are denoted by a pair (t, Z), where ie ⁇ 1, ..., k ⁇ denotes a layer of the corresponding parameter Q, and le ⁇ 1, ..., dim (Vi) ⁇ a numbering of the corresponding parameter Q within the i-th layer.
  • the neural network as illustrated in FIG. 10, is designed for processing multidimensional input data x with corresponding feature maps z ( in the i-th layer, the numbering l is advantageously given by the position of the feature in the feature map z ( with which the
  • this scaling factor W M can be given by the size of the receptive field rF of the corresponding feature of the feature map of the i-th layer.
  • the scaling factor W M can alternatively also be given by a ratio of the resolutions, ie the number of features, of the i-th layer in relation to the input layer.
  • the scaling factor W M is given by the size of the receptive field rF, an over-adaptation of the parameters Q can be avoided particularly effectively. If the scaling factor W M is given by the ratio of the resolutions, this is a particularly efficient approximate estimate of the size of the receptive field rF.
  • FIG. 15 illustrates embodiments of the method used by the
  • the scaling layer S 4 is set up to achieve a projection of the input signal x present at the input of the scaling layer S 4 onto a sphere, with radius p and center point c.
  • This is characterized by a first standard N ⁇ y— c), which measures a distance of the center point c from the output signal y present at the output of the scaling layer S 4 , and a second standard N 2 (x— y), which measures a distance of the input signal present at the input of the scaling layer S 4 x of the output signal y present at the output of the scaling layer S 4 .
  • FIG. 15 a illustrates a particularly efficient first embodiment in the event that the first standard / V 4 and a second standard N 2 are the same. You will see
  • an input signal x present at the input of the scaling layer S 4 , a center parameter c and a radius parameter p are provided.
  • FIGS. 15b) and 15c) illustrate embodiments for particularly advantageously selected combinations of the first standard / V 4 and the second standard N 2 .
  • FIG. 15 b) illustrates a second embodiment in the event that the first norm / V 4 ( ⁇ ) is given by the condition (12) to be fulfilled
  • First (3000) is analogous to step (2000) at the input of the
  • Scaling layer S 4 applied input signal x, the center parameter c and the radius parameter p are provided. Then (3100) the components y t of the output signal y present at the output of the scaling layer S 4 are determined if x t - c t > p
  • FIG. 15 c) illustrates a third embodiment in the event that the first standard / V 4 ( ⁇ ) is given by the 1 standard 11 ⁇
  • This combination of standards means that as many small components as possible in the input signal x present at the input of the scaling layer S 4 are set to the value zero.
  • Scaling layer S 4 applied input signal x, the center parameter c and the radius parameter p are provided.
  • This method corresponds to a Newton method and is particularly computationally efficient, in particular if many of the components of the input signal x present at the input of the scaling layer S 4 are important.
  • FIG. 16 illustrates an embodiment of a method for operating the neural network 60.
  • the neural network is trained using one of the methods described.
  • the control system 40 is operated with the neural network 60 thus trained as described. This ends the process.
  • the neural network is not restricted to forward-looking neural networks (English: “feedforward neural network”), but that the invention can be applied in the same way to any type of neural network, in particular recurrent networks, convolution networks
  • the term “computer” encompasses any device for processing predefinable calculation rules. These calculation rules can be in the form of software, or in the form of hardware, or also in a mixed form of software and hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

Computer-implementiertes Verfahren zum Trainieren eines neuronalen Netzes (60), welches insbesondere eingerichtet ist zum Klassifizieren von physikalischen Messgrößen, wobei das neuronale Netz (60) mittels eines Trainingsdatensatzes (X) trainiert wird, wobei zum Trainieren Paare umfassend ein Eingangssignal (x) und ein zugehöriges gewünschtes Ausgangssignal (y T ) aus demTrainingsdatensatz (X) gezogen werden, wobei ein Anpassen von Parametern (θ) des neuronalen Netzes (60) abhängig von einem Ausgangssignal (y) des neuronalen Netzes (60) bei Zuführung des Eingangssignals (x) und abhängig vom gewünschten Ausgangssignal (y T ) geschieht, dadurch gekennzeichnet, dass dieses Ziehen von Paaren stets aus dem gesamten Trainingsdatensatz (X) erfolgt.

Description

Verfahren zum Trainieren eines neuronalen Netzes
Die Erfindung betrifft ein Verfahren zum Trainieren eines neuronalen Netzes, ein Trainingssystem, Verwendungen des so trainierten neuronalen Netzes, ein Computerprogramm und ein maschinenlesbares Speichermedium.
Stand der Technik
Aus„Improving neural networks by preventing co-adaptation of feature detectors”, arXiv preprint arXiv:1207.0580vl, Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, llya Sutskever, Ruslan R. Salakhutdinov (2012) ist ein Verfahren zum Trainieren neuronaler Netze bekannt, bei dem während des Trainings zufällig Merkmalsdetektoren übergangen werden. Diese Verfahren ist auch unter dem Namen„Dropout“ bekannt.
Aus„Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”, arXiv preprint arXiv:1502.03167v3, Sergey loffe, Christian Szegedy (2015) in ein Verfahren zum Trainieren neuronaler Netze bekannt, bei dem Eingangsgrößen in eine Schicht für einen kleinen Stapel (Englisch:„mini-batch“) von Trainingsbeispielen normalisiert werden.
Vorteile der Erfindung
Das Verfahren mit den Merkmalen des unabhängigen Anspruch 1 hat demgegenüber den Vorteil, dass es sich eine garantierbare Zuverlässigkeit des trainierten Systems ergibt, was insbesondere für sicherheitskritische
Anwendungen essenziell ist. Überraschenderweise ergibt sich dieser Vorteil, ohne eine Verschlechterung in der am Trainingsende erreichbaren
Leistungsfähigkeit (z.B. bei der Klassifizierung von Bildern) in Kauf nehmen zu müssen.
Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
Offenbarung der Erfindung Mit hinreichend vielen Trainingsdaten können sogenannte„Deep Learning“- Verfahren, also (tiefe) künstliche neuronale Netze, benutzt werden, um effizient eine Abbildung zwischen einem Eingangsraum VQ und einem Ausgangsraum Vk zu ermitteln. Dies kann beispielsweise eine Klassifikation von Sensordaten, insbesondere Bilddaten, sein, also eine Abbildung aus Sensordaten bzw.
Bilddaten auf Klassen. Zu Grunde liegt der Ansatz, k— 1 viele verdeckte Räume Vl
Figure imgf000004_0001
vorzusehen. Ferner werden k viele Abbildungen fl: Vi-1 -> Vt (i = 1 ... k) zwischen diesen Räumen vorgesehen. Jede dieser Abbildungen fl wird üblicherweise als eine Schicht (Englisch:„layer“) bezeichnet. Eine solche Schicht fl ist typischerweise durch Gewichte w£ e Wl mit einem geeignet gewählten Raum Wl parametriert. Die Gewichte wlt ... , wk der k vielen Schichten fl werden zusammengefasst auch als Gewichte w e W := W1 x ... x Wk bezeichnet, und die Abbildung vom Eingangsraum VQ auf den Ausgangsraum Vk als fw: VQ Vk, welche sich aus den einzelnen
Abbildungen fl (mit explizit als Subskript angedeuteten Gewichten w£) ergibt als
Figure imgf000004_0002
Mit einer gegebenen Wahrscheinlichkeitsverteilung D, welche auf VQ x Vk definiert ist, besteht die Aufgabe des Trainings des neuronalen Netzes darin, Gewichte w £ W so zu bestimmen, dass ein Erwartungswert F einer
Kostenfunktion L
FM = £(xD,yD)~D [ /w ( D)> D)] (1) minimiert wird. Hierbei bezeichnet die Kostenfunktion L ein Maß für den Abstand zwischen der mittels des der Funktion fw ermittelten Abbildung einer
Eingangsgröße xD auf eine Größe fw(xD ) im Ausgangsraum Vk und einer tatsächlichen Ausgangsgröße yD im Ausgangsraum Vk.
Unter einem„tiefen neuronalen Netz“ kann ein neuronales Netz mit wenigstens zwei verdeckten Schichten (Englisch:„hidden layer“) verstanden werden.
Um diesen Erwartungswert F zu minimieren, können gradientenbasierte Verfahren zum Einsatz kommen, die einen Gradienten t/F bezüglich der Gewichte w ermitteln. Dieser Gradient nF wird gewöhnlich mittels Trainingsdaten ( Xj, y ) approximiert , also durch Vw L(fw(Xj,yj)), wobei die Indizes j aus einer so genannten Epoche ausgewählt werden. Eine Epoche ist hierbei eine Permutation der Label {1, ... , N} der verfügbaren
T rainingsdatenpunkte.
Um den Trainingsdatensatz zu erweitern, kann sogenannte Datenaugmentierung (auch Augmentierung genannt) zum Einsatz kommen. Hierbei kann für jeden Index j aus der Epoche an Stelle des Paares
Figure imgf000005_0001
ein augmentiertes Paar ( xa,yj ) gewählt werden, wobei hier das Eingangssignal xj durch einen augmentierten Eingangswert xa e a{x ) ersetzt wird. a xf) kann hierbei eine Menge typischer Variationen des Eingangssignal xj sein (inklusive des
Eingangssignals xj selbst), die eine Klassifikation des Eingangssignals xj, also das Ausgangssignal des neuronalen Netzes, unverändert lassen.
Dieses epochenbasierte Sampling ist allerdings nicht vollständig konsistent mit der Definition aus Gleichung (1), da jeder Datenpunkt im Verlauf einer Epoche exakt ein Mal gewählt wird. Die Definition aus Gleichung (1) legt hingegen unabhängig gezogene Datenpunkte zu Grunde. D.h. während Gleichung (1) ein Ziehen der Datenpunkte„mit Zurücklegen“ voraussetzt, vollzieht das
epochenbasierte Sampling ein Ziehen der Datenpunkte„ohne Zurücklegen“. Dies kann dazu führen, dass die Voraussetzungen mathematischer
Konvergenzbeweise nicht gegeben sind (denn zieht man N Beispiele aus einer Menge N vieler Datenpunkte, so ist die Wahrscheinlichkeit, jeden dieser
_N_
Datenpunkte exakt einmal zu ziehen, kleiner als e (für N > 2), während diese Wahrscheinlichkeit beim epochenbasierten Sampling stets gleich 1 ist.
Kommt Datenaugmentierung zum Einsatz, kann dieser statistische Effekt noch verstärkt werden, da in jeder Epoche ein Element der Menge a x ) vorhanden ist und, je nach Augmentierungsfunktion a, nicht ausgeschlossen werden kann, dass a(xj « a(xt) für i j. Eine statistisch korrekte Abbildung der
Augmentierungen mittels der Menge a(xj ) ist hierbei schwierig, da der Effekt nicht für jedes Eingangsdatum Xj gleichermaßen ausgeprägt sein muss. So kann z.B. eine Rotation auf kreisförmige Gegenstände keine Auswirkung haben, sich aber auf allgemeine Objekte sehr stark auswirken. Daher kann die Größe der Menge a{x ) vom Eingangsdatum Xj abhängig sein, was für adverserielle Trainingsmethoden problematisch sein kann.
Schließlich ist die Anzahl N der Trainingsdatenpunkte eine i.d.R. aufwändig einzustellende Größe. Ist N zu groß gewählt, kann die Laufzeit des
Trainingsverfahrens ungebührlich verlängert werden, ist N zu klein gewählt, kann eine Konvergenz nicht garantiert werden, da mathematische Beweise der Konvergenz i.A. auf Annahmen aufbauen, die dann nicht erfüllt sind. Darüber hinaus ist nicht klar, zu welchem Zeitpunkt das Training zuverlässig beendet werden soll. Nimmt man hierbei einen Teil der Datenpunkte als
Evaluationsdatensatz und bestimmt die Güte der Konvergenz mittels dieses Evaluationsdatensatzes, kann dies dazu führen, dass bezüglich der Datenpunkte des Evaluationsdatensatzes eine Überanpassung (Englisch:„over-fitting“) der Gewichte w stattfindet, was nicht nur die Dateneffizienz verringert, sondern auch die Leistungsfähigkeit des Netzes verschlechtern kann, wenn es auf andere als die Trainingsdaten angewendet wird. Dies kann zu einer Verringerung der sogenannten„Generalisierbarkeif (Englisch:„generalizability“) führen.
Um eine Überanpassung zu reduzieren, kann mittels des eingangs genannten „Dropouf-Verfahrens eine Information, die in den verdeckten Schichten gespeichert ist, zufällig ausgedünnt werden.
Um die Randomisierung des Trainingsvorgangs zu verbessern, können durch die Verwendung sogenannter Stapelnormierungsschichten (Englisch:„batch normalization layer“) statistische Parameter m und s über sogenannten
Ministapeln (Englisch:„mini batch) eingeführt werden, die während des
Trainingsvorgangs probabilistisch aktualisiert werden. Bei der Inferenz werden die Werte dieser Parameter m und s als fest vorgebbare Werte gewählt, beispielsweise als Schätzwerte aus dem Training durch Extrapolation des exponentiellen Abfallverhaltens.
Ist die Schicht mit Index i eine Stapelnormierungsschicht, werden die
zugehörigen Gewichte w£ = (m£, s£) bei einem Gradientenabstieg nicht aktualisiert, d.h. diese Gewichte w£ werden somit anders behandelt als die Gewichte wk der übrigen Schichten k. Dies erhöht die Komplexität einer Implementierung.
Darüber hinaus ist die Größe der Ministapel ein Parameter, der das
Trainingsergebnis i.A. beeinflusst und daher als weiterer Hyperparameter möglichst gut eingestellt werden muss, beispielsweise im Rahmen einer (ggf. aufwändigen) Architektursuche.
In einem ersten Aspekt betrifft die Erfindung daher ein Verfahren zum Trainieren eines neuronalen Netzes, welches insbesondere eingerichtet ist zum
Klassifizieren von physikalischen Messgrößen, wobei das neuronale Netz mittels eines Trainingsdatensatzes X trainiert wird, wobei zum Trainieren Paare umfassend ein Eingangssignal und ein zugehöriges gewünschtes
Ausgangssignal aus dem Trainingsdatensatz (zufällig) gezogen werden, wobei ein Anpassen von Parametern des neuronalen Netzes abhängig von einem Ausgangssignal des neuronalen Netzes bei Zuführung des Eingangssignals und des gewünschten Ausgangssignals geschieht, wobei dieses Ziehen von Paaren stets aus dem gesamten Trainingsdatensatz erfolgt.
In einer bevorzugten Weiterbildung dieses Aspekts ist vorgesehen, dass das Ziehen von Paaren unabhängig davon geschieht, welche Paare zuvor im Verlauf des Trainings gezogen wurden.
Mit anderen Worten entspricht das Sampling von Paaren, also Datenpunkten, aus dem Trainingsdatensatz einem„Ziehen mit Zurücklegen“. Dies bricht mit dem vorliegenden Paradigma, dass die Trainingsbeispiele des
Trainingsdatensatzes durch„Ziehen ohne Zurücklegen“ gezogen werden. Dieses „Ziehen mit Zurücklegen“ mag zunächst nachteilig erscheinen, da nicht garantiert werden kann, dass innerhalb einer gegebenen Anzahl von Trainingsbeispielen jeder Datenpunkt aus dem Trainingsdatensatz tatsächlich verwendet wird.
Hiermit ergibt sich eine garantierbare Zuverlässigkeit des trainierten Systems, was insbesondere für sicherheitskritische Anwendung essenziell ist.
Überraschenderweise ergibt sich dieser Vorteil, ohne eine Verschlechterung in der am Trainingsende erreichbaren Leistungsfähigkeit (z.B. bei der Klassifizierung von Bildern) in Kauf nehmen zu müssen. Zudem wird eine Schnittstelle zu anderen Teilblöcken eines Trainingssystems, mit dem das neuronale Netz trainierbar ist, stark vereinfacht.
Die gezogenen Paare können dabei optional noch weiter augmentiert werden. D.h. für einige oder alle der im Trainingsdatensatz (als Komponente der Paare) enthaltenen Eingangssignale kann eine Menge von Augmentierungsfunktionen vorgesehen sein, der das Eingangssignal unterworfen werden kann. Die Auswahl der entsprechenden Augmentierungsfunktion kann ebenfalls zufällig geschehen, vorzugsweise unabhängig davon, welche Paare und/oder welche
Augmentierungsfunktionen zuvor im Verlauf des Trainings gezogen wurden.
In einer Weiterbildung kann vorgesehen sein, dass dabei das Eingangssignal des gezogenen Paares mit der Augmentierungsfunktion at augmentiert wird, d.h. dass das Eingangssignal durch sein Bild unter der Augmentierungsfunktion ersetzt wird.
Vorzugsweise ist hierbei vorgesehen, dass die Augmentierungsfunktion at aus der Menge a möglicher Augmentierungsfunktion insbesondere zufällig gewählt wird, wobei diese Menge abhängig ist vom Eingangssignal.
Hierbei kann vorgesehen sein, dass beim zufälligen Ziehen von Paaren aus dem Trainingsdatensatz eine Wahrscheinlichkeit, dass ein vorgebbares Paar gezogen wird, abhängig von einer Anzahl möglicher Augmentierungsfunktionen a des Eingangssignals dieses vorgebbaren Paares ist.
Beispielsweise kann die Wahrscheinlichkeit eine vorgebbare Größe sein.
Insbesondere wird die Wahrscheinlichkeit vorteilhafterweise proportional zur Anzahl möglicher Augmentierungsfunktionen gewählt. Dies ermöglicht es, adäquat zu berücksichtigen, dass manche Augmentierungsfunktionen das Eingangssignal unverändert lassen, sodass die Mächtigkeit der Menge (d.h. die Anzahl der Elemente der Menge) der Augmentierungsfunktionen zwischen den Eingangssignalen sehr unterschiedlich sein kann. Durch die adäquate
Berücksichtigung lassen sich mögliche Probleme bei adverseriellen
Trainingsverfahren vermeiden. Dies lässt sich wie folgt verstehen: Bei gegebenem Eingangssignal kann bei adverseriallen Trainingsverfahren mitels einer geeigneten Augmentierungsfunktion ein adverserielles Eingangssignal generiert werden, das vom gegebenen Eingangssignal einen hinreichen kleinen Abstand kleiner als ein Maximalabstand r aufweist. Werden zwei
Eingangssignale zugelassen, die voneinander einen kleinen Abstand (kleiner als der zweifache Maximalabstand) haben, so ist es möglich, dass sich die Mengen der adverseriellen Eingangssignale überlappen, sodass die adverseriellen Trainingsverfahren überrepräsentiert sein können, sofern dieser Überlapp nicht adäquat berücksichtigt wird. Dies leistet das genannte Verfahren.
In einem weiteren Aspekt der Weiterbildungen kann vorgesehen sein, dass das Anpassen der Parameter abhängig von einem ermitelten Gradienten geschieht, und zur Ermitlung des Gradienten ein Schätzwert m1 des Gradienten durch Berücksichtigung einer sukzessiv steigenden Anzahl von Paaren, die aus dem Trainingsdatensatz gezogen werden, so lange verfeinert wird, bis eine vorgebbare Abbruchbedingung, die abhängig vom Schätzwert m1 des Gradienten ist, erfüllt ist.
Dies bedeutet insbesondere, dass das Anpassen der Parameter erst erfolgt, nachdem die vorgebbare Abbruchbedingung erfüllt ist.
Dies ist im Gegensatz zu gängigen Verfahren aus dem Stand der Technik wie beispielsweise stochastischem Gradientenabstieg (Englisch:„stochastic gradient descenf), in denen eine Mitelung des Gradienten stets über einen vorgebbaren Ministapel geschieht. Dieser Ministapel hat eine vorgebbare Größe, die als Hyperparameter eingestellt werden kann. Durch das sukzessive Hinzufügen von Paaren aus dem Trainingsdatensatz ist es beim vorgeschlagenen Verfahren möglich, die Ermitlung so lange auszuführen, bis der Gradient sicher in aufsteigende Richtung zeigt.
Darüber hinaus ist die Größe der Ministapel ein zu optimierender
Hyperparameter. Dadurch, dass auf diese Optimierung verzichtet werden kann, ist das Verfahren effizienter und zuverlässiger, da eine Überanpassung wirksamer unterdrückt werden kann und die Stapelgröße als Hyperparameter entfällt. Insbesondere kann die vorgebbare Abbruchbedingung auch abhängig von einer Kovarianzmatrix C des Schätzwerts m1 des Gradienten sein.
Hierdurch ist es möglich, besonders einfach zu garantieren, dass der Gradient sicher in aufsteigende Richtung zeigt.
Beispielsweise kann die vorgebbare Abbruchbedingung die Bedingung umfassen, ob Schätzwert m1 und Kovarianzmatrix C für einen vorgebbaren Konfidenzwert l die Bedingung {m1, C~1m1) > l2 erfüllen.
Mit dieser Bedingung wird also ein probabilistisches Abbruchkriterium eingeführt. Dadurch ist es auch möglich, mit vorgebbarer Konfidenz zu garantieren, dass der Gradient mit Konfidenzwert l in aufsteigende Richtung zeigt.
In einem weiteren Aspekt der Weiterbildungen kann vorgesehen sein, dass Komponenten des ermittelten Gradienten abhängig davon skaliert werden, zu welcher Schicht des neuronalen Netzes die zu diesen Komponenten
entsprechenden Parameter gehören.
„Skalieren“ kann in diesem Zusammenhang so zu verstehen sein, dass die Komponenten des ermittelten Gradienten mit einem von der Schicht abhängigen Faktor multipliziert werden.
Insbesondere kann die Skalierung abhängig von einer Position, also der Tiefe, dieser Schicht innerhalb des neuronalen Netzes erfolgen.
Die Tiefe kann beispielsweise durch die Anzahl der Schichten charakterisiert, insbesondere gegeben, sein, durch die ein einer Eingangsschicht des
neuronalen Netzes zugeführtes Signal propagieren muss, bevor es erstmalig als Eingangssignal an dieser Schicht anliegt.
In einer Weiterbildung kann vorgesehen sein, dass die Skalierung auch abhängig davon geschieht, zu welchem Merkmal einer Merkmalskarte die entsprechende Komponente des ermittelten Gradienten gehört. Insbesondere kann vorgesehen sein, dass die Skalierung abhängig von einer Größe eines rezeptiven Feldes dieses Merkmals geschieht.
Es wurde erkannt, dass insbesondere in einem Faltungsnetzwerk Gewichte einer Merkmalskarte kumulativ mit Informationen der Merkmale des rezeptiven Feldes multipliziert werden, weshalb sich für diese Gewichte eine Überanpassung herausbilden kann. Dies wird mit der vorgeschlagenen Methode wirkungsvoll unterbunden.
In einer besonders einfachen und effizienten Alternative kann vorgesehen sein, dass die Skalierung abhängig von der Auflösung dieser Schicht erfolgt.
Insbesondere dass sie abhängig von einem Quotienten der Auflösung dieser Schicht und der Auflösung der Eingangsschicht erfolgt.
Es wurde erkannt, dass sich hierdurch die Größe des rezeptiven Feldes sehr einfach und effizient annähern lässt.
In einem weiteren Aspekt der Weiterbildungen kann vorgesehen sein, dass das neuronale Netz eine Skalierungsschicht umfasst, wobei die Skalierungsschicht ein am Eingang der Skalierungsschicht anliegendes Eingangssignal derart auf ein am Ausgang der Skalierungsschicht anliegendes Ausgangssignal abbildet, dass das am Ausgang anliegende Ausgangssignal ein umskaliertes Signal des Eingangssignals darstellt, wobei Parameter, die die Umskalierung
charakterisieren, fest vorgebbar sind.
Vorzugsweise kann hier vorgesehen sein, dass die Skalierungsschicht ein am Eingang der Skalierungsschicht anliegenden Eingangssignal derart auf ein am Ausgang der Skalierungsschicht anliegendes Ausgangssignal abbildet, dass diese Abbildung einer Projektion auf einen Ball entspricht, wobei Zentrum c und/oder Radius p dieses Balles fest vorgebbar sein können. Alternativ ist es auch möglich, dass diese Parameter im Laufe des Trainings ebenso wie andere Parameter des neuronalen Netzes angepasst werden.
Hierbei kann die Abbildung durch die Gleichung y = argminNi^y-c-)<pN2(x— y) mit einer ersten Norm (N^) und einer zweiten Norm ( N2 ) gegeben sein. Der Begriff„Norm“ ist hierbei im mathematischen Sinne zu verstehen.
In einer besonders effizient zu berechnenden Weiterbildung kann vorgesehen sein, dass die erste Norm ( N -ü und die zweite Norm ( N2 ) gleich gewählt sind.
Alternativ oder zusätzlich kann die erste Norm ( N -ü eine L°°-Norm sein. Diese Norm lässt sich ebenfalls besonders effizient berechnen, insbesondere auch dann, wenn die erste Norm ( N -ü und die zweite Norm ( N2 ) nicht gleich gewählt sind.
Alternativ kann vorgesehen sein, dass wobei die erste Norm ( N -ü eine L1-Norm ist. Diese Wahl der ersten Norm begünstigt die Spärlichkeit (eng.„sparsity“) des Ausgangssignals der Skalierungsschicht. Dies ist beispielsweise für die
Kompression von neuronalen Netzen vorteilhaft ist, da Gewichte mit dem Wert 0 keinen Beitrag zum Ausgabewert ihrer Schicht haben.
Daher kann ein neuronales Netz mit einer derartigen Schicht insbesondere in Verbindung mit einem Kompressionsverfahren besonders speichereffizient eingesetzt werden.
Bei den beschriebenen Varianten für die erste Norm ( N -ü kann vorteilhafterweise vorgesehen sein, dass die zweite Norm ( N2 ) eine L2-Norm ist. Damit lassen sich die Verfahren besonders einfach realisieren.
Besonders vorteilhaft ist es hierbei, wenn die Lösung der Gleichung y = argminNi(y-c-)<pN2(x— y) mittels eines deterministischen Newton-Verfahrens erfolgt.
Überraschenderweise wurde nämlich erkannt, dass dieses Verfahren besonders effizient ist, wenn das am Eingang der Skalierungsschicht ein Eingangssignal mit vielen wichtigen, d.h. stark gewichteten, Merkmalen anliegt.
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen: Figur 1 schematisch einen Aufbau einer Ausführungsform eines
Ste u e ru n gssyste ms ;
Figur 2 schematisch ein Ausführungsbeispiel zur Steuerung eines
wenigstens teilautonomen Roboters;
Figur 3 schematisch ein Ausführungsbeispiel zur Steuerung eines
Fertigungssystems; Figur 4 schematisch ein Ausführungsbeispiel zur Steuerung eines
persönlichen Assistenten;
Figur 5 schematisch ein Ausführungsbeispiel zur Steuerung eines
Zugangssystems;
Figur 6 schematisch ein Ausführungsbeispiel zur Steuerung eines
Überwachungssystems;
Figur 7 schematisch ein Ausführungsbeispiel zur Steuerung eines
medizinisch bildgebenden Systems;
Figur 8 schematisch ein Trainingssystem;
Figur 9 schematisch einen Aufbau eines neuronalen Netzes;
Figur 10 schematisch eine Informationsweiterleitung innerhalb des neuronalen
Netzes;
Figur 11 in einem Flussdiagramm eine Ausführungsform eines
T rainingsverfahrens;
Figur 12 in einem Flussdiagramm eine Ausführungsform eines Verfahrens zum Schätzen eines Gradienten; Figur 13 in einem Flussdiagramm eine alternative Ausführungsform des Verfahrens zum Schätzen des Gradienten;
Figur 14 in einem Flussdiagramm eine Ausführungsform eines Verfahrens zum Skalieren des geschätzten Gradienten;
Figur 15 in Flussdiagrammen Ausführungsformen zur Implementierung einer
Skalierungsschicht innerhalb des neuronalen Netzes.
Figur 16 in einem Flussdiagramm ein Verfahren zum Betreiben des trainierten neuronalen Netzes.
Beschreibung der Ausführungsbeispiele
Figur 1 zeigt einen Aktor 10 in seiner Umgebung 20 in Interaktion mit einem Steuerungssystem 40. Aktor 10 und Umgebung 20 werden gemeinschaftlich auch als Aktorsystem bezeichnet. In vorzugsweise regelmäßigen zeitlichen Abständen wird ein Zustand des Aktorsystems mit einem Sensor 30 erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann. Das Sensorsignal S - bzw. im Fall mehrerer Sensoren je ein Sensorsignal S - des Sensors 30 wird an das Steuerungssystem 40 übermittelt. Das Steuerungssystem 40 empfängt somit eine Folge von Sensorsignalen S. Das Steuerungssystem 40 ermittelt hieraus Ansteuersignale A, welche an den Aktor 10 übertragen werden.
Der Sensor 30 ist ein beliebiger Sensor, der einen Zustand der Umgebung 20 erfasst und als Sensorsignal S übermittelt. Es kann beispielsweise ein
bildgebender Sensor sein, insbesondere ein optischer Sensor wie ein Bildsensor oder ein Videosensor, oder ein Radarsensor, oder ein Ultraschallsensor, oder ein LiDAR-Sensor. Es kann auch ein akustischer Sensor sein, der beispielsweise Körperschall oder Sprachsignale empfängt. Ebenso kann es sich bei dem Sensor um einen Positionssensor (wie beispielsweise GPS) handeln oder um einen kinematischen Sensor (beispielsweise einen ein- oder mehrachsigen
Beschleunigungssensor) handeln. Auch ein Sensor, der eine Ausrichtung des Aktors 10 in der Umgebung 20 charakterisiert (beispielsweise ein Kompass) ist möglich. Auch ein Sensor, der eine chemische Zusammensetzung der
Umgebung 20 erfasst, beispielsweise ein Lambda-Sensor, ist möglich. Alternativ oder zusätzlich kann der Sensor 30 auch ein Informationssystem umfassen, das eine Information über einen Zustand des Aktorsystems ermittelt, wie
beispielsweise ein Wetterinformationssystem, das einen aktuellen oder zukünftigen Zustand des Wetters in der Umgebung 20 ermittelt.
Das Steuerungssystem 40 empfängt die Folge von Sensorsignalen S des Sensors 30 in einer optionalen Empfangseinheit 50, die die Folge von
Sensorsignalen S in eine Folge von Eingangssignalen x umwandelt (alternativ kann auch unmittelbar je das Sensorsignal S als Eingangssignal x übernommen werden). Das Eingangssignal x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Sensorsignals S sein. Das Eingangssignal x kann beispielsweise Bilddaten oder Bilder umfassen, oder einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird Eingangssignal x abhängig von Sensorsignal S ermittelt. Das Eingangssignal x wird einem neuronalen Netz 60 zugeführt.
Das neuronale Netz 60 wird vorzugsweise parametriert durch Parameter Q, beispielsweise umfassend Gewichte w, die in einem Parameterspeicher P hinterlegt sind und von diesem bereitgestellt werden.
Das neuronale Netz 60 ermittelt aus den Eingangssignalen x Ausgangssignale y. Typischerweise kodieren die Ausgangssignalen y eine Klassifikationsinformation des Eingangssignals x. Die Ausgangssignale y werden einer optionalen
Umformeinheit 80 zugeführt, die hieraus Ansteuersignale A ermittelt, welche dem Aktor 10 zugeführt werden, um den Aktor 10 entsprechend anzusteuern.
Das neuronale Netz 60 kann beispielsweise eingerichtet sein, in den
Eingangssignalen Personen und/oder Straßenschilder und/oder Ampeln und/oder Fahrzeuge zu detektieren (also zu klassifizieren, ob sie vorhanden sind oder nicht) und/oder ihrer Art nach zu klassifizieren (was in Form einer semantischen Segmentierung bereichsweise, insbesondere pixelweise, geschehen kann). Der Aktor 10 empfängt die Ansteuersignale A, wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor 10 kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal A ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor 10 angesteuert wird.
In weiteren Ausführungsformen umfasst das Steuerungssystem 40 den Sensor 30. In noch weiteren Ausführungsformen umfasst das Steuerungssystem 40 alternativ oder zusätzlich auch den Aktor 10.
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem 40 eine Ein- oder Mehrzahl von Prozessoren 45 und wenigstens ein
maschinenlesbares Speichermedium 46, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 45 ausgeführt werden, das Steuerungssystem 40 veranlassen, das Verfahren zum Betreiben des
Steuerungssystems 40 auszuführen.
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor 10 eine Anzeigeeinheit 10a vorgesehen.
Figur 2 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilweise automatisierten Kraftfahrzeugs 100, eingesetzt wird.
Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit Figur 1 genannten Sensoren handeln, vorzugsweise um einen oder mehrere
vorzugsweise im Kraftfahrzeug 100 angeordnete Videosensoren und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Ultraschallsensoren und/oder einen oder mehrere LiDAR-Sensoren und/oder einen oder mehrere Positionssensoren (beispielsweise GPS) handeln.
Das neuronale Netz 60 kann aus den Eingangsdaten x beispielsweise
Gegenstände in der Umgebung des wenigstens teilautonomen Roboters detektieren. Bei dem Ausgangssignal y kann es sich um eine Information handeln, die charakterisiert, wo in der Umgebung des wenigstens teilautonomen Roboters Gegenstände vorhanden sind. Das Ausgangssignal A kann dann abhängig von dieser Information und/oder entsprechend dieser Information ermittelt werden.
Bei dem vorzugsweise im Kraftfahrzeug 100 angeordneten Aktor 10 kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des
Kraftfahrzeugs 100 handeln. Das Ansteuersignal A kann dann derart ermittelt werden, dass der Aktor oder die Aktoren 10 derart angesteuert wird, dass das Kraftfahrzeug 100 beispielsweise eine Kollision mit den vom neuronalen Netz 60 identifizierten Gegenständen verhindert, insbesondere, wenn es sich um
Gegenstände bestimmter Klassen, z.B. um Fußgänger, handelt. Mit anderen Worten kann Ansteuersignal A abhängig von der ermittelten Klasse und/oder entsprechend der ermittelten Klasse ermittelt werden.
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal A derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit den vom neuronalen Netz 60 identifizierten Gegenständen verhindert,
In einer weiteren Alternative kann es sich bei dem wenigstens teilautonomen Roboter auch um einen Gartenroboter (nicht abgebildet) handeln, der mit einem bildgebenden Sensor 30 und dem neuronalen Netz 60 eine Art oder einen Zustand von Pflanzen in der Umgebung 20 ermittelt. Bei dem Aktor 10 kann es sich dann beispielsweise um einen Applikator von Chemikalien handeln. Das Ansteuersignal A kann abhängig von der ermittelten Art oder vom ermittelten Zustand der Pflanzen derart ermittelt werden, dass eine der ermittelten Art oder dem ermittelten Zustand entsprechende Menge der Chemikalien aufgebracht wird. In noch weiteren Alternativen kann es sich bei dem wenigstens teilautonomen Roboter auch um ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, einen Herd, einen Backofen, eine Mikrowelle oder eine
Spülmaschine handeln. Mit dem Sensor 30, beispielsweise einem optischen Sensor, kann ein Zustand eines mit dem Haushaltsgerät behandelten Objekts erfasst werden, beispielsweise im Falle der Waschmaschine ein Zustand von Wäsche, die in der Waschmaschine befindlich ist. Mit dem neuronalen Netz 60 kann dann eine Art oder ein Zustand dieses Objekts ermittelt und vom
Ausgangssignal y charakterisiert werden. Das Ansteuersignal A kann dann derart ermittelt werden, dass das Haushaltsgerät abhängig von der ermittelten Art oder dem ermittelten Zustand des Objekts angesteuert wird. Beispielsweise kann im Falle der Waschmaschine diese abhängig davon angesteuert werden, aus welchem Material die darin befindliche Wäsche ist. Ansteuersignal A kann dann abhängig davon gewählt werden, welches Material der Wäsche ermittelt wurde.
Figur 3 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem 40 zur Ansteuerung einer Fertigungsmaschine 11 eines Fertigungssystems 200 verwendet wird, indem ein diese Fertigungsmaschine 11 steuernder Aktor 10 angesteuert wird. Bei der Fertigungsmaschine 11 kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln.
Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit Figur 1 genannten Sensoren handeln, vorzugsweise um einen optischen Sensor, der z.B. Eigenschaften von Fertigungserzeugnissen 12 erfasst. Es ist möglich, dass der die Fertigungsmaschine 11 steuernde Aktor 10 abhängig von den ermittelten Eigenschaften des Fertigungserzeugnisses 12 angesteuert wird, damit die Fertigungsmaschine 11 entsprechend einen nachfolgenden Bearbeitungsschritt dieses Fertigungserzeugnisses 12 ausführt. Es ist auch möglich, dass der Sensor 30 die Eigenschaften des von der Fertigungsmaschine 11 bearbeiteten Fertigungserzeugnisses 12 ermittelt, und abhängig davon eine Ansteuerung der Fertigungsmaschine 11 für ein nachfolgendes Fertigungserzeugnis anpasst.
Figur 4 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines persönlichen Assistenten 250 eingesetzt wird. Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit Figur 1 genannten Sensoren handeln. Der Sensor 30 ist bevorzugt ein akustischer Sensor, der Sprachsignale eines Nutzers 249 empfängt. Alternativ oder zusätzlich kann der Sensor 30 auch eingerichtet sein, optische Signale zu empfangen,
beispielsweise Videobilder einer Geste des Nutzers 249.
Abhängig von den Signalen des Sensors 30 ermittelt das Steuerungssystem 40 ein Ansteuersignal A des persönlichen Assistenten 250, beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten 250 wird dann dieses ermittelte Ansteuersignal A übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal A ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer 249 entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom neuronalen Netz 60 erkannten Geste ermittelt werden. Das Steuerungssystem 40 kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten 250 wählen und/oder das Ansteuersignal A zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung 250 wählen.
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent 250 Informationen aus einer Datenbank abruft und sie für den Nutzer 249 rezipierbar wiedergibt.
Anstelle des persönlichen Assistenten 250 kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
Figur 5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Zugangssystems 300 eingesetzt wird. Das Zugangssystem 300 kann eine physische Zugangskontrolle, beispielsweise eine Tür 401 umfassen. Bei dem Sensor 30 kann es sich um einen der im Zusammenhang mit Figur 1 genannten Sensoren handeln, vorzugsweise um einen optischen Sensor (beispielsweise zur Erfassung von Bild- oder Videodaten), der eingerichtet ist, ein Gesicht zu erfassen. Mittels des neuronalen Netzes 60 kann dieses erfasste Bild interpretiert werden. Beispielsweise kann die Identität einer Person ermittelt werden. Der Aktor 10 kann ein Schloss sein, dass abhängig vom Ansteuersignal A die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür 401 öffnet, oder nicht. Hierzu kann das Ansteuersignal A abhängig von der der Interpretation des neuronalen Netzes 60 gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
Figur 6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines Überwachungssystems 400 verwendet wird. Von dem in Figur 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors 10 die Anzeigeeinheit 10a vorgesehen ist, die vom Steuerungssystem 40 angesteuert wird. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom optischen Sensor
aufgenommener Gegenstand verdächtig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
Figur 7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem 40 zur Steuerung eines medizinischen bildgebenden System 500, beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Der Sensor 30 kann beispielsweise durch einen bildgebenden Sensor gegeben sein, durch das Steuerungssystem 40 wird die Anzeigeeinheit 10a angesteuert. Beispielsweise kann vom neuronalen Netz 60 ermittelt werden, ob ein vom bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal A dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit 10a farblich hervorgehoben dargestellt wird.
Figur 8 zeigt schematisch ein Ausführungsbeispiel eines Trainingssystems 140 zum Trainieren des neuronalen Netzes 60 mittels eines Trainingsverfahrens.
Eine Trainingsdateneinheit 150 ermittelt geeignete Eingangssignale x, die dem neuronalen Netz 60 zugeführt werden. Beispielsweise greift die
Trainingsdateneinheit 150 auf eine computerimplementierte Datenbank zu, in dem ein Satz von Trainingsdaten gespeichert ist, und wählt z.B. zufällig aus dem Satz von Trainingsdaten Eingangssignale x aus. Optional ermittelt die Trainingsdateneinheit 150 auch zu den Eingangssignalen x zugeordnete gewünschte, oder„tatsächliche“, Ausgangssignale gt, die einer
Bewertungseinheit 180 zugeführt werden.
Das künstliche neuronale Netz x ist eingerichtet, aus den ihm zugeführten Eingangssignalen x zugehörige Ausgangssignale y zu ermitteln. Diese
Ausgangssignale y werden der Bewertungseinheit 180 zugeführt.
Die Bewertungseinheit 180 kann beispielsweise mittels einer von den
Ausgangssignalen y und den gewünschten Ausgangssignalen yi abhängigen Kostenfunktion (Englisch:„loss function“) L eine Leistungsfähigkeit des neuronalen Netzes 60 charakterisiert werden. Die Parameter Q können abhängig von der Kostenfunktion L optimiert werden.
In weiteren bevorzugten Ausführungsformen umfasst das Trainingssystem 140 eine Ein- oder Mehrzahl von Prozessoren 145 und wenigstens ein
maschinenlesbares Speichermedium 146, auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren 145 ausgeführt werden, das Steuerungssystem 140 veranlassen, das Trainingsverfahren auszuführen.
Figur 9 zeigt beispielhaft einen möglichen Aufbau des neuronalen Netzes 60, das im Ausführungsbeispiel als neuronales Netz gegeben ist. Das neuronale Netz umfasst eine Mehrzahl von Schichten S1, S2, S3, S4, S5, um aus dem Einganssignal x, das an einem Eingang einer Eingangsschicht S4 zugeführt wird, das
Ausgangssignal y zu ermitteln, das an einem Ausgang einer Ausgangsschicht S5 anliegt. Jeder der Schichten S1, S2, S3, S4, S5 ist hierbei eingerichtet, aus einem (ggf. mehrdimensionalen) Eingangssignal x, z1, z3, z4, z6, das an einem Eingang der jeweiligen Schicht S1, S2, S3, S4, S5 anliegt, ein - ein (ggf. mehrdimensionales) Ausgangssignal z1, z2, z4, z5, y zu ermitteln, dass an einem Ausgang der jeweiligen Schicht S1, S2, S3, S4, S5 anliegt. Solche Ausgangssignale werden, speziell in der Bildverarbeitung, auch als Merkmalskarten (Englisch:„feature maps“) bezeichnet. Es ist hierbei nicht notwendig, dass die Schichten
S1, S2, S3, S4, S5 derart angeordnet sind, dass alle Ausgangssignale, die als Eingangssignale in weitere Schichten eingehen, aus jeweils von einer vorhergehenden Schicht in eine unmittelbar nachfolgende Schicht eingehen. Statdessen sind auch Überbrückungsverbindungen (Englisch:„Skip
Connections“) oder rekurrente Verbindungen möglich. Ebenso ist
selbstverständlich möglich, dass das Eingangssignal x in mehrere der Schichten eingeht, oder dass sich das Ausgangssignal y des neuronalen Netzes 60 aus Ausgangssignalen einer Mehrzahl von Schichten zusammensetzt.
Die Ausgangsschicht S5 kann beispielsweise durch eine Argmax-Schicht gegeben sein (also eine Schicht, die aus einer Mehrzahl von Eingängen mit jeweils zugeordneten Eingangswerten eine Bezeichnung desjenigen Eingangs auswählt, dessen zugeordneter Eingangswert unter diesen Eingangswerten der größte ist), eine oder mehrere der Schichten S1, S2, S3 können beispielsweise durch Faltungsschichten gegeben sein.
Vorteilhafterweise ist eine Schicht S4 als eine Skalierungsschicht ausgebildet, die ausgebildet ist, dass ein am Eingang der Skalierungsschicht (S4) anliegendes Eingangssignal (x) derart auf ein am Ausgang der Skalierungsschicht (S4) anliegendes Ausgangssignal (y) abgebildet wird, dass das am Ausgang anliegende Ausgangssignal (y) eine Umskalierung des Eingangssignals (x) ist, wobei Parameter, die die Umskalierung charakterisieren, fest vorgebbar sind. Ausführungsbeispiele für Verfahren, die Skalierungsschicht S4 durchführen kann, sind unten im Zusammenhang mit Figur 15 beschrieben.
Figur 10 illustriert schematisch die Informationsweiterleitung innerhalb des neuronalen Netzes 60. Schematisch dargestellt sind hier drei mehrdimensionale Signale innerhalb des neuronalen Netzes 60, nämlich das Eingangssignal x, sowie spätere Merkmalskarten z1, z2. Das Eingangssignal x hat im
Ausführungsbeispiel eine räumliche Auflösung von n* x riy Pixeln, die erste Merkmalskarte z4 von nx x riy Pixeln, die zweite Merkmalskarte z2 von n?x x riy Pixeln. Im Ausführungsbeispiel ist die Auflösung der zweiten Merkmalskarte z2 geringer als die Auflösung des Eingangssignals x, dies ist aber nicht zwingend der Fall.
Dargestellt ist ferner ein Merkmal, z.B. ein Pixel, (i )3 der zweiten
Merkmalskarte z2. Wird die Funktion, die die zweite Merkmalskarte z2 aus der ersten Merkmalskarte z4 ermittelt, beispielsweise durch eine Faltungsschicht oder eine vollvermaschte Schicht (Englisch:„fully connected layer“) dargestellt, so ist es auch möglich, dass eine Mehrzahl von Merkmalen der ersten
Merkmalskarte z- n die Ermittlung des Werts dieses Merkmals (i,y)3 eingeht. Es ist aber natürlich auch möglich, dass nur ein einziges Merkmal der ersten Merkmalskarte z in die Ermittlung des Werts dieses Merkmas (i )3 eingeht.
Unter„eingehen“ kann hierbei vorteilhafterweise verstanden werden, dass es eine Kombination von Werten der Parameter, die die Funktion charakterisieren, mit der die zweite Merkmalskarte z2 aus der ersten Merkmalskarte z ermittelt, wird, und von Werten der ersten Merkmalskarte z derart gibt, dass der Wert des Merkmals (i,y)3 von dem Wert des eingehenden Merkmals abhängt. Die
Gesamtheit dieser eingehenden Merkmale wird in Figur 10 als Bereich Be bezeichnet.
In die Ermittlung jedes Merkmal ( i,j)2 des Bereichs Be gehen seinerseits eine Ein- oder Mehrzahl von Merkmalen des Eingangssignals x ein. Die Menge aller Merkmale des Eingangssignals x, die in die Ermittlung wenigstens eines der Merkmale ( i,j)2 des Bereichs Be eingehen, werden als rezeptives Feld rF bezeichnet des Merkmals (i )3. Mit anderen Worten umfasst das rezeptive Feld rF des Merkmals (i )3 all jene Merkmale des Eingangssignals x, die unmittelbar oder mittelbar (mit anderen Worten: wenigstens mittelbar) in die Ermittlung des Merkmals (i,y)3 eingehen, d.h. deren Werte den Wert des Merkmals (i )3 beeinflussen können.
Figur 11 zeigt in einem Flussdiagramm den Ablauf eines Verfahrens zum
Trainieren des neuronalen Netzes 60 gemäß einer Ausführungsform.
Zunächst (1000) wird ein Trainingsdatensatz X umfassend Paare (xj,yj) aus Eingangssignalen und jeweils zugehörigen Ausgangssignalen yt bereitgestellt. Eine Lernrate h wird initialisiert, beispielsweise zu h = 1.
Ferner werden optional eine erste Menge G und eine zweite Menge N initialisiert, beispielsweise, wenn in Schritt 1100 das in Figur 12 illustrierte
Ausführungsbeispiel dieses Teils des Verfahrens eingesetzt wird. Soll in Schritt 1100 das in Figur 13 illustrierte Ausführungsbeispiel dieses Teils des Verfahren eingesetzt werden, kann auf die Initialisierung der ersten Menge G und der zweiten Menge N verzichtet werden.
Die Initialisierung der ersten Menge G und der zweiten Menge N kann wie folgt erfolgen: Die erste Menge G, die diejenigen Paare (xj,yj) des
Trainingsdatensatzes X umfasst, die im Laufe einer aktuellen Epoche des Trainingsverfahrens bereits gezogen wurden, wird als leere Menge initialisiert. Die zweite Menge N, die diejenigen Paare (xj,yj) des Trainingsdatensatzes X umfasst, die im Laufe der aktuellen Epoche noch nicht gezogen wurden, wird initialisiert, indem ihr alle Paare (xj,yj) des Trainingsdatensatze X zugewiesen werden.
Nun (1100) wird mittels Paaren (xj,yj) aus Eingangssignalen und jeweils zugehörigen Ausgangssignalen yt des Trainingsdatensatz X ein Gradient g der Kenngröße L bezüglich der Parameter Q geschätzt, also g = Ve£.
Ausführungsbeispiele dieses Verfahrens sind in Zusammenhang mit Figur 12 bzw. 13 beschrieben.
Dann (1200) wird optional eine Skalierung des Gradienten g durchgeführt.
Ausführungsbeispiele dieses Verfahren sind in Zusammenhang mit Figur 14 beschrieben.
Anschließend (1300) wird optional eine Anpassung einer Lernrate h
durchgeführt. Hierbei kann die Lernrate h beispielsweise um einen vorgebbaren Lernratenreduktionsfaktor ΰh (z.B. ΰh = 1/10) reduziert werden (also h <- h ϋh), sofern eine Anzahl der durchlaufenen Epochen durch eine vorgebbare Epochenanzahl, beispielsweise 5, teilbar ist.
Dann (1400) werden die Parameter Q mittels des ermittelten und ggf. skalierten Gradienten g und der Lernrate h aktualisiert. Beispielsweise werden die
Parameter Q ersetzt durch q— h g.
Es wird nun (1500) mittels eines vorgebbaren Konvergenzkriteriums geprüft, ob das Verfahren konvergiert ist. Beispielsweise kann abhängig von einer absoluten Änderung der Parameter Q (z.B. zwischen den letzten beiden Epochen) entschieden werden, ob das Konvergenzkriterium erfüllt ist, oder nicht.
Beispielsweise kann das Konvergenzkriterium genau dann erfüllt sein, wenn eine L2-Norm über die Änderung aller Parameter Q zwischen den letzten beiden Epochen kleiner ist als ein vorgebbarer Konvergenzschwellwert.
Wurde entschieden, dass das Konvergenzkriterium erfüllt ist, werden die
Parameter Q als gelernte Parameter übernommen, und das Verfahren endet.
Falls nicht, wird zurückverzweigt zu Schritt 1100.
Figur 12 illustriert in einem Flussdiagramm ein beispielhaftes Verfahren zur Ermittlung des Gradienten g in Schritt 1100.
Zunächst (1110) soll eine vorgebbare Anzahl bs an Paaren (xj,yj) des
Trainingsdatensatzes X (ohne Zurücklegen) gezogen, also ausgewählt und einem Stapel B (Englisch:„batch“) zugewiesen. Die vorgebbare Anzahl bs wird auch als Stapelgröße (Englisch:„batch size“) bezeichnet. Der Stapel B wird als leere Menge initialisiert.
Dazu wird geprüft (1120), ob die Stapelgröße bs größer ist als die Anzahl an Paaren (x^y;), die in der zweiten Menge N vorhanden sind.
Ist die Stapelgröße bs nicht größer als die Anzahl an Paaren (x^y;), die in der zweiten Menge N vorhanden sind, werden bs viele Paare (xj,yj) zufällig aus der zweiten Menge N gezogen (1130), also ausgewählt und dem Stapel B
hinzugefügt.
Ist die Stapelgröße bs größer als die Anzahl an Paaren (x^y;), die in der zweiten Menge N vorhanden sind, werden sämtliche Paare der zweiten Menge N, deren Anzahl mit s bezeichnet wird, gezogen (1140), also ausgewählt und dem Stapel B hinzugefügt, und die restlichen, also bs— s viele, aus der ersten Menge G gezogen also ausgewählt und dem Stapel B hinzugefügt.
Für alle Parameter Q wird anschließend (1150) an Schritt (1130) bzw. (1140) optional entschieden, ob diese Parameter Q in diesem Trainingsdurchgang übergangen werden sollen, oder nicht. Hierzu wird beispielsweise für jede Schicht ( S1, S2 , ... , S6) separat eine Wahrscheinlichkeit festgelegt, mit der
Parameter Q dieser Schicht übergangen werden. Beispielsweise kann diese Wahrscheinlichkeit für die erste Schicht (S- 50% betragen und mit jeder nachfolgenden Schicht um 10% reduziert werden.
Mittels dieser festgelegten jeweiligen Wahrscheinlichkeiten kann dann für jeden der Parameter Q entschieden werden, ob er übergangen wird, oder nicht.
Für jedes Paar (xj,yj) des Stapels B wird nun (1155) optional entschieden, ob das jeweilige Eingangssignal augmentiert wird, oder nicht. Für jedes entsprechende Eingangssignal x das augmentiert werden soll, wird,
vorzugsweise zufällig, eine Augmentierungsfunktion ausgewählt und auf das Eingangssignal xt angewendet. Das dermaßen augmentierte Eingangssignal xt ersetzt dann das ursprüngliche Eingangssignal xt. Ist das Eingangssignal xt ein Bildsignal kann die Augmentierungsfunktion beispielsweise durch eine Drehung um einen vorgebbaren Winkel gegeben sein.
Anschließend (1160) wird für jedes Paar (cί,g ) des Stapels B das
entsprechende (und ggf. augmentierte) Eingangssignal xt ausgewählt und dem neuronalen Netz 60 zugeführt. Die zu übergehenden Parameter Q des neuronalen Netzes 60 werden hierbei während der Ermittlung des
entsprechenden Ausgangssignals deaktiviert, z.B., indem sie vorübergehend auf den Wert Null gesetzt werden. Das entsprechende Ausgangssignal y(xj) des neuronalen Netzes 60 wird dem entsprechenden Paar (cί, g ) zugeordnet.
Abhängig von den Ausgangssignalen y(xj) und den jeweiligen Ausgangssignalen y* des Paares (cί,g ) als gewünschtem Ausgangssignal yT wird jeweils eine Kostenfunktion Lt ermittelt.
Dann (1165) wird für alle Paare (cί,g ) des Stapels B gemeinsam die
vollständige Kostenfunktion £ = Eiee ermittelt und jeden der nicht zu übergehenden Parameter Q die entsprechende Komponente des Gradienten g z.B. mittels Rückwärtspropagation (Englisch:„backpropagation“) ermittelt. Für jeden der zu übergehenden Parameter Q wird die entsprechende Komponente des Gradienten g auf Null gesetzt. Nun wird geprüft (1170), ob bei der Prüfung in Schritt 1000, festgestellt wurde, dass die Stapelgröße bs größer ist als die Anzahl an Paaren (x^y;), die in der zweiten Menge N vorhanden sind.
Wurde festgestellt, dass Ist die Stapelgröße bs nicht größer als die Anzahl an Paaren ( x^y; ), die in der zweiten Menge N vorhanden sind, werden (1180) alle Paare (x^y;) des Stapels B der ersten Menge G hinzugefügt und aus der zweiten Menge N entfernt. Es wird nun geprüft, (1185) ob die zweite Menge N leer ist. Ist die zweite Menge N leer, beginnt eine neue Epoche (1186). Hierzu wird die erste Menge G erneut als leere Menge initialisiert, und die zweite Menge N wird neu initialisiert, indem ihr erneut alle Paare (xj,yj) des Trainingsdatensatze X zugewiesen werden, und es wird verzweigt zu Schritt (1200). Ist die zweite Menge N nicht leer, wird direkt verzweigt zu Schritt (1200).
Wurde festgestellt, dass die Stapelgröße bs größer ist als die Anzahl an Paaren (Xi,yi), die in der zweiten Menge N vorhanden sind, wird die erste Menge G neu initialisiert (1190), indem ihr alle Paare (xj,yj) des Stapels B zugewiesen werden, die zweite Menge N wird neu initialisiert, indem ihr erneut alle Paare (xj,yj) des Trainingsdatensatze X zugewiesen werden und anschließend die Paare (x^y;), die auch im Stapels B vorhanden sind entfernt werden. Anschließend beginnt eine neue Epoche und es wird verzweigt zu Schritt (1200). Damit endet dieser Teil des Verfahrens.
Figur 13 illustriert in einem Flussdiagramm ein weiteres beispielhaftes Verfahren zur Ermittlung des Gradienten g in Schritt 1100. Zunächst werden Parameter des Verfahrens initialisiert (1111). Im Folgenden wird der mathematische Raum der Parameter Q mit W bezeichnet. Umfassen die Parameter Q also np viele einzelne Parameter, so ist der Raum W ein np-dimensionaler Raum, beispielsweise W = np. Ein Iterationszähler n wird auf den Wert n = 0 initialisiert, eine erste Größe m1 wird dann als m1 = O e VK(also als np-dimensionaler Vektor) gesetzt, eine zweite Größe m2 = 0 e W ® VK(also als np x np-dimensionale Matrix).
Anschließend (1121) wird zufällig ein Paar (xj,yj) aus dem Trainingsdatensatz X ausgewählt und ggf. augmentiert. Dies kann beispielsweise derart geschehen, dass für jedes Eingangssignal xt der Paare (xj,yj) Trainingsdatensatzes X eine Anzahl m(a(cί)) möglicher Augmentierungen a(x ermitelt wird, und jedem Paar (xi, yi) eine Positionsgröße
Figure imgf000028_0001
zugeordnet wird. Wird dann eine Zufallszahl f e [0; 1] gleichverteilt gezogen, kann diejenige Positionsgröße pt ausgewählt werden, die die Ungleichungskete
Rί < f < pi+ 1 (3) erfüllt. Der zugehörige Index i bezeichnet dann das ausgewählte Paar (x^y;), eine Augmentierung at der Eingangsgröße kann zufälig aus der Menge möglicher Augmentierungen cr(Xj) gezogen werden und auf die Eingangsgröße Xi angewendet werden, d.h. das ausgewählte Paar (xj,yj) wird durch (aί(cί)^ί) ersetzt.
Das Eingangssignal xt wird dem neuronalen Netz 60 zugeführt. Abhängig vom entsprechenden Ausgangssignal y(x;) und dem Ausgangssignal yt des Paares (xi, yi) als gewünschtem Ausgangssignal yT wird die entsprechende
Kostenfunktion Lt ermitelt. Für die Parameter Q wird ein diesbezüglicher Gradient d z.B. mitels Rückwärtspropagation ermitelt, also d = Vߣ(y(xi), yi).
Dann (1131) werden Iterationszähler n, erste Größe m1 und zweite Größe m2 wie folgt aktualisert:
Figure imgf000028_0002
Anschließend (1141) werden Komponenten Ca b einer Kovarianzmatrix C bereitgestellt als
Figure imgf000028_0003
Hieraus wird mit der (vektorwertigen) ersten Größe m1 ein Skalarprodukt S gebildet, also
S = (m1, C 1m1). (8)
Es versteht sich, dass für die ausreichend genaue Ermittlung des Skalarprodukts S mit Gleichung (8) nicht alle Einträge der Kovarianzmatrix C oder der Inversen C_1 gleichzeitig vorliegen müssen. Speichereffizienter ist es, während der Auswertung von Gleichung (8) die dann notwendigen Einträge Ca b der
Kovarianzmatrix C zu bestimmen.
Dann wird überprüft (1151), ob dieses Skalarprodukt S die folgende Ungleichung erfüllt:
S > l2, (9) wobei l ein vorgebbarer Schwellwert ist, der einem Konfidenzlevel entspricht.
Ist die Ungleichung erfüllt, wird der aktuelle Wert der ersten Größe m1 als geschätzter Gradient g übernommen und es wird zurückverzweigt zu Schritt (1200).
Ist die Ungleichung nicht erfüllt, kann zu Schritt (1121) zurückverzweigt werden. Es kann alternativ auch überprüft (1171) werden, ob der Iterationszähler n einen vorgebbaren maximalen Iterationswert nmax erreicht hat. Ist dies nicht der Fall, wird zurückverzweigt zu Schritt (1121), andernfalls wird als geschätzter Gradient g der Nullvektor 0 e W übernommen (1181), und es wird zurückverzweigt zu Schritt (1200). Damit endet dieser Teil des Verfahrens.
Durch dieses Verfahren wird erreicht, dass m1 einem arithmetischen Mittelwert der ermittelten Gradienten d über den gezogenen Paaren (xj,yj) entspricht, und m2 einem arithmetischen Mittelwert eines Matrixprodukts d dT der ermittelten Gradienten d über den gezogenen Paaren (xj,yj). Figur 14 zeigt eine Ausführungsform des Verfahrens zum Skalieren des
Gradienten g in Schritt (1200). Im Folgenden wird jede Komponente des
Gradienten g mit einem Paar (t, Z) bezeichnet, wobei i e {1, ... , k} eine Schicht des entsprechenden Parameters Q bezeichnet, und l e {1, ... , dim(Vi)} eine Nummerierung des entsprechenden Parameters Q innerhalb der i-ten Schicht. Ist das neuronale Netz wie in Figur 10 illustriert zur Verarbeitung mehrdimensionaler Eingangsdaten x mit entsprechenden Merkmalskarten z( in der i-ten Schicht ausgebildet, ist die Numerierung l vorteilhafterweise durch die Position desjenigen Merkmals in der Merkmalskarte z( gegeben, mit dem der
entsprechende Parameter Q assoziiert ist.
Es wird nun (1220) für jede Komponente gL i des Gradienten g ein
Skalierungsfaktor WM ermittelt. Beispielsweise kann dieser Skalierungsfaktor WM durch die Größe des rezeptiven Feldes rF des l entsprechenden Merkmals der Merkmalskarte der i-ten Schicht gegeben sein. Der Skalierungsfaktor WM kann alternativ auch durch ein Verhältnis der Auflösungen, also der Anzahl Merkmale, der i-ten Schicht im Verhältnis zur Eingangsschicht gegeben sein.
Dann (1220) wird jede Komponente gL i des Gradienten g mit dem
Skalierungsfaktor WM skaliert, also
3L,I 9L,I/^L,I · (10)
Ist der Skalierungsfaktor WM durch die Größe des rezeptiven Feldes rF gegeben, lässt sich besonders wirksam eine Überanpassung der Parameter Q vermeiden. Ist der Skalierungsfaktor WM durch das Verhältnis der Auflösungen gegeben, ist dies eine besonders effiziente näherungsweise Schätzung der Größe des rezeptiven Feldes rF.
Figur 15 illustriert Ausführungsformen des Verfahrens, das von der
Skalierungsschicht S4 ausgeführt wird.
Die Skalierungsschicht S4 ist eingerichtet, eine Projektion des am Eingang der Skalierungsschicht S4 anliegenden Eingangssignals x auf eine Kugel zu erreichen, mit Radius p und Mittelpunkt c. Dies wird charakterisiert durch eine erste Norm N^y— c), die einen Abstand des Mittelpunkts c vom am Ausgang der Skalierungsschicht S4 anliegenden Ausgangssignal y misst und eine zweite Norm N2(x— y), die einen Abstand des am Eingang der Skalierungsschicht S4 anliegenden Eingangssignals x vom am Ausgang der Skalierungsschicht S4 anliegenden Ausgangssignal y misst. Mit anderen Worten löst das am Ausgang der Skalierungsschicht S4 anliegende Ausgangssignal y die Gleichung y = argminNiiy-c)<pN2(x - y). (11)
Figur 15 a) illustriert eine besonders effiziente erste Ausführungsform für den Fall, dass erste Norm /V4 und eine zweite Norm N2 gleich sind. Sie werden im Folgenden mit | | · | | bezeichnet.
Zunächst (2000) wird ein am Eingang der Skalierungsschicht S4 anliegendes Eingangssignal x, ein Zentrumsparameter c und ein Radiusparameter p bereitgestellt.
Dann (2100) wird ein am Ausgang der Skalierungsschicht S4 anliegendes Ausgangssignal y ermittelt zu
Figure imgf000031_0001
Damit endet dieser Teil des Verfahrens.
Figuren 15b) und 15c) illustrieren Ausführungsformen für besonders vorteilhaft gewählte Kombinationen der ersten Norm /V4 und der zweiten Norm N2.
Figur 15 b) illustriert eine zweite Ausführungsform für den Fall, dass in der zu erfüllenden Bedingung (12) die erste Norm /V4( ·) gegeben ist durch die
Maximumsnorm | | · H^und die zweite Norm N2( ·) gegeben ist durch die 2-Norm | | · | |2. Diese Kombination von Normen ist besonders effizient zu berechnen.
Zunächst (3000) wird analog zu Schritt (2000) das am Eingang der
Skalierungsschicht S4 anliegende Eingangssignal x, der Zentrumsparameter c und der Radiusparameter p bereitgestellt. Dann (3100) werden die Komponenten yt des am Ausgang der Skalierungsschicht S4 anliegenden Ausgangssignals y ermittelt zu falls xt— ct > p
falls Xi— Ci <—p , (13)
Figure imgf000032_0001
sonst wobei i hier die Komponenten bezeichnet.
Dieses Verfahren ist besonders recheneffizient. Damit endet dieser Teil des Verfahrens.
Figur 15 c) illustriert eine dritte Ausführungsform für den Fall , dass in der zu erfüllenden Bedingung (12) die erste Norm /V4( ·) gegeben ist durch die 1-Norm 11 · | |4und die zweite Norm N2( ·) gegeben ist durch die 2-Norm 11 · | \2. Diese Kombination von Normen führt dazu, dass im am Eingang der Skalierungsschicht S4 anliegenden Eingangssignal x möglichst viele kleine Komponenten auf den Wert Null gesetzt werden.
Zunächst (4000) werden analog zu Schritt (2000) das am Eingang der
Skalierungsschicht S4 anliegende Eingangssignal x, der Zentrumsparameter c und der Radiusparameter p bereitgestellt.
Dann (4100) wird eine Vorzeichengröße e ermittelt zu falls xt > ct
Figure imgf000032_0002
falls (14)
Xi < Ci und die Komponenten xt des am Eingang der Skalierungsschicht S4 anliegenden Eingangssignals x werden ersetzt durch
Xi <^ Ci - (Xj - Ci). (15)
Ein Hilfsparameter g wird auf den Wert Null initialisiert. Dann (4200) wird eine Menge N ermittelt als N = {i |x; > y} und ein
Abstandsmaß D = Eiew(xi ~~ ¥)
Dann (4300) wird überprüft, ob die Ungleichung
D > p (16) erfüllt ist.
Ist dies der Fall (4400), wird der Hilfsparameter y ersetzt durch
Figure imgf000033_0001
und es wird zurückverzweigt zu Schritt (4200).
Ist Ungleichung (16) nicht erfüllt (4500), werden die Komponenten yt des am Ausgang der Skalierungsschicht S4 anliegendn Ausgangssignals y ermittelt zu i = Ci + £i ( Xi - y)+ (18)
Die Notation (·)+ bedeutet hierbei in üblicher Weise
x falls x > 0
( + = 0 sonst (19)
Damit endet dieser Teil des Verfahrens. Dieses Verfahren entspricht einem Newton-Verfahren, und ist besonders recheneffizient, insbesondere, wenn viele der Komponenten des am Eingang der Skalierungsschicht S4 anliegenden Eingangssignals x wichtig sind.
Figur 16 illustriert eine Ausführungsform eines Verfahrens zum Betreiben des neuronalen Netzes 60. Zunächst (5000) wird das neuronale Netz mit einem der beschriebenen Verfahren trainiert. Dann (5100) wird das Steuerungssystem 40 mit dem so trainierten neuronalen Netz 60 wie beschrieben betrieben. Damit endet das Verfahren. Es versteht sich, dass das neuronale Netz nicht auf vorwärts gerichtete neuronale Netze (Englisch:„feedforward neural network“) beschränkt ist, sondern dass die Erfindung in gleicher Weise auf jegliche Art neuronaler Netze angewendet werden kann, insbesondere rekurrente Netze, Faltungsnetze
(Englisch:„convolutional neural network“), Autoencoder, Boltzmann-Maschinen, Perzeptronen oder Kapselnetze (Englisch:„Capsule Neural Network).
Der Begriff„Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.
Es versteht sich ferner, dass die Verfahren nicht nur wie beschrieben vollständig in Software implementiert sein können. Sie können auch in Hardware
implementiert sein, oder in einer Mischform aus Software und Hardware.

Claims

Ansprüche
1. Computer-implementiertes Verfahren zum Trainieren eines neuronalen
Netzes (60), welches insbesondere eingerichtet ist zum Klassifizieren von physikalischen Messgrößen, wobei das neuronale Netz (60) mittels eines Trainingsdatensatzes ( X ) trainiert wird, wobei zum Trainieren Paare umfassend ein Eingangssignal (x) und ein zugehöriges gewünschtes
Ausgangssignal ( yT ) aus demTrainingsdatensatz ( X ) gezogen werden, wobei ein Anpassen von Parametern (0) des neuronalen Netzes (60) abhängig von einem Ausgangssignal (y) des neuronalen Netzes (60) bei Zuführung des Eingangssignals (x) und abhängig vom gewünschten Ausgangssignal ( yT ) geschieht, dadurch gekennzeichnet, dass dieses Ziehen von Paaren stets aus dem gesamten Trainingsdatensatz ( X ) erfolgt.
2. Verfahren nach Anspruch 1, wobei das Ziehen von Paaren unabhängig
davon geschieht, welche Paare zuvor im Verlauf des Trainings gezogen wurden.
3. Verfahren nach Anspruch 1 oder 2, wobei das Eingangssignal (x) des
gezogenen Paares mit einer Augmentierungsfunktion (a;) augmentiert wird.
4. Verfahren nach Anspruch 3, wobei die Augmentierungsfunktion (a;) aus
einer Menge bereitgestellter Augmentierungsfunktion ( a ) gewählt wird, welche abhängig ist vom Eingangssignal (x).
5. Verfahren nach Anspruch 4, wobei beim zufälligen Ziehen von Paaren aus dem Trainingsdatensatz ( X ) eine Wahrscheinlichkeit, dass ein vorgebbares Paar gezogen wird, abhängig von einer Anzahl (m(a)) bereitgestellter Augmentierungsfunktionen ( a ) des Eingangssignals (x) dieses vorgebbaren Paares ist
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei das Anpassen der
Parameter (0) abhängig von einem ermittelten Gradienten ( g ) geschieht, und zur Ermittlung des Gradienten ( g ) ein Schätzwert (m des Gradienten ( g ) durch Berücksichtigung einer sukzessiv steigenden Anzahl (n) von Paaren (xi, yi), die aus dem Trainingsdatensatz ( X ) gezogen werden, so lange verfeinert wird, bis eine vorgebbare Abbruchbedingung, die abhängig vom Schätzwert (mj) des Gradienten ( g ) ist, erfüllt ist.
7. Verfahren nach Anspruch 6, wobei die vorgebbare Abbruchbedingung auch abhängig von einer Kovarianzmatrix (C) des Schätzwerts (mj des
Gradienten ( g ) ist.
8. Verfahren nach Anspruch 7, wobei die vorgebbare Abbruchbedingung die Bedingung umfasst, ob Schätzwert (mj) und Kovarianzmatrix (C) für einen vorgebbaren Konfidenzwert (L.) die Bedingung (m1, C 1m1) > l2 erfüllen.
9. Trainingssystem (140), welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
10. Verwendung eines mit einem Verfahren nach einem der Ansprüche 1 bis 8 trainierten neuronalen Netzes (60), um am Eingang des neuronalen Netzes anliegende Eingangssignale (x), welche abhängig von einem
Ausgangssignal (S) eines Sensors (30) ermittelt wurden, zu klassifizieren.
11. Verwendung eines mit einem Verfahren nach einem der Ansprüche 1 bis 8 trainierten neuronalen Netzes (60), um abhängig von einem an einem Ausgang des neuronalen Netzes (60) anliegenden Ausgangssignal (y) des neuronalen Netzes (60) ein Ansteuersignal (A) zur Ansteuerung eines Aktors (10) bereitzustellen.
12. Verwendung eines mit einem Verfahren nach einem der Ansprüche 1 bis 8 trainierten neuronalen Netzes (60) nach Anspruch 11, wobei abhängig von dem Ansteuersignal (A) ein Aktor (10) angesteuert wird.
13. Computerprogramm, welches eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 8 oder 10 bis 12 auszuführen.
14. Maschinenlesbares Speichermedium (46, 146), auf dem das
Computerprogramm nach Anspruch 13 gespeichert ist.
15. Verfahren zur Nutzung eines neuronalen Netzes (60), wobei in einer ersten Phase das neuronale Netz (60) mit dem Verfahren nach einem der
Ansprüche 1 bis 8 trainiert wird und anschließend gemäß einem der Ansprüche 10 bis 12 verwendet wird.
PCT/EP2019/082837 2018-12-19 2019-11-28 Verfahren zum trainieren eines neuronalen netzes WO2020126378A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP19812975.1A EP3899808A1 (de) 2018-12-19 2019-11-28 Verfahren zum trainieren eines neuronalen netzes
JP2021535840A JP7137018B2 (ja) 2018-12-19 2019-11-28 ニューラルネットワークをトレーニングするための方法
US17/295,434 US20210406684A1 (en) 2018-12-19 2019-11-28 Method for training a neural network
KR1020217022763A KR20210099149A (ko) 2018-12-19 2019-11-28 신경망 훈련 방법
CN201980084359.2A CN113243021A (zh) 2018-12-19 2019-11-28 用于训练神经网络的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018222347.5A DE102018222347A1 (de) 2018-12-19 2018-12-19 Verfahren zum Trainieren eines neuronalen Netzes
DE102018222347.5 2018-12-19

Publications (1)

Publication Number Publication Date
WO2020126378A1 true WO2020126378A1 (de) 2020-06-25

Family

ID=68733060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/082837 WO2020126378A1 (de) 2018-12-19 2019-11-28 Verfahren zum trainieren eines neuronalen netzes

Country Status (8)

Country Link
US (1) US20210406684A1 (de)
EP (1) EP3899808A1 (de)
JP (1) JP7137018B2 (de)
KR (1) KR20210099149A (de)
CN (1) CN113243021A (de)
DE (1) DE102018222347A1 (de)
TW (1) TW202105261A (de)
WO (1) WO2020126378A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114046179A (zh) * 2021-09-15 2022-02-15 山东省计算中心（国家超级计算济南中心） 一种基于co监测数据智能识别和预测井下安全事故的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI793516B (zh) * 2021-02-04 2023-02-21 國立中興大學 神經網路之自適應調節批量大小的訓練方法
TWI771098B (zh) * 2021-07-08 2022-07-11 國立陽明交通大學 路側單元之雷達系統之狀態之錯誤診斷系統及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19635758C1 (de) * 1996-09-03 1997-11-20 Siemens Ag Verfahren und Vorrichtung zur rechnergestützten Generierung mindestens eines künstlichen Trainingsdatenvektors für ein neuronales Netz
DE19721067C1 (de) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastischer Schätzer, insbesondere zur Analyse von Kundenverhalten

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745382A (en) * 1995-08-31 1998-04-28 Arch Development Corporation Neural network based system for equipment surveillance
JP2004265190A (ja) 2003-03-03 2004-09-24 Japan Energy Electronic Materials Inc 階層型ニューラルネットワークの学習方法、そのプログラム及びそのプログラムを記録した記録媒体
US10410118B2 (en) * 2015-03-13 2019-09-10 Deep Genomics Incorporated System and method for training neural networks
EP3336774B1 (de) * 2016-12-13 2020-11-25 Axis AB Verfahren, computerprogrammprodukt und vorrichtung zum trainieren eines neuronalen netzes
CN108520155B (zh) * 2018-04-11 2020-04-28 大连理工大学 基于神经网络的车辆行为模拟方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19635758C1 (de) * 1996-09-03 1997-11-20 Siemens Ag Verfahren und Vorrichtung zur rechnergestützten Generierung mindestens eines künstlichen Trainingsdatenvektors für ein neuronales Netz
DE19721067C1 (de) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastischer Schätzer, insbesondere zur Analyse von Kundenverhalten

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ANGELOS KATHAROPOULOS ET AL: "Not All Samples Are Created Equal: Deep Learning with Importance Sampling", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 March 2018 (2018-03-02), XP081554241 *
GEOFFREY E HINTON ET AL: "Improving neural networks by preventing co-adaptation of feature detectors", ARXIV:1207.0580V1 [CS.NE], 3 July 2012 (2012-07-03), XP055112910, Retrieved from the Internet <URL:http://arxiv.org/abs/1207.0580v1> [retrieved on 20140408] *
GEOFFREY EHINTONNITISH SRIVASTAVAALEX KRIZHEVSKYILYA SUTSKEVERRUSLAN R. SALAKHUTDINOV: "Improving neural networks by preventing co-adaptation of feature detectors", ARXIV PREPRINT ARXIV:1207.0580V1, 2012
MATEUSZ BUDA ET AL: "A systematic study of the class imbalance problem in convolutional neural networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 15 October 2017 (2017-10-15), XP081419603, DOI: 10.1016/J.NEUNET.2018.07.011 *
SERGEY IOFFE ET AL: "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", PROCEEDINGS OF MACHINE LEARNING RESEARCH (PMLR), PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON MACHINE LEARNING (ICML 2015), vol. 37, 7 July 2015 (2015-07-07), pages 448 - 456, XP055490336 *
SERGEY LOFFECHRISTIAN SZEGEDY: "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", ARXIV PREPRINT ARXIV:1502.03167V3, 2015
SHIJIE JIA ET AL: "Research on data augmentation for image classification based on convolution neural networks", 2017 CHINESE AUTOMATION CONGRESS (CAC), IEEE, 20 October 2017 (2017-10-20), pages 4165 - 4170, XP033290098, DOI: 10.1109/CAC.2017.8243510 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114046179A (zh) * 2021-09-15 2022-02-15 山东省计算中心（国家超级计算济南中心） 一种基于co监测数据智能识别和预测井下安全事故的方法
CN114046179B (zh) * 2021-09-15 2023-09-22 山东省计算中心（国家超级计算济南中心） 一种基于co监测数据智能识别和预测井下安全事故的方法

Also Published As

Publication number Publication date
DE102018222347A1 (de) 2020-06-25
TW202105261A (zh) 2021-02-01
CN113243021A (zh) 2021-08-10
EP3899808A1 (de) 2021-10-27
KR20210099149A (ko) 2021-08-11
US20210406684A1 (en) 2021-12-30
JP2022514886A (ja) 2022-02-16
JP7137018B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
WO2020260020A1 (de) Verfahren und vorrichtung zum überprüfen der robustheit eines künstlichen neuronalen netzes
DE102018218586A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erzeugen robuster automatisch lernender Systeme und Testen trainierter automatisch lernender Systeme
EP3899808A1 (de) Verfahren zum trainieren eines neuronalen netzes
DE202020101012U1 (de) Vorrichtung zum Vorhersagen einer geeigneten Konfiguration eines maschinellen Lernsystems für einen Trainingsdatensatz
DE102019214625A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erstellen eines künstlichen neuronalen Netzes
EP3857822A1 (de) Verfahren und vorrichtung zum ermitteln eines ansteuersignals
WO2020260016A1 (de) Verfahren und vorrichtung zum trainieren eines maschinellen lernsystems
WO2020126379A1 (de) Verfahren und vorrichtung zum klassifizieren von sensordaten und zum ermitteln eines ansteuersignals zum ansteuern eines aktors
WO2020173700A1 (de) Verfahren und vorrichtung zum betreiben eines steuerungssystems
DE102020209024A1 (de) Verfahren zum Generieren eines Überwachungs-Bildes
EP3915058A1 (de) Verfahren zum trainieren eines neuronalen netzes
DE202019105304U1 (de) Vorrichtung zum Erstellen eines künstlichen neuronalen Netzes
EP3857455A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
DE102020208309A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
DE202020104005U1 (de) Vorrichtung zum Erstellen eines Systems zum automatisierten Erstellen von maschinellen Lernsystemen
DE102020208828A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
WO2020057868A1 (de) Verfahren und vorrichtung zum betreiben eines steuerungssystems
DE202021100225U1 (de) Verbesserte Vorrichtung zum Anlernen von maschinellen Lernsysteme für Bild-verarbeitung
DE102021200439A1 (de) Verbessertes Anlernen von maschinellen Lernsysteme für Bildverarbeitung
DE102020211714A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems
WO2023006597A1 (de) Verfahren und vorrichtung zum erstellen eines maschinellen lernsystems
DE102021207937A1 (de) Verfahren und Vorrichtung zum Erstellen eines maschinellen Lernsystems mit einer Mehrzahl von Ausgängen
DE202020105509U1 (de) Vorrichtung zum Anlernen eines maschinellen Lernsystems
DE102020208671A1 (de) Verfahren und Vorrichtung zum Erstellen eines Systems zum automatisierten Erstellen von maschinellen Lernsystemen
DE102022200546A1 (de) Verfahren und Vorrichtung zum kontinuierlichen maschinellen Lernen einer Abfolge von unterschiedlichen Aufgaben

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19812975

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021535840

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217022763

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019812975

Country of ref document: EP

Effective date: 20210719