WO2022152683A1 - Ascertaining a confidence of an artificial neural network - Google Patents

Ascertaining a confidence of an artificial neural network Download PDF

Info

Publication number
WO2022152683A1
WO2022152683A1 PCT/EP2022/050414 EP2022050414W WO2022152683A1 WO 2022152683 A1 WO2022152683 A1 WO 2022152683A1 EP 2022050414 W EP2022050414 W EP 2022050414W WO 2022152683 A1 WO2022152683 A1 WO 2022152683A1
Authority
WO
WIPO (PCT)
Prior art keywords
input data
ann
confidence
data
classifying
Prior art date
Application number
PCT/EP2022/050414
Other languages
German (de)
French (fr)
Inventor
Fabian Woitschek
Georg Schneider
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2022152683A1 publication Critical patent/WO2022152683A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a method for determining a confidence of a classifying artificial neural network.
  • the present invention is based on the object of specifying the reliability of a classification result of a classifying artificial neural network.
  • a method for determining a confidence of a classifying ANN with the following steps: specification of input data, with which the ANN is fed to determine a classification result for the input data; specifying or generating noisy input data; Determining the classification result for the specified input data using the ANN; determining the classification result for the noisy input data using the ANN; Determining the confidence of the classification result of the specified input data by comparing the classification result of the specified input data with the classification results of the noisy input data.
  • An artificial neural network is in particular a network of networked artificial neurons that is simulated in a computer program.
  • the artificial neurons are typically arranged on different layers.
  • the artificial neural network includes an input layer and an output layer (output layer), whose neuron output is the only one of the artificial neural network that is visible. Lying between the input layer and the output layer Layers are typically referred to as hidden layers.
  • an architecture or topology of an artificial neural network is first initiated and then trained in a training phase for a specific task or for multiple tasks in a training phase.
  • An ANN defines a mapping from an (example two-dimensional) input data space to a result data space.
  • the mapping depends significantly on the purpose of the artificial intelligence, for example it is conceivable to classify data points of the input data space with regard to their properties.
  • the data points from the input data space are assigned a classification result, such as "tree” or "house” from the result data space, and one speaks of a classifying ANN.
  • topology of an ANN includes all aspects relating to the structure of an ANN. This includes, for example, the number of neurons in the ANN, the allocation of the neurons to the individual layers of the ANN, the number of layers in an ANN, the networking of the neurons and the weighting of the networking.
  • the training of the artificial neural network typically includes changing a weight of a connection between two artificial neurons of the artificial neural network.
  • the weight contains information about the strength of the consideration of an input of a neuron.
  • the training of the artificial neural network can also include developing new connections between artificial neurons, deleting existing connections between artificial neurons, adjusting threshold values of the artificial neurons and/or adding or deleting artificial neurons.
  • An input data space is a set of data that contains all conceivable or well-defined input data for an ANN.
  • a result data space is a set that contains all conceivable result data of an ANN. This patent application is based on the assumption that an input data space is divided into subsets or data ten points can be partitioned, with each element, i.e. a subset or a data point, of the partition being mapped to a different mapping result from the result data space. Boundaries of the subsets are also referred to as decision boundaries.
  • Typical input data are, for example, n-dimensional vectors.
  • disturbed input data is input data that has been artificially linked to a disturbance.
  • Noise is a disturbance variable with a broad, non-specific frequency spectrum. It can therefore be interpreted as a superposition of many harmonic oscillations or waves with different amplitudes and frequencies or wavelengths. There are noise processes of different properties, e.g. white noise, pink noise or brown noise.
  • the amplitude of a one-dimensional disturbance is also referred to as its intensity.
  • the disturbance intensity can be defined in different ways, e.g. as the magnitude of a disturbance vector or as the maximum of its components.
  • Confidence indicates a probability that a statement is correct.
  • terms such as reliability or dependability are also used.
  • a primary use of an ANN is to apply it to a purpose for which the ANN is designed. This does not include maintenance, training or testing of the ANN. If the ANN is a driver assistance function, the primary use is assisted driving of a vehicle by an end user.
  • Input data that has been specially selected to determine data pairs from input data and an associated confidence can be used during a primary using an ANN.
  • Such input data can also be artificially generated data.
  • a measure is a function that assigns numbers to subsets of a base set that can be interpreted as the sizes of those sets.
  • a sensor also known as a detector, (measuring variable or measurement) pickup or (measuring) probe, is a technical component that detects certain physical, chemical properties or states, e.g. B. temperature, humidity, pressure, speed, brightness, acceleration, pH, ionic strength, electrochemical potential and / or the material properties of its environment can be qualitatively or quantitatively detected as a measurand. These variables are recorded using physical or chemical effects and converted into an electrical signal that can be further processed as sensor data.
  • Vehicle sensors are mounted on a vehicle to sense a vehicle environment. Sensor data collected from vehicle sensors are data points related to the vehicle environment.
  • Computer program products typically include a sequence of instructions that, when the program is loaded, cause the hardware to perform a specific method that leads to a specific result.
  • the basic idea of the invention is to assess the confidence of a trained classification system. Confidence approximates the distance from a data point in the input data space to the nearest decision boundaries. This allows an assessment of how close a data point is to another decision boundary. If it turns out that the distance between the data point in the input data space and another decision limit is small, the confidence in the classification result is low, since even a small variation in the input data would lead to a different classification result.
  • the assessment of the significance or reliability of a classification result of an artificial neural network is relevant for a large number of safety-critical applications. For example, for a classifying artificial ches neural network in the training phase, whether the confidence of an ANN has already reached an acceptable value or whether a human would generate better or worse classification results. Thus, for example, the progress during training can be assessed with regard to the reliability of the classification results.
  • the present invention makes this possible by means of the method described below for determining a confidence of a classifying artificial neural network with automated methods based on an algorithm.
  • the method according to the invention is based on the assumption that the classification certainty, ie the confidence, of an artificial neural network is higher when the input data are in the center of a decision limit.
  • the data is most reliably assigned to a specific classification result, and small changes in the data do not change the classification result. Accordingly, the measure of confidence should be such that at such points, the determined confidence of the artificial neural network is high. Accordingly, the confidence of a classification result of input data that is close to a decision boundary is low. A small change in the data can be enough to change the classification result of the ANN. Accordingly, the degree of confidence should be dimensioned in such a way that the determined confidence for input data is low in the vicinity of a decision limit.
  • the present invention provides for determining the confidence of a classification result of a classifying artificial neural network by specifying input data for which the ANN determines a classification result.
  • disturbed input data are generated or specified for the specified input data.
  • Various methods which can be weighted or unweighted, are available for comparing the classification results of the specified and disturbed input data.
  • a predetermined number of disturbed input data is generated by means of a noise process of at least one probability distribution.
  • one or more noise intensities are specified and for each noise intensity a predetermined number of disturbed input data is at least generated from a probability distribution.
  • the confidence of a classification result can then be formulated as follows, where i, for example, indexes different fault directions and j indexes different fault intensities: where i G 1 ,...,N; j G 0,...,M-1 ;
  • the specified input data are based on sensor data, with the sensor data being recorded for the purpose of a primary use of the artificial neural network.
  • This embodiment can also be referred to as a live variant in technical jargon.
  • the confidence is determined at the same time as the classification results of input data. Accordingly, the disturbed input data is also generated in real time and the classifying artificial neural network is fed with this disturbed input data for the purpose of its classification. dementia accordingly, the confidence of a classification result is determined while the classification result itself is determined.
  • This variant of the method can be easily integrated into existing systems of classifying ANN, since the existing classifying ANN does not have to be changed for this, but only has to be linked to a routine for determining the confidence.
  • This variant is particularly suitable for applications with large available computing capacities, as this requires additional computing effort.
  • the specified input data was selected specifically for determining data pairs from input data and a confidence. Accordingly, the procedure is carried out before the classifying ANN is used in its primary use.
  • a further ANN determines data pairs from input data and an associated confidence, while the classifying artificial neural network is fed with the specified input data based on sensor data, the sensor data being recorded for the purpose of a primary use of the ANN, where the further ANN was trained with data pairs from input data and an associated confidence.
  • a further artificial neural network is trained prior to the primary use of the classifying ANN to assess the confidence of classification results during the primary use of the classifying ANN.
  • the further ANN is trained before the classifying ANN is used in its primary use. For this purpose, data pairs from input data and an associated confidence are specified. During the primary use of the classifying ANN, the further ANN is then trained to determine the confidence of the classification results.
  • This variant can also be referred to as a training variant in technical jargon.
  • the offline variant is based on comparable or identical data to the training variant, with the offline variant being a simplification compared to the training variant. For this it is necessary to store data pairs from input data and an associated confidence. If, during the primary use of the classifying ANN, a confidence of a classification result of given input data for which no associated confidence was previously determined is to be determined, then this confidence can be determined by interpolating previously known confidences from the stored dataset.
  • the classifying ANN does not have to be changed for this and that it is therefore possible to expand any existing classifying ANN with the offline variant.
  • the additional runtime requirement is lower, since only simple or fewer arithmetic operations are required.
  • the confidence is further determined on the basis of a measure of a difference between classification results of the noisy and undisturbed input data if the classification results of the noisy and non-noisy input data differ. Accordingly, in addition to the distance of an input data point to the next decision limit, the distance of a data point to any decision limit can also be estimated. For this it is advantageous to assess the distance to other decision regions using different noise intensities. In this way, disturbed input data can also reach decision regions that are further away.
  • classifying ANNs used for driver assistance applications classify camera data of a vehicle with regard to different types of road users contained in the camera data. Accordingly, such applications classify detected objects as trucks, cars, pedestrians, bicyclists, mopeds, and the like. It can be uncritical if, instead of a cyclist, an electric scooter rider, colloquially also referred to as an e-scooter rider, is detected, since these two objects usually move at a similar speed or with a similar movement behavior. This can be taken into account by weighting weaker classification results of noisy input data that differ from the classification result of the specified input data if it is to be expected that the objects of the different classification results behave similarly or identically.
  • the similarity or dissimilarity of classification results is assessed in view of the current problem to be solved. For example, it can make sense to predict the behavior of a car on a federal highway or on a highway based on its performance, among other things, if it is provided that a car is to be classified on the basis of an assumed performance. On the other hand, it is not to be expected that the behavior of a car in a traffic-calmed area will change due to whose performance differs.
  • the classifying ANN has a known topology. Accordingly, the confidence of a known or specially developed classifying ANN is assessed. Accordingly, the confidence determined can be made accessible to a user, as a result of which he can assess the reliability of the system himself.
  • the classifying ANN has an unknown topology and confidences in classification results of the classifying ANN are to be determined or verified using the method described.
  • Confidence that was determined using the method described is also referred to as environmental confidence.
  • Confidence that was determined in a different way or in an unknown way is also referred to as manufacturer confidence.
  • a computer program product performs the steps of a method as described above when the computer program product runs on a computer, in particular an in-vehicle computer. If the program in question is used on a computer, the computer program product produces an effect, namely the assessment of the reliability of classification results of artificial neural networks.
  • Figure 1 is a schematic block diagram of an embodiment of the invention
  • FIG. 2 shows a basic sketch to explain an embodiment of the invention
  • FIG. 3 shows a basic sketch to explain an embodiment of the invention.
  • FIG. 1 shows a schematic block diagram of a method for determining a confidence of a classifying artificial neural network according to an embodiment of the invention with steps S1 to S5.
  • step S1 input data are specified, with which the ANN is fed to determine a classification result for the input data.
  • step S2 disturbed input data are specified or generated.
  • step S3 a classification result for the specified input data is determined using the ANN.
  • step S4 classification results for the noisy input data are determined using the ANN.
  • step S5 the confidence of the classification result of the input data is determined by comparing the classification result of the input data with the classification results of the noisy input data.
  • FIG. 2 shows a basic sketch to illustrate an embodiment of the invention.
  • An input data space 19 which is divided into a partition 13 is shown in FIG.
  • the partition 13 comprises three subsets 15, 16 and 17.
  • the subsets 15, 16 and 17 are delimited from one another by a subset boundary 11, which forms a decision boundary.
  • a region 12 close to the edge 11 of the subset is shown in an illustrated manner within the subset 15 .
  • the subset edge 12 is only shown for the subset 15, it goes without saying that the subsets 16 and 17 also have a comparable subset edge within these subsets.
  • the subset 15 contains several data points 1, which are are located within subset 15 at a distance from subset edge 12 .
  • the subset 15 includes data points 2 that are located within the subset 15 and within the subset edge 12 .
  • Subset 16 includes multiple data points 3.
  • Subset 17 includes multiple data points 4.
  • a classifying ANN which processes data from the input data space 19, would assign an object “house” to data points 1 and 2 of subset 15, an object “tree” to data points 3 of subset 16 and an object “tree” to data points 4 of subset 17. Assign vehicle”. If there are data points in a close range 12 at the edge of the subset 11, their classification result, e.g. house, has a low confidence, since a small amount of interference is sufficient to bring the classifying ANN to a different classification result, e.g. tree.
  • FIG. 3 schematically illustrates another embodiment of the invention.
  • FIG. 3 shows a detailed view of the partition 13 according to FIG. 2.
  • Data point 2 has been disturbed by disturbance 5, which moves data point 2 from subset 15 to subset 16. Accordingly, disturbance 5 transforms data point 2 into data point 3 within subset 16.
  • An embodiment of the invention makes it possible to assign a low confidence to the classification result “house” of data point 2 if the disturbance 5, which transferred data point 2 to another decision region, ie subset of the partition, was low.

Abstract

Method for ascertaining a confidence of a classifying ANN, having the following steps: - specifying (S1) input data that are fed to the ANN in order to ascertain a classification result for the input data; - specifying or generating (S2) input data subject to interference; - ascertaining (S3) the classification result for the specified input data by way of the ANN; - ascertaining (S4) the classification result for the input data subject to interference by way of the ANN; - ascertaining (S5) the confidence of the classification result of the specified input data by comparing the classification result of the specified input data with the classification results of the input data subject to interference.

Description

Ermitteln einer Konfidenz eines künstlichen neuronalen Netzwerks Determining a confidence of an artificial neural network
GEBIET DER ERFINDUNG FIELD OF THE INVENTION
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln einer Konfidenz eines klassifizierenden künstlichen neuronalen Netzwerks. The present invention relates to a method for determining a confidence of a classifying artificial neural network.
ZUSAMMENFASSUNG DER ERFINDUNG SUMMARY OF THE INVENTION
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Verlässlichkeit eines Klassifikationsergebnisses eines klassifizierenden künstlichen neuronalen Netzwerks anzugeben. The present invention is based on the object of specifying the reliability of a classification result of a classifying artificial neural network.
Demgemäß ist vorgesehen: Accordingly, it is provided:
- Ein Verfahren zum Ermitteln einer Konfidenz eines klassifizierenden KNN mit den folgenden Schritten: Vorgeben von Eingangsdaten, mit welchen das KNN zum Ermitteln eines Klassifikationsergebnisses für die Eingangsdaten gespeist wird; Vorgeben oder Generieren von gestörten Eingangsdaten; Ermitteln des Klassifikationsergebnis für die vorgegebenen Eingangsdaten mittels des KNN; Ermitteln des Klassifikationsergebnis für die gestörten Eingangsdaten mittels des KNN; Ermitteln der Konfidenz des Klassifikationsergebnis der vorgegebenen Eingangsdaten, indem das Klassifikationsergebnis der vorgegebenen Eingangsdaten mit den Klassifikationsergebnissen der gestörten Eingangsdaten verglichen wird. - A method for determining a confidence of a classifying ANN with the following steps: specification of input data, with which the ANN is fed to determine a classification result for the input data; specifying or generating noisy input data; Determining the classification result for the specified input data using the ANN; determining the classification result for the noisy input data using the ANN; Determining the confidence of the classification result of the specified input data by comparing the classification result of the specified input data with the classification results of the noisy input data.
Ein künstliches neuronales Netzwerk (KNN, englisch artificial neural network - ANN) ist insbesondere ein in einem Rechenprogramm nachgebildetes Netzwerk aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten (layers) angeordnet. Üblicherweise umfasst das künstliche neuronale Netzwerk eine Eingangsschicht und eine Ausgabeschicht (output layer), deren Neuronenausgabe als einzige des künstlichen neuronalen Netzwerks sichtbar wird. Zwischen der Eingangsschicht und der Ausgabeschicht liegende Schichten werden typischerweise als verdeckte Schichten (hidden layer) bezeichnet. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzwerks initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben in einer Trainingsphase trainiert. An artificial neural network (ANN) is in particular a network of networked artificial neurons that is simulated in a computer program. The artificial neurons are typically arranged on different layers. Usually, the artificial neural network includes an input layer and an output layer (output layer), whose neuron output is the only one of the artificial neural network that is visible. Lying between the input layer and the output layer Layers are typically referred to as hidden layers. Typically, an architecture or topology of an artificial neural network is first initiated and then trained in a training phase for a specific task or for multiple tasks in a training phase.
Ein KNN legt eine Abbildung von einem (beispielhaft zweidimensionalen) Eingangsdatenraum auf einen Ergebnisdatenraum fest. Die Abbildung hängt maßgeblich vom Zweck der künstlichen Intelligenz ab, beispielsweise ist es denkbar, Datenpunkte des Eingangsdatenraums hinsichtlich ihrer Eigenschaften zu klassifizieren. In diesem Fall wird den Datenpunkten aus dem Eingangsdatenraum ein Klassifikationsergebnis, wie beispielsweise „Baum“ oder „Haus“, aus dem Ergebnisdatenraum zugeordnet und man spricht von einem klassifizierenden KNN. An ANN defines a mapping from an (example two-dimensional) input data space to a result data space. The mapping depends significantly on the purpose of the artificial intelligence, for example it is conceivable to classify data points of the input data space with regard to their properties. In this case, the data points from the input data space are assigned a classification result, such as "tree" or "house" from the result data space, and one speaks of a classifying ANN.
Der Begriff „Topologie eines KNN“ umfasst sämtliche Aspekte bezüglich des Aufbaus eines KNN. Hierunter fallen beispielsweise die Anzahl der Neuronen des KNN, die Aufteilung der Neuronen auf die einzelnen Schichten des KNN, die Anzahl der Schichten eines KNN, die Vernetzung der Neuronen und die Gewichtung der Vernetzung. The term "topology of an ANN" includes all aspects relating to the structure of an ANN. This includes, for example, the number of neurons in the ANN, the allocation of the neurons to the individual layers of the ANN, the number of layers in an ANN, the networking of the neurons and the weighting of the networking.
Das Training des künstlichen neuronalen Netzwerks umfasst dabei typischerweise eine Veränderung eines Gewichts einer Verbindung zwischen zwei künstlichen Neuronen des künstlichen neuronalen Netzwerks. Das Gewicht enthält Information zur Stärke der Berücksichtigung eines Eingangs eines Neurons. Das Training des künstlichen neuronalen Netzwerks kann auch eine Entwicklung von neuen Verbindungen zwischen künstlichen Neuronen, ein Löschen von bestehenden Verbindungen zwischen künstlichen Neuronen, ein Anpassen von Schwellwerten der künstlichen Neuronen und/oder ein Hinzufügen oder ein Löschen von künstlichen Neuronen umfassen. The training of the artificial neural network typically includes changing a weight of a connection between two artificial neurons of the artificial neural network. The weight contains information about the strength of the consideration of an input of a neuron. The training of the artificial neural network can also include developing new connections between artificial neurons, deleting existing connections between artificial neurons, adjusting threshold values of the artificial neurons and/or adding or deleting artificial neurons.
Ein Eingangsdatenraum ist eine Menge an Daten, die alle denkbaren bzw. wohldefinierten Eingangsdaten für ein KNN enthält. Ein Ergebnisdatenraum ist eine Menge, die alle denkbaren Ergebnisdaten eines KNN enthält. Dieser Patentanmeldung liegt die Annahme zugrunde, dass sich ein Eingangsdatenraum in Teilmengen oder Da- tenpunkte partitionieren lässt, wobei jedes Element, also eine Teilmenge oder ein Datenpunkt, der Partition auf ein anderes Abbildungsergebnis aus dem Ergebnisdatenraum abgebildet wird. Grenzen der Teilmengen werden anschaulich auch als Entscheidungsgrenzen bezeichnet. Typische Eingangsdaten sind z.B. n-dimensionale Vektoren. An input data space is a set of data that contains all conceivable or well-defined input data for an ANN. A result data space is a set that contains all conceivable result data of an ANN. This patent application is based on the assumption that an input data space is divided into subsets or data ten points can be partitioned, with each element, i.e. a subset or a data point, of the partition being mapped to a different mapping result from the result data space. Boundaries of the subsets are also referred to as decision boundaries. Typical input data are, for example, n-dimensional vectors.
Gestörte Eingangsdaten sind in dieser Patentanmeldung Eingangsdaten, die künstlich mit einer Störung verknüpft worden sind. In this patent application, disturbed input data is input data that has been artificially linked to a disturbance.
Unter Rauschen versteht man eine Störgröße mit breitem unspezifischem Frequenzspektrum. Es kann daher als eine Überlagerung vieler harmonischer Schwingungen oder Wellen mit unterschiedlicher Amplitude und Frequenz beziehungsweise Wellenlänge interpretiert werden. Es gibt Rauschprozesse verschiedener Eigenschaften, z.B. weißes Rauschen, rosa Rauschen oder braunes Rauschen. Noise is a disturbance variable with a broad, non-specific frequency spectrum. It can therefore be interpreted as a superposition of many harmonic oscillations or waves with different amplitudes and frequencies or wavelengths. There are noise processes of different properties, e.g. white noise, pink noise or brown noise.
Die Amplitude einer eindimensionalen Störung bezeichnet man auch als dessen Intensität. Handelt es sich um einen mehrdimensionalen Störungsvektor kann die Störungsintensität unterschiedlich definiert werden, z.B. als Betrag eines Störungsvektors oder als Maximum seiner Komponenten. The amplitude of a one-dimensional disturbance is also referred to as its intensity. In the case of a multidimensional disturbance vector, the disturbance intensity can be defined in different ways, e.g. as the magnitude of a disturbance vector or as the maximum of its components.
Die Konfidenz bezeichnet eine Wahrscheinlichkeit für die Korrektheit einer Aussage. Im gebräuchlichen Sprachgebrauch werden auch Begriffe wie Zuverlässigkeit oder Verlässlichkeit verwendet. Confidence indicates a probability that a statement is correct. In common parlance, terms such as reliability or dependability are also used.
Eine primäre Verwendung eines KNN ist dessen Anwendung zu einem Zweck, für den das KNN ausgelegt ist. Hierzu zählen nicht die Wartung, das Training oder das Testen des KNN. Handelt es sich bei dem KNN um eine Fahrerassistenzfunktion, ist die primäre Verwendung das assistierende Fahren eines Fahrzeugs bei einem Endanwender. A primary use of an ANN is to apply it to a purpose for which the ANN is designed. This does not include maintenance, training or testing of the ANN. If the ANN is a driver assistance function, the primary use is assisted driving of a vehicle by an end user.
Eingangsdaten, die eigens zur Ermittlung von Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz ausgewählt wurden, können während einer primären Verwendung eines KNN erfasst worden sein. Alternativ kann es sich bei derartigen Eingangsdaten auch um künstlich generierte Daten handeln. Input data that has been specially selected to determine data pairs from input data and an associated confidence can be used during a primary using an ANN. Alternatively, such input data can also be artificially generated data.
Ein Maß ist eine Funktion, die Teilmengen einer Grundmenge Zahlen zuordnet, die als Größe dieser Mengen interpretiert werden können. A measure is a function that assigns numbers to subsets of a base set that can be interpreted as the sizes of those sets.
Ein Sensor, auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-)Fühler bezeichnet, ist ein technisches Bauteil, das bestimmte physikalische, chemische Eigenschaften oder Zustände, z. B. Temperatur, Feuchtigkeit, Druck, Geschwindigkeit, Helligkeit, Beschleunigung, pH-Wert, lonenstärke, elektrochemisches Potential und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Diese Größen werden mittels physikalischer oder chemischer Effekte erfasst und als Sensordaten in ein weiterverarbeitbares elektrisches Signal umgeformt. Fahrzeugsensoren sind an einem Fahrzeug montiert, um eine Fahrzeugumgebung zu erfassen. Sensordaten, die von Fahrzeugsensoren erfasst werden, sind fahrzeugumgebungsbezogene Datenpunkte. A sensor, also known as a detector, (measuring variable or measurement) pickup or (measuring) probe, is a technical component that detects certain physical, chemical properties or states, e.g. B. temperature, humidity, pressure, speed, brightness, acceleration, pH, ionic strength, electrochemical potential and / or the material properties of its environment can be qualitatively or quantitatively detected as a measurand. These variables are recorded using physical or chemical effects and converted into an electrical signal that can be further processed as sensor data. Vehicle sensors are mounted on a vehicle to sense a vehicle environment. Sensor data collected from vehicle sensors are data points related to the vehicle environment.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Computer program products typically include a sequence of instructions that, when the program is loaded, cause the hardware to perform a specific method that leads to a specific result.
Die grundlegende Idee der Erfindung ist es, die Konfidenz eines trainierten Klassifikationssystems zu beurteilen. Die Konfidenz approximiert die Entfernung eines Datenpunkts im Eingangsdatenraum zu den nächsten Entscheidungsgrenzen. Somit kann beurteilt werden, wie nah ein Datenpunkt an einer anderen Entscheidungsgrenze liegt. Stellt sich heraus, dass der Abstand des Datenpunkts im Eingangsdatenraum zu einer anderen Entscheidungsgrenze gering ist, ergibt sich daraus eine niedrige Konfidenz des Klassifikationsergebnisses, da bereits eine geringe Variation der Eingangsdaten zu einem anderen Klassifikationsergebnis führen würde. The basic idea of the invention is to assess the confidence of a trained classification system. Confidence approximates the distance from a data point in the input data space to the nearest decision boundaries. This allows an assessment of how close a data point is to another decision boundary. If it turns out that the distance between the data point in the input data space and another decision limit is small, the confidence in the classification result is low, since even a small variation in the input data would lead to a different classification result.
Die Beurteilung der Aussagekraft bzw. Verlässlichkeit eines Klassifikationsergebnisses eines künstlichen neuronalen Netzwerks ist für eine Vielzahl von sicherheitskritischen Anwendungen relevant. Beispielsweise ist es für ein klassifizierendes künstli- ches neuronales Netzwerk in der Trainingsphase relevant, ob die Konfidenz eines KNN bereits einen akzeptablen Wert erreicht hat bzw. ob ein Mensch bessere oder schlechtere Klassifikationsergebnisse generieren würde. Somit lässt sich beispielsweise der Fortschritt während eines Trainings hinsichtlich der Zuverlässigkeit der Klassifikationsergebnisse beurteilen. Die vorliegende Erfindung ermöglicht dies, mittels des im Folgenden beschriebenen Verfahrens zum Ermitteln einer Konfidenz eines klassifizierenden künstlichen neuronalen Netzwerks mit automatisierten Methoden, die auf einem Algorithmus beruhen. The assessment of the significance or reliability of a classification result of an artificial neural network is relevant for a large number of safety-critical applications. For example, for a classifying artificial ches neural network in the training phase, whether the confidence of an ANN has already reached an acceptable value or whether a human would generate better or worse classification results. Thus, for example, the progress during training can be assessed with regard to the reliability of the classification results. The present invention makes this possible by means of the method described below for determining a confidence of a classifying artificial neural network with automated methods based on an algorithm.
Das erfindungsgemäße Verfahren beruht auf der Annahme, dass die Klassifikationssicherheit, also die Konfidenz, eines künstlichen neuronalen Netzwerks höher ist, wenn die Eingangsdaten im Zentrum einer Entscheidungsgrenze liegen. In diesem Punkt werden die Daten am sichersten einem spezifischen Klassifikationsergebnis zugeordnet und kleine Veränderungen in den Daten ändern das Klassifikationsergebnis nicht. Dementsprechend sollte das Maß für die Konfidenz derart bemessen sein, dass an derartigen Punkten, die ermittelte Konfidenz des künstlichen neuronalen Netzwerks hoch ist. Dementsprechend ist die Konfidenz eines Klassifikationsergebnisses von Eingangsdaten, die sich in der Nähe einer Entscheidungsgrenze befinden, gering. Eine kleine Veränderung der Daten kann hier ausreichen, um das Klassifikationsergebnis des KNN zu ändern. Dementsprechend sollte das Maß der Konfidenz derart bemessen sein, dass die ermittelte Konfidenz für Eingangsdaten in der Nähe einer Entscheidungsgrenze gering ist. The method according to the invention is based on the assumption that the classification certainty, ie the confidence, of an artificial neural network is higher when the input data are in the center of a decision limit. At this point, the data is most reliably assigned to a specific classification result, and small changes in the data do not change the classification result. Accordingly, the measure of confidence should be such that at such points, the determined confidence of the artificial neural network is high. Accordingly, the confidence of a classification result of input data that is close to a decision boundary is low. A small change in the data can be enough to change the classification result of the ANN. Accordingly, the degree of confidence should be dimensioned in such a way that the determined confidence for input data is low in the vicinity of a decision limit.
In der Praxis ist jedoch die Lage der Entscheidungsgrenzen in der Regel nicht bekannt. In practice, however, the position of the decision limits is usually not known.
Die vorliegende Erfindung sieht vor, die Konfidenz eines Klassifikationsergebnisses eines klassifizierenden künstlichen neuronalen Netzwerks zu ermitteln, indem Eingangsdaten, zu welchen das KNN ein Klassifikationsergebnis ermittelt, vorgegeben werden. Im Folgenden werden zu den vorgegebenen Eingangsdaten gestörte Eingangsdaten generiert oder vorgegeben. Im Folgenden wird ermittelt, wie nahe die vorgegebenen Eingangsdaten an einer Entscheidungsgrenze liegen, indem das KNN Klassifikationsergebnisse für die vorgegebenen Eingangsdaten sowie für die gestör- ten Eingangsdaten ermittelt. Unterscheidet sich das Klassifikationsergebnis der vorgegebenen Eingangsdaten von den gestörten Eingangsdaten, resultiert daraus, dass die Störung ausreichend war, um die vorgegebenen Eingangsdaten in eine andere Entscheidungsgrenze zu überführen. Das bedeutet, dass der Abstand der vorgegebenen Eingangsdaten zu einer Entscheidungsgrenze kleiner ist als der Betrag der Störung. Für den Vergleich der Klassifikationsergebnisse der vorgegebenen und gestörten Eingangsdaten stehen verschiedene Methoden, die gewichtet oder ungewichtet sein können, bereit. The present invention provides for determining the confidence of a classification result of a classifying artificial neural network by specifying input data for which the ANN determines a classification result. In the following, disturbed input data are generated or specified for the specified input data. In the following, it is determined how close the specified input data is to a decision limit by using the ANN classification results for the specified input data and for the faulty th input data determined. If the classification result of the specified input data differs from the disturbed input data, the result is that the disturbance was sufficient to transfer the specified input data to a different decision limit. This means that the distance between the given input data and a decision limit is smaller than the magnitude of the disturbance. Various methods, which can be weighted or unweighted, are available for comparing the classification results of the specified and disturbed input data.
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung. Advantageous refinements and developments result from the further dependent claims and from the description with reference to the figures of the drawing.
Gemäß einer bevorzugten Weiterbildung der Erfindung wird eine vorbestimmte Anzahl von gestörten Eingangsdaten mittels eines Rauschprozesses wenigstens einer Wahrscheinlichkeitsverteilung generiert. According to a preferred development of the invention, a predetermined number of disturbed input data is generated by means of a noise process of at least one probability distribution.
Dementsprechend ist es denkbar, zu vorgegebenen Eingangsdaten mittels Rauschens automatisiert gestörte Eingangsdaten zu generieren. Dabei kann vorgesehen sein, dass die gestörten Eingangsdaten mittels eines Rauschprozesses, der auf einer oder mehrerer Wahrscheinlichkeitsverteilungen beruht, zu generieren. Als Wahrscheinlichkeitsverteilungen kommen sämtliche Verteilungen in Betracht, beispielsweise die Normalverteilung, die Gleichverteilung, die Poissonverteilung und dergleichen. Accordingly, it is conceivable to automatically generate disturbed input data for predetermined input data by means of noise. Provision can be made here for the disturbed input data to be generated by means of a noise process which is based on one or more probability distributions. All distributions come into consideration as probability distributions, for example the normal distribution, the uniform distribution, the Poisson distribution and the like.
Alternativ ist es auch denkbar, deterministische Störungsvektoren, mittels welchen die vorgegebenen Eingangsdaten verknüpft werden, vorzugeben. Somit lässt sich gewährleisten, dass die gestörten Eingangsdaten vergleichbar sind bzw. hinsichtlich kontrollierbarer Eigenschaften verändert werden. Alternatively, it is also conceivable to specify deterministic disturbance vectors, by means of which the specified input data are linked. It can thus be ensured that the disturbed input data are comparable or are changed with regard to controllable properties.
Gemäß einer bevorzugten Weiterbildung der Erfindung werden eine oder mehrere Rauschintensitäten vorgegeben und für jede Rauschintensität wird eine vorbestimmte Anzahl von gestörten Eingangsdaten mittels eines Rauschprozesses wenigstens einer Wahrscheinlichkeitsverteilung generiert. According to a preferred development of the invention, one or more noise intensities are specified and for each noise intensity a predetermined number of disturbed input data is at least generated from a probability distribution.
Somit lässt sich nicht nur beurteilen, ob vorgegebene Eingangsdaten in der Nähe einer Entscheidungsgrenze liegen, sondern auch der Abstand zwischen den Eingangsdaten und dem Rand der Entscheidungsgrenze beurteilen. It is thus not only possible to assess whether specified input data is close to a decision limit, but also to assess the distance between the input data and the edge of the decision limit.
Für sämtliche vorstehend und nachfolgend beschriebenen Varianten des Verfahrens ist es denkbar, den Vergleich der Klassifikationsergebnisse über eine (normierte) Summe von Nullen bzw. Einsen zu implementieren, wobei jedes Klassifikationsergebnis gestörter Eingangsdaten einmal mit dem Klassifikationsergebnis der vorgegebenen Eingangsdaten verglichen wird, d. h. wenn das Klassifikationsergebnis gestörter Eingangsdaten identisch mit dem Klassifikationsergebnis der vorgegebenen Eingangsdaten ist, wird eine 1 addiert und wenn sich das Klassifikationsergebnis der gestörten Eingangsdaten von dem Klassifikationsergebnis der vorgegebenen Eingangsdaten unterscheidet, wird eine 0 addiert. Diese Summe wird für alle Klassifikationsergebnisse, also alle gestörten Eingangsdaten zu jeweils allen Rauschintensitäten ermittelt. For all variants of the method described above and below, it is conceivable to implement the comparison of the classification results using a (normalized) sum of zeros or ones, with each classification result of noisy input data being compared once with the classification result of the specified input data, i. H. if the classification result of the noisy input data is identical to the classification result of the specified input data, a 1 is added and if the classification result of the noisy input data differs from the classification result of the specified input data, a 0 is added. This sum is determined for all classification results, ie all disturbed input data for all noise intensities.
Anders ausgedrückt kann die Konfidenz eines Klassifikationsergebnisses dann wie folgt formuliert werden, wobei i beispielsweise verschiedene Störungsrichtungen indexiert und j verschiedene Störungsintensitäten indexiert:
Figure imgf000008_0001
wobei i G 1 ,...,N; j G 0,...,M-1 ; In other words, the confidence of a classification result can then be formulated as follows, where i, for example, indexes different fault directions and j indexes different fault intensities:
Figure imgf000008_0001
where i G 1 ,...,N; j G 0,...,M-1 ;
Gemäß einer bevorzugten Weiterbildung der Erfindung basieren die vorgegebenen Eingangsdaten auf Sensordaten, wobei die Sensordaten zum Zwecke einer primären Verwendung des künstlichen neuronalen Netzwerks erfasst wurden. According to a preferred development of the invention, the specified input data are based on sensor data, with the sensor data being recorded for the purpose of a primary use of the artificial neural network.
Diese Ausführungsform, lässt sich im Fachjargon auch als live-Variante bezeichnen. Bei dieser Variante wird die Konfidenz gleichzeitig zu Klassifikationsergebnissen von Eingangsdaten ermittelt. Dementsprechend werden auch die gestörten Eingangsdaten in Echtzeit generiert und das klassifizierende künstliche neuronale Netzwerk wird mit diesen gestörten Eingangsdaten zwecks dessen Klassifikation gespeist. Dement- sprechend wird die Konfidenz eines Klassifikationsergebnisses ermittelt, während das Klassifikationsergebnis selbst ermittelt wird. This embodiment can also be referred to as a live variant in technical jargon. In this variant, the confidence is determined at the same time as the classification results of input data. Accordingly, the disturbed input data is also generated in real time and the classifying artificial neural network is fed with this disturbed input data for the purpose of its classification. dementia accordingly, the confidence of a classification result is determined while the classification result itself is determined.
Diese Variante des Verfahrens lässt sich leicht in bestehende Systeme von klassifizierenden KNN integrieren, da das bestehende klassifizierende KNN hierfür nicht verändert werden muss, sondern lediglich mit einer Routine für die Ermittlung der Konfidenz verknüpft werden muss. This variant of the method can be easily integrated into existing systems of classifying ANN, since the existing classifying ANN does not have to be changed for this, but only has to be linked to a routine for determining the confidence.
Diese Variante eignet sich besonders für Anwendungen mit großen verfügbaren Rechenkapazitäten, da hierfür ein zusätzlicher Rechenaufwand anfällt. This variant is particularly suitable for applications with large available computing capacities, as this requires additional computing effort.
Alternativ ist es auch denkbar, dass die vorgegebenen Eingangsdaten eigens zur Ermittlung von Datenpaaren aus Eingangsdaten und einer Konfidenz ausgewählt wurden. Dementsprechend wird das Verfahren durchgeführt, bevor das klassifizierende KNN im Rahmen seiner primären Verwendung eingesetzt wird. Alternatively, it is also conceivable that the specified input data was selected specifically for determining data pairs from input data and a confidence. Accordingly, the procedure is carried out before the classifying ANN is used in its primary use.
Dabei kann vorgesehen sein, dass ein weiteres KNN Datenpaare aus Eingangsdaten und einer zugehörigen Konfidenz ermittelt, während das klassifizierende künstliche neuronale Netzwerk mit den vorgegebenen Eingangsdaten gespeist wird, die auf Sensordaten basieren, wobei die Sensordaten zum Zwecke einer primären Verwendung des KNN erfasst wurden, wobei das weitere KNN mit Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz trainiert wurde. It can be provided that a further ANN determines data pairs from input data and an associated confidence, while the classifying artificial neural network is fed with the specified input data based on sensor data, the sensor data being recorded for the purpose of a primary use of the ANN, where the further ANN was trained with data pairs from input data and an associated confidence.
Dementsprechend ist vorgesehen, dass ein weiteres künstliches neuronales Netzwerk vor der primären Verwendung des klassifizierenden KNN trainiert wird, die Konfidenz von Klassifikationsergebnissen während der primären Verwendung des klassifizierenden KNN zu beurteilen. Das weitere KNN wird trainiert, bevor das klassifizierende KNN im Rahmen seiner primären Verwendung verwendet wird. Hierfür werden Datenpaare aus Eingangsdaten und einer zugehörigen Konfidenz vorgegeben. Während der primären Verwendung des klassifizierenden KNN ist das weitere KNN dann auf die Ermittlung der Konfidenz der Klassifikationsergebnisse trainiert. Diese Variante kann im Fachjargon auch als Trainingsvariante bezeichnet werden. Für diese Variante ist es vorteilhaft, das klassifizierende KNN zu verändern, indem ein weiterer Ausgabewert, nämlich die Konfidenz, hinzugefügt wird. Es ist auch denkbar, das weitere KNN zusammen mit dem klassifizierenden KNN zu trainieren, um den Trainingsaufwand gering zu halten. Accordingly, it is provided that a further artificial neural network is trained prior to the primary use of the classifying ANN to assess the confidence of classification results during the primary use of the classifying ANN. The further ANN is trained before the classifying ANN is used in its primary use. For this purpose, data pairs from input data and an associated confidence are specified. During the primary use of the classifying ANN, the further ANN is then trained to determine the confidence of the classification results. This variant can also be referred to as a training variant in technical jargon. For this variant, it is advantageous to change the classifying ANN by adding another output value, namely the confidence. It is also conceivable to train the further ANN together with the classifying ANN in order to keep the training effort low.
Alternativ ist es auch denkbar, die Konfidenz von Klassifikationsergebnissen von Eingangsdaten, die auf Sensordaten basieren, wobei die Sensordaten zum Zwecke einer primären Verwendung des KNN erfasst wurden, mittels einer Interpolation von mehreren Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz zu schätzen. Hierfür ist es grundsätzlich möglich, einen identischen Datensatz zu verwenden, wie man für das Training eines weiteren KNN verwenden würde, das bedeutet Datenpaare aus Eingangsdaten und einer zugehörigen Konfidenz, wobei die Datenpaare eigens zur Bereitstellung eines Datensatzes zur Interpolation von Konfidenzen während der primären Verwendung des KNN bereitgestellt wurden. Diese Variante kann im Fachjargon auch als Offline-Variante bezeichnet werden. Alternatively, it is also conceivable to estimate the confidence of classification results of input data based on sensor data, the sensor data being recorded for the purpose of primary use of the ANN, by interpolating multiple data pairs from input data and an associated confidence. For this it is basically possible to use an identical data set as one would use for the training of another ANN, i.e. data pairs from input data and an associated confidence, whereby the data pairs are used specifically to provide a data set for the interpolation of confidences during the primary use of the KNN have been provided. This variant can also be referred to as the offline variant in technical jargon.
Dementsprechend basiert die Offline-Variante auf vergleichbaren bzw. identischen Daten wie die Trainingsvariante, wobei die Offline-Variante gegenüber der Trainingsvariante eine Vereinfachung bildet. Hierfür ist es erforderlich, Datenpaare aus Eingangsdaten und einer zugehörigen Konfidenz zu speichern. Soll während der primären Verwendung des klassifizierenden KNN eine Konfidenz eines Klassifikationsergebnisses vorgegebener Eingangsdaten, für welche im Vorfeld keine zugehörige Konfidenz ermittelt wurde, ermittelt werden, so lässt sich diese Konfidenz durch eine Interpolation von vorbekannten Konfidenzen aus dem gespeicherten Datensatz ermitteln. Accordingly, the offline variant is based on comparable or identical data to the training variant, with the offline variant being a simplification compared to the training variant. For this it is necessary to store data pairs from input data and an associated confidence. If, during the primary use of the classifying ANN, a confidence of a classification result of given input data for which no associated confidence was previously determined is to be determined, then this confidence can be determined by interpolating previously known confidences from the stored dataset.
Es ist ersichtlich, dass hierfür das klassifizierende KNN nicht verändert werden muss und dass es deshalb möglich ist, ein beliebiges bestehendes klassifizierendes KNN durch die Offline-Variante zu erweitern. Verglichen mit der live-Variante bzw. der Trainingsvariante fällt der zusätzliche Laufzeitbedarf geringer aus, da lediglich einfache bzw. weniger Rechenoperationen erforderlich sind. It can be seen that the classifying ANN does not have to be changed for this and that it is therefore possible to expand any existing classifying ANN with the offline variant. Compared to the live variant or the training variant, the additional runtime requirement is lower, since only simple or fewer arithmetic operations are required.
Gemäß einer bevorzugten Weiterbildung der Erfindung wird die Konfidenz ferner aufgrund eines Maßes eines Unterschiedes zwischen Klassifikationsergebnissen der gestörten und nicht gestörten Eingangsdaten ermittelt, wenn sich die Klassifikationsergebnisse der gestörten von den nicht gestörten Eingangsdaten unterscheiden. Dementsprechend lässt sich neben dem Abstand eines Eingangsdatenpunktes zur nächsten Entscheidungsgrenze auch der Abstand eines Datenpunktes zu einer beliebigen Entscheidungsgrenze abschätzen. Hierfür ist es vorteilhaft, die Entfernung zu anderen Entscheidungsregionen mittels verschiedenen Rauschintensitäten zu beurteilen. Somit können gestörte Eingangsdaten auch weiter entfernte Entscheidungsregionen erreichen. According to a preferred development of the invention, the confidence is further determined on the basis of a measure of a difference between classification results of the noisy and undisturbed input data if the classification results of the noisy and non-noisy input data differ. Accordingly, in addition to the distance of an input data point to the next decision limit, the distance of a data point to any decision limit can also be estimated. For this it is advantageous to assess the distance to other decision regions using different noise intensities. In this way, disturbed input data can also reach decision regions that are further away.
Dies ist vorteilhaft, wenn zu erwarten ist, dass sich Objekte von verschiedenen Klassifikationsergebnissen ähnlich oder identisch verhalten. Beispielsweise ist es bekannt, dass klassifizierende KNN, die für Fahrerassistenzanwendungen zum Einsatz kommen, Kameradaten eines Fahrzeugs hinsichtlich von verschiedenartigen Verkehrsteilnehmern, die in den Kameradaten enthalten sind, klassifizieren. Dementsprechend klassifizieren solche Anwendungen erkannte Objekte in Lastkraftwagen, Personenkraftwagen, Fußgänger, Fahrradfahrer, Mopeds und dergleichen. Dabei kann es sich als unkritisch ergeben, wenn statt einem Fahrradfahrer, ein Elektro- Rollerfahrer, umgangssprachlich auch als E-Scooterfahrer bezeichnet, erkannt wird, da sich diese beiden Objekte in der Regel mit einer ähnlichen Geschwindigkeit bzw. mit einem ähnlichen Bewegungsverhalten fortbewegen. Dies lässt sich berücksichtigen, indem Klassifikationsergebnisse von gestörten Eingangsdaten, die sich von dem Klassifikationsergebnis der vorgegebenen Eingangsdaten unterscheiden, schwächer gewichtet werden, wenn zu erwarten ist, dass sich die Objekte der verschiedenen Klassifikationsergebnisse ähnlich oder identisch verhalten. This is advantageous when objects from different classification results are expected to behave similarly or identically. For example, it is known that classifying ANNs used for driver assistance applications classify camera data of a vehicle with regard to different types of road users contained in the camera data. Accordingly, such applications classify detected objects as trucks, cars, pedestrians, bicyclists, mopeds, and the like. It can be uncritical if, instead of a cyclist, an electric scooter rider, colloquially also referred to as an e-scooter rider, is detected, since these two objects usually move at a similar speed or with a similar movement behavior. This can be taken into account by weighting weaker classification results of noisy input data that differ from the classification result of the specified input data if it is to be expected that the objects of the different classification results behave similarly or identically.
Dabei kann optional auch vorgesehen sein, dass die Ähnlichkeit oder Unähnlichkeit von Klassifikationsergebnissen in Anbetracht der aktuell zu lösenden Fragestellung beurteilt wird. Beispielsweise kann es sinnvoll sein, das Verhalten eines Pkw auf einer Bundesstraße oder auf einer Fernstraße unter anderem aufgrund seiner Leistung zu prognostizieren, wenn vorgesehen ist, dass ein Pkw anhand einer vermuteten Leistung klassifiziert werden soll. Dementgegen ist jedoch eher nicht zu erwarten, dass sich das Verhalten eines Pkw in einem verkehrsberuhigten Bereich aufgrund dessen Leistung unterscheidet. In this case, it can optionally also be provided that the similarity or dissimilarity of classification results is assessed in view of the current problem to be solved. For example, it can make sense to predict the behavior of a car on a federal highway or on a highway based on its performance, among other things, if it is provided that a car is to be classified on the basis of an assumed performance. On the other hand, it is not to be expected that the behavior of a car in a traffic-calmed area will change due to whose performance differs.
Gemäß einer bevorzugten Weiterbildung der Erfindung weist das klassifizierende KNN eine bekannte Topologie auf. Dementsprechend wird die Konfidenz eines bekannten bzw. eigens entwickelten klassifizierenden KNN beurteilt. Dementsprechend kann die ermittelte Konfidenz einem Nutzer zugänglich gemacht werden, wodurch dieser die Zuverlässigkeit des Systems selbst beurteilen kann. According to a preferred development of the invention, the classifying ANN has a known topology. Accordingly, the confidence of a known or specially developed classifying ANN is assessed. Accordingly, the confidence determined can be made accessible to a user, as a result of which he can assess the reliability of the system himself.
Alternativ ist es auch denkbar, dass das klassifizierende KNN eine unbekannte Topologie aufweist und Konfidenzen von Klassifikationsergebnissen des klassifizierenden KNN mittels des beschriebenen Verfahrens ermittelt oder verifiziert werden soll. Alternatively, it is also conceivable that the classifying ANN has an unknown topology and confidences in classification results of the classifying ANN are to be determined or verified using the method described.
Dies ermöglicht es, beispielsweise für Hersteller von übergeordneten Systemen zugekaufte untergeordnete Systeme hinsichtlich deren Konfidenzen auch dann zu beurteilen, wenn die Topologie eines zugekauften untergeordneten Systems nicht bekannt ist. Somit ist es möglich, die Konfidenz eines klassifizierenden KNN auch dann zu bestimmen, wenn dessen interne Funktionsweise unbekannt ist und nicht analysierbar ist. This makes it possible, for example, to assess the confidence of subordinate systems purchased for manufacturers of superordinate systems even if the topology of a subordinate system that has been purchased is not known. It is thus possible to determine the confidence of a classifying ANN even if its internal functioning is unknown and cannot be analyzed.
Konfidenzen, die mittels des beschriebenen Verfahrens ermittelt wurden, werden auch als Umgebungskonfidenz bezeichnet. Konfidenzen, die auf andere Art und Weise oder auf unbekannte Art und Weise ermittelt wurden, werden auch als Herstel- lerkonfidenz bezeichnet. Confidence that was determined using the method described is also referred to as environmental confidence. Confidence that was determined in a different way or in an unknown way is also referred to as manufacturer confidence.
Alternativ und/oder zusätzlich ist es somit auch möglich, Umgebungskonfidenzen von klassifizierenden KNN mit unbekannten Topologien zu analysieren bzw. mit Herstellerkonfidenzen zu vergleichen. Alternatively and/or additionally, it is thus also possible to analyze environmental confidences of classifying ANNs with unknown topologies or to compare them with manufacturer confidences.
Ergibt sich bei diesem Vergleich eine hohe Korrelation zwischen der Herstellerkon- fidenz und der Umgebungskonfidenz, ließe sich schlussfolgern, dass die Hersteller- konfidenz ein zuverlässiges Maß für die Güte von Klassifikationsergebnissen ist. Dementsprechend ließe sich jedoch auch schlussfolgern, dass die Herstellerkon- fidenz nicht vertrauenswürdig bzw. verbesserungswürdig ist, wenn sich zwischen der Herstellerkonfidenz und der Umgebungskonfidenz eine geringe Korrelation ergibt. If this comparison shows a high correlation between the manufacturer's confidence and the environment's confidence, it could be concluded that the manufacturer's confidence is a reliable measure of the quality of classification results. Accordingly, it could also be concluded that the manufacturer confidence is not trustworthy or in need of improvement if there is a difference between the Manufacturer confidence and the environment confidence results in a low correlation.
Ein Computerprogrammprodukt gemäß einem Verfahren einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich die Beurteilung der Verlässlichkeit von Klassifikationsergebnissen künstlicher neuronaler Netzwerke. A computer program product according to a method of an embodiment of the invention performs the steps of a method as described above when the computer program product runs on a computer, in particular an in-vehicle computer. If the program in question is used on a computer, the computer program product produces an effect, namely the assessment of the reliability of classification results of artificial neural networks.
INHALTSANGABE DER ZEICHNUNGEN CONTENTS OF THE DRAWINGS
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei: The present invention is explained in more detail below with reference to the exemplary embodiments given in the schematic figures of the drawings. They show:
Figur 1 ein schematisches Blockdiagramm einer Ausführungsform der Erfindung; Figure 1 is a schematic block diagram of an embodiment of the invention;
Figur 2 eine Prinzipskizze zur Erläuterung einer Ausführungsform der Erfindung; FIG. 2 shows a basic sketch to explain an embodiment of the invention;
Figur 3 eine Prinzipskizze zur Erläuterung einer Ausführungsform der Erfindung. FIG. 3 shows a basic sketch to explain an embodiment of the invention.
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt. In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen. The accompanying drawings are provided to provide a further understanding of embodiments of the invention. They illustrate embodiments and, together with the description, serve to explain principles and concepts of the invention. Other embodiments and many of the foregoing advantages will become apparent by reference to the drawings. The elements of the drawings are not necessarily shown to scale with respect to one another. In the figures of the drawings, elements, features and components that are identical, have the same function and have the same effect--unless otherwise stated--are provided with the same reference symbols.
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN DESCRIPTION OF EXEMPLARY EMBODIMENTS
Figur 1 zeigt ein schematisches Blockdiagramm eines Verfahrens zum Ermitteln einer Konfidenz eines klassifizierenden künstlichen neuronalen Netzwerks gemäß einer Ausführungsform der Erfindung mit den Schritten S1 bis S5. In dem Schritt S1 werden Eingangsdaten, mit welchen das KNN zum Ermitteln eines Klassifikationsergebnisses für die Eingangsdaten gespeist wird, vorgegeben. FIG. 1 shows a schematic block diagram of a method for determining a confidence of a classifying artificial neural network according to an embodiment of the invention with steps S1 to S5. In step S1, input data are specified, with which the ANN is fed to determine a classification result for the input data.
In dem Schritt S2 werden gestörte Eingangsdaten vorgegeben oder generiert. In step S2, disturbed input data are specified or generated.
In dem Schritt S3 wird ein Klassifikationsergebnis für die vorgegebenen Eingangsdaten mittels des KNN ermittelt. In step S3, a classification result for the specified input data is determined using the ANN.
In dem Schritt S4 werden Klassifikationsergebnisse für die gestörten Eingangsdaten mittels des KNN ermittelt. In step S4, classification results for the noisy input data are determined using the ANN.
In dem Schritt S5 wird die Konfidenz des Klassifikationsergebnis der Eingangsdaten ermittelt, indem das Klassifikationsergebnis der Eingangsdaten, mit den Klassifikationsergebnissen der gestörten Eingangsdaten verglichen wird. In step S5, the confidence of the classification result of the input data is determined by comparing the classification result of the input data with the classification results of the noisy input data.
Figur 2 zeigt eine Prinzipskizze zur Veranschaulichung einer Ausführungsform der Erfindung. In Figur 2 ist ein Eingangsdatenraum 19, der in eine Partition 13 zerlegt ist, dargestellt. Die Partition 13 umfasst drei Teilmengen 15, 16 und 17. Die Teilmengen 15, 16 und 17 sind voneinander durch einen Teilmengenrand 1 1 , der eine Entscheidungsgrenze bildet, abgegrenzt. Innerhalb der Teilmenge 15 ist ein Nahbereich 12 des Teilmengenrandes 11 veranschaulicht dargestellt. Wenngleich der Teilmengenrand 12 nur für die Teilmenge 15 dargestellt ist, versteht es sich, dass auch die Teilmengen 16 und 17 einen vergleichbaren Teilmengenrand innerhalb dieser Teilmengen aufweisen. Die Teilmenge 15 enthält mehrere Datenpunkte 1 , die sich in- nerhalb der Teilmenge 15 mit einem Abstand zum Teilmengenrand 12 befinden. Ferner umfasst die Teilmenge 15 Datenpunkte 2, die sich innerhalb der Teilmenge 15 und innerhalb des Teilmengenrandes 12 befinden. FIG. 2 shows a basic sketch to illustrate an embodiment of the invention. An input data space 19 which is divided into a partition 13 is shown in FIG. The partition 13 comprises three subsets 15, 16 and 17. The subsets 15, 16 and 17 are delimited from one another by a subset boundary 11, which forms a decision boundary. A region 12 close to the edge 11 of the subset is shown in an illustrated manner within the subset 15 . Although the subset edge 12 is only shown for the subset 15, it goes without saying that the subsets 16 and 17 also have a comparable subset edge within these subsets. The subset 15 contains several data points 1, which are are located within subset 15 at a distance from subset edge 12 . Furthermore, the subset 15 includes data points 2 that are located within the subset 15 and within the subset edge 12 .
Die Teilmenge 16 umfasst mehrere Datenpunkte 3. Die Teilmenge 17 umfasst mehrere Datenpunkte 4. Subset 16 includes multiple data points 3. Subset 17 includes multiple data points 4.
Ein klassifizierendes KNN, welches Daten aus dem Eingangsdatenraum 19 verarbeitet, würde den Datenpunkten 1 und 2 der Teilmenge 15 beispielsweise einen Gegenstand „Haus“ zuordnen, den Datenpunkten 3 der Teilmenge 16 einen Gegenstand „Baum“ und den Datenpunkten 4 der Teilmenge 17 einen Gegenstand „Fahrzeug“ zuordnen. Befinden sich Datenpunkte in einem Nahbereich 12 an dem Teilmengenrand 11 hat deren Klassifikationsergebnis, also z.B. Haus, eine niedrige Konfidenz, da eine geringe Störung ausreicht um das klassifizierende KNN zu einem anderen Klassifikationsergebnis, z.B. Baum, zu bringen. A classifying ANN, which processes data from the input data space 19, would assign an object “house” to data points 1 and 2 of subset 15, an object “tree” to data points 3 of subset 16 and an object “tree” to data points 4 of subset 17. Assign vehicle". If there are data points in a close range 12 at the edge of the subset 11, their classification result, e.g. house, has a low confidence, since a small amount of interference is sufficient to bring the classifying ANN to a different classification result, e.g. tree.
Figur 3 veranschaulicht schematisch eine weitere Ausführungsform der Erfindung. Figur 3 zeigt eine Detailansicht der Partition 13 gemäß Figur 2. In Figur 3 ist ein Datenpunkt 2, der sich innerhalb der Teilmenge 15 und innerhalb des Nahbereichs 12 befindet, dargestellt. Der Datenpunkt 2 wurde von einer Störung 5 gestört, wodurch der Datenpunkt 2 von der Teilmenge 15 in die Teilmenge 16 verschoben wird. Dementsprechend überführt die Störung 5 den Datenpunkt 2 in den Datenpunkt 3 innerhalb der Teilmenge 16. Figure 3 schematically illustrates another embodiment of the invention. FIG. 3 shows a detailed view of the partition 13 according to FIG. 2. In FIG. Data point 2 has been disturbed by disturbance 5, which moves data point 2 from subset 15 to subset 16. Accordingly, disturbance 5 transforms data point 2 into data point 3 within subset 16.
Anschaulich, anhand des vorstehenden Beispiels erläutert, bedeutet dies, dass der vorgegebene Datenpunkt 2 z.B. als Haus klassifiziert wurde und der gestörte Datenpunkt 3 z.B. als Baum klassifiziert wurde. Eine Ausführungsform der Erfindung ermöglicht es, dem Klassifikationsergebnis „Haus“ von Datenpunkt 2 eine niedrige Konfidenz zuzuordnen, wenn die Störung 5, die Datenpunkt 2 in eine andere Entscheidungsregion, also Teilmenge der Partition, überführt hat, gering war. Bezuqszeichen -S5 Verfahrensschritte Datenpunkte Störung Teilmengenrand Partition -17 Teilmengen Eingangsdatenraum Clearly explained using the above example, this means that the specified data point 2 was classified as a house, for example, and the disturbed data point 3 was classified as a tree, for example. An embodiment of the invention makes it possible to assign a low confidence to the classification result “house” of data point 2 if the disturbance 5, which transferred data point 2 to another decision region, ie subset of the partition, was low. Numerals -S5 Method Steps Data Points Disturbance Subset Boundary Partition -17 Subsets Input Data Space

Claims

Patentansprüche patent claims
1. Verfahren zum Ermitteln einer Konfidenz eines klassifizierenden KNN mit den folgenden Schritten: 1. Method for determining a confidence of a classifying ANN with the following steps:
- Vorgeben (S1 ) von Eingangsdaten, mit welchen das KNN zum Ermitteln eines Klassifikationsergebnisses für die Eingangsdaten gespeist wird; - Specification (S1) of input data with which the ANN is fed to determine a classification result for the input data;
- Vorgeben oder Generieren (S2) von gestörten Eingangsdaten; - Specification or generation (S2) of disturbed input data;
- Ermitteln (S3) des Klassifikationsergebnis für die vorgegebenen Eingangsdaten mittels des KNN; - Determining (S3) the classification result for the specified input data using the ANN;
- Ermitteln (S4) des Klassifikationsergebnis für die gestörten Eingangsdaten mittels des KNN; - Determining (S4) the classification result for the noisy input data using the ANN;
- Ermitteln (S5) der Konfidenz des Klassifikationsergebnis der vorgegebenen Eingangsdaten, indem das Klassifikationsergebnis der vorgegebenen Eingangsdaten mit den Klassifikationsergebnissen der gestörten Eingangsdaten verglichen wird. - Determining (S5) the confidence of the classification result of the specified input data by comparing the classification result of the specified input data with the classification results of the disturbed input data.
2. Verfahren nach Anspruch 1 , wobei eine vorbestimmte Anzahl von gestörten Eingangsdaten mittels eines Rauschprozesses wenigstens einer Wahrscheinlichkeitsverteilung generiert wird. 2. The method as claimed in claim 1, wherein a predetermined number of disturbed input data is generated by means of a noise process of at least one probability distribution.
3. Verfahren nach einem der vorstehenden Ansprüche, wobei eine oder mehrere Rauschintensitäten vorgegeben werden und für jede Rauschintensität eine vorbestimmte Anzahl von gestörten Eingangsdaten mittels eines Rauschprozesses wenigstens einer Wahrscheinlichkeitsverteilung generiert wird. 3. The method according to any one of the preceding claims, wherein one or more noise intensities are specified and for each noise intensity a predetermined number of disturbed input data is generated by means of a noise process of at least one probability distribution.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei die vorgegebenen Eingangsdaten auf Sensordaten basieren, wobei die Sensordaten zum Zwecke einer primären Verwendung des KNN erfasst wurden. 4. The method according to any one of the preceding claims, wherein the predetermined input data are based on sensor data, wherein the sensor data were recorded for the purpose of a primary use of the ANN.
5. Verfahren nach einem der vorstehenden Ansprüche 1 -3, wobei die vorgegebenen Eingangsdaten eigens zur Ermittlung von Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz ausgewählt wurden. 5. The method according to any one of the preceding claims 1 -3, wherein the predetermined input data were selected specifically for determining data pairs from input data and an associated confidence.
6. Verfahren nach Anspruch 5, wobei ein weiteres KNN zur Ermittlung von Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz bereitgestellt wird, während das klassifizierende KNN mit vorgegebenen Eingangsdaten gespeist wird, die auf Sensordaten basieren, wobei die Sensordaten zum Zwecke einer primären Verwendung des KNN erfasst wurden, wobei das weitere KNN mit Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz nach Anspruch 5 trainiert wurde. 6. The method of claim 5, wherein a further ANN is provided for determining data pairs from input data and an associated confidence, while the classifying ANN is fed with predetermined input data based on sensor data, the sensor data being collected for the purpose of a primary use of the ANN were, wherein the further ANN was trained with data pairs from input data and an associated confidence according to claim 5.
7. Verfahren nach Anspruch 5, wobei die Konfidenz von Klassifikationsergebnissen von Eingangsdaten, die auf Sensordaten basieren, wobei die Sensordaten zum Zwecke einer primären Verwendung des KNN erfasst wurden, mittels einer Interpolation von mehreren Datenpaaren aus Eingangsdaten und einer zugehörigen Konfidenz nach Anspruch 5 geschätzt wird. 7. The method according to claim 5, wherein the confidence of classification results of input data based on sensor data, wherein the sensor data were recorded for the purpose of primary use of the ANN, is estimated by means of an interpolation of multiple data pairs from input data and an associated confidence according to claim 5 .
8. Verfahren nach einem der vorstehenden Ansprüche, wobei die Konfidenz ferner aufgrund eines Maßes eines Unterschiedes zwischen Klassifikationsergebnissen der gestörten und nicht gestörten Eingangsdaten ermittelt wird, wenn sich die Klassifikationsergebnisse der gestörten und nicht gestörten Eingangsdaten unterscheiden. 8. The method according to any one of the preceding claims, wherein the confidence is further determined based on a measure of a difference between classification results of the noisy and non-noisy input data if the classification results of the noisy and non-noisey input data differ.
9. Verfahren nach einem der vorstehenden Ansprüche, wobei das klassifizierende KNN eine bekannte Topologie aufweist. 9. The method according to any one of the preceding claims, wherein the classifying ANN has a known topology.
10. Verfahren nach einem der vorstehenden Ansprüche 1 -8, wobei das klassifizierende KNN eine unbekannte Topologie aufweist und Konfidenzen von Klassifikationsergebnissen des klassifizierenden KNN mittels des Verfahrens nach einem der vorstehenden Ansprüche ermittelt und/oder verifiziert wird. 10. Method according to one of the preceding claims 1 -8, wherein the classifying ANN has an unknown topology and confidences of classification results of the classifying ANN are determined and/or verified by means of the method according to one of the preceding claims.
11. Computerprogrammprodukt mit Programmcode-Mitteln, um das Verfahren nach einem der vorstehenden Ansprüche durchzuführen. 11. Computer program product with program code means to carry out the method according to any one of the preceding claims.
18 18
PCT/EP2022/050414 2021-01-12 2022-01-11 Ascertaining a confidence of an artificial neural network WO2022152683A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021200215.3A DE102021200215A1 (en) 2021-01-12 2021-01-12 Determining a confidence of an artificial neural network
DE102021200215.3 2021-01-12

Publications (1)

Publication Number Publication Date
WO2022152683A1 true WO2022152683A1 (en) 2022-07-21

Family

ID=80122332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/050414 WO2022152683A1 (en) 2021-01-12 2022-01-11 Ascertaining a confidence of an artificial neural network

Country Status (2)

Country Link
DE (1) DE102021200215A1 (en)
WO (1) WO2022152683A1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200724A1 (en) 2017-04-19 2018-10-25 Robert Bosch Gmbh Method and device for improving the robustness against "Adversarial Examples"
DE102019207575A1 (en) 2019-05-23 2020-11-26 Volkswagen Aktiengesellschaft Method for assessing a function-specific robustness of a neural network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG YUE-HUAN ET AL: "Predicted Robustness as QoS for Deep Neural Network Models", JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY, SPRINGER SINGAPORE, SINGAPORE, vol. 35, no. 5, 30 September 2020 (2020-09-30), pages 999 - 1015, XP037283507, ISSN: 1000-9000, [retrieved on 20200930], DOI: 10.1007/S11390-020-0482-6 *
YU FUXUN ET AL: "Interpreting and Evaluating Neural Network Robustness", 10 May 2019 (2019-05-10), arXiv.org, pages 1 - 7, XP055911612, Retrieved from the Internet <URL:https://arxiv.org/pdf/1905.04270.pdf> [retrieved on 20220411] *
YUVAL BAHAT ET AL: "Classification Confidence Estimation with Test-Time Data-Augmentation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 30 June 2020 (2020-06-30), XP081710747 *

Also Published As

Publication number Publication date
DE102021200215A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
DE112020003050T5 (en) ERROR COMPENSATION IN ANALOG NEURAL NETWORKS
DE102021200012A1 (en) OPTIMIZED QUANTIZATION FOR NEURAL NETWORKS WITH REDUCED RESOLUTION
DE102015201690A1 (en) METHOD AND SYSTEMS FOR ANALYZING A FINANCIAL DATA SET
WO2019020259A1 (en) Preprocessing for a classification algorithm
DE102018206108A1 (en) Generate validation data with generative contradictory networks
DE102020207449B4 (en) Method, computer program and device for processing signals
DE102021207613A1 (en) Process for quality assurance of a system
DE102013206291A1 (en) Method and apparatus for creating a non-parametric, data-based function model
WO2022152683A1 (en) Ascertaining a confidence of an artificial neural network
DE102018220608A1 (en) Machine learning system, as well as a method, a computer program and a device for creating the machine learning system
EP0978052B1 (en) Computer-aided selection of training data for neural networks
DE102021202813A1 (en) Method, device and computer program for an uncertainty assessment of an image classification
EP3748574A1 (en) Adaptive removal of different types of interference from measurement data
DE112020006904T5 (en) Inference device, update method and update program
DE102019114049A1 (en) Method for validating a driver assistance system using further generated test input data sets
DE102016200854B4 (en) Method and arithmetic unit for dimensioning a classifier
EP1114398B1 (en) Method for training a neural network, method for classifying a sequence of input parameters using a neural network, neural network and array for training a neural network
DE102022209787A1 (en) Method for training a Generative Adversarial Network
WO2022122307A1 (en) Comparing a first artificial neural network with a second artificial neural network
DE102021206183A1 (en) Method for simplifying an artificial neural network
DE102022206892A1 (en) Method for determining an optimal architecture of an artificial neural network
DE102022115101A1 (en) AUTOMATED DESIGN OF ARTIFICIAL NEURAL NETWORK ARCHITECTURES
DE102022200735A1 (en) Method and controller for training an object detector
DE102022207786A1 (en) Method for training an artificial neural network
DE102021212727A1 (en) Method for generating training data for training a machine learning algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22701306

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 22701306

Country of ref document: EP

Kind code of ref document: A1