WO2023247102A1 - Verfahren zum steuern einer robotervorrichtung - Google Patents

Verfahren zum steuern einer robotervorrichtung Download PDF

Info

Publication number
WO2023247102A1
WO2023247102A1 PCT/EP2023/062327 EP2023062327W WO2023247102A1 WO 2023247102 A1 WO2023247102 A1 WO 2023247102A1 EP 2023062327 W EP2023062327 W EP 2023062327W WO 2023247102 A1 WO2023247102 A1 WO 2023247102A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
range
machine learning
controlling
learning model
Prior art date
Application number
PCT/EP2023/062327
Other languages
English (en)
French (fr)
Inventor
Stephanie Abrecht
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023247102A1 publication Critical patent/WO2023247102A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to methods of controlling a robotic device.
  • Reference 1 The publication by D. Feng, L. Rosenbaum and K. Dietmayer, “Towards safe autonomous driving: Capture uncertainty in the deep neural network for lidar 3d vehicle detection,” CoRR, vol. abs/1804.05132, 2018, , hereinafter referred to as Reference 1, describes approaches for determining the confidence of results from neural networks.
  • a method for controlling a robot device comprising receiving sensor data, processing the sensor data by a machine learning model into a processing result for controlling the robot device, determining a first value that represents a confidence of the machine learning model that the processing result is correct is, determining a second value that represents a deviation of the sensor data from training data with which the machine learning model was trained, determining whether the first value is outside a first range that represents a predetermined minimum confidence, or the second value is outside a second Range that represents a predetermined maximum deviation and activating at least one safety measure for controlling the robot device if the first value is outside the first range or the second value is outside the second range.
  • a confidence is determined not only for the result itself, but also for this confidence (in the form of the second value) and only if both confidences are sufficiently high (i.e. a minimum confidence is met (or, equivalently, a maximum uncertainty is not exceeded) and a maximum deviation is not exceeded), the processing result is used for control without any further measures.
  • the training data can be or include the data used for the actual training, the validation data and/or the test data.
  • Embodiment 1 is a method of controlling a robot device as described above.
  • Embodiment 2 is a method according to Embodiment 1, wherein the security measure includes discarding the processing result for controlling the robot device.
  • Embodiment example 3 is a method according to embodiment example 1 or 2, wherein the security measure comprises obtaining further sensor data and controlling the robot device using the further sensor data.
  • Embodiment 4 is a method according to any one of Embodiments 1 to 3, comprising controlling the robot device using the processing result without activating the security measure if the first value is not outside a first range and the second value is not outside the second range.
  • Embodiment 5 is a method according to one of embodiments 1 to 4, where the machine learning model is a neural network.
  • a neural network enables efficient data processing for control tasks (e.g. for perception tasks for a controller). There are also effective approaches to determine a confidence that a respective processing result is correct, as well as a deviation of the input data (sensor data) from training data.
  • Embodiment 6 is a method according to one of embodiments 1 to 5, comprising training the machine learning model with the training data.
  • Embodiment 7 is a robot control device that is set up to carry out a method according to one of embodiments 1 to 6.
  • Embodiment 8 is a computer program with instructions that, when executed by a processor, cause the processor to perform a method according to any of Embodiments 1 to 6.
  • Embodiment 9 is a computer-readable medium that stores instructions that, when executed by a processor, cause the Processor carries out a method according to one of exemplary embodiments 1 to 6.
  • Figure 1 shows a vehicle
  • Figure 2 illustrates the assessment of an output of a neural network.
  • Figure 3 shows a flowchart illustrating a method for controlling a robot device.
  • Figure 1 shows a vehicle 101.
  • the vehicle 101 for example a car or truck, is provided with a vehicle control device 102.
  • the vehicle control device 102 includes data processing components, such as a processor (eg, a CPU (central processing unit)) 103 and a memory 104 for storing control software according to which the vehicle control device 102 operates and data processed by the processor 103.
  • a processor eg, a CPU (central processing unit)
  • memory 104 for storing control software according to which the vehicle control device 102 operates and data processed by the processor 103.
  • the stored control software (computer program) instructions that, when executed by the processor, cause the processor 103 to implement a neural network 107.
  • the data stored in memory 104 may include, for example, image data captured by one or more cameras 105.
  • the one or more cameras 105 can, for example, take one or more grayscale or color photos of the surroundings of the vehicle 101.
  • the vehicle control device 102 can determine based on the image data whether and which objects, e.g. fixed objects such as traffic signs or road markings or moving objects such as pedestrians, animals and other vehicles, are present in the surroundings of the vehicle 101, i.e. carry out object detection.
  • objects e.g. fixed objects such as traffic signs or road markings or moving objects such as pedestrians, animals and other vehicles.
  • the vehicle 101 can then be controlled by the vehicle control device 102 according to the results of the object detection.
  • the vehicle control device 102 may control an actuator 106 (e.g. a brake) to control the speed of the vehicle, e.g. to brake the vehicle.
  • an actuator 106 e.g. a brake
  • a false result e.g. object detection
  • a neural network such as the neural network 107
  • a highly automated system e.g. in the vehicle 101
  • reliable confidence values for the results are desirable.
  • These can then serve for a safety zone for perception: as long as the confidence for an output is high, the system can operate using the results of the neural network, but as soon as perception is uncertain, i.e. the confidence is below (or outside) a threshold range of a minimum confidence).
  • Security measures are taken, such as restricting system functions.
  • neural network evaluation based on a test data set can only be generalized to new and unseen inputs under certain assumptions. However, these assumptions are not justified in complex, open-context applications such as automated driving. However, as soon as input data comes from a different distribution than that of the training data set (including test data set), a confidence measure (i.e. a confidence of an output of the neural network) can no longer be trusted. In particular, (deep) neural networks can (incorrectly) classify non-distributive input (i.e. input outside of their test or training data set) with high confidence.
  • confidence values for the output of a neural network e.g., a position/class prediction
  • for the distribution from which inputs come are combined.
  • two uncertainty measures are combined, which together define a safe perception range. These can form the basis for assessing the application of further measures or procedures for reducing the area in which a neural network does not operate safely (particularly areas of input data with low confidences) by acting as KPIs (key performance indicators). be used for such measures or procedures. If the number of unsafe situations for which the uncertainty measures indicate that the neural network is not operating in the safe range or the values of the uncertainty measures become lower, this can be interpreted to mean that such measures or procedures successfully increase the reliability of the neural network and thus the Increase the security of the control device that uses the neural network.
  • KPIs key performance indicators
  • the neural network is unsafe on the test data set, additional measures may be taken to improve performance and security in light of security concerns related to the neural network. After applying these measures, the confidence of the neural network should be improved (i.e. the confidence should be higher (i.e. the uncertainty lower) or fewer cases with low, high uncertainty should occur).
  • Figure 2 illustrates the assessment of an output 202 (i.e. a result corresponding to a specific task, e.g. object classification) of a neural network 201 for a specific input 203.
  • the input is, for example, a camera image or other sensor data and the output is, for example, a vector of software Values for a classification, an image that represents a segmentation of the input image, the position of bounding boxes, etc., depending on the task of the neural network 201.
  • the neural network 201 estimates the position of an object.
  • the output 202 is therefore a position estimate (e.g. in the form of specifying a bounding box or marking the object in a camera image).
  • the values of two uncertainty measures are calculated for the neural network 201:
  • the value u ⁇ of an uncertainty measure for the position estimation and the value U2 of a “distributional” uncertainty measure ensures that the input 203 is in the area of a data set with which the neural network 201 was trained. If the uncertainty according to the value U2 is high, then the input is out-of-distribution with respect to a distribution of training input data, otherwise it is in-distribution.
  • the neural network 201 is certain about its position estimate. If the distribution uncertainty is low according to the value U2, this (low) position uncertainty is trusted and safety measures (restriction of functions, recourse to redundant information or control devices, etc.) are only taken if the position uncertainty u ⁇ exceeds a threshold value YI.
  • the neural network 201 (and correspondingly the control device that uses it, e.g. the control device 102) no longer works in the area for which it was trained (and in particular successfully tested) and the value u ⁇ of the uncertainty measure for position estimation can no longer be trusted.
  • Security measures are then taken (by the respective control device, which carries out a corresponding comparison of the values of the uncertainty measures with the threshold values).
  • a security measure may be for the control device to rely on sensor data from a different sensor (than the one containing the input 203) or to issue a warning signal (e.g. to a higher-level control or planning device or to alert a user, such as the driver in the case of a vehicle or performs a safety maneuver or the vehicle stops). The control device therefore determines whether
  • Ui > 1 or u 2 > 72 is fulfilled. If this is the case, the control device concludes (ie detects) that the neural network 201 is working outside its safe area and takes appropriate (security) measures. If the control device determines that both inequalities are not satisfied, it concludes that the neural network 201 is operating in its safe area and operates normally (ie, for example, does not take the security measures and uses the result 202 of the neural network 201 for controlling the respective robot device).
  • the determination whether U'2 72 is met can be viewed as detection that the input 203 of the neural network 201 is outside the range of input data for which it was trained. This means, for example, that the robot device is used outside of the environmental conditions for which it (or its control device, which implements the neural network) was trained.
  • This determination in particular the value U2 of the distribution uncertainty, can be determined using epistemic uncertainty methods, e.g. using ensembles or multi-head approaches.
  • the distribution uncertainty can be determined based on reconstruction: For example, autoencoders can be used to determine whether an image comes from the same domain as the training data set. An autoencoder compresses the images from the training data set and learns to reconstruct them as best as possible. If an image comes from a different domain, the reconstruction will have a larger error.
  • a corresponding term can also be included in the loss function of a neural network.
  • the uncertainty for the position can be determined using confidence calibration or aleatory uncertainty approaches. Examples of such approaches in the context of autonomous driving are described in Reference 1.
  • the respective value itself can be viewed as uncertainty or confidence for the result.
  • a Bayesian neural network can also be used, for example, to obtain uncertainty information for an output.
  • the respective approach for determining the uncertainties can be chosen depending on the application, in particular so that the control device Real-time capable when required (i.e. results can be determined from sensor data quickly enough).
  • the values of the thresholds YI and Y2 can be selected depending on the respective application. They can be set based on expert knowledge or learned through a statistical procedure (which may use additional data).
  • Figure 3 shows a flowchart 300 which represents a method for controlling a robot device.
  • sensor data is received.
  • the sensor data is processed by a machine learning model into a processing result for controlling the robot device.
  • a first value representing a confidence of the machine learning model that the processing result is correct is determined.
  • a second value which represents a deviation of the sensor data from training data with which the machine learning model was trained, is determined.
  • At least one security measure for controlling the robot device is activated if the first value is outside the first range or the second value is outside the second range. It should be noted that the order shown in Figure 3 can also be changed at least partially, for example 303 and 304 can also be swapped or done simultaneously. It can also be determined whether the first value is outside the first range and only if not the second value can be determined.
  • the “or” link is not to be understood as an exclusive or, ie the condition is fulfilled if the first value is outside the first range, the second value is outside the second range or both are the case.
  • the first range and the second range are defined, for example, by corresponding threshold values, as in the examples above.
  • the method of Figure 3 can be carried out by one or more computers with one or more data processing units.
  • data processing unit can be understood as any type of entity that enables the processing of data or signals.
  • the data or signals may, for example, be treated according to at least one (i.e. one or more than one) specific function performed by the data processing unit.
  • a data processing unit may be an analog circuit, a digital circuit, a logic circuit, a microprocessor, a microcontroller, a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processor (DSP), a programmable gate array integrated circuit (FPGA), or any combination include it or be formed from it.
  • Any other way to implement the respective functions described in more detail herein may also be understood as a data processing unit or logic circuitry.
  • One or more of the method steps described in detail here can be carried out (e.g. implemented) by a data processing unit through one or more special functions that are carried out by the data processing unit.
  • the machine learning model implements a perception function by processing sensor data, according to various embodiments. Between the processing to the perception that the Processing by the machine learning model includes and which can also include sensor fusion and redundant paths and the actual control, ie the output of control signals, for example to actuators of the respective robot devices, can also include further processing and functions such as processing by a planner.
  • Various embodiments may include sensor data from various sensors such as. B. Receive and use video, radar, LiDAR, ultrasound, motion, thermal imaging, etc. to provide a perception function using a neural network. Data from several different sensors can also be used using sensor fusion.
  • the processing of the respective sensor data by the neural network may include classifying the sensor data or performing semantic segmentation on the sensor data, for example to detect the presence of objects (in the environment in which the sensor data was obtained).
  • Embodiments may be used to control a robotic device, i.e., a control signal for a robotic device may be generated using the output of the neural network.
  • the term “robotic device” can be understood as referring to any technical system (having a mechanical part whose movement is controlled), such as: B. a computer-controlled machine, a vehicle, a household appliance, a power tool, a manufacturing machine, a personal assistant or an access control system. A control rule for the technical system is learned and the technical system is then controlled accordingly.
  • the approach described above can be used in particular in highly automated systems with neural networks that are safety-critical.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Steuern einer Robotervorrichtung beschrieben, aufweisend Empfangen von Sensordaten, Verarbeiten der Sensordaten durch ein maschinelles Lernmodell zu einem Verarbeitungsergebnis für eine Steuerung der Robotervorrichtung, Ermitteln einer ersten Werts, der eine Konfidenz des maschinellen Lernmodells repräsentiert, dass das Verarbeitungsergebnis korrekt ist, Ermitteln eines zweiten Werts, der eine Abweichung der Sensordaten von Trainingsdaten, mittels denen das maschinelle Lernmodell trainiert wurde, repräsentiert, Ermitteln, ob der erste Wert außerhalb eines ersten Bereichs liegt, der eine vorgegebene Mindestkonfidenz repräsentiert, oder der zweite Wert außerhalb eines zweiten Bereichs liegt, der eine vorgegebene Höchstabweichung repräsentiert und Aktivieren mindestens einer Sicherheitsmaßnahme für die Steuerung der Robotervorrichtung, falls der erste Wert außerhalb des ersten Bereichs liegt oder der zweite Wert außerhalb des zweiten Bereichs liegt.

Description

Beschreibung
Titel
Verfahren zum Steuern einer Robotervorrichtung
Stand der Technik
Die vorliegende Offenbarung bezieht sich auf Verfahren zum Steuern einer Robotervorrichtung.
Autonome oder hochautomatisierte Systeme wie Robotervorrichtungen, z.B. Drohnen oder autonome Fahrzeuge, benötigen Wahrnehmungsfähigkeiten für die Umgebung, in der sie arbeiten bzw. sich bewegen. Ein typischer Ansatz hierfür ist die Verwendung von Algorithmen des maschinellen Lernens (ML) wie Objektdetektion oder semantische Segmentierung. Insbesondere bei tiefen neuronale Netzwerke (DNNs) in sicherheitskritischen Anwendungen gibt es jedoch Sicherheitsbedenken: ML-Algorithmen und damit auch DNNs basieren auf statistischen Methoden, bei denen ein Modell (wie ein DNN) lernt, aus einem gegebenen Datensatz während des Trainingsprozesses zu extrahieren. Da das Modell selbstlernend ist, sind bestimmte Entscheidungen des Modells bei der Extraktion, d.h. eines von dem Modell ausgegebenen (Wahrnehmungs)- Ergebnisses, nicht intuitiv zu verstehen. Sobald falsche Entscheidungen für ein Ergebnis getroffen werden, entstehen Risiken für die Sicherheit des Systems, für das es eingesetzt wird. Daher ist es wünschenswert, beurteilen zu können, wie vertrauenswürdig ein aktuelles Ergebnis ist. Bei einer unsicheren Vorhersage kann das System Funktionen einschränken oder sich auf redundante Wahrnehmungs- oder Steuerungsfunktionen stützen.
Die Veröffentlichung von D. Feng, L. Rosenbaum und K. Dietmayer, “Towards safe autonomous driving: Capture uncertainty in the deep neural network for lidar 3d vehicle detection,” CoRR, vol. abs/1804.05132, 2018, , im Folgenden als Referenz 1 bezeichnet, beschreibt Ansätze zur Ermittlung der Konfidenz von Ergebnissen von neuronalen Netzwerken.
Jedoch kann der Fall auftreten, dass auch einer solchen Konfidenz nicht vertraut werden kann, nämlich in dem Fall, dass die Eingabe, auf der das Ergebnis und auch seine Konfidenz basiert, stark unterschiedlich ist von den Trainingsdaten (insbesondere der Testdaten), mit denen das neuronale Netzwerk trainiert wurde.
Es sind deshalb Ansätze wünschenswert, die bei der Steuerung einer Robotervorrichtung zuverlässig Information darüber einbeziehen, ob Ergebnissen eines neuronalen Netzwerks (oder allgemein eines maschinellen Lernmodells), die für die Steuerung verwendet werden sollen, vertraut werden kann.
Offenbarung der Erfindung
Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Steuern einer Robotervorrichtung bereitgestellt, aufweisend Empfangen von Sensordaten, Verarbeiten der Sensordaten durch ein maschinelles Lernmodell zu einem Verarbeitungsergebnis für eine Steuerung der Robotervorrichtung, Ermitteln einer ersten Werts, der eine Konfidenz des maschinellen Lernmodells repräsentiert, dass das Verarbeitungsergebnis korrekt ist, Ermitteln eines zweiten Werts, der eine Abweichung der Sensordaten von Trainingsdaten, mittels denen das maschinelle Lernmodell trainiert wurde, repräsentiert, Ermitteln, ob der erste Wert außerhalb eines ersten Bereichs liegt, der eine vorgegebene Mindestkonfidenz repräsentiert, oder der zweite Wert außerhalb eines zweiten Bereichs liegt, der eine vorgegebene Höchstabweichung repräsentiert und Aktivieren mindestens einer Sicherheitsmaßnahme für die Steuerung der Robotervorrichtung, falls der erste Wert außerhalb des ersten Bereichs liegt oder der zweite Wert außerhalb des zweiten Bereichs liegt.
Durch die Prüfung sowohl eines Wertes, der eine Konfidenz des Verarbeitungsergebnisses repräsentiert, und eines Wertes der repräsentiert, wie stark die jeweiligen Eingabedaten für das maschinelle Lernmodell von seinen Trainingsdaten abweichen, wird gewährleistet, dass wenn für ein Verarbeitungsergebnis eine hohe Konfidenz ermittelt wird, z.B. das maschinelle Lernmodell eine hohe Konfidenz ausgibt, auch sichergestellt wird, dass das maschinelle Lernmodell in einem Bereich arbeitet, für den dieser Konfidenz vertraut werden kann. In anderen Worten wird also nicht nur eine Konfidenz für das Ergebnis selbst, sondern auch für diese Konfidenz (in Form des zweiten Wertes) ermittelt und nur wenn beide Konfidenzen ausreichend hoch sind (d.h. eine Mindestkonfidenz erfüllt ist (oder äquivalent eine Höchstunsicherheit nicht überschritten wird) und eine Höchstabweichung nicht überschritten wird), wird das Verarbeitungsergebnis ohne weitere Maßnahmen für die Steuerung verwendet.
Die Trainingsdaten können die für das eigentliche Training verwendeten Daten, die Validierungsdaten und/oder die Testdaten sein oder beinhalten.
Im Folgenden werden verschiedene Ausführungsbeispiele angegeben.
Ausführungsbeispiel 1 ist ein Verfahren zum Steuern einer Robotervorrichtung, wie oben beschrieben.
Ausführungsbeispiel 2 ist ein Verfahren nach Ausführungsbeispiel 1, wobei die Sicherheitsmaßnahme aufweist, dass das Verarbeitungsergebnis für die Steuerung der Robotervorrichtung verworfen wird.
Damit wird vermieden, dass Ergebnisse des neuronalen Netzwerks, für die die Annahme nicht berechtigt ist, dass sie zuverlässig sind, die Steuerung der Robotervorrichtung negativ beeinflussen und z.B. zu Gefährdungen führen.
Ausführungsbeispiel 3 ist ein Verfahren nach Ausführungsbeispiel 1 oder 2, wobei die Sicherheitsmaßnahme aufweist, dass weitere Sensordaten beschafft werden und die Robotervorrichtung unter Verwendung der weiteren Sensordaten gesteuert wird.
Damit kann bei Sensordaten, die kein verlässliches Verarbeitungsergebnis des neuronalen Netzwerks ermöglichen, eine sichere Steuerung erreicht werden, indem die Sensordaten ergänzt werden. Ausführungsbeispiel 4 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 3, aufweisend Steuern der Robotervorrichtung unter Verwendung des Verarbeitungsergebnisses ohne die Aktivieren der Sicherheitsmaßnahme, falls der erste Wert nicht außerhalb eines ersten Bereichs liegt, und der zweite Wert nicht außerhalb des zweiten Bereichs liegt.
Damit wird eine effiziente Steuerung erreicht, sofern sowohl die Konfidenz in das Verarbeitungsergebnis ausreichend hoch ist und die Eingabe des maschinellen Lernmodells sich innerhalb des Bereichs befindet, für den das maschinelle Lernmodell trainiert wurde.
Ausführungsbeispiel 5 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 4, wobei das maschinelle Lernmodell ein neuronales Netzwerk ist.
Ein neuronales Netzwerk ermöglicht eine effiziente Datenverarbeitung für Steuerungsaufgaben (z.B. für Wahrnehmungsaufgaben für eine Steuerung). Außerdem gibt es dafür effektive Ansätze, um eine Konfidenz dafür, das ein jeweiliges Verarbeitungsergebnis korrekt ist, sowie eine Abweichung der Eingabedaten (Sensordaten) von Trainingsdaten zu ermitteln.
Ausführungsbeispiel 6 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 5, aufweisend Trainieren des maschinellen Lernmodells mit den Trainingsdaten.
Ausführungsbeispiel 7 ist eine Robotersteuereinrichtung, die eingerichtet ist, ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchzuführen.
Ausführungsbeispiel 8 ist ein Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchführt.
Ausführungsbeispiel 9 ist ein computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6 durchführt.
In den Zeichnungen beziehen sich ähnliche Bezugszeichen im Allgemeinen auf dieselben Teile in den ganzen verschiedenen Ansichten. Die Zeichnungen sind nicht notwendigerweise maßstäblich, wobei die Betonung stattdessen im Allgemeinen auf die Darstellung der Prinzipien der Erfindung gelegt wird. In der folgenden Beschreibung werden verschiedene Aspekte mit Bezug auf die folgenden Zeichnungen beschrieben.
Figur 1 zeigt ein Fahrzeug.
Figur 2 veranschaulicht die Beurteilung einer Ausgabe eines neuronalen Netzwerks.
Figur 3 zeigt ein Ablaufdiagramm, das ein Verfahren zum Steuern einer Robotervorrichtung darstellt.
Die folgende ausführliche Beschreibung bezieht sich auf die begleitenden Zeichnungen, die zur Erläuterung spezielle Details und Aspekte dieser Offenbarung zeigen, in denen die Erfindung ausgeführt werden kann. Andere Aspekte können verwendet werden und strukturelle, logische und elektrische Änderungen können durchgeführt werden, ohne vom Schutzbereich der Erfindung abzuweichen. Die verschiedenen Aspekte dieser Offenbarung schließen sich nicht notwendigerweise gegenseitig aus, da einige Aspekte dieser Offenbarung mit einem oder mehreren anderen Aspekten dieser Offenbarung kombiniert werden können, um neue Aspekte zu bilden.
Im Folgenden werden verschiedene Beispiele genauer beschrieben.
Figur 1 zeigt ein Fahrzeug 101.
Das Fahrzeug 101, beispielsweise ein PKW oder LKW, ist mit einer Fahrzeugsteuereinrichtung 102 versehen.
Die Fahrzeugsteuereinrichtung 102 weist Datenverarbeitungskomponenten auf, z.B. einen Prozessor (z.B. eine CPU (Zentraleinheit)) 103 und einen Speicher 104 zum Speichern von Steuersoftware, gemäß der die Fahrzeugsteuereinrichtung 102 arbeitet, und Daten, die von dem Prozessor 103 verarbeitet werden.
Beispielsweise weist die gespeicherte Steuerungssoftware (Computerprogramm)-Anweisungen auf, die, wenn der Prozessor sie ausgeführt, bewirken, dass der Prozessor 103 ein neuronales Netzwerks 107 implementiert.
Die im Speicher 104 gespeicherten Daten können beispielsweise Bilddaten beinhalten, die von einer oder mehreren Kameras 105 erfasst werden. Die eine oder mehreren Kameras 105 können beispielsweise ein oder mehrere Graustufen- oder Farbfotos der Umgebung des Fahrzeugs 101 aufnehmen.
Die Fahrzeugsteuereinrichtung 102 kann basierend auf den Bilddaten ermitteln, ob und welche Objekte, z.B. feste Objekte wie Verkehrszeichen oder Straßenmarkierungen oder bewegliche Objekte wie Fußgänger, Tiere und andere Fahrzeuge in der Umgebung des Fahrzeugs 101 vorhanden sind, d.h. eine Objektdetektion durchführen.
Das Fahrzeug 101 kann dann von der Fahrzeugsteuereinrichtung 102 gemäß den Ergebnissen der Objektdetektion gesteuert werden. So kann die Fahrzeugsteuereinrichtung 102 beispielsweise einen Aktuator 106 (z.B. eine Bremse) steuern, um die Geschwindigkeit des Fahrzeugs zu steuern, z.B. um das Fahrzeug zu bremsen.
Ein falsches Ergebnis (z.B. Objektdetektion) eines neuronalen Netzwerks, wie das neuronale Netzwerk 107, das zur Wahrnehmung in einem hochautomatisierten System eingesetzt wird (z.B. im Fahrzeug 101), kann fatale Folgen haben. Daher sind zuverlässige Konfidenzwerte für die Ergebnisse wünschenswert. Diese können dann für eine Sicherheitszone für die Wahrnehmung dienen: Solange die Konfidenz für eine Ausgabe hoch ist, kann das System unter Verwendung der Ergebnisse des neuronalen Netzwerks arbeiten, aber sobald die Wahrnehmung unsicher ist, d.h. die Konfidenz unter einer Schwelle (bzw. außerhalb des Bereichs einer Mindestkonfidenz) ist, können Sicherheitsmaßnahmen ergriffen werden wie z.B. Funktionen des Systems eingeschränkt werden.
Eine grundlegende Schwäche von Ausgaben (d.h. Ergebnissen) neuronaler Netzwerke und deren Zuverlässigkeit ist, dass die Bewertung des neuronalen Netzwerks auf der Grundlage eines Test- Datensatzes nur unter bestimmten Annahmen auf neue und ungesehene Eingaben verallgemeinert werden kann. Diese Annahmen sind jedoch bei komplexen Anwendungen mit offenem Kontext wie dem automatisierten Fahren nicht berechtigt. Sobald jedoch Eingabedaten aus einer anderen Verteilung als der des Trainings- Datensatzes (inklusive Test- Datensatz) stammen, kann einem Konfidenzmaß (d.h. einer Konfidenz einer Ausgabe des neuronalen Netzwerks) nicht mehr vertraut werden. So können (tiefe) neuronale Netzwerke insbesondere eine verteilungsfremde Eingabe (d.h. Eingaben außerhalb ihres Test- oder Trainingsdatensatzes) mit hoher Konfidenz (falsch) klassifizieren.
Ebenso können, auch wenn Konfidenzwerte für die Position eines Objekts berechnet werden können und die Kalibrierung des neuronalen Netzwerks auf dem Testdatensatz (d.h. für Eingaben innerhalb der Eingabedatenverteilung des Testdatensatzes) hinreichend gut ist, die Konfidenzwert in der praktischen Anwendung nicht ohne Risiko verwendet werden, da die Konfidenzwerte für Daten außerhalb der Eingabedatenverteilung des Testdatensatzes nicht mehr unbedingt zuverlässig sind.
Deshalb ist es gemäß verschiedenen Ausführungsformen vorgesehen, dass Konfidenzwerte für die Ausgabe eines neuronalen Netzwerks (z.B. eine Positions-/Klassenvorhersage) und für die Verteilung, aus der Eingaben stammen, kombiniert werden.
Es werden gemäß verschiedenen Ausführungsformen zwei Unsicherheitsmaße kombiniert, die gemeinsam einen sicheren Wahrnehmungsbereich definieren. Die können die Basis zur Beurteilung der Anwendung von weiteren Maßnahmen oder Verfahren für die Verkleinerung des Bereichs, in dem ein neuronales Netzwerk nicht sicher arbeitet (insbesondere Bereiche von Eingabedaten mit niedrigen Konfidenzen), bilden, indem sie als KPIs (key performance indicators) für solche Maßnahmen oder Verfahren verwendet werden. Wenn die Anzahl der unsicheren Situationen, für die die Unsicherheitsmaß anzeigen, dass das neuronale Netzwerk nicht im sicheren Bereich arbeitet oder die Werte der Unsicherheitsmaße niedriger wird, kann dies so interpretiert werden, dass solche Maßnahmen oder Verfahren erfolgreich die Zuverlässigkeit des neuronalen Netzwerks und damit die Sicherheit der Steuereinrichtung, die das neuronale Netzwerk einsetzt, erhöhen.
Wenn das neuronale Netzwerk auf dem Testdatensatz unsicher ist, können zusätzliche Maßnahmen vorgenommen werden, um die Leistungsfähigkeit und Sicherheit in Hinblick auf Sicherheitsbedenken in Bezug auf das neuronale Netzwerk zu verbessern. Nach Anwendung dieser Maßnahmen sollte entsprechend die Konfidenz des neuronalen Netzwerks verbessert sein (d.h. die Konfidenz sollte höher sein (d.h. die Unsicherheit geringer) bzw. weniger Fälle mit geringen hoher Unsicherheit sollten auftreten).
Figur 2 veranschaulicht die Beurteilung einer Ausgabe 202 (d.h. eines Ergebnisses entsprechend einer bestimmten Aufgabe, z.B. eine Objektklassifizierung) eines neuronalen Netzwerks 201 für eine bestimmte Eingabe 203. Die Eingabe ist beispielsweise ein Kamerabild oder andere Sensordaten und die Ausgabe ist beispielsweise ein Vektor von Soft-Values für eine Klassifizierung, ein Bild, das eine Segmentierung des Eingabebilds darstellt, die Position von Bounding-Boxen etc., je nach Aufgabe des neuronalen Netzwerks 201.
Im Folgenden wir angenommen, das das neuronale Netzwerk 201 die Position eines Objekts schätzt. Die Ausgabe 202 ist also eine Positionsschätzung (z.B. in Form der Angabe einer Bounding-Box oder der Markierung des Objekts in einem Kamerabild).
Wie oben erwähnt, werden für das neuronale Netzwerk 201 die Werte zwei Unsicherheitsmaßen (oder äquivalent Konfidenzmaßen, dann tritt im Folgenden an Stelle von „Überschreiten eines Schwellwerts“ „Unterschreiten eines Schwellwerts“ etc.) berechnet: Der Wert u^ eines Unsicherheitsmaßes für die Positionsschätzung und der Wert U2 eines „Verteilungs“-Unsicherheitsmaßes dafür, dass die Eingabe 203 im Bereich eines Datensatzes liegt, mittels dem das neuronale Netzwerk 201 trainiert wurde. Ist die Unsicherheit gemäß dem Wert U2 hoch, so ist die Eingabe verteilungsfremd in Bezug auf eine Verteilung von Trainings- Eingabedaten (engl. out-of-distribution), sonst verteilungstreu (engl. in- distribution).
Ist die Positionsunsicherheit u^ niedrig, so ist das neuronale Netzwerk 201 sich sicher bzgl. seiner Positionsschätzung. Ist die Verteilungs-Unsicherheit gemäß dem Wert U2 niedrig, so wird dieser (niedrigen) Positionsunsicherheit vertraut und Sicherheitsmaßnahmen (Einschränkung von Funktionen, Rückgriff auf redundante Informationen oder Steuerungseinrichtungen etc.) werden nur ergriffen, wenn die Positionsunsicherheit u^ einen Schwellwert YI überschreitet.
Überschreitet der Wert U2 des Verteilungs-Unsicherheitsmaßes jedoch einen Schwellwert Y2> so arbeitet das neuronale Netzwerk 201 (und entsprechend die Steuereinrichtung, die es verwendet, z.B. die Steuereinrichtung 102) nicht mehr in dem Bereich, für den es trainiert (und insbesondere erfolgreich getestet) wurde und dem Wert u^ des Unsicherheitsmaßes für die Positionsschätzung kann nicht mehr vertraut werden. Es werden dann (von der jeweiligen Steuereinrichtung, die einen entsprechenden Vergleich der Werte der Unsicherheitsmaße mit den Schwellwerten durchführt) Sicherheitsmaßnahmen ergriffen. Eine Sicherheitsmaßnahme kann es sein, dass die Steuereinrichtung sich auf Sensordaten von einem anderen Sensor stützt (als die, die die Eingabe 203 enthält) oder ein Warnsignal ausgibt (z.B. an eine übergeordnete Steuerungsoder Planungseinrichtung oder einen Benutzer alarmiert wie z.B. den Fahrer im Falle eines Fahrzeugs oder ein Sicherheitsmanöver ausführt oder das Fahrzeug stoppt). Die Steuereinrichtung ermittelt also, ob
Ui > 1 oder u2 > 72 erfüllt ist. Ist dies der Fall, folgert die Steuereinrichtung (d.h. detektiert damit), dass das neuronale Netzwerk 201 außerhalb seines sicheren Bereichs arbeitet und ergreift entsprechende (Sicherheits-)maßnahmen. Stellt die Steuereinrichtung fest, dass beide Ungleichungen nicht erfüllt sind, so folgert sie, dass das neuronale Netzwerk 201 in seinem sicheren Bereich arbeitet und arbeitet normal (d.h. ergreift z.B. die Sicherheitsmaßnahmen nicht und verwendet das Ergebnis 202 des neuronalen Netzwerks 201 für die Steuerung der jeweiligen Robotervorrichtung).
Die Ermittlung, ob U‘2
Figure imgf000012_0001
72 erfüllt ist, kann als Detektion dafür angesehen werden, dass die Eingabe 203 des neuronalen Netzwerks 201 außerhalb des Bereichs von Eingabedaten liegt, für den es trainiert wurde. Dies bedeutet z.B. , dass entsprechend die Robotervorrichtung außerhalb von Umgebungsbedingungen eingesetzt wird, für den sie (bzw. ihre Steuervorrichtung, die das neuronale Netzwerk implementiert) trainiert wurde.
Diese Ermittlung, insbesondere der Wert U2 der Verteilungs-Unsicherheit, kann unter Verwendung von Verfahren für epistemische Unsicherheit ermittelt werden, z.B. unter Verwendung von Ensembles oder Multi- Head- Ansätzen.
Die Verteilungs-Unsicherheit kann Rekonstruktions-basiert ermittelt werden: Beispielsweise kann mit Hilfe von Autoencodern ermittelt werden, ob ein Bild aus derselben Domäne kommt wie der Trainingsdatensatz. Ein Autoencoder komprimiert die Bilder des Trainingsdatensatzes und lernt sie wieder möglichst gut zu rekonstruieren. Kommt ein Bild aus einer anderen Domäne, dann hat die Rekonstruktion einen größeren Fehler.
Zur Anomaliedetektion kann auch ein entsprechender Term in die Verlustfunktion eines neuronalen Netzwerks aufgenommen werden.
Die Unsicherheit für die Position (oder eines jeweiligen anderen Ergebnisses des neuronalen Netzwerks) kann durch Konfidenzkalibrierung oder aleatorische Unsicherheitsansätze ermittelt werden. Beispiele für solche Ansätze im Zusammenhang mit autonomen Fahren sind in Referenz 1 beschrieben. Bei einer Klassifizierung mittels Soft-Values kann der jeweilige Wert selbst als Unsicherheit bzw. Konfidenz für das Ergebnis angesehen werden. Auch ein Bayessches neuronales Netzwerk kann z.B. dazu verwendet werden, für eine Ausgabe eine Unsicherheitsinformation zu erhalten.
Der jeweilige Ansatz zur Bestimmung der Unsicherheiten kann je nach Anwendung gewählt werden insbesondere so, dass die Steuereinrichtung Echtzeit-fähig ist, wenn dies erforderlich ist (d.h. Ergebnisse aus Sensordaten schnell genug ermittelt werden können).
Die Werte der Schwellwerte YI und Y2 können abhängig von der jeweiligen Anwendung gewählt werden. Sie können auf der Grundlage von Expertenwissen gesetzt werden oder durch eine statistisches Verfahren (das ggf. zusätzliche Daten verwendet) gelernt werden.
Zusammengefasst wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt, wie in Figur 3 dargestellt.
Figur 3 zeigt ein Ablaufdiagramm 300, das ein Verfahren zum Steuern einer Robotervorrichtung darstellt.
In 301 werden Sensordaten empfangen.
In 302 werden die Sensordaten durch ein maschinelles Lernmodell zu einem Verarbeitungsergebnis für eine Steuerung der Robotervorrichtung verarbeitet.
In 303 wird ein erster Wert, der eine Konfidenz des maschinellen Lernmodells repräsentiert, dass das Verarbeitungsergebnis korrekt ist, ermittelt.
In 304 wird ein zweiter Wert, der eine Abweichung der Sensordaten von Trainingsdaten, mittels denen das maschinelle Lernmodell trainiert wurde, repräsentiert, ermittelt.
In 305 wird ermittelt, ob der erste Wert außerhalb eines ersten Bereichs liegt, der eine vorgegebene Mindestkonfidenz repräsentiert, oder der zweite Wert außerhalb eines zweiten Bereichs liegt, der eine vorgegebene Höchstabweichung repräsentiert.
In 306 wird mindestens eine Sicherheitsmaßnahme für die Steuerung der Robotervorrichtung aktiviert, falls der erste Wert außerhalb des ersten Bereichs liegt oder der zweite Wert außerhalb des zweiten Bereichs liegt. Es sollte beachtet werden, dass die in Figur 3 dargestellte Reihenfolge auch zumindest teilweise geändert werden kann, so können z.B. 303 und 304 auch vertauscht oder gleichzeitig erfolgen. Auch kann schon einmal ermittelt werden, ob der erste Wert außerhalb des ersten Bereichs liegt und nur falls nicht der zweite Wert ermittelt werden. Die „oder“-Verknüpfung ist nicht als exklusives oder zu verstehen, d.h. die Bedingung ist erfüllt, falls der erste Werte außerhalb des ersten Bereichs liegt, der zweite Wert außerhalb des zweiten Bereichs liegt oder beides der Fall ist.
Der erste Bereich und der zweite Bereich sind wie in den obigen Beispielen beispielsweise durch entsprechende Schwellwerte festgelegt.
Das Verfahren von Figur 3 kann durch einen oder mehrere Computer mit einer oder mehreren Datenverarbeitungseinheiten durchgeführt werden. Der Begriff „Datenverarbeitungseinheit“ kann als irgendein Typ von Entität verstanden werden, die die Verarbeitung von Daten oder Signalen ermöglicht. Die Daten oder Signale können beispielsweise gemäß mindestens einer (d.h. einer oder mehr als einer) speziellen Funktion behandelt werden, die durch die Datenverarbeitungseinheit durchgeführt wird. Eine Datenverarbeitungseinheit kann eine analoge Schaltung, eine digitale Schaltung, eine Logikschaltung, einen Mikroprozessor, einen Mikrocontroller, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Digitalsignalprozessor (DSP), eine integrierte Schaltung einer programmierbaren Gatteranordnung (FPGA) oder irgendeine Kombination davon umfassen oder aus dieser ausgebildet sein. Irgendeine andere Weise zum Implementieren der jeweiligen Funktionen, die hierin genauer beschrieben werden, kann auch als Datenverarbeitungseinheit oder Logikschaltungsanordnung verstanden werden. Es können ein oder mehrere der im Einzelnen hier beschriebenen Verfahrensschritte durch eine Datenverarbeitungseinheit durch eine oder mehrere spezielle Funktionen ausgeführt (z. B. implementiert) werden, die durch die Datenverarbeitungseinheit durchgeführt werden.
Das maschinelle Lernmodell implementiert gemäß verschiedenen Ausführungsformen eine Wahrnehmungsfunktion durch Verarbeitung von Sensordaten. Zwischen der Verarbeitung zur Wahrnehmung, die die Verarbeitung durch das maschinelle Lernmodell beinhaltet und die auch Sensorfusion und redundante Pfade beinhalten kann und der eigentlichen Steuerung, d.h. der Ausgabe von Steuersignalen, z.B. an Aktuatoren der jeweiligen Robotervorrichtungen können noch weitere Verarbeitungen und Funktionen wie z.B. die Verarbeitung durch einen Planer.
Verschiedene Ausführungsformen können Sensordaten von verschiedenen Sensoren wie z. B. Video, Radar, LiDAR, Ultraschall, Bewegung, Wärmeabbildung usw. empfangen und verwenden, um eine Wahrnehmungsfunktion unter Verwendung eines neuronalen Netzwerks bereitzustellen. Es können auch Daten von mehreren verschiedenen Sensoren mittels Sensorfusion verwendet werden. Die Verarbeitung der jeweiligen Sensordaten durch das neuronale Netzwerks kann die Klassifikation der Sensordaten oder das Durchführen einer semantischen Segmentierung an den Sensordaten umfassen, beispielsweise um die Anwesenheit von Objekten (in der Umgebung, in der die Sensordaten erhalten wurden) zu detektieren.
Ausführungsformen können zum Steuern einer Robotervorrichtung verwendet werden, d.h. unter Verwendung der Ausgabe des neuronalen Netzwerks kann ein Steuersignals für eine Robotervorrichtung erzeugt werden. Der Begriff „Robotervorrichtung“ kann als sich auf irgendein technisches System (mit einem mechanischen Teil, dessen Bewegung gesteuert wird) beziehend verstanden werden, wie z. B. eine computergesteuerte Maschine, ein Fahrzeug, ein Haushaltsgerät, ein Elektrowerkzeug, eine Fertigungsmaschine, einen persönlichen Assistenten oder ein Zugangssteuersystem. Es wird eine Steuerungsvorschrift für das technische System gelernt und das technische System dann entsprechend gesteuert. Die oben beschriebene Herangehensweise kann insbesondere in hochautomatisierten Systemen mit neuronalen Netzwerken verwendet werden, die sicherheitskritisch sind.
Als Sicherheitsmaßnahme kann auf einen anderen (redundanten bzw. sicheren) Sensor ausgewichen werden, dessen Sensordaten dann für die Steuerung verwendet werden.
Obwohl spezielle Ausführungsformen hier dargestellt und beschrieben wurden, wird vom Fachmann auf dem Gebiet erkannt, dass die speziellen Ausführungsformen, die gezeigt und beschrieben sind, gegen eine Vielfalt von alternativen und/oder äquivalenten Implementierungen ausgetauscht werden können, ohne vom Schutzbereich der vorliegenden Erfindung abzuweichen. Diese Anmeldung soll irgendwelche Anpassungen oder Variationen der speziellen Ausführungsformen abdecken, die hier erörtert sind. Daher ist beabsichtigt, dass diese Erfindung nur durch die Ansprüche und die Äquivalente davon begrenzt ist.

Claims

Ansprüche
1. Verfahren zum Steuern einer Robotervorrichtung, aufweisend: Empfangen von Sensordaten;
Verarbeiten der Sensordaten durch ein maschinelles Lernmodell zu einem Verarbeitungsergebnis für eine Steuerung der Robotervorrichtung;
Ermitteln einer ersten Werts, der eine Konfidenz des maschinellen Lernmodells repräsentiert, dass das Verarbeitungsergebnis korrekt ist;
Ermitteln eines zweiten Werts, der eine Abweichung der Sensordaten von Trainingsdaten, mittels denen das maschinelle Lernmodell trainiert wurde, repräsentiert;
Ermitteln, ob der erste Wert außerhalb eines ersten Bereichs liegt, der eine vorgegebene Mindestkonfidenz repräsentiert, oder der zweite Wert außerhalb eines zweiten Bereichs liegt, der eine vorgegebene Höchstabweichung repräsentiert; und
Aktivieren mindestens einer Sicherheitsmaßnahme für die Steuerung der Robotervorrichtung, falls der erste Wert außerhalb des ersten Bereichs liegt oder der zweite Wert außerhalb des zweiten Bereichs liegt.
2. Verfahren nach Anspruch 1, wobei die Sicherheitsmaßnahme aufweist, dass das Verarbeitungsergebnis für die Steuerung der Robotervorrichtung verworfen wird.
3. Verfahren nach Anspruch 1 oder 2, wobei die Sicherheitsmaßnahme aufweist, dass weitere Sensordaten beschafft werden und die Robotervorrichtung unter Verwendung der weiteren Sensordaten gesteuert wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, aufweisend Steuern der Robotervorrichtung unter Verwendung des Verarbeitungsergebnisses ohne die Aktivieren der Sicherheitsmaßnahme, falls der erste Wert nicht außerhalb eines ersten Bereichs liegt, und der zweite Wert nicht außerhalb des zweiten Bereichs liegt.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei das maschinelle Lernmodell ein neuronales Netzwerk ist.
6. Verfahren nach einem der Ansprüche 1 bis 5, aufweisend Trainieren des maschinellen Lernmodells mit den Trainingsdaten.
7. Robotersteuereinrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen.
8. Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ansprüche 1 bis 6 durchführt.
9. Computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ansprüche 1 bis 6 durchführt.
PCT/EP2023/062327 2022-06-23 2023-05-10 Verfahren zum steuern einer robotervorrichtung WO2023247102A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022206305.8 2022-06-23
DE102022206305.8A DE102022206305A1 (de) 2022-06-23 2022-06-23 Verfahren zum Steuern einer Robotervorrichtung

Publications (1)

Publication Number Publication Date
WO2023247102A1 true WO2023247102A1 (de) 2023-12-28

Family

ID=86382958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/062327 WO2023247102A1 (de) 2022-06-23 2023-05-10 Verfahren zum steuern einer robotervorrichtung

Country Status (2)

Country Link
DE (1) DE102022206305A1 (de)
WO (1) WO2023247102A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220011776A1 (en) * 2020-06-05 2022-01-13 Gatik Ai Inc. Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220011776A1 (en) * 2020-06-05 2022-01-13 Gatik Ai Inc. Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG DI ET AL: "Towards Safe Autonomous Driving: Capture Uncertainty in the Deep Neural Network For Lidar 3D Vehicle Detection", 7 September 2018 (2018-09-07), XP093062689, Retrieved from the Internet <URL:https://arxiv.org/abs/1804.05132v2> [retrieved on 20230711] *
JULIA NITSCH ET AL: "Out-of-Distribution Detection for Automotive Perception", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 3 November 2020 (2020-11-03), XP081805906 *
YANG JINGKANG ET AL: "Generalized Out-of-Distribution Detection: A Survey", 21 October 2021 (2021-10-21), XP055932492, Retrieved from the Internet <URL:https://arxiv.org/pdf/2110.11334.pdf> [retrieved on 20220617] *

Also Published As

Publication number Publication date
DE102022206305A1 (de) 2023-12-28

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
EP3789926A1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102015226116A1 (de) Verfahren zum Bewerten einer durch zumindest einen Sensor eines Fahrzeugs erfassten Gefahrensituation, Verfahren zum Steuern einer Wiedergabe einer Gefahrenwarnung und Verfahren zum Wiedergeben einer Gefahrenwarnung
DE102018215055A1 (de) Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
DE102022108656A1 (de) Neuronales quantilnetz
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
WO2023247102A1 (de) Verfahren zum steuern einer robotervorrichtung
DE102022201679A1 (de) Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes
WO2022157025A1 (de) Bildbasiertes verfahren zum vereinfachen einer fahrzeugexternen kontrollübernahme über ein kraftfahrzeug, assistenzeinrichtung und kraftfahrzeug
EP4047316A1 (de) Verfahren zum bewerten einer bekanntheit einer fahrstrecke und elektronische recheneinrichtung
EP4248418A2 (de) Verfahren und system zur annotation von sensordaten
DE102017206396A1 (de) Steuerverfahren, Steuereinheit, Umfelderfassungssystem und mobile und/oder stationäre Einrichtung
DE102020133626A1 (de) Verfahren zum Erkennen von für ein neuronales Netz schwierig korrekt zu klassifizierenden Szenen, Assistenzeinrichtung und Kraftfahrzeug
WO2021078512A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102020203836A1 (de) Verfahren zur Bestimmung eines Wertes einer Reglergröße
DE102020127051A1 (de) Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität
WO2020233992A1 (de) Verfahren zum funktionsspezifischen robustifizieren eines neuronalen netzes
DE102019118607A1 (de) Anomaliedetektor für fahrzeugsteuersignale
DE102022203122B4 (de) Verfahren zum Ermitteln einer Bewegungstrajektorie für eine Steuerung einer Bewegung einer Maschine
DE102022209403A1 (de) Verfahren zum Überprüfen der Durchführung einer Prädiktionsaufgabe durch ein neuronales Netzwerk
DE102022213064A1 (de) Erkennung unbekannter Objekte durch neuronale Netze für Fahrzeuge
EP4029757A1 (de) Verfahren zum steuern einer verkehrssituation
EP4066156A1 (de) VERFAHREN ZUR BERECHNUNG EINES QUALITÄTSMAßES ZUR BEWERTUNG EINES OBJEKTDETEKTIONSALGORITHMUS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23723966

Country of ref document: EP

Kind code of ref document: A1