WO2024200136A1 - Kalibrierung der unsicherheit eines objektdetektors - Google Patents

Kalibrierung der unsicherheit eines objektdetektors Download PDF

Info

Publication number
WO2024200136A1
WO2024200136A1 PCT/EP2024/057366 EP2024057366W WO2024200136A1 WO 2024200136 A1 WO2024200136 A1 WO 2024200136A1 EP 2024057366 W EP2024057366 W EP 2024057366W WO 2024200136 A1 WO2024200136 A1 WO 2024200136A1
Authority
WO
WIPO (PCT)
Prior art keywords
uncertainty
statement
neural network
calibration
calibrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2024/057366
Other languages
English (en)
French (fr)
Inventor
Moussa KASSEM SBEYTI
Michelle Karg
Christian Wirth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Germany GmbH
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH, Continental Automotive Technologies GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to CN202480022480.3A priority Critical patent/CN120917458A/zh
Publication of WO2024200136A1 publication Critical patent/WO2024200136A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks

Definitions

  • the present invention relates to a method, in particular a computer-implemented method, for calibrating at least one uncertainty of a neural network of an object detector, a method, in particular a computer-implemented method, for detecting at least one object by means of an object detector comprising a neural network calibrated according to the invention, a computer program for carrying out the method according to the invention and a computer program product on which the method according to the invention is stored.
  • ADAS advanced driver assistance systems
  • neural networks can be used, for example, to process input data from various sensors, such as radar, lidar or ultrasonic sensors, as well as cameras.
  • ADAS functions typically provided by ADAS systems serve to support the driver while the driver still retains control of driving the vehicle, or, depending on the level of automation, fully automated driving can be realized.
  • Examples of ADAS functions are various methods for detecting objects or obstacles on the road, methods for detecting lane boundaries and/or keeping the vehicle in a lane, methods for detecting rain on the windshield, or methods for supporting or carrying out a parking process.
  • the input data from the ADAS sensors used can be subject to a variety of problems, such as insufficient sensor resolution, problematic weather conditions or rarely occurring scenarios.
  • certain objects may be obscured by other objects and thus not visible in the input data. In all of these cases, knowledge of the uncertainty of the respective forecast would be of key importance.
  • DE 102020215860A1 discloses a method for correcting input image data from a plurality of cameras of an all-round vision system that is impaired by rain, light and/or dirt, in which input image data captured by the cameras is processed by a trained neural network, which also outputs an uncertainty for the determined image correction.
  • a similar method for correcting input image data from a camera is known from DE102020215859A1.
  • neural networks especially those that serve a regression task, i.e. networks that output continuous values as prediction results, tend to have associated uncertainties that are inaccurate and therefore not directly usable. In order to increase the accuracy, calibration or adjustment of the uncertainties is therefore required. This also applies, among other things, to object localization using an object detector, which precedes any object classification. Here, little or no information is available on the confidence of the respective prediction, i.e. on its reliability.
  • DE102019217300A1 discloses a method for training a neural network to output a prediction and associated uncertainty, in which the determined uncertainty is taken into account by the loss function. In this way, it can be ensured that the network determines well-calibrated uncertainties if the distribution of the data to be processed is similar to the distribution of the training data.
  • a method specifically for calibrating uncertainties in regression has become known from “Accurate Uncertainties for Deep Learning Using Calibrated Regression” by V. Kuleshov et al., published on arXiv: 1807.00263, 2018 (DOI: https://doi.org/10.48550/arXiv.1807.00263). However, the method carries the risk of over-fitting. In addition, it is based on isotonic regression and is therefore comparatively computationally intensive.
  • the object underlying the invention is to provide a possibility for calibrating uncertainties, which is characterized by high accuracy and high computational efficiency.
  • the object underlying the invention is achieved by the method according to claim 1, the method according to claim 10, the computer program according to claim 13 and the computer program product according to claim 14.
  • the object underlying the invention is achieved by a method, in particular a computer-implemented method, for calibrating at least one uncertainty of a neural network of an object detector, which neural network is designed to make at least one statement about an object and at least one of the uncertainty associated with the statement.
  • the procedure comprises the following steps:
  • the calibration of the uncertainties is separated from the training of the neural network and is downstream of it.
  • the calibration of the uncertainties is carried out using a, in particular separate, calibration data set.
  • objects are first localized and then classified.
  • the object detector thus comprises a localization unit and a classification unit.
  • the present invention relates in particular to the localization of objects and the associated uncertainties with regard to object localization.
  • the procedure according to the invention offers the advantage of high accuracy and resource efficiency. This makes it particularly suitable for use in connection with embedded systems, such as those frequently used in driver assistance systems.
  • the normalization of the generated uncertainties and the deviation of the statement from the indication, ie the ground truth the advantageous effect that the uncertainties for each statement can be correctly calibrated regardless of the respective object size and object class.
  • the neural network is a trained neural network.
  • the method according to the invention can be part of a training method for training the neural network or it can be a separate method that runs separately from the training method.
  • the neural network is, for example, a convolutional neural network (CNN), a mixture-density network, a transformer network, a recurrent neural network, a multilayer perceptron or a generative, adversial network.
  • CNN convolutional neural network
  • the neural network is, for example, a convolutional neural network (CNN), a mixture-density network, a transformer network, a recurrent neural network, a multilayer perceptron or a generative, adversial network.
  • the object detector is an anchor-based, a central point-based, a multi-stage, a single-stage, a CNN-based or a transformer-based object detector.
  • it can be a YOLO object detector, an SSD object detector or an EfficientDet object detector.
  • the statement is a statement about a position of an object, a statement about a property of the object or a statement about a geometric size of the object.
  • the position of the object can be specified, for example, using one or more coordinates for the object.
  • a property of the object is, for example, an object type and a geometric size relates, for example, to its geometric dimensions, its size, cross-sectional area or a volume of the object. It should be noted that other statements about the object can also be made and fall under the present invention.
  • each coordinate can be considered as a statement. However, it is also conceivable to combine all coordinates into one statement.
  • the uncertainty and the deviation of the statement from the indication are standardized to a geometric size of the object, in particular a length, width, height, area or volume of the object.
  • This has the advantageous effect that different object sizes, aspect ratios, geometric dimensions and sizes of bounding boxes can be taken into account for the calibration. This can, for example, prevent larger objects or bounding boxes from having a negative influence on the calibration for smaller objects or bounding boxes.
  • the parameters of the model are optimized by means of an optimization method, in particular by means of an isotonic regression, a gradient method, a Platt scaling method or a histogram binning approach.
  • the error function is a distance metric, in particular a mean square deviation or an absolute deviation.
  • a distance metric is a metric or distance function for a metric space, which assigns a non-negative, real value to two elements or points of a space.
  • a distance metric is symmetrical and satisfies the triangle inequality.
  • the invention can also be used in conjunction with other error functions.
  • the calibration parameter includes a scaling, which is taken into account in particular for the error function.
  • the scaling can be one or more constant scaling factors, a scaling vector or a scaling matrix.
  • the scaling can be used for all predicted uncertainties after the calibration has been completed. By means of scaling, a calibration for all predicted uncertainties can be achieved quickly, effectively and precisely.
  • a further advantageous embodiment includes determining a calibration rule by means of which at least one uncertainty determined by means of the neural network is calibrated.
  • the calibration rule is therefore taken into account in particular when using the neural network to output the statement and the uncertainty.
  • the rule takes into account the at least one calibration parameter and can include a multiplication with a scalar value or also a model.
  • the object underlying the invention is also achieved by a method, in particular a computer-implemented method, for detecting at least one object by means of an object detector comprising a neural network calibrated according to the invention.
  • the method comprises the following method steps:
  • the input data can be recorded using one or more sensors. In the case of a driver assistance system, for example, these are various ADAS sensors.
  • the statement about the object is in particular a position of the object.
  • the method then concerns object localization.
  • the uncertainty is preferably standardized in the same way as the uncertainties generated during the execution of the calibration procedure using the calibration data. In particular, the uncertainty is normalized to a geometric size of the object.
  • the calibration of the uncertainty is preferably carried out using a previously determined calibration specification.
  • a calibrated, absolute uncertainty is determined and output.
  • the calibrated, normalized uncertainty can be multiplied by the normalization.
  • the method according to the invention for detecting at least one object by means of an object detector is preferably used for driver assistance systems. However, the method can also be used in other areas, for example in computer vision or for medical imaging methods.
  • the method for calibrating at least one uncertainty of a neural network of an object detector is also preferably used in connection with a driver assistance system.
  • statements about at least one object are determined using at least one ADAS sensor, for example a camera.
  • the object can be another road user in the vehicle's surroundings, an animal, a road boundary, an object in the vehicle's surroundings, or a traffic sign or traffic light or light signal.
  • an uncertainty for the statement made is also determined, calibrated and output.
  • the object underlying the invention is further achieved by a computer program with instructions which, when the computer program is executed by a computer, cause the computer to carry out the method according to the invention for calibrating at least one uncertainty of a neural network or the method for detecting at least one object by means of an object detector, depending on one of the described embodiments, to carry out, as well as by a computer program product on which the computer program according to the invention is stored.
  • Fig. 1 shows a first advantageous embodiment of the method according to the invention
  • Fig. 2 shows an object detection using a neural network calibrated according to the invention.
  • Fig. 1 assumes a pre-trained neural network NN in an object detector.
  • the neural network NN is used to determine a statement p about an object 0 and an uncertainty a associated with the statement.
  • the statement here is the position of the object 0.
  • the uncertainties a output by a neural network NN are typically subject to errors and do not correspond to the actual uncertainty.
  • the uncertainties a In order to enable a precise prediction of the uncertainty a, the uncertainties a must be calibrated, which can be carried out using the method according to the invention. After calibration, the uncertainty a can be interpreted probabilistically, i.e. statements can be made such as that the correct value lies in the predicted uncertainty interval with a probability of 95%.
  • calibration data Ikai for the neural network NN and an indication Ind for all calibration data Ikai are initially provided.
  • the calibration data Ikai are processed using the neural network and a statement p and associated uncertainty a are made based on the calibration data Ikai.
  • the generated uncertainty ⁇ J is then normalized and divided, for example, by a normalization factor n, ie
  • the deviation of the statement p from the indication Ind is normalized with the normalization factor n.
  • the normalized, generated uncertainty a nor is then compared with the normalized deviation of the statement p from the indication Ind using an error function Error and at least one calibration parameter pkai is optimized based on the comparison.
  • the error function is a distance metric for which a scaling s is taken into account and provided that the scaling s is a constant, scalar value
  • a function based on a mean square deviation can be chosen as the error function Error, which is then given for N detections, for example, by
  • an error function Error can be used based on an absolute deviation, which in turn is given by
  • A ⁇ Ind - [i ⁇ is the absolute deviation, i.e. the difference between the indication Ind and the prediction p.
  • a calibration rule KAL can be determined, which can be used for the embodiment shown here for object localization in the object detector, as illustrated in Fig. 2.
  • information about a vehicle environment and in particular about at least one object 0 in the vehicle environment is first recorded with one or more ADAS sensors. This is made available to the neural network NN as input.
  • the neural network NN is designed to use the input to make a statement about the position P of at least one object and to output an uncertainty o associated with the position.
  • a statement can also be made about a size of the object 0, for example a length, width, height, area or volume of the object 0.
  • the uncertainty o output by the network NN is then normalized o nor and calibrated using the calibration specification KAL. The result is a calibrated, normalized uncertainty Okai.nor, from which a calibrated, absolute uncertainty can also be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren, insbesondere computer-implementiertes Verfahren, zur Kalibrierung von zumindest einer Unsicherheit (σ) eines neuronalen Netzes (NN) eines Objektdetektors, welches neuronale Netz (NN) dazu ausgestaltet ist, in Abhängigkeit von Eingangsdaten zumindest eine Aussage (μ) über ein Objekt (O) und zumindest eine der Aussage (μ) zugeordnete Unsicherheit (μ) auszugeben. Die Erfindung betrifft ferner ein Verfahren zur Detektion von zumindest einem Objekt mittels eines Objektdetektors umfassend ein erfindungsgemäß kalibriertes neuronales Netz, ein Computerprogramm und ein Computerprogrammprodukt. Bei dem Verfahren werden Kalibrierdaten (Ikal) für das neuronale Netz (NN) und eine Indikation (Ind) bezüglich der Unsicherheit (σ) bereitgestellt und es wird durch Verarbeitung der Kalibrierdaten (Ikal) mittels des neuronalen Netzes (NN) in Übereinstimmung mit Parametern für das neuronale Netz (NN) eine Aussage (μ) und zugehörigen Unsicherheit (σ) ermittelt. Dann wird die normierte, erzeugte Unsicherheit (σnor) mit einer ebenfalls und identisch normierten Abweichung der Aussage (μ) der Indikation (Ind) unter Verwendung von zumindest einer Fehlerfunktion (Error) verglichen, wobei für die Fehlerfunktion (Error) zumindest ein Kalibrierungsparameters (pkal) berücksichtigt wird, und der Kalibrierungsparameter (pkal) wird auf Grundlage des Vergleichs optimiert.

Description

Beschreibung
Kalibrierung der Unsicherheit eines Objektdetektors
Die vorliegende Erfindung betrifft ein, insbesondere computer-implementiertes, Verfahren zur Kalibrierung von zumindest einer Unsicherheit eines neuronalen Netzes eines Objektdetektors, ein, insbesondere computer-implementiertes, Verfahren zur Detektion zumindest eines Objektes mittels eines Objektdetektors umfassend ein erfindungsgemäß kalibriertes neuronales Netz, ein Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens sowie ein Computerprogrammprodukt, auf welchem das erfindungsgemäße Verfahren gespeichert ist.
Bei der Verwendung von neuronalen Netzen zur Regression oder Klassifikation ist es in vielen Fällen wichtig, neben dem jeweiligen Vorhersageergebnis auch eine mit der jeweiligen Vorhersage verbundene Unsicherheit zu ermitteln. Dies betrifft insbesondere sicherheitskritische Situationen.
Ein prominentes Beispiel stellen in diesem Zusammenhang Fahrerassistenzsysteme (engl. advanced driver assistance system, ADAS) dar, bei denen neuronale Netze beispielsweise für die Verarbeitung von Input-Daten verschiedener Sensoren, beispielsweise Radar-, Lidar- oder Ultraschallsensoren, sowie auch Kameras, verwendet werden können. Von den ADAS-Systemen typischerweise bereitgestellte ADAS-Funktionen dienen einerseits zur Unterstützung des Fahrers, während die Kontrolle über das Fahren des Fahrzeugs weiterhin beim Fahrer verbleibt, oder es kann in Abhängigkeit des Automatisierungsgrades ein vollständig automatisiertes Fahren realisiert werden. Beispiele für ADAS-Funktionen sind verschiedene Verfahren zum Erkennen von Objekten oder Hindernissen auf der Fahrbahn, Verfahren zum Erkennen von Fahrbahnbegrenzungen und/oder zum Halten des Fahrzeugs in einer Spur, Verfahren zum Erkennen von Regen auf der Windschutzscheibe, oder auch Verfahren zur Unterstützung oder Durchführung eines Parkvorgangs. Die jeweils verwendeten Eingangsdaten von den jeweils verwendeten ADAS-Sensoren können mit unterschiedlichsten Problemen behaftet sein, wie beispielsweise unzureichende Sensorauflösung, problematische Wetterbedingungen oder selten auftretende Szenarien. Dazu kommt, dass ggf. bestimmte Objekte durch andere Objekte verdeckt und damit in den Eingangsdaten nicht sichtbar sein können. Für alle diese Fälle wäre eine Kenntnis der Unsicherheit der jeweiligen Vorhersage von zentraler Bedeutung.
So ist aus der DE 102020215860A1 ein Verfahren zum Korrigieren von Eingangs-Bilddaten einer Mehrzahl von Kameras eines Rundumsichtsystems, die durch Regen, Lichteinfall und/oder Schmutz beeinträchtigt sind, bekannt geworden, bei dem von den Kameras erfasst Eingangsbilddaten von einem trainierten neuronalen Netz verarbeitet werden, welches auch eine Unsicherheit für die ermittelte Bildkorrektur ausgibt. Ein ähnliches Verfahren zum Korrigieren von Eingangs-Bilddaten einer Kamera ist aus DE102020215859A1 bekannt geworden.
Neuronale Netze, insbesondere solche, welche einer Regressionsaufgabe dienen, d.h. Netze, welche kontinuierliche Werte als Vorhersageergebnis ausgeben, neigen allerdings dazu, dass zugehörige Unsicherheiten ungenau und damit einhergehend nicht direkt nutzbar sind. Zur Erhöhung der Genauigkeit bedarf es somit einer Kalibration bzw. Justierung der Unsicherheiten. Dies betrifft unter anderem auch die Objektlokalisierung mittels eines Objektdetektors, weicher einer etwaigen Objektklassifikation vorgelagert ist. Hier sind keine oder wenige Informationen zur Konfidenz der jeweiligen Vorhersage, d.h. zu deren Zuverlässigkeit, verfügbar.
Aus DE102019217300A1 ist beispielsweise ein Verfahren zum Trainieren eines neuronalen Netzes zur Ausgabe einer Vorhersage und zugeordneten Unsicherheit bekannt geworden, bei welchem die ermittelte Unsicherheit durch die Verlustfunktion berücksichtigt wird. Auf diese Weise kann sichergestellt werden, dass das Netz wohlkalibrierte Unsicherheiten ermittelt, wenn die Verteilung der zu verarbeitenden Daten der Verteilung der Trainingsdaten ähnelt. Aus „Accurate Uncertainties for Deep Learning Using Calibrated Regression” von V. Kuleshov et al., erschienen auf arXiv: 1807.00263, 2018 (DOI: https://doi.org/10.48550/arXiv.1807.00263) ist ein Verfahren speziell zur Kalibration von Unsicherheiten bei einer Regression bekannt geworden. Das Verfahren birgt allerdings die Gefahr eines Over-fittings. Zudem basiert es auf einer isotonischen Regression und ist somit vergleichsweise rechenaufwendig.
Ein weiteres Verfahren zur Kalibration von Unsicherheiten ist in „Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference” von M-H. Laves et al., erschienen auf arXiv: 1909.13550, 2019 (DOI: https://doi.org/10.48550/arXiv.1909.13550) beschrieben worden. Dieses Verfahren ist weniger rechenintensiv, allerdings kann es sehr empfindlich gegenüber
Ausreißern und falsch zugeordneten Variablen sein, was für reale Datensätze besonders relevant werden kann.
Es wäre demnach wünschenswert, eine Möglichkeit zur Kalibration von Unsicherheiten für die Objekterkennung bereitzustellen, welche sich durch eine hohe Genauigkeit und eine hohe Recheneffizienz auszeichnet.
Somit liegt die der Erfindung zugrunde liegende Aufgabe darin, eine Möglichkeit zur Kalibration von Unsicherheiten bereitzustellen, welche sich durch eine hohe Genauigkeit und eine hohe Recheneffizienz auszeichnet.
Die der Erfindung zugrunde liegende Aufgabe wird gelöst durch das Verfahren nach Anspruch 1 , das Verfahren nach Anspruch 10, das Computerprogramm nach Anspruch 13 und das Computerprogrammprodukt nach Anspruch 14.
Hinsichtlich des Verfahrens wird die der Erfindung zugrunde liegende Aufgabe gelöst durch ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zur Kalibrierung von zumindest einer Unsicherheit eines neuronalen Netzes eines Objektdetektors, welches neuronale Netz dazu ausgestaltet ist, in Abhängigkeit von Eingangsdaten zumindest eine Aussage über ein Objekt und zumindest eine der Aussage zugeordnete Unsicherheit auszugeben. Das Verfahren umfasst die folgenden Verfahrensschritte:
- Bereitstellen von Kalibrierdaten für das neuronale Netz,
- Bereitstellen einer Indikation bezüglich der Unsicherheit betreffend die Aussage für alle Kalibrierdaten,
- Erzeugen einer Aussage und zugehörigen Unsicherheit für alle Kalibrierdaten durch Verarbeitung der Kalibrierdaten mittels des neuronalen Netzes in Übereinstimmung mit Parametern für das neuronale Netz,
- Normieren der erzeugten Unsicherheit für die zumindest eine Aussage,
- Vergleichen der normierten, erzeugten Unsicherheit mit einer ebenfalls und identisch normierten Abweichung der Aussage von der Indikation unter Verwendung von zumindest einer Fehlerfunktion, wobei für die Fehlerfunktion zumindest ein Kalibrierungsparameters berücksichtigt wird, und
- Optimieren des Kalibrierungsparameters auf Grundlage des Vergleichs.
Erfindungsgemäß wird die Kalibration der Unsicherheiten von dem Training des neuronalen Netzes getrennt und ist diesem nachgelagert. Die Kalibration der Unsicherheiten erfolgt anhand eines, insbesondere separaten, Kalibrierdatensatzes.
In einem Objektdetektor werden Objekte zunächst lokalisiert und anschließend klassifiziert. Der Objektdetektor umfasst somit eine Lokalisierungs- und eine Klassifikationseinheit. Die vorliegende Erfindung betrifft insbesondere die Lokalisierung von Objekten und die damit einhergehend ermittelten Unsicherheiten hinsichtlich der Objektlokalisierung.
Das erfindungsgemäße Vorgehen bietet den Vorteil einer hohen Genauigkeit bei gleichzeitiger Ressourceneffizienz. Damit ist es besonders geeignet für den Einsatz in Zusammenhang mit eingebetteten Systemen, wie sie beispielsweise auch bei Fahrerassistenzsystemen häufig verwendet werden. Darüber hinaus hat die Normalisierung der erzeugten Unsicherheiten und der Abweichung der Aussage von der Indikation, d.h. der Ground Truth, den vorteilhaften Effekt, dass die Unsicherheiten für jede Aussage unabhängig von der jeweiligen Objektgröße und Objektklasse korrekt kalibriert werden können.
Gemäß einer vorteilhaften Ausgestaltung handelt es sich bei dem neuronalen Netz um ein trainiertes neuronales Netz. Das erfindungsgemäße Verfahren kann Teil eines Trainingsverfahrens zum Trainieren des neuronalen Netzes sein öder es kann sich um ein separat vom Trainingsverfahren ablaufendes eigenes Verfahren handeln.
Bei dem neuronalen Netz handelt es sich beispielsweise um ein faltendes neuronales Netz (engl. convolutional neural network, CNN), um ein Mixture-Density Netz, ein Transformer-Netz, ein rekurrentes neuronales Netz, um ein mehrschichtiges Perzeptron oder um ein generatives, adversiales Netz.
In einer Ausgestaltung handelt es sich bei dem Objektdetektor um einen ankerbasierten, einen zentralpunkt-basierten, einen mehrstufigen, einen einstufigen, einen CNN-basierten oder einen Transformer-basierten Objektdetektor. Beispielsweise kann es sich um einen YOLO-Objektdetektor, einen SSD-Objektdetektor oder einen EfficientDet Objektdetektor.
Es ist von Vorteil, wenn es sich bei der Aussage um eine Aussage über eine Position eines Objektes, um eine Aussage über eine Eigenschaft des Objektes oder um eine Aussage über eine geometrische Größe des Objektes handelt. Die Position des Objekts kann beispielsweise anhand von einer oder mehreren Koordinaten für das Objekt angegeben sein. Eine Eigenschaft des Objekts ist beispielsweise ein Objekttyp und eine geometrische Größe betrifft beispielsweise dessen geometrische Abmessungen, seine Größe, Querschnittsfläche oder ein Volumen des Objekts. Es sei darauf verwiesen, dass aber auch andere Aussagen über das Objekt können getroffen werden können und unter die vorliegende Erfindung fallen.
Werden mehrere Aussagen über eine Objektklasse und/oder Aussagen über mehrere Objektklassen ausgegeben, so erfolgt die Kalibration vorzugsweise separat für jede Objektklasse und/oder für jede Aussage. Im Falle, dass es sich bei der Aussage um eine Aussage über die Position eines Objekts handelt, welche durch mehrere Koordinaten bestimmt ist, so kann beispielsweise jede Koordinate als eine Aussage betrachtet werden. Es ist aber auch denkbar, sämtliche Koordinaten zu einer Aussage zusammenzufassen.
Gemäß einer vorteilhaften Ausgestaltung werden die Unsicherheit und die Abweichung der Aussage von der Indikation auf eine geometrische Größe des Objekts, insbesondere eine Länge, Breite, Höhe, Fläche oder ein Volumen des Objekts, normiert. Dies hat den vorteilhaften Effekt, dass unterschiedliche Objektgrößen, Seitenverhältnisse, geometrische Abmessungen und Größen von Bounding-Boxen für die Kalibration berücksichtigt werden können. So kann z. B. vermieden werden, dass größere Objekte oder Bounding-Boxen einen negativen Einfluss auf die Kalibration für kleinere Objekte bzw. Bounding-Boxen haben.
Es ist ferner von Vorteil, wenn die Parameter des Modells mittels eines Optimierungsverfahrens, insbesondere mittels einer isotonischen Regression, eines Gradientenverfahrens, eines Platt Scaling Verfahrens oder anhand eines Histogram Binning Ansatzes optimiert werden.
In einer Ausgestaltung handelt es sich bei der Fehlerfunktion um eine Distanzmetrik, insbesondere um ein mittleres Abweichungsquadrat oder um eine absolute Abweichung. Eine Distanzmetrik ist eine Metrik bzw. Abstandsfunktion für einen metrischen Raum, welche zwei Elementen bzw. Punkten eines Raumes einen nichtnegativen, reellen Wert zuordnet. Eine Distanzmetrik ist symmetrisch und sie genügt der Dreiecksungleichung. Die Erfindung ist aber auch in Zusammenhang mit anderen Fehlerfunktionen einsetzbar.
Dann ist es zudem von Vorteil, wenn der Kalibrationsparameter eine Skalierung beinhaltet, welche insbesondere für die Fehlerfunktion berücksichtigt wird. Bei der Skalierung kann es sich um einen oder mehrere konstante Skalierungsfaktoren, um einen Skalierungsvektor oder um eine Skalierungsmatrix handeln. Die Skalierung kann nach Abschluss der Kalibration für alle vorhergesagten Unsicherheiten berücksichtigt werden. Mittels der Skalierung kann schnell, effektiv und präzise eine Kalibration für alle vorgesagten Unsicherheiten erreicht werden.
Eine weitere vorteilhafte Ausgestaltung beinhaltet, dass eine Kalibriervorschrift ermittelt wird, mittels welcher zumindest eine mittels des neuronalen Netzes ermittelte Unsicherheit kalibriert wird. Die Kalibriervorschrift wird also insbesondere bei Verwendung des neuronalen Netzes zum Ausgeben der Aussage und der Unsicherheit berücksichtigt. Die Vorschrift berücksichtigt den zumindest einen Kalibrierungsparameter und kann eine Multiplikation mit einem skalaren Wert beinhalten oder auch ein Modell.
Die der Erfindung zugrunde liegende Aufgabe wird außerdem gelöst durch ein Verfahren, insbesondere ein computer-implementiertes Verfahren, zur Detektion zumindest eines Objektes mittels eines Objektdetektors umfassend ein erfindungsgemäß kalibriertes neuronales Netz. Das Verfahren umfasst die folgenden Verfahrensschritte:
- Erfassen von Eingangsdaten umfassend zumindest eine Information über das zumindest eine Objekt,
- Bereitstellen der Eingangsdaten als Input für das kalibrierte neuronale Netz, welches neuronale Netz dazu ausgestaltet ist, anhand des Inputs zumindest eine Aussage über das Objekt und zumindest eine der Aussage zugeordnete Unsicherheit auszugeben,
- Normieren der Unsicherheit,
- Kalibrieren der normierten Unsicherheit, und
- Ausgeben der Aussage und der kalibrierten, normierten Unsicherheit für die Aussage.
Die Eingangsdaten können mittels einem oder mehreren Sensoren erfasst werden. Für den Fall eines Fahrerassistenzsystems sind dies beispielsweise verschiedene ADAS-Sensoren. Bei der Aussage über das Objekt handelt es sich insbesondere um eine Position des Objekts. Das Verfahren betrifft dann ein Objektlokalisierung. Die Unsicherheit wird vorzugsweise so normiert wie die erzeugten Unsicherheiten während der Durchführung des Kalibrationsverfahrens anhand der Kalibrierdaten. Insbesondere wird die Unsicherheit auf eine geometrische Größe des Objekts normiert. Die Kalibration der Unsicherheit wiederum erfolgt bevorzugt anhand einer zuvor ermittelten Kalibriervorschrift.
In einer Ausgestaltung wird eine kalibrierte, absolute Unsicherheit ermittelt und ausgegeben. Zum Ermitteln der absoluten Unsicherheit kann die kalibrierte, normierte Unsicherheit mit der Normierung multipliziert werden.
Das erfindungsgemäße Verfahren zur Detektion zumindest eines Objektes mittels eines Objektdetektors findet bevorzugt Verwendung für Fahrerassistenzsysteme. Das Verfahren ist aber ebenfalls verwendbar in anderen Bereichen, beispielsweise in der Computer Vision, oder für medizinische, bildgebende Verfahren. Auch das Verfahren zur Kalibrierung von zumindest einer Unsicherheit eines neuronalen Netzes eines Objektdetektors wird bevorzugt in Zusammenhang mit einem Fahrerassistenzsystem verwendet.
Bei einer Objektdetektion mittels eines Objektdetektors in einem Fahrerassistenzsystem werden anhand von zumindest einem ADAS-Sensor, beispielsweise einer Kamera, Aussagen über zumindest ein Objekt, beispielsweise über eine Position oder geometrische Größe des Objekts ermittelt. Bei dem Objekt kann es sich um einen weiteren Verkehrsteilnehmer in der Fahrzeugumgebung, ein Tier, eine Fahrbahnbegrenzung, einen Gegenstand in der Fahrzeugumgebung oder um ein Verkehrszeichen oder eine Ampel bzw. ein Lichtzeichen handeln. Neben der Aussage wird auch eine Unsicherheit für die getroffene Aussage ermittelt, kalibriert und ausgegeben.
Die der Erfindung zugrunde liegende Aufgabe wird ferner gelöst durch ein Computerprogramm mit Anweisungen, die, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer veranlassen, das erfindungsgemäße Verfahren zur Kalibration zumindest einer Unsicherheit eines neuronalen Netzes oder das Verfahren zur Detektion zumindest eines Objekts mittels eines Objektdetektors, je nach einer der beschriebenen Ausgestaltungen, auszuführen, sowie durch ein Computerprogrammprodukt, auf welchem das erfindungsgemäße Computerprogramm gespeichert ist.
Die Erfindung wird anhand der nachfolgenden Figuren näher erläutert. Es zeigt:
Fig. 1 eine erste vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens, und
Fig. 2 eine Objektdetektion anhand eines erfindungsgemäß kalibrierten neuronalen Netzes.
In den Figuren werden gleiche Elemente jeweils mit demselben Bezugszeichen versehen.
Für die in Fig. 1 illustrierte vorteilhafte Ausgestaltung wird von einem vorab trainierten neuronalen Netz NN in einem Objektdetektor ausgegangen.
Das neuronale Netz NN dient zur Ermittlung einer Aussage p über ein Objekt 0 und einer der Aussage zugehörigen Unsicherheit a. Bei der Aussage handelt es sich hier um die Position des Objekts 0.
Die von einem neuronalen Netz NN ausgegebenen Unsicherheiten a sind typischerweise mit Fehlern behaftet und entsprechen nicht der tatsächlich vorliegenden Unsicherheit. Um eine präzise Vorhersage auch der Unsicherheit a zu ermöglichen, bedarf es einer Kalibrierung der Unsicherheiten a, welche anhand des erfindungsgemäßen Verfahrens vorgenommen werden kann. Nach der Kalibration ist die Unsicherheit a probabilistisch interpretierbar, d.h. es können Aussagen getätigt werden wie z.B. dass der korrekter Wert mit einer Wahrscheinlichkeit von 95% im prädizierten Unsicherheitsintervall liegt.
Zum Zweck der Kalibrierung werden zunächst Kalibrierdaten Ikai für das neuronale Netz NN sowie eine Indikation Ind für alle Kalibrierdaten Ikai bereitgestellt. Die Kalibrierdaten Ikai werden mittels des neuronalen Netzes verarbeitet und es wird eine Aussage p und zugehörige Unsicherheit a auf Basis der Kalibrierdaten Ikai erzeugt. Die erzeugte Unsicherheit <J wird dann normiert und beispielsweise durch einen Normierungsfaktor n geteilt, d.h.
Figure imgf000012_0001
Ebenfalls wird die Abweichung der Aussage p von der Indikation Ind mit dem Normierungsfaktor n normiert. Die normierte, erzeugte Unsicherheit anor wird dann unter Verwendung einer Fehlerfunktion Error mit der normierten Abweichung der Aussage p von Indikation Ind verglichen und mindestens ein Kalibrierungsparameter pkai wird auf Grundlage des Vergleichs optimiert.
Für den Fall, dass es sich bei der Fehlerfunktion um eine Distanzmetrik handelt, für welche eine Skalierung s berücksichtigt wird und sofern es sich bei der Skalierung s um einen konstanten, skalaren Wert handelt, kann als Fehlerfunktion Error eine Funktion auf Basis eines mittleren Abweichungsquadrats gewählt werden, welche dann für N Detektionen beispielsweise gegeben ist durch
Figure imgf000012_0002
Alternativ kann eine Fehlerfunktion Error auf Basis einer absoluten Abweichung verwendet werden, welche wiederum gegeben ist durch
Figure imgf000012_0003
Dabei ist A = \Ind - [i\ die absolute Abweichung, d.h. die Differenz zwischen der Indikation Ind und der Vorhersage p. Es kann zudem eine Kalibriervorschrift KAL ermittelt werden, welche für die hier gezeigte Ausgestaltung bei der Objektlokalisierung in dem Objektdetektor verwendet werden kann, wie anhand von Fig. 2 illustriert.
Zur Lokalisierung von Objekten werden für die in Fig. 2 dargestellte Ausgestaltung zunächst mit einem oder mehreren ADAS-Sensoren Informationen über eine Fahrzeugumgebung und insbesondere über zumindest ein Objekt 0 in der Fahrzeugumgebung erfasst. Diese werden dem neuronalen Netz NN als Input zur Verfügung gestellt. Das neuronale Netz NN ist dazu ausgestaltet, anhand des Inputs eine Aussage über die Position P des zumindest Objekts zu treffen und eine zur Position zugehörige Unsicherheit o auszugeben. Neben der Position P des Objekts, welche beispielsweise durch seine Mittelpunktskoordinaten gegeben sein kann, kann auch eine Aussage über eine Größe des Objekts 0 getroffen werden, beispielsweise einer Länge, Breite, Höhe, Fläche oder eines Volumens des Objekts 0. Die mittels des Netzes NN ausgegebene Unsicherheit o wird anschließend normiert onor und anhand der Kalibriervorschrift KAL kalibriert. Das Ergebnis ist eine kalibrierte, normierte Unsicherheit Okai.nor, aus welcher auch eine kalibrierte, absolute Unsicherheit ermittelbar ist.

Claims

Patentansprüche
1. Verfahren, insbesondere computer-implementiertes Verfahren, zur Kalibrierung von zumindest einer Unsicherheit (o) eines neuronalen Netzes (NN) eines Objektdetektors, welches neuronale Netz (NN) dazu ausgestaltet ist, in Abhängigkeit von Eingangsdaten zumindest eine Aussage (p) über ein Objekt (0) und zumindest eine der Aussage (p) zugeordnete Unsicherheit (p) auszugeben, umfassend die Verfahrensschritte:
- Bereitstellen von Kalibrierdaten (Ikai) für das neuronale Netz (NN),
- Bereitstellen einer Indikation (Ind) bezüglich der Unsicherheit (o) betreffend die Aussage für alle Kalibrierdaten,
- Erzeugen einer Aussage und zugehörigen Unsicherheit (o) für alle Kalibrierdaten (Ikai) durch Verarbeitung der Kalibrierdaten (Ikai) mittels des neuronalen Netzes (NN) in Übereinstimmung mit Parametern für das neuronale Netz (NN),
- Normieren der erzeugten Unsicherheit (o) für die zumindest eine Aussage (p),
- Vergleichen der normierten, erzeugten Unsicherheit (onor) mit einer ebenfalls und identisch normierten Abweichung der Aussage (p) der Indikation (Ind) unter Verwendung von zumindest einer Fehlerfunktion (Error), wobei für die Fehlerfunktion (Error) zumindest ein Kalibrierungsparameters (pkai) berücksichtigt wird, und
- Optimieren des Kalibrierungsparameters (pkai) auf Grundlage des Vergleichs.
2. Verfahren nach Anspruch 1 , wobei es sich bei dem neuronalen Netz (NN) um ein trainiertes neuronales Netz (NN) handelt.
3. Verfahren nach Anspruch 1 oder 2, wobei es sich bei dem Objektdetektor um einen ankerbasierten, einen zentralpunkt-basierten, einen mehrstufigen, einen einstufigen, einen CNN-basierten oder einen Transformer-basierten Objektdetektor handelt.
4. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei es sich bei der Aussage (p) um eine Aussage über eine Position (P), eine Eigenschaft oder eine geometrische Größe des Objekts (0) handelt.
5. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die Unsicherheit (o) auf eine geometrische Größe des Objekts (0), insbesondere eine Länge, Breite, Höhe, Fläche oder ein Volumen des Objekts (0), normiert wird.
6. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die Indikation (Ind) normiert wird, insbesondere wobei die Indikation (Ind) auf eine geometrische Größe des Objekts (0) normiert wird.
7. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die Parameter des Modells mittels eines Optimierungsverfahrens, insbesondere mittels einer isotonischen Regression, eines Gradientenverfahrens, eines Platt Scaling Verfahrens oder eines Histogram Binning Verfahrens optimiert werden.
8. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei es sich bei der Fehlerfunktion (Error) um eine Distanzmetrik, insbesondere um ein mittleres Abweichungsquadrat oder um eine absolute Abweichung handelt.
9. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei eine Kalibriervorschrift (KAL) ermittelt wird, mittels welcher zumindest eine mittels des neuronalen Netztes (NN) ermittelte Unsicherheit (o) kalibriert wird.
10. Verfahren, insbesondere computer-implementiertes Verfahren, zur Detektion zumindest eines Objektes (0) mittels eines Objektdetektors umfassend ein nach zumindest einem der vorherigen Ansprüche kalibriertes neuronales Netz (NN), umfassend die Verfahrensschritte: - Erfassen von Eingangsdaten (Input) umfassend zumindest eine Information über das zumindest eine Objekt (0),
- Bereitstellen der Eingangsdaten (Input) als Input für das kalibrierte neuronale Netz, welches neuronale Netz dazu (NN) ausgestaltet ist, anhand des Inputs zumindest eine Aussage (p) über das Objekt (0) und zumindest eine der Aussage zugeordnete Unsicherheit (o) auszugeben,
- Normieren der Unsicherheit (o),
- Kalibrieren der normierten Unsicherheit (Onor), und
- Ausgeben der Aussage (p) und der kalibrierten, normierten Unsicherheit (Okal ,nor ) für die Aussage (p).
11 . Verfahren nach Anspruch 10, wobei eine kalibrierte, absolute Unsicherheit ermittelt und ausgegeben wird.
12. Verwendung des Verfahrens nach Anspruch 10 oder 11 oder des Verfahrens nach einem der Ansprüche 1 -9 für ein Fahrerassistenzsystem.
13. Computerprogramm mit Anweisungen, die, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer veranlassen, das Verfahren nach einem der Ansprüche 10 oder 11 oder das Verfahren nach einem der Ansprüche 1 -9 auszuführen.
14. Computerprogrammprodukt, auf welchem das Computerprogramm nach Anspruch 13 gespeichert ist.
PCT/EP2024/057366 2023-03-31 2024-03-20 Kalibrierung der unsicherheit eines objektdetektors Ceased WO2024200136A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202480022480.3A CN120917458A (zh) 2023-03-31 2024-03-20 对对象检测器不确定性的校准

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023203027.6 2023-03-31
DE102023203027.6A DE102023203027A1 (de) 2023-03-31 2023-03-31 Kalibrierung der Unsicherheit eines Objektdetektors

Publications (1)

Publication Number Publication Date
WO2024200136A1 true WO2024200136A1 (de) 2024-10-03

Family

ID=90571649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/057366 Ceased WO2024200136A1 (de) 2023-03-31 2024-03-20 Kalibrierung der unsicherheit eines objektdetektors

Country Status (3)

Country Link
CN (1) CN120917458A (de)
DE (1) DE102023203027A1 (de)
WO (1) WO2024200136A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019217300A1 (de) 2019-11-08 2021-05-12 Robert Bosch Gmbh Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes
DE102020215859A1 (de) 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern einer Kamera bei Regen, Lichteinfall und Verschmutzung
DE102020215860A1 (de) 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern eines Rundumsichtkamerasystems bei Regen, Lichteinfall und Verschmutzung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019217300A1 (de) 2019-11-08 2021-05-12 Robert Bosch Gmbh Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes
DE102020215859A1 (de) 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern einer Kamera bei Regen, Lichteinfall und Verschmutzung
DE102020215860A1 (de) 2020-12-15 2022-06-15 Conti Temic Microelectronic Gmbh Korrektur von Bildern eines Rundumsichtkamerasystems bei Regen, Lichteinfall und Verschmutzung

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BHATT DHAIVAT ET AL: "f-Cal: Aleatoric uncertainty quantification for robot perception via calibrated neural regression", 2022 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 23 May 2022 (2022-05-23), pages 6533 - 6539, XP034146633, DOI: 10.1109/ICRA46639.2022.9811903 *
DI FENG ET AL: "Towards Safe Autonomous Driving: Capture Uncertainty in the Deep Neural Network For Lidar 3D Vehicle Detection", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 14 April 2018 (2018-04-14), XP081551113 *
M-H. LAVES ET AL.: "Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference", ARXIV: 1909.13550, 2019
V. KULESHOV ET AL.: "Accurate Uncertainties for Deep Learning Using Calibrated Regression", ARXIV: 1807.00263, 2018

Also Published As

Publication number Publication date
CN120917458A (zh) 2025-11-07
DE102023203027A1 (de) 2024-10-02

Similar Documents

Publication Publication Date Title
DE102020214283A1 (de) Vorrichtung zur erkennung von hindernissen, fahrzeugsystem mit dieser und verfahren dafür
DE112014002019B4 (de) Kurvenformmodelliereinrichtung, Fahrzeuginformationsverarbeitungssystem, Kurvenformmodellierverfahren und Kurvenformmodellierprogramm
DE112009000480T5 (de) Dynamische Objektklassifikation
DE102011119767A1 (de) Erscheinungsbild-gestützte vereinigung von kamera- undentfernungssensordaten für mehrere objekte
DE102021201445A1 (de) Computerimplementiertes Verfahren zum Testen der Konformität zwischen realen und synthetischen Bildern für maschinelles Lernen
WO2020061603A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
DE102018124979A1 (de) Fahrerassistenzsystem zur Bestimmung einer Entfernung zwischen zwei Fahrzeugen mit einer Kamera
DE102024100521A1 (de) Bildgestützte generierung von beschreibenden und wahrnehmungs-nachrichten von automobilszenen
DE102023129628A1 (de) System zur durchgängigen modellierung von wahrnehmungsstörungen eines fahrzeugs
EP3961479A1 (de) Verfahren und vorrichtung zur klassifizierung von targets
DE102022127740A1 (de) System und Verfahren zum dynamischen Dimensionieren von Fahrzeug und Anhänger aus Schattenprofilen
DE102022120140B4 (de) Verfahren und Steuervorrichtung zum Vorgeben eines Objektzustands eines Objekts in einem Umfeld einer Umfelderfassungseinrichtung
DE102024205413A1 (de) Automatische identifizierung der fehlsignaturen für autonome fahranwendungen
DE102023203027A1 (de) Kalibrierung der Unsicherheit eines Objektdetektors
WO2024200137A1 (de) Kalibrierung von unsicherheiten von neuronalen netzen
DE102018213132A1 (de) Nicht-überwachtes oder teilüberwachtes Lernen eines Klassifikators für die Umfeld-Erfassung eines Fahrzeugs
DE102012008780A1 (de) Verfahren und Einrichtung zur Erfassung wenigstens eines Fahrbahnrandes und Kraftfahrzeug
DE102021133977A1 (de) Verfahren und System zur Klassifikation von Szenarien eines virtuellen Tests sowie Trainingsverfahren
DE102019220615A1 (de) Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten
DE102024104360B4 (de) Fahrzeugsystem für ein fahrzeug zum vorhersagen einer zukünftigen anwesenheit eines fussgängers auf einer strasse
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
DE102023207709A1 (de) Verbesserung der Aussagegenauigkeit eines neuronalen Netzes
DE102024210706A1 (de) Objektdetektion mit Distanzbestimmung
DE102024203903A1 (de) Verfahren zum Trainieren eines Maschinenlernmodells für eine Detektionsanwendung in einem Fahrzeug
DE102024204250A1 (de) Verfahren zum Trainieren eines Maschinenlernmodells für eine Detektion von Verkehrslinienmarkierungen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24715073

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202480022480.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112024001575

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 202480022480.3

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 24715073

Country of ref document: EP

Kind code of ref document: A1