WO2023131715A1 - Schätzen eines bewegungszustands eines fahrzeugs aus kameradaten mithilfe von maschinellem lernen - Google Patents

Schätzen eines bewegungszustands eines fahrzeugs aus kameradaten mithilfe von maschinellem lernen Download PDF

Info

Publication number
WO2023131715A1
WO2023131715A1 PCT/EP2023/050391 EP2023050391W WO2023131715A1 WO 2023131715 A1 WO2023131715 A1 WO 2023131715A1 EP 2023050391 W EP2023050391 W EP 2023050391W WO 2023131715 A1 WO2023131715 A1 WO 2023131715A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
state
camera
movement
Prior art date
Application number
PCT/EP2023/050391
Other languages
English (en)
French (fr)
Inventor
Simon Weissenmayer
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023131715A1 publication Critical patent/WO2023131715A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for estimating a state of motion of a vehicle. Furthermore, the invention relates to a control device and a computer program for executing such a method and a computer-readable medium on which such a computer program is stored.
  • Measurement data from low-cost inertial sensors such as those used to detect a movement state of a vehicle, often contain measurement errors that can increase as a result of temperature changes.
  • the measurement data can be corrected using a so-called strapdown calculation, for example. Integration errors can occur over a longer period of time, which can lead to inaccuracies in the determination of speed or angle of rotation values. For this reason, additional position data from a global navigation satellite system and/or measurement data from one or more wheel speed sensors are often used in order to correct the results of the strapdown calculation. The correction can take place in a Kalman filter, for example.
  • Embodiments of the present invention enable a highly accurate estimation of a movement state of a vehicle based on camera data, without sensor data from an additional sensor system, such as an inertial sensor or a satellite-based positioning sensor, being absolutely necessary for this purpose.
  • a first aspect of the invention relates to a computer-implemented method for estimating a state of motion of a vehicle, which is equipped with one or more cameras for capturing an environment of the vehicle.
  • the method includes at least the following steps: (i) receiving camera data generated by the camera; (ii) inputting the camera data into an algorithm which has been trained with historical camera data and reference movement data associated with the historical camera data in order to convert the camera data into movement data which describes a current movement state of the vehicle; and (iii) determining an estimated motion state of the vehicle from the motion data by a state estimator.
  • the camera data in step (i) may be received in a plurality of consecutive journals, with steps (ii) through (iii) being performed in each journal.
  • the movement data in a current magazine can be entered into the state estimator in order to obtain estimated data in the current magazine which describe the estimated movement state of the vehicle in relation to a magazine following the current magazine.
  • the estimated data can include, for example, values for an estimated speed and/or an estimated angle of rotation of the vehicle in relation to one or more spatial axes.
  • the state estimator can be, for example, a Kalman filter, a variant of a Kalman filter, a particle filter or a combination of at least two of these examples.
  • “Algorithm” can be understood as a classification and/or regression algorithm configured using a machine learning method to match a specific image as captured by a camera, i.e. a two or more dimensional matrix of specific color and /or brightness values, and/or a sequence of at least two such images, to assign one or more estimated values for at least one movement variable that is suitable for characterizing the current movement state of the vehicle.
  • a suitable movement variable can be, for example, an acceleration, rate of rotation, speed or an angle of rotation.
  • the movement variables can each be related to one, two or three different spatial axes of a coordinate system in which the vehicle is moving and/or which is moving with the vehicle.
  • the historical camera data may have been provided by one or more real cameras, for example by the vehicle's camera and/or at least one other camera of at least one other vehicle. However, the historical camera data can also come from a simulation of the camera, the vehicle and/or the surroundings of the vehicle.
  • the reference movement data can include, for example, speed values, acceleration values, rotation angle values and/or rotation rate values, which can be assigned to images in the historical camera data.
  • the method can be executed automatically by a processor of a control device of the vehicle, for example.
  • the control unit can also be configured to carry out a satellite-supported navigation function and/or one or more driver assistance functions such as ABS or ESP, with which the vehicle can be steered, accelerated and/or braked depending on the estimated state of motion.
  • the vehicle can include a corresponding actuator, for example in the form of a steering actuator, a brake actuator, an engine control unit, an electric drive motor or a combination of at least two of these examples.
  • the vehicle may be an automobile, such as a car, truck, bus, or motorcycle.
  • the vehicle can be driven by a human or be moved fully or partially autonomously.
  • a vehicle can also mean an airplane, a ship, a crane or an autonomous, mobile robot can be understood.
  • the method described above and below can be used to estimate the movement state of a hook of the crane.
  • the camera can be built into a front, rear and/or side area of the (motor) vehicle, for example.
  • the camera can be a component of a smartphone or smartwatch.
  • a second aspect of the invention relates to a control device that includes a processor that is configured to execute the method described above and below.
  • the control unit can include hardware and/or software modules.
  • the control unit can include a memory and data communication interfaces for data communication with peripheral devices.
  • Features of the method can also be understood as features of the control unit and vice versa.
  • the computer program includes instructions which, when the computer program is executed by the processor, cause a processor to carry out the method described above and below.
  • the computer-readable medium can be volatile or non-volatile data storage.
  • the computer-readable medium can be a hard drive, USB storage device, RAM, ROM, EPROM, or flash memory.
  • the computer-readable medium can also be a data communication network such as the Internet or a data cloud (cloud) enabling a download of a program code.
  • the movement data can indicate a current speed, a current acceleration, a current angle of rotation and/or a current rate of rotation of the vehicle.
  • the state estimator can determine an estimated speed and/or an estimated turning angle of the vehicle.
  • the camera data can include color values and/or brightness values, which can be converted by the algorithm into estimated values for the movement variables mentioned above.
  • the movement data can also indicate variances with regard to the current movement status. Additionally or alternatively, the state estimator can also determine variances with regard to the estimated state of motion.
  • the movement data can include current values for one or more movement variables, with each current value being able to be assigned a corresponding variance value and/or at least one other statistical value that quantifies an uncertainty with regard to the respective value. These variances can be evaluated by the state estimator in order to determine the estimated state of motion even more precisely. But he can
  • State estimators determine estimated variances that can be taken into account when determining the estimated motion state and/or can be output by the state estimator for external further processing.
  • the state estimator can be a Kalman filter.
  • Kalman filter can also be understood to mean a variant of a Kalman filter, such as an extended Kalman filter or an unscented Kalman filter, or a combination of at least two such variants. The estimated state of motion can thus be determined particularly efficiently.
  • the algorithm may be an artificial neural network.
  • the artificial neural network can comprise, for example, a multi-layer perceptron, a convolutional neural network and/or an LSTM (long short-term memory) architecture.
  • the current state of motion of the vehicle can thus be determined very precisely. In particular, the determination can be made more precisely than would be the case with conventional inertial sensors. For example, inaccuracies due to measurement errors, which are typical for inertial sensors, can thus be avoided become.
  • the estimated state of motion of the vehicle can be determined by the state estimator in a correspondingly more precise manner.
  • a cost function that quantifies a deviation between the motion data and the reference motion data may have been minimized to train the algorithm.
  • the cost function can be a likelihood function, in particular a log likelihood function.
  • the algorithm may have been optimized taking into account uncertainties related to the input and/or output data of the algorithm and/or the reference motion data against which the output data is compared.
  • the algorithm can, for example, have been optimized in a gradient method by backpropagation. Optimization using normal equations is also possible. The method can thus be further improved.
  • the reference movement data may have been generated by an inertial sensor, a satellite-based positioning sensor and/or a wheel speed sensor.
  • the reference movement data can have been provided by a particularly high-quality and correspondingly precise inertial sensor, which is usually not installed in a vehicle for cost reasons.
  • the motion state of the vehicle can be estimated with an accuracy that is at least as high as when the motion data is provided by such a high-quality inertial sensor, but without the inertial sensor actually having to be installed in the vehicle.
  • additional sensor data generated by an additional sensor system of the vehicle can be received and entered into the state estimator.
  • the accuracy of the method can be increased.
  • the reliability of the system can be increased in this way. For example, the estimated state of motion can still be determined if the camera fails or is impaired in its function.
  • the additional sensor system can include at least one inertial sensor, a satellite-based positioning sensor and/or a wheel speed sensor.
  • a significantly more cost-effective sensor system can be used to provide the sensor data than if the estimated state of motion is determined exclusively from the sensor data, ie without the motion data obtained from the camera data.
  • this enables a prognosis and correction of the sensor data based on the camera data. For example, errors in the output data of an inertial sensor can thus be reliably detected.
  • FIG. 1 shows a vehicle with a vehicle system that includes a camera and a controller according to an embodiment of the invention.
  • FIG. 2 shows the vehicle system from FIG. 1 in detail.
  • Figure 3 illustrates an artificial neural network algorithm for use in a method according to an embodiment of the invention.
  • FIG. 1 shows a vehicle 1 that is equipped with a vehicle system 3 consisting of a camera 5 for capturing an environment of the vehicle 1 and a control unit 7 for evaluating camera data 8 of the camera 5 in a method described below.
  • vehicle system 3 consisting of a camera 5 for capturing an environment of the vehicle 1 and a control unit 7 for evaluating camera data 8 of the camera 5 in a method described below.
  • control unit 7 includes a machine learning algorithm 10, hereinafter referred to as algorithm 10, which was trained with historical camera data and reference movement data in order to Convert camera data 8 into motion data 12 that includes values for one or more motion variables.
  • algorithm 10 a machine learning algorithm
  • reference movement data can include reference values for this movement variable(s), which can be temporally correlated in a suitable manner with the historical camera data.
  • Algorithm 10 is implemented here as an example as an artificial neural network, the basic structure of which is shown in FIG.
  • the network comprises an input layer 15, into which the camera data 8 is entered, and an output layer 17 with a plurality of output neurons 19, which output the movement data 12, here values for a longitudinal speed v x , a transverse speed v y , a vertical speed v z , a longitudinal acceleration a x , a lateral acceleration a y , a vertical acceleration a z , a roll angle ⁇ , a pitch angle ⁇ , a yaw angle ⁇ , a roll rate ⁇ x , a pitch rate ⁇ y and a yaw rate ⁇ z .
  • the input layer 15 and the output layer 17 are linked to one another via a plurality of consecutive intermediate layers 21, each of which can include a plurality of neurons with trainable weights, the outputs of an intermediate layer 21 being entered as inputs in the subsequent intermediate layer 21 in each case.
  • the algorithm 10 can output uncertainties for each of the aforementioned movement variables, for example in the form of corresponding variances
  • a state estimator 23 for example a Kalman filter, runs on the control unit 7, which receives the movement data 12 from the algorithm 10 in each time step and uses it to generate estimated data 25, which describe an estimated movement state of the vehicle 1 at a future point in time following the respective point in time.
  • Estimated data 25 can be made available, for example, to an ABS module 27, an ESP module 28 and/or a navigation module 29 for satellite-supported navigation of vehicle 1 based on sensor data 31 from a corresponding location sensor 33 .
  • Sensor data 35 of an inertial sensor 37 of the vehicle 1 is entered.
  • the Sensor data 35 and the camera data 12 can be temporally correlated with one another in a suitable manner.
  • the algorithm 10 calculates the first 8 from the camera data
  • Model values z [v x,k v y,k v z,k ⁇ k ⁇ k ] T comprising first velocity values [v x,k v y,k v z,k ] T and first roll, pitch and yaw angle values [ ⁇ k ⁇ k ⁇ k ] T .
  • u and the second model values can be derived from the first further model values , comprising second roll, pitch and yaw angle values the second model values of the subsequent time step k+1, comprising second velocity values and second roll, pitch and yaw angle values , by discrete integration over the
  • time dt can be calculated:
  • the first model values can be used to correct the second model values.
  • the correction can be done using a Kalman filter.
  • data from an inertial sensor 37 such as angular velocities, accelerations and possibly an inclination angle, and additional data from a satellite navigation system 33, such as velocities and possibly an inclination angle, can be used as a reference.
  • the algorithm 10 can then output the first model values and the first further model values.
  • the algorithm 10 can be performed using the respective outputs ⁇ k ⁇ ⁇ v x,k , v y,k , ... ⁇ z,k ⁇ and and the associated reference values ⁇ ref;k ⁇ ⁇ v x,ref,k , V y,ref,k , ... ⁇ z,ref,k ⁇ and be trained so that the two-fold negative log-likelihood function is minimized over a total of n calculation steps k.
  • layers with recurrent calculations such as GRU (gated recurrent unit) or LSTM, convolutional layers and in particular layers with stochastic neurons can be used.
  • GRU gated recurrent unit
  • LSTM convolutional layers and in particular layers with stochastic neurons can be used.
  • the variance outputs of the algorithm 10 can be used to perform the correction of the second model values particularly well using the first model values.
  • associated second confidence values can also be calculated.
  • the linearized strapdown model can be used to predict the Kalman filter states or the second model values and to predict the Kalman filter covariance matrix with and are used, with the resulting covariances also being taken into account can be predicted on the off-diagonals of the covariance matrix P.
  • the covariance matrix can also be corrected as follows:

Abstract

Ein Verfahren zum Schätzen eines Bewegungszustands eines Fahrzeugs (1), das mit einer Kamera (5) zum Erfassen einer Umgebung des Fahrzeugs (1) ausgestattet ist, umfasst: Empfangen von Kameradaten (8), die von der Kamera (5) erzeugt wurden; Eingeben der Kameradaten (8) in einen Algorithmus (10), der mit historischen Kameradaten und den historischen Kameradaten zugeordneten Referenzbewegungsdaten trainiert wurde, um die Kameradaten (8) in Bewegungsdaten (12) umzuwandeln, die einen aktuellen Bewegungszustand des Fahrzeugs (1) beschreiben; und Bestimmen eines geschätzten Bewegungszustands des Fahrzeugs (1) aus den Bewegungsdaten (12) durch einen Zustandsschätzer (23).

Description

Titel
Schätzen eines Bewegungszustands eines Fahrzeugs aus Kameradaten mithilfe von maschinellem Lernen
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Schätzen eines Bewegungszustands eines Fahrzeugs. Des Weiteren betrifft die Erfindung ein Steuergerät und ein Computerprogramm zum Ausführen eines solchen Verfahrens und ein computerlesbares Medium, auf dem ein solches Computerprogramm gespeichert ist.
Stand der Technik
Messdaten kostengünstiger Inertialsensoren, wie sie zum Erfassen eines Bewegungszustands eines Fahrzeugs eingesetzt werden, enthalten häufig Messfehler, die sich infolge von Temperaturänderungen verstärken können. Um die Messfehler klein zu halten, können die Messdaten beispielsweise mithilfe einer sogenannten Strapdown-Rechnung korrigiert werden. Dabei können über einen längeren Zeitraum hinweg Integrationsfehler auftreten, die zu Ungenauigkeiten bei der Bestimmung von Geschwindigkeits- oder Drehwinkelwerten führen können. Aus diesem Grund werden häufig zusätzlich Positionsdaten eines globalen Navigationssatellitensystems und/oder Messdaten eines oder mehrerer Raddrehzahlsensoren herangezogen, um die Ergebnisse der Strapdown-Rechnung zu korrigieren. Die Korrektur kann beispielsweise in einem Kalman-Filter stattfinden.
Offenbarung der Erfindung
Vor diesem Hintergrund werden nachstehend ein Verfahren zum Schätzen eines Bewegungszustands eines Fahrzeugs, ein entsprechendes Steuergerät, ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Medium gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
Vorteile der Erfindung
Ausführungsformen der vorliegenden Erfindung ermöglichen eine hochgenaue Schätzung eines Bewegungszustands eines Fahrzeugs basierend auf Kameradaten, ohne dass hierzu Sensordaten einer zusätzlichen Sensorik, etwa eines Inertialsensors oder eines satellitengestützten Ortungssensors, zwingend erforderlich sind.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Schätzen eines Bewegungszustands eines Fahrzeugs, das mit einer oder mehreren Kameras zum Erfassen einer Umgebung des Fahrzeugs ausgestattet ist. Das Verfahren umfasst zumindest die folgenden Schritte: (i) Empfangen von Kameradaten, die von der Kamera erzeugt wurden; (ii) Eingeben der Kameradaten in einen Algorithmus, der mit historischen Kameradaten und den historischen Kameradaten zugeordneten Referenzbewegungsdaten trainiert wurde, um die Kameradaten in Bewegungsdaten umzuwandeln, die einen aktuellen Bewegungszustand des Fahrzeugs beschreiben; und (iii) Bestimmen eines geschätzten Bewegungszustands des Fahrzeugs aus den Bewegungsdaten durch einen Zustandsschätzer.
Beispielsweise können die Kameradaten in Schritt (i) in mehreren aufeinanderfolgenden Zeitschriften empfangen werden, wobei in jedem Zeitschrift Schritt (ii) bis (iii) ausgeführt werden. Beispielsweise können die Bewegungsdaten in einem aktuellen Zeitschrift in den Zustandsschätzer eingegeben werden, um Schätzdaten im aktuellen Zeitschrift zu erhalten, die den geschätzten Bewegungszustand des Fahrzeugs zu einem dem aktuellen Zeitschrift nachfolgenden Zeitschrift beschreiben. Dabei können die Schätzdaten beispielsweise Werte für eine geschätzte Geschwindigkeit und/oder einen geschätzten Drehwinkel des Fahrzeugs in Bezug auf eine oder mehrere Raumachsen umfassen.
Der Zustandsschätzer kann beispielsweise ein Kalman-Filter, eine Variante eines Kalman-Filters, ein Partikelfilter oder eine Kombination aus mindestens zwei dieser Beispiele sein. Unter „Algorithmus“ kann ein Klassifikations- und/oder Regressionsalgorithmus verstanden werden, der mit einer Methode des maschinellen Lernens konfiguriert wurde, um einem bestimmten Bild, wie es von einer Kamera aufgenommen wird, d. h. einer zwei- oder mehrdimensionalen Matrix aus bestimmten Färb- und/oder Helligkeitswerten, und/oder einer Folge mindestens zweier solcher Bilder, einen oder mehrere Schätzwerte für mindestens eine Bewegungsgröße, die geeignet ist, um den aktuellen Bewegungszustand des Fahrzeugs zu charakterisieren, zuzuordnen. Eine geeignete Bewegungsgröße kann beispielsweise eine Beschleunigung, Drehrate, Geschwindigkeit oder ein Drehwinkel sein. Die Bewegungsgrößen können jeweils auf eine, zwei oder drei verschiedene Raumachsen eines Koordinatensystems, in dem sich das Fahrzeug bewegt und/oder das sich mit dem Fahrzeug bewegt, bezogen sein.
Die historischen Kameradaten können von einer oder mehreren realen Kameras bereitgestellt worden sein, beispielsweise von der Kamera des Fahrzeugs und/oder mindestens einer anderen Kamera mindestens eines anderen Fahrzeugs. Die historischen Kameradaten können aber auch aus einer Simulation der Kamera, des Fahrzeugs und/oder der Umgebung des Fahrzeugs stammen. Die Referenzbewegungsdaten können beispielsweise Geschwindigkeitswerte, Beschleunigungswerte, Drehwinkelwerte und/oder Drehratenwerte umfassen, die Bildern in den historischen Kameradaten zugeordnet sein können.
Das Verfahren kann beispielsweise automatisch durch einen Prozessor eines Steuergeräts des Fahrzeugs ausgeführt werden. Das Steuergerät kann zusätzlich konfiguriert sein, um eine satellitengestützte Navigationsfunktion und/oder eine oder mehrere Fahrerassistenzfunktionen wie beispielsweise ABS oder ESP auszuführen, mit denen das Fahrzeug in Abhängigkeit vom geschätzten Bewegungszustand gelenkt, beschleunigt und/oder abgebremst werden kann. Hierzu kann das Fahrzeug eine entsprechende Aktorik umfassen, beispielsweise in Form eines Lenkaktors, eines Bremsaktors, eines Motorsteuergeräts, eines elektrischen Antriebsmotors oder einer Kombination aus mindestens zwei dieser Beispiele.
Das Fahrzeug kann ein Kraftfahrzeug sein, etwa in Form eines Pkw, Lkw, Busses oder eines Motorrads. Das Fahrzeug kann von einem Menschen geführt sein oder ganz oder teilweise autonom bewegt werden. Im weiteren Sinn kann unter einem Fahrzeug auch ein Flugzeug, ein Schiff, ein Kran oder ein autonomer, mobiler Roboter verstanden werden. Beispielsweise kann das vor- und nachstehend beschriebene Verfahren genutzt werden, um den Bewegungszustand eines Hakens des Krans zu schätzen.
Die Kamera kann beispielsweise in einen Front-, Heck- und/oder Seitenbereich des (Kraft-)Fahrzeugs eingebaut sein. Alternativ kann es sich bei der Kamera um eine Komponente eines Smartphones oder einer Smartwatch handeln.
Ein zweiter Aspekt der Erfindung betrifft ein Steuergerät, das einen Prozessor umfasst, der konfiguriert ist, um das vor- und nachstehend beschriebene Verfahren auszuführen. Das Steuergerät kann Hardware- und/oder Softwaremodule umfassen. Zusätzlich zum Prozessor kann das Steuergerät einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des Verfahrens können auch als Merkmale des Steuergeräts aufgefasst werden und umgekehrt.
Weitere Aspekte der Erfindung betreffen ein Computerprogramm und ein computerlesbares Medium, auf dem das Computerprogramm gespeichert ist.
Das Computerprogramm umfasst Befehle, die einen Prozessor bei Ausführung des Computerprogramms durch den Prozessor veranlassen, das vor- und nachstehend beschriebene Verfahren auszuführen.
Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann das computerlesbare Medium eine Festplatte, ein USB-Speichergerät, ein RAM, ROM, EPROM oder Flash-Speicher sein. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.
Merkmale des vor- und nachstehend beschriebenen Verfahrens können auch als Merkmale des Computerprogramms und/oder des computerlesbaren Mediums aufgefasst werden und umgekehrt.
Mögliche Merkmale und Vorteile von Ausführungsformen der Erfindung können unter anderem, und ohne die Erfindung einzuschränken, als auf den nachstehend beschriebenen Ideen und Erkenntnissen beruhend angesehen werden. Gemäß einer Ausführungsform können die Bewegungsdaten eine aktuelle Geschwindigkeit, eine aktuelle Beschleunigung, einen aktuellen Drehwinkel und/oder eine aktuelle Drehrate des Fahrzeugs anzeigen. Zusätzlich oder alternativ kann der Zustandsschätzer eine geschätzte Geschwindigkeit und/oder einen geschätzten Drehwinkel des Fahrzeugs bestimmen. Wie bereits erwähnt, können die Kameradaten Farbwerte und/oder Helligkeitswerte umfassen, die vom Algorithmus in Schätzwerte für die vorgenannten Bewegungsgrößen umgesetzt werden können.
Gemäß einer Ausführungsform können die Bewegungsdaten zusätzlich Varianzen bezüglich des aktuellen Bewegungszustands anzeigen. Zusätzlich oder alternativ kann der Zustandsschätzer zusätzlich Varianzen bezüglich des geschätzten Bewegungszustands bestimmen. Beispielsweise können die Bewegungsdaten aktuelle Werte für eine oder mehrere Bewegungsgrößen umfassen, wobei jedem aktuellen Wert ein entsprechender Varianzwert und/oder mindestens ein sonstiger statistischer Wert, der eine Unsicherheit bezüglich des jeweiligen Werts quantifiziert, zugeordnet sein kann. Diese Varianzen können vom Zustandsschätzer ausgewertet werden, um den geschätzten Bewegungszustand noch genauer zu bestimmen. Dabei kann der
Zustandsschätzer geschätzte Varianzen bestimmen, die bei der Bestimmung des geschätzten Bewegungszustands berücksichtigt und/oder zur externen Weiterverarbeitung vom Zustandsschätzer ausgegeben werden können.
Gemäß einer Ausführungsform kann der Zustandsschätzer ein Kalman-Filter sein. Unter dem Begriff „Kalman-Filter“ kann auch eine Variante eines Kalman- Filters, etwa ein extended Kalman filter oder ein unscented Kalman filter, oder eine Kombination aus mindestens zwei solcher Varianten verstanden werden. Damit kann der geschätzte Bewegungszustand besonders effizient bestimmt werden.
Gemäß einer Ausführungsform kann der Algorithmus ein künstliches neuronales Netz sein. Das künstliche neuronale Netz kann beispielsweise ein mehrlagiges Perzeptron, ein faltendes neuronales Netz (convolutional neural network) und/oder eine LSTM-Architektur (long short-term memory) umfassen. Damit kann der aktuelle Bewegungszustand des Fahrzeugs sehr genau bestimmt werden. Insbesondere kann die Bestimmung genauer erfolgen, als dies mit gängigen Inertialsensoren der Fall wäre. Beispielsweise können damit Ungenauigkeiten aufgrund von Messfehlern, wie sie für Inertialsensoren typisch sind, vermieden werden. Entsprechend genauer kann der geschätzte Bewegungszustand des Fahrzeugs vom Zustandsschätzer bestimmt werden.
Gemäß einer Ausführungsform kann zum Trainieren des Algorithmus eine Kostenfunktion, die eine Abweichung zwischen den Bewegungsdaten und den Referenzbewegungsdaten quantifiziert, minimiert worden sein. Dabei kann die Kostenfunktion eine Likelihood-Funktion, insbesondere eine Log-Likelihood- Funktion, sein. Anders ausgedrückt kann der Algorithmus unter Berücksichtigung von Unsicherheiten bezüglich der Ein- und/oder Ausgabedaten des Algorithmus und/oder der Referenzbewegungsdaten, mit denen die Ausgabedaten verglichen werden, optimiert worden sein. Der Algorithmus kann beispielsweise in einem Gradientenverfahren durch Backpropagation optimiert worden sein. Möglich ist aber auch eine Optimierung mithilfe von Normalgleichungen. Damit kann das Verfahren weiter verbessert werden.
Gemäß einer Ausführungsform können die Referenzbewegungsdaten von einem Inertialsensor, einem satellitengestützten Ortungssensor und/oder einem Raddrehzahlsensor erzeugt worden sein. Beispielsweise können die Referenzbewegungsdaten von einem besonders hochwertigen und entsprechend genauen Inertialsensor bereitgestellt worden sein, der aus Kostengründen in einem Fahrzeug üblicherweise nicht verbaut wird. Anders ausgedrückt kann der Bewegungszustand des Fahrzeugs mit einer Genauigkeit geschätzt werden, die mindestens genauso hoch ist, wie wenn die Bewegungsdaten von einem solchen hochwertigen Inertialsensor bereitgestellt werden, jedoch ohne dass der Inertialsensor tatsächlich im Fahrzeug verbaut zu werden braucht.
Gemäß einer Ausführungsform können zusätzlich Sensordaten, die von einer zusätzlichen Sensorik des Fahrzeugs erzeugt wurden, empfangen und in den Zustandsschätzer eingegeben werden. Auf diese Weise kann die Genauigkeit des Verfahrens erhöht werden. Darüber hinaus kann damit die Ausfallsicherheit des Systems erhöht werden. Beispielsweise kann der geschätzte Bewegungszustand auch dann noch bestimmt werden, wenn die Kamera ausfällt oder in ihrer Funktion beeinträchtigt ist.
Gemäß einer Ausführungsform kann die zusätzliche Sensorik mindestens einen Inertialsensor, einen satellitengestützten Ortungssensor und/oder einen Raddrehzahlsensor umfassen. In diesem Fall kann für die Bereitstellung der Sensordaten eine deutlich kostengünstigere Sensorik verwendet werden, als wenn der geschätzte Bewegungszustand ausschließlich aus den Sensordaten, d. h. ohne den aus den Kameradaten gewonnenen Bewegungsdaten, bestimmt wird. Zudem ermöglicht dies eine Prognose und Korrektur der Sensordaten auf Basis der Kameradaten. Beispielsweise können somit Fehler in den Ausgabedaten eines Inertialsensors zuverlässig erkannt werden.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
Fig. 1 zeigt ein Fahrzeug mit einem Fahrzeugsystem, das eine Kamera und ein Steuergerät gemäß einer Ausführungsform der Erfindung umfasst.
Fig. 2 zeigt das Fahrzeugsystem aus Fig. 1 im Detail.
Fig. 3 veranschaulicht einen Algorithmus in Form eines künstlichen neuronalen Netzes zur Verwendung in einem Verfahren gemäß einer Ausführungsform der Erfindung.
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
Ausführungsformen der Erfindung
Fig. 1 zeigt ein Fahrzeug 1 , das mit einem Fahrzeugsystem 3 bestehend aus einer Kamera 5 zum Erfassen einer Umgebung des Fahrzeugs 1 und einem Steuergerät 7 zum Auswerten von Kameradaten 8 der Kamera 5 in einem nachstehend beschriebenen Verfahren ausgestattet ist.
Fig. 2 zeigt mögliche Komponenten des Fahrzeugsystems 3 bzw. des Steuergeräts 7.
In diesem Beispiel umfasst das Steuergerät 7 einen Machine-Learning- Algorithmus 10, nachfolgend kurz Algorithmus 10 genannt, der mit historischen Kameradaten und Referenzbewegungsdaten trainiert wurde, um die Kameradaten 8 in Bewegungsdaten 12 umzuwandeln, die Werte für eine oder mehrere Bewegungsgrößen umfassen. Dementsprechend können die Referenzbewegungsdaten Referenzwerte für diese Bewegungsgröße(n) umfassen, die mit den historischen Kameradaten in geeigneter Weise zeitlich korreliert sein können.
Der Algorithmus 10 ist hier beispielhaft als ein künstliches neuronales Netz ausgeführt, dessen prinzipieller Aufbau in Fig. 3 gezeigt ist. Das Netz umfasst eine Eingabeschicht 15, in die die Kameradaten 8 eingegeben werden, und eine Ausgabeschicht 17 mit einer Mehrzahl von Ausgabeneuronen 19, die die Bewegungsdaten 12 ausgeben, hier Werte für eine Längsgeschwindigkeit vx, eine Quergeschwindigkeit vy, eine Vertikalgeschwindigkeit vz, eine Längsbeschleunigung ax, eine Querbeschleunigung ay, eine Vertikalbeschleunigung az, einen Rollwinkel Φ, einen Nickwinkel θ, einen Gierwinkel ψ, eine Rollrate ωx, eine Nickrate ωy und eine Gierrate ωz. Die Eingabeschicht 15 und die Ausgabeschicht 17 sind über eine Mehrzahl hintereinanderliegender Zwischenschichten 21 miteinander verknüpft, die jeweils mehrere Neuronen mit trainierbaren Gewichten umfassen können, wobei die Ausgaben einer Zwischenschicht 21 als Eingaben in die jeweils nachfolgende Zwischenschicht 21 eingegeben werden.
Zusätzlich kann der Algorithmus 10 für jede der vorgenannten Bewegungsgrößen Unsicherheiten ausgeben, beispielsweise in Form entsprechender Varianzen
Figure imgf000010_0001
Zudem läuft auf dem Steuergerät 7 ein Zustandsschätzer 23, beispielsweise ein Kalman-Filter, der die Bewegungsdaten 12 vom Algorithmus 10 in jedem Zeitschritt empfängt und daraus Schätzdaten 25 erzeugt, die einen geschätzten Bewegungszustand des Fahrzeugs 1 zu einem dem jeweiligen Zeitpunkt nachfolgenden zukünftigen Zeitpunkt beschreiben. Die Schätzdaten 25 können beispielsweise einem ABS-Modul 27, einem ESP-Modul 28 und/oder einem Navigationsmodul 29 zum satellitengestützten Navigieren des Fahrzeugs 1 basierend auf Sensordaten 31 eines entsprechenden Ortungssensors 33 zur Verfügung gestellt werden.
In diesem Beispiel werden in den Zustandsschätzer 23 zusätzlich
Sensordaten 35 eines Inertialsensors 37 des Fahrzeugs 1 eingegeben. Die Sensordaten 35 und die Kameradaten 12 können dabei in geeigneter Weise zeitlich miteinander korreliert sein.
Im Folgenden wird die Berechnung der Schätzdaten 25 näher erläutert.
Zunächst berechnet der Algorithmus 10 aus den Kameradaten 8 erste
Modellwerte z = [vx,k vy,k vz,k Φk ψk]T umfassend erste Geschwindigkeitswerte [vx,k vy,k vz,k]Tund erste Roll-, Nick- und Gierwinkelwerte [Φk θk ψk]T .
Außerdem berechnet der Algorithmus 10 aus den Kameradaten 8 die ersten weiteren Modellwerte u = [ ax,k ay,k az,k ωx,k ωy,k ωz,k ] , umfassend Beschleunigungswerte [ ax,k ay,k az,k] T und Winkeländerungswerte [ωx,k ωy,k ωz,k]T .
Mithilfe einer Strapdown- oder Kalman-Filter-Rechnung können aus den ersten weiteren Modellwerten u und den zweiten Modellwerten
Figure imgf000011_0001
Figure imgf000011_0002
, umfassend zweite Roll-, Nick- und Gierwinkelwerte die zweiten Modellwerte des nachfolgenden Zeitschritts k + 1, umfassend zweite Geschwindigkeitswerte sowie zweite Roll-, Nick- und Gierwinkelwerte , durch diskrete Integration über die
Figure imgf000011_0003
Zeit dt berechnet werden:
Figure imgf000011_0004
Die ersten Modellwerte können für die Korrektur der zweiten Modellwerte herangezogen werden. Die Korrektur kann mithilfe eines Kalman-Filters erfolgen. Für das Training des Algorithmus 10 können Daten eines Inertialsensors 37, etwa Winkelgeschwindigkeiten, Beschleunigungen und gegebenenfalls ein Neigungswinkel, und zusätzlich Daten eines Satellitennavigationssystems 33, etwa Geschwindigkeiten und gegebenenfalls ein Neigungswinkel, als Referenz verwendet werden. Der Algorithmus 10 kann dann die ersten Modellwerte und die ersten weiteren Modellwerte ausgeben. Darüber hinaus ist es besonders von Vorteil, wenn der Algorithmus 10, wie in Fig. 3 gezeigt, zusätzlich zu jedem ersten Modellwert und jedem ersten weiteren Modellwert einen zugehörigen ersten Konfidenzwert bzw. einen zugehörigen ersten weiteren Konfidenzwert wie etwa eine Varianz σ2 ausgibt. Jeder Ausgabe μ ∈ {u, z} = [vx, vy, ... ωz} ist dann eine zusätzliche Varianzausgabe zugeordnet.
Figure imgf000012_0001
Der Algorithmus 10 kann mithilfe der jeweiligen Ausgaben μk ∈ { vx,k, vy,k, ... ωz,k} und
Figure imgf000012_0002
sowie der zugehörigen Referenzwerte μref;k ∈ {vx,ref,k, Vy,ref,k, ... ωz,ref,k} und
Figure imgf000012_0003
so trainiert werden, dass die zweifach negative Log-Likelihood-Funktion
Figure imgf000012_0004
über insgesamt n Berechnungsschritte k hinweg minimiert wird.
Im künstlichen neuronalen Netz des Algorithmus 10 können Schichten mit rekurrenten Berechnungen wie etwa GRU (gated recurrent unit) oder LSTM, Faltungsschichten und insbesondere Schichten mit stochastischen Neuronen zum Einsatz kommen.
Die Varianzausgaben des Algorithmus 10 können verwendet werden, um die Korrektur der zweiten Modellwerte mithilfe der ersten Modellwerte besonders gut auszuführen. Neben den zweiten Modellwerten können auch zugehörige zweite Konfidenzwerte berechnet werden.
Figure imgf000012_0005
Für die Berechnung der zugehörigen zweiten Konfidenzwerte kann das
Figure imgf000012_0006
Modell
Figure imgf000013_0001
mit den zweiten Modellwerten
Figure imgf000013_0002
und den ersten weiteren Modellwerten u = [ ax ay az ωx ωy ωz]T linearisiert werden zu
Figure imgf000013_0003
mit
Figure imgf000013_0004
Figure imgf000013_0005
und
Figure imgf000013_0006
Das linearisierte Strapdown-Modell kann zur Prädiktion der Kalman-Filter- Zustände bzw. der zweiten Modellwerte
Figure imgf000014_0001
und zur Prädiktion der Kalman-Filter-Kovarianzmatrix
Figure imgf000014_0002
mit
Figure imgf000014_0003
und
Figure imgf000014_0004
herangezogen werden, wobei zusätzlich auch die resultierenden Kovarianzen
Figure imgf000014_0005
auf den Nebendiagonalen der Kovarianzmatrix P prädiziert werden können.
Die Korrektur der zweiten Modellwerte
Figure imgf000014_0007
mithilfe der ersten Modellwerte z = [vx,k vy,k vz,k Φk θk ψk]T kann beim Kalman-Filter mithilfe des Kalman-Gain
Figure imgf000014_0006
mit HT = I und
Figure imgf000015_0001
wie folgt vorgenommen werden:
Figure imgf000015_0002
Die Kovarianzmatrix
Figure imgf000015_0003
kann ebenso wie folgt korrigiert werden:
Figure imgf000015_0004
Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ usw. keine anderen Elemente oder Schritte ausschließen und unbestimmte Artikel wie „ein“ oder „eine“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.

Claims

Ansprüche
1. Verfahren zum Schätzen eines Bewegungszustands eines Fahrzeugs (1), wobei das Fahrzeug (1) mit einer Kamera (5) zum Erfassen einer Umgebung des Fahrzeugs (1) ausgestattet ist, wobei das Verfahren umfasst:
Empfangen von Kameradaten (8), die von der Kamera (5) erzeugt wurden;
Eingeben der Kameradaten (8) in einen Algorithmus (10), der mit historischen Kameradaten und den historischen Kameradaten zugeordneten Referenzbewegungsdaten trainiert wurde, um die Kameradaten (8) in
Bewegungsdaten (12) umzuwandeln, die einen aktuellen Bewegungszustand des Fahrzeugs (1) beschreiben; und
Bestimmen eines geschätzten Bewegungszustands des Fahrzeugs (1) aus den Bewegungsdaten (12) durch einen Zustandsschätzer (23).
2. Verfahren nach Anspruch 1 , wobei die Bewegungsdaten (12) eine aktuelle Geschwindigkeit, eine aktuelle Beschleunigung, einen aktuellen Drehwinkel und/oder eine aktuelle Drehrate des Fahrzeugs (1) anzeigen; und/oder wobei der Zustandsschätzer (23) eine geschätzte Geschwindigkeit und/oder einen geschätzten Drehwinkel des Fahrzeugs (1) bestimmt.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bewegungsdaten (12) zusätzlich Varianzen bezüglich des aktuellen Bewegungszustands anzeigen; und/oder wobei der Zustandsschätzer (23) zusätzlich Varianzen bezüglich des geschätzten Bewegungszustands bestimmt.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Zustandsschätzer (23) ein Kalman-Filter ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Algorithmus (10) ein künstliches neuronales Netz ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Trainieren des Algorithmus (10) eine Kostenfunktion, die eine Abweichung zwischen den Bewegungsdaten (12) und den Referenzbewegungsdaten quantifiziert, minimiert wurde; wobei die Kostenfunktion eine Likelihood-Funktion, insbesondere eine Log- Likelihood-Funktion, ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Referenzbewegungsdaten von einem Inertialsensor (37) und/oder einem satellitengestützten Ortungssensor (33) erzeugt wurden.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich Sensordaten (35), die von einer zusätzlichen Sensorik (37) des Fahrzeugs (1) erzeugt wurden, empfangen und in den Zustandsschätzer (23) eingegeben werden; wobei der Zustandsschätzer (23) den geschätzten Bewegungszustand zusätzlich aus den Sensordaten (35) bestimmt.
9. Verfahren nach Anspruch 8, wobei die zusätzliche Sensorik mindestens einen Inertialsensor (37), einen satellitengestützten Ortungssensor (33) und/oder einen Raddrehzahlsensor umfasst.
10. Steuergerät (7), umfassend einen Prozessor, der konfiguriert ist, um das Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
11. Computerprogramm, umfassend Befehle, die einen Prozessor bei Ausführung des Computerprogramms durch den Prozessor veranlassen, das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
12. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.
PCT/EP2023/050391 2022-01-10 2023-01-10 Schätzen eines bewegungszustands eines fahrzeugs aus kameradaten mithilfe von maschinellem lernen WO2023131715A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022200142.7 2022-01-10
DE102022200142.7A DE102022200142A1 (de) 2022-01-10 2022-01-10 Schätzen eines Bewegungszustands eines Fahrzeugs aus Kameradaten mithilfe von maschinellem Lernen

Publications (1)

Publication Number Publication Date
WO2023131715A1 true WO2023131715A1 (de) 2023-07-13

Family

ID=84982530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/050391 WO2023131715A1 (de) 2022-01-10 2023-01-10 Schätzen eines bewegungszustands eines fahrzeugs aus kameradaten mithilfe von maschinellem lernen

Country Status (2)

Country Link
DE (1) DE102022200142A1 (de)
WO (1) WO2023131715A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116872926A (zh) * 2023-08-16 2023-10-13 北京斯年智驾科技有限公司 一种自动驾驶车道保持方法、系统、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885138A (zh) * 2020-07-16 2020-11-03 广州小鹏车联网科技有限公司 控制方法、车辆和服务器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885138A (zh) * 2020-07-16 2020-11-03 广州小鹏车联网科技有限公司 控制方法、车辆和服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KENDALL ALEX ET AL: "Geometric Loss Functions for Camera Pose Regression with Deep Learning", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE COMPUTER SOCIETY, US, 21 July 2017 (2017-07-21), pages 6555 - 6564, XP033250020, ISSN: 1063-6919, [retrieved on 20171106], DOI: 10.1109/CVPR.2017.694 *
QIMIN XU ET AL: "Vision-IMU Integrated Vehicle Pose Estimation based on Hybrid Multi-Feature Deep Neural Network and Federated Filter", 2021 28TH SAINT PETERSBURG INTERNATIONAL CONFERENCE ON INTEGRATED NAVIGATION SYSTEMS (ICINS), CONCERN CSRI ELEKTROPRIBOR, JSC, 31 May 2021 (2021-05-31), pages 1 - 5, XP033939010 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116872926A (zh) * 2023-08-16 2023-10-13 北京斯年智驾科技有限公司 一种自动驾驶车道保持方法、系统、装置及存储介质

Also Published As

Publication number Publication date
DE102022200142A1 (de) 2023-07-13

Similar Documents

Publication Publication Date Title
DE102017118401B4 (de) Verfahren und system zum durchführen eines autonomen betriebs eines fahrzeugs
DE102017102269A1 (de) Neigungs- und fehlausrichtungsausgleich für 6-dof-imu unter verwendung von gnss-/ins-daten
WO2014040855A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs
DE102013204833A1 (de) Spurhalteassistenz-System und -Verfahren
DE102010033530A1 (de) Verfahren und System zur Fahrspurenmittenführung eines Kraftfahrzeugs
DE102012203909A1 (de) Filterverfahren und Filtervorrichtung für Sensordaten
DE102019118210A1 (de) Vorrichtung und Verfahren zur Kompensation eines Richtungswinkels
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
WO2023131715A1 (de) Schätzen eines bewegungszustands eines fahrzeugs aus kameradaten mithilfe von maschinellem lernen
DE102020101837A1 (de) Verfahren und Vorrichtung zur Ermittlung des Zustands eines Fahrzeugs
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
DE102020200911B3 (de) Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs
DE102017108130A1 (de) Verfahren zur Datenfusion eines Datensatzes, entsprechende Recheneinheit und Fahrzeug welches mit einer entsprechenden Recheneinheit ausgestattet ist sowie Computerprogramm
DE102017220788A1 (de) Verfahren zum Trainieren eines zentralen Künstlichen-Intelligenz-Moduls
DE102019111041A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Schätzwertes des Schwimmwinkels eines Fahrzeugs
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102018219760A1 (de) Kollisionsprädiktionssystem
EP4038463B1 (de) Technik zur totzeitkompensation bei quer- und längsführung eines kraftfahrzeugs
EP2936061B1 (de) Verfahren zum bestimmen von initialdaten für die bestimmung von lagedaten eines fahrzeuges
DE102020105619A1 (de) System und verfahren zur bestimmung der fahrzeugposition
DE102013020558A1 (de) Verfahren zur Fahrwerksregelung und Fahrwerksregelsystem
DE102019216379A1 (de) Verfahren zum Trainieren eines neuronalen Faltungs-Netzwerkes zum Bestimmen einer Lokalisierungs-Pose
DE102019215182A1 (de) Verfahren zur Bestimmung eines Lenkwinkeloffsets
DE102022121602A1 (de) Objektbewegungsbahnprognose
DE102019211327B4 (de) Vorrichtung, Fahrzeug und Verfahren zur verbesserten Multi-Radar-Sensor-Kalibration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23700649

Country of ref document: EP

Kind code of ref document: A1