WO2023222357A1 - Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion - Google Patents

Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion Download PDF

Info

Publication number
WO2023222357A1
WO2023222357A1 PCT/EP2023/061108 EP2023061108W WO2023222357A1 WO 2023222357 A1 WO2023222357 A1 WO 2023222357A1 EP 2023061108 W EP2023061108 W EP 2023061108W WO 2023222357 A1 WO2023222357 A1 WO 2023222357A1
Authority
WO
WIPO (PCT)
Prior art keywords
deviation
motor vehicle
road
determined
environment model
Prior art date
Application number
PCT/EP2023/061108
Other languages
English (en)
French (fr)
Inventor
Frank Keidel
Alexander Born
Tilman Nowak
Sean Brown
Marco Baumgartl
Christian Unger
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2023222357A1 publication Critical patent/WO2023222357A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present disclosure relates to a method for detecting a malfunction of an environment model of an automated driving function.
  • a data processing device is provided which is designed to at least partially carry out the method.
  • an automated motor vehicle that at least partially includes the data processing device is provided.
  • a computer program is provided which includes commands which, when the program is executed by a computer, cause it to at least partially carry out the method.
  • a computer-readable medium is provided which includes instructions which, when the instructions are executed by a computer, cause it to at least partially carry out the method.
  • a test driver who notices such motor vehicle misbehavior makes a note of it and manually starts a data recording to record the incident.
  • This data recording can be analyzed by development and it can be determined which part of the automated driving function is responsible for the misconduct responsible for. However, many manual steps are necessary when recording the data and analyzing it.
  • the reason for the malfunction is traditionally carried out by developers through manual visual analysis of the recorded data.
  • the developers visually compare the road geometry calculated by the environment model with reality (trajectory traveled or camera images).
  • the object of the present disclosure is to provide a device and a method which are each suitable for enriching the prior art described above.
  • the task is then solved by a method for detecting a malfunction of an environment model that is used by an automated driving function of a motor vehicle.
  • the method includes determining a first deviation between a target trajectory determined by the environment model and an actual trajectory driven by the motor vehicle. Additionally or alternatively, the method includes determining a second deviation between a road course determined by the environment model and a road course determined by camera software. The method further includes detecting the malfunction based on the first and/or the second deviation.
  • the method described above can be a computer-implemented method, ie one, several or all steps of the method can be carried out by a computer or a data processing device.
  • An automated driving function can be understood as meaning a function of the motor vehicle that is designed to take over certain parts of or the entire driving task, if necessary together with other automated driving functions, at least temporarily.
  • the environment model can be a so-called road environment model.
  • the environment model can be determined based on sensor data from several, in particular different, sensors in the motor vehicle. For this purpose, the sensor data can be merged.
  • the road environment model can include information about the course of the road and the target trajectory of the motor vehicle.
  • a trajectory can be understood as a path along which the motor vehicle should travel (so-called target trajectory) or actually travels (so-called actual trajectory).
  • the trajectory can also have a temporal component, i.e. when should or is the motor vehicle where.
  • the two options for determining the deviation described above have the common inventive idea of automatically detecting and, if necessary, subsequently analyzing a malfunction of the automated driving function in the area of the (road) environment model.
  • Determining the first deviation between the target trajectory determined by the environment model and the actual trajectory driven by the motor vehicle can involve determining a position and/or a curvature of a center line of a roadway using the environment model as the target trajectory, and determining the first Include deviation based on a deviation between the position and/or curvature of the centerline and a position and/or curvature of the actual trajectory.
  • Determining the second deviation between the road course determined by the environment model and the road course determined by the camera software can involve determining a position and/or a curvature of a road marking and/or a center line of a road using the environment model as a road course, determining a position and/or or curvature of the road marking and/or a center line of the road using the camera software as a road course, and determining the second deviation based on a deviation between the position and/or the curvature of the road marking and/or the center line, which was determined using the environment model ( n), and the position and/or curvature of the road marking and/or the center line determined using the camera software.
  • the method includes determining the existence of a predetermined environmental situation and recognizing that there is no malfunction despite the second deviation.
  • the determination of the first and/or the second deviation can take place during a journey in the motor vehicle, i.e. online, and/or after the journey using a data processing device external to the motor vehicle, i.e. offline.
  • Data used by the automated driving function can be stored in a ring memory if the first and/or second deviation is determined while driving, ie online.
  • the data stored in the ring memory can be sent from the motor vehicle to the data processing device external to the motor vehicle when the malfunction is detected based on the first and/or the second deviation.
  • the malfunction can be detected if the first and/or the second deviation exceeds or exceeds a respective predetermined limit value.
  • the quality assessment can take place both online and offline.
  • An online quality assessment self-monitoring
  • the recorded data can be analyzed automatically or automatically and/or included in a training data collection.
  • the disclosure provides for several measures to automatically detect and analyze incorrect behavior of an automated driving function in the area of the road environment model.
  • the disclosure determines a deviation between the course of the road determined by the automated driving function (road environment model) and the trajectory actually driven.
  • the lateral offset between a center line calculated by the environment model and the actual trajectory driven can be used as a deviation.
  • a deviation can also be calculated based on the steering angle.
  • the deviation can be determined both online in the vehicle and offline.
  • the environment model can have several submodels (lane fusion, crowd trajectories, HD map). With the invention, the individual models can be evaluated.
  • the data recording can also take place when other critical values are detected, e.g. excessive curvatures, particularly small or large track widths, very short or unstable detections of the road markings by the camera, etc.
  • a geometry calculated by the road environment model i.e. an output of the road environment model
  • a geometry of a detection provided by a camera software a lane marking and/or estimated centerline (i.e. an input from the road environment model).
  • a detection can therefore be provided which detects certain special situations (ie predetermined scenarios) in which camera false detections are known to frequently occur.
  • current camera detections can be discarded and not taken into account when calculating the road environment model.
  • the deviation may be intentional.
  • the deviations can also arise from incorrect processing in the environment model despite correct input data. This can be an unwanted deviation, which is an indication of a possible processing error in the environment model.
  • the special situations (scenarios) identified can serve as a criterion to determine the reason for the deviation.
  • driver takeover Another indication of malfunctioning of the road environment model can be the driver taking over control (so-called driver takeover).
  • driver can be asked to take control of the vehicle, e.g. if self-monitoring detects a fault, or the driver can take control on his own initiative, e.g. if the driver detects misconduct.
  • the driver takeover can be used as a trigger for data recording. However, it can also, i.e. additionally or alternatively, serve as a criterion when analyzing the reason for the vehicle's misbehavior.
  • the data recording can use a ring buffer so that when a recording starts, the period before the incident or malfunction is also recorded. This enables the initiation of the deviation to be analyzed.
  • the recorded data can be transferred from the motor vehicle, e.g. from the customer's vehicle, to a cloud (e.g. from the vehicle manufacturer). This makes it possible to determine statistics on the abnormalities, in particular worldwide, from all and/or predetermined customer vehicles.
  • the procedure can therefore be used for error analysis.
  • Statistical evaluation can be used to focus on the most common error patterns.
  • Automated recording can be used to identify geographic hotspots of misconduct.
  • the method can be used to detect a faulty component of the automated driving function (e.g. camera software, lane marking fusion, localization, crowd trajectory map, HD map, etc.).
  • a faulty component of the automated driving function e.g. camera software, lane marking fusion, localization, crowd trajectory map, HD map, etc.
  • Object and/or obstacle information can also be included to determine reasons for the detour or the deviating trajectory.
  • the recorded data can be automatically included in a training database for the automated driving function and/or can be supplied to a supplier of the automated driving function and/or the camera software to improve the automated driving function or the camera software.
  • a device for data processing which includes means for carrying out the method described above.
  • the data processing device can also be referred to as a data processing system or a data processing device.
  • the data processing device can be designed to be at least partially installed in and/or on an automated motor vehicle and/or to be at least partially part of a cloud.
  • the data processing device can be part of a driving assistance system or an automated driving function or can represent and/or execute this.
  • the data processing device can have an intelligent processor-controlled unit, which can communicate with other modules, for example via a central gateway (CGW) and, if necessary, via field buses, such as the CAN bus, LIN bus, MOST bus and FlexRay or via automotive -Ethernet, e.g. together with telematics control devices, can form the vehicle on-board network.
  • CGW central gateway
  • field buses such as the CAN bus, LIN bus, MOST bus and FlexRay or via automotive -Ethernet, e.g. together with telematics control devices, can form the vehicle on-board network.
  • the control unit controls functions relevant to the driving behavior of the motor vehicle, such as the engine control, the power transmission, the braking system and/or the tire pressure monitoring system.
  • driver assistance systems such as a parking assistant, an adapted cruise control (ACC), a lane keeping assistant, a lane change assistant, a traffic sign recognition, a light signal recognition, a starting assistant, a night vision assistant, an emergency braking assistant and / or an intersection assistant, can be used by the Control unit can be controlled.
  • the data processing device controls automated driving of the automated motor vehicle at least partially and/or temporarily based on an output of an environment model.
  • an automated motor vehicle can be provided that has the data processing device described above.
  • the motor vehicle can be a passenger car, in particular an automobile.
  • the automated motor vehicle can be designed to provide longitudinal guidance and/or transverse guidance during automated driving of the motor vehicle at least partially and/or at least temporarily by means of the automated driving function.
  • the automated driving can be controlled at least partially and/or temporarily by the data processing device using the automated driving function.
  • Automated driving can be carried out in such a way that the movement of the motor vehicle is (largely) autonomous.
  • the motor vehicle can be a motor vehicle with autonomy level 0, i.e. the driver takes over the dynamic driving task, even if supporting systems (e.g. ABS or ESP) are present.
  • supporting systems e.g. ABS or ESP
  • the motor vehicle can be a motor vehicle with autonomy level 1, i.e. have certain driver assistance systems that support the driver in operating the vehicle, such as adaptive cruise control (ACC).
  • ACC adaptive cruise control
  • the motor vehicle can be a motor vehicle of autonomy level 2, i.e. be partially automated so that functions such as automatic parking, lane keeping or lateral guidance, general longitudinal guidance, acceleration and/or braking are taken over by driver assistance systems.
  • the motor vehicle can be a motor vehicle of autonomy level 3, i.e. conditionally automated so that the driver does not have to continuously monitor the vehicle system.
  • the motor vehicle independently carries out functions such as triggering the turn signal, changing lanes and/or keeping in lane. The driver can turn his attention to other things, but if necessary the system will ask him to take over within a warning period.
  • the motor vehicle can be a motor vehicle of autonomy level 4, ie so highly automated that the vehicle's guidance is permanently controlled by the vehicle system is taken over. If the system can no longer handle the driving tasks, the driver can be asked to take over the lead.
  • the motor vehicle can be a motor vehicle with autonomy level 5, i.e. so fully automated that the driver is not required to complete the driving task. No human intervention is required other than setting the target and starting the system.
  • a computer program is also provided.
  • the computer program is characterized in that it includes commands which, when the program is executed by a computer, cause it to at least partially carry out the method described.
  • a program code of the computer program can be in any code, in particular in a code that is suitable for motor vehicle controls.
  • a computer-readable medium in particular a computer-readable storage medium, is provided.
  • the computer-readable medium is characterized in that it includes instructions which, when the program is executed by a computer, cause it to at least partially carry out the method described above.
  • a computer-readable medium may be provided that includes a computer program as defined above.
  • the computer-readable medium can be any digital data storage device, such as a USB flash drive, hard drive, CD-ROM, SD card, or SSD card.
  • the computer program does not necessarily have to be stored on such a computer-readable storage medium in order to be made available to the motor vehicle but can also be obtained externally via the Internet or elsewhere.
  • FIG. 1 shows schematically a flowchart of a method for detecting a malfunction of an environment model that is used by an automated driving function of a motor vehicle
  • FIG. 2 schematically shows a first plan view of a roadway level to explain the determination of a first deviation between a target trajectory determined by the environment model and an actual trajectory driven by the motor vehicle
  • FIG. 3 schematically shows a second plan view of a roadway level to explain the determination of a first deviation between a target trajectory determined by the environment model and an actual trajectory driven by the motor vehicle.
  • the method for detecting the malfunction of the environment model which is used by the automated driving function of the motor vehicle, essentially has two steps S1 and S2.
  • a first deviation is determined between a target trajectory determined by the environment model and an actual trajectory driven by the motor vehicle. Additionally or alternatively, a second deviation is determined between a road course determined by the environment model and a road course determined by camera software.
  • Determining the first deviation between the target trajectory determined by the environment model and the actual trajectory driven by the motor vehicle can involve determining a position of a center line of a road using the environment model as the target trajectory and determining the first deviation based on a deviation between the position of the center line and the position of the actual trajectory.
  • the respective deviations between the real trajectory or actual trajectory 1 and the calculated center line t1, t2 of the environment model are then determined at different times at the point or position at which the motor vehicle was at the time the center line was determined.
  • the deviation can be the vertical distance between the actual trajectory 1 and the calculated center line t1, t2 or, as shown in Figure 2, the shortest distance d1 or d2 between the actual trajectory 1 and the calculated center line t1, t2.
  • the distance d1, d2 between these can at least be included in the calculation or determination of the first deviation.
  • a curvature of the center line and a curvature of the actual trajectory can be determined at the respective positions of the motor vehicle and the difference between the curvatures can at least be included in the calculation or determination of the first deviation.
  • a steering angle of the motor vehicle can be used, ie the respective curvature of the center line t1, t2 can be at different points Positions are determined and determined with the actual steering angle of the motor vehicle at the respective position.
  • the center lines of the environment model are pre-processed, e.g. creation of a single global center line from the center lines of several time steps or points in time t1, t2, and the deviation, e.g. the maximum distance between the actual trajectory and this global center line, is determined.
  • a coordinate system of the motor vehicle i.e. a relative coordinate system
  • the current position 2 or actual position of the motor vehicle can be compared with a current target position of the motor vehicle, which lies on the center line t1 and thereby the distance between d1 can be determined. This can happen on an ongoing basis. Determining the first deviation via the relative coordinate system can be particularly suitable if this is determined online while driving and can be done continuously.
  • the center line t1 used for this can be determined in the same journal or in an earlier journal.
  • the curvature of the center line t1 and the current steering angle can also be compared analogously to the manner described above.
  • the center line t1, t2 is determined both by the environment model and by camera software.
  • a position and/or a curvature of the center lines t1, t2 can then be determined using both the camera software and the environment model and a deviation between the position and/or the curvature of the center lines can be determined.
  • the deviation between the center lines for example their lateral offset (see above), can at least be included in the calculation or determination of the second deviation. It would also be conceivable to use a road marking in this way in addition to or as an alternative to the center line.
  • a position and/or a curvature of a road marking can then be determined using both the camera software and the environment model can be determined and a deviation between the position and/or the curvature of the road markings can be determined.
  • the deviation between the road markings for example their lateral offset (see above), can at least be included in the calculation or determination of the second deviation.
  • a second step S2 of the method the malfunction is detected based on the first and/or the second deviation, the malfunction being recognized when the first and/or the second deviation exceeds or exceeds a respective predetermined limit value.
  • the second deviation is not taken into account if it is determined that a predetermined environmental situation exists. This means that a detection can be provided in the automated driving function, which detects predetermined environmental situations or special situations (i.e. predetermined scenarios) in which camera false detections are known to occur frequently. In this case, current camera detections can be discarded and not taken into account when calculating the environment model. In this case, the deviation may be intentional. In such a case, it can therefore be recognized that there is no malfunction despite the second deviation exceeding the limit value.
  • the above-described determination of the first and/or the second deviation can take place during a journey in the motor vehicle and/or after the journey using a data processing device external to the motor vehicle. The same applies to the detection of the malfunction described above based on the first and/or the second deviation.
  • Data used by the automated driving function may be stored in a ring buffer when one or both of these steps occurs while driving.
  • the data stored in the ring memory can be sent from the motor vehicle to the data processing device external to the motor vehicle when the malfunction is detected based on the first and/or the second deviation.
  • the data can be recorded with a recording device, in particular a data logger, during the entire journey or parts thereof, regardless of whether a malfunction is detected, and/or sent to the by Motor vehicle external data processing device is sent, in particular streamed into a backend or a cloud.
  • a recording device in particular a data logger

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Bereitgestellt wird ein Verfahren zum Erkennen einer Fehlfunktion eines Umfeldmodells, das von einer automatisierten Fahrfunktion eines Kraftfahrzeugs genutzt wird, wobei das Verfahren umfasst: Ermitteln einer ersten Abweichung zwischen einer von dem Umfeldmodell ermittelten Soll-Trajektorie und einer von dem Kraftfahrzeug gefahrenen Ist-Trajektorie und/oder einer zweiten Abweichung zwischen einem von dem Umfeldmodell ermittelten Straßenverlauf und einem von einer Kamerasoftware ermittelten Straßenverlauf; und Erkennen der Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung.

Description

VERFAHREN UND VORRICHTUNG ZUM ERKENNEN EINER FEHLFUNKTION EINES UMFELDMODELLS EINER AUTOMATISIERTEN FAHRFUNKTION
Die vorliegende Offenbarung betrifft ein Verfahren zum Erkennen einer Fehlfunktion eines Umfeldmodells einer automatisierten Fahrfunktion. Zusätzlich oder alternativ wird eine Datenverarbeitungsvorrichtung bereitgestellt, die ausgestaltet ist, um das Verfahren zumindest teilweise auszuführen. Zusätzlich oder alternativ wird ein automatisiertes Kraftfahrzeug, das die Datenverarbeitungsvorrichtung zumindest teilweise umfasst, bereitgestellt. Zusätzlich oder alternativ wird ein Computerprogramm bereitgestellt, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen. Zusätzlich oder alternativ wird ein computerlesbares Medium bereitgestellt, das Befehle umfasst, die bei der Ausführung der Befehle durch einen Computer diesen veranlassen, das Verfahren zumindest teilweise auszuführen.
Bei einer automatisierten Fahrfunktion eines Kraftfahrzeugs ist es für einen Fahrer des Kraftfahrzeugs störend, wenn das Kraftfahrzeug eine Geometrie einer Straße bzw. den Straßenverlauf fehlerhaft erfasst und das Kraftfahrzeug dadurch der Straße nicht wie gewünscht folgt, z.B. da es verlenkt. In diesem Fall kann ein Eingreifen des Fahrers unter Übernahme einer Steuerung der Quer- und/oder Längsführung des Kraftfahrzeugs nötig sein. Wenn ein häufiges Eingreifen nötig ist, senkt dies das Vertrauen des Fahrers in die automatisierten Fahrfunktion.
Bei einer Entwicklung der automatisierten Fahrfunktion liegt deshalb ein besonderes Augenmerk auf Situationen, in denen das Kraftfahrzeug verlenkt und nicht dem realen Straßenverlauf folgt.
Ein Testfahrer, der ein solches Fehlverhalten des Kraftfahrzeugs feststellt, notiert dies und startet manuell eine Datenaufzeichnung, um den Vorfall festzuhalten.
Diese Datenaufzeichnung kann von der Entwicklung analysiert werden und es kann ermittelt werden, welcher Teil der automatisierten Fahrfunktion für das Fehlverhalten verantwortlich ist. Bei der Aufnahme der Daten und bei der Analyse sind jedoch viele manuelle Schritte nötig.
Für den Testfahrer ist jedoch im Allgemeinen der Grund des Fehlerverhaltens und welcher Teil der automatisierten Fahrfunktion dieses Fehlerverhalten ausgelöst hat, nicht ersichtlich.
Der Grund für das Fehlverhalten wird herkömmlich von Entwicklern vornehmend durch manuelle visuelle Analyse der aufgezeichneten Daten durchgeführt. Dabei vergleichen die Entwickler visuell die vom Umfeldmodell berechnete Straßengeometrie mit der Wirklichkeit (gefahrene Trajektorie bzw. Kamerabilder).
Es ist zudem bekannt, die durch einen Fahrer gefahrene Trajektorie als Trainingsdaten für die automatisierte Fahrfunktion zu nutzen (sog. Behavioral Cloning).
Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Offenbarung darin, eine Vorrichtung und ein Verfahren anzugeben, welche jeweils geeignet sind, den oben beschriebenen Stand der Technik zu bereichern.
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
Danach wird die Aufgabe durch ein Verfahren zum Erkennen einer Fehlfunktion eines Umfeldmodells gelöst, das von einer automatisierten Fahrfunktion eines Kraftfahrzeugs genutzt wird. Das Verfahren umfasst ein Ermitteln einer ersten Abweichung zwischen einer von dem Umfeldmodell ermittelten Soll-Trajektorie und einer von dem Kraftfahrzeug gefahrenen Ist-Trajektorie. Zusätzlich oder alternativ umfasst das Verfahren ein Ermitteln einer zweiten Abweichung zwischen einem von dem Umfeldmodell ermittelten Straßenverlauf und einem von einer Kamerasoftware ermittelten Straßenverlauf. Ferner umfasst das Verfahren ein Erkennen der Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung. Das oben beschriebene Verfahren kann ein computer-implementiertes Verfahren sein, d.h. einer, mehrere oder alle Schritte des Verfahrens können von einem Computer bzw. einer Datenverarbeitungsvorrichtung ausgeführt werden.
Unter einer automatisierten Fahrfunktion kann eine Funktion des Kraftfahrzeugs verstanden werden, die ausgestaltet ist, um bestimmte Teile der oder die gesamte Fahraufgabe ggf. zusammen mit weiteren automatisierten Fahrfunktionen zumindest zeitweise zu übernehmen.
Bei dem Umfeldmodell kann es sich um ein sog. Straßen-Umfeldmodell handeln. Das Umfeldmodell kann basierend auf Sensordaten von mehreren, insbesondere verschiedenen, Sensoren im Kraftfahrzeug bestimmt werden. Dazu können die Sensordaten fusioniert werden. Das Straßen-Umfeldmodell kann Informationen über den Straßenverlauf und die Soll-Trajektorie des Kraftfahrzeugs umfassen.
Unter einer Trajektorie kann ein Pfad verstanden werden, entlang welchem das Kraftfahrzeug fahren soll (sog. Soll-Trajektorie) oder tatsächlich fährt (sog. Ist- Trajektorie). Neben Positionsangaben kann die Trajektorie auch eine zeitliche Komponente aufweisen, d.h. wann soll bzw. ist das Kraftfahrzeug wo.
Die beiden oben beschriebenen Möglichkeiten zur Ermittlung der Abweichung weisen die gemeinsame erfinderische Idee auf, ein Fehlverhalten der automatisierten Fahrfunktion im Bereich (Straßen-) Umfeldmodell automatisiert zu detektieren und ggf. anschließend zu analysieren.
Die Ausführungen zu den beiden Möglichkeiten sind daher miteinander kombinierbar und gelten, soweit technisch sinnvoll, für beide Möglichkeiten gleichermaßen.
Das Verfahren bietet neben einer Kostenreduktion und Beschleunigung der Entwicklung von automatisierten Fahrfunktionen auch eine Möglichkeit zur Verbesserung der Qualität der automatisierten Fahrfunktion durch Automatisierung manueller Abläufe und eine datengetriebene Entwicklung. Nachfolgend werden mögliche Weiterbildungen des obigen Verfahrens im Detail beschrieben.
Das Ermitteln der ersten Abweichung zwischen dem von dem Umfeldmodell ermittelten Soll-Trajektorie und der von dem Kraftfahrzeug gefahrenen Ist-Trajektorie kann ein Bestimmen einer Lage und/oder einer Krümmung einer Mittellinie einer Fahrbahn mittels des Umfeldmodells als Soll-Trajektorie, und ein Bestimmen der ersten Abweichung basierend auf einer Abweichung zwischen der Lage und/oder der Krümmung der Mittellinie und einer Lage und/oder einer Krümmung der Ist-Trajektorie umfassen.
Das Ermitteln der zweiten Abweichung zwischen dem von dem Umfeldmodell ermittelten Straßenverlauf und dem von der Kamerasoftware ermittelten Straßenverlauf kann ein Bestimmen einer Lage und/oder einer Krümmung einer Fahrbahnmarkierung und/oder einer Mittellinie einer Fahrbahn mittels des Umfeldmodells als Straßenverlauf, ein Bestimmen einer Lage und/oder Krümmung der Fahrbahnmarkierung und/oder einer Mittellinie der Fahrbahn mittels der Kamerasoftware als Straßenverlauf, und ein Bestimmen der zweiten Abweichung basierend auf einer Abweichung zwischen der Lage und/oder der Krümmung der Fahrbahnmarkierung und/oder der Mittellinie, die mittels des Umfeldmodells bestimmt wurde(n), und der Lage und/oder der Krümmung der Fahrbahnmarkierung und/oder der Mittellinie, die mittels der Kamerasoftware bestimmt wurde(n), sein.
Das Verfahren umfasst ein Feststellen eines Vorliegens einer vorbestimmten Umgebungssituation und ein Erkennen, dass trotz der zweiten Abweichung keine Fehlfunktion vorliegt.
Das Ermitteln der ersten und/oder der zweiten Abweichung kann während einer Fahrt in dem Kraftahrzeug, also online, und/oder nach der Fahrt mittels einer vom Kraftfahrzeug externen Datenverarbeitungsvorrichtung, also offline, erfolgen. Daten, die von der automatisierten Fahrfunktion genutzt werden, können in einem Ringspeicher gespeichert werden, wenn das Ermitteln der ersten und/oder der zweiten Abweichung während der Fahrt, d.h. online, erfolgt.
Die in dem Ringspeicher gespeicherten Daten können von dem Kraftfahrzeug an die vom Kraftfahrzeug externe Datenverarbeitungsvorrichtung gesendet werden, wenn die Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung erkannt wird.
Die Fehlfunktion kann erkannt werden, wenn die erste und/oder die zweite Abweichung einen jeweiligen vorbestimmten Grenzwert übersteigt bzw. übersteigen.
Das oben beschriebene Verfahren lässt sich mit anderen Worten und auf eine konkretere Ausgestaltung bezogen, wie nachfolgend für die vorliegende Offenbarung als nicht limitierend beschrieben, zusammenfassen.
Es sollen manuelle Schritte bei der Analyse und Qualitätsbewertung der von der automatisierten Fahrfunktion berechneten Straßengeometrie vermieden werden. Die Qualitätsbewertung kann sowohl online als auch offline stattfinden. Eine online Qualitätsbewertung (Selbst-Überwachung) kann der automatisierten Erkennung von Abweichungen während der Fahrt dienen. Dadurch können Fehlfunktionen automatisiert erkannt werden, der Fahrer zur Übernahme aufgefordert werden und/oder automatisiert Daten für eine offline Analyse aufgezeichnet werden. Da die Erfassung problematischer Situationen automatisiert erfolgt, können die Daten nicht nur von Testfahrern mit Spezialequipment aufgenommen werden, sondern auch in Kundenfahrzeugen. Durch die erhöhte Anzahl an Fahrzeugen, die die Daten aufzeichnen können, kann es einfacher werden, selten auftretende Vorfälle bzw. Fehlfunktion aufzunehmen. Die aufgezeichneten Daten können automatisch bzw. automatisiert analysiert und/oder in eine Trainingsdatensammlung aufgenommen werden.
Die Offenbarung sieht mehrere Maßnahmen vor, um ein Fehlverhalten einer automatisierten Fahrfunktion im Bereich Straßen-Umfeldmodell automatisch zu detektieren und zu analysieren. In einem Teilaspekt ermittelt die Offenbarung eine Abweichung zwischen dem von der automatisierten Fahrfunktion (Straßen-Umfeldmodell) ermittelten Straßenverlauf und der real gefahrenen Trajektorie.
Als Abweichung kann z.B. der seitliche Versatz zwischen einer vom Umfeldmodell berechneten Mittellinie und der real gefahrenen Trajektorie genutzt werden. Alternativ oder zusätzlich kann auch eine Abweichung basierend auf dem Lenkwinkel berechnet werden.
Die Bestimmung der Abweichung kann sowohl online im Fahrzeug als auch offline stattfinden.
Das Umfeldmodell kann mehrere Teilmodelle (Fahrspurfusion, Crowd-Trajektorien, HD-Karte) aufweisen. Mit der Erfindung können die Einzelmodelle evaluiert werden.
Bei der Ermittlung der Abweichung online im Fahrzeug können im Fall einer zu großen Abweichung automatisiert Daten zur weiteren Analyse aufgezeichnet werden.
Die Datenaufzeichnung kann auch bei einer Detektion weiterer kritischer Werte erfolgen, z.B. zu hohe Krümmungen, besonders kleine oder große Spurweiten, sehr kurze oder instabile Detektionen der Fahrbahnmarkierungen durch die Kamera etc.
In einem weiteren Teilaspekt der Offenbarung, für den die obige Beschreibung des ersten Teilaspekts mutatis mutandis gilt, d.h. damit kombinierbar ist, kann eine vom Straßen-Umfeldmodell berechnete Geometrie (d.h. ein Output des Straßen- Umfeldmodells) mit einer Geometrie einer von einer Kamerasoftware gelieferten Detektionen einer Fahrspurmarkierung und/oder geschätzten Mittelline (d.h. einem Input des Straßen-Umfeldmodells) verglichen werden.
Bei einer Abweichung kann es zumindest zwei Gründe geben. Zum einen können aktuelle Detektionen der Kamera fehlerhaft sein, z.B. die Kamera verwechselt Teernähte oder Schattenkanten mit Fahrspurmarkierungen und/oder erfasst die Geometrie (insbesondere eine Krümmung) der Fahrspurmarkierung falsch. In der automatisierten Fahrfunktion kann deshalb eine Erkennung vorgesehen sein, die bestimmte Sondersituationen (d.h. vorbestimmte Szenarien) erkennt, in denen bekanntermaßen häufig Kamera-Fehldetektionen auftreten. In diesem Fall können aktuelle Kamera-Detektionen verworfen und nicht bei der Berechnung des Straßen- Umfeldmodells berücksichtigt werden. Die Abweichung kann in diesem Fall bewusst gewollt sein.
Zum anderen können die Abweichungen trotz korrekter Eingabedaten auch durch fehlerhafte Verarbeitung im Umfeldmodell entstehen. Dies kann eine ungewollte Abweichung sein, die ein Hinweis auf einen möglichen Verarbeitungsfehler des Umfeldmodells ist.
Die ermittelten Sondersituationen (Szenarien) können als Kriterium dienen, um den Grund der Abweichung zu ermitteln.
Ein weiteres Indiz für ein Fehlverhalten des Straßen-Umfeldmodells kann die Übernahme der Steuerung durch den Fahrer sein (sog. Fahrer-Übernahme). Der Fahrer kann dazu aufgefordert werden, die Steuerung des Fahrzeugs zu übernehmen, z.B. wenn eine Selbst-Überwachung einen Fehlerfeststellt, oder der Fahrer übernimmt aus eigener Initiative die Steuerung, z.B. wenn der Fahrer ein Fehlverhalten feststellt.
Die Fahrer-Übernahme kann als Anstoß für eine Datenaufzeichnung genutzt werden. Sie kann aber auch, d.h. zusätzlich oder alternativ, als Kriterium bei der Analyse des Grundes für das Fehlverhalten des Fahrzeugs dienen.
Wenn zum Zeitpunkt einer Fahrerübernahme die Geometrie von Straßen- Umfeldmodell und der Kamera-Detektionen übereinstimmen, kann dies ein Hinweis auf einen Fehler der Kamerasoftware sein, wenn jedoch eine Abweichung existiert, kann dies ein Hinweis auf einen Fehler des Straßen-Umfeldmodells sein. Die Datenaufzeichnung kann einen Ringpuffer nutzen, sodass beim Start einer Aufzeichnung auch der Zeitraum vor dem Vorfall bzw. der Fehlfunktion mit aufgezeichnet wird. Dies ermöglicht die Analyse der Anbahnung der Abweichung.
Die aufgezeichneten Daten können vom Kraftfahrzeug, z.B. vom Kundenfahrzeug, in eine Cloud (z.B. des Fahrzeugherstellers) übertragen werden. Dadurch können zu den Auffälligkeiten, insbesondere weltweite, Statistiken aus allen und/oder vorbestimmten Kundenfahrzeugen ermittelt werden.
Das Verfahren kann damit der Fehleranalyse dienen. Durch statistische Auswertung kann eine Fokussierung auf die häufigsten Fehlerbilder erfolgen.
Die automatisierte Aufzeichnung kann zur Ermittlung geographischer Hotspots von Fehlverhalten genutzt werden.
Das Verfahren kann zur Feststellung einer fehlerhaften Komponente der automatisierten Fahrfunktion (z.B. Kamerasoftware, Spurmarkierungsfusion, Lokalisierung, Crowd-Trajektorien-Karte, HD-Karte usw.) dienen.
Es können auch Objekt- und/oder Hindernis-Informationen zur Ermittlung von Gründen für das Umfahren bzw. die abweichende Trajektorie mit einbezogen werden.
Die aufgezeichneten Daten können automatisch in eine Trainingsdatenbank für die automatisierte Fahrfunktion aufgenommen werden und/oder können einem Zulieferer der automatisierten Fahrfunktion und/oder der Kamerasoftware zur Verbesserung der automatisierten Fahrfunktion bzw. der Kamerasoftware zugeführt werden.
Ferner wird eine Vorrichtung zur Datenverarbeitung bereitgestellt, die Mittel zur Ausführung des oben beschriebenen Verfahrens umfasst. Die Vorrichtung zur Datenverarbeitung kann auch als System zur Datenverarbeitung oder als Datenverarbeitungsvorrichtung bezeichnet werden. Die Datenverarbeitungsvorrichtung kann ausgestaltet sein, um zumindest teilweise in und/oder an einem automatisierten Kraftfahrzeug verbaut zu sein und/oder zumindest teilweise Teil einer Cloud zu sein.
Die Datenverarbeitungsvorrichtung kann Teil eines Fahrassistenzsystems bzw. einer automatisierten Fahrfunktion sein oder dieses darstellen und/oder ausführen. Die Datenverarbeitungsvorrichtung kann eine elektronische Steuereinheit (engl. ECU = electronic control unit) aufweisen. Die Datenverarbeitungsvorrichtung kann eine intelligente prozessor-gesteuerte Einheit aufweisen, die z.B. über ein Central Gateway (CGW) mit anderen Modulen kommunizieren kann und die ggf. über Feldbusse, wie den CAN-Bus, LIN-Bus, MOST-Bus und FlexRay oder über Automotive-Ethernet, z.B. zusammen mit Telematiksteuergeräten, das Fahrzeugbordnetz bilden kann. Denkbar ist, dass das Steuergerät für das Fahrverhalten des Kraftfahrzeugs relevante Funktionen, wie die Motorsteuerung, die Kraftübertragung, das Bremssystem und/oder das Reifendruck-Kontrollsystem, steuert. Außerdem können Fahrerassistenzsysteme, wie beispielsweise ein Parkassistent, eine angepasste Geschwindigkeitsregelung (ACC, engl. adaptive cruise control), ein Spurhalteassistent, ein Spurwechselassistent, eine Verkehrszeichenerkennung, eine Lichtsignalerkennung, ein Anfahrassistent, ein Nachtsichtassistent, ein Notbremsassistenten und/oder ein Kreuzungsassistent, von dem Steuergerät gesteuert werden.
Denkbar ist, dass die Datenverarbeitungsvorrichtung basierend auf einer Ausgabe eines Umfeldmodells ein automatisiertes Fahren des automatisierten Kraftfahrzeugs zumindest teilweise und/oder zeitweise steuert.
Das oben mit Bezug zu den Verfahren Beschriebene gilt analog auch für die Datenverarbeitungsvorrichtung und umgekehrt.
Ferner kann ein automatisiertes Kraftfahrzeug bereitgestellt werden, das die oben beschriebene Datenverarbeitungsvorrichtung aufweist.
Bei dem Kraftfahrzeug kann es sich um einen Personenkraftwagen, insbesondere ein Automobil, handeln. Das automatisierte Kraftfahrzeug kann ausgestaltet sein, um eine Längsführung und/oder eine Querführung bei einem automatisierten Fahren des Kraftfahrzeugs zumindest teilweise und/oder zumindest zeitweise mittels der automatisierten Fahrfunktion zu übernehmen. Das automatisierte Fahren kann zumindest teilweise und/oder zeitweise durch die Datenverarbeitungsvorrichtung mittels der automatisierten Fahrfunktion gesteuert werden.
Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt.
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 0 sein, d.h. der Fahrer übernimmt die dynamische Fahraufgabe, auch wenn unterstützende Systeme (z. B. ABS oder ESP) vorhanden sind.
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 1 sein, d.h. bestimmte Fahrerassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung unterstützen, wie beispielsweise der Abstandsregeltempomat (ACC).
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 2 sein, d.h. so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrerassistenzsystemen übernommen werden.
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 3 sein, d.h. so bedingungsautomatisiert, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Kraftfahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen.
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 4 sein, d.h. so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
Das Kraftfahrzeug kann ein Kraftfahrzeug der Autonomiestufe 5 sein, d.h. so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.
Das oben mit Bezug zu den Verfahren und zur Datenverarbeitungsvorrichtung Beschriebene gilt jeweils analog auch für das Kraftfahrzeug und umgekehrt.
Ferner wird ein Computerprogramm bereitgestellt. Das Computerprogramm zeichnet sich dadurch aus, dass dieses Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das beschriebene Verfahren zumindest teilweise auszuführen.
Ein Programmcode des Computerprogramms kann in einem beliebigen Code vorliegen, insbesondere in einem Code, der für Steuerungen von Kraftfahrzeugen geeignet ist.
Ferner wird ein computerlesbares Medium, insbesondere ein computerlesbares Speichermedium, bereitgestellt. Das computerlesbare Medium zeichnet sich dadurch aus, dass dieses Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zumindest teilweise auszuführen.
Das heißt, es kann ein computerlesbares Medium bereitgestellt werden, das ein oben definiertes Computerprogramm umfasst. Bei dem computerlesbaren Medium kann es sich um ein beliebiges digitales Datenspeichergerät handeln, wie zum Beispiel einen USB-Stick, eine Festplatte, eine CD-ROM, eine SD-Karte oder eine SSD-Karte. Das Computerprogramm muss nicht zwingend auf einem solchen computerlesbarem Speichermedium gespeichert sein, um dem Kraftfahrzeug zur Verfügung gestellt zu werden, sondern kann auch über das Internet oder anderweitig extern bezogen werden.
Das oben mit Bezug zu den Verfahren, zur Datenverarbeitungsvorrichtung und zum automatisierten Kraftfahrzeug Beschriebene gilt jeweils analog auch für das Computerprogramm sowie das computerlesbare Medium und umgekehrt.
Nachfolgend wird eine Ausführungsform mit Bezug zu Figuren 1 bis 3 beschrieben.
Fig. 1 zeigt schematisch ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Fehlfunktion eines Umfeldmodells, das von einer automatisierten Fahrfunktion eines Kraftfahrzeugs genutzt wird,
Fig. 2 zeigt schematisch eine erste Draufsicht auf eine Fahrbahnebene zur Erläuterung des Ermittelns einer ersten Abweichung zwischen einer von dem Umfeldmodell ermittelten Soll-Trajektorie und einer von dem Kraftfahrzeug gefahrenen Ist-Trajektorie, und
Fig. 3 zeigt schematisch eine zweite Draufsicht auf eine Fahrbahnebene zur Erläuterung des Ermittelns einer ersten Abweichung zwischen einer von dem Umfeldmodell ermittelten Soll-Trajektorie und einer von dem Kraftfahrzeug gefahrenen Ist-Trajektorie.
Wie sich aus Figur 1 ergibt, weist das Verfahren zum Erkennen der Fehlfunktion des Umfeldmodells, das von der automatisierten Fahrfunktion des Kraftfahrzeugs genutzt wird, im Wesentlichen zwei Schritte S1 und S2 auf.
In einem ersten Schritt des Verfahrens erfolgt ein Ermitteln einer ersten Abweichung zwischen einer von dem Umfeldmodell ermittelten Soll-Trajektorie und einer von dem Kraftfahrzeug gefahrenen Ist-Trajektorie. Zusätzlich oder alternativ erfolgt ein Ermitteln einer zweiten Abweichung zwischen einem von dem Umfeldmodell ermittelten Straßenverlauf und einem von einer Kamerasoftware ermittelten Straßenverlauf. Einige Möglichkeiten, wie dies konkret umgesetzt werden kann, werden nachfolgend im Detail mit Bezug zu Figuren 2 bis 3 beschrieben, wobei diese keine abschließende Beschreibung der Umsetzungsmöglichkeiten darstellt, sondern lediglich zu Erklärungszwecken dient.
Das Ermitteln der ersten Abweichung zwischen dem von dem Umfeldmodell ermittelten Soll-Trajektorie und der von dem Kraftfahrzeug gefahrenen Ist-Trajektorie kann ein Bestimmen einer Lage einer Mittellinie einer Fahrbahn mittels des Umfeldmodells als Soll-Trajektorie und ein Bestimmen der ersten Abweichung basierend auf einer Abweichung zwischen der Lage der Mittellinie und der Lage der Ist-Trajektorie umfassen.
Dies ist beispielhaft für ein globales Koordinatensystem in Figur 2 dargestellt. Es erfolgt ein Vergleich der gefahrenen Trajektorie bzw. Ist-Trajektorie 1 , die über eine Odometrie des Kraftfahrzeugs ermittelt wird und mit durchgezogener Linie in Figur 2 dargestellt ist, mit Daten aus dem Umfeldmodell, hier einer Mittellinie t1 , t2 zu verschiedenen Zeitpunkten, die jeweils mit gestrichelter Linie dargestellt ist, in dem globalen Koordinatensystem. Dazu werden die Odometriedaten, insbesondere Positionsangaben, und die Mittellinien t1 , t2 aus einem Zeit-Intervall in das globale Koordinatensystem eingetragen. In Figur 2 ist dies beispielhaft für zwei verschiedene Zeitpunkte t1 und t2 dargestellt. Anschließend erfolgt ein Ermitteln der jeweiligen Abweichungen zwischen realer Trajektorie bzw. Ist-Trajektorie 1 und berechneter Mittellinie t1 , t2 des Umfeldmodells zu verschiedenen Zeitpunkten an der Stelle bzw. Position, an der sich das Kraftfahrzeug zum Zeitpunkt der Ermittlung der Mittellinie befunden hat. Die Abweichung kann der senkrechte Abstand zwischen Ist-Trajektorie 1 und berechneten Mittellinie t1 , t2 sein oder, wie in Figur 2 dargestellt, der kürzeste Abstand d1 bzw. d2 zwischen der Ist-Trajektorie 1 und berechneter Mittellinie t1 , t2. Der Abstand d1 , d2 zwischen diesen kann in die Berechnung bzw. Bestimmung der ersten Abweichung zumindest miteinfließen. Zusätzlich oder alternativ kann an den jeweiligen Positionen des Kraftfahrzeugs eine Krümmung der Mittellinie und eine Krümmung der Ist-Trajektorie ermittelt werden und die Differenz zwischen den Krümmungen kann in die Berechnung bzw. Bestimmung der ersten Abweichung zumindest miteinfließen. Dazu kann ein Lenkwinkel des Kraftfahrzeugs genutzt werden, d.h. es kann die jeweilige Krümmung der Mittellinie t1 , t2 an verschiedenen Positionen ermittelt werden und mit dem tatsächlichen Lenkwinkel des Kraftfahrzeugs an der jeweiligen Position ermittelt werden. Denkbar ist auch, dass eine Vorverarbeitung der Mittellinien des Umfeldmodells, z.B. Erstellung einer einzigen globalen Mittellinie aus den Mittellinien der mehrerer Zeitschritte bzw. Zeitpunkte t1 , t2, erfolgt und die Abweichung, z.B. der maximale Abstand zwischen der Ist-Trajektorie und dieser globalen Mittellinie, ermittelt wird.
Wie in Figur 3 dargestellt ist, kann auch ein Koordinatensystem des Kraftfahrzeugs, d.h. ein relatives Koordinatensystem, zur Ermittlung der ersten Abweichung verwendet werden. Analog zur Ermittlung der Abweichung mittels des globalen Koordinatensystems, wie oben mit Bezug zu Figur 2 beschrieben, kann dabei die aktuelle Position 2 bzw. Ist-Position des Kraftfahrzeugs mit einer aktuellen Soll- Position des Kraftfahrzeugs, die auf der Mittellinie t1 liegt, verglichen werden und dadurch der Abstand der d1 ermittelt werden. Dies kann laufend geschehen. Die Ermittlung der ersten Abweichung über das relative Koordinatensystem kann sich insbesondere dann eignen, wenn diese online während der Fahrt ermittelt wird und kann laufend erfolgen. Die dafür genutzte Mittellinie t1 kann im selben Zeitschrift oder in einem früheren Zeitschrift bestimmt werden. Das heißt, die aktuelle Position 2 des Fahrzeugs kann mit einer Sollposition verglichen werden, die das Umfeldmodell zu einem vorangegangenen Zeitpunkt (z.B. t=0) ermittelt hatte. Ebenfalls analog zur oben beschriebenen Weise kann die Krümmung der Mittellinie t1 und der aktuelle Lenkwinkel verglichen werden.
Denkbar ist auch, dass die Mittellinie t1 , t2 sowohl von dem Umfeldmodell als auch von einer Kamerasoftware bestimmt wird. Es kann dann also eine Lage und/oder eine Krümmung der Mittellinien t1 , t2 sowohl mittels der Kamerasoftware als auch dem Umfeldmodell bestimmt werden und es kann eine Abweichung zwischen der Lage und/oder der Krümmung der Mittellinien ermittelt werden. Die Abweichung zwischen den Mittellinien, z.B. deren seitlicher Versatz (s. oben), kann in die Berechnung bzw. Bestimmung der zweiten Abweichung zumindest miteinfließen. Denkbar wäre auch, zusätzlich oder alternativ zur Mittellinie, eine Fahrbahnmarkierung in dieser Weise zu nutzen. Es kann dann also eine Lage und/oder eine Krümmung einer Fahrbahnmarkierung sowohl mittels der Kamerasoftware als auch dem Umfeldmodell bestimmt werden und es kann eine Abweichung zwischen der Lage und/oder der Krümmung der Fahrbahnmarkierungen ermittelt werden. Die Abweichung zwischen den Fahrbahnmarkierungen, z.B. deren seitlicher Versatz (s. oben), kann in die Berechnung bzw. Bestimmung der zweiten Abweichung zumindest miteinfließen.
In einem zweiten Schritt S2 des Verfahrens erfolgt ein Erkennen der Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung, wobei die Fehlfunktion erkannt wird, wenn die erste und/oder die zweite Abweichung einen jeweiligen vorbestimmten Grenzwert übersteigt bzw. übersteigen. Denkbar ist, dass die zweite Abweichung nicht herangezogen wird, wenn festgestellt wird, dass eine vorbestimmte Umgebungssituation vorliegt. Das heißt, in der automatisierten Fahrfunktion kann eine Erkennung vorgesehen sein, die vorbestimmte Umgebungssituationen bzw. Sondersituationen (d.h. vorbestimmte Szenarien) erkennt, in denen bekanntermaßen häufig Kamera-Fehldetektionen auftreten. In diesem Fall können aktuelle Kamera- Detektionen verworfen und nicht bei der Berechnung des Umfeldmodells berücksichtigt werden. Die Abweichung kann in diesem Fall bewusst gewollt sein. Es kann in einem solchen Fall folglich erkannt werden, dass trotz der zweiten Abweichung, die den Grenzwert übersteigt, keine Fehlfunktion vorliegt.
Das oben beschriebene Ermitteln der ersten und/oder der zweiten Abweichung kann während einer Fahrt in dem Kraftahrzeug und/oder nach der Fahrt mittels einer vom Kraftfahrzeug externen Datenverarbeitungsvorrichtung erfolgen. Gleiches gilt für das oben beschriebene Erkennen der Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung. Daten, die von der automatisierten Fahrfunktion genutzt werden, können in einem Ringspeicher gespeichert werden, wenn einer oder beide dieser Schritte während der Fahrt erfolgt. Die in dem Ringspeicher gespeicherten Daten können von dem Kraftfahrzeug an die vom Kraftfahrzeug externe Datenverarbeitungsvorrichtung gesendet werden, wenn die Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung erkannt wird. Zusätzlich oder alternativ können die Daten mit einer Aufzeichnungsvorrichtung, insbesondere einem Datenlogger, während der gesamten Fahrt oder auf Teilen davon unabhängig davon, ob eine Fehlfunktion erkannt wird, aufgezeichnet werden und/oder an die vom Kraftfahrzeug externe Datenverarbeitungsvorrichtung gesendet, insbesondere in ein Backend bzw. eine Cloud gestreamt, werden.
Bezugszeichenliste
1 Ist-Trajektorie 2 aktuelle Position des Kraftfahrzeugs t1 , t2 Soll-Trajektorie zu verschiedenen Zeitpunkten d1 , d2 Abstand zwischen Ist-Trajektorie und der jeweiligen Soll-Trajektorie zu den verschiedenen Zeitpunkten
S1 , S2 Schritte des Verfahrens

Claims

Patentansprüche
1. Verfahren zum Erkennen einer Fehlfunktion eines Umfeldmodells, das von einer automatisierten Fahrfunktion eines Kraftfahrzeugs genutzt wird, wobei das Verfahren umfasst:
- Ermitteln einer ersten Abweichung zwischen einer von dem Umfeldmodell ermittelten Soll-Trajektorie (t1 , t2) und einer von dem Kraftfahrzeug gefahrenen Ist-Trajektorie (1 ) und/oder einer zweiten Abweichung zwischen einem von dem Umfeldmodell ermittelten Straßenverlauf und einem von einer Kamerasoftware ermittelten Straßenverlauf, und
- Erkennen der Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung.
2. Verfahren nach Anspruch 1 , wobei das Ermitteln der ersten Abweichung zwischen dem von dem Umfeldmodell ermittelten Soll-Trajektorie (t1 , t2) und der von dem Kraftfahrzeug gefahrenen Ist-Trajektorie (1 ) umfasst:
- Bestimmen einer Lage und/oder einer Krümmung einer Mittellinie einer Fahrbahn mittels des Umfeldmodells als Soll-Trajektorie (t1 , t2), und
- Bestimmen der ersten Abweichung basierend auf einer Abweichung zwischen der Lage und/oder der Krümmung der Mittellinie und einer Lage und/oder einer Krümmung der Ist-Trajektorie (1 ).
3. Verfahren nach Anspruch 1 oder 2, wobei das Ermitteln der zweiten Abweichung zwischen dem von dem Umfeldmodell ermittelten Straßenverlauf und dem von der Kamerasoftware ermittelten Straßenverlauf umfasst:
Bestimmen einer Lage und/oder einer Krümmung einer Fahrbahnmarkierung und/oder einer Mittellinie einer Fahrbahn mittels des Umfeldmodells als Straßenverlauf,
- Bestimmen einer Lage und/oder Krümmung der Fahrbahnmarkierung und/oder einer Mittellinie der Fahrbahn mittels der Kamerasoftware als Straßenverlauf, und - Bestimmen der zweiten Abweichung basierend auf einer Abweichung zwischen der Lage und/oder der Krümmung der Fahrbahnmarkierung und/oder der Mittellinie, die mittels des Umfeldmodells bestimmt wurde(n), und der Lage und/oder der Krümmung der Fahrbahnmarkierung und/oder der Mittellinie, die mittels der Kamerasoftware bestimmt wurde(n). Verfahren nach einem der Ansprüche 1 bis 3, wobei das Verfahren umfasst:
- Feststellen eines Vorliegens einer vorbestimmten Umgebungssituation, und
- Erkennen, dass trotz der zweiten Abweichung keine Fehlfunktion vorliegt. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Ermitteln der ersten und/oder der zweiten Abweichung während einer Fahrt in dem Kraftahrzeug und/oder nach der Fahrt mittels einer vom Kraftfahrzeug externen Datenverarbeitungsvorrichtung erfolgt. Verfahren nach Anspruch 5, wobei Daten, die von der automatisierten Fahrfunktion genutzt werden, in einem Ringspeicher gespeichert werden, wenn das Ermitteln der ersten und/oder der zweiten Abweichung während der Fahrt erfolgt. Verfahren nach Anspruch 6, wobei die in dem Ringspeicher gespeicherten Daten von dem Kraftfahrzeug an die vom Kraftfahrzeug externe Datenverarbeitungsvorrichtung gesendet werden, wenn die Fehlfunktion basierend auf der ersten und/oder der zweiten Abweichung erkannt wird. Verfahren nach einem der Ansprüche 1 bis 7, wobei die Fehlfunktion erkannt wird, wenn die erste und/oder die zweite Abweichung einen jeweiligen vorbestimmten Grenzwert übersteigt bzw. übersteigen. Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 8. Computerprogramm und/oder computerlesbares Medium, jeweils umfassend Befehle, die bei der Ausführung des Programms bzw. der Befehle durch einen
Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
PCT/EP2023/061108 2022-05-20 2023-04-27 Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion WO2023222357A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022112745.1 2022-05-20
DE102022112745.1A DE102022112745A1 (de) 2022-05-20 2022-05-20 Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion

Publications (1)

Publication Number Publication Date
WO2023222357A1 true WO2023222357A1 (de) 2023-11-23

Family

ID=86330272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/061108 WO2023222357A1 (de) 2022-05-20 2023-04-27 Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion

Country Status (2)

Country Link
DE (1) DE102022112745A1 (de)
WO (1) WO2023222357A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017211629A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zum Betreiben eines höher automatisierten Fahrzeugs (HAF), insbe-sondere eines hochautomatisierten Fahrzeugs
DE102017212254A1 (de) * 2017-07-18 2019-01-24 Volkswagen Aktiengesellschaft Prädiktive Streckenführung eines Fahrzeugs
DE102019112413A1 (de) * 2019-05-13 2020-11-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
US20200372263A1 (en) * 2019-05-23 2020-11-26 GM Global Technology Operations LLC Method and apparatus for controlling a vehicle including an autonomous control system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3795299B2 (ja) 2000-04-07 2006-07-12 本田技研工業株式会社 車両制御装置
DE102014204933A1 (de) 2014-03-17 2015-09-17 Conti Temic Microelectronic Gmbh Verfahren und eine Vorrichtung zur Erzeugung eines Segmentierungs-Layers
DE102019101515A1 (de) 2019-01-22 2020-07-23 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Überwachen von Fahrzeugfunktionen eines Fahrzeugs
DE102019217642A1 (de) 2019-11-15 2021-05-20 Volkswagen Aktiengesellschaft Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm
DE102019211327B4 (de) 2019-07-30 2024-02-08 Zf Friedrichshafen Ag Vorrichtung, Fahrzeug und Verfahren zur verbesserten Multi-Radar-Sensor-Kalibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017211629A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zum Betreiben eines höher automatisierten Fahrzeugs (HAF), insbe-sondere eines hochautomatisierten Fahrzeugs
DE102017212254A1 (de) * 2017-07-18 2019-01-24 Volkswagen Aktiengesellschaft Prädiktive Streckenführung eines Fahrzeugs
DE102019112413A1 (de) * 2019-05-13 2020-11-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
US20200372263A1 (en) * 2019-05-23 2020-11-26 GM Global Technology Operations LLC Method and apparatus for controlling a vehicle including an autonomous control system

Also Published As

Publication number Publication date
DE102022112745A1 (de) 2023-11-23

Similar Documents

Publication Publication Date Title
WO2016184719A1 (de) Verfahren und system zur steuerung einer fahrfunktion eines fahrzeuges
DE102017009435B4 (de) Evaluation von Komponenten automatischer Fahrfunktionen und Fahrbahnerkennung auf unterschiedlichen Verarbeitungsstufen
DE102018125207A1 (de) Fahrzeuginterne verkehrsassistenz
DE102017214531A1 (de) Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb sowie Kraftfahrzeug
WO2022002901A1 (de) Verfahren zur umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden umgebungserfassungssensoren, vorrichtung zur durchführung des verfahrens, fahrzeug sowie entsprechend ausgelegtes computerprogramm
DE102023000265A1 (de) Verfahren, Programmprodukt und System zur Beurteilung des Status von Verkehrsampeln
EP3449277A1 (de) Verfahren und vorrichtung für ein kraftfahrzeug zum vergleich von umgebungskartendaten mit umgebungssensordaten zur ermittlung der passierbarkeit eines strassenobjekts
DE102006058304A1 (de) Verfahren zum ortsbasierten Verarbeiten von Daten
WO2023222357A1 (de) Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion
DE102018210367A1 (de) Fahrerassistenzsystem, Fahrzeug, Verfahren zum Betreiben des Fahrerassistenzsystems, Computerprogramm und computerlesbares Speichermedium
WO2023011814A1 (de) Verfahren und steuerschaltung zum überwachen einer zulässigkeitsbedingung für einen automatisierten fahrmodus eines kraftfahrzeugs sowie kraftfahrzeug mit der steuerschaltung
WO2022214148A1 (de) Verfahren zum betrieb eines assistenzsystems sowie assistenzsystem
DE102020118640A1 (de) Verfahren und Fahrzeugsystem zur Ermittlung eines Fahr-Korridors für ein Fahrzeug
DE102020200650A1 (de) Verfahren und Vorrichtung zum Betreiben einer automatisierten Spurführung eines Kraftfahrzeugs
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
DE102022111731B3 (de) Verfahren für ein automatisiertes Kraftfahrzeug zum Ermitteln eines Autobahnknotenpunktes, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug
DE102022104931A1 (de) Verfahren zum betreiben eines notbremsassistenten eines automatisierten kraftfahrzeugs
DE102022108182A1 (de) Verfahren zum Betreiben eines automatisierten Kraftfahrzeugs, Computerprogramm, Steuergerät und Kraftfahrzeug
WO2023227328A1 (de) Trainingsverfahren für ein fahrassistenzsystem zur automatisierten querführung eines kraftfahrzeugs
WO2023110785A1 (de) Verfahren und system zum feststellen eines vorliegens einer vorbestimmten fahrsituation bei einer fahrt mit einem aktiviertem fahrassistenzsystem
WO2023237421A1 (de) Verfahren und vorrichtung zum einstellen eines betriebszustands eines fahrassistenzsystems
DE102022116643A1 (de) Verfahren und vorrichtung zum steuern einer querführung eines kraftfahrzeugs
DE102022110551A1 (de) Verfahren und vorrichtung zum betreiben einer hands-off-fahrunktion eines automatisierten kraftfahrzeugs
DE102022125379A1 (de) Verfahren und vorrichtung zum betreiben eines kraftfahrzeugs
DE102022118054A1 (de) Verfahren und vorrichtung zum betreiben eines kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23722370

Country of ref document: EP

Kind code of ref document: A1