WO2025031796A1

WO2025031796A1 - Driving assistance method for the user of a vehicle, computer program, control device or central computing device and vehicle

Info

Publication number: WO2025031796A1
Application number: PCT/EP2024/070918
Authority: WO
Inventors: Christian Pampus; Michael Schumann; Andreas Gruetzmann; Steffen Abraham
Original assignee: Robert Bosch Gmbh
Priority date: 2023-08-07
Filing date: 2024-07-23
Publication date: 2025-02-13
Also published as: DE102023207538A1

Abstract

The invention relates to a driving assistance method for the user of a vehicle, comprising the following steps: detecting (110) sensor data which represent the surroundings of the vehicle; determining (120) a movement state of the vehicle; identifying (130) a standstill of the vehicle based on the determined movement state of the vehicle; and storing (140) the detected sensor data depending on the identified standstill, wherein then, the following steps are carried out: detecting (150) an activation of a drive of the vehicle by the user of the vehicle in the identified standstill of the vehicle; determining (160) at least one deviation between the currently detected sensor data and the stored sensor data depending on the activation of the drive; and optionally displaying (195) a warning for the user of the vehicle depending on the determined deviation.

Description

Beschreibung Description

Fahrassistenzverfahren für den Nutzer eines Fahrzeugs, Computerprogramm, Steuergerät oder zentrale Rechenvorrichtung und Fahrzeug Driving assistance system for the user of a vehicle, computer program, control unit or central computing device and vehicle

Die vorliegende Erfindung betrifft ein Fahrassistenzverfahren für den Nutzer eines Fahrzeugs, wobei eine Abweichung zwischen aktuell erfassten Sensordaten und gespeicherten Sensordaten in Abhängigkeit einer Aktivierung des Antriebs ermittelt und beispielsweise eine Warnung für den Nutzer des Fahrzeugs in Abhängigkeit der ermittelten Abweichung angezeigt werden. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Fahrassistenzverfahrens auszuführen. Die Erfindung betrifft außerdem ein Steuergerät oder eine zentrale Rechenvorrichtung, umfassend mindestens eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Fahrassistenzverfahrens ausführt. Ferner betrifft die Erfindung ein Fahrzeug, umfassend ein erfindungsgemäßes Steuergerät oder eine erfindungsgemäße zentrale Rechenvorrichtung. The present invention relates to a driving assistance method for the user of a vehicle, wherein a deviation between currently recorded sensor data and stored sensor data is determined depending on an activation of the drive and, for example, a warning is displayed for the user of the vehicle depending on the deviation determined. The invention also relates to a computer program, comprising commands which, when the program is executed by a computer, cause the computer to carry out the steps of the driving assistance method according to the invention. The invention also relates to a control unit or a central computing device, comprising at least one computing unit which is configured to carry out the steps of the driving assistance method according to the invention. The invention further relates to a vehicle comprising a control unit according to the invention or a central computing device according to the invention.

Stand der Technik State of the art

Es ist allgemein bekannt, dass Objekte in einem unmittelbaren Nahbereich um ein Fahrzeug durch Fahrzeugsensoren, wie Fahrzeugkameras oder Ultraschallsensoren, teilweise nicht oder kaum erkannt werden können, beispielsweise weil in einem Kamerabild nur ein Bein eines Fußgängers vor dem Fahrzeug zu erkennen ist, da dieser unmittelbar vor der Fahrzeugkamera positioniert ist und diese zumindest teilweise verdeckt. Diese Objekte sind aufgrund ihres geringen Abstandes zum Fahrzeug und der reduzierten Erkennbarkeit für automatische oder halbautomatische Fahrfunktionen unmittelbar kollisionsgefährdend. Das Dokument EP 3 695 699 B1 offenbart ein Roboterfahrzeug zur Durchführung eines beweglichen Betriebs in einem bearbeitbaren Bereich in Übereinstimmung mit einem geplanten Pfad. Dabei werden in einer aktuellen Position des Fahrzeugs eine Veränderung in zumindest einem Teil aktueller Grenzen des bearbeitbaren Bereichs auf Grundlage von Sensordaten detektiert und anschließend Grenzen des bearbeitbaren Bereichs geändert. It is generally known that objects in the immediate vicinity of a vehicle can sometimes not be detected or can only be detected with difficulty by vehicle sensors such as vehicle cameras or ultrasonic sensors, for example because only one leg of a pedestrian in front of the vehicle can be seen in a camera image because the pedestrian is positioned directly in front of the vehicle camera and at least partially obscures it. These objects pose an immediate risk of collision due to their short distance from the vehicle and the reduced detectability for automatic or semi-automatic driving functions. Document EP 3 695 699 B1 discloses a robot vehicle for performing a mobile operation in a processable area in accordance with a planned path. In a current position of the vehicle, a change in at least part of current boundaries of the processable area is detected on the basis of sensor data and boundaries of the processable area are subsequently changed.

Die Schrift EP 2 690 423 B1 offenbart eine Fahrzeugdatenanalysevorrichtung zum Analysieren von Fahrzeugdaten, die Zeitfolgenänderungen eines Zustands eines Fahrzeugs angeben. Document EP 2 690 423 B1 discloses a vehicle data analysis device for analyzing vehicle data indicating time series changes of a state of a vehicle.

Das Dokument US 2020/172112 A1 offenbart ein System und ein Verfahren zum Bestimmen einer Änderung eines Fahrzeugführers, die das Empfangen und Speichern von Fahrzeugsensordaten von einem Fahrzeug für mindestens einen vorbestimmten Zeitraum umfassen. Document US 2020/172112 A1 discloses a system and method for determining a change in a vehicle driver, comprising receiving and storing vehicle sensor data from a vehicle for at least a predetermined period of time.

Die Aufgabe der vorliegenden Erfindung ist es, den Nutzer bei der Führung des Fahrzeugs verbessert zu unterstützen, wobei insbesondere das Kollisionsrisiko beim Anfahren eines Fahrzeugs beziehungsweise beim Aktivieren eines Antriebsmotors eines Fahrzeugs mit einem in der Umgebung des Fahrzeugs zum Fahrzeug nahe liegenden dynamischen Objekt reduziert beziehungsweise dynamische Objekte im Nahbereich des Fahrzeugs besser erkannt werden und beispielsweise dem Nutzer angezeigt werden sollen. The object of the present invention is to provide the user with improved support when driving the vehicle, whereby in particular the risk of collision when starting off a vehicle or when activating a drive motor of a vehicle with a dynamic object in the vicinity of the vehicle that is close to the vehicle is reduced or dynamic objects in the vicinity of the vehicle are better recognized and, for example, displayed to the user.

Offenbarung der Erfindung disclosure of the invention

Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1 und 12 bis 14 gelöst. The above object is achieved according to the invention according to the independent claims 1 and 12 to 14.

Die vorliegende Erfindung betrifft ein Fahrassistenzverfahren für den Nutzer eines Fahrzeugs. Das Fahrassistenzverfahren umfasst eine Erfassung von Sensordaten, welche die Umgebung des Fahrzeugs repräsentieren. Die Sensordaten sind vorzugsweise Kamerabilder, Ultraschallsensordaten, Radarsensordaten und/oder Lidarsensordaten, welche jeweils die Umgebung des Fahrzeugs beziehungsweise Abstände zwischen dem Fahrzeug und den Objekten in der Umgebung des Fahrzeugs repräsentieren. Des Weiteren wird in dem Verfahren ein Bewegungszustand des Fahrzeugs ermittelt, insbesondere werden als Bewegungszustand eine Geschwindigkeit des Fahrzeugs beziehungsweise einer Drehzahl einer Antriebsachse und/oder eine Beschleunigung und/oder eine Position des Fahrzeugs durch ein satellitengestütztes Navigationssystem ermittelt. Anschließend wird in einem Schritt des Verfahrens eine Erkennung eines Stillstands des Fahrzeugs basierend auf dem ermittelten Bewegungszustand des Fahrzeugs durchgeführt. Die Erkennung des Stillstands des Fahrzeugs erfolgt beispielsweise, wenn keine Drehzahl an der Antriebsachse beziehungsweise keine Geschwindigkeit des Fahrzeugs oder eine gleichbleibende Position des Fahrzeugs basierend auf dem satellitengestützten Navigationssystem ermittelt wird. In Abhängigkeit des erkannten Stillstandes werden erfasste Sensordaten gespeichert. Mit anderen Worten werden insbesondere die zum Stillstand des Fahrzeugs erfassten beziehungsweise vorliegenden Sensordaten gespeichert, welche somit die Umgebung des Fahrzeugs zum Zeitpunkt des Stillstandes des Fahrzeugs repräsentieren. Beispielsweise werden Kamerabilder der vor und hinter dem Fahrzeug liegenden Umgebung des Fahrzeugs zum Zeitpunkt des Stillstandes des Fahrzeugs gespeichert. In einem weiteren Verfahrensschritt wird ein Starten aus dem erkannten Stillstand beziehungsweise eine Aktivierung eines Antriebs des Fahrzeugs durch den Nutzer des Fahrzeugs in dem Stillstand beziehungsweise nach dem erkannten Stillstand des Fahrzeugs oder ein geplantes Losfahren Fahrzeugs aus dem erkannten Stillstand erkannt. Nach der erkannten Aktivierung des Antriebs werden aktuelle Sensordaten erfasst und wenigstens eine Abweichung zwischen den aktuell erfassten Sensordaten und den gespeicherten Sensordaten ermittelt. Mit anderen Worten wird mindestens eine Veränderung in der Umgebung, welche durch die Sensordaten repräsentiert wird, gesucht beziehungsweise bestimmt. The present invention relates to a driving assistance method for the user of a vehicle. The driving assistance method comprises a recording of sensor data which represent the surroundings of the vehicle. The sensor data are preferably camera images, ultrasonic sensor data, radar sensor data and/or lidar sensor data, which each represent the surroundings of the vehicle or distances between the vehicle and the objects in the surroundings of the vehicle. Furthermore, the method determines a state of motion of the Vehicle is determined, in particular a speed of the vehicle or a rotational speed of a drive axle and/or an acceleration and/or a position of the vehicle are determined as the state of motion by a satellite-based navigation system. Then, in one step of the method, a standstill of the vehicle is detected based on the determined state of motion of the vehicle. The standstill of the vehicle is detected, for example, when no rotational speed on the drive axle or no speed of the vehicle or a constant position of the vehicle is determined based on the satellite-based navigation system. Recorded sensor data is stored depending on the detected standstill. In other words, in particular the sensor data recorded or available when the vehicle is at a standstill are stored, which thus represent the surroundings of the vehicle at the time the vehicle is at a standstill. For example, camera images of the surroundings of the vehicle in front of and behind the vehicle are stored at the time the vehicle is at a standstill. In a further method step, starting from the detected standstill or activation of a drive of the vehicle by the user of the vehicle in the standstill or after the detected standstill of the vehicle or a planned departure of the vehicle from the detected standstill is detected. After the detected activation of the drive, current sensor data is recorded and at least one deviation between the currently recorded sensor data and the stored sensor data is determined. In other words, at least one change in the environment, which is represented by the sensor data, is searched for or determined.

Beispielsweise werden Abweichungen zwischen den erfassten Kamerabilder der vor und hinter dem Fahrzeug liegenden Umgebung vor und nach der Aktivierung des Antriebs durch Vergleich der aktuellen Kamerabilder mit den gespeicherten Kamerabildern ermittelt. Anschließend wird wenigstens ein Fahrassistenzverfahren in Abhängigkeit der ermittelten Abweichung aktiviert oder deaktiviert. Alternativ erfolgt eine Verwendung einer basierend auf den Sensordaten erstellten und gespeicherten Umgebungskarte in Abhängigkeit der ermittelten Abweichung. Alternativ oder zusätzlich wird vorzugsweise eine Warnung für den Nutzer des Fahrzeugs in Abhängigkeit der ermittelten Abweichung angezeigt. Durch das Verfahren resultiert der Vorteil, dass in aktuell erfassten Sensordaten aktuelle beziehungsweise neue bewegliche beziehungsweise dynamische Objekte hinter oder vor dem Fahrzeug bei der Aktivierung eines Antriebsmotors, beispielsweise vor dem Verlassen eines Parkplatzes, als Abweichung zu gespeicherten beziehungsweise älteren Sensordaten der Umgebung erkannt werden und der Fahrer beispielsweise vor dem neuen beweglichen Objekt gewarnt und/oder ein automatisches Ausparken als Fahrassistenzfunktion deaktiviert wird, obwohl die aktuell erfassten Sensordaten eine Erkennung des Objektes im Nahbereich unmittelbar basierend auf den aktuell erfassten Sensordaten während der normalen Ausführung von weiteren Fahrassistenzfunktionen nicht zuverlässig ermöglichen, da beispielsweise ein Fußgänger nur teilweise im Kamerabild sichtbar ist oder Ultraschallreflektionen im Nahbereich kleiner zehn Zentimeter nicht zuverlässig bezüglich des Reflexionsursprungsortes beziehungsweise der zugrundeliegenden Objektposition ausgewertet und/oder eine Objektbewegung noch nicht prognostiziert werden können. Aus dem Verfahren resultiert somit der Vorteil, dass eine alternative Erkennung eines dynamischen Objektes im Nahbereich zuverlässig erreicht wird, welche dazu dient, Kollisionen zwischen dem Fahrzeug und dem dynamischen Objekt zu vermeiden. For example, deviations between the recorded camera images of the environment in front of and behind the vehicle before and after activation of the drive are determined by comparing the current camera images with the stored camera images. Then at least one driver assistance method is activated or deactivated depending on the deviation determined. Alternatively, a map of the environment created and stored based on the sensor data is used depending on the deviation determined. Alternatively or additionally, a warning is preferably displayed for the user of the vehicle depending on the deviation determined. The method has the advantage that in currently recorded sensor data, current or new moving or dynamic objects behind or in front of the vehicle when a drive motor is activated, for example before leaving a parking space, are identified as a deviation from stored or older sensor data. the environment are detected and the driver is, for example, warned of the new moving object and/or automatic reversing is deactivated as a driver assistance function, although the currently recorded sensor data do not reliably enable detection of the object in the near area directly based on the currently recorded sensor data during the normal execution of other driver assistance functions, because, for example, a pedestrian is only partially visible in the camera image or ultrasonic reflections in the near area of less than ten centimeters cannot be reliably evaluated with regard to the reflection origin or the underlying object position and/or an object movement cannot yet be predicted. The method therefore has the advantage that an alternative detection of a dynamic object in the near area is reliably achieved, which serves to avoid collisions between the vehicle and the dynamic object.

Vorzugsweise werden in dem Fahrerassistenzverfahren als Sensordaten Kamerabilder mittels wenigstens einer Kamera des Fahrzeugs erfasst, wobei die erfassten Kamerabilder jeweils einen Teil der vor dem Fahrzeug, der hinter dem Fahrzeug und/oder der seitlich rechts und/oder links neben dem Fahrzeug liegenden Umgebung abbilden. Alternativ oder zusätzlich werden als Sensordaten Abstandsdaten zwischen Objekten und dem Fahrzeug mittels eines Abstandssensors erfasst, wobei der Abstandssensor wenigstens die Fahrzeugkamera oder eine andere Kamera des Fahrzeugs zur Erfassung von Kamerabildern als Sensordaten umfasst, wobei aus diesen Kamerabildern durch bekannte Structure-from-motion-Verfahren oder durch angelernte maschinelle Erkennungsverfahren beziehungsweise Depth from Mono- Verfahren Abstandsdaten ermittelt werden. Als Abstandssensor kann außerdem alternativ oder zusätzlich wenigstens ein Ultraschallsensor, ein Radarsensor und/oder ein Lidarsensor zur Aussendung von Signalen und zum Empfang von Reflexionssignalen vorgesehen sein. Durch die erfassten Sensordaten beziehungsweise Abstandsdaten kann die Umgebung besonders gut und zuverlässig repräsentiert werden, wobei basierend auf diesen Sensordaten beziehungsweise Abstandsdaten eine Erkennung von dynamischen Objekten im unmittelbaren Nahbereich des Fahrzeugs trotzdem erschwert ist, insbesondere im Stillstand des Fahrzeugs. Allerdings können Abweichungen in zwischen aktuell erfassten Sensordaten und gespeicherten Sensordaten am gleichen Ort gut ermittelt werden, insbesondere, wenn in den gespeicherten Sensordaten dynamische Objekte gefiltert werden. Vorteilhafterweise ist es vorgesehen, dass die Sensordaten mittels wenigstens zwei unterschiedlicher Sensortechnologien erfasst und fusioniert werden. Dadurch werden die erfassten Sensordaten robuster in bestimmten Fahrsituationen, beispielsweise bei Nacht und/oder im starken Regen. Dadurch resultiert der Vorteil, dass zuverlässiger Abweichungen ermittelt werden, welche dynamischen Objekte im Nahbereich des Fahrzeugs repräsentieren. Preferably, in the driver assistance method, camera images are recorded as sensor data using at least one camera of the vehicle, with the recorded camera images each depicting a part of the area in front of the vehicle, behind the vehicle and/or the area to the right and/or left of the vehicle. Alternatively or additionally, distance data between objects and the vehicle is recorded as sensor data using a distance sensor, with the distance sensor comprising at least the vehicle camera or another camera of the vehicle for recording camera images as sensor data, with distance data being determined from these camera images using known structure-from-motion methods or trained machine recognition methods or depth-from-mono methods. Alternatively or additionally, at least one ultrasonic sensor, a radar sensor and/or a lidar sensor for transmitting signals and receiving reflection signals can also be provided as a distance sensor. The environment can be represented particularly well and reliably using the recorded sensor data or distance data, although it is still difficult to detect dynamic objects in the immediate vicinity of the vehicle based on this sensor data or distance data, especially when the vehicle is stationary. However, deviations between currently recorded sensor data and stored sensor data at the same location can be easily determined, especially if dynamic objects are filtered out in the stored sensor data. Advantageously, the sensor data is recorded and merged using at least two different sensor technologies. This makes the recorded sensor data more robust in certain driving situations, for example at night and/or in heavy rain. This results in the advantage that deviations that represent dynamic objects in the vicinity of the vehicle can be determined more reliably.

In einer optionalen Ausführungsform der Erfindung werden beziehungsweise sind die erfassten Sensordaten in eine Kartierung der Umgebung transformiert. Beispielsweise werden nach der Erfassung von Kamerabildern als Sensordaten, die Kamerabilder in eine virtuelle Perspektive senkrecht von oben nach unten beziehungsweise in eine sogenannte virtuelle „Top-down“- Perspektive transformiert, wobei die erfassten Sensordaten in dieser transformierten Form gespeichert und in dieser transformierten Form zur Ermittlung der Abweichung mit aktuell erfassten Sensordaten zum Zeitpunkt der Aktivierung des Antriebs verglichen werden. Dadurch resultiert der Vorteil einer zuverlässigen Bestimmung der ermittelten Abweichung. Dadurch werden auch zuverlässiger nur solche Abweichungen ermittelt, welche dynamischen Objekte im Nahbereich des Fahrzeugs repräsentieren. In an optional embodiment of the invention, the recorded sensor data is or are transformed into a map of the environment. For example, after the camera images have been recorded as sensor data, the camera images are transformed into a virtual perspective vertically from top to bottom or into a so-called virtual "top-down" perspective, with the recorded sensor data being stored in this transformed form and compared in this transformed form with currently recorded sensor data at the time the drive was activated in order to determine the deviation. This results in the advantage of a reliable determination of the determined deviation. This also means that only those deviations that represent dynamic objects in the immediate vicinity of the vehicle are determined more reliably.

Bevorzugt sind die Sensordaten bei der Erfassung der Sensordaten vor der Speicherung durch Bearbeitungsverfahren vorprozessiert. Beispielsweise werden bei der Erfassung der Sensordaten als Sensordaten Kamerabilder mittels einer Fahrzeugkamera mit Weitwinkelobjektiv erfasst und durch Entzerrung und/oder Anpassung der Helligkeit und/oder Grauwertbildung vorprozessiert. Dadurch resultiert der Vorteil einer robusteren Bestimmung der ermittelten Abweichung. When the sensor data is recorded, the sensor data is preferably pre-processed by processing methods before being stored. For example, when the sensor data is recorded as sensor data, camera images are recorded using a vehicle camera with a wide-angle lens and pre-processed by equalization and/or adjustment of the brightness and/or gray value formation. This results in the advantage of a more robust determination of the determined deviation.

In einer vorteilhaften Ausgestaltung des Fahrassistenzverfahren umfassen die Sensordaten eine Punktwolke beziehungsweise wird bei der Erfassung der Sensordaten eine Punktwolke zu den Sensordaten ermittelt, wobei in der Punktwolke pixelbasiert, segmentbasiert und/oder objektbasiert einer Bildinformation eines Kamerabildes eine Abstandsinformation aus den Abstandsdaten zugeordnet ist. Durch diese Ausführung resultiert der Vorteil, dass bei einer ermittelten Abweichung zwischen beispielsweise Bildinformationen aktueller und gespeicherter Kamerabilder basierend auf der Abstandsinformation eine Kritikalität der ermittelten Abweichung bewertet beziehungsweise bestimmt werden kann, insbesondere kann eine fehlende Relevanz beziehungsweise Kritikalität bewertet werden, wenn die ermittelte Abweichung kleine Abmaße aufweist und in einem Bereich mit einen größeren Abstand zum Fahrzeug aufweist. Durch diese Ausgestaltung werden zuverlässiger nur solche Abweichungen ermittelt, welche dynamische Objekte im Nahbereich des Fahrzeugs repräsentieren. In an advantageous embodiment of the driver assistance method, the sensor data comprise a point cloud or, when the sensor data is recorded, a point cloud is determined for the sensor data, wherein in the point cloud, distance information from the distance data is assigned to image information of a camera image on a pixel-based, segment-based and/or object-based basis. This embodiment results in the advantage that, in the case of a determined deviation between, for example, image information of current and stored camera images, a criticality of the determined deviation can be assessed or determined based on the distance information. In particular, a lack of relevance or criticality can be assessed if the determined deviation has small dimensions and is in an area with a greater distance to the vehicle. This design allows only those deviations to be determined that represent dynamic objects in the immediate vicinity of the vehicle.

In einer besonders bevorzugten Ausführungsform des Fahrassistenzverfahren wird die Abweichung in einem relevanten Bereich der Sensordaten ermittelt, wobei der relevante Bereich Objekte im Nahbereich des Fahrzeugs abbildet. Der relevante Bereich der Sensordaten ist dabei insbesondere abhängig von der Sensortechnologie des zur Erfassung der Sensordaten verwendeten Fahrzeugsensors. Sind die erfassten Sensordaten in eine Kartierung der Umgebung transformiert, ist der relevante Bereich beispielsweise der Nahbereich um das Fahrzeug in der Kartierung, welcher beispielsweise durch einen Abstand von kleiner oder gleich einem Meter von der Fahrzeugaußenhülle begrenzt ist. Sind die erfassten Sensordaten beispielsweise Ultraschallsensordaten, so werden ermittelte Abweichungen in einem Fernbereich der Umgebung vorteilhafterweise nicht berücksichtigt, wobei der Fernbereich vorteilhafterweise Sensordaten in einen Abstand größer einem Meter von dem Fahrzeug repräsentiert. In a particularly preferred embodiment of the driver assistance method, the deviation is determined in a relevant area of the sensor data, the relevant area depicting objects in the immediate vicinity of the vehicle. The relevant area of the sensor data is particularly dependent on the sensor technology of the vehicle sensor used to record the sensor data. If the recorded sensor data is transformed into a map of the environment, the relevant area is, for example, the immediate area around the vehicle in the map, which is limited, for example, by a distance of less than or equal to one meter from the vehicle's outer shell. If the recorded sensor data is, for example, ultrasonic sensor data, deviations determined in a distant area of the environment are advantageously not taken into account, the distant area advantageously representing sensor data at a distance of more than one meter from the vehicle.

In einer sehr vorteilhaften Ausführung der Erfindung wird die Abweichung zwischen den zum Zeitpunkt der erfassten Aktivierung des Antriebs erfassten Sensordaten und den gespeicherten Sensordaten durch ein angelerntes maschinelles Erkennungsverfahren ermittelt oder die ermittelte Abweichung wird durch ein angelerntes maschinelles Erkennungsverfahren bewertet, insbesondere durch ein neuronales Netz, wobei das maschinelle Erkennungsverfahren vorzugsweise dazu eingerichtet ist, kritische Abweichungen von unkritischen Abweichungen beziehungsweise entfernte Abweichungen von nicht entfernten Abweichungen beziehungsweise dynamische Objekte von statischen Objekten zu unterscheiden. Dadurch können Abweichung bezüglich Ihrer Wahrscheinlichkeit auf Relevanz beurteilt werden. In a very advantageous embodiment of the invention, the deviation between the sensor data recorded at the time of the detected activation of the drive and the stored sensor data is determined by a trained machine recognition method or the determined deviation is evaluated by a trained machine recognition method, in particular by a neural network, wherein the machine recognition method is preferably set up to distinguish critical deviations from non-critical deviations or remote deviations from non-removed deviations or dynamic objects from static objects. In this way, deviations can be assessed with regard to their probability of relevance.

In einer bevorzugten Ausgestaltung der Erfindung wird die Speicherung der erfassten Sensordaten zum Zeitpunkt des erkannten Stillstands des Fahrzeugs zusätzlich in Abhängigkeit wenigstens eines erkannten dynamischen Objektes durchgeführt. Das mindestens eine dynamische Objekt wird basierend auf den erfassten Sensordaten erkannt. Die Speicherung der erfassten Sensordaten wird in dieser Ausgestaltung vorteilhafterweise verzögert, bis kein dynamisches Objekt in den erfassten Sensordaten mehr erkannt wird. Die zu diesem Zeitpunkt erfassten Sensordaten werden dann als erfasste Sensordaten zum Zeitpunkt des erkannten Stillstands gespeichert. Dadurch wird in der Regel kein Fußgänger, kein Kind oder kein Radfahrer als dynamisches Objekt in den gespeicherten Sensordaten abgebildet, wodurch die gespeicherten Sensordaten zum Zeitpunkt des Stillstandes des Fahrzeugs im Wesentlichen statische Objekte oder nicht für Kollisionen relevante Objekte repräsentieren. Dadurch können nach der erkannten Aktivierung des Antriebs dynamische Objekte im Nahbereich des Fahrzeugs verbessert erkannt werden, da die ermittelte Abweichung der zum Zeitpunkt der Aktivierung des Antriebs erfassten Sensordaten zu den gespeicherten Sensordaten zuverlässiger dynamische Objekte repräsentiert. In a preferred embodiment of the invention, the storage of the recorded sensor data at the time of the detected standstill of the vehicle is additionally carried out depending on at least one detected dynamic object. The at least one dynamic object is detected based on the recorded sensor data. In this embodiment, the storage of the recorded sensor data is advantageously delayed until no more dynamic object is detected in the recorded sensor data. The sensor data recorded at this time are then stored as recorded sensor data at the time of the detected standstill. stored. As a result, no pedestrian, child or cyclist is usually shown as a dynamic object in the stored sensor data, meaning that the stored sensor data at the time the vehicle is at a standstill essentially represents static objects or objects not relevant to collisions. This means that dynamic objects in the vicinity of the vehicle can be better detected after the activation of the drive has been detected, since the determined deviation between the sensor data recorded at the time the drive was activated and the stored sensor data more reliably represents dynamic objects.

In einer optionalen Weiterführung der Erfindung werden in den erfassten Sensordaten vor der Speicherung mittels eines angelernten maschinellen Erkennungsverfahren diejenigen Sensordaten, welche dynamischen Objekten zugeordnet werden können, gefiltert beziehungsweise entfernt, insbesondere ist das angelernte maschinelle Erkennungsverfahren ein neuronales Netz. Optional werden die gefilterten Sensordaten durch abgeschätzte Sensordaten, welche durch ein anderes maschinelles Erkennungsverfahren erzeugt werden, ersetzt, wobei die abgeschätzten Sensordaten eine statische Umgebung des Fahrzeugs repräsentieren. Durch diese Weiterführung werden Abweichungen, welche dynamische Objekte repräsentieren, zuverlässiger ermittelt. In an optional development of the invention, the sensor data that can be assigned to dynamic objects are filtered or removed from the recorded sensor data before storage using a trained machine recognition method; in particular, the trained machine recognition method is a neural network. Optionally, the filtered sensor data are replaced by estimated sensor data that are generated by another machine recognition method, with the estimated sensor data representing a static environment of the vehicle. This development allows deviations that represent dynamic objects to be determined more reliably.

Es kann des Weiteren in einer optionalen Ausführung des Fahrassistenzverfahren vorgesehen sein, dass der Antrieb des Fahrzeugs, insbesondere für eine vorgegebene Zeitspanne, in Abhängigkeit der ermittelten Abweichung vorübergehend deaktiviert wird, insbesondere wenn durch die ermittelte Abweichung ein dynamisches Objekt im Nahbereich des Fahrzeugs erkannt wird. Anschließend wird eine Veränderung der Abweichung der erfassten Sensordaten zu den gespeicherten Sensordaten vor und nach der Deaktivierung bestimmt. Die Aktivierung und/oder Deaktivierung von Fahrassistenzverfahren erfolgt in dieser Ausführung zusätzlich in Abhängigkeit der Veränderung der Abweichung. Alternativ oder zusätzlich erfolgt die Verwendung der basierend auf den Sensordaten erstellten und gespeicherten Umgebungskarte zusätzlich in Abhängigkeit der Veränderung der Abweichung. Alternativ oder zusätzlich wird eine Warnung für den Nutzer des Fahrzeugs zusätzlich in Abhängigkeit der Veränderung der Abweichung angezeigt. Durch diese Ausführung wird der Nutzer nicht einfach bei einem erkannten Objekt im Nahbereich des Fahrzeugs nicht mehr unterstützt oder gewarnt, sondern es erfolgt lediglich eine vorübergehende Deaktivierung des Antriebs bis die Abweichung beziehungsweise das dynamische Objekt im Erfassungsbereich der Sensoren beziehungsweise in den aktuell erfassten Sensordaten nicht mehr erkennbar ist Somit resultiert ein sehr komfortables Verfahren für den Nutzer. Er kann beispielsweise nach einer kurzen Wartezeit, über welche er informiert wird, automatisch ausparken, obwohl zum Zeitpunkt der Aktivierung des Antriebs ein dynamisches Objekt durch die ermittelte Abweichung erkannt und beispielsweise eine Warnung angezeigt wurde. It can also be provided in an optional embodiment of the driver assistance method that the drive of the vehicle is temporarily deactivated, in particular for a predetermined period of time, depending on the deviation determined, in particular if a dynamic object is detected in the vicinity of the vehicle as a result of the deviation determined. A change in the deviation of the recorded sensor data from the stored sensor data before and after deactivation is then determined. In this embodiment, the activation and/or deactivation of driver assistance methods also takes place depending on the change in the deviation. Alternatively or additionally, the use of the environment map created and stored based on the sensor data also takes place depending on the change in the deviation. Alternatively or additionally, a warning is also displayed for the user of the vehicle depending on the change in the deviation. With this embodiment, the user is not simply no longer supported or warned when an object is detected in the vicinity of the vehicle, but only a temporary Deactivation of the drive until the deviation or the dynamic object in the detection range of the sensors or in the currently recorded sensor data is no longer recognizable. This results in a very convenient process for the user. For example, he can automatically pull out of the parking space after a short waiting time, of which he is informed, even though a dynamic object was detected by the determined deviation at the time the drive was activated and a warning was displayed, for example.

Des Weiteren wird vorzugsweise eine Anzeige einer Gesamtansicht der Umgebung aus einer virtuellen Perspektive basierend auf den aktuell erfassten Sensordaten und den gespeicherten Sensordaten in Abhängigkeit der ermittelten Abweichung durchgeführt, insbesondere durch eine Surround View- Ansicht oder eine Top-Down- Ansicht und/oder mittels eines Displays. Durch diese Ausgestaltung kann die angezeigte Gesamtansicht beim Aktivieren des Antriebs um eine Vielzahl an Sensordaten erweitert werden, welche insbesondere statische Objekte repräsentieren, wobei insbesondere Bereiche mit ermittelten Abweichungen durch gespeicherte Sensordaten oder nur durch aktuell erfasste Sensordaten dargestellt beziehungsweise abgebildet und/oder Bereiche mit dynamischen Objekten in der Gesamtansicht markiert werden. Dadurch wird die Gesamtansicht verbessert beziehungsweise zuverlässig realistischer dargestellt. Außerdem wird der Nutzer verbessert bei der Betrachtung der Gesamtansicht unterstützt und das Vertrauen in die angezeigte Gesamtansicht wird gesteigert. Furthermore, an overall view of the environment is preferably displayed from a virtual perspective based on the currently recorded sensor data and the stored sensor data depending on the determined deviation, in particular by means of a surround view or a top-down view and/or by means of a display. This configuration allows the displayed overall view to be expanded when the drive is activated to include a large number of sensor data, which in particular represent static objects, wherein in particular areas with determined deviations are shown or depicted by stored sensor data or only by currently recorded sensor data and/or areas with dynamic objects are marked in the overall view. This improves the overall view or reliably displays it more realistically. In addition, the user is better supported when viewing the overall view and trust in the displayed overall view is increased.

Die Erfindung betrifft außerdem ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Fahrassistenzverfahrens auszuführen. The invention also relates to a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the driving assistance method according to the invention.

Die Erfindung betrifft des Weiteren ein Steuergerät oder eine zentrale Rechenvorrichtung, welche jeweils wenigstens einen Signaleingang zur Bereitstellung von Sensordaten umfassen, wobei die Sensordaten die Umgebung des Fahrzeugs repräsentieren. Außerdem weist das Steuergerät oder die zentrale Recheneinheit eine Recheneinheit auf, insbesondere einen Prozessor. Die Recheneinheit ist so konfiguriert, dass sie die Schritte des erfindungsgemäßen Fahrassistenzverfahren ausführt. The invention further relates to a control unit or a central computing device, each of which comprises at least one signal input for providing sensor data, the sensor data representing the environment of the vehicle. In addition, the control unit or the central computing unit has a computing unit, in particular a processor. The computing unit is configured such that it carries out the steps of the driver assistance method according to the invention.

Die Erfindung betrifft ferner ein Fahrzeug, umfassend ein erfindungsgemäßes Steuergerät oder eine erfindungsgemäße zentrale Rechenvorrichtung. Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren. The invention further relates to a vehicle comprising a control unit according to the invention or a central computing device according to the invention. Further advantages will become apparent from the following description of embodiments with reference to the figures.

Figur 1 : Ablaufdiagramm des Fahrassistenzverfahrens Figure 1: Flowchart of the driver assistance procedure

Ausführungsbeispiele implementation examples

In Figur 1 ist ein Ablaufdiagramm des Fahrassistenzverfahrens schematisch als Blockdiagramm dargestellt. In einem Schritt 110 werden Sensordaten erfasst, welche die Umgebung des Fahrzeugs repräsentieren beziehungsweise abbilden. Vorzugsweise wird wenigstens mittels einer Fahrzeugkamera eine Abfolge von Kamerabildern kontinuierlich erfasst. Die Fahrzeugkamera ist beispielsweise eine Kamera, welche dazu angeordnet und eingerichtet ist, jeweils einen Teil der vor dem Fahrzeug, der hinter dem Fahrzeug oder der seitlich rechts oder links neben dem Fahrzeug liegenden Umgebung abzubilden. Die Kamera weist zu diesem Zweck bevorzugt ein Weitwinkeloptik auf, wodurch der Erfassungsbereich vergrößert ist. Alternativ oder zusätzlich werden vorteilhafterweise als Sensordaten Abstandsdaten zwischen Objekten in der Umgebung des Fahrzeugs und dem Fahrzeug mittels eines Abstandssensors erfasst. In dem Verfahren können als Abstandssensoren verschiedene Sensortechnologien verwendet werden, beispielsweise umfasst der Abstandssensor wenigstens die Fahrzeugkamera oder eine andere Kamera des Fahrzeugs, beispielsweise die Frontkamera, welche insbesondere nicht eine Weitwinkeloptik aufweist, wobei die Abstandsdaten basierend auf der erfassten Abfolge von Kamerabildern durch ein structure-from-motion-Verfahren ermittelt werden. Besonders bevorzugt werden Abstandsdaten als Sensordaten mittels einem Ultraschallsensor, einem Radarsensor und/oder einem Lidarsensor umfasst. Die Abstandsdaten repräsentieren Positionen von Objekten relativ zum Fahrzeug und/oder Abstände von Objekten relativ zum Fahrzeug. Die Sensordaten werden also insbesondere mittels aktiver und/oder passiver beziehungsweise unterschiedlicher Sensortechnologien erfasst. Die Sensordaten können anschließend fusioniert werden, wobei beispielsweise die mittels verschiedener Sensortechnologien erfassten Sensordaten beziehungsweise Abstandsdaten zu einem erkannten Objekt gemittelt oder korrigiert beziehungsweise angepasst werden, wobei die Erkennung des Objektes basierend auf Sensordaten erfolgt, welche mittels wenigstens einer oder mittels mehrerer unterschiedlicher Sensortechnologien erfasst wurden. Die Sensordaten werden vor der Speicherung insbesondere durch Bearbeitungsverfahren vorprozessiert, beispielsweise erfolgt eine Entzerrung und/oder eine Anpassung der Helligkeitswerte von Kamerabildern als Sensordaten und/oder eine Clusterbildung und/oder Ermittlung von Objekträndern basierend auf den erfassten Abstandsdaten des wenigstens einen Ultraschallsensors etc. Die erfassten Sensordaten sind außerdem vorteilhafterweise in eine zwei- oder dreidimensionale Kartierung der Umgebung transformiert. Kamerabilder, welche die vor dem Fahrzeug liegende Umgebung abbilden und, welche mittels einer Kamera des Fahrzeugs erfasst wurden, weisen bei der Erfassung die Ausrichtung beziehungsweise Perspektive der Fahrzeugkamera auf. Die Kamerabilder können durch bekannte Verfahren in eine andere virtuelle Perspektive transformiert werden, wobei beispielsweise eine virtuelle Perspektive senkrecht von oben nach unten beziehungsweise eine Top-down- Ansicht als Kartierung erzeugt wird. Dadurch werden im Falle von Kamerabildern als Sensordaten Objekte im Nahbereich des Fahrzeugs lang gestreckt beziehungsweise verzerrt, wodurch die Objekte im Nahbereich als Artefakte schnell beziehungsweise leicht beziehungsweise zuverlässig durch einen Nutzer oder ein angelerntes maschinelles Erkennungsverfahren erkannt werden können. Diese Tatsache ist für das erfindungsgemäße Verfahren besonders interessant, da dynamische Objekte im Nahbereich des Fahrzeugs beim Anfahren beziehungsweise bei der Aktivierung des Antriebs, beispielsweise beim Ausparken des Fahrzeugs, im Stand der Technik besonders schwer erkannt werden und kollisionsgefährdend sind, wobei im Falle einer Kollision leicht ein Personenschaden resultiert, beispielsweise im Falle von Fußgängern, Kindern oder Radfahrern als dynamische Objekte im Nahbereich. Dieses Verfahren löst diese Herausforderung, dadurch, dass die dynamischen Objekte basierend auf einer ermittelten Abweichung zwischen aktuellen Sensordaten und gespeicherten Sensordaten erkannt werden, wobei vorteilhafterweise die Abweichung als Artefakt zuverlässig erkannt werden kann. Die Sensordaten können des Weiteren optional eine Punktwolke vorliegen beziehungsweise in eine Punktwolke übertragen sein, in welcher pixelbasiert, segmentbasiert und/oder objektbasiert beispielsweise einer Bildinformation eines Kamerabildes als Sensordaten eine Abstandsinformation aus zusätzlich erfassten Abstandsdaten als Sensordaten zugeordnet ist. Die Erkennung der Segmente und/oder Objekte erfolgt durch angelernte maschinelle Erkennungsverfahren, insbesondere ein neuronales Netz. Die Erfassung der Sensordaten im Schritt 110 wird insbesondere kontinuierlich durchgeführt. In einem weiteren Schritt 120 wird ein Bewegungszustands des Fahrzeugs ermittelt. Beispielsweise wird als Bewegungszustand eine Geschwindigkeit und/oder eine Beschleunigung des Fahrzeugs basierend beispielsweise auf einer erfassten Drehzahl einer Achse des Antriebs des Fahrzeugs ermittelt. Die Ermittlung 120 des Bewegungszustands erfolgt insbesondere kontinuierlich. Basierend auf dem ermittelten Bewegungszustand wird im folgenden Schritt 130 ein Stillstand des Fahrzeugs erkannt. Im Schritt 140 werden die erfassten Sensordaten zum Zeitpunkt des Stillstandes des Fahrzeugs beziehungsweise in Abhängigkeit des erkannten Stillstands gespeichert. Die Speicherung 140 der erfassten Sensordaten wird optional zusätzlich in Abhängigkeit wenigstens eines erkannten dynamischen Objektes durchgeführt, wobei das dynamische Objekt basierend auf den erfassten Sensordaten erkannt wird. Die Speicherung 140 der erfassten Sensordaten wird insbesondere verzögert, bis keine dynamischen Objekte in den erfassten Sensordaten mehr erkannt beziehungsweise durch eine Bewegungsschätzung eine Position des erkannten dynamischen Objektes außerhalb der Sensordaten abgeschätzt beziehungsweise vermutet wird. Mit anderen Worten umfassen die gespeicherten Sensordaten zum Zeitpunkt des Stillstands vorteilhafterweise gespeicherte Sensordaten zu einem Zeitpunkt kurz nach dem Zeitpunkt des Stillstandes, wobei abgewartet wird, dass erkannte dynamische Objekte aus der Umgebung des Fahrzeugs verschwinden, wodurch die gespeicherten Sensordaten keine dynamischen Objekte repräsentieren. Der erkannte Stillstand kann insbesondere für eine unbestimmte beziehungsweise beliebige Zeit vorliegen. Mit anderen Worten repräsentiert der erkannte Stillstand des Fahrzeugs beispielsweise einen relativ kurzen Stopp an einer Ampel, ein Parken zum Einkäufen oder einen Stillstand zum Tanken an einer Tankstelle. Der erkannte Stillstand des Fahrzeugs kann aber auch ein längeres Parken des Fahrzeugs über viele Stunden oder Tage repräsentieren. In einem weiteren Schritt 150 des Verfahrens wird aus dem erkannten Stillstand beziehungsweise in dem Stillstand des Fahrzeugs eine Aktivierung eines Antriebs des Fahrzeugs durch den Nutzer des Fahrzeugs erfasst. In Abhängigkeit der im Schritt 150 erfassten Aktivierung des Antriebs wird im Schritt 160 wenigstens eine Abweichung zwischen den zum Zeitpunkt der Aktivierung des Antriebs aktuell erfassten Sensordaten und den gespeicherten Sensordaten ermittelt. Die Ermittlung 160 der Abweichung zwischen den zum Zeitpunkt der erfassten Aktivierung des Antriebs erfassten Sensordaten und den gespeicherten Sensordaten erfolgt bevorzugt in einem relevanten Bereich der Sensordaten, wobei der relevante Bereich den Nahbereich des Fahrzeugs repräsentiert, wodurch dynamische Objekte in dem Nahbereich des Fahrzeugs in dem relevanten Bereich abbildet werden. Der Nahbereich des Fahrzeugs repräsentiert insbesondere eine Umgebung um das Fahrzeug in einem Abstand von maximal einem Meter von dem Fahrzeug. Die Ermittlung 160 der Abweichung zwischen den zum Zeitpunkt der erfassten Aktivierung des Antriebs erfassten Sensordaten und den gespeicherten Sensordaten erfolgt vorteilhafterweise des Weiteren durch ein angelerntes maschinelles Erkennungsverfahren, insbesondere durch ein neuronales Netz. Das maschinelle Erkennungsverfahren ist im Schritt 160 vorzugsweise dazu eingerichtet, kollisionsgefährdende beziehungsweise kritische Abweichungen von unkritischen Abweichungen zu unterscheiden, wobei insbesondere nur die kollisionsgefährdenden Abweichungen ermittelt werden. In einem optionalen Schritt 170 kann es vorgesehen sein, dass der Antrieb des Fahrzeugs in Abhängigkeit der ermittelten Abweichung vorübergehend deaktiviert wird, insbesondere bis im Schritt 160 keine Abweichung zwischen den zum Zeitpunkt der erfassten Aktivierung des Antriebs erfassten Sensordaten und den gespeicherten Sensordaten mehr ermittelt wird. Es kann außerdem im optionalen Schritt 175 vorgesehen sein, dass eine Veränderung der Abweichung der erfassten Sensordaten zu den gespeicherten Sensordaten vor und nach der Deaktivierung des Antriebs bestimmt wird. In einem weiteren optionalen Schritt 180 wird eine Aktivierung und/oder Deaktivierung von Fahrassistenzverfahren in Abhängigkeit der ermittelten Abweichung durchgeführt, wobei beispielsweise eine automatische Ausparkfunktion und/oder eine automatische Längsführung des Fahrzeugs bei einer ermittelten Abweichung deaktiviert wird, da sie insbesondere auf ein dynamisches Objekt hindeutet beziehungsweise einen Fußgänger repräsentieren kann. Basierend auf der ermittelten Abweichung kann im Schritt 180 beispielsweise alternativ ein Fahrassistenzverfahren zur Kollisionsvermeidung aktiviert werden. Die im Schritt 180 durchgeführte Aktivierung und/oder die Deaktivierung von Fahrassistenzverfahren kann optional zusätzlich in Abhängigkeit der im Schritt 175 bestimmten Veränderung der Abweichung erfolgen. Das optional aktivierte Fahrassistenzverfahren zur Kollisionsvermeidung weist im Schritt 180 beispielsweise eine Aktivierung von Warnleuchten und/oder Hupen und/oder eine langsame Führung des Fahrzeugs in Längsrichtung mit einer Geschwindigkeit kleiner oder gleich fünf Kilometer pro Stunde umfassen, wodurch typischerweise dynamische Objekte, wie Fußgänger oder Radfahrer, den Nachbereich um das Fahrzeug beschleunigt verlassen und Kollisionen verhindert werden. In einem weiteren optionalen Schritt 190 wird in Abhängigkeit der ermittelten Abweichung eine auf den gepeicherten Sensordaten basierende Umgebungskarte verwendet. Die optionale Verwendung 190 der basierend auf den gespeicherte Sensordaten erstellten und gespeicherten Umgebungskarte erfolgt optional zusätzlich in Abhängigkeit der im Schritt 175 bestimmten Veränderung der Abweichung. In einem anderen optionalen Schritt 195 wird für den Nutzer des Fahrzeugs in Abhängigkeit der ermittelten Abweichung eine Warnung angezeigt, wodurch er beispielsweise darüber informiert wird, dass ein dynamisches Objekt im Nahbereich des Fahrzeugs vorliegt. Die Anzeige 195 der Warnung für den Nutzer des Fahrzeugs erfolgt optional zusätzlich in Abhängigkeit der im Schritt 175 bestimmten Veränderung der Abweichung. Des Weiteren kann im optionalen Schritt 199 eine Anzeige einer Gesamtansicht der Umgebung aus einer virtuellen Perspektive basierend auf den aktuell erfassten Sensordaten und den gespeicherten Sensordaten in Abhängigkeit der ermittelten Abweichung vorgesehen sein, wobei beispielsweise die aktuell erfassten Sensordaten durch die gespeicherten Sensordaten im Bereich der ermittelten Abweichung ersetzt und potentielle in Abhängigkeit der ermittelten Abweichung erkannte Bereiche mit dynamischen Objekten gekennzeichnet beziehungsweise markiert werden. Figure 1 shows a flow chart of the driver assistance method schematically as a block diagram. In a step 110, sensor data is recorded which represents or depicts the surroundings of the vehicle. Preferably, a sequence of camera images is continuously recorded at least by means of a vehicle camera. The vehicle camera is, for example, a camera which is arranged and set up to image a part of the surroundings in front of the vehicle, the surroundings behind the vehicle or the surroundings to the right or left of the vehicle. For this purpose, the camera preferably has a wide-angle lens, which increases the detection range. Alternatively or additionally, distance data between objects in the surroundings of the vehicle and the vehicle are advantageously recorded as sensor data by means of a distance sensor. In the method, various sensor technologies can be used as distance sensors, for example the distance sensor comprises at least the vehicle camera or another camera of the vehicle, for example the front camera, which in particular does not have a wide-angle lens, wherein the distance data is determined based on the recorded sequence of camera images by a structure-from-motion method. Distance data is particularly preferably included as sensor data by means of an ultrasonic sensor, a radar sensor and/or a lidar sensor. The distance data represents positions of objects relative to the vehicle and/or distances of objects relative to the vehicle. The sensor data is therefore recorded in particular by means of active and/or passive or different sensor technologies. The sensor data can then be merged, for example the sensor data or distance data recorded by means of different sensor technologies being averaged or corrected or adapted to a detected object, the object being detected based on sensor data which was recorded by means of at least one or several different sensor technologies. The sensor data is processed in particular by processing methods before storage. preprocessed, for example, equalization and/or adjustment of the brightness values of camera images as sensor data and/or cluster formation and/or determination of object edges based on the recorded distance data of the at least one ultrasonic sensor, etc. The recorded sensor data is also advantageously transformed into a two- or three-dimensional map of the environment. Camera images which depict the environment in front of the vehicle and which were recorded using a camera in the vehicle have the orientation or perspective of the vehicle camera when recorded. The camera images can be transformed into a different virtual perspective using known methods, for example a virtual perspective vertically from top to bottom or a top-down view being generated as a map. In the case of camera images as sensor data, objects in the vicinity of the vehicle are stretched out or distorted, whereby the objects in the vicinity can be recognized as artifacts quickly or easily or reliably by a user or a trained machine recognition process. This fact is particularly interesting for the method according to the invention, since dynamic objects in the vicinity of the vehicle when starting up or when activating the drive, for example when pulling out of a parking space, are particularly difficult to detect in the prior art and pose a risk of collision, whereby personal injury can easily result in the event of a collision, for example in the case of pedestrians, children or cyclists as dynamic objects in the vicinity. This method solves this challenge by detecting the dynamic objects based on a determined deviation between current sensor data and stored sensor data, whereby the deviation can advantageously be reliably detected as an artifact. The sensor data can also optionally be present in a point cloud or transferred to a point cloud in which, on a pixel-based, segment-based and/or object-based basis, for example, image information from a camera image as sensor data is assigned distance information from additionally recorded distance data as sensor data. The segments and/or objects are detected by trained machine detection methods, in particular a neural network. The sensor data is recorded in step 110 in particular continuously. In a further step 120, a state of motion of the vehicle is determined. For example, a speed and/or an acceleration of the vehicle is determined as the state of motion based, for example, on a detected speed of an axle of the vehicle's drive. The determination 120 of the The determination of the state of motion is carried out continuously in particular. Based on the determined state of motion, a standstill of the vehicle is detected in the following step 130. In step 140, the recorded sensor data are stored at the time the vehicle is at a standstill or as a function of the detected standstill. The storage 140 of the recorded sensor data is optionally additionally carried out as a function of at least one detected dynamic object, the dynamic object being detected based on the recorded sensor data. The storage 140 of the recorded sensor data is delayed in particular until no more dynamic objects are detected in the recorded sensor data or a position of the detected dynamic object outside the sensor data is estimated or assumed by a motion estimate. In other words, the stored sensor data at the time of the standstill advantageously include stored sensor data at a time shortly after the time of the standstill, waiting for detected dynamic objects to disappear from the vehicle's surroundings, as a result of which the stored sensor data do not represent dynamic objects. The detected standstill can in particular exist for an indefinite or arbitrary time. In other words, the detected standstill of the vehicle represents, for example, a relatively short stop at a traffic light, parking to go shopping or a standstill to refuel at a gas station. The detected standstill of the vehicle can also represent a longer parking of the vehicle over many hours or days. In a further step 150 of the method, an activation of a drive of the vehicle by the user of the vehicle is detected from the detected standstill or in the standstill of the vehicle. Depending on the activation of the drive detected in step 150, at least one deviation between the sensor data currently recorded at the time of activation of the drive and the stored sensor data is determined in step 160. The determination 160 of the deviation between the sensor data recorded at the time of the detected activation of the drive and the stored sensor data preferably takes place in a relevant area of the sensor data, wherein the relevant area represents the near area of the vehicle, whereby dynamic objects in the near area of the vehicle are mapped in the relevant area. The near area of the vehicle represents in particular an environment around the vehicle at a distance of a maximum of one meter from the vehicle. The determination 160 of the deviation between the sensor data recorded at the time of the activation of the drive and the stored sensor data is advantageously also carried out by a trained machine Recognition method, in particular by a neural network. The machine recognition method is preferably set up in step 160 to distinguish between collision-endangering or critical deviations and non-critical deviations, with only the collision-endangering deviations being determined in particular. In an optional step 170, it can be provided that the drive of the vehicle is temporarily deactivated depending on the deviation determined, in particular until no more deviation is determined in step 160 between the sensor data recorded at the time of the detected activation of the drive and the stored sensor data. In addition, in optional step 175, it can be provided that a change in the deviation of the recorded sensor data from the stored sensor data before and after the deactivation of the drive is determined. In a further optional step 180, activation and/or deactivation of driver assistance methods is carried out depending on the deviation determined, with, for example, an automatic parking space exit function and/or automatic longitudinal guidance of the vehicle being deactivated when a deviation is determined, since it indicates a dynamic object or can represent a pedestrian. Based on the determined deviation, a driver assistance method for collision avoidance can, for example, be activated alternatively in step 180. The activation and/or deactivation of driver assistance methods carried out in step 180 can optionally also take place depending on the change in the deviation determined in step 175. The optionally activated driver assistance method for collision avoidance in step 180 can, for example, include activation of warning lights and/or horns and/or slow guidance of the vehicle in the longitudinal direction at a speed of less than or equal to five kilometers per hour, as a result of which typically dynamic objects, such as pedestrians or cyclists, leave the area around the vehicle more quickly and collisions are prevented. In a further optional step 190, a map of the environment based on the stored sensor data is used depending on the determined deviation. The optional use 190 of the map of the environment created and stored based on the stored sensor data optionally also takes place depending on the change in the deviation determined in step 175. In another optional step 195, a warning is displayed for the user of the vehicle depending on the deviation determined, informing him, for example, that a dynamic object is present in the vicinity of the vehicle. The display 195 of the warning for the user of the vehicle optionally also takes place depending on the deviation determined in step 175. Change in the deviation. Furthermore, in the optional step 199, a display of an overall view of the environment from a virtual perspective based on the currently recorded sensor data and the stored sensor data depending on the determined deviation can be provided, wherein, for example, the currently recorded sensor data are replaced by the stored sensor data in the area of the determined deviation and potential areas detected depending on the determined deviation are identified or marked with dynamic objects.

Claims

claims

1. Driving assistance procedure for the user of a vehicle, comprising the following steps:

• Acquisition (110) of sensor data representing the environment of the vehicle,

• Determination (120) of a state of motion of the vehicle, in particular a speed of the vehicle is determined as the state of motion,

• Detection (130) of a standstill of the vehicle based on the determined state of motion of the vehicle, and

• Storage (140) of the recorded sensor data depending on the detected standstill, characterized in that the following steps are then carried out

• detection (150) of an activation of a drive of the vehicle by the user of the vehicle in the detected standstill of the vehicle, and

• Determining (160) at least one deviation between the currently recorded sensor data and the stored sensor data depending on the activation of the drive, and

• optional display (195) of a warning for the user of the vehicle depending on the detected deviation.

2. Driving assistance method according to claim 1, wherein in the acquisition (110) of sensor data as sensor data

• Camera images are captured by means of at least one camera of the vehicle, whereby the captured camera images each depict a part of the surroundings in front of the vehicle, behind the vehicle and/or to the side of the vehicle, and/or

• Distance data between objects and the vehicle are recorded by means of a distance sensor, wherein the distance sensor comprises at least the vehicle camera, another camera of the vehicle, an ultrasonic sensor, a radar sensor and/or a lidar sensor.

3. Driver assistance method according to one of claims 1 or 2, wherein during the acquisition (110) of sensor data, the sensor data are acquired and fused using different sensor technologies.

4. Driver assistance method according to one of the preceding claims, wherein during the acquisition (110) of sensor data, the acquired sensor data are transformed into a map of the environment.

5. Driver assistance method according to one of the preceding claims, wherein during the acquisition (110) of sensor data, the sensor data are pre-processed by processing methods.

6. Driver assistance method according to one of the preceding claims, wherein during the acquisition (110) of sensor data, a point cloud is determined for the sensor data, in which distance information from the distance data is assigned to image information of a camera image in a pixel-based, segment-based and/or object-based manner.

7. Driver assistance method according to one of the preceding claims, wherein the determination (160) of the at least one deviation between the sensor data recorded at the time of the detected activation of the drive and the stored sensor data takes place in a relevant area of the sensor data, wherein the relevant area depicts objects in the vicinity of the vehicle.

8. Driver assistance method according to one of the preceding claims, wherein the determination (160) of the at least one deviation between the sensor data recorded at the time of the detected activation of the drive and the stored sensor data is determined by a trained machine recognition method, in particular by a neural network, wherein the machine recognition method is preferably set up to be able to distinguish critical deviations from non-critical deviations.

9. Driver assistance method according to one of the preceding claims, wherein the storage (140) of the detected sensor data is additionally carried out as a function of at least one detected dynamic object, wherein the dynamic object is detected based on the detected sensor data, wherein the storage of the detected sensor data is in particular delayed until no more dynamic object is detected in the detected sensor data.

10. Driver assistance method according to one of the preceding claims, wherein the following steps are carried out • Temporary deactivation (170) of the vehicle’s drive depending on the detected deviation, and

• Determining (175) a change in the deviation of the recorded sensor data from the stored sensor data before and after deactivation,

• Activation (180) and/or deactivation of driver assistance procedures additionally depending on the determined change in the deviation, and/or

• Using (190) an environment map created and stored based on the sensor data additionally depending on the determined change in the deviation, and/or

• Display (195) of the warning for the user of the vehicle additionally depending on the determined change in the deviation.

11. Driver assistance method according to one of the preceding claims, wherein the following step is carried out

• Display (199) of an overall view (300) of the environment from a virtual perspective based on the currently recorded sensor data and the stored sensor data depending on the determined deviation.

12. Computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the driver assistance method according to one of the preceding claims.

13. Control device or central computing device comprising at least the following components

• a signal input for providing sensor data representing the vehicle’s environment, and

• a computing unit, in particular a processor, which is configured to carry out the steps of the driver assistance method according to one of claims 1 to 11.

14. Vehicle comprising a control unit or a central computing device according to claim 13.