WO2024041830A1 - Method for displaying the surroundings of a motor vehicle on a display device by means of an assistance system, computer program product, computer-readable storage medium, and assistance system - Google Patents

Method for displaying the surroundings of a motor vehicle on a display device by means of an assistance system, computer program product, computer-readable storage medium, and assistance system Download PDF

Info

Publication number
WO2024041830A1
WO2024041830A1 PCT/EP2023/070655 EP2023070655W WO2024041830A1 WO 2024041830 A1 WO2024041830 A1 WO 2024041830A1 EP 2023070655 W EP2023070655 W EP 2023070655W WO 2024041830 A1 WO2024041830 A1 WO 2024041830A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
environment
display device
support system
assistance system
Prior art date
Application number
PCT/EP2023/070655
Other languages
German (de)
French (fr)
Inventor
Jens Koestner
Kai Hacker
Alexander Hefner
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2024041830A1 publication Critical patent/WO2024041830A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G05D1/2248—
    • G05D2105/22—
    • G05D2107/13—
    • G05D2109/10—

Definitions

  • the invention relates to a method for displaying the surroundings of a motor vehicle on a display device by means of a support system according to the applicable patent claim 1.
  • the invention further relates to a computer program product, a computer-readable storage medium and a support system.
  • motor vehicles can be operated at least partially autonomously.
  • so-called automatic valet parking garages are known, in which the motor vehicle can be dropped off at a drop-off location by a driver, and then the motor vehicle can be brought autonomously from the drop-off location to a parking space. Conversely: If the driver returns and demands the motor vehicle back, the motor vehicle will be transferred autonomously from the parking area to a pick-up area where the driver can pick it up.
  • the parking environment then has corresponding sensors, so that autonomous driving within the parking environment is possible based on a detection of the parking environment with these sensors. If problems arise within this parking environment, for example in emergency braking situations, teleoperated driving of the motor vehicle can be initiated.
  • a person outside the vehicle in particular from a teleoperation station, then in turn operates the vehicle.
  • remote-controlled operation can thus be provided.
  • the teleoperator sees the motor vehicle from the perspective of the detection device, which makes maneuvering particularly difficult.
  • a method for automated and/or remote-controlled movement of a driverless first vehicle which is equipped with means for automated and/or remote-controlled driving, in the longitudinal direction after it has been parked in such a position and orientation that it blocks an adjacent surface and/or a vehicle, the method comprising the following steps: detecting a request from outside the first Vehicle, that the first vehicle is to be displaced from its current position in the longitudinal direction of the first vehicle, and depending on this, automated and / or remote-controlled displacement of the first vehicle in the longitudinal direction using the means for automated and / or remote-controlled driving to the blocked neighboring To clear the area and/or the blocked vehicle.
  • the object of the present invention is to create a method, a computer program product, a computer-readable storage medium and a support system by means of which improved operation of the motor vehicle can be achieved.
  • One aspect of the invention relates to a method for displaying the surroundings of a motor vehicle on a display device using a support system.
  • the surroundings of the motor vehicle are detected by means of at least one detection device external to the motor vehicle.
  • the captured environment is transformed using an electronic computing device of the support system in such a way that a perceptual perspective from the interior of the motor vehicle is generated.
  • the transformed environment is then displayed on the display device.
  • the motor vehicle has appropriate devices in order to be able to realize at least partially autonomous operation of the motor vehicle. For example, it is possible to intervene automatically in a longitudinal acceleration device and/or in a lateral acceleration device of the motor vehicle.
  • the control of the motor vehicle for example in the parking area, is then on Carried out on the basis of an external electronic computing device, which transmits corresponding commands to the motor vehicle and these in turn are executed by the at least partially autonomous motor vehicle.
  • the motor vehicle therefore also has at least one communication device which is designed to receive commands.
  • the support system also has a communication device which is designed to send commands.
  • the transformation of the surroundings detection through the parking environment can be carried out in such a way that, for example, an all-round view, as would be the case in a motor vehicle, can be generated.
  • an ultrasonic sensor device for example, an ultrasonic sensor device, a radar sensor device, a lidar sensor device or preferably a camera can be designed as the detection device.
  • the environment can also have a large number of detection devices.
  • a fusion of the different environmental recordings can then be realized, which can in particular be combined to form a holistic image.
  • the method can be carried out in the so-called automated valet parking type 2, in which there is no longer a person inside the motor vehicle during the parking maneuver.
  • the motor vehicle can then be operated again via the teleoperator. It is particularly advantageous here if the teleoperator then receives a view that is transformed as if the teleoperator were sitting in the motor vehicle itself.
  • the current position of the motor vehicle in particular within the environment, can also be taken into account in order to be able to carry out the corresponding adaptation or transformation of the detected environment.
  • the environmental detection from the motor vehicle itself is not available and the use of detection devices external to the motor vehicle is not intuitive, which can lead to errors and thus to dangerous situations
  • the main advantage of the presented method is to increase safety in road traffic, especially in the given environment.
  • safety can be increased for the teleoperator and the feeling can be conveyed that the teleoperator is in the perceptual perspective of the driver of the vehicle.
  • a display device internal to the motor vehicle is provided as the display device.
  • the transformed environment can in turn be displayed on a display device of the motor vehicle so that the driver of the motor vehicle can use the corresponding sensor detections, for example as an expanded one Reality, for example corresponding distances or the like, is displayed on the display device.
  • the method can therefore be used in a highly flexible manner and can, for example, also be made available to a driver of the motor vehicle within the motor vehicle.
  • a display device external to the vehicle is provided as the display device.
  • the display device can then be designed as part of a teleoperation station, in which case the teleoperator can then also initiate a movement of the motor vehicle, in particular a remote-controlled movement of the motor vehicle, on the basis of corresponding input commands.
  • the display is provided for an at least partially teleoperated ferry operation of the motor vehicle.
  • a large number of display areas/screens are provided for the teleoperated ferry operation, so that the teleoperator is provided with a rear view, a side view and a front view.
  • a so-called bird's eye view can also be displayed. This means that a comprehensive picture of the environment can be created for teleoperated ferry operations.
  • a further advantageous embodiment provides that an automated ferry operation of the motor vehicle is provided in the parking area, with the at least partially teleoperated ferry operation being provided in an emergency operation.
  • an at least partially automated ferry operation takes place Motor vehicle within the parking area.
  • an emergency for example incorrect planning of a trajectory or unforeseen events, the partially teleoperated ferry operation can again be carried out, which can increase safety within the park environment.
  • the detection device is provided on an infrastructure device in the surrounding area.
  • an infrastructure device for example, a wall, a barrier, fences, columns or the like can be provided as an infrastructure device.
  • the infrastructure facility can be designed as part of the park environment.
  • the entire park environment can then be recorded via the infrastructure device, preferably via a large number of infrastructure devices.
  • the environment is detected using a large number of detection devices.
  • the motor vehicle and its surroundings can be captured from different perspectives.
  • a fusion of the corresponding environmental recordings can then be carried out, whereby the different viewing angles and thus a complete environmental recording can be realized. This means that security within the environment can be increased.
  • a respective recording of the environment is merged into a common representation. It can therefore be provided that a large number of cameras or other sensors are provided in the environment. A joint fusion can then take place, for example based on a bird's eye view, or further distance information can also be represented as augmented reality, which can be detected, for example, on the basis of a lidar sensor device or radar sensor device. For example, determined distances to objects in the environment can be displayed as augmented reality. This means that a complete image of the surroundings can be created, which is then merged and transformed for the perceptual perspective.
  • an all-round view is displayed as a common representation.
  • the all-round view can be seen particularly from the perspective of a driver Motor vehicle are displayed.
  • a side view, a frontal view and a rear view can be displayed accordingly.
  • a further advantageous embodiment provides that the environment is recorded using a camera as a recording device.
  • a camera is preferably provided as a detection device.
  • the corresponding environment is recorded from different viewing directions by means of a large number of cameras and can be displayed in a merged manner on the display device.
  • a further aspect of the invention relates to a computer program product with program code means which cause an electronic computing device to carry out a method according to the previous aspect when the program code means are processed by the electronic computing device.
  • the computer program product can also be referred to as a computer program.
  • Yet another aspect of the invention also relates to a computer-readable storage medium with the computer program product.
  • the invention also relates to a support system for displaying the surroundings of a motor vehicle on a display device, with at least one electronic computing device, the support system being designed to carry out a method according to the preceding aspect. In particular, the procedure is carried out using the support system.
  • the electronic computing device has, for example, processors, circuits, in particular integrated circuits, and other electronic components in order to be able to carry out the corresponding method steps.
  • the invention also relates to a parking environment with the support system and with at least one environment detection device.
  • Advantageous embodiments of the method are to be viewed as advantageous embodiments of the computer program product, the computer-readable storage medium, the support system and the parking environment.
  • the support system and the park environment in particular have corresponding physical features in order to be able to carry out the procedural steps.
  • FIG. 1 shows a schematic top view of an environment of a motor vehicle with a support system
  • Fig. 2 is a schematic perspective view according to an embodiment of a display device of the support system.
  • identical or functionally identical elements are provided with the same reference numerals.
  • Fig. 1 shows a schematic top view of a motor vehicle 1 in an environment 2.
  • the environment 2 is designed in particular as a parking environment.
  • the environment 2 can be designed as a so-called automated valet parking type 2.
  • the motor vehicle 1 is moved at least partially autonomously along a trajectory 3 within the parking environment 2.
  • the motor vehicle 1 can be dropped off at a drop-off location 4 and then driven autonomously to a parking lot 5.
  • the environment 2 has an electronic computing device 6.
  • commands for example for the longitudinal guidance and/or transverse guidance of the motor vehicle 1, can be transmitted to the motor vehicle 1 by means of the electronic computing device 6.
  • the environment 2 in the present case has a first detection device 7 and a second detection device 8.
  • the detection devices 7, 8 can be designed as a radar sensor device, a lidar sensor device, an ultrasonic sensor device, or preferably as a camera.
  • the detection devices 7, 8 can be the same or different from one another in terms of the type of detection.
  • the detection devices 7, 8 can be designed differently.
  • the first detection device 7 can be designed as a camera and the second detection device 8 can be designed as a lidar sensor device.
  • the first detection device 7 and the second detection device 8 can preferably be designed as a camera.
  • the first detection device 7 is formed on a first infrastructure device 9, for example on a wall.
  • the second detection device 8 is formed on a second infrastructure device 10, which can also be designed, for example, as a wall or further infrastructure.
  • a first detection area 11 can be detected by means of the first detection device 7 and a second detection area 12 can be detected by means of the second detection device 8.
  • the environment 2 can be detected at a different angle by means of the first detection device 7 than with the second detection device 8.
  • the motor vehicle 1 in particular has a display device 13 internal to the motor vehicle.
  • Fig. 2 shows a schematic view of a teleoperation station 14, in particular Fig. 2 shows a display device 15 external to the motor vehicle, which in the present case is formed from three screens 16a, 16b, 16c. In particular, a left screen 16a, a middle screen 16b and a right screen 16c are shown. In particular, the environment 2 is shown here. In particular, the parking lot 5 is shown, as well as the infrastructure facility 9 on the right screen 16c. Furthermore, FIG. 2 shows a first input device 17, for example in the form of a keyboard, and a second input device 18, for example in the form of a joystick. In particular, an input can be made by a teleoperator, not shown, using the input devices 17, 18 and the motor vehicle 1 can thus be controlled remotely.
  • a first input device 17 for example in the form of a keyboard
  • a second input device 18 for example in the form of a joystick.
  • an input can be made by a teleoperator, not shown, using the input devices 17, 18 and the
  • the support system 19 in particular has the electronic computing device 6. Furthermore, the support system 19 has at least one detection device 7, 8 external to the vehicle.
  • the environment 2 of the motor vehicle 1 is detected by means of the detection device 7, 8 external to the motor vehicle.
  • the captured environment 2 is transformed by means of the electronic computing device 6 in such a way that a perception perspective 20 is generated from an interior 21 of the motor vehicle 1.
  • the transformed environment 2 is then displayed on the display device 15. In other words, FIG becomes.
  • the environment 2 is detected by means of a large number of detection devices 7, 8, with a respective detection of the environment 2 being merged into a common representation, and in particular, as shown in FIG. is displayed as a panoramic view as a common representation.
  • a rear view, a side view or even a bird's eye view can also be displayed on at least one of the screens 16a, 16b, 16c.
  • a display device 15 external to the motor vehicle can be provided as the display device 15.
  • the display device can also be provided as the vehicle-internal display device 13.
  • the display is provided for an at least partially teleoperated ferry operation of the motor vehicle 1, the method being provided within the parking environment of the motor vehicle 1. Furthermore, in the park environment, in particular an automated ferry operation of the motor vehicle 1 can be provided, with the at least partially teleoperated ferry operation 14 being provided in an emergency operation.

Abstract

The invention relates to a method for displaying the surroundings (2) of a motor vehicle (1) on a display device (13, 15) by means of an assistance system (19), said method comprising the steps of: - detecting the surroundings (2) of the motor vehicle (1) by means of at least one detection device (7, 8) of the assistance system (19), which detection device is arranged outside the motor vehicle; - transforming the detected surroundings (2) by means of an electronic computing device (6) of the assistance system (19) in such a way that a perception perspective (20) is generated from an interior (21) of the motor vehicle (1); and - displaying the transformed surroundings (2) on the display device (13, 15). The invention also relates to a computer program product, a computer-readable storage medium and an assistance system (19).

Description

Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Unterstützungssystem Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system
Die Erfindung betrifft ein Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems gemäß dem geltenden Patentanspruch 1 . Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Unterstützungssystem. The invention relates to a method for displaying the surroundings of a motor vehicle on a display device by means of a support system according to the applicable patent claim 1. The invention further relates to a computer program product, a computer-readable storage medium and a support system.
Aus dem Stand der Technik ist bereits bekannt, dass Kraftfahrzeuge zumindest teilweise autonom betrieben werden können. Beispielsweise sind hierzu so genannte automatic valet Parkhäuser bekannt, bei welchen das Kraftfahrzeug an einem Abgabeort von einem Fahrer abgegeben werden kann, und dann das Kraftfahrzeug autonom von dem Abgabeort an einen Parkplatz gebracht werden kann. Umgekehrt: Sollte der Fahrer zurückkommen und das Kraftfahrzeug entsprechend wiederverlangen, wird das Kraftfahrzeug von der Parkfläche autonom zu einem Abholbereich übergeben, wo der Fahrer dieses abholen kann. Hierbei ist bereits bekannt, dass beispielsweise dann die Parkumgebung entsprechend Sensoren aufweist, sodass auf Basis einer Erfassung der Parkumgebung mit diesen Sensoren ein autonomes Fahren innerhalb der Parkumgebung ermöglicht ist. Sollte es nun innerhalb dieser Parkumgebung zu Problemen, beispielsweise in Notbremssituationen, kommen, so kann ein teleoperiertes Fahren des Kraftfahrzeugs initiiert werden. Beim teleoperierten Fahren bedient eine kraftfahrzeugexterne Person, insbesondere von einem Teleoperationsplatz, dann wiederum das Kraftfahrzeug. Insbesondere kann somit ein ferngesteuerter Betrieb bereitgestellt werden. Hierbei sieht der Teleoperator das Kraftfahrzeug aus dem Blickwinkel der Erfassungseinrichtung, was insbesondere ein erschwertes Manövrieren verursacht. It is already known from the prior art that motor vehicles can be operated at least partially autonomously. For example, so-called automatic valet parking garages are known, in which the motor vehicle can be dropped off at a drop-off location by a driver, and then the motor vehicle can be brought autonomously from the drop-off location to a parking space. Conversely: If the driver returns and demands the motor vehicle back, the motor vehicle will be transferred autonomously from the parking area to a pick-up area where the driver can pick it up. It is already known that, for example, the parking environment then has corresponding sensors, so that autonomous driving within the parking environment is possible based on a detection of the parking environment with these sensors. If problems arise within this parking environment, for example in emergency braking situations, teleoperated driving of the motor vehicle can be initiated. During teleoperated driving, a person outside the vehicle, in particular from a teleoperation station, then in turn operates the vehicle. In particular, remote-controlled operation can thus be provided. Here, the teleoperator sees the motor vehicle from the perspective of the detection device, which makes maneuvering particularly difficult.
Gemäß der DE 10 2017 218 536 A1 ist ein Verfahren zum automatisierten und/oder ferngesteuerten Bewegen eines fahrerlosen ersten Fahrzeugs bereitgestellt, das mit Mitteln zum automatisierten und/oder ferngesteuerten Fahren ausgestattet ist, in Längsrichtung, nachdem es in einer Position und Ausrichtung derart abgestellt wurde, dass es eine benachbarte Fläche und/oder ein Fahrzeug blockiert, wobei das Verfahren folgende Schritte aufweist: Erfassen einer Anforderung von außerhalb des ersten Fahrzeugs, dass das erste Fahrzeug von seiner aktuellen Position in Längsrichtung des ersten Fahrzeugs zu versetzen ist, und in Abhängigkeit davon automatisiertes und/oder ferngesteuertes Versetzen des ersten Fahrzeugs in Längsrichtung unter Ausnutzung der Mittel zum automatisierten und/oder ferngesteuerten Fahren, um die blockierte benachbarte Fläche und/oder das blockierte Fahrzeug freizugeben. According to DE 10 2017 218 536 A1, a method is provided for automated and/or remote-controlled movement of a driverless first vehicle, which is equipped with means for automated and/or remote-controlled driving, in the longitudinal direction after it has been parked in such a position and orientation that it blocks an adjacent surface and/or a vehicle, the method comprising the following steps: detecting a request from outside the first Vehicle, that the first vehicle is to be displaced from its current position in the longitudinal direction of the first vehicle, and depending on this, automated and / or remote-controlled displacement of the first vehicle in the longitudinal direction using the means for automated and / or remote-controlled driving to the blocked neighboring To clear the area and/or the blocked vehicle.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Unterstützungssystem zu schaffen, mittels welchen ein verbesserter Betrieb des Kraftfahrzeugs realisiert werden kann. The object of the present invention is to create a method, a computer program product, a computer-readable storage medium and a support system by means of which improved operation of the motor vehicle can be achieved.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie durch ein Unterstützungssystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben. This task is solved by a method, a computer program product, a computer-readable storage medium and a support system according to the independent patent claims. Advantageous embodiments are specified in the subclaims.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems. Es erfolgt das Erfassen der Umgebung des Kraftfahrzeugs mittels zumindest einer kraftfahrzeugexternen Erfassungseinrichtung. Es wird die erfasste Umgebung mittels einer elektronischen Recheneinrichtung des Unterstützungssystems derart transformiert, dass eine Wahrnehmungsperspektive aus dem Innenraum des Kraftfahrzeugs erzeugt wird. Es erfolgt dann das Anzeigen der transformierten Umgebung auf der Anzeigeeinrichtung. One aspect of the invention relates to a method for displaying the surroundings of a motor vehicle on a display device using a support system. The surroundings of the motor vehicle are detected by means of at least one detection device external to the motor vehicle. The captured environment is transformed using an electronic computing device of the support system in such a way that a perceptual perspective from the interior of the motor vehicle is generated. The transformed environment is then displayed on the display device.
Somit ist es beispielsweise ermöglicht, dass ein Teleoperator des Kraftfahrzeugs die Umgebung derart angezeigt bekommt, als ob dieser im Innenraum des Kraftfahrzeugs sitzen würde. Dadurch ist es ermöglicht, dass ein intuitives Steuern des Kraftfahrzeugs für den Teleoperator realisiert werden kann. Somit kann ein verbesserter Betrieb des Kraftfahrzeugs, beispielsweise in einer Parkumgebung, welche insbesondere als so genanntes automated valet parking ausgebildet ist, bereitgestellt werden. This makes it possible, for example, for a teleoperator of the motor vehicle to see the surroundings as if he were sitting in the interior of the motor vehicle. This makes it possible for the teleoperator to control the motor vehicle intuitively. Improved operation of the motor vehicle can thus be provided, for example in a parking environment, which is designed in particular as so-called automated valet parking.
Insbesondere verfügt das Kraftfahrzeug über entsprechende Einrichtungen, um zumindest einen teilweise autonomen Betrieb des Kraftfahrzeugs realisieren zu können. Beispielsweise kann in eine Längsbeschleunigungseinrichtung und/oder in eine Querbeschleunigungseinrichtung des Kraftfahrzeugs automatisiert eingegriffen werden. Die Steuerung des Kraftfahrzeugs, beispielsweise in der Parkumgebung, wird dann auf Basis einer externen elektronischen Recheneinrichtung durchgeführt, welche entsprechende Befehle an das Kraftfahrzeug übermittelt und diese dann wiederum von dem zumindest teilweise autonomen Kraftfahrzeug ausgeführt werden. In particular, the motor vehicle has appropriate devices in order to be able to realize at least partially autonomous operation of the motor vehicle. For example, it is possible to intervene automatically in a longitudinal acceleration device and/or in a lateral acceleration device of the motor vehicle. The control of the motor vehicle, for example in the parking area, is then on Carried out on the basis of an external electronic computing device, which transmits corresponding commands to the motor vehicle and these in turn are executed by the at least partially autonomous motor vehicle.
Insbesondere verfügt somit das Kraftfahrzeug zumindest auch über eine Kommunikationseinrichtung, welche zum Empfangen von Befehlen ausgebildet ist. Das Unterstützungssystem weist ebenfalls eine Kommunikationseinrichtung auf, welche zum Senden von Befehlen ausgebildet ist. In particular, the motor vehicle therefore also has at least one communication device which is designed to receive commands. The support system also has a communication device which is designed to send commands.
Insbesondere kann somit das Transformieren der Umgebungserfassung durch die Parkumgebung derart durchgeführt werden, dass beispielsweise eine Rundumsicht, wie dies im Kraftfahrzeug der Fall wäre, erzeugt werden kann. In particular, the transformation of the surroundings detection through the parking environment can be carried out in such a way that, for example, an all-round view, as would be the case in a motor vehicle, can be generated.
Als Erfassungseinrichtung kann beispielsweise eine Ultraschallsensorvorrichtung, eine Radarsensorvorrichtung, eine Lidarsensorvorrichtung oder bevorzugt eine Kamera ausgebildet sein. Insbesondere kann die Umgebung auch eine Vielzahl von Erfassungseinrichtungen aufweisen. Insbesondere ist es dabei möglich, dass beispielsweise dann wiederum eine Fusion der unterschiedlichen Umgebungserfassungen realisiert werden kann, welche insbesondere zu einem gesamtheitlichen Bild zusammengeführt werden kann. For example, an ultrasonic sensor device, a radar sensor device, a lidar sensor device or preferably a camera can be designed as the detection device. In particular, the environment can also have a large number of detection devices. In particular, it is possible that, for example, a fusion of the different environmental recordings can then be realized, which can in particular be combined to form a holistic image.
Insbesondere kann das Verfahren bei dem so genannten automated valet parking Typ 2 durchgeführt werden, bei welchem innerhalb des Kraftfahrzeugs keine Person mehr während des Parkmanövers vorhanden ist. Da beispielsweise in dem Fall, in welchem das Kraftfahrzeug sich in einer Situation befindet, bei welcher es keinen Weg mehr gibt, um eine Planung der Trajektorie durchzuführen, beispielsweise aufgrund von externen Einflüssen, so kann das Kraftfahrzeug dann wieder über den Teleoperator bedient werden. Hierbei ist es insbesondere vorteilhaft, wenn dann wiederum der Teleoperator eine Sicht erhält, welche transformiert ist, als ob der Teleoperator im Kraftfahrzeug selbst sitzen würde. In particular, the method can be carried out in the so-called automated valet parking type 2, in which there is no longer a person inside the motor vehicle during the parking maneuver. For example, in the case in which the motor vehicle is in a situation in which there is no longer a way to carry out planning of the trajectory, for example due to external influences, the motor vehicle can then be operated again via the teleoperator. It is particularly advantageous here if the teleoperator then receives a view that is transformed as if the teleoperator were sitting in the motor vehicle itself.
Insbesondere kann dabei auch die aktuelle Position des Kraftfahrzeugs, insbesondere innerhalb der Umgebung, berücksichtigt werden, um die entsprechende Adaption beziehungsweise Transformation der erfassten Umgebung durchführen zu können. Insbesondere da die Umgebungserfassung aus dem Kraftfahrzeug selbst nicht verfügbar ist und die Verwendung von kraftfahrzeugexternen Erfassungseinrichtungen nicht intuitiv ist, was zu Fehlern und damit zu gefährlichen Situationen führen kann, liegt der Hauptvorteil des vorgestellten Verfahrens in der Erhöhung der Sicherheit im Straßenverkehr, insbesondere in der vorgegebenen Umgebung. Insbesondere kann somit für den Teleoperator die Sicherheit erhöht werden und das Gefühl vermittelt werden, dass der Teleoperator sich in der Wahrnehmungsperspektive des Fahrers des Fahrzeugs befindet. In particular, the current position of the motor vehicle, in particular within the environment, can also be taken into account in order to be able to carry out the corresponding adaptation or transformation of the detected environment. In particular, since the environmental detection from the motor vehicle itself is not available and the use of detection devices external to the motor vehicle is not intuitive, which can lead to errors and thus to dangerous situations The main advantage of the presented method is to increase safety in road traffic, especially in the given environment. In particular, safety can be increased for the teleoperator and the feeling can be conveyed that the teleoperator is in the perceptual perspective of the driver of the vehicle.
Gemäß einer vorteilhaften Ausgestaltungsform wird als Anzeigeeinrichtung eine kraftfahrzeuginterne Anzeigeeinrichtung bereitgestellt. Beispielsweise, sollte das Kraftfahrzeug selbst nicht über Sensoren verfügen, und ein Fahrer des Kraftfahrzeugs sich in der entsprechenden Umgebung befinden, so kann auf einer Anzeigeeinrichtung des Kraftfahrzeugs wiederum die transformierte Umgebung angezeigt werden, sodass der Fahrer des Kraftfahrzeugs die entsprechenden Sensorerkennungen, beispielsweise auch als erweiterte Realität, beispielsweise entsprechende Abstände oder Ähnliches, auf der Anzeigeeinrichtung angezeigt bekommt. Somit ist das Verfahren hochflexibel einsetzbar, und kann beispielsweise auch einem Fahrer des Kraftfahrzeugs innerhalb des Kraftfahrzeugs zur Verfügung gestellt werden. According to an advantageous embodiment, a display device internal to the motor vehicle is provided as the display device. For example, if the motor vehicle itself does not have sensors and a driver of the motor vehicle is in the corresponding environment, the transformed environment can in turn be displayed on a display device of the motor vehicle so that the driver of the motor vehicle can use the corresponding sensor detections, for example as an expanded one Reality, for example corresponding distances or the like, is displayed on the display device. The method can therefore be used in a highly flexible manner and can, for example, also be made available to a driver of the motor vehicle within the motor vehicle.
Alternativ hat es sich als vorteilhaft erwiesen, wenn als Anzeigeeinrichtung eine kraftfahrzeugexterne Anzeigeeinrichtung bereitgestellt wird. Insbesondere kann dann wiederum die Anzeigeeinrichtung als Teil eines Teleoperationsplatzes ausgebildet sein, wobei dann wiederum der Teleoperator auf Basis von entsprechenden Eingabebefehlen auch eine Bewegung des Kraftfahrzeugs, insbesondere eine ferngesteuerte Bewegung des Kraftfahrzeugs, initiieren kann. Alternatively, it has proven to be advantageous if a display device external to the vehicle is provided as the display device. In particular, the display device can then be designed as part of a teleoperation station, in which case the teleoperator can then also initiate a movement of the motor vehicle, in particular a remote-controlled movement of the motor vehicle, on the basis of corresponding input commands.
Es hat sich weiter als vorteilhaft erwiesen, wenn die Anzeige für einen zumindest teilweise teleoperierten Fährbetrieb des Kraftfahrzeugs bereitgestellt wird. Hierbei kann beispielsweise vorgesehen sein, dass für den teleoperierten Fährbetrieb eine Vielzahl von Anzeigeflächen/Bildschirmen bereitgestellt wird, sodass der Teleoperator sowohl eine Heckansicht, eine Seitenansicht sowie eine Frontansicht bereitgestellt bekommt. Ferner kann vorgesehen sein, dass beispielsweise auch eine so genannte Vogelperspektive mit angezeigt werden kann. Somit kann ein umfängliches Bild der Umgebung für den teleoperierten Fährbetrieb realisiert werden. It has also proven to be advantageous if the display is provided for an at least partially teleoperated ferry operation of the motor vehicle. Here, for example, it can be provided that a large number of display areas/screens are provided for the teleoperated ferry operation, so that the teleoperator is provided with a rear view, a side view and a front view. Furthermore, it can be provided that, for example, a so-called bird's eye view can also be displayed. This means that a comprehensive picture of the environment can be created for teleoperated ferry operations.
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass in der Parkumgebung ein automatisierter Fährbetrieb des Kraftfahrzeugs bereitgestellt wird, wobei in einem Notbetrieb der zumindest teilweise teleoperierte Fährbetrieb bereitgestellt wird. A further advantageous embodiment provides that an automated ferry operation of the motor vehicle is provided in the parking area, with the at least partially teleoperated ferry operation being provided in an emergency operation.
Insbesondere findet somit ein zumindest teilweise automatisierter Fährbetrieb des Kraftfahrzeugs innerhalb der Parkumgebung statt. Sollte es jedoch zu einem Notfall, beispielsweise einer fehlerhaften Planung einer Trajektorie oder nicht vorhergesehenen Ereignissen kommen, so kann wiederum der teilweise teleoperierte Fährbetrieb durchgeführt werden, wodurch die Sicherheit innerhalb der Parkumgebung erhöht werden kann. In particular, an at least partially automated ferry operation takes place Motor vehicle within the parking area. However, if an emergency occurs, for example incorrect planning of a trajectory or unforeseen events, the partially teleoperated ferry operation can again be carried out, which can increase safety within the park environment.
Ferner hat es sich als vorteilhaft erwiesen, wen die Erfassungseinrichtung an einer Infrastruktureinrichtung der Umgebung bereitgestellt wird. Beispielsweise kann als Infrastruktureinrichtung eine Wand, eine Schranke, Zäune, Säulen oder dergleichen bereitgestellt werden. Insbesondere kann die Infrastruktureinrichtung als Teil der Parkumgebung ausgebildet sein. Insbesondere kann über die Infrastruktureinrichtung, bevorzugt über eine Vielzahl von Infrastruktureinrichtungen, dann wiederum die gesamte Parkumgebung erfasst werden. Furthermore, it has proven to be advantageous if the detection device is provided on an infrastructure device in the surrounding area. For example, a wall, a barrier, fences, columns or the like can be provided as an infrastructure device. In particular, the infrastructure facility can be designed as part of the park environment. In particular, the entire park environment can then be recorded via the infrastructure device, preferably via a large number of infrastructure devices.
Ebenfalls vorteilhaft ist, wenn mittels einer Vielzahl von Erfassungseinrichtungen die Umgebung erfasst wird. Beispielsweise kann das Kraftfahrzeug mit der Umgebung aus verschiedenen Blickwinkeln erfasst werden. Es kann dann wiederum eine Fusionierung der entsprechenden Umgebungserfassungen durchgeführt werden, wodurch die unterschiedlichen Blickwinkel und somit eine vollumfängliche Umgebungserfassung realisiert werden kann. Somit kann die Sicherheit innerhalb der Umgebung erhöht werden. It is also advantageous if the environment is detected using a large number of detection devices. For example, the motor vehicle and its surroundings can be captured from different perspectives. A fusion of the corresponding environmental recordings can then be carried out, whereby the different viewing angles and thus a complete environmental recording can be realized. This means that security within the environment can be increased.
Es hat sich weiter als vorteilhaft erwiesen, wenn eine jeweilige Erfassung der Umgebung zu einer gemeinsamen Darstellung fusioniert wird. Es kann daher vorgesehen sein, dass eine Vielzahl von Kameras oder auch anderen Sensoren in der Umgebung bereitgestellt werden. Es kann dann wiederum eine gemeinsame Fusionierung stattfinden, beispielsweise auf Basis einer Vogelperspektive, oder auch weitere Entfernungsinformationen als erweiterte Realität mit dargestellt werden, welche beispielsweise auf Basis einer Lidarsensoreinrichtung oder Radarsensoreinrichtung erfasst werden können. Beispielsweise können ermittelte Abstände zu Objekten in der Umgebung als erweiterte Realität dargestellt werden. Somit kann ein vollumfängliches Umgebungsbild erzeugt werden, welches dann wiederum fusioniert wird und für die Wahrnehmungsperspektive transformiert wird. It has also proven to be advantageous if a respective recording of the environment is merged into a common representation. It can therefore be provided that a large number of cameras or other sensors are provided in the environment. A joint fusion can then take place, for example based on a bird's eye view, or further distance information can also be represented as augmented reality, which can be detected, for example, on the basis of a lidar sensor device or radar sensor device. For example, determined distances to objects in the environment can be displayed as augmented reality. This means that a complete image of the surroundings can be created, which is then merged and transformed for the perceptual perspective.
Ebenfalls vorteilhaft ist, wenn eine Rundumsicht als gemeinsame Darstellung angezeigt wird. Die Rundumsicht kann dabei insbesondere aus dem Blickwinkel eines Fahrers des Kraftfahrzeugs angezeigt werden. Insbesondere kann somit eine seitliche Sicht, eine frontale Sicht sowie eine Heckansicht entsprechend angezeigt werden. It is also advantageous if an all-round view is displayed as a common representation. The all-round view can be seen particularly from the perspective of a driver Motor vehicle are displayed. In particular, a side view, a frontal view and a rear view can be displayed accordingly.
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass mittels einer Kamera als Erfassungseinrichtung die Umgebung erfasst wird. Insbesondere da die Wahrnehmung hauptsächlich über das Auge stattfindet, ist eine entsprechende Kamera als Erfassungseinrichtung bevorzugt vorgesehen. Insbesondere kann vorgesehen sein, dass mittels einer Vielzahl von Kameras die entsprechende Umgebung aus unterschiedlichen Blickrichtungen erfasst wird, und auf der Anzeigeeinrichtung fusioniert dargestellt werden kann. A further advantageous embodiment provides that the environment is recorded using a camera as a recording device. Particularly since perception takes place primarily via the eye, a corresponding camera is preferably provided as a detection device. In particular, it can be provided that the corresponding environment is recorded from different viewing directions by means of a large number of cameras and can be displayed in a merged manner on the display device.
Es hat sich weiter als vorteilhaft erwiesen, wenn die erfasste Umgebung derart angepasst wird, dass die Umgebung aus der Wahrnehmungsperspektive einer auf dem Fahrersitz des Kraftfahrzeugs sitzenden Person angezeigt wird. Dadurch ist es besonders intuitiv möglich, dass ein beispielsweise teleoperierter Fährbetrieb durch den Teleoperator besonders sicher durchgeführt werden kann. It has also proven to be advantageous if the recorded environment is adjusted in such a way that the environment is displayed from the perceptual perspective of a person sitting in the driver's seat of the motor vehicle. This makes it particularly intuitive that a teleoperated ferry operation, for example, can be carried out particularly safely by the teleoperator.
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Das Computerprogrammprodukt kann auch als Computerprogramm bezeichnet werden. The method presented is in particular a computer-implemented method. Therefore, a further aspect of the invention relates to a computer program product with program code means which cause an electronic computing device to carry out a method according to the previous aspect when the program code means are processed by the electronic computing device. The computer program product can also be referred to as a computer program.
Ein nochmals weiterer Aspekt der Erfindung betrifft auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt. Yet another aspect of the invention also relates to a computer-readable storage medium with the computer program product.
Ferner betrifft die Erfindung auch ein Unterstützungssystem zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung, mit zumindest einer elektronischen Recheneinrichtung, wobei das Unterstützungssystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Unterstützungssystems durchgeführt. Furthermore, the invention also relates to a support system for displaying the surroundings of a motor vehicle on a display device, with at least one electronic computing device, the support system being designed to carry out a method according to the preceding aspect. In particular, the procedure is carried out using the support system.
Die elektronische Recheneinrichtung weist beispielsweise Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauteile auf, um die entsprechenden Verfahrensschritte durchführen zu können. Ebenfalls betrifft die Erfindung auch eine Parkumgebung mit dem Unterstützungssystem sowie mit zumindest einer Umgebungserfassungseinrichtung. The electronic computing device has, for example, processors, circuits, in particular integrated circuits, and other electronic components in order to be able to carry out the corresponding method steps. The invention also relates to a parking environment with the support system and with at least one environment detection device.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Unterstützungssystems sowie der Parkumgebung anzusehen. Das Unterstützungssystem sowie die Parkumgebung weisen hierzu insbesondere entsprechende gegenständliche Merkmale auf, um die Verfahrensschritte durchführen zu können. Advantageous embodiments of the method are to be viewed as advantageous embodiments of the computer program product, the computer-readable storage medium, the support system and the parking environment. The support system and the park environment in particular have corresponding physical features in order to be able to carry out the procedural steps.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen und in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch aus separierten Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungsformen, als offenbart anzusehen, die über den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures alone can be used not only in the combination specified in each case, but also in other combinations and on their own, without the scope of the invention to leave. Embodiments which are not explicitly shown and explained in the figures, but which emerge from separate combinations of features from the explained embodiments and can be generated are therefore also to be regarded as included and disclosed by the invention. Versions and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated claim. In addition, designs and combinations of features, in particular through the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the claims.
Ausführungsbeispiele werden nachfolgend anhand von schematischen Zeichnungen erläutert. Exemplary embodiments are explained below using schematic drawings.
Dazu zeigen: To do this show:
Fig. 1 eine schematische Draufsicht auf eine Umgebung eines Kraftfahrzeugs mit einem Unterstützungssystem; und 1 shows a schematic top view of an environment of a motor vehicle with a support system; and
Fig. 2 eine schematische Perspektivansicht gemäß einer Ausführungsform einer Anzeigeeinrichtung des Unterstützungssystems. In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen. Fig. 2 is a schematic perspective view according to an embodiment of a display device of the support system. In the figures, identical or functionally identical elements are provided with the same reference numerals.
Fig. 1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 1 in einer Umgebung 2. Die Umgebung 2 ist insbesondere als Parkumgebung ausgebildet. Insbesondere kann die Umgebung 2 als ein so genanntes automatied valet parking Typ 2 ausgebildet sein. Das Kraftfahrzeug 1 wird dabei zumindest teilweise autonom entlang einer Trajektorie 3 innerhalb der Parkumgebung 2 bewegt. Insbesondere kann das Kraftfahrzeug 1 an einem Abgabeort 4 abgegeben werden, und autonom dann zu einem Parkplatz 5 gefahren werden. Hierzu weist die Umgebung 2 eine elektronische Recheneinrichtung 6 auf. Mittels der elektronischen Recheneinrichtung 6 können insbesondere Befehle, beispielsweise für die Längsführung und/oder Querführung des Kraftfahrzeugs 1 , an das Kraftfahrzeug 1 übermittelt werden. Zur Überwachung der Umgebung 2 weist die Umgebung 2 vorliegend eine erste Erfassungseinrichtung 7 sowie eine zweite Erfassungseinrichtung 8 auf. Die Erfassungseinrichtungen 7, 8 können dabei als eine Radarsensorvorrichtung, eine Lidarsensorvorrichtung, eine Ultraschallsensorvorrichtung, oder bevorzugt als Kamera ausgebildet sein. Insbesondere können sich die Erfassungseinrichtungen 7, 8 in der Erfassungsart gleichen oder voneinander unterscheiden. Insbesondere können beispielsweise die Erfassungseinrichtungen 7, 8 unterschiedlich ausgebildet sein. Beispielsweise kann die erste Erfassungseinrichtung 7 als Kamera ausgebildet sein und die zweite Erfassungseinrichtung 8 kann als Lidarsensoreinrichtung ausgebildet sein. Bevorzugt können jedoch die erste Erfassungseinrichtung 7 sowie die zweite Erfassungseinrichtung 8 als Kamera ausgebildet sein. Die erste Erfassungseinrichtung 7 ist vorliegend an einer ersten Infrastruktureinrichtung 9, beispielsweise an einer Wand, ausgebildet. Die zweite Erfassungseinrichtung 8 ist an einer zweiten Infrastruktureinrichtung 10 ausgebildet, welche beispielsweise ebenfalls als Wand oder weitere Infrastruktur ausgebildet sein kann. Insbesondere kann mittels der ersten Erfassungseinrichtung 7 ein erster Erfassungsbereich 11 erfasst werden und mittels der zweiten Erfassungseinrichtung 8 kann ein zweiter Erfassungsbereich 12 erfasst werden. Insbesondere kann die Umgebung 2 mittels der ersten Erfassungseinrichtung 7 in einem unterschiedlichen Winkel erfasst werden als mit der zweiten Erfassungseinrichtung 8. Fig. 1 shows a schematic top view of a motor vehicle 1 in an environment 2. The environment 2 is designed in particular as a parking environment. In particular, the environment 2 can be designed as a so-called automated valet parking type 2. The motor vehicle 1 is moved at least partially autonomously along a trajectory 3 within the parking environment 2. In particular, the motor vehicle 1 can be dropped off at a drop-off location 4 and then driven autonomously to a parking lot 5. For this purpose, the environment 2 has an electronic computing device 6. In particular, commands, for example for the longitudinal guidance and/or transverse guidance of the motor vehicle 1, can be transmitted to the motor vehicle 1 by means of the electronic computing device 6. In order to monitor the environment 2, the environment 2 in the present case has a first detection device 7 and a second detection device 8. The detection devices 7, 8 can be designed as a radar sensor device, a lidar sensor device, an ultrasonic sensor device, or preferably as a camera. In particular, the detection devices 7, 8 can be the same or different from one another in terms of the type of detection. In particular, for example, the detection devices 7, 8 can be designed differently. For example, the first detection device 7 can be designed as a camera and the second detection device 8 can be designed as a lidar sensor device. However, the first detection device 7 and the second detection device 8 can preferably be designed as a camera. In the present case, the first detection device 7 is formed on a first infrastructure device 9, for example on a wall. The second detection device 8 is formed on a second infrastructure device 10, which can also be designed, for example, as a wall or further infrastructure. In particular, a first detection area 11 can be detected by means of the first detection device 7 and a second detection area 12 can be detected by means of the second detection device 8. In particular, the environment 2 can be detected at a different angle by means of the first detection device 7 than with the second detection device 8.
Sollte es während des autonomen Manövrierens des Kraftfahrzeugs 1 zu einer kritischen Situation kommen, so kann vorgesehen sein, dass ein teleoperierter Betrieb des Kraftfahrzeugs 1 ermöglicht ist. Ferner weist das Kraftfahrzeug 1 insbesondere ein kraftfahrzeuginterne Anzeigeeinrichtung 13 auf. Should a critical situation arise during the autonomous maneuvering of the motor vehicle 1, provision can be made for teleoperated operation of the motor vehicle 1 Motor vehicle 1 is possible. Furthermore, the motor vehicle 1 in particular has a display device 13 internal to the motor vehicle.
Fig. 2 zeigt eine schematische Ansicht eines Teleoperationsplatzes 14, insbesondere zeigt die Fig. 2 eine kraftfahrzeugexterne Anzeigeeinrichtung 15, welche vorliegend aus drei Bildschirmen 16a, 16b, 16c ausgebildet ist. So ist insbesondere ein linker Bildschirm 16a, ein mittlerer Bildschirm 16b sowie ein rechter Bildschirm 16c gezeigt. Insbesondere ist die Umgebung 2 vorliegend gezeigt. Insbesondere ist der Parkplatz 5 gezeigt, sowie die Infrastruktureinrichtung 9 auf dem rechten Bildschirm 16c. Ferner zeigt die Fig. 2 eine erste Eingabeeinrichtung 17, beispielsweise in Form einer Tastatur, sowie eine zweite Eingabeeinrichtung 18, beispielsweise in Form eines Joysticks. Insbesondere kann mittels der Eingabeeinrichtungen 17, 18 eine Eingabe durch einen nicht gezeigten Teleoperator erfolgen und somit das Kraftfahrzeug 1 ferngesteuert werden. Fig. 2 shows a schematic view of a teleoperation station 14, in particular Fig. 2 shows a display device 15 external to the motor vehicle, which in the present case is formed from three screens 16a, 16b, 16c. In particular, a left screen 16a, a middle screen 16b and a right screen 16c are shown. In particular, the environment 2 is shown here. In particular, the parking lot 5 is shown, as well as the infrastructure facility 9 on the right screen 16c. Furthermore, FIG. 2 shows a first input device 17, for example in the form of a keyboard, and a second input device 18, for example in the form of a joystick. In particular, an input can be made by a teleoperator, not shown, using the input devices 17, 18 and the motor vehicle 1 can thus be controlled remotely.
Bei einem erfindungsgemäßen Verfahren zum Anzeigen der Umgebung 2 des Kraftfahrzeugs 1 auf der Anzeigeeinrichtung 13, 15 ist insbesondere vorgesehen, dass das Anzeigen der Umgebung 2 mittels eines Unterstützungssystems 19 erfolgt. Das Unterstützungssystem 19 weist hierzu insbesondere die elektronische Recheneinrichtung 6 auf. Ferner weist das Unterstützungssystem 19 zumindest die eine kraftfahrzeugexterne Erfassungseinrichtung 7, 8 auf. In a method according to the invention for displaying the surroundings 2 of the motor vehicle 1 on the display device 13, 15, it is in particular provided that the surroundings 2 are displayed by means of a support system 19. For this purpose, the support system 19 in particular has the electronic computing device 6. Furthermore, the support system 19 has at least one detection device 7, 8 external to the vehicle.
Es ist dabei vorgesehen, dass die Umgebung 2 des Kraftfahrzeugs 1 mittels der kraftfahrzeugexternen Erfassungseinrichtung 7, 8 erfasst wird. Es erfolgt das Transformieren der erfassten Umgebung 2 mittels der elektronischen Recheneinrichtung 6 derart, dass eine Wahrnehmungsperspektive 20 aus einem Innenraum 21 des Kraftfahrzeugs 1 erzeugt wird. Es erfolgt dann das Anzeigen der transformierten Umgebung 2 auf der Anzeigeeinrichtung 15. Mit anderen Worten zeigt die Fig. 2, dass die erfasste Umgebung 2 derart angepasst wird, dass die Umgebung 2 auf der Wahrnehmungsperspektive 20 einer auf einem Fahrersitz des Kraftfahrzeugs 1 sitzenden Person angezeigt wird. It is provided that the environment 2 of the motor vehicle 1 is detected by means of the detection device 7, 8 external to the motor vehicle. The captured environment 2 is transformed by means of the electronic computing device 6 in such a way that a perception perspective 20 is generated from an interior 21 of the motor vehicle 1. The transformed environment 2 is then displayed on the display device 15. In other words, FIG becomes.
Des Weiteren ist, wie bereits erwähnt, vorgesehen, dass mittels einer Vielzahl von Erfassungseinrichtungen 7, 8 die Umgebung 2 erfasst wird, wobei eine jeweilige Erfassung der Umgebung 2 zu einer gemeinsamen Darstellung fusioniert wird, und insbesondere, wie in der Fig. 2 dargestellt, als Rundumsicht als gemeinsame Darstellung angezeigt wird. Alternativ oder ergänzend kann beispielsweise auch vorgesehen sein, dass zumindest auf einem der Bildschirme 16a, 16b, 16c auch eine Heckansicht, eine Seitenansicht oder auch eine Vogelperspektive angezeigt werden kann. Furthermore, as already mentioned, it is provided that the environment 2 is detected by means of a large number of detection devices 7, 8, with a respective detection of the environment 2 being merged into a common representation, and in particular, as shown in FIG. is displayed as a panoramic view as a common representation. Alternatively or additionally, it can also be provided, for example, that a rear view, a side view or even a bird's eye view can also be displayed on at least one of the screens 16a, 16b, 16c.
Die Fig. 2 zeigt insbesondere, dass als Anzeigeeinrichtung 15 eine kraftfahrzeugexterne Anzeigeeinrichtung 15 bereitgestellt werden kann. Alternativ oder ergänzend kann die Anzeigeeinrichtung auch als die kraftfahrzeuginterne Anzeigeeinrichtung 13 bereitgestellt werden. 2 shows in particular that a display device 15 external to the motor vehicle can be provided as the display device 15. Alternatively or additionally, the display device can also be provided as the vehicle-internal display device 13.
Des Weiteren ist insbesondere vorgesehen, dass die Anzeige für einen zumindest teilweise teleoperierten Fährbetrieb des Kraftfahrzeugs 1 bereitgestellt wird, wobei das Verfahren innerhalb der Parkumgebung des Kraftfahrzeugs 1 bereitgestellt wird. Ferner kann in der Parkumgebung insbesondere ein automatisierter Fährbetrieb des Kraftfahrzeugs 1 bereitgestellt werden, wobei in einem Notbetrieb der zumindest teilweise teleoperierte Fährbetrieb 14 bereitgestellt wird. Furthermore, it is particularly provided that the display is provided for an at least partially teleoperated ferry operation of the motor vehicle 1, the method being provided within the parking environment of the motor vehicle 1. Furthermore, in the park environment, in particular an automated ferry operation of the motor vehicle 1 can be provided, with the at least partially teleoperated ferry operation 14 being provided in an emergency operation.

Claims
Patentansprüche Verfahren zum Anzeigen einer Umgebung (2) eines Kraftfahrzeugs (1) auf einer Anzeigeeinrichtung (13, 15) mittels eines Unterstützungssystems (19), mit den Schritten: Claims Method for displaying an environment (2) of a motor vehicle (1) on a display device (13, 15) by means of a support system (19), with the steps:
- Erfassen der Umgebung (2) des Kraftfahrzeugs (1 ) mittels zumindest einer kraftfahrzeugexternen Erfassungseinrichtung (7, 8) des Unterstützungssystems (19); - Detecting the environment (2) of the motor vehicle (1) by means of at least one detection device (7, 8) external to the motor vehicle of the support system (19);
- Transformieren der erfassten Umgebung (2) mittels einer elektronischen Recheneinrichtung (6) des Unterstützungssystems (19) derart, dass eine Wahrnehmungsperspektive (20) aus einem Innenraum (21) des Kraftfahrzeugs (1 ) erzeugt wird; und - Transforming the detected environment (2) by means of an electronic computing device (6) of the support system (19) in such a way that a perception perspective (20) from an interior (21) of the motor vehicle (1) is generated; and
- Anzeigen der transformierten Umgebung (2) auf der Anzeigeeinrichtung (13, 15). Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Anzeigeeinrichtung (13, 15) eine kraftfahrzeug interne Anzeigeeinrichtung (13) bereitgestellt wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Anzeigeeinrichtung (13, 15) eine kraftfahrzeugexterne Anzeigeeinrichtung (15) bereitgestellt wird. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Anzeige für einen zumindest teilweise teleoperierten Fährbetrieb (14) des Kraftfahrzeuges (1) bereitgestellt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren in einer Parkumgebung als Umgebung (2) des Kraftfahrzeugs (1) bereitgestellt wird. - Displaying the transformed environment (2) on the display device (13, 15). Method according to claim 1, characterized in that a display device (13) internal to the motor vehicle is provided as the display device (13, 15). Method according to claim 1, characterized in that a display device (15) external to the motor vehicle is provided as the display device (13, 15). Method according to claim 3, characterized in that the display is provided for an at least partially teleoperated ferry operation (14) of the motor vehicle (1). Method according to one of the preceding claims, characterized in that the method is provided in a parking environment as the environment (2) of the motor vehicle (1).
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass in der Parkumgebung ein automatisierter Fährbetrieb des Kraftfahrzeugs (1) bereitgestellt wird, wobei in einem Notbetrieb der zumindest teilweise teleoperierte Fährbetrieb (14) bereitgestellt wird. 6. The method according to claim 5, characterized in that an automated ferry operation of the motor vehicle (1) is provided in the park environment, the at least partially teleoperated ferry operation (14) being provided in an emergency operation.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erfassungseinrichtung (7, 8) an einer Infrastruktureinrichtung (9, 10) der Umgebung (2) bereitgestellt wird. 7. Method according to one of the preceding claims, characterized in that the detection device (7, 8) is provided on an infrastructure device (9, 10) in the environment (2).
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Vielzahl von Erfassungseinrichtungen (7, 8) die Umgebung (2) erfasst wird. 8. Method according to one of the preceding claims, characterized in that the environment (2) is detected by means of a plurality of detection devices (7, 8).
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass eine jeweilige Erfassung der Umgebung (2) zu einer gemeinsamen Darstellung fusioniert wird. 9. The method according to claim 8, characterized in that a respective detection of the environment (2) is merged into a common representation.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine Rundumsicht (22) als gemeinsame Darstellung angezeigt wird. 10. The method according to claim 9, characterized in that an all-round view (22) is displayed as a common representation.
11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Kamera als Erfassungseinrichtung (7, 8) die Umgebung (2) erfasst wird. 11. Method according to one of the preceding claims, characterized in that the environment (2) is detected using a camera as a detection device (7, 8).
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erfasste Umgebung (2) derart angepasst wird, dass die Umgebung (2) aus der Wahrnehmungsperspektive (20) einer auf einem Fahrersitz des Kraftfahrzeugs (1) sitzenden Person angezeigt wird. Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung (6) dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung (6) abgearbeitet werden, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13. Unterstützungssystem (19) zum Anzeigen einer Umgebung (2) eines Kraftfahrzeugs (1) auf einer Anzeigeeinrichtung (13, 15), mit zumindest einer elektronischen Recheneinrichtung (6) und einer kraftfahrzeug extern en Erfassungseinrichtung (7, 8), wobei das Unterstützungssystem (19) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist. 12. Method according to one of the preceding claims, characterized in that the detected environment (2) is adjusted such that the environment (2) is displayed from the perception perspective (20) of a person sitting in a driver's seat of the motor vehicle (1). Computer program product with program code means which cause an electronic computing device (6) to carry out a method according to one of claims 1 to 12 when the program code means are processed by the electronic computing device (6). Computer-readable storage medium with a computer program product according to claim 13. Support system (19) for displaying an environment (2) of a motor vehicle (1) on a display device (13, 15), with at least one electronic computing device (6) and a detection device (7) external to the vehicle , 8), wherein the support system (19) is designed to carry out a method according to one of claims 1 to 12.
PCT/EP2023/070655 2022-08-23 2023-07-26 Method for displaying the surroundings of a motor vehicle on a display device by means of an assistance system, computer program product, computer-readable storage medium, and assistance system WO2024041830A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022121225.4 2022-08-23
DE102022121225.4A DE102022121225A1 (en) 2022-08-23 2022-08-23 Method for displaying an environment of a motor vehicle on a display device using a support system, computer program product, computer-readable storage medium and support system

Publications (1)

Publication Number Publication Date
WO2024041830A1 true WO2024041830A1 (en) 2024-02-29

Family

ID=87517471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/070655 WO2024041830A1 (en) 2022-08-23 2023-07-26 Method for displaying the surroundings of a motor vehicle on a display device by means of an assistance system, computer program product, computer-readable storage medium, and assistance system

Country Status (2)

Country Link
DE (1) DE102022121225A1 (en)
WO (1) WO2024041830A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213961A1 (en) * 2016-07-28 2018-02-01 Robert Bosch Gmbh Concept for the remote control of a motor vehicle within a parking lot
EP3470302A1 (en) * 2017-10-12 2019-04-17 LG Electronics Inc. Autonomous vehicle and method for controlling the same
DE102017218536A1 (en) 2017-10-17 2019-04-18 Bayerische Motoren Werke Aktiengesellschaft Method for automatically and / or remotely moving a driverless first vehicle in the longitudinal direction
US20220035368A1 (en) * 2018-12-06 2022-02-03 Valeo Schalter Und Sensoren Gmbh Method for assisting a user in the remote control of a motor vehicle, computer program product, remote-control device and driver assistance system for a motor vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012200731A1 (en) 2012-01-19 2013-07-25 Robert Bosch Gmbh Method and device for visualizing the environment of a vehicle
DE102014208310A1 (en) 2014-05-05 2015-11-05 Bayerische Motoren Werke Aktiengesellschaft Driver assistance system for displaying an augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213961A1 (en) * 2016-07-28 2018-02-01 Robert Bosch Gmbh Concept for the remote control of a motor vehicle within a parking lot
EP3470302A1 (en) * 2017-10-12 2019-04-17 LG Electronics Inc. Autonomous vehicle and method for controlling the same
DE102017218536A1 (en) 2017-10-17 2019-04-18 Bayerische Motoren Werke Aktiengesellschaft Method for automatically and / or remotely moving a driverless first vehicle in the longitudinal direction
US20220035368A1 (en) * 2018-12-06 2022-02-03 Valeo Schalter Und Sensoren Gmbh Method for assisting a user in the remote control of a motor vehicle, computer program product, remote-control device and driver assistance system for a motor vehicle

Also Published As

Publication number Publication date
DE102022121225A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
EP3662333B1 (en) Method and system for remote control of a vehicle
EP1658211B1 (en) Maneuvering assistance system for a motor vehicle
DE102010043128B4 (en) Monitoring device for the vehicle environment and method for controlling such a monitoring device
WO2015193058A1 (en) Method and apparatus for controlling a vehicle by means of a remote control
DE102012014991B4 (en) Method for operating a parking assistance system for a motor vehicle
EP3251922B1 (en) Method for autonomous parking of a motor vehicle into a parking space with output of an exit signal to the driver, driver assistance system and motor vehicle
EP3401190A1 (en) Method for operating a driver assistance system of a motor vehicle in order to manoeuvre the motor vehicle in a drivable area, driver assistance system and motor vehicle
EP2129569A1 (en) Maneuvering aid and method for aiding drivers of vehicles or vehicle combinations comprising vehicle elements bendable relative to one another
DE102017115810A1 (en) Autonomous parking of a vehicle based on a passable area
EP3284649B1 (en) Driver assistance for parking a motor vehicle and a trailer by means of virtual sensors
WO2017055154A1 (en) Method for determining a parking surface for parking a motor vehicle, driver assistance system, and motor vehicle
DE102019129193A1 (en) APPLICATION OF AUXILIARY LIGHTING IN AN AUTOMATIC CLUTCH PROCESS
EP3891038A1 (en) Method for assisting a user in controlling a motor vehicle remotely, computer program product, remote control device, and driver assistance system for a motor vehicle
EP2975593B1 (en) Method for supporting a driver when parking of a motor vehicle, driver assistance system and motor vehicle
EP3710337A1 (en) Method for controlling a parking operation of a motor vehicle
DE102016122760A1 (en) Method for operating a driver assistance system of a motor vehicle for maneuvering the motor vehicle to various destinations, driver assistance system and motor vehicle
DE102019129831A1 (en) AUTOMATIC COUPLING SYSTEM WITH SELECTION OF THE TRAILER IN SEE FROM SEVERAL IDENTIFIED TRAILERS
DE102016117743A1 (en) Method for evaluating a driving behavior of a driver of a motor vehicle during a parking maneuver, driver assistance system and motor vehicle
DE102019133223B3 (en) Method for performing a remote-controlled parking maneuver with a vehicle using a mobile terminal device and system
WO2024041830A1 (en) Method for displaying the surroundings of a motor vehicle on a display device by means of an assistance system, computer program product, computer-readable storage medium, and assistance system
EP3584142B1 (en) Method for determining a target trajectory for carrying out a shunting process with a vehicle set
DE102010056063A1 (en) Method for automatically steering vehicle to target position, involves displaying image of environment with selected holding position and determining holding position as target position of vehicle using displayed image
DE102016111878A1 (en) Method for determining an alignment of a motor vehicle parked on a parking area, control unit, driver assistance system and motor vehicle
DE102017216352A1 (en) Method for positioning and removing a hitch, arrangement for positioning a hitch and computer program product
DE102022129754A1 (en) Method for remotely carrying out a driving maneuver of a vehicle in very confined situations using a remote controller, and electronic remote control system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23748261

Country of ref document: EP

Kind code of ref document: A1