WO2024052402A1 - Verfahren zum ferngesteuerten durchführen eines fahrmanövers mit trajektorienanzeige für einen fernsteuerer, sowie elektronisches fernsteuerungssystem - Google Patents

Verfahren zum ferngesteuerten durchführen eines fahrmanövers mit trajektorienanzeige für einen fernsteuerer, sowie elektronisches fernsteuerungssystem Download PDF

Info

Publication number
WO2024052402A1
WO2024052402A1 PCT/EP2023/074438 EP2023074438W WO2024052402A1 WO 2024052402 A1 WO2024052402 A1 WO 2024052402A1 EP 2023074438 W EP2023074438 W EP 2023074438W WO 2024052402 A1 WO2024052402 A1 WO 2024052402A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
remote control
trajectory
environment
display unit
Prior art date
Application number
PCT/EP2023/074438
Other languages
English (en)
French (fr)
Inventor
Jens Koestner
Sebastian Delling
Original Assignee
Valeo Schalter Und Sensoren Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter Und Sensoren Gmbh filed Critical Valeo Schalter Und Sensoren Gmbh
Publication of WO2024052402A1 publication Critical patent/WO2024052402A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G05D1/2249—Optic providing the operator with simple or augmented images from one or more cameras using augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G05D2105/22—Specific applications of the controlled vehicles for transportation of humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/10—Outdoor regulated spaces
    • G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Definitions

  • One aspect of the invention relates to a method for remotely performing a driving maneuver with a vehicle.
  • Another aspect of the invention relates to an electronic remote control system for a vehicle.
  • a vehicle in particular a motor vehicle
  • a human remote control in particular a teleoperator
  • the teleoperator usually sits in a stationary remote control center, and thus in a building in which one or more display units, in particular screens, are arranged. On these screens, the remote controller can recognize the vehicle to be remotely controlled and/or the surroundings of this vehicle to be remotely controlled, or this is displayed on the screens.
  • Such methods differ significantly from those in which a vehicle driver is located outside of his own vehicle in the immediate vicinity and must also be there in order, for example, to carry out driving maneuvers with the vehicle he has left using a portable remote control that he holds in one hand. For example, parking operations are carried out here.
  • such methods require and are only approved for the driver to be positioned in a close range around the vehicle with such a portable remote control and also to see the vehicle in order to control such driving maneuvers.
  • One aspect of the invention relates to a method for remotely performing a driving maneuver with a vehicle, comprising the following steps:
  • Such a method now makes it possible to carry out safer maneuvering with a remote control that is arranged decentrally to the vehicle and cannot directly see the vehicle and its immediate surroundings when remotely controlling. Because a trajectory is now displayed on the at least one display unit in the remote control center for the remote controller, such a driving maneuver that is carried out decentrally and remotely controlled by the remote controller is also possible more precisely. It is essential that this trajectory is based on information that is available locally in the area of the vehicle and/or its surroundings or that relates to these aspects. This means that trajectory planning, which is carried out on the system side by a determination unit, can be carried out in a very needs-based manner and a trajectory that is very adapted to the local conditions can be generated.
  • the vehicle can be moved safely, especially in remote control processes in which the remote control is located in a remote control center that is very far away from the vehicle.
  • This is particularly advantageous in constellations in which the remote control operator cannot directly observe the vehicle and/or its surroundings from his position in the remote control center due to his presence in the remote control center, for example a building.
  • the remote control operator therefore has his position in the remote control center, for example a building, and from this position he cannot directly see, in particular not completely directly, the vehicle to be remotely controlled by him and/or its surroundings during remote control.
  • the orientation of the vehicle in the environment and/or a distance of the vehicle to at least one object in the environment are determined.
  • This information is advantageous in order to be able to determine the possible potential direction of movement of the vehicle.
  • the orientation is particularly important in order to recognize whether the vehicle will or must drive in the forward direction or in the reverse direction, for example.
  • Other information that characterizes dynamic and/or static objects in the immediate vicinity of the vehicle is therefore also advantageous. This is precisely how a particularly needs-based trajectory for the driving maneuver can be determined by the determination unit.
  • the determination of the position is carried out using a visual SLAM (Simultaneous localization and mapping algorithm).
  • SLAM is a method in which a computing unit creates a map of its surroundings must create and estimate its spatial location within this map. This serves in particular to detect obstacles in the area surrounding the vehicle.
  • a camera can be arranged on the vehicle to be remotely controlled, which detects the surroundings. This information can then be transmitted to the determination unit and, based on the visual SLAM, this can determine, in particular, a three-dimensional map of the environment within which the vehicle can determine its position and react to changed conditions.
  • the position of at least one landmark in the area surrounding the vehicle can be used as a basis. This position of the at least one landmark in the area surrounding the vehicle is particularly known. Depending on this position of the landmark, the position of the vehicle can then be determined.
  • ARUCO patterns can be used here. This also means in particular that these patterns also represent the position of the landmark in image-coded form, for example. This also ensures a high level of security for the information contained. The landmarks and/or their position can therefore be provided as such image-coded information in an advantageous exemplary embodiment. These can then be evaluated by the determination unit.
  • a virtual representation of the vehicle to be remotely controlled is displayed on the display unit for the remote controller.
  • this representation of the vehicle to be remotely controlled takes place in a bird's eye view or in a top view. This makes this teleoperated performance of the driving maneuver for the vehicle even easier and safer for the remote control.
  • a location-accurate representation takes place on the real image that is displayed on the display unit. This means that the remote control can recognize exactly where the virtually displayed vehicle is located in the real environment. This makes it even easier to see which objects are around the vehicle are arranged and in which direction and / or at what distance they are arranged.
  • this remote control of the vehicle can be carried out in a significantly improved manner from a position of the remote control from which it cannot directly see the vehicle and/or the surroundings.
  • the safety of such a remote-controlled driving maneuver is therefore significantly increased.
  • a current steering angle of the vehicle's turned wheels is displayed on the display unit.
  • a steering angle of the vehicle's turned wheels, with which the vehicle can be moved on the trajectory can be displayed on the display unit.
  • the surroundings of the vehicle are recorded with a front camera of the vehicle and/or with a rear camera of the vehicle.
  • the surroundings can also be recorded with at least one side camera.
  • the images from the front camera and/or the images from the rear camera are displayed on the display unit.
  • This makes it possible to achieve a display on the display unit, particularly in the essential directions, in particular forwards and/or backwards, which shows the remote control a particularly realistic scenario.
  • a representation is conveyed in which the remote control operator is given the perspective as if he were sitting in the vehicle to be remotely controlled, in particular as the driver. This makes it possible to carry out the driving maneuver remotely in a particularly intuitive and realistic manner.
  • the driving maneuver is carried out in a parking area surrounding the vehicle, so that parking or leaving a parking space from a parking zone of the parking area is carried out as a driving maneuver.
  • a parking zone in there Context is an area in the parking area that is intended for parking a single vehicle. This parking zone can be identified, for example, by markings, in particular floor markings.
  • a single vehicle is a passenger car or a truck or a bus.
  • a motor vehicle with a trailer can also be viewed as such a single vehicle.
  • Several such parking zones are preferably formed in the parking area.
  • a parking zone is therefore not a complete parking garage or an outdoor parking unit intended for parking motor vehicles, but is only intended for the locally defined parking of a single such motor vehicle.
  • a parking area can, for example, be a parking garage with several such parking zones.
  • a parking area can also be any other area, even if it is not enclosed, where parking is permitted in such designated parking zones.
  • the invention is particularly advantageous especially in driving maneuvers that involve parking and/or pulling out of a parking space using a remote control in a remote control center. Especially when parking or leaving a parking space, there can be cramped situations or obscured areas that can lead to critical driving maneuvers and/or collisions. Therefore, especially in such situations with remote-controlled driving maneuvers described above, the display of such a trajectory on the display unit of the remote control is particularly advantageous. Even difficult parking maneuvers, for example due to tight spaces, can therefore be carried out particularly advantageously.
  • trajectories that represent a multi-stage driving maneuver can also be determined by the determination unit. This can be advantageous, for example, when maneuvering into a parking space or driving out of a parking space.
  • two-part or three-part trajectories can also be determined and displayed. This means that the trajectory with the respective trains can be displayed to the remote control on the display unit.
  • the beginning and the end of a first train of the trajectory and/or the beginning and the end of at least a second train of the trajectory can also be displayed.
  • a first move can be moving the vehicle in a first direction, for example forward travel.
  • the subsequent second train can be a movement of the vehicle in a different direction of travel, namely in the reverse direction, for example. It It can then be provided that, for example, after the second train, at least a third train is carried out, which is in particular carried out again in the forward direction of travel with the vehicle. However, it can also be the case, for example, that reverse travel is carried out first and then forward travel.
  • the remote controller can also have information displayed that not only visually represents the basic movement along a trajectory, but also gives the remote controller additional information as to the direction of travel in which the travel trajectory is to be carried out, in particular in which direction of travel, if any, individual partial trajectories of this entire trajectory.
  • the partial trajectories are given by the respective trains, as explained above.
  • the driving maneuver is performed in a service area as an environment, so that the driving maneuver is performed moving to a service unit in the service area.
  • a service unit can be, for example, a car wash or a gas station.
  • a gas station can be provided for refilling conventional fuels, such as gasoline or diesel.
  • the gas station can also have charging stations for electrically charging a vehicle. This means that in this advantageous exemplary embodiment, such a remote-controlled driving maneuver can also be carried out towards such an individual service unit. Since precise and precise maneuvering is required in such situations, for example into the car wash and/or exactly next to a charging station or a gas pump at a gas station, it is also particularly advantageous here if the required trajectory is determined and displayed to the remote control .
  • the trajectory is determined using an electronic determination unit.
  • This determination unit is preferably arranged in the remote control center. This means that a comprehensive evaluation of information and determination of at least the trajectory can be carried out centrally in the remote control center.
  • the determination unit it is also possible for the determination unit to be contained in the vehicle that is to be remotely controlled. In such an exemplary embodiment, the vehicle itself then requires such a determination unit. If several vehicles are to be controlled remotely, they each require a destination unit. Is just one Determination unit is provided in the remote control center, so in particular such a unit is only required there. The vehicles that are to be controlled remotely then do not need their own destination unit.
  • the information about a position of the vehicle is transmitted to the evaluation unit arranged in the remote control center.
  • the evaluation unit arranged in the remote control center.
  • evaluation unit and the determination unit can be combined in a common unit. However, they can also be separate units in a corresponding system.
  • At least one camera of the vehicle to be remotely controlled is used to record its surroundings.
  • images from the camera are provided to the evaluation unit as information for determining the position of the vehicle.
  • a map is provided at least for the area surrounding the vehicle, which is taken into account when determining the trajectory. This means that the entire environment, especially the relatively large area around the vehicle, does not have to be taken into account. This allows the amount of data to be taken into account to be reduced and concentrated on the most important areas. This also reduces the computational effort and makes the procedure faster.
  • the electronic remote control system has the vehicle to be remotely controlled. It has at least one evaluation unit and at least one display unit.
  • the display unit is arranged in a remote control center that is stationary and remote from the vehicle.
  • the remote control system is designed to carry out a method according to the above-mentioned aspect or an advantageous embodiment thereof. In particular, the method is carried out using the electronic remote control system.
  • FIG. 1 shows a schematic representation of an exemplary embodiment of an electronic remote control system
  • Fig. 2 shows an exemplary embodiment of a display on a display unit in the remote control center.
  • a remote control center 1 is shown in a schematic representation in FIG.
  • the remote control center 1 is, for example, in a stationary building.
  • the remote control center 1 has at least one remote control location 2.
  • a human remote controller 3 is arranged at the remote control location 2.
  • the person in the form of the remote control 3 sits or stands in a fixed place.
  • remote control elements are arranged at this remote control location 2.
  • Such remote control elements 4 can be, for example, a keyboard and/or at least one operating unit, such as a joystick or the like.
  • At least one display unit 5 is arranged at the remote control location 2.
  • Several display units 5, 6 and 7 can also be arranged.
  • a determination unit 8 is also arranged in the remote control center 1.
  • an evaluation unit 9 can also be arranged in the remote control center 1. This determination unit 8 and the evaluation unit 9 are in particular electronic units. They can also be implemented as software modules.
  • an environment 10 is shown externally and in particular further away from the remote control center 1.
  • the environment 10 is in particular arranged in such a way that it cannot be viewed directly by the remote control 3.
  • the remote control 3 can therefore not directly recognize vehicles, in particular a vehicle to be controlled remotely, from its remote control location 2 and therefore cannot directly inspect them.
  • the environment 10 is formed with a parking area 11 in the exemplary embodiment.
  • the parking area 11 has several parking zones 12, 13, 14, 15, 16, 17, 18, 19, 20 and 21.
  • the parking areas 12 to 21 are delimited by boundaries and the respective area is thereby identified.
  • Parking zones 12 to 16 are each intended for parking with a single vehicle.
  • Parking area 11 has an entrance and/or exit 22.
  • vehicles 23 and 24 are parked in parking zones 12 and 13.
  • Vehicles 25, 26 and 27 are also parked in parking zones 18, 19 and 20.
  • the vehicle 26 is to be moved remotely by an electronic remote control system 28, this can be done according to the following scenario.
  • this remote-controlled driving maneuver here a parking exit from parking zone 19, to be supported by the electronic remote control system 28.
  • the remote-controlled driving maneuver is carried out in particular by the remote control 3, which uses the means mentioned, which are arranged at the remote control location 2.
  • the remote control center 1 can be designed for wireless communication with the vehicle 26. Direct wireless communication can be possible here or wireless communication via a communication unit 29.
  • the position of the vehicle 26 in the environment 10, here in the parking area 11, is first determined.
  • at least one piece of information is provided to the evaluation unit 9 in order to be able to determine the position of the vehicle 26.
  • the orientation of the vehicle 26 in the parking area 11 and/or a distance of the vehicle 26 to at least one object in the environment, here the parking area 11, to be provided to determine the position of the vehicle 26.
  • a distance can be provided, for example, to the vehicles 25 and 27 parked adjacently and/or to the vehicles 23 and 24 parked opposite.
  • At least one detection unit 26a of the vehicle 26 can be remotely controlled to be activated and to detect the surroundings at least in some areas.
  • This information can be processed using a visual SLAM algorithm and, depending on this, the position of the vehicle 26 can be determined. It is also possible that, in addition to or instead of this, the position of the vehicle 26 is determined based on at least one position of a landmark in the environment 10. This at least one landmark is known in one exemplary embodiment. This information can also be provided to the evaluation unit 9.
  • a trajectory is determined along which the vehicle 26 can carry out a remote-controlled driving maneuver.
  • the determination unit 8 determines a trajectory that enables the vehicle 26 to be parked out of the parking zone 19.
  • This trajectory determined by the determination unit 8 is displayed on the at least one display unit 5, which is arranged externally to the vehicle 26 in the remote control center 1. This means that it can be easily recognized by the remote control 3 on the display unit 5.
  • the driving maneuver of the vehicle 26 is then carried out remotely by the remote controller 3 in the remote control center 1 depending on the trajectory displayed on the display unit 5. It can characterize the trajectory of a single-track driving maneuver.
  • the trajectory can be a multi-stage driving maneuver. This is particularly advantageous when parking or exiting a parking space.
  • the determination unit 8 can generate a single-stage or multi-stage driving maneuver and, in this context, a trajectory that only contains a single-stage movement process or a multi-stage movement process, depending on the information received.
  • FIG. 2 an exemplary representation of a display 30 is shown, as it can be shown on the display unit 5, for example.
  • a perspective is shown that was recorded with a front camera of the vehicle 26.
  • a real image recorded with the front camera of the vehicle 26 is therefore shown on the display unit 5 in FIG.
  • the vehicle 26 is oriented with a front side 26b facing the opposite parking zones 12 to 15.
  • the orientation of the vehicle 26 is therefore such that it is parked backwards into the parking zone 19.
  • this orientation is represented by a virtual representation 31 on the display unit 5.
  • the vehicle 26 to be remotely controlled is therefore advantageously shown here completely and as a virtual top view.
  • the trajectory 32 which was determined, is also shown schematically in FIG. In the exemplary embodiment shown, this preferably allows the vehicle 26 to be parked out of the parking zone 29 in one step using a corresponding remote-controlled driving maneuver. It is also possible that, in addition to the trajectory 32, a current steering angle of the turned wheels of the vehicle 26 is displayed on the display unit 5 and/or a steering angle of the turned wheels of the vehicle 26 is displayed, with which the vehicle 26 is moved on the trajectory 32 can. Depending on the situation of the vehicle 26, the determination unit 8 can also determine a trajectory 32 that is traveled over several times.
  • a destination can be an exit 22 in the parking area 11, for example. If the position of the vehicle 26 to this destination is known, this, in particular the potentially possible route there, can also be taken into account in order to determine the trajectory 32.
  • the specific trajectory 32 it is also possible for the specific trajectory 32 to be checked at least once, in particular continuously, during the remote-controlled driving maneuver. This can be done, for example, depending on the actual path of the vehicle 26 during this remote control and/or depending on changes in the environment 10 of the vehicle 26. In particular, it is then also possible for the trajectory 32 to be dynamically updated and the updated trajectory 32 to be displayed on the display unit 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers eines Fahrzeugs (26), aufweisend folgende Schritte: - Bestimmen der Position des Fahrzeugs (26) in der Umgebung (10) durch eine Auswerteeinheit (9); - Bestimmen einer Trajektorie (32) für das Fahrmanöver des Fahrzeugs (26) abhängig von den Informationen zur Position; - Anzeigen der Trajektorie (32) auf einer Anzeigeeinheit (5, 6, 7), die extern zum Fahrzeug (26) in einer Fernsteuerzentrale (1) angeordnet ist; - ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs (26) durch einen Fernsteuerer (3) in der Fernsteuerzentrale (1) abhängig von der auf der Anzeigeeinheit (5, 6, 7) angezeigten Trajektorie (32).

Description

Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit Trajektorienanzeige für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem
Ein Aspekt der Erfindung betrifft ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit einem Fahrzeug. Ein weiterer Aspekt der Erfindung betrifft ein elektronisches Fernsteuerungssystem für ein Fahrzeug.
Bekannt sind Verfahren, bei welchen ein Fahrzeug, insbesondere ein Kraftfahrzeug, durch einen extern zum Fahrzeug positionierten menschlichen Fernsteuerer, insbesondere ein Teleoperateur, gesteuert wird. Der Teleoperateur sitzt dabei üblicherweise in einer ortsfesten Fernsteuerzentrale, und somit in einem Gebäude, in welchem auch ein oder mehrere Anzeigeeinheiten, insbesondere Bildschirmen angeordnet sind. Auf diesen Bildschirmen kann der Fernsteuerer das fernzusteuernde Fahrzeug und/oder die Umgebung dieses fernzusteuernden Fahrzeugs erkennen beziehungsweise dies wird auf den Bildschirmen angezeigt.
Derartige Verfahren unterscheiden sich wesentlich von solchen, bei denen ein Fahrzeugführer außerhalb des eigenen Fahrzeugs in unmittelbarer Nähe angeordnet ist und dort auch sein muss, um beispielsweise mit einer tragbaren Fernbedienung, die er in einer Hand hält, Fahrmanöver mit dem von ihm verlassenen Fahrzeug durchzuführen. Beispielsweise werden hier Parkvorgänge durchgeführt. Solche Verfahren erfordern es jedoch zwingend und sind auch nur so zugelassen, dass der Fahrer mit einer solchen tragbaren Fernbedienung in einem Nahbereich um das Fahrzeug positioniert ist und das Fahrzeug auch sehen muss, um derartige Fahrmanövers zu steuern.
Bei dazu deutlich unterschiedlichen Verfahren, bei welchen das oben genannte Szenario mit einem fern zu Fahrzeug angeordneten zentralen Fernsteuerer durchgeführt wird, ist dies nicht der Fall. Der Fernsteuerer in der Fernsteuerzentrale ist so positioniert, dass er das Fahrzeug nicht direkt sehen kann und auch nicht die Umgebung des Fahrzeugs direkt sehen kann. Bei einem solchen Verfahren ist es daher nicht erforderlich und kann auch gar nicht möglich sein, dass der Fernsteuerer in einem vorgegebenen Nahbereich, beispielweise maximal 5 Meter, um das fernzusteuernde Fahrzeug herum angeordnet ist.
Daher ist es bei solchen Verfahren für einen Fernsteuerer in einer Fernsteuerzentrale schwieriger, das Fahrzeug bei entsprechenden Bewegungen sicher manövrieren zu können. Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit einem Fernsteuerer sicherer durchzuführen, der das fernzusteuernde Fahrzeug nicht direkt einsehen kann. Des Weiteren ist es Aufgabe, ein elektronisches Fernsteuerungssystem zu schaffen.
Diese Aufgabe wird durch ein Verfahren und ein elektronisches Fernsteuerungssystem gemäß den unabhängigen Ansprüchen gelöst.
Ein Aspekt der Erfindung betrifft ein Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit einem Fahrzeug, aufweisend folgende Schritte:
- Bestimmen der Position des Fahrzeugs in der Umgebung durch eine Auswerteeinheit;
- Bestimmen einer Trajektorie für das Fahrmanöver des Fahrzeugs abhängig von den Informationen zur Position;
- Anzeigen der Trajektorie auf einer Anzeigeeinheit, die extern zum Fahrzeug in einer Fernsteuerzentrale angeordnet ist;
- ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs durch einen Fernsteuerer in der Fernsteuerzentrale abhängig von der auf der Anzeigeeinheit angezeigten Trajektorie.
Durch ein solches Verfahren ist es nunmehr ermöglicht, mit einem dezentral zum Fahrzeug angeordneten Fernsteuerer, der beim Fernsteuern das Fahrzeug und dessen unmittelbare Umgebung nicht direkt einsehen kann, ein sichereres Manövrieren durchzuführen. Indem nämlich nunmehr eine Trajektorie auf der zumindest einen Anzeigeeinheit in der Fernsteuerzentrale für den Fernsteuerer angezeigt wird, ist ein derartiges dezentral durchgeführtes und von dem Fernsteuerer ferngesteuertes Fahrmanöver auch exakter möglich. Wesentlich dabei ist es, dass diese Trajektorie anhand von Informationen erfolgt, die örtlich im Bereich des Fahrzeugs und/oder dessen Umgebung vorliegen beziehungsweise diese Aspekte betreffen. Damit kann eine Trajektorienplanung, die systemseitig durch eine Bestimmungseinheit durchgeführt wird, sehr bedarfsgerecht erfolgen und im Hinblick auf die örtlichen Bedingungen eine sehr daran angepasste Trajektorie erzeugt werden. Bereiche in der Umgebung, die von dem Fernsteuerer auf seiner zumindest einen Anzeigeeinheit nicht oder nicht ausreichend genau erkannt werden können und/oder Bereiche des Fahrzeugs, die durch den Fernsteuerer auf der Anzeigeeinheit nicht genau oder nicht erkannt werden können, treten somit für den Fernsteuerer beim Durchführen des Fahrmanövers in den Hintergrund. Denn er muss in dem Zusammenhang nicht mehr selbst anhand der auf der Anzeigeeinheit dargestellten Informationen vorrangig überlegen, wie er das Fahrmanöver durchführen kann, sondern anhand der systemseitig bestimmten Trajektorie wird ihm eine wesentliche elektronische Hilfsinformation angeboten. Zusätzlich zu den auf der Anzeigeeinheit dargestellten Informationen, insbesondere der bildhaften Darstellung der Umgebung des Fahrzeugs und/oder zumindest Teilbereiche des Fahrzeugs kann er nun wesentlich diese Information der bestimmten Trajektorie nutzen, um das ferngesteuerte Fahrmanöver durchführen zu können. Damit kann auch gerade bei Fernsteuervorgängen, bei welchen der Fernsteuerer auch in einer sehr weit entfernten Fernsteuerzentrale zum Fahrzeug angeordnet ist, ein sicheres Bewegen des Fahrzeugs durchgeführt werden. Gerade bei solchen Konstellationen, bei welchen der Fernsteuerer durch das Anwesendsein in der Fernsteuerzentrale, beispielsweise einem Gebäude, das Fahrzeug und/oder dessen Umgebung nicht direkt durch eigene Inaugenscheinnahme von seinem Platz in der Fernsteuerzentrale beobachten kann, ist dies von wesentlicher Vorteilhaftigkeit.
Der Fernsteuerer hat also seine Position in der Fernsteuerzentrale, beispielsweise einem Gebäude, und von dieser Position kann er das von ihm fernzusteuernde Fahrzeug und/oder dessen Umgebung beim Fernsteuern nicht direkt einsehen, insbesondere vollständig nicht direkt einsehen.
In einem Ausführungsbeispiel werden zur Bestimmung der Position des Fahrzeugs die Orientierung des Fahrzeugs in der Umgebung und/oder ein Abstand des Fahrzeugs zu zumindest einem Objekt in der Umgebung bestimmt. Diese Informationen sind vorteilhaft, um die mögliche potentielle Bewegungsrichtung des Fahrzeugs bestimmen zu können. Gerade die Orientierung ist dabei wesentlich, um zu erkennen, ob das Fahrzeug beispielweise in Vorwärtsfahrtrichtung oder in Rückwärtsrichtung fahren wird beziehungsweise fahren muss. Auch anderweitige Informationen, die dynamische und/oder statische Objekte in unmittelbarer Nähe in der Umgebung des Fahrzeugs charakterisieren, sind daher vorteilhaft. Gerade dadurch lässt sich eine besonders bedarfsgerechte Trajektorie für das Fahrmanöver durch die Bestimmungseinheit bestimmen.
In einem Ausführungsbeispiel wird die Bestimmung der Position mit einem visuellen SLAM (Simultanious localization and mappingj-Algorithmus durchgeführt. Als SLAM wird ein Verfahren bezeichnet, bei dem eine Recheneinheit eine Karte seiner Umgebung erstellen und seine räumliche Lage innerhalb dieser Karte schätzen muss. Dies dient insbesondere auch dem Erkennen von Hindernissen in der Umgebung des Fahrzeugs. Insbesondere kann in dem Zusammenhang an dem fernzusteuernden Fahrzeug eine Kamera angeordnet sein, die die Umgebung detektiert. Diese Informationen können dann der Bestimmungseinheit übermittelt werden und durch diese auf Basis des visuellen SLAM insbesondere eine dreidimensionale Karte der Umgebung bestimmt werden, innerhalb der das Fahrzeug seine Position bestimmen kann und auf veränderte Bedingungen reagieren kann. Eine solche Vorgehensweise ermöglicht daher eine sehr schnelle und hochgenaue Bestimmung der Position des Fahrzeugs und ermöglicht es auch, sehr präzise die Umgebung zu erfassen und zu analysieren. Insbesondere können damit auch Veränderungen in der Umgebung schnell und präzise erfasst werden und dies kann wiederum bei der Bestimmung der Position des Fahrzeugs berücksichtigt werden. Damit kann die Position des Fahrzeugs auch dynamisch sehr schnell und präzise bestimmt werden.
In einem Ausführungsbeispiel kann die Position von zumindest einer Landmarke in der Umgebung des Fahrzeugs zugrunde gelegt werden. Diese Position der zumindest einen Landmarke in der Umgebung des Fahrzeugs ist insbesondere bekannt. Abhängig von dieser Position der Landmarke kann dann die Position des Fahrzeugs bestimmt werden. Beispielsweise können hier ARUCO-Muster genutzt werden. Dies bedeutet insbesondere auch, dass diese Muster die Position der Landmarke beispielsweise auch bildcodiert darstellen. Damit kann auch eine hohe Sicherheit der enthaltenen Informationen gewährleistet werden. Die Landmarken und/oder ihre Position können daher in einem vorteilhaften Ausführungsbeispiel als derartige bildcodierte Informationen bereitgestellt werden. Diese können dann von der Bestimmungseinheit ausgewertet werden.
In einem Ausführungsbeispiel wird zusätzlich zur bestimmten Trajektorie eine virtuelle Darstellung des fernzusteuernden Fahrzeugs auf der Anzeigeeinheit für den Fernsteuerer angezeigt. Insbesondere erfolgt diese Darstellung des fernzusteuernden Fahrzeugs in einer Vogelperspektive beziehungsweise in Draufsicht. Dadurch ist dieses teleoperierte Durchführen des Fahrmanövers für das Fahrzeug für den Fernsteuerer noch einfacher und sicherer ermöglicht. Denn dadurch wird ihm insbesondere das vollständige Fahrzeug in Draufsicht auf der Anzeigeeinheit dargestellt. Es kann in einem Ausführungsbeispiel vorgesehen sein, dass hier eine ortsgenaue Darstellung auf dem Echtbild, das auf der Anzeigeeinheit dargestellt wird, erfolgt. Somit kann der Fernsteuerer exakt erkennen, wo das virtuell dargestellte Fahrzeug in der realen Umgebung angeordnet ist. Damit lässt sich auch noch einfacher erkennen, welche Objekte in der Umgebung des Fahrzeugs angeordnet sind und in welche Richtung und/oder in welchem Abstand sie dazu angeordnet sind. Gerade in Verknüpfung mit der bestimmten Trajektorie, die dann auch auf der Anzeigeeinheit angezeigt wird, lässt sich dieses Fernsteuern des Fahrzeugs von einer Position des Fernsteuerers aus, von welcher er das Fahrzeug und/oder die Umgebung nicht direkt einsehen kann, deutlich verbessert durchführen. Die Sicherheit eines derartigen ferngesteuerten Fahrmanövers ist daher deutlich erhöht.
Sicherheitskritische Zustände in der Umgebung des Fahrzeugs beim Durchführen des Fahrmanövers und/oder gegebenenfalls unerwünschte Kollisionen können daher noch besser vermieden werden.
In einem Ausführungsbeispiel wird zusätzlich zur Trajektorie ein aktueller Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs auf der Anzeigeeinheit angezeigt. Zusätzlich oder anstatt dazu kann zur Trajektorie ein Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs, mit welchen das Fahrzeug auf der Trajektorie bewegt werden kann, auf der Anzeigeeinheit angezeigt. Damit kann der Fernsteuerer visuell noch einfacher und nachvollziehbarer Zustände des Fahrzeugs insbesondere im Hinblick auf die Lenksituation erkennen. Damit ist es noch einfacher, das ferngesteuerte Fahrmanöver sicher durchzuführen, da der Fernsteuerer auch jederzeit erkennen kann, wie die Lenkwinkel einzustellen sind, um die vorgegebene und angezeigte Trajektorie exakt durchfahren zu können.
In einem Ausführungsbeispiel wird die Umgebung des Fahrzeugs mit einer Frontkamera des Fahrzeugs und/oder mit einer Heckkamera des Fahrzeugs erfasst. Zusätzlich oder anstatt dazu kann die Umgebung auch mit zumindest einer Seitenkamera erfasst werden. Insbesondere werden die Bilder der Frontkamera und/oder die Bilder der Heckkamera auf der Anzeigeeinheit angezeigt. Damit lässt sich insbesondere in den wesentlichen Richtungen, insbesondere nach vorne und/oder nach hinten, eine Darstellung auf der Anzeigeeinheit erreichen, die dem Fernsteuerer ein besonders realitätsnahes Szenario zeigt. In dem Zusammenhang wird eine Darstellung vermittelt, bei welcher der Fernsteuerer quasi die Perspektive erhält, als wenn er insbesondere als Fahrzeugführer in dem fernzusteuernden Fahrzeug selbst sitzen würde. Damit ist in besonders intuitiver und realitätsnaher Weise dieses ferngesteuerte Durchführen des Fahrmanövers ermöglicht.
In einem Ausführungsbeispiel wird das Fahrmanöver in einem Parkbereich als Umgebung des Fahrzeugs durchgeführt, so dass als Fahrmanöver ein Einparken oder ein Ausparken aus einer Parkzone des Parkbereichs durchgeführt wird. Eine Parkzone ist in dem Zusammenhang ein Flächenbereich in dem Parkbereich, der bestimmungsgemäß zum Abstellen eines einzigen Fahrzeugs vorgesehen ist. Diese Parkzone kann beispielsweise durch Markierungen, insbesondere Bodenmarkierungen, kenntlich gemacht sein. Möglich ist es in dem Zusammenhang, dass ein einziges Fahrzeug ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus ist. Es kann auch ein Kraftfahrzeug mit einem Anhänger als ein derartiges einziges Fahrzeug angesehen sein. In dem Parkbereich sind vorzugsweise mehrere derartige Parkzonen ausgebildet. Eine Parkzone ist daher nicht ein vollständiges Parkhaus oder eine im Freien befindliche und zum Abstellen von Kraftfahrzeugen vorgesehene Parkeinheit, sondern ist lediglich bestimmungsgemäß zum örtlich definierten Abstellen eines einzigen derartigen Kraftfahrzeugs vorgesehen. Ein Parkbereich kann beispielsweise ein Parkhaus mit mehreren derartigen Parkzonen sein. Ein Parkbereich kann auch eine sonstige, auch nicht eingehauste Fläche sein, auf der bestimmungsgemäß das Parken in solchen gekennzeichneten Parkzonen ermöglicht ist. Gerade bei solchen Fahrmanövern, die ein Einparken und/oder ein Ausparken durch einen Fernsteuerer in einer Fernsteuerzentrale betreffen, ist die Erfindung besonders vorteilhaft. Denn gerade beim Einparken oder Ausparken können beengte Situationen oder uneinsichtige Bereiche vorliegen, die zu kritischen Fahrmanövern und/oder Kollisionen führen können. Daher ist gerade in solchen Situationen bei oben geschilderten ferngesteuerten Fahrmanövern die Anzeige von einer derartigen Trajektorie auf der Anzeigeeinheit des Fernsteuerers von besonderer Vorteilhaftigkeit. Auch schwierige Parkmanöver, beispielweise aufgrund beengter Situation, können daher besonders vorteilhaft durchfahren werden.
Nicht nur in dem Zusammenhang ist es in einem Ausführungsbeispiel möglich, dass nicht nur eine Trajektorie, die ein Befahren ausschließlich nur in einer Richtung des Fahrzeugs vorsieht, vorgegebenen werden. Vielmehr sind auch Trajektorien durch die Bestimmungseinheit bestimmbar, die ein mehrzügiges Fahrmanöver abbilden. Dies kann beispielsweise beim Einpark-Fahrmanöver oder Auspark-Fahrmanövern vorteilhaft sein. In dem Zusammenhang können auch zweizügige oder dreizügige Trajektorien bestimmt und angezeigt werden. Dies bedeutet, dass dem Fernsteuerer auf der Anzeigeeinheit die Trajektorie mit den jeweiligen Zügen dargestellt werden kann. Dies bedeutet, dass in einem vorteilhaften Ausführungsbeispiel auch der Anfang und das Ende eines ersten Zugs der Trajektorie und/oder der Anfang und das Ende eines zumindest zweiten Zugs der Trajektorie angezeigt werden können. In dem Zusammenhang kann ein erster Zug das Bewegen des Fahrzeugs in eine erste Richtung, beispielsweise eine Vorwärtsfahrt sein. Der nachfolgende zweite Zug kann ein Bewegen des Fahrzeugs in eine diesbezüglich andere Fahrtrichtung, nämlich beispielweise in Rückwärtsrichtung sein. Es kann dann vorgesehen sein, dass beispielsweise anschließend an den zweiten Zug zumindest ein dritter Zug durchgeführt wird, der insbesondere wieder in Vorwärtsfahrtrichtung mit dem Fahrzeug durchgeführt wird. Ebenso kann es jedoch auch beispielsweise invers der Fall sein, dass zunächst eine Rückwärtsfahrt und anschließend daran eine Vorwärtsfahrt durchgeführt wird. In besonders vorteilhafter Weise kann somit der Fernsteuerer auch Informationen angezeigt bekommen, die nicht nur das grundsätzliche Bewegen entlang einer Trajektorie visuell darstellen, sondern dem Fernsteuerer auch zusätzlich die Information geben, in welche Fahrtrichtung die Fahrtrajektorie durchzuführen ist, insbesondere in welche Fahrtrichtung gegebenenfalls einzelne Teiltrajektorien dieser gesamten Trajektorie durchfahren werden. Die Teiltrajektorien sind dabei durch die jeweiligen Züge, wie sie oben erläutert wurden, gegeben.
In einem Ausführungsbeispiel wird das Fahrmanöver in einem Dienstleistungsbereich als Umgebung durchgeführt, so dass das Fahrmanöver ein Bewegen zu einer Dienstleistungseinheit in dem Dienstleistungsbereich durchgeführt wird. Eine derartige spezifische Dienstleistungseinheit kann beispielsweise eine Waschstraße oder eine Tankstelle sein. Eine Tankstelle kann in dem Zusammenhang zum Nachfüllen von herkömmlichen Kraftstoffen, wie beispielsweise Benzin oder Diesel, vorgesehen sein. Zusätzlich oder anstatt dazu kann die Tankstelle jedoch auch Ladesäulen zum elektrischen Laden eines Fahrzeugs aufweisen. Damit kann in diesem vorteilhaften Ausführungsbeispiel auch ein derartiges ferngesteuertes Fahrmanöver hin zu einer derartigen individuellen Dienstleistungseinheit erfolgen. Da gerade bei solchen Situationen ein ortsgenaues und exaktes Manövrieren erforderlich ist, beispielsweise in die Waschstraße hinein und/oder exakt neben eine Ladesäule oder eine Zapfsäule an einer Tankstelle, ist es auch hier besonders vorteilhaft, wenn dem Fernsteuerer die dazu erforderliche Trajektorie bestimmt und angezeigt wird.
In einem Ausführungsbeispiel wird, wie bereits oben dargelegt, die Trajektorie mit einer elektronischen Bestimmungseinheit bestimmt. Diese Bestimmungseinheit ist vorzugsweise in der Fernsteuerzentrale angeordnet. Damit kann zentralisiert in der Fernsteuerzentrale ein umfängliches Auswerten von Informationen und Bestimmen zumindest der Trajektorie zentralisiert durchgeführt werden. Möglich ist es jedoch auch, dass die Bestimmungseinheit in dem Fahrzeug, welches ferngesteuert werden soll, enthalten ist. Bei einem solchen Ausführungsbeispiel benötigt das Fahrzeug dann selbst eine derartige Bestimmungseinheit. Sollen mehrere Fahrzeuge ferngesteuert werden, benötigen diese dann jeweils eine Bestimmungseinheit. Ist lediglich eine Bestimmungseinheit in der Fernsteuerzentrale vorgesehen, so ist insbesondere nur dort eine solche erforderlich. Die Fahrzeuge, die ferngesteuert werden sollen, benötigen dann keine eigene Bestimmungseinheit.
In einem Ausführungsbeispiel werden die Informationen zu einer Position des Fahrzeugs an die in der Fernsteuerzentrale angeordnete Auswerteeinheit übertragen. Auch diesbezüglich gelten die Vorteile, wie sie bereits oben zur Bestimmungseinheit genannt wurden.
Möglich ist es auch, dass die Auswerteeinheit und die Bestimmungseinheit in einer gemeinsamen Einheit zusammengefasst sind. Sie können jedoch auch separate Einheiten in einem entsprechenden System sein.
In einem Ausführungsbeispiel wird mit zumindest einer Kamera des fernzusteuernden Fahrzeugs dessen Umgebung erfasst. Insbesondere werden in dem Zusammenhang Bilder der Kamera als Informationen zur Bestimmung der Position des Fahrzeugs der Auswerteeinheit bereitgestellt. Die hierbei erreichbaren Vorteile wurden bereits oben dargelegt. In einem Ausführungsbeispiel wird zumindest für den Bereich der Umgebung des Fahrzeugs eine Landkarte bereitgestellt, die bei der Bestimmung der Trajektorie berücksichtigt wird. Damit muss nicht die gesamte Umgebung, insbesondere auch relativ weitläufig um das Fahrzeug herum berücksichtigt werden. Dadurch kann die zu berücksichtigende Datenmenge reduziert und auf die wesentlichen Bereiche konzentriert werden. Damit ist auch der Rechenaufwand reduziert und die Vorgehensweise schneller.
Ein weiterer Aspekt der Erfindung betrifft ein elektronisches Fernsteuerungssystem zum Fernsteuern eines Fahrzeugs. Das elektronische Fernsteuerungssystem weist das fernzusteuernde Fahrzeug auf. Es weist zumindest eine Auswerteeinheit und zumindest eine Anzeigeeinheit auf. Die Anzeigeeinheit ist in einer entfernt zum Fahrzeug ortsfest angeordneten Fernsteuerzentrale angeordnet. Das Fernsteuerungssystem ist zum Durchführen eines Verfahrens gemäß dem oben genannten Aspekt oder einem vorteilhaften Ausführungsbeispiel davon ausgebildet. Insbesondere wird das Verfahren mit dem elektronischen Fernsteuerungssystem durchgeführt.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Es zeigen: Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines elektronischen Fernsteuerungssystems; und
Fig. 2 ein Ausführungsbeispiel einer Anzeige auf einer Anzeigeeinheit in der Fernsteuerzentrale.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In Fig. 1 ist in einer schematischen Darstellung eine Fernsteuerzentrale 1 gezeigt. Die Fernsteuerzentrale 1 ist beispielsweise in einem ortsfest angeordneten Gebäude. Die Fernsteuerzentrale 1 weist zumindest einen Fernsteuerplatz 2 auf. An dem Fernsteuerplatz 2 ist ein menschlicher Fernsteuerer 3 angeordnet. Die Person in Form des Fernsteuerers 3 sitzt oder steht dort an einem festen Platz. An diesem Fernsteuerplatz 2 sind im Ausführungsbeispiel Fernsteuerelemente angeordnet. Derartige Fernsteuerelemente 4 können beispielsweise eine Tastatur und/oder zumindest eine Bedieneinheit, wie beispielsweise ein Joystick oder dergleichen, sein. An dem Fernsteuerplatz 2 ist zumindest eine Anzeigeeinheit 5 angeordnet. Es können auch mehrere Anzeigeeinheiten 5, 6 und 7 angeordnet sein.
In der Fernsteuerzentrale 1 ist in dem Ausführungsbeispiel darüber hinaus eine Bestimmungseinheit 8 angeordnet. In der Fernsteuerzentrale 1 kann in einem Ausführungsbeispiel auch eine Auswerteeinheit 9 angeordnet sein. Diese Bestimmungseinheit 8 und die Auswerteeinheit 9 sind insbesondere elektronische Einheiten. Sie können auch als Software-Module realisiert sein.
Wie darüber hinaus in Fig.1 auch zu erkennen ist, ist extern und insbesondere auch weiter entfernt zur Fernsteuerzentrale 1 eine Umgebung 10 gezeigt. Die Umgebung 10 ist insbesondere so angeordnet, dass sie von dem Fernsteuerer 3 nicht direkt eingesehen werden kann. Der Fernsteuerer 3 kann daher Fahrzeuge, insbesondere ein fernzusteuerndes Fahrzeug von seinem Fernsteuerplatz 2 aus nicht direkt erkennen und somit nicht direkt in Augenschein nehmen. Die Umgebung 10 ist im Ausführungsbeispiel mit einem Parkbereich 11 ausgebildet. Der Parkbereich 11 weist im Ausführungsbeispiel mehrere Parkzonen 12, 13, 14, 15, 16, 17, 18, 19, 20 und 21 auf. Die Parkbereiche 12 bis 21 sind in einem Ausführungsbeispiel durch Begrenzungen begrenzt und dadurch die jeweilige Fläche kenntlich gemacht. Die Parkzonen 12 bis 16 sind jeweils zum Beparken mit einem einzigen Fahrzeug vorgesehen. Der Parkbereich 11 weist eine Einfahrt und/oder Ausfahrt 22 auf. Im Ausführungsbeispiel sind in den Parkzonen 12 und 13 Fahrzeuge 23 und 24 abgestellt. Ebenso sind in den Parkzonen 18, 19 und 20 beispielhaft Fahrzeuge 25, 26 und 27 abgestellt. Soll nun beispielsweise das Fahrzeug 26 durch ein elektronisches Fernsteuerungssystem 28 ferngesteuert bewegt werden, so kann dies gemäß nachfolgendem Szenario erfolgen. Möglich ist es in dem Zusammenhang, dass dieses ferngesteuerte Fahrmanöver, hier ein Ausparken aus der Parkzone 19, durch das elektronische Fernsteuerungssystem 28 unterstützt wird. Das ferngesteuerte Fahrmanöver wird insbesondere durch den Fernsteuerer 3 durchgeführt, wobei sich dieser dabei der genannten Mittel, die am Fernsteuerplatz 2 angeordnet sind, bedient. In dem Zusammenhang kann die Fernsteuerzentrale 1 zur drahtlosen Kommunikation mit dem Fahrzeug 26 ausgebildet sein. Es kann hier eine direkte drahtlose Kommunikation ermöglicht sein oder eine drahtlose Kommunikation über eine Kommunikationseinheit 29.
Zum Durchführen des ferngesteuerten Fahrmanövers wird in einem Ausführungsbeispiel zunächst die Position des Fahrzeugs 26 in der Umgebung 10, hier in dem Parkbereich 11 , bestimmt. Dazu wird im Ausführungsbeispiel der Auswerteeinheit 9 zumindest eine Information bereitgestellt, um die Position des Fahrzeugs 26 bestimmen zu können. Beispielsweise ist es möglich, dass zur Bestimmung der Position des Fahrzeugs 26 die Orientierung des Fahrzeugs 26 in dem Parkbereich 11 und/oder ein Abstand des Fahrzeugs 26 zu zumindest einem Objekt in der Umgebung, hier dem Parkbereich 11 , bereitgestellt wird. Ein Abstand kann in dem Zusammenhang beispielsweise zu den benachbart geparkten Fahrzeugen 25 und 27 und/oder zu den gegenüber geparkten Fahrzeugen 23 und 24 bereitgestellt werden. In dem Zusammenhang ist es in einem Ausführungsbeispiel möglich, dass zumindest eine Erfassungseinheit 26a des fernzusteuernden Fahrzeugs 26 aktiviert wird und die Umgebung zumindest bereichsweise erfasst. Diese Informationen können mit einem visuellen SLAM- Algorithmus verarbeitet werden und abhängig davon die Bestimmung der Position des Fahrzeugs 26 erfolgen. Möglich ist es auch, dass zusätzlich oder anstatt dazu die Position des Fahrzeugs 26 anhand zumindest einer Position einer Landmarke in der Umgebung 10 bestimmt wird. Diese zumindest eine Landmarke ist in einem Ausführungsbeispiel bekannt. Auch diese Informationen können der Auswerteeinheit 9 bereitgestellt werden.
Abhängig von diesen Informationen zur Position erfolgt eine Bestimmung einer Trajektorie, entlang welcher das Fahrzeug 26 ein ferngesteuertes Fahrmanöver durchführen kann. Insbesondere wird im gezeigten Ausführungsbeispiel durch die Bestimmungseinheit 8 eine Trajektorie bestimmt, die ein Ausparken des Fahrzeugs 26 aus der Parkzone 19 ermöglicht. Diese von der Bestimmungseinheit 8 bestimmte Trajektorie wird auf der zumindest einen Anzeigeeinheit 5, die extern zum Fahrzeug 26 in der Fernsteuerzentrale 1 angeordnet ist, angezeigt. Dadurch kann sie von dem Fernsteuerer 3 auf der Anzeigeeinheit 5 einfach erkannt werden. In einem weiteren Schritt wird dann ein ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs 26 durch den Fernsteuerer 3 in der Fernsteuerzentrale 1 abhängig von der auf der Anzeigeeinheit 5 angezeigten Trajektorie durchgeführt. Es kann die Trajektorie ein einzügiges Fahrmanöver charakterisieren. Möglich ist es in einem Ausführungsbeispiel auch, dass die Trajektorie ein mehrzügiges Fahrmanöver ist. Dies ist insbesondere beim Einparken oder Ausparken vorteilhaft. Insbesondere kann durch die Bestimmungseinheit 8 abhängig von den erhaltenen Informationen ein einzügiges oder mehrzügiges Fahrmanöver und in dem Zusammenhang somit eine Trajektorie, die nur einen einzügigen Bewegungsvorgang oder einen mehrzügigen Bewegungsvorgang enthält, erzeugt werden.
In Fig. 2 ist in einer beispielhaften Darstellung eine Anzeige 30 dargestellt, wie sie beispielsweise auf der Anzeigeeinheit 5 dargestellt sein kann. In diesem Ausführungsbeispiel ist eine Perspektive gezeigt, die mit einer Frontkamera des Fahrzeugs 26 aufgenommen wurde. In Fig. 2 ist daher ein mit der Frontkamera des Fahrzeugs 26 aufgenommenes Echtbild auf der Anzeigeeinheit 5 dargestellt. Im gezeigten Ausführungsbeispiel ist das Fahrzeug 26 mit einer Frontseite 26b den gegenüberliegenden Parkzonen 12 bis 15 zugewandt orientiert. Die Orientierung des Fahrzeugs 26 ist daher derart, dass es rückwärts in die Parkzone 19 eingeparkt ist. Diese Orientierung wird in einem vorteilhaften Ausführungsbeispiel durch eine virtuelle Darstellung 31 auf der Anzeigeeinheit 5 dargestellt. Es ist also das fernzusteuernde Fahrzeug 26 hier in vorteilhafter weise vollständig und als eine virtuelle Draufsicht gezeigt. Damit ist die Orientierung des Fahrzeugs 26 auf der Anzeigeeinheit 5 auch verbessert für den Fernsteuerer 3 erkennbar. In Fig. 2 ist schematisch auch die Trajektorie 32, welche bestimmt wurde, angezeigt. Damit ist im gezeigten Ausführungsbeispiel vorzugsweise ein einzügiges Ausparken des Fahrzeugs 26 aus der Parkzone 29 durch ein entsprechendes ferngesteuertes Fahrmanöver möglich. Möglich ist es auch, dass zusätzlich zur Trajektorie 32 ein aktueller Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs 26 auf der Anzeigeeinheit 5 angezeigt wird und/oder ein Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs 26 angezeigt wird, mit welchem das Fahrzeug 26 auf der Trajektorie 32 bewegt werden kann. Abhängig von der Situation des Fahrzeugs 26 kann die Bestimmungseinheit 8 auch eine mehrzügig durchfahrene Trajektorie 32 bestimmen. Dies kann beispielsweise von der Orientierung des Fahrzeugs 26 und/oder von Art und/oder Position von Objekten in der Umgebung 10 des Fahrzeugs 26 und/oder von Abständen des Fahrzeugs 26 zu derartigen Objekten in der Umgebung 10 und/oder abhängig von einem bekannten Zielort des Fahrzeugs 26 sein. Ein derartiger Zielort kann beispielsweise eine Ausfahrt 22 in dem Parkbereich 11 sein. Ist die Position des Fahrzeugs 26 zu diesem Zielort bekannt, kann auch dies, insbesondere auch der potentiell mögliche Weg dorthin, berücksichtigt werden, um die Trajektorie 32 zu bestimmen.
Möglich ist in einem Ausführungsbeispiel auch, dass die bestimmte Trajektorie 32 während des ferngesteuerten Fahrmanövers zumindest einmal, insbesondere kontinuierlich, überprüft wird. Dies kann beispielsweise abhängig von dem tatsächlichen Weg des Fahrzeugs 26 bei diesem Fernsteuern und/oder abhängig von Änderungen in der Umgebung 10 des Fahrzeugs 26 erfolgen. Insbesondere ist es daher dann auch möglich, dass die Trajektorie 32 dynamisch aktualisiert wird und die aktualisierte Trajektorie 32 auf der Anzeigeeinheit 5 angezeigt wird.

Claims

Patentansprüche Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers eines Fahrzeugs (26), aufweisend folgende Schritte:
- Bestimmen der Position des Fahrzeugs (26) in der Umgebung (10) durch eine Auswerteeinheit (9);
- Bestimmen einer Trajektorie (32) für das Fahrmanöver des Fahrzeugs (26) abhängig von den Informationen zur Position;
- Anzeigen der Trajektorie (32) auf einer Anzeigeeinheit (5, 6, 7), die extern zum Fahrzeug (26) in einer Fernsteuerzentrale (1) angeordnet ist;
- ferngesteuertes Durchführen des Fahrmanövers des Fahrzeugs (26) durch einen Fernsteuerer (3) in der Fernsteuerzentrale (1) abhängig von der auf der Anzeigeeinheit (5, 6, 7) angezeigten Trajektorie (32). Verfahren nach Anspruch 1 , wobei zur Bestimmung der Position des Fahrzeugs (26) die Orientierung des Fahrzeugs (26) in der Umgebung (10) und/oder ein Abstand des Fahrzeugs (26) zu zumindest einem Objekt in der Umgebung (10) bestimmt und berücksichtigt werden. Verfahren nach Anspruch 1 oder 2, wobei die Bestimmung der Position mit einem visuellen SLAM-Algorithmus durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Position von zumindest einer Landmarke in der Umgebung (10) bekannt ist und abhängig von der Position der Landmarke die Position des Fahrzeugs (26) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich zur Trajektorie (32) eine virtuelle Darstellung des Fahrzeugs (26), insbesondere in Draufsicht, auf der Anzeigeeinheit (5, 6, 7) angezeigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich zur Trajektorie (32) ein aktueller Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs (26) auf der Anzeigeeinheit (5, 6, 7) angezeigt wird und/oder ein Lenkwinkel von eingeschlagenen Rädern des Fahrzeugs (26), mit welchem das Fahrzeug (26) entlang der Trajektorie (32) bewegt werden kann, auf der Anzeigeeinheit (5, 6, 7) angezeigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebung (10) mit einer Frontkamera des Fahrzeugs (26) und/oder mit einer Heckkamera des Fahrzeugs (26) erfasst wird, und die Bilder der Frontkamera und/oder die Bilder der Heckkamera auf der Anzeigeeinheit (5, 6, 7) angezeigt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrmanöver in einem Parkbereich (11 ) als Umgebung (10) durchgeführt wird, so dass als Fahrmanöver ein Einparken oder ein Ausparken aus einer Parkzone (13 bis 21 ) des Parkbereichs (11) durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrmanöver in einem Dienstleistungsbereich als Umgebung durchgeführt wird, so dass als Fahrmanöver ein Bewegen zu einer Dienstleistungseinheit, insbesondere eine Waschstraße oder einer Tankstelle, durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorie (32) mit einer Bestimmungseinheit (8) in der Fernsteuerzentrale (1) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Informationen zu einer Position des Fahrzeugs (26) an die in der Fernsteuerzentrale (1 ) angeordneten Auswerteeinheit (9) übertragen werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei mit zumindest einer Kamera des Fahrzeugs (26) die Umgebung (10) erfasst wird und diese Bilder als Informationen zur Bestimmung der Position des Fahrzeugs (26) der Auswerteeinheit (9) bereitgestellt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest für den Bereich der Umgebung (10) eine Landkarte bereitgestellt wird, der bei der Bestimmung der Trajektorie (32) berücksichtigt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorie (32) abhängig von zumindest der Position des Fahrzeugs (26) wahlweise als einzügig zu durchfahrende Trajektorie (32) oder als mehrzügig zu durchfahrende Trajektorie (32) bestimmt wird. Elektronisches Fernsteuerungssystem (28) zum Fernsteuern eines Fahrzeugs (26), mit dem Fahrzeug (26), einer Auswerteeinheit (9) und einer Anzeigeeinheit (5, 6, 7), die in einer entfernt zum Fahrzeug (26) ortsfest angeordneten Fernsteuerzentrale (1) angeordnet ist, wobei das Fernsteuerungssystem (28) zum Durchführen eines
Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.
PCT/EP2023/074438 2022-09-09 2023-09-06 Verfahren zum ferngesteuerten durchführen eines fahrmanövers mit trajektorienanzeige für einen fernsteuerer, sowie elektronisches fernsteuerungssystem WO2024052402A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022122893.2 2022-09-09
DE102022122893.2A DE102022122893A1 (de) 2022-09-09 2022-09-09 Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit Trajektorienanzeige für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem

Publications (1)

Publication Number Publication Date
WO2024052402A1 true WO2024052402A1 (de) 2024-03-14

Family

ID=87971782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/074438 WO2024052402A1 (de) 2022-09-09 2023-09-06 Verfahren zum ferngesteuerten durchführen eines fahrmanövers mit trajektorienanzeige für einen fernsteuerer, sowie elektronisches fernsteuerungssystem

Country Status (2)

Country Link
DE (1) DE102022122893A1 (de)
WO (1) WO2024052402A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014000978A1 (de) * 2014-01-25 2015-07-30 Audi Ag Verfahren und Vorrichtung zur Steuerung eines Gespanns in einen Parkraum
DE102017210221A1 (de) * 2017-06-20 2018-12-20 Audi Ag Verfahren zur Längs- und Querführung eines Kraftfahrzeugs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014015493B4 (de) 2014-10-06 2019-04-18 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
DE102016013971A1 (de) 2016-11-23 2017-05-24 Daimler Ag Verfahren für einen ferngesteuerten Betrieb eines Kraftwagens, sowie System zum ferngesteuerten Betrieb eines Kraftwagens
DE102017120726A1 (de) 2017-09-08 2019-03-14 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug mit Berücksichtigung eines Zwischenstopps an einer Stoppposition, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019217642A1 (de) 2019-11-15 2021-05-20 Volkswagen Aktiengesellschaft Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014000978A1 (de) * 2014-01-25 2015-07-30 Audi Ag Verfahren und Vorrichtung zur Steuerung eines Gespanns in einen Parkraum
DE102017210221A1 (de) * 2017-06-20 2018-12-20 Audi Ag Verfahren zur Längs- und Querführung eines Kraftfahrzeugs

Also Published As

Publication number Publication date
DE102022122893A1 (de) 2024-03-14

Similar Documents

Publication Publication Date Title
EP3510463B1 (de) Sensoranordnung für ein autonom betriebenes nutzfahrzeug und ein verfahren zur rundumbilderfassung
EP1658211B1 (de) Rangierhilfesystem für kraftfahrzeug
DE102015202480B4 (de) Verfahren und Vorrichtung zum Ermitteln einer Parkposition für ein Fahrzeug
DE102010043128B4 (de) Überwachungsvorrichtung für die Fahrzeugumgebung und Verfahren zur Steuerung einer derartigen Überwachungsvorrichtung
DE102012014991B4 (de) Verfahren zum Betreiben eines Parkassistenzsystems für einen Kraftwagen
DE102017204983B4 (de) Verfahren zum Vorgeben einer Fahrbewegung in einer auf maschinellem Lernen basierten Autopiloteinrichtung eines Kraftfahrzeugs sowie Steuervorrichtung, Kraftfahrzeug und Trainingsvorrichtung für eine Autopiloteinrichtung
EP4002052A1 (de) Führen eines kraftfahrzeugs auf einem parkplatz
DE102016011324A1 (de) Verfahren zur Steuerung eines Zugfahrzeugs bei dessen Heranfahren und Ankuppeln an ein Anhängerfahrzeug
DE102014000978A1 (de) Verfahren und Vorrichtung zur Steuerung eines Gespanns in einen Parkraum
EP3333049A1 (de) Verfahren zum autonomen manövrieren eines kraftfahrzeugs auf einer parkfläche mit bestimmung eines fahrschlauchs anhand einer digitalen karte, infrastukturvorrichtung, fahrerassistenzsystemen, kraftfahrzeugs sowie kommunikationssystemen
DE102013003853A1 (de) Verfahren, Steuersystem und Bremssystem zur Steuerung des Rückwärtsrangierens eines Gespannfahrzeugs
DE102014013219A1 (de) Assistenzsystem zum Rangieren eines Gespanns sowie Verfahren zum Betreiben eines solchen Assistenzsystems
EP3356203A1 (de) Verfahren zum bestimmen einer parkfläche zum parken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102016115132A1 (de) Unterstützung eines Fahrers eines Kraftfahrzeugs mit einem angehängten Anhänger beim Einparken durch virtuelle Sensoren
DE102019001956A1 (de) Verfahren zum Betrieb eines Fahrzeugs
WO2015192987A1 (de) Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns
DE102020127206A1 (de) Prozess und system zur gemeinsamen nutzung von sensoren für einen autonomen fahrspurwechsel
DE102020102667A1 (de) System und verfahren zur fahrzeugausrichtungssteuerung
DE102017216088A1 (de) Steuersystem zum Lenken eines Zugfahrzeuges mit einem Anhänger
DE102016122760A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs zum Manövrieren des Kraftfahrzeugs zu verschiedenen Zielpunkten, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018212401B3 (de) Verfahren und System zum automatischen Erkennen eines Ankuppelmanövers eines Kraftfahrzeugs an einen Anhänger
WO2024052402A1 (de) Verfahren zum ferngesteuerten durchführen eines fahrmanövers mit trajektorienanzeige für einen fernsteuerer, sowie elektronisches fernsteuerungssystem
EP3584142B1 (de) Verfahren zum ermitteln einer soll-trajektorie für die durchführung eines rangiervorganges mit einem fahrzeuggespann
DE102016111878A1 (de) Verfahren zum Bestimmen einer Ausrichtung eines auf einer Parkfläche geparkten Kraftfahrzeugs, Steuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015118584A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs mit Bestimmung eines Zielwinkels für die Ausfahrt aus einer Parklücke, Fahrerassistenzsystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23765505

Country of ref document: EP

Kind code of ref document: A1