WO2018077647A1 - Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs - Google Patents

Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs Download PDF

Info

Publication number
WO2018077647A1
WO2018077647A1 PCT/EP2017/076319 EP2017076319W WO2018077647A1 WO 2018077647 A1 WO2018077647 A1 WO 2018077647A1 EP 2017076319 W EP2017076319 W EP 2017076319W WO 2018077647 A1 WO2018077647 A1 WO 2018077647A1
Authority
WO
WIPO (PCT)
Prior art keywords
autonomous vehicle
trajectory
user
user input
driving trajectory
Prior art date
Application number
PCT/EP2017/076319
Other languages
English (en)
French (fr)
Inventor
Sandra Kleinau
Bernd Rech
Johannes Hartog
Hendrik-Jörn Günther
Teodor BUBURUZAN
Stefan GLÄSER
Bernd Lehmann
Monique ENGEL
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Publication of WO2018077647A1 publication Critical patent/WO2018077647A1/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Definitions

  • the present invention relates to the external control of autonomous vehicles.
  • the present invention relates to a method and a system for the external control of an autonomous vehicle.
  • a vehicle is a mobile means of transport for the transport of people or goods.
  • the vehicle may therefore be both a passenger and a commercial vehicle.
  • a vehicle may be a passenger car, a truck, a motorcycle or a tractor.
  • a vehicle may be understood as a device that includes an engine, a powertrain system, and wheels.
  • an autonomous vehicle moves autonomously in public traffic.
  • an autonomous vehicle may be equipped with on-board sensors to detect its environment (e.g., cameras, laser scanners, radars) and have the ability to interact with others
  • Traffic users or infrastructure e.g., back-end, roadside infrastructure such as traffic lights
  • An autonomous vehicle makes decisions about its operative and tactical driving on the basis of the received information itself and can also cooperate with other road users in its vicinity.
  • Brake pedal are present. This may be desired, for example, in the exact individual determination of the stopping place ("last 50 meters”).
  • Document DE 10 2014 018 108 A1 proposes a method in which a vehicle environment is output on a touch-sensitive display device. In the environment image becomes a target position or trajectory for the vehicle specified. Due to the perspective representation of the environment as well as the fluctuating quality of the inputs via the touch-sensitive display device, the determination of an adequate trajectory for the vehicle may be difficult. Thus, the document DE 10 2014 018 108 A1 no solution for efficient external control of an autonomous vehicle can be seen.
  • Document WO 2008/036805 A1 proposes a method in which a path is drawn into a map.
  • the coordinates of the marked path are used as waypoints for a driving maneuver of an autonomous vehicle.
  • the document WO 2008/036805 A1 does not provide a solution for the efficient external control of an autonomous vehicle.
  • the trajectory is traversed by means of signals along the trajectory of arranged beacons. Again, however, there is no feedback to an operator about the specific driving maneuver or to be driven by the vehicle
  • the present invention enables this by a method for external control of an autonomous vehicle.
  • the method initially comprises outputting a
  • Map section and a position of the autonomous vehicle therein to a user In this way, the user can be provided with information about the (near) environment of the autonomous vehicle in order to assess the situation. For example, a digital map of the affected road section (eg, including lanes, sidewalk, buildings, driveways, etc.) in a plan view (engl, bird view) are issued to the user. In the representation of the digital map, the autonomous vehicle to be controlled is also displayed.
  • the output of the map section can be made, for example, via a display of the autonomous vehicle, an indication of a vehicle-external operating device (eg tablet computer, smartphone) or an indication of a control center for the external control of autonomous vehicles (English, command center).
  • the method includes receiving a first user input, wherein the user input indicates a desired driving maneuver.
  • the first user input can be, for example, driving up to a specified point (eg x meters in the direction of travel, y meters backwards or a location such as the nearest service area), a specified maneuver to a defined point (eg driving around an object on the left or right around to a certain point), reaching fixed intermediate points or varying the speed.
  • a specified point eg x meters in the direction of travel, y meters backwards or a location such as the nearest service area
  • a specified maneuver to a defined point eg driving around an object on the left or right around to a certain point
  • reaching fixed intermediate points or varying the speed e.g driving around an object on the left or right around to a certain point
  • User input may e.g. via a voice command, an input by means of a
  • Input device e.g., mouse, keyboard, trackball or stylus and graphics tablet
  • touch-sensitive display e.g., a touch-sensitive display
  • the method further comprises calculating at least one driving trajectory for the autonomous vehicle based on the first user input.
  • the inputs of the user are processed and converted into a driving trajectory for the autonomous vehicle.
  • the travel trajectory is a trajectory to be traveled by the autonomous vehicle, i. a time-dependent course of the position of the autonomous vehicle.
  • the driving trajectory may e.g. from the autonomous vehicle itself, an off-vehicle operator panel that accepts the first user input, or a back-end.
  • the method comprises displaying the driving trajectory in the map section. The user thus receives feedback about the vehicle to be driven off
  • the method further comprises transmitting information about the driving trajectory and a command to move along the trajectory to a control device of the autonomous vehicle.
  • a control device of the autonomous vehicle e.g., a Bluetooth
  • the transmission of the information about the driving trajectory or of the command can be done, for example, by means of radio communication (eg via a cellular network, a wireless local network, Bluetooth) or also by line (if the driving trajectory is calculated in the autonomous vehicle itself).
  • the individual steps of the method can run on one or more devices.
  • the method may be entirely or partially carried out on the autonomous vehicle, in whole or in part on an external control device (eg smartphone or tablet computer) or even completely or partially in a command center.
  • the method may allow external control of the autonomous vehicle.
  • the output of the map section is on a touch-sensitive display, the first one being a touch-sensitive display
  • User input comprises sketching a graphical element in the map excerpt by touching the touch-sensitive display.
  • the input interface can be a touchscreen that shows the scene.
  • touch-sensitive display can be an intuitive way for the user
  • the input may be e.g. also done with the help of a pen. This could e.g. by drawing with a pen on a tablet computer by a user (e.g., vehicle occupant, or service technician near the autonomous vehicle). A corresponding input could also be made by a user in a control center remote from the autonomous vehicle. Also, the touch-sensitive display could be in the autonomous vehicle itself (e.g., as part of an infotainment system). Of course, the
  • touch-sensitive display even without pen, i. with one or more fingers.
  • the autonomous vehicle driving trajectory is one of a plurality of calculated trajectories displayed in the map. In other words: when planning the mobile
  • Driving trajectories can also be calculated a Trajektorienschar. If alternatives exist, the user is thus presented with several possible executable driving trajectories to fulfill his instructions (i.e., the first user input).
  • the second user input comprises selecting the driving trajectory for the autonomous vehicle from the plurality of calculated trajectories displayed in the map excerpt.
  • the user can select from the plurality of calculated trajectories displayed in the map section.
  • the user can thus be provided with a plurality of possible driving trajectories, from which he can choose according to his preferences.
  • the plurality of calculated travel trajectories displayed in the map may have a selection of all calculated ones
  • Be driving trajectories For example, a set of trajectories can be calculated from individual representatives selected according to a defined criterion are displayed to the user for selection. Thus, a preselection can take place in order to display to the user only possible driving trajectories which satisfy a criterion (eg best distance to an object to be driven around, the smallest possible route, etc.).
  • a criterion eg best distance to an object to be driven around, the smallest possible route, etc.
  • the method in addition to outputting the map section, the method further comprises outputting a current one
  • a measured value of a sensor of the autonomous vehicle wherein the measured value includes information about a distance of an outside of the autonomous vehicle located object to the autonomous vehicle.
  • the sensor of the autonomous vehicle may be e.g. to act a camera, a laser measurement system or a radar of the vehicle.
  • the measurement of the sensor may allow the user to better estimate the environment of the autonomous vehicle.
  • the output of the current recordings of a camera of the vehicle greatly simplify the user's judgment of the surroundings of the autonomous vehicle on the basis of the additional information contained therein. The user can thus resort to further information to the desired
  • the map also includes an object detected by a sensor of the autonomous vehicle and / or an object detected by an entity (eg, further vehicle, infrastructure) outside the autonomous vehicle, and / or a vehicle that is likely to be drivable by the autonomous vehicle Area and / or an operating parameter (eg speed, current rail planning, planned maneuvers, planning the route) of the autonomous vehicle and / or a driving trajectory of at least one further autonomous vehicle.
  • entity eg, further vehicle, infrastructure
  • an operating parameter eg speed, current rail planning, planned maneuvers, planning the route
  • the view displayed to the user may thus include information that the autonomous vehicle has obtained with its own sensors; Information which the autonomous vehicle has received from other vehicles (collective perception) or infrastructure (eg roadside sensors); as well as information from external sources (eg a back-end).
  • the information obtained by the autonomous vehicle as well as the information obtained from external sources can be transmitted, for example, to a back-end and processed there in order to be made available to the autonomous vehicle as well as other vehicles ,
  • the user may be presented with the following information, for example: • digital map of the affected road section (eg including lanes, sidewalk, buildings, driveways, etc.)
  • autonomous vehicle to be controlled positioned in the map.
  • the exact location in the map may e.g. based on satellite navigation data and / or autonomous vehicle sensor (e.g., landmark data) information.
  • Vehicles e.g., fleet vehicles in this section of road
  • the first one comprises
  • calculating the at least one driving trajectory for the autonomous vehicle comprises adapting the at least one trajectory for the autonomous vehicle to the desired trajectory for the autonomous vehicle.
  • the sketch of the desired route can have unevenness or not smooth.
  • autonomous vehicle driving trajectories are commonly described as higher order (e.g., fifth degree) polynomials. Accordingly, the adaptation to the approximation and "smoothing" of the sketched driving trajectory can be used.
  • the method further comprises receiving a third user input indicating a change of at least a portion of the driving trajectory by the user.
  • the user input may, for example, be done by dragging or sketching at least a portion of the driving trajectory by the user.
  • the method further comprises calculating a further driving trajectory for the autonomous vehicle based on the third user input. This can be done, for example, according to the principles outlined above.
  • the method also includes displaying the further travel trajectory in the map section and after receiving a fourth
  • User input which indicates an agreement of the user to the further driving trajectory, sending information about the further driving trajectory and a command to move along the further driving trajectory, to the control device of the autonomous vehicle.
  • the user can thus be allowed to reject proposed driving trajectories and to make new specifications or to plan new driving trajectories. For segments (between intermediate points of the driving trajectory), only partial segments can be rejected or edited.
  • computing the at least one driving trajectory for the autonomous vehicle comprises calculating a ground area occupied by the autonomous vehicle when traversing the driving trajectory, the method further including displaying the driving trajectory in the map excerpt
  • overhang e.g., trucks or buses
  • the method further comprises receiving a message that the driving trajectory includes a portion that the autonomous vehicle deems to be unavailable.
  • the section of the driving trajectory is an area that the autonomous vehicle would not usually drive according to its rules.
  • the section of the driving trajectory may be e.g. to act around a curb, a sidewalk, a green space or a non-paved edge strip.
  • the method further comprises outputting a current recording of a camera of the autonomous vehicle to the user. The user can thus additional
  • the user can also change the display of the camera image (eg zoom).
  • the method includes sending a command to move along the section of the driving trajectory, to the control device of the autonomous vehicle.
  • the driver can thus actively cause the autonomous vehicle to drive a section of the driving trajectory that it would not normally drive.
  • the user has additional options for the driving trajectory available.
  • the user retains control over the departure of these sections.
  • the user can also initiate a new planning of the driving trajectory if the autonomous vehicle is not to move along this section of the driving trajectory.
  • embodiments of the present invention also include a program having a program code for carrying out one of the methods described herein when the program code is stored on a data processing system (eg, a computer cloud, a tablet computer, a computer, a processor, or the like) a programmable hardware component) expires or is executed there.
  • a data processing system eg, a computer cloud, a tablet computer, a computer, a processor, or the like
  • a programmable hardware component es or is executed there.
  • the external control of an autonomous vehicle is enabled by a system for autonomously controlling an autonomous vehicle.
  • the system includes an output device that is configured to
  • the dispenser may be e.g. an indication of the autonomous vehicle, an indication of an off-vehicle operating device (e.g., tablet computer,
  • Smartphone or an indicator of a control center.
  • system comprises an input device that is set up, a first one
  • the first user input indicates a desired driving maneuver.
  • the first user input may e.g. driving up to a fixed point (eg x meters in the direction of travel, y meters backwards or a location such as the nearest rest stop), performing a specified maneuver up to a specified point (eg driving around an object left or right up to a certain point Point), reaching fixed intermediate points or varying the speed.
  • a fixed point e.g x meters in the direction of travel, y meters backwards or a location such as the nearest rest stop
  • performing a specified maneuver up to a specified point eg driving around an object left or right up to a certain point Point
  • reaching fixed intermediate points or varying the speed e.g. a basic target specification with the help of the first user input.
  • the input device may e.g. a microphone for the
  • an input device e.g., mouse, keyboard, trackball or pen and graphics tablet
  • a touch-sensitive display e.g., a touch-sensitive display
  • system includes a computing device that is configured, at least one
  • the calculation can be made according to the principles described above.
  • IC integrated circuit
  • SoC system-on-a-chip
  • the computing device may include or be connected to one or more memories in which, e.g. the software for calculating the driving trajectory or other data may be stored.
  • the output device of the system is further arranged to control the travel trajectory in the
  • Map section. The user thus receives feedback about the driving trajectory to be traveled by the vehicle and can thus check the proposed driving trajectory.
  • the system includes a transmitting device configured to transmit information about the driving trajectory and a command to move along the driving trajectory to a control device of the autonomous vehicle after receiving a second one
  • the second user input indicates an agreement of the user to the driving trajectory.
  • the autonomous vehicle is instructed to drive it.
  • the user is therefore not part of the control loop of the autonomous vehicle to carry out the desired driving maneuver, but only makes basic specifications.
  • the transmission of the information about the driving trajectory or of the command via the transmitting device can e.g. by radio communication (e.g., via a cellular network, a wireless local area network, Bluetooth) or else
  • the system may be implemented wholly or partly in the autonomous vehicle, in an off-board operating device (eg smartphone or tablet computer) or in a control center.
  • the system may allow external control of the autonomous vehicle.
  • the output device and the input device are configured as a touch-sensitive display, wherein the first user input comprises sketching a graphical element in the map section by touching the touch-sensitive display.
  • the input interface can be a touchscreen that shows the scene.
  • the input may be e.g. also done with the help of a pen.
  • the touch-sensitive display is a display of the autonomous vehicle (e.g., an infotainment system of the vehicle
  • a mobile terminal e.g., a smartphone or a tablet computer
  • an indication of a stationary control device e.g., in a control center located outside the autonomous vehicle.
  • the computing device is a computing device of the autonomous vehicle, a computing device of the mobile terminal, or a computing device of a central data processing system.
  • a variety of implementations for the computing device can be enabled.
  • the individual components of the system can thus be distributed over several physical devices.
  • the system further comprises a receiving device configured to receive information about an object detected by a sensor of the autonomous vehicle and / or information about an object detected by an entity (eg, another vehicle, infrastructure) outside the autonomous vehicle and / or information about an operating parameter (speed, current rail planning, planned maneuvers, planning the route) of the autonomous vehicle and / or to receive information from a database of a central data processing system.
  • a receiving device configured to receive information about an object detected by a sensor of the autonomous vehicle and / or information about an object detected by an entity (eg, another vehicle, infrastructure) outside the autonomous vehicle and / or information about an operating parameter (speed, current rail planning, planned maneuvers, planning the route) of the autonomous vehicle and / or to receive information from a database of a central data processing system.
  • Output device of the system is further configured to display the information in the map section.
  • the user can thereby be provided with further information about the closer environment of the autonomous vehicle for the assessment of the situation.
  • the view displayed to the user may thus include information that the autonomous vehicle has obtained with its own sensors; Information, which the autonomous vehicle received from other vehicles (collective perception) or infrastructure (eg roadside sensors); as well as information from external sources (eg a back-end).
  • the input device is further configured to receive a third user input indicating a change in at least a portion of the driving trajectory by the user.
  • the computing device is further configured to calculate a further driving trajectory for the autonomous vehicle based on the third user input.
  • the output device is also set up to display the further travel trajectory in the map section.
  • the transmitting device is set up to send information about the further driving trajectory and a command to move along the further driving trajectory to the control device of the autonomous vehicle.
  • the user can thus be enabled, proposed
  • system or components of the system may be configured to perform one or more of the further method steps mentioned above.
  • Fig. 1 is a flow chart of an embodiment of a method for external control of an autonomous vehicle
  • Fig. 2 shows an embodiment of a system for external control of an autonomous vehicle.
  • the method 100 includes outputting 102 a map section and a position of the autonomous vehicle therein to a user. Furthermore, the method 100 includes a
  • the method 100 further includes calculating 106 at least one autonomous vehicle driving trajectory based on the first user input.
  • the method 100 includes a display 108 of the driving trajectory in the
  • the calculation 106 of the at least one driving trajectory for the autonomous vehicle may include several sub-aspects.
  • the instructions given by the user for example, on a touch screen with a pen or fingers sketched
  • Trajektorienplan or Bahn opposition be prepared. Trajectories for automatic (autonomous) vehicles are typically described by fifth degree polynomials. Accordingly, polynomials can also be used to approximate and “smooth" the sketch, and the “smoothed" sketch can also be displayed to the user.
  • the method 100 may also include a calculation of the road surface occupied by the autonomous vehicle when the trajectory or trajectories are being traveled. These can in turn be displayed to the operator (if necessary for selection). To improve clarity, the representations (selected by the user) can be displayed individually.
  • the user judges the planning and confirms / selects a trajectory through the second
  • the selected trajectory is the basis for the railway planner of the autonomous vehicle.
  • the user starts the departure of the trajectory through the second user input, so that the autonomous vehicle performs the necessary calculations and begins its journey.
  • the monitoring of the maneuver is carried out by the autonomous vehicle with its sensors. It continues to execute its driving maneuvers automatically. For example, upon reaching a point that the autonomous vehicle does not normally drive due to its rules (eg, an unattached edge trim), it may stop and request confirmation from the operator. This is the scene by the on-board sensor (preferably camera) shown for assessment. If necessary, the operator can change the representation, for. By zooming an image. If appropriate, the operator can also start a new planning of the driving trajectory.
  • the individual steps of the method 100 can take place on one or more devices.
  • the method 100 can run entirely or partially on the autonomous vehicle, in whole or in part on an off-vehicle operating device (for example a smartphone or tablet computer) or even completely or partially in a control center.
  • the method 100 may enable external control of the autonomous vehicle.
  • the method 100 may include one or more optional features according to one or more of the above
  • Embodiments include.
  • Fig. 2 further shows a system 200 for external control of an autonomous vehicle.
  • the system 200 is implemented in the form of a mobile terminal, here a tablet computer.
  • the touch-sensitive display 210 of the table computer serves as an output device for outputting a map section 21 1 and a position 212 of the autonomous vehicle therein to a user.
  • the touch-sensitive display 210 of the table computer also serves as
  • Input device for receiving a first user input, the first one
  • User input indicates a desired driving maneuver.
  • a computing device 220 (e.g., a processor of the tablet computer) is configured to provide at least a driving trajectory for the autonomous vehicle based on the first one
  • the touch-sensitive display 210 serving as the output device is further configured to display the driving trajectory 213 in the map section. Furthermore, a transmission device 230 is included in the tablet computer. Upon receipt of a second user input by the touch-sensitive display 210 serving as an input device, the second user input indicating an agreement of the user with the driving trajectory 213, the transmitting device is arranged to display information about the driving trajectory 213 and a command to move along the trajectory 213, to send to a control device of the autonomous vehicle.
  • the system 200 may enable external control of the autonomous vehicle.
  • the individual components of the system 200 may alternatively be accommodated in different devices.
  • a part of the system may also be implemented in the autonomous vehicle itself or in a control center.
  • the processing of the first user input can be done on the input device. Depending on the situation this could be integrated in the vehicle, in one
  • Control Center or it could be a mobile input device (eg tablet computer) of a mobile user (eg service technician).
  • the processing can also take place in the backend, which requires the appropriate communication.
  • the trajectories presented to the user can be used by the autonomous trajectory planner
  • Vehicle or by appropriate railroad planners in the back-end or on a mobile input device can be trajectory to the control device of the autonomous
  • Vehicle are transmitted (eg wired or via radio communication).

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Bereitgestellt wird ein Verfahren zur externen Steuerung eines autonomen Fahrzeugs. Das Verfahren beinhaltet ein Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Ferner beinhaltet das Verfahren ein Empfangen einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Das Verfahren beinhaltet zudem ein Berechnen zumindest einer Fahrtrajektone für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Weiterhin beinhaltet das Verfahren ein Anzeigen der Fahrtrajektone in dem Kartenausschnitt und ein Senden von Informationen über die Fahrtrajektone sowie einen Befehl, sich entlang der Fahrtrajektone zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektone anzeigt.

Description

Beschreibung
Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs
Die vorliegende Erfindung betrifft die externe Steuerung autonomer Fahrzeuge. Insbesondere betrifft die vorliegende Erfindung ein Verfahren sowie ein System zur externen Steuerung eines autonomen Fahrzeugs.
Ein Fahrzeug ist ein mobiles Verkehrsmittel für den Transport von Personen oder Gütern. Bei dem Fahrzeug kann es sich daher sowohl um ein Personen- als auch um ein Nutzfahrzeug handeln. Zum Beispiel kann ein Fahrzeug ein Personenkraftwagen, ein Lastkraftwagen, ein Motorrad oder ein Traktor sein. Allgemein kann ein Fahrzeug als eine Vorrichtung aufgefasst werden, die einen Motor, ein Antriebsstrangsystem sowie Räder umfasst.
Ein autonomes Fahrzeug bewegt sich autonom im öffentlichen Straßenverkehr. Dazu kann ein autonomes Fahrzeug mit bordeigener Sensorik zur Erkennung seines Umfeldes ausgestattet sein (z.B. Kameras, Laserscanner, Radar) und die Möglichkeit besitzen, mit anderen
Verkehrsteilnehmern oder auch Infrastruktur (z.B. Back-End, straßenseitige Infrastruktur wie Ampeln) zu kommunizieren. Ein autonomes Fahrzeug trifft Entscheidungen zu seinem operativen und taktischen Fahren auf Basis der erhaltenen Informationen selbst und kann in seinem Nahbereich auch mit anderen Verkehrsteilnehmern kooperieren.
Es sind Situationen vorstellbar, in denen von außen das Verhalten des autonomen Fahrzeugs beeinflusst werden soll. Beispielsweise Situationen, in denen es an die Grenzen seines Arbeitsbereiches stößt. Zum Beispiel kann es vorkommen, dass das autonome Fahrzeug den Verkehr anhand des eigenen Wissens nicht richtig einschätzen kann oder die Planung einer zu fahrenden Trajektorie nicht möglich ist. Weiterhin ist es vorstellbar, dass z.B. Fahrzeuginsassen eingreifen möchten, auch wenn keine konventionellen Bedieneinheiten (z. B. Lenkrad,
Bremspedal) vorhanden sind. Dies kann etwa bei der genauen individuellen Festlegung des Anhalteortes („letzte 50 Meter") gewünscht sein.
In Druckschrift DE 10 2014 018 108 A1 wird ein Verfahren vorgeschlagen, bei dem eine Fahrzeugumgebung auf einer berührungsempfindlichen Anzeigevorrichtung ausgegeben wird. In dem Umgebungsbild wird eine Zielposition oder eine Trajektorie für das Fahrzeug vorgegeben. Aufgrund der perspektivischen Darstellung der Umgebung sowie der schwankenden Qualität der Eingaben über die berührungsempfindliche Anzeigevorrichtung kann die Bestimmung einer adäquaten Trajektorie für das Fahrzeug erschwert sein. Somit ist der Druckschrift DE 10 2014 018 108 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
Druckschrift WO 2008/036805 A1 schlägt ein Verfahren vor, bei dem ein Weg in eine Karte eingezeichnet wird. Die Koordinaten des eingezeichneten Wegs werden als Wegpunkte für ein Fahrmanöver eines autonomen Fahrzeugs genutzt. Dabei erfolgt jedoch keinerlei Rückmeldung an einen Bediener über das konkrete Fahrmanöver bzw. die durch das Fahrzeug abzufahrende Trajektorie. Somit ist auch der Druckschrift WO 2008/036805 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
In Druckschrift US 2009/0138151 A1 wird ein Verfahren zum Lokalisieren und Navigieren einer Vorrichtung vorgeschlagen, bei dem ein Trajektorie per Hand in eine Luftaufnahme
eingezeichnet werden kann. Das Abfahren der Trajektorie erfolgt mit Hilfe von Signalen entlang der Trajektorie angeordneter Beacons. Auch hier erfolgt jedoch keinerlei Rückmeldung an einen Bediener über das konkrete Fahrmanöver bzw. die durch das Fahrzeug abzufahrende
Trajektorie. Somit ist auch der Druckschrift US 2009/0138151 A1 keine Lösung zur effizienten externen Steuerung eines autonomen Fahrzeugs zu entnehmen.
Es besteht somit ein Erfordernis, eine Möglichkeit bereitzustellen, ein autonomes Fahrzeug extern zu steuern.
Die vorliegende Erfindung ermöglicht dies durch ein Verfahren zur externen Steuerung eines autonomen Fahrzeugs. Dabei umfasst das Verfahren zunächst ein Ausgeben eines
Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Damit können dem Benutzer zur Beurteilung der Situation Informationen über die (nähere) Umgebung des autonomen Fahrzeugs bereitgestellt werden. Beispielsweise kann eine digitale Karte des betroffenen Straßenabschnitts (z.B. inklusive Fahrstreifen, Bürgersteig, Bebauung, Einfahrten etc.) in einer Draufsicht (engl, bird view) an den Benutzer ausgegeben werden. In der Darstellung der digitalen Karte ist ferner das zu steuernde autonome Fahrzeug angezeigt. Die Ausgabe des Kartenausschnitts kann z.B. über eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines fahrzeugexternen Bediengeräts (z.B. Tablet-Computer, Smartphone) oder eine Anzeige eines Kontrollzentrums für die externe Steuerung autonomer Fahrzeuge (engl, command center) erfolgen. Weiterhin umfasst das Verfahren ein Empfangen einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Die erste Benutzereingabe kann z.B. ein Fahren bis zu einem festgelegten Punkt (z.B. x Meter in Fahrtrichtung, y Meter rückwärts oder eine Ortsangabe wie z.B. die nächste Raststätte), ein Ausführen eines festgelegten Fahrmanövers bis zu einem festgelegten Punkt (z.B. Umfahren eines Objekts links oder rechts herum bis zu einem bestimmten Punkt), ein Erreichen von festgelegten Zwischenpunkten oder ein Verändern der Geschwindigkeit umfassen. Mit anderen Worten: Der Benutzer macht mit Hilfe der ersten Benutzereingabe nur eine grundsätzliche Sollvorgabe. Die erste
Benutzereingabe kann z.B. über ein Sprachkommando, eine Eingabe mittels eines
Eingabegeräts (z.B. Maus, Tastatur, Trackball oder Stift und Grafiktablett) oder über eine Eingabe auf einer berührungsempfindlichen Anzeige erfolgen.
Das Verfahren umfasst ferner ein Berechnen zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe. Mit anderen Worten: Die Eingaben des Benutzers werden verarbeitet und in eine Fahrtrajektorie für das autonome Fahrzeug umgesetzt. Bei der Fahrtrajektorie handelt es sich um eine von dem autonomen Fahrzeug abzufahrende Bahnkurve, d.h. einen zeitabhängigen Verlauf der Position des autonomen Fahrzeugs. Die Fahrtrajektorie kann z.B. von dem autonomen Fahrzeug selbst, einem fahrzeugexternen Bediengerät, das die erste Benutzereingabe entgegennimmt, oder einem Back-End berechnet werden.
Ebenso umfasst das Verfahren ein Anzeigen der Fahrtrajektorie in dem Kartenausschnitt. Der Benutzer erhält somit eine Rückmeldung über die durch das Fahrzeug abzufahrende
Fahrtrajektorie und kann somit die vorgeschlagene Fahrtrajektorie prüfen.
Nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt, umfasst das Verfahren zudem ein Senden von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs. Mit anderen Worten: Ist der Benutzer mit der vorgeschlagenen Fahrtrajektorie einverstanden, so wird das autonome Fahrzeug angewiesen, diese abzufahren. Der Benutzer ist somit zur Ausführung des gewünschten Fahrmanövers nicht Bestandteil des Regelkreises des autonomen Fahrzeugs, sondern macht nur grundsätzliche Sollvorgabe. Die Übermittlung der Informationen über die Fahrtrajektorie bzw. des Befehls kann z.B. mittels Funkkommunikation (z.B. über ein zellulares Netzwerk, ein drahtloses lokales Netzwerk, Bluetooth) oder auch leitungsgebunden (falls die Fahrtrajektorie im autonomen Fahrzeug selbst berechnet wird) geschehen. Die einzelnen Schritte des Verfahrens können dabei auf einem oder mehreren Geräten ablaufen. Beispielsweis kann das Verfahren ganz oder teilweise auf dem autonomen Fahrzeug, ganz oder teilweise auf einem fahrzeugexternen Bediengerät (z.B. Smartphone oder Tablet- Computer) oder auch ganz oder teilweise in einem Kontrollzentrum (engl, command center) ablaufen. Das Verfahren kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung erfolgt das Ausgeben des Kartenausschnitts auf einer berührungsempfindlichen Anzeige, wobei die erste
Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst. Mit anderen Worten: Als Eingabe- Interface kann ein Touchscreen verwendet werden, der die Szene zeigt. Mittels der
berührungsempfindlichen Anzeige kann eine für den Benutzer intuitive Möglichkeit für
Benutzereingabe bereitgestellt werden. Zur Erhöhung der Präzision kann die Eingabe z.B. auch mit Hilfe eines Stiftes erfolgen. Dies könnte z.B. durch Zeichnen mit einem Stift auf einem Tablet-Computer durch einen Benutzer (z.B. Fahrzeuginsasse, oder Service-Techniker in der Nähe des autonomen Fahrzeugs) erfolgen. Eine entsprechende Eingabe könnte auch durch einen Benutzer in einem vom autonomen Fahrzeug entfernten Kontrollzentrum erfolgen. Auch könnte sich die berührungsempfindliche Anzeige im autonomen Fahrzeug selbst befinden (z.B. als Bestandteil eines Infotainmentsystems). Selbstverständlich kann die
berührungsempfindliche Anzeige auch ohne Stift, d.h. mit einem oder mehreren Fingern, bedient werden.
In einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Fahrtrajektorie für das autonome Fahrzeug eine aus einer Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien. Mit anderen Worten: Bei der Planung der fahrbaren
Fahrtrajektorien kann auch eine Trajektorienschar berechnet werden. Falls Alternativen bestehen, werden dem Benutzer somit mehrere mögliche ausführbare Fahrtrajektorien bzw. befahrbare Bahnen zur Erfüllung seiner Anweisungen (d.h. der ersten Benutzereingabe) angezeigt. Dabei umfasst die zweite Benutzereingabe ein Auswählen der Fahrtrajektorie für das autonome Fahrzeug aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien. Mit anderen Worten: Der Benutzer kann aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien auswählen. Dem Benutzer kann somit eine Mehrzahl möglicher Fahrtrajektorien bereitgestellt werden, aus welcher er nach seinen Vorlieben wählen kann. Ferner kann die Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien eine Auswahl aller berechneten
Fahrtrajektorien sein. Beispielsweise kann eine Trajektorienschar berechnet werden, aus der einzelne, nach einem festgelegten Kriterium ausgewählte Repräsentanten dem Benutzer zur Auswahl angezeigt werden. Somit kann eine Vorauswahl stattfinden, um dem Benutzer nur mögliche Fahrtrajektorien anzuzeigen, welche einem Kriterium (z.B. best. Abstand zu einem zu umfahrenden Objekt, möglichst geringe Wegstrecke etc.) genügen.
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren neben dem Ausgeben des Kartenausschnitts ferner ein Ausgeben eines momentanen
Messwerts eines Sensors des autonomen Fahrzeugs, wobei der Messwert Informationen über einen Abstand eines außerhalb des autonomen Fahrzeugs befindlichen Objekts zu dem autonomen Fahrzeug umfasst. Bei dem Sensor des autonomen Fahrzeugs kann es sich z.B. um eine Kamera, ein Lasermesssystem oder ein Radarmesssystem des Fahrzeugs handeln. Der Messwert des Sensors kann dem Benutzer eine bessere Einschätzung der Umgebung des autonomen Fahrzeugs ermöglichen. So kann z.B. die Ausgabe der aktuellen Aufnahmen einer Kamera des Fahrzeugs dem Benutzer eine Beurteilung der Umgebung des autonomen Fahrzeugs erheblich vereinfachen aufgrund der zusätzlich enthaltenen Informationen. Der Benutzer kann somit auf weitere Informationen zurückgreifen, um das gewünschtes
Fahrmanöver des autonomen Fahrzeugs zu bestimmen.
In einigen Ausführungsbeispielen der vorliegenden Erfindung ist in dem Kartenausschnitt weiterhin ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder ein von einer Entität (z.B. weiteres Fahrzeug, Infrastruktur) außerhalb des autonomen Fahrzeugs erfasstes Objekt und/oder ein wahrscheinlich durch das autonome Fahrzeug befahrbarer Bereich und/oder ein Betriebsparameter (z.B. Geschwindigkeit, aktuelle Bahnplanung, geplante Manöver, Planung zur Fahrtroute) des autonomen Fahrzeugs und/oder eine Fahrtrajektorie zumindest eines weiteren autonomen Fahrzeugs dargestellt. Dem Benutzer können dadurch weitere Informationen über die (nähere) Umgebung des autonomen Fahrzeugs für die
Beurteilung der Situation bereitgestellt werden. Die dem Benutzer angezeigte Ansicht kann somit Informationen beinhalten, welche das autonome Fahrzeug mit seiner eigenen Sensorik gewonnen hat; Informationen, welche das autonome Fahrzeug von anderen Fahrzeugen (kollektive Perzeption) oder einer Infrastruktur (z.B. straßenseitige Sensorik) erhalten hat; als auch Informationen von externen Quellen (z.B. einem Back-End). Die von dem autonomen Fahrzeug gewonnen Informationen als auch die von externen Quellen (z.B. weitere Fahrzeuge, Infrastruktur) erhaltenen Informationen können z.B. an ein Back-End übermittelt und dort verarbeitet werden, um dem autonomen Fahrzeug als auch weiteren Fahrzeugen aufbereitet zur Verfügung gestellt werden zu können. In einer Ausführungsform können dem Benutzer z.B. folgende Informationen angezeigt werden: • digitale Karte des betroffenen Straßenabschnitts (z.B. inkl. Fahrstreifen, Bürgersteig, Bebauung, Einfahrten etc.)
• in der Karte positioniertes, zu steuerndes autonomes Fahrzeug. Die genaue Verortung in der Karte kann z.B. auf Basis von Satellitennavigationsdaten und/oder Informationen der Sensorik des autonomen Fahrzeugs (z.B. Abstände zu Landmarken) erfolgen.
• von der Sensorik des autonomen Fahrzeugs erfasste Objekte (ggf. Abgleich, engl,
matching, mit Karteninformationen)
• von externen Quellen (z.B. anderen Fahrzeugen, straßenseitiger Sensorik) zusätzlich erfasster Objekte (optional unter Berücksichtigung des Problems veralteter
Informationen bzw. der Wahrscheinlichkeit der zum Beurteilungszeitpunkt bestehenden Gültigkeit der Informationen)
• weitere Informationen, wie etwa typisch gefahren Fahrtrajektorien von anderen
Fahrzeugen (z.B. Flottenfahrzeugen) in diesem Straßenabschnitt
• außer realen Ansichten (Fotos, Videos) können auch bearbeitete Fotos und abstrahierte Objekte angezeigt werden
• aktuelle Bahnplanung, Planung zur Fahrtroute, aktuelle Geschwindigkeit und geplante Manöver
Es versteht sich von selbst, dass einzelne Ansichten bzw. Elemente weg- bzw. zugeschaltet werden können, um die Übersichtlichkeit der Anzeige zu verbessern bzw. an die Wünsche des Benutzers anzupassen.
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst die erste
Benutzereingabe ein Skizzieren einer gewünschten Fahrtrajektorie für das autonome Fahrzeug in dem Kartenausschnitt, wobei das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Anpassen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug an die gewünschte Fahrtrajektorie für das autonome Fahrzeug umfasst. Die Skizze der gewünschten Fahrtroute kann Unebenheiten aufweisen bzw. nicht glatt sein. Ebenso werden Fahrtrajektorien für autonome Fahrzeug üblicherweise als Polynome höherer Ordnung (z.B. fünften Grades) beschrieben. Entsprechend kann die Anpassung zur Approximation und „Glättung" der skizzierten Fahrtrajektorie genutzt werden.
In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren ferner ein Empfangen einer dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt. Die Benutzereingabe kann z.B. durch Ziehen oder abermaliges Skizzieren zumindest eines Teils der Fahrtrajektorie durch den Benutzer erfolgen. Das Verfahren umfasst weiterhin ein Berechnen einer weiteren Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe. Dies kann z.B. gemäß den oben ausgeführten Grundsätzen erfolgen. Auch umfasst das Verfahren ein Anzeigen der weiteren Fahrtrajektorie in dem Kartenausschnitt sowie nach Empfang einer vierten
Benutzereingabe, welche eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt, ein Senden von Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs. Dem Benutzer kann somit erlaubt werden, vorgeschlagene Fahrtrajektorien zu verwerfen und neue Vorgaben zu machen bzw. neue Fahrtrajektorien planen zu lassen. Bei Segmenten (zwischen Zwischenpunkten der Fahrtrajektorie) können auch nur Teilsegmente verworfen bzw. bearbeitet werden.
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Berechnen einer bei einem Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche, wobei das Verfahren neben dem Anzeigen der Fahrtrajektorie in dem Kartenausschnitt ferner ein
Anzeigen der beim Abfahren der Fahrtrajektorie durch das autonome Fahrzeug belegten Bodenfläche in dem Kartenausschnitt umfasst. Dem Benutzer können somit Informationen bereitgestellt werden, die ihm ermöglichen, nachzuvollziehen, dass beim Abfahren der
Fahrtrajektorie keine Kollision mit Objekten außerhalb des autonomen Fahrzeugs erfolgt. Dies kann insbesondere bei Fahrzeugen mit Überhang (z.B. Lastkraftwagen oder Bus), welche Ausschwenken, die Beurteilung einer vorgeschlagenen Fahrtrajektorie für den Benutzer erleichtern.
In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das Verfahren ferner ein Empfangen einer Nachricht, dass die Fahrtrajektorie einen Abschnitt enthält, den das autonome Fahrzeug für nicht befahrbar erachtet. Bei dem Abschnitt der Fahrtrajektorie handelt es sich um einen Bereich, den das autonome Fahrzeug gemäß seinen Regeln für gewöhnlich nicht befahren würde. Bei dem Abschnitt der Fahrtrajektorie kann es sich z.B. um einen Bordstein, einen Bürgersteig, eine Grünfläche oder einen nicht befestigten Randstreifen handeln. Das Verfahren umfasst dabei weiterhin ein Ausgeben einer momentanen Aufnahme einer Kamera des autonomen Fahrzeugs an den Benutzer. Dem Benutzer können somit zusätzliche
Informationen für die Beurteilung der Situation durch die Bordsensorik bereitgestellt werden. Optional kann der Benutzer die Darstellung des Kamerabildes auch ändern (z.B. zoomen). Nach Empfang einer fünften Benutzereingabe, welche eine Zustimmung des Benutzers zu dem Abschnitt der Fahrtrajektorie anzeigt, umfasst das Verfahren ein Senden eines Befehls, sich entlang des Abschnitts der Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs. Der Fahrer kann somit aktiv veranlassen, dass das autonome Fahrzeug einen Abschnitt der Fahrtrajektorie befährt, den es für gewöhnlich nicht befahren würde. Somit stehen dem Benutzer weitere Optionen für die Fahrtrajektorie zur Verfügung. Gleichzeitig behält der Benutzer die Kontrolle über das Abfahren dieser Abschnitte. Gegebenenfalls kann der Benutzer auch eine Neuplanung der Fahrtrajektorie veranlassen, falls sich das autonome Fahrzeug nicht entlang dieses Abschnitts der Fahrtrajektorie bewegen soll.
Es versteht sich von selbst, dass Ausführungsbeispiele der vorliegenden Erfindung auch ein Programm mit einem Programmcode zum Durchführen eines der hierin beschriebenen Verfahren umfasst, wenn der Programmcode auf einer Datenverarbeitungsanlage (z.B. einer Computer-Cloud, einem Tablet-Computer, einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente) abläuft bzw. dort ausgeführt wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die externe Steuerung eines autonomen Fahrzeugs durch ein System zur externen Steuerung eines autonomen Fahrzeugs ermöglicht. Das System umfasst eine Ausgabevorrichtung, die eingerichtet ist, einen
Kartenausschnitts sowie eine Position des autonomen Fahrzeugs darin an einen Benutzer auszugeben. Bei der Ausgabevorrichtung kann es sich z.B. um eine Anzeige des autonomen Fahrzeugs, eine Anzeige eines fahrzeugexternen Bediengeräts (z.B. Tablet-Computer,
Smartphone), oder eine Anzeige eines Kontrollzentrums handeln.
Ferner umfasst das System eine Eingabevorrichtung, die eingerichtet ist, eine erste
Benutzereingabe zu empfangen. Die erste Benutzereingabe zeigt dabei ein gewünschtes Fahrmanöver an. Die erste Benutzereingabe kann z.B. ein Fahren bis zu einem festgelegten Punkt (z.B. x Meter in Fahrtrichtung, y Meter rückwärts oder eine Ortsangabe wie z.B. die nächste Raststätte), ein Ausführen eines festgelegten Fahrmanövers bis zu einem festgelegten Punkt (z.B. Umfahren eines Objekts links oder rechts herum bis zu einem bestimmten Punkt), ein Erreichen von festgelegten Zwischenpunkten oder ein Verändern der Geschwindigkeit umfassen. Mit anderen Worten: Der Benutzer macht mit Hilfe der ersten Benutzereingabe nur eine grundsätzliche Sollvorgabe. Die Eingabevorrichtung kann z.B. ein Mikrofon für den
Empfang eines Sprachkommandos, ein Eingabegerät (z.B. Maus, Tastatur, Trackball oder Stift und Grafiktablett) oder eine berührungsempfindliche Anzeige umfassen.
Auch umfasst das System eine Rechenvorrichtung, die eingerichtet ist, zumindest eine
Fahrtrajektorie für das autonome Fahrzeug basierend auf der Benutzereingabe zu berechnen. Die Berechnung kann gemäß den oben beschriebenen Prinzipien erfolgen. Die
Rechenvorrichtung kann z.B. einen oder mehrere Prozessoren bzw. einen oder mehrere Prozessorkerne, einen anwendungsspezifischen integrierten Schaltkreis (engl. ASIC =
Application-Specific Integrated Circuit), einen integrierten Schaltkreis (engl. IC = Integrated Circuit), ein Ein-Chip-System (engl. SoC = System on a Chip), ein programmierbares
Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikroprozessor (engl. FPGA = Field Programmable Gate Array) aufweisen, auf dem Software für die Berechnung der Fahrtrajektorie abläuft. Ferner kann die Rechenvorrichtung einen oder mehrere Speicher aufweisen bzw. mit diesen verbunden sein, in denen z.B. die Software für die Berechnung der Fahrtrajektorie oder sonstige Daten gespeichert sein können.
Die Ausgabevorrichtung des Systems ist ferner eingerichtet, die Fahrtrajektorie in dem
Kartenausschnitt anzuzeigen. Der Benutzer erhält somit eine Rückmeldung über die durch das Fahrzeug abzufahrende Fahrtrajektorie und kann somit die vorgeschlagene Fahrtrajektorie prüfen.
Auch umfasst das System eine Sendevorrichtung, die eingerichtet ist, Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer zweiten
Benutzereingabe durch die Eingabevorrichtung. Die zweite Benutzereingabe zeigt dabei eine Zustimmung des Benutzers zu der Fahrtrajektorie an. Mit anderen Worten: Ist der Benutzer mit der vorgeschlagenen Fahrtrajektorie einverstanden, so wird das autonome Fahrzeug angewiesen, diese abzufahren. Der Benutzer ist somit zur Ausführung des gewünschten Fahrmanövers nicht Bestandteil des Regelkreises des autonomen Fahrzeugs, sondern macht nur grundsätzliche Sollvorgabe. Die Übermittlung der Informationen über die Fahrtrajektorie bzw. des Befehls über die Sendevorrichtung kann z.B. mittels Funkkommunikation (z.B. über ein zellulares Netzwerk, ein drahtloses lokales Netzwerk, Bluetooth) oder auch
leitungsgebunden (falls die Fahrtrajektorie im autonomen Fahrzeug selbst berechnet wird) geschehen.
Die einzelnen Komponenten des Systems können dabei in einer oder in unterschiedlichen Geräten untergebracht sein. Beispielsweis kann das System ganz oder teilweise in dem autonomen Fahrzeugs, in einem fahrzeugexternen Bediengeräts (z.B. Smartphone oder Tablet- Computer) oder in einem Kontrollzentrum implementiert sein. Das System kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen. Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung sind die Ausgabevorrichtung und die Eingabevorrichtung als eine berührungsempfindliche Anzeige ausgebildet, wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst. Mit anderen Worten: Als Eingabe-Interface kann ein Touchscreen verwendet werden, der die Szene zeigt. Mittels der berührungsempfindlichen Anzeige kann eine für den Benutzer intuitive Möglichkeit für
Benutzereingabe bereitgestellt werden. Zur Erhöhung der Präzision kann die Eingabe z.B. auch mit Hilfe eines Stiftes erfolgen.
In einigen Ausführungsbeispielen der vorliegenden Erfindung ist die berührungsempfindliche Anzeige eine Anzeige des autonomen Fahrzeugs (z.B. eines Infotainmentsystems des
Fahrzeugs), eine Anzeige eines mobilen Endgeräts (z.B. eines Smartphones oder eines Tablet- Computers) oder eine Anzeige einer außerhalb des autonomen Fahrzeugs befindlichen stationären Steuervorrichtung (z.B. in einem Kontrollzentrum). Somit können vielfältige
Implementierungen für die berührungsempfindliche Anzeige ermöglicht werden.
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Rechenvorrichtung eine Rechenvorrichtung des autonomen Fahrzeugs, eine Rechenvorrichtung des mobilen Endgeräts oder eine Rechenvorrichtung einer zentralen Datenverarbeitungsanlage. Somit können vielfältige Implementierungen für die Rechenvorrichtung ermöglicht werden.
Wie vorangehend angedeutet können die einzelnen Komponenten des Systems somit über mehrere physische Geräte bzw. Vorrichtungen verteilt sein.
In einigen Ausführungsbeispielen der vorliegenden Erfindung umfasst das System ferner eine Empfangsvorrichtung, die eingerichtet ist, Informationen über ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder Informationen über ein von einer Entität (z.B. weiteres Fahrzeug, Infrastruktur) außerhalb des autonomen Fahrzeugs erfasstes Objekt und/ oder Informationen über einen Betriebsparameter (Geschwindigkeit, aktuelle Bahnplanung, geplante Manöver, Planung zur Fahrtroute) des autonomen Fahrzeugs und/oder Informationen aus einer Datenbank einer zentralen Datenverarbeitungsanlage zu empfangen. Die
Ausgabevorrichtung des Systems ist dabei ferner eingerichtet, die Informationen in dem Kartenausschnitt anzuzeigen. Dem Benutzer können dadurch weitere Informationen über die nähere Umgebung des autonomen Fahrzeugs für die Beurteilung der Situation bereitgestellt werden. Die dem Benutzer angezeigte Ansicht kann somit Informationen beinhalten, welche das autonome Fahrzeug mit seiner eigenen Sensorik gewonnen hat; Informationen, welche das autonome Fahrzeug von anderen Fahrzeugen (kollektive Perzeption) oder einer Infrastruktur (z.B. straßenseitige Sensorik) erhalten hat; als auch Informationen von externen Quellen (z.B. einem Back-End).
Gemäß einigen Ausführungsbeispielen der vorliegenden Erfindung ist die Eingabevorrichtung ferner eingerichtet, eine dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt, zu empfangen. Die Rechenvorrichtung ist dabei ferner eingerichtet, eine weitere Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe zu berechnen. Die Ausgabevorrichtung ist dabei ferner eingerichtet, die weitere Fahrtrajektorie in dem Kartenausschnitt anzuzeigen. Nach Empfang einer vierten Benutzereingabe durch die Eingabevorrichtung, wobei die vierte Benutzereingabe eine
Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt, ist die Sendevorrichtung dabei eingerichtet, Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs zu senden. Dem Benutzer kann somit ermöglicht werden, vorgeschlagene
Fahrtrajektorien zu verwerfen und neue Vorgaben zu machen bzw. neue Fahrtrajektorien planen zu lassen. Bei Segmenten (zwischen Zwischenpunkten der Fahrtrajektorie) können auch nur Teilsegmente verworfen bzw. bearbeitet werden.
Gemäß weiteren Ausführungsbeispielen der vorliegenden Erfindung können das System bzw. Komponenten des Systems eingerichtet sein, einen oder mehrere der weiteren, oben genannten Verfahrensschritte auszuführen.
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend, Bezug nehmend auf die beigefügten Figuren, näher erläutert. Es zeigen:
Fig. 1 zeigt ein Flussdiagram eines Ausführungsbeispiels eines Verfahrens zur externen Steuerung eines autonomen Fahrzeugs; und
Fig. 2 zeigt ein Ausführungsbeispiel eines Systems zur externen Steuerung eines autonomen Fahrzeugs.
Fig. 1 zeigt ein Verfahren 100 zur externen Steuerung eines autonomen Fahrzeugs. Das Verfahren 100 umfasst ein Ausgeben 102 eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer. Ferner umfasst das Verfahren 100 ein
Empfangen 104 einer ersten Benutzereingabe, wobei die Benutzereingabe ein gewünschtes Fahrmanöver anzeigt. Das Verfahren 100 umfasst zudem ein Berechnen 106 zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe.
Weiterhin umfasst das Verfahren 100 ein Anzeigen 108 der Fahrtrajektorie in dem
Kartenausschnitt und ein Senden 1 10 von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt.
Das Berechnen 106 der zumindest einen Fahrtrajektorie für das autonome Fahrzeug kann dabei mehrere Teilaspekte umfassen. So können die vom Benutzer gemachten Anweisungen (z. B. auf einem Touchscreen mit einem Stift oder den Fingern skizziert) für die
Trajektorienplanung bzw. Bahnplanung aufbereitet werden. Trajektorien für automatisch fahrende (autonome) Fahrzeuge werden typischerweise durch Polynome fünften Grades beschrieben. Entsprechend können Polynome auch zur Approximation und„Glättung" der Skizze verwendet werden. Die„geglättete" Skizze kann dem Benutzer auch angezeigt werden.
Gegebenenfalls können auch alternative Fahrtrajektorien, welche die skizzierte Bahn gut approximieren oder den skizzierten Endzustand gut erreichen, berechnet werden. Diese können dem Benutzer (gegebenenfalls zur Auswahl) angezeigt werden.
Optional kann das Verfahren 100 auch eine Berechnung der vom autonomen Fahrzeug beim Abfahren der Trajektorie bzw. der Trajektorien belegten Straßenfläche umfassen. Diese können wiederum dem Bediener (gegebenenfalls zur Auswahl) angezeigt werden. Zur Verbesserung der Übersichtlichkeit können die Darstellungen (vom Benutzer gewählt) einzeln angezeigt werden.
Der Benutzer beurteilt die Planung und bestätigt/wählt eine Trajektorie durch die zweite
Benutzereingabe oder verwirft diese und startet z.B. eine Neuplanung mit einer neuen Skizze oder einer Änderung von Segmenten der ursprünglichen Skizze. Die ausgewählte Trajektorie ist die Basis für den Bahnplaner des autonomen Fahrzeugs.
Der Benutzer startet durch die zweite Benutzereingabe das Abfahren der Trajektorie, so dass das autonome Fahrzeug die notwendigen Berechnungen durchführt und seine Fahrt beginnt. Die Überwachung des Manövers führt das autonome Fahrzeug mit seiner Sensorik aus. Es führt weiterhin seine Fahrmanöver automatisch aus. Beim Erreichen eines Punktes bzw. einer Fläche, die das autonome Fahrzeug normalerweise aufgrund seiner Regeln nicht befährt (z. B. ein nicht befestigter Randstreifen), kann es z.B. anhalten und eine Bestätigung durch den Bediener anfordern. Diesem wird die Szene durch die Bordsensorik (vorzugsweise Kamera) zur Beurteilung gezeigt. Gegebenenfalls kann der Bediener die Darstellung ändern, z. B. durch Zoomen eines Bildes. Gegebenenfalls kann der Bediener auch eine Neuplanung der Fahrtrajektorie starten.
Die einzelnen Schritte des Verfahrens 100 können dabei auf einem oder mehreren Geräten ablaufen. Beispielsweis kann das Verfahren 100 ganz oder teilweise auf dem autonomen Fahrzeug, ganz oder teilweise auf einem fahrzeugexternen Bediengerät (z.B. Smartphone oder Tablet-Computer) oder auch ganz oder teilweise in einem Kontrollzentrum ablaufen. Das Verfahren 100 kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen.
Weitere Details und Aspekte des Verfahrens 100 sind vorangehend in Zusammenhang mit einem oder mehreren Ausführungsbeispielen beschrieben. Das Verfahren 100 kann eines oder mehrere optionale Merkmale gemäß einem oder mehreren der vorbeschriebenen
Ausführungsbeispiele umfassen.
Fig. 2 zeigt ferner ein System 200 zur externen Steuerung eines autonomen Fahrzeugs. Das System 200 ist dabei in Form eines mobilen Endgeräts, hier eines Tablet-Computers, implementiert.
Die berührungsempfindliche Anzeige 210 des Table-Computers dient als Ausgabevorrichtung, um einen Kartenausschnitt 21 1 sowie eine Position 212 des autonomen Fahrzeugs darin an einen Benutzer auszugeben.
Die berührungsempfindliche Anzeige 210 des Table-Computers dient ferner als
Eingabevorrichtung, um eine erste Benutzereingabe zu empfangen, wobei die erste
Benutzereingabe ein gewünschtes Fahrmanöver anzeigt.
Eine Rechenvorrichtung 220 (z.B. ein Prozessor des Tablet-Computers) ist eingerichtet, zumindest eine Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten
Benutzereingabe zu berechnen.
Die als Ausgabevorrichtung dienende berührungsempfindliche Anzeige 210 ist ferner eingerichtet, die Fahrtrajektorie 213 in dem Kartenausschnitt anzuzeigen. Ferner ist von dem Tablet-Computer eine Sendevorrichtung 230 umfasst. Nach Empfang einer zweiten Benutzereingabe durch die als Eingabevorrichtung dienende berührungsempfindliche Anzeige 210, wobei die zweite Benutzereingabe eine Zustimmung des Benutzers zu der Fahrtrajektorie 213 anzeigt, ist die Sendevorrichtung eingerichtet, Informationen über die Fahrtrajektorie 213 sowie einen Befehl, sich entlang der Fahrtrajektorie 213 zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden.
Das System 200 kann eine externe Steuerung des autonomen Fahrzeugs ermöglichen. Die einzelnen Komponenten des Systems 200 können dabei alternativ auch in unterschiedlichen Geräten untergebracht sein. Beispielsweis kann ein Teil das System auch im autonomen Fahrzeug selbst oder in einem Kontrollzentrum implementiert sein.
Beispielsweise kann die Bearbeitung der ersten Benutzereingabe auf dem Eingabegerät erfolgen. Je nach Situation könnte dieses im Fahrzeug integriert sein, sich in einem
Kontrollzentrum befinden oder es könnte sich um ein mobiles Eingabegerät (z. B. Tablet- Computer) eines mobilen Benutzers (z. B. Service-Techniker) handeln. Die Bearbeitung kann aber auch im Back-End stattfinden, was die entsprechende Kommunikation voraussetzt.
Die dem Benutzer präsentierten Trajektorien können vom Bahnplaner des autonomen
Fahrzeugs errechnet werden oder von entsprechenden Bahnplanern im Back-End oder auf einem mobilen Eingabegerät. Entsprechendes gilt für die beim Abfahren der Fahrtrajektorie belegten Flächen. Je nach Ausführungsort der Trajektorienplanung (Fahrzeug, Back-End, mobiles Gerät) kann die abzufahrende Bahn an die Steuervorrichtung des autonomen
Fahrzeugs übermittelt werden (z.B. Leitungsgebunden oder mittels über Funkkommunikation).
Bezugszeichenliste
100 Verfahren zur externen Steuerung eines autonomen Fahrzeugs
102 Ausgeben eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin
104 Empfangen einer ersten Benutzereingabe
106 Berechnen zumindest einer Fahrtrajektone für das autonome Fahrzeug
108 Anzeigen der Fahrtrajektone in dem Kartenausschnitt
1 10 Senden von Informationen über die Fahrtrajektone sowie einen Befehl
200 System
210 berührungsempfindliche Anzeige
21 1 Kartenausschnitt
212 Position des autonomen Fahrzeugs
213 Fahrtrajektone
220 Rechenvorrichtung
230 Sendevorrichtung

Claims

Patentansprüche
1. Verfahren (100) zur externen Steuerung eines autonomen Fahrzeugs, umfassend:
Ausgeben (102) eines Kartenausschnitts sowie einer Position des autonomen Fahrzeugs darin an einen Benutzer;
Empfangen (104) einer ersten Benutzereingabe, wobei die erste Benutzereingabe ein gewünschtes Fahrmanöver anzeigt;
Berechnen (106) zumindest einer Fahrtrajektorie für das autonome Fahrzeug basierend auf der ersten Benutzereingabe;
Anzeigen (108) der Fahrtrajektorie in dem Kartenausschnitt; und
Senden (1 10) von Informationen über die Fahrtrajektorie sowie einen Befehl, sich entlang der Fahrtrajektorie zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer zweiten Benutzereingabe, welche eine Zustimmung des Benutzers zu der Fahrtrajektorie anzeigt.
2. Verfahren nach Anspruch 1 , wobei das Ausgeben (102) des Kartenausschnitts auf einer berührungsempfindlichen Anzeige erfolgt, und wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige umfasst.
3. Verfahren nach Anspruch 1 oder Anspruch 2, wobei die Fahrtrajektorie für das autonome Fahrzeug eine aus einer Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien ist, und wobei die zweite Benutzereingabe ein Auswählen der Fahrtrajektorie für das autonome Fahrzeug aus der Mehrzahl an berechneten und in dem Kartenausschnitt angezeigten Fahrtrajektorien umfasst.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren neben dem Ausgeben (102) des Kartenausschnitts ferner ein Ausgeben eines momentanen Messwerts eines Sensors des autonomen Fahrzeugs umfasst, wobei der Messwert Informationen über einen Abstand eines außerhalb des autonomen Fahrzeugs befindlichen Objekts zu dem autonomen Fahrzeug umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem Kartenausschnitt weiterhin ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder ein von einer Entität außerhalb des autonomen Fahrzeugs erfasstes Objekt und/oder ein wahrscheinlich durch das autonome Fahrzeug befahrbarer Bereich und/oder ein
Betriebsparameter des autonomen Fahrzeugs und/oder eine Fahrtrajektorie zumindest eines weiteren autonomen Fahrzeugs dargestellt ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Benutzereingabe ein Skizzieren einer gewünschten Fahrtrajektorie für das autonome Fahrzeug in dem Kartenausschnitt umfasst, und wobei das Berechnen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Anpassen der zumindest einen Fahrtrajektorie für das autonome Fahrzeug an die gewünschte Fahrtrajektorie für das autonome Fahrzeug umfasst.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner Folgendes umfasst:
Empfangen einer dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt;
Berechnen einer weiteren Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe;
Anzeigen der weiteren Fahrtrajektorie in dem Kartenausschnitt; und
Senden von Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer vierten Benutzereingabe, welche eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Berechnen (106) der zumindest einen Fahrtrajektorie für das autonome Fahrzeug ein Berechnen einer bei einem Abfahren der Fahrtrajektone durch das autonome Fahrzeug belegten Bodenfläche umfasst, und wobei das Verfahren neben dem Anzeigen (108) der Fahrtrajektone in dem Kartenausschnitt ferner ein Anzeigen der beim Abfahren der Fahrtrajektone durch das autonome Fahrzeug belegten Bodenfläche in dem Kartenausschnitt umfasst.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner
Folgendes umfasst:
Empfangen einer Nachricht, dass die Fahrtrajektone einen Abschnitt enthält, den das autonome Fahrzeug für nicht befahrbar erachtet;
Ausgeben einer momentanen Aufnahme einer Kamera des autonomen Fahrzeugs an den Benutzer; und
Senden eines Befehls, sich entlang des Abschnitts der Fahrtrajektone zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs nach Empfang einer fünften
Benutzereingabe, welche eine Zustimmung des Benutzers zu dem Abschnitt der
Fahrtrajektone anzeigt.
10. System (200) zur externen Steuerung eines autonomen Fahrzeugs, umfassend: eine Ausgabevorrichtung, die eingerichtet ist, einen Kartenausschnitts (21 1 ) sowie eine Position (212) des autonomen Fahrzeugs darin an einen Benutzer auszugeben; eine Eingabevorrichtung, die eingerichtet ist, eine erste Benutzereingabe zu empfangen, wobei die erste Benutzereingabe ein gewünschtes Fahrmanöver anzeigt; eine Rechenvorrichtung (220), die eingerichtet ist, zumindest eine Fahrtrajektone (213) für das autonome Fahrzeug basierend auf der ersten Benutzereingabe zu berechnen, wobei die Ausgabevorrichtung ferner eingerichtet ist, die Fahrtrajektone (213) in dem Kartenausschnitt anzuzeigen; und eine Sendevorrichtung (230), die eingerichtet ist, Informationen über die Fahrtrajektone (213) sowie einen Befehl, sich entlang der Fahrtrajektone (213) zu bewegen, an eine Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer zweiten Benutzereingabe durch die Eingabevorrichtung, wobei die zweite Benutzereingabe eine Zustimmung des Benutzers zu der Fahrtrajektorie (213) anzeigt.
1 1. System nach Anspruch 10, wobei die Ausgabevorrichtung und die Eingabevorrichtung als eine berührungsempfindliche Anzeige (210) ausgebildet sind, und wobei die erste Benutzereingabe ein Skizzieren eines graphischen Elements in dem Kartenausschnitts durch Berühren der berührungsempfindlichen Anzeige (210) umfasst.
12. System nach Anspruch 1 1 , wobei die berührungsempfindliche Anzeige (210) eine
Anzeige des autonomen Fahrzeugs, eine Anzeige eines mobilen Endgeräts oder eine Anzeige einer außerhalb des autonomen Fahrzeugs befindlichen stationären
Steuervorrichtung ist.
13. System nach einem der vorhergehenden Ansprüche, wobei die Rechenvorrichtung (220) eine Rechenvorrichtung des autonomen Fahrzeugs, eine Rechenvorrichtung eines mobilen Endgeräts oder eine Rechenvorrichtung einer zentralen
Datenverarbeitungsanlage ist.
14. System nach einem der vorhergehenden Ansprüche, wobei das System ferner eine
Empfangsvorrichtung umfasst, die eingerichtet ist, Informationen über ein von einem Sensor des autonomen Fahrzeugs erfasstes Objekt und/oder Informationen über ein von einer Entität außerhalb des autonomen Fahrzeugs erfasstes Objekt und/ oder
Informationen über einen Betriebsparameter des autonomen Fahrzeugs und/oder Informationen aus einer Datenbank einer zentralen Datenverarbeitungsanlage zu empfangen, wobei die Ausgabevorrichtung ferner eingerichtet ist, die Informationen in dem Kartenausschnitt anzuzeigen.
15. System nach einem der vorhergehenden Ansprüche, wobei die Eingabevorrichtung ferner eingerichtet ist, eine dritten Benutzereingabe, welche eine Änderung zumindest eines Teils der Fahrtrajektorie durch den Benutzer anzeigt, zu empfangen, wobei die
Rechenvorrichtung ferner eingerichtet ist, eine weitere Fahrtrajektorie für das autonome Fahrzeug basierend auf der dritten Benutzereingabe zu berechnen, wobei die
Ausgabevorrichtung ferner eingerichtet ist, die weitere Fahrtrajektorie in dem
Kartenausschnitt anzuzeigen, und wobei die Sendevorrichtung eingerichtet ist,
Informationen über die weitere Fahrtrajektorie sowie einen Befehl, sich entlang der weiteren Fahrtrajektorie zu bewegen, an die Steuervorrichtung des autonomen Fahrzeugs zu senden nach Empfang einer vierten Benutzereingabe durch die Eingabevorrichtung, wobei die vierte Benutzereingabe eine Zustimmung des Benutzers zu der weiteren Fahrtrajektorie anzeigt.
PCT/EP2017/076319 2016-10-26 2017-10-16 Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs WO2018077647A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016221106.4 2016-10-26
DE102016221106.4A DE102016221106B4 (de) 2016-10-26 2016-10-26 Verfahren sowie System zur externen Steuerung eines autonomen Fahrzeugs

Publications (1)

Publication Number Publication Date
WO2018077647A1 true WO2018077647A1 (de) 2018-05-03

Family

ID=60202018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/076319 WO2018077647A1 (de) 2016-10-26 2017-10-16 Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs

Country Status (2)

Country Link
DE (1) DE102016221106B4 (de)
WO (1) WO2018077647A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601693A (zh) * 2018-09-06 2021-04-02 大众汽车股份公司 用于监测和规划交通工具的运动的方案
US11072342B2 (en) 2019-02-19 2021-07-27 Toyota Research Institute, Inc. Actively adapting to driving environments based on human interactions
USD985607S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020203901A1 (de) 2020-03-25 2021-09-30 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtungen zum Anpassen einer Einstellung einer Komponente eines Fortbewegungsmittels
DE102020130406A1 (de) 2020-11-18 2022-05-19 Valeo Schalter Und Sensoren Gmbh Verfahren und steuervorrichtung zum steuern eines autonomen fahrzeugs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008036805A1 (en) 2006-09-22 2008-03-27 Jadi, Inc. Autonomous vehicle controller
US20090138151A1 (en) 2007-11-27 2009-05-28 Jadi Inc. Method and system for locating and navigating a target
US20110292079A1 (en) * 2010-05-26 2011-12-01 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
EP2672354A1 (de) * 2011-01-31 2013-12-11 Toyota Jidosha Kabushiki Kaisha Steuerungsvorrichtung für ein fahrzeug
DE102012222972A1 (de) * 2012-12-12 2014-06-12 Robert Bosch Gmbh Verfahren und Einrichtung zur Ermittlung einer Trajektorie eines Fahrmanövers
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
DE102015014614A1 (de) * 2015-11-12 2016-05-12 Daimler Ag Verfahren zur Durchführung einer autonomen Fahrt eines Fahrzeuges
DE102014018108A1 (de) 2014-12-06 2016-06-09 Daimler Ag Verfahren zur Bestimmung eines Fahrmanövers eines Fahrzeuges

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005008874A1 (de) * 2005-02-24 2006-09-07 Daimlerchrysler Ag Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen
DE102015205377A1 (de) * 2015-03-25 2016-09-29 Volkswagen Aktiengesellschaft Ansicht einer Umgebung eines Fahrzeugs
DE102016003308B3 (de) * 2016-03-17 2017-09-21 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008036805A1 (en) 2006-09-22 2008-03-27 Jadi, Inc. Autonomous vehicle controller
US20090138151A1 (en) 2007-11-27 2009-05-28 Jadi Inc. Method and system for locating and navigating a target
US20110292079A1 (en) * 2010-05-26 2011-12-01 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
EP2672354A1 (de) * 2011-01-31 2013-12-11 Toyota Jidosha Kabushiki Kaisha Steuerungsvorrichtung für ein fahrzeug
DE102012222972A1 (de) * 2012-12-12 2014-06-12 Robert Bosch Gmbh Verfahren und Einrichtung zur Ermittlung einer Trajektorie eines Fahrmanövers
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
DE102014018108A1 (de) 2014-12-06 2016-06-09 Daimler Ag Verfahren zur Bestimmung eines Fahrmanövers eines Fahrzeuges
DE102015014614A1 (de) * 2015-11-12 2016-05-12 Daimler Ag Verfahren zur Durchführung einer autonomen Fahrt eines Fahrzeuges

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601693A (zh) * 2018-09-06 2021-04-02 大众汽车股份公司 用于监测和规划交通工具的运动的方案
CN112601693B (zh) * 2018-09-06 2023-04-18 大众汽车股份公司 用于监测和规划交通工具的运动的方案
US11072342B2 (en) 2019-02-19 2021-07-27 Toyota Research Institute, Inc. Actively adapting to driving environments based on human interactions
USD985607S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface

Also Published As

Publication number Publication date
DE102016221106A1 (de) 2018-04-26
DE102016221106B4 (de) 2024-05-16

Similar Documents

Publication Publication Date Title
WO2018077647A1 (de) Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs
EP3256353B1 (de) Verfahren und vorrichtung zum überwachen eines sich in einem autonomen betriebsmodus und auf einem parkplatz befindenden fahrzeugs
EP3472027B1 (de) Verfahren zum betrieb eines kraftfahrzeugs
DE102016116928A1 (de) Formulieren von Leitplänen auf Fahrspurebene
DE102017130936A1 (de) Expertenmodus für Fahrzeuge
DE102018110086A1 (de) Automatisierte routenüberquerung eines fahrzeugs
DE102015007036B4 (de) Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
DE102019201840A1 (de) Fahrzeugsteuerungssystem und steuerverfahren
DE102014224073A1 (de) Server zum Betreiben eines Parkplatzes
EP3224824A1 (de) Verfahren und vorrichtung zum betreiben eines fahrzeugs respektive eines parkplatzes
WO2016134827A1 (de) Verfahren zur verkehrskoordinierung von kraftfahrzeugen in einer parkumgebung
DE102016123880A1 (de) Fahrzeugmodusbestimmung
DE102014221777A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
WO2014029492A1 (de) Verfahren zur steuerung eines autonomen fahrzeugsystems und kraftfahrzeug
DE102014011697A1 (de) Verfahren und Vorrichtung zur Durchführung eines Parkvorganges eines Fahrzeuges in einem Parkhaus
DE112015001150T5 (de) Verfahren, Vorrichtung und System zur Unterstützung von Platooning
DE112016007451T5 (de) Verfahren und vorrichtungen zum gewerblichen betrieb persönlicher autonomer fahrzeuge
DE102014011796A1 (de) Verfahren und Vorrichtung zum Verbringen eines Fahrzeuges in eine Zielposition
DE102015001631A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs in einer Navigationsumgebung und Navigationsumgebung
DE102016212009A1 (de) Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs und autonome Fahreinheit für ein selbstfahrendes Kraftfahrzeug
DE102019122397A1 (de) Autonomes parken in einer innenparkeinrichtung
DE102015213996A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Abholposition aus mehreren von einem Parkplatz umfassten Abholpositionen für ein Fahrzeug
DE102021132218A1 (de) Prädiktive Analytik für Fahrzeuggesundheitszustand
DE102015202482A1 (de) Verfahren zum Betreiben eines Fahrzeugs
DE102019215657A1 (de) Fahrzeugsteuerungsstystem und -verfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17793590

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17793590

Country of ref document: EP

Kind code of ref document: A1