WO2023213587A1 - Verfahren zum ausführen einer teleoperierten fahrfunktion eines zumindest teilweise autonom betriebenen kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ein assistenzsystem - Google Patents

Verfahren zum ausführen einer teleoperierten fahrfunktion eines zumindest teilweise autonom betriebenen kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ein assistenzsystem Download PDF

Info

Publication number
WO2023213587A1
WO2023213587A1 PCT/EP2023/060592 EP2023060592W WO2023213587A1 WO 2023213587 A1 WO2023213587 A1 WO 2023213587A1 EP 2023060592 W EP2023060592 W EP 2023060592W WO 2023213587 A1 WO2023213587 A1 WO 2023213587A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
assistance system
safe speed
teleoperated
driving function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2023/060592
Other languages
English (en)
French (fr)
Inventor
Michael Fischer
David Kudlek
David Middrup
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of WO2023213587A1 publication Critical patent/WO2023213587A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle

Definitions

  • the invention relates to a method for carrying out a teleoperated driving function of an at least partially autonomously operated motor vehicle by means of an assistance system according to the applicable patent claim 1.
  • the invention further relates to a computer program product, a computer-readable storage medium and an assistance system.
  • Teleoperated driving of motor vehicles is already known from the prior art.
  • the driving task can be handed over to the driver or user of the motor vehicle.
  • this driving task can also be handed over to a teleoperator who sits externally to the motor vehicle, who then takes over the driving task of the motor vehicle remotely.
  • a corresponding communication connection between the teleoperator and the motor vehicle has a correspondingly high quality, so that remote control is reliably possible. This quality is characterized in particular by data exchange between the motor vehicle and a teleoperation device for remote control.
  • a method may include accessing subsets of multiple sensor types, aligning subsets of sensor data to a global coordinate system based on the multiple types of sensor data to form aligned sensor data, and generating data sets three-dimensional map data.
  • the method further includes detecting a data change with respect to at least two sets of three-dimensional map data and applying the data change to form updated three-dimensional map data.
  • the change in data may be representative of a change in state of an environment in which the sensor data is collected.
  • the state data of the environment can refer to the presence or absence of an object within it.
  • the object of the present invention is to create a method, a computer program product, a computer-readable storage medium and an assistance system by means of which a reliable teleoperated execution of a driving function can be realized.
  • One aspect of the invention relates to a method for carrying out a teleoperated driving function of an at least partially autonomously operated motor vehicle using an assistance system.
  • a quality of a network connection between a vehicle-internal, first communication device of the assistance system and a vehicle-external, second communication device of the assistance system is determined by means of an electronic computing device of the assistance system.
  • a safe speed of the motor vehicle for teleoperated execution of the driving functions is determined depending on the specific quality using an electronic computing device of the assistance system.
  • the teleoperated driving function is carried out externally to the vehicle by a teleoperator at the safe speed using an input device of the assistance system.
  • the driving function can be considered to include both longitudinal acceleration and lateral acceleration of the motor vehicle.
  • the teleoperator can intervene in a longitudinal acceleration device and/or a lateral acceleration device of the motor vehicle via the input device and thus steer the motor vehicle remotely.
  • the assistance system is therefore designed in particular both as part of the motor vehicle and as part of a device external to the motor vehicle.
  • the first communication device is designed internal to the motor vehicle and the second communication device is, for example, centrally designed, the second communication device being coupled in particular to the input device, so that corresponding driving commands can be transmitted from the second communication device to the first communication device via the input device.
  • the motor vehicle requires a teleoperated driving function, this is carried out remotely via the teleoperator via the input device.
  • the quality of the network connection is now determined, in particular checking whether corresponding driving commands can be reliably transmitted via the input device and whether corresponding sensor data from detection devices of the motor vehicle can be reliably transmitted to the teleoperator. If the quality should now decrease accordingly, a safe speed can be determined, by means of which the motor vehicle can still be controlled via the teleoperator. An unnecessary emergency maneuver, such as stopping on the side of the road, can thus be prevented.
  • the invention thus solves the problem that, in the case of autonomous motor vehicles, for example, the situation can arise in which the autonomous motor vehicle cannot solve every potential situation. In such situations, a teleoperator can now intervene and drive the vehicle remotely. This means that a human teleoperator takes over the remote control of the motor vehicle and, for example, carries out the driving maneuver safely. However, a stable and reliable communication connection is necessary for such remote-controlled teleoperation. It may happen that the corresponding communication connection is not sufficient. In such cases, according to the state of the art, an emergency maneuver will occur and, for example, the motor vehicle will be parked accordingly in order to avoid critical situations.
  • the method according to the invention now provides that the quality of the network connection is determined and, depending on the network connection, a maximum speed for the remote control of the motor vehicle can be determined. This means that the motor vehicle can come to a standstill in the cases in which the communication connection has a correspondingly low quality, can be carried out at, for example, low speed.
  • the quality of the network connection is determined based on a current bandwidth of the network connection and/or based on a current latency of the network connection; for example, the bandwidth can determine how much data can be transmitted from the motor vehicle to the input device and vice versa. What is crucial here is, for example, how much data can be transmitted from how many detection devices in the environment.
  • the latency in turn describes in particular the time that it takes to send corresponding data from the motor vehicle to the input device or vice versa. For example, if the latency time is correspondingly high, it will take correspondingly longer until the corresponding driving commands are transmitted from the input device to the motor vehicle. This latency can now be taken into account and, in particular, the safe speed can be determined on the basis of this. This means that a teleoperated driving function can be carried out reliably.
  • the safe speed of a functional unit in the motor vehicle is specified and/or the safe speed of a teleoperation device of the assistance system, which is operated externally to the vehicle by the teleoperator, is specified.
  • the motor vehicle can have a corresponding electronic computing device, which in turn is given the safe speed, the safe speed then being limited internally in the motor vehicle. If the teleoperator now requests a higher speed, this will be limited within the vehicle and the vehicle will be driven at the maximum speed.
  • the speed can also be limited via the teleoperation device, which is designed externally to the motor vehicle and in particular can have the input device and the second communication device. In particular, the teleoperator cannot carry out the input at the teleoperation device beyond the maximum safe speed. This ensures that the teleoperated driving function can be carried out safely.
  • the safe speed is specified as the maximum adjustable speed.
  • it is safe Speed limiting and cannot be exceeded, for example, or can only be exceeded with appropriate additional safety precautions. This makes it possible to prevent the safe speed from being exceeded, whereby safe maneuvering of the motor vehicle can be carried out using teleoperation.
  • the safe speed is overridden by the teleoperator.
  • the safe speed can also be overridden so that, for example, the motor vehicle can be driven or controlled faster. This means that even in the event of malfunctions, appropriate safe maneuvers can be carried out and, in particular, loss of time can be prevented.
  • the safe speed is additionally determined depending on a detected free space in front of the motor vehicle. For example, a corresponding free space, for example up to an object, can be determined using a detection device in the motor vehicle. If, for example, the free space is correspondingly large, the safe speed can be set correspondingly higher. However, if the free space, i.e. the distance between the motor vehicle and the object, is small, the safe vertigo can be reduced accordingly, whereby teleoperated driving and steering can be reliably implemented without any safety risk.
  • the free space is determined by means of a camera of an assistance system and/or by means of a lidar sensor device of the assistance system and/or by means of a radar sensor device of the assistance system and/or by means of an ultrasonic sensor device of the assistance system.
  • an environment detection can be carried out with the detection devices shown.
  • the data from the camera and/or lidar sensor device and/or radar sensor device and/or ultrasonic sensor device can then be transmitted from the motor vehicle via the first communication device to the second communication device, whereby the teleoperation device can then in turn display corresponding information for the teleoperator.
  • Driving function in an unsafe driving situation during autonomous operation of the Motor vehicle is carried out.
  • the motor vehicle can drive fully autonomously, and as soon as an unsafe driving situation occurs, in particular one that can no longer be assessed by the autonomous motor vehicle, the driving task is again handed over to the teleoperator. This can prevent the motor vehicle from getting into a critical situation.
  • the teleoperated execution of the driving function is carried out during a transfer journey from a first point to a second point in an area surrounding the motor vehicle.
  • a rental car company can transfer the motor vehicle from the rental car center to a renter, in which case the rental car center can then be viewed as the first point and the renter can be viewed as the second point.
  • This can be carried out in particular via teleoperation. This makes it possible for the motor vehicle to be guided from the first point to the second point without an actual driver.
  • a reaction time of the teleoperator and/or a distance to an obstacle in the surroundings of the motor vehicle and/or a potential acceleration of the motor vehicle are taken into account.
  • several parameters can be taken into account to determine a safe speed.
  • a negative acceleration is to be regarded as a potential acceleration, in other words a potential braking of the motor vehicle. This means that appropriately safe values can be specified, thereby preventing critical situations in road traffic.
  • an emergency maneuver is carried out if the quality of the network connection falls below a specified quality value. If the quality value is correspondingly low and, for example, teleoperated driving at low speeds is no longer possible, an emergency maneuver can again be carried out, for example driving the motor vehicle sideways and bringing the motor vehicle to a standstill. This means that even if the network connection is very poor, critical situations in road traffic can still be prevented.
  • the safe speed determined depending on a transmitted type of environmental detection for the teleoperator. If, for example, the data from an ultrasonic sensor device is transmitted poorly, the teleoperator can still drive the motor vehicle at a relatively high speed, for example, since it mainly relies on corresponding camera functions. However, if the camera function fails or is restricted, the correspondingly safe speed can still be reduced. This is purely an example. It is also possible for other detection devices to transmit correspondingly worse values or better values. For example, the teleoperator can set the detection rate and type of environmental detection at which the corresponding reduction in safe speed is carried out.
  • a further aspect of the invention relates to a computer program product with program code means which causes an electronic computing device to carry out a method according to the previous aspect when the program code means are processed by the electronic computing device.
  • the computer program product can also be referred to as a computer program.
  • the invention also relates to a computer-readable storage medium with at least the computer program product.
  • the invention also relates to an assistance system for executing a teleoperated driving function of an at least partially autonomously operated motor vehicle, with at least one first communication device internal to the vehicle, a second communication device external to the vehicle, an electronic computing device and an input device, the assistance system for carrying out a method according to the preceding one Aspect is formed.
  • the procedure is carried out using the assistance system.
  • the electronic computing device has, for example, processors, circuits, in particular integrated circuits, and other electronic components in order to be able to carry out corresponding method steps.
  • Advantageous embodiments of the method are to be viewed as advantageous embodiments of the computer program product, the computer-readable storage medium and the assistance system.
  • the assistance system has relevant features in order to be able to carry out corresponding procedural steps.
  • the only figure shows a schematic side view of an embodiment of an assistance system.
  • the only figure shows a schematic side view of an embodiment of an assistance system 1.
  • the assistance system 1 is designed to carry out a teleoperated driving function 2 of an at least partially autonomously operated motor vehicle 3.
  • the assistance system 1 here has at least one first communication device 4 internal to the vehicle and a second communication device 5 external to the vehicle.
  • the assistance system 1 has at least one electronic computing device 6 and an input device 7.
  • the electronic computing device 6 and the input device 7 are designed as a laptop and are in particular provided in a common function block.
  • the electronic computing device 6, the input device 7 and the second communication device 5 can be provided in a single component and can be referred to, for example, as a teleoperation device 8.
  • a quality of a network connection 9 between the first communication device 4 and the second communication device 5 is determined.
  • a safe speed V of the motor vehicle 3 is determined for the teleoperated execution Driving function 2 depending on the specific quality using the electronic computing device 6 by a teleoperator 10 at the safe speed V using the input device 7.
  • the motor vehicle 3 can in particular be an at least partially autonomously operated motor vehicle 3 or a fully autonomously operated motor vehicle 3.
  • the motor vehicle 3 can have a longitudinal acceleration device and a transverse acceleration device, which can be operated autonomously by the motor vehicle 3.
  • the motor vehicle 3 is transferred from a first point to a second point by the teleoperator 10.
  • the motor vehicle 3 can be transferred to the renter from a rental car station without that a driver must sit directly in the motor vehicle 3, but the teleoperator 10 can therefore carry out the transfer of the motor vehicle 3 centrally.
  • the motor vehicle 3 in particular has at least one environment detection device 11.
  • the environment detection device 11 is shown as representative of, for example, a camera, a lidar sensor device, a radar sensor device or an ultrasonic sensor device.
  • the motor vehicle 3 has a large number of such Environment detection devices 11 can have different constellations.
  • the quality of the network connection 9 is determined based on a current bandwidth of the network connection 9 and/or based on a current latency of the network connection 9.
  • the safe speed V of a functional unit in the motor vehicle 3 is specified.
  • the safe speed V can be regulated or set and limited within the vehicle, and the safe speed V can be prevented from being exceeded.
  • the safe speed V can also be specified for the teleoperation device 8, so that the teleoperator 10 cannot override the safe speed V via the teleoperation device 8. If, for example, the teleoperator 10 determines that the determination of the safe speed V is a malfunction, the teleoperator 10 can still override the safe speed V, for example by carrying out appropriate additional safety steps.
  • the safe speed V is specified as the maximum adjustable speed V for the motor vehicle 3.
  • the safe speed V is determined depending on a detected free space 12 in front of the motor vehicle 3.
  • the free space 12 can be viewed, for example, as a distance from the motor vehicle 3 to an object 13.
  • the free space 12 can then, for example, also be viewed as a function of the type of environment detection device 11.
  • a lidar sensor has a further free space determination option than an ultrasonic sensor.
  • the teleoperator 10 can carry out the teleoperated driving function 2.
  • the network connection 9 should have such a poor quality value, in particular below one Quality threshold value, an autonomous emergency maneuver can be carried out and, for example, the motor vehicle 3 can be brought to a safe standstill.
  • the safe speed V can be determined depending on a transmitted type of environmental detection for the teleoperator 10. For example, if secure transmission of a camera image is no longer possible, the secure speed V can be reduced accordingly. However, if only the transmission of an ultrasonic sensor is reduced, the higher speed V can still be reliably used by the teleoperator 10.
  • the invention is therefore based on the fact that a specific warning time Tw is determined depending on a latency of the network connection 9 Ti, the reaction time of the teleoperator 10 T and an exact time period T s when the motor vehicle 3 comes to a standstill before it affects the object 13 become:
  • a warning distance Sw can also be determined, since the speed V of the motor vehicle 3 and the deceleration a of the motor vehicle 3 are also known.
  • the safe speed V (hereinafter referred to as Vmax in the formula) can be adjusted depending on the free space 12, which is predetermined in the formula by SF, the free space 12 in turn being dependent on the environment detection device 11.
  • Vmax the safe speed V
  • the safe speed V can therefore be determined using the following formula:

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Ausführen einer teleoperierten Fahrfunktion (2) eines zumindest teilweise autonom betriebenen Kraftfahrzeugs (3) mittels eines Assistenzsystems (1), mit den Schritten Bestimmen einer Qualität einer Netzwerkverbindung (9) zwischen einer kraftfahrzeuginternen, ersten Kommunikationseinrichtung (4) des Assistenzsystems (1) und einer kraftfahrzeugexternen, zweiten Kommunikationseinrichtung (5) des Assistenzsystem (1) mittels einer elektronischen Recheneinrichtung (6) des Assistenzsystems (1), Bestimmen einer sicheren Geschwindigkeit (V) des Kraftfahrzeugs (3) für ein teleoperiertes Ausführen der Fahrfunktion (2) in Abhängigkeit von der bestimmten Qualität mittels der elektronischen Recheneinrichtung (6); und Ausführen der teleoperierten Fahrfunktion (2) kraftfahrzeugextern durch einen Teleoperator (10) mit der sicheren Geschwindigkeit (V) mittels einer Eingabeeinrichtung (6) des Assistenzsystems (1). Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem (1).

Description

Verfahren zum Ausführen einer teleoperierten Fahrfunktion eines zumindest teilweise autonom betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie ein Assistenzsystem
Die Erfindung betrifft ein Verfahren zum Ausführen einer teleoperierten Fahrfunktion eines zumindest teilweise autonomen betriebenen Kraftfahrzeugs mittels eines Assistenzsystems gemäß dem geltenden Patentanspruch 1 . Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem.
Aus dem Stand der Technik ist bereits ein teleoperiertes Fahren von Kraftfahrzeugen bekannt. Beispielsweise ist bei autonomen Kraftfahrzeugen bekannt, dass bei einer kritischen Fahrsituation, in welcher das autonome Kraftfahrzeug nicht mehr selbstständig entsprechende Funktionen ausführen kann, eine Übergabe der Fahraufgabe an den Fahrer beziehungsweise Nutzer des Kraftfahrzeugs durchgeführt werden kann. Ferner ist bekannt, dass diese Fahraufgabe auch einem Teleoperator, welcher kraftfahrzeug extern sitzt, entsprechend übergeben werden kann, wobei dieser dann ferngesteuert wiederum die Fahraufgabe des Kraftfahrzeugs übernimmt. Hierbei ist es von entscheidender Bedeutung, dass eine entsprechende Kommunikationsverbindung zwischen dem Teleoperator und dem Kraftfahrzeug eine entsprechende hohe Qualität aufweist, sodass zuverlässig die Fernsteuerung ermöglicht ist. Diese Qualität ist insbesondere geprägt von einem Datenaustausch zwischen dem Kraftfahrzeug und einer Teleoperetionseinrichtung zum Fernsteuern. Ferner ist bereits bekannt, dass in einem solchen Fall, bei welchem beispielsweise die Qualität entsprechend niedrig ist, ein Notmanöver des Kraftfahrzeugs durchgeführt wird. Beispielsweise kann das Kraftfahrzeug sicher an einem Straßenrand autonom gefahren werden, wobei es dann zu einem Stillstand des Kraftfahrzeugs kommt.
Die US 2017/0248963 A1 beschreibt autonome Fahrzeuge und zugehörige mechanische, elektrische und elektronische Hardware, Computersoftware und Systeme sowie drahtgebundene und drahtlose Netzwerkkommunikation zur Bereitstellung von Kartendaten für autonome Fahrzeuge. Insbesondere kann ein Verfahren einen Zugriff auf Teilmengen mehrerer Sensortypen, das Ausrichten von Teilmengen von Sensordaten zu einem globalen Koordinatensystem, basierend auf den mehreren Arten von Sensordaten umfassen, um ausgerichtete Sensordaten zu bilden, und das Erzeugen von Datensätzen dreidimensionaler Kartendaten umfassen. Das Verfahren umfasst ferner das Erkennen einer Datenänderung in Bezug auf mindestens zwei Datensätze der dreidimensionalen Kartendaten und das Anwenden der Datenänderung, um aktualisierte dreidimensionale Kartendaten zu bilden. Die Änderung der Daten kann für eine Zustandsänderung eine Umgebung repräsentativ sein, in der die Sensordaten erfasst werden. Die Zustandsdaten der Umgebung können sich auf das Vorhandensein oder Fehlen eines darin befindlichen Objekts beziehen.
Aufgabe der vorliegenden Erfindung ist es ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem zu schaffen, mittels welchem ein zuverlässiges teleoperiertes Ausführen einer Fahrfunktion realisiert werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Assistenzsystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den unter Ansprüchen angeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Ausführen einer teleoperierten Fahrfunktion eines zumindest teilweise autonom betriebenen Kraftfahrzeugs mittels eines Assistenzsystems. Es wird eine Qualität einer Netzwerkverbindung zwischen einer kraftfahrzeuginternen, ersten Kommunikationseinrichtung des Assistenzsystems und einer kraftfahrzeugexternen, zweiten Kommunikationseinrichtung des Assistenzsystems mittels einer elektronischen Recheneinrichtung des Assistenzsystems bestimmt. Es erfolgt das Bestimmen einer sicheren Geschwindigkeit des Kraftahrzeugs für ein teleoperierten Ausführen der Fahrfunktionen in Abhängigkeit von der bestimmten Qualität mittels einer elektronischen Recheneinrichtung des Assistenzsystems. Die teleoperierte Fahrfunktion wird kraftfahrzeug extern durch einen Teleoperator mit der sicheren Geschwindigkeit mittels einer Eingabeeinrichtung des Assistenzsystems durchgeführt.
Dadurch kann ein sicheres teleoperiertes Steuern beziehungsweise Ausführen der Fahrfunktion mittels des Verfahrens realisiert werden. Insbesondere kann unter der Fahrfunktion sowohl eine Längsbeschleunigung als auch eine Querbeschleunigung des Kraftfahrzeugs angesehen werden. Mit anderen Worten kann der Teleoperator in eine Längsbeschleunigungseinrichtung und/oder eine Querbeschleunigungseinrichtung des Kraftfahrzeugs über die Eingabeeinrichtung eingreifen und somit das Kraftfahrzeug ferngesteuert lenken. Das Assistenzsystem ist somit insbesondere sowohl als Teil des Kraftfahrzeugs als auch als Teil einer kraftfahrzeugexternen Einrichtung ausgebildet. Die erste Kommunikationseinrichtung ist dabei kraftfahrzeugintern ausgebildet und die zweite Kommunikationseinrichtung ist beispielsweise zentral ausgebildet, wobei die zweite Kommunikationseinrichtung insbesondere mit der Eingabeeinrichtung gekoppelt ist, sodass entsprechende Fahrbefehle über die Eingabeeinrichtung von der zweiten Kommunikationseinrichtung an die erste Kommunikationseinrichtung übertragen werden können.
Insbesondere ist somit vorgesehen, sollte beispielsweise das Kraftfahrzeug eine teleoperierte Fahrfunktion benötigen, so wird dies ferngesteuert über den Teleoperator über die Eingabeeinrichtung durchgeführt. Es wird nun die Qualität der Netzwerkverbindung bestimmt, wobei hierbei insbesondere überprüft wird, ob entsprechende Fahrbefehle über die Eingabeeinrichtung zuverlässig übertragen werden können und ob entsprechende Sensordaten von Erfassungseinrichtungen des Kraftfahrzeugs an den Teleoperator zuverlässig übermittelt werden können. Sollte nun die Qualität entsprechend abnehmen, so kann eine sichere Geschwindigkeit bestimmt werden, mittels welcher das Kraftfahrzeug dennoch noch über den Teleoperator gesteuert werden kann. Ein unnötiges Notmanöver, beispielsweise ein Stehenbleiben am Straßenrand, kann somit verhindert werden.
Insbesondere löst somit die Erfindung das Problem, dass es bei beispielsweise autonomen Kraftfahrzeugen zu der Situation kommen kann, dass das autonome Kraftfahrzeug nicht jede potentielle Situation lösen kann. In solchen Situationen kann nun ein Teleoperator eingreifen und ferngesteuert das Fahrzeug führen. Dies bedeutet, dass ein menschlicher Teleoperator die Fernsteuerung des Kraftfahrzeugs übernimmt und beispielsweise das Fahrmanöver sicher durchführt. Für eine solche ferngesteuerte Teleoperation ist jedoch eine stabile und zuverlässige Kommunikationsverbindung notwendig. Hierbei kann es vorkommen, dass die entsprechende Kommunikationsverbindung nicht ausreichend ist. In solchen Fällen wird es gemäß dem Stand der Technik zu einem Notmanöver kommen und beispielsweise das Kraftfahrzeug entsprechend abgestellt werden, um kritische Situationen zu vermeiden. Das erfindungsgemäße Verfahren sieht jedoch nun vor, dass die Qualität der Netzwerkverbindung bestimmt wird und in Abhängigkeit von der Netzwerkverbindung wiederum eine maximale Geschwindigkeit für die Fernsteuerung des Kraftfahrzeugs bestimmt werden kann. Somit kann ein Stillstand des Kraftfahrzeugs in den Fällen, in welchen die Kommunikationsverbindung eine entsprechend niedrige Qualität aufweist, mit beispielsweise niedriger Geschwindigkeit durchgeführt werden.
Gemäß einer vorteilhaften Ausgestaltungsform wird die Qualität der Netzwerkverbindung auf Basis einer aktuellen Bandbreite der Netzwerkverbindung und/oder auf Basis einer aktuellen Latenzzeit der Netzwerkverbindung bestimmt, beispielsweise kann die Bandbreite bestimmen, wie viele Daten von dem Kraftfahrzeug an die Eingabeeinrichtung und umgekehrt übertragen werden können. Hierbei ist es beispielsweise entscheidend, wie viele Daten von wie vielen Erfassungseinrichtungen der Umgebung beispielsweise übertragen werden können. Die Latenzzeit wiederum beschreibt insbesondere die Zeit, die es benötigt, um entsprechende Daten von dem Kraftfahrzeug an die Eingabeeinrichtung beziehungsweise umgekehrt zu senden. Sollte beispielsweise die Latenzzeit entsprechend hoch sein, so dauert es entsprechend länger, bis entsprechende Fahrbefehle von der Eingabeeinrichtung an das Kraftfahrzeug übermittelt werden. Diese Latenzzeit kann nun berücksichtigt werden und insbesondere auf Basis dessen die sichere Geschwindigkeit bestimmt werden. Somit kann zuverlässig eine teleoperierte Fahrfunktion durchgeführt werden.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn die sichere Geschwindigkeit einer Funktionseinheit im Kraftfahrzeug vorgegeben wird und/oder die sichere Geschwindigkeit einer Teleoperationseinrichtung des Assistenzsystems, welche kraftfahrzeugextern durch den Teleoperator bedient wird, vorgegeben wird. Beispielsweise kann das Kraftfahrzeug eine entsprechende elektronische Recheneinrichtung aufweisen, welcher wiederum die sichere Geschwindigkeit vorgegeben wird, wobei dann wiederum die sichere Geschwindigkeit kraftfahrzeugintern begrenzt wird. Sollte nun der Teleoperator eine höhere Geschwindigkeit anfordern, so wird dies kraftfahrzeugintern begrenzt und das Kraftfahrzeug mit der maximalen Geschwindigkeit geführt. Alternativ oder ergänzend kann auch über die Teleoperationseinrichtung, welche extern zum Kraftfahrzeug ausgebildete ist, und insbesondere die Eingabeeinrichtung sowie die zweite Kommunikationseinrichtung aufweisen kann, die Geschwindigkeit begrenzt. Insbesondere kann es somit der Teleoperator bereits nicht über die maximale sichere Geschwindigkeit an der Teleoperationseinrichtung hinaus die Eingabe durchführen. Somit kann sichergestellt werden, dass sicher die teleoperierte Fahrfunktion durchgeführt werden kann.
In einer weiteren vorteilhaften Ausgestaltungsform wird die sichere Geschwindigkeit als maximal einstellbare Geschwindigkeit vorgegeben. Insbesondere ist somit die sichere Geschwindigkeit begrenzend und kann beispielsweise nicht überschritten werden beziehungsweise nur über entsprechende zusätzliche Sicherheitsvorkehrungen, überschritten werden. Somit kann verhindert werden, dass die sichere Geschwindigkeit überschritten wird, wodurch ein sicheres Manövrieren des Kraftfahrzeugs teleoperiert durchgeführt werden kann.
Weiterhin vorteilhaft ist, wenn die sichere Geschwindigkeit durch den Teleoperator übersteuert wird. Somit kann, sollte beispielsweise der Teleoperator entsprechende Fehlfunktionen feststellen, die sichere Geschwindigkeit auch übersteuert werden, sodass beispielsweise das Kraftfahrzeug schneller gefahren beziehungsweise gesteuert werden kann. Somit können auch bei Fehlfunktionen entsprechende sichere Manöver durchgeführt werden, und insbesondere ein Zeitverlust verhindert werden.
In einer weiteren vorteilhaften Ausgestaltungsform wird die sichere Geschwindigkeit zusätzlich in Abhängigkeit von einem erfassten Freiraum vor dem Kraftfahrzeug bestimmt. Beispielsweise kann mittels einer Erfassungseinrichtung im Kraftfahrzeug ein entsprechender Freiraum, beispielsweise bis zu einem Objekt, bestimmt werden. Sollte beispielsweise der Freiraum entsprechend groß sein, so kann die sichere Geschwindigkeit entsprechend höher angesetzt werden. Sollte jedoch der Freiraum, also der Abstand zwischen Kraftfahrzeug und dem Objekt, niedrig sein, so kann die sichere Geschwindelt entsprechend heruntergesetzt werden, wodurch zuverlässig ein teleoperiertes Fahren und Steuern ohne Sicherheitsrisiko realisiert werden kann.
Ebenfalls vorteilhaft ist, wenn der Freiraum mittels einer Kamera eines Assistenzsystems und/oder mittels einer Lidarsensoreinrichtung des Assistenzsystems und/oder mittels einer Radarsensoreinrichtung des Assistenzsystems und/oder mittels einer Ultraschallsensoreinrichtung des Assistenzsystems bestimmt wird. Ferner kann eine Umgebungserfassung mit den dargestellten Erfassungseinrichtungen durchgeführt werden. Insbesondere können dann wiederum die Daten der Kamera und/oder Lidarsensoreinrichtung und/oder Radarsensoreinrichtung und/oder Ultraschallsensoreinrichtung vom Kraftfahrzeug über die erste Kommunikationseinrichtung an die zweite Kommunikationseinrichtung übertragen werden, wobei die Teleoperationseinrichtung dann wiederum entsprechende Informationen für den Teleoperator darstellen kann.
Ferner hat es sich als vorteilhaft erwiesen, wenn das teleoperierte Ausführen der
Fahrfunktion bei einer unsicheren Fahrsituation beim autonomen Betrieb des Kraftfahrzeugs durchgeführt wird. Beispielsweise kann das Kraftfahrzeug voll autonom fahren, und sobald eine unsichere Fahrsituation, insbesondere eine solche, welche durch das autonome Kraftfahrzeug nicht mehr bewertbar ist, auftreten, so wird die Fahraufgabe wiederum an den Teleoperator übergeben. Somit kann verhindert werden, dass das Kraftfahrzeug in eine kritische Situation gelangt.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird das teleoperierte Ausführen der Fahrfunktion bei einer Überführungsfahrt von einem ersten Punkt zu einem zweiten Punkt in einer Umgebung des Kraftfahrzeugs durchgeführt. Beispielsweise kann von einer Mietwagenfirma das Kraftfahrzeug von dem Mietwagenzentrum zu einem Mieter überführt werden, wobei dann wiederum das Mietwagenzentrum als erster Punkt angesehen werden kann und der Mieter als zweiter Punkt angesehen werden kann. Dies kann insbesondere teleoperiert durchgeführt werden. Somit ist es ermöglicht, dass ohne einen eigentlichen Fahrer das Kraftfahrzeug vom ersten Punkt zum zweiten Punkt geführt werden kann.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform werden beim Bestimmen der sicheren Geschwindigkeit eine Reaktionszeit des Teleoperators und/oder ein Abstand zu einem Hindernis in einer Umgebung des Kraftfahrzeugs und/oder eine potentielle Beschleunigung des Kraftfahrzeugs berücksichtigt. Insbesondere können somit mehrere Parameter berücksichtigt werden, um eine sichere Geschwindigkeit zu bestimmen. Als potentielle Beschleunigung ist insbesondere eine negative Beschleunigung anzusehen, mit anderen Worten eine potentielle Bremsung des Kraftfahrzeugs. Somit können entsprechend sichere Werte vorgegeben werden wodurch kritische Situationen im Straßenverkehr verhindert werden.
Ebenfalls vorteilhaft ist, wenn bei einem Unterschreiten eines vorgegeben Qualitätswert für die Qualität der Netzwerkverbindung ein Notmanöver durchgeführt wird. Sollte der Qualitätswert entsprechend niedrig sein, und beispielsweise auch ein teleoperiertes Fahren mit niedrigen Geschwindigkeiten nicht mehr möglich sein, so kann wiederum ein Notmanöver durchgeführt werden, beispielsweise das seitliche Heranfahren des Kraftfahrzeugs und das zum Stillstand bringen des Kraftfahrzeuges. Somit können auch bei einer sehr schlechten Netzwerkverbindung weiterhin kritische Situationen im Straßenverkehr verhindert werden.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird zusätzlich in Abhängigkeit von einer übertragenen Art einer über Umgebungserfassung für den Teleoperator die sichere Geschwindigkeit bestimmt. Sollten beispielsweise die Daten einer Ultraschallsensoreinrichtung entsprechend schlecht übertragen werden, so kann der Teleoperator beispielsweise dennoch mit einer relativ hohen Geschwindigkeit das Kraftfahrzeug fahren, da sich dieser beispielsweise hauptsächlich auf entsprechende Kamerafunktionen verlässt. Sollte jedoch die Kamerafunktion ausfallen oder eingeschränkt sein, so kann die entsprechend sichere Geschwindigkeit weiterhin reduziert werden. Dieses ist rein beispielshaft. Es ist auch möglich, dass andere Erfassungseinrichtungen entsprechend schlechtere Werte beziehungsweise bessere Werte übertragen. Beispielsweise kann der Teleoperator selbst einstellen, ab welcher Erfassungsrate und von welcher Art der Umgebungserfassung die entsprechende Reduzierung der sicheren Geschwindigkeit durchgeführt wird.
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlasst, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Das Computerprogrammprodukt kann auch als Computerprogramm bezeichnet werden.
Ferner betrifft die Erfindung auch ein computerlesbares Speichermedium mit zumindest dem Computerprogrammprodukt.
Weiterhin betrifft die Erfindung auch ein Assistenzsystem zum Ausführen einer teleoperierten Fahrfunktion eines zumindest teilweise autonom betriebenen Kraftfahrzeugs, mit zumindest einer kraftfahrzeuginternen, ersten Kommunikationseinrichtung, einer kraftfahrzeugexternen, zweiten Kommunikationseinrichtung, einer elektronischen Recheneinrichtung und einer Eingabeeinrichtung, wobei das Assistenzsystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Assistenzsystems durchgeführt.
Die elektronische Recheneinrichtung weist beispielsweise Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauteile auf, um entsprechende Verfahrensschritte durchführen zu können. Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums sowie das Assistenzsystems anzusehen. Das Assistenzsystem weist insbesondere dazu gegenständliche Merkmale auf, um entsprechende Verfahrensschritte durchführen zu können.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Dabei zeigt die einzige Figur eine schematische Seitenansicht einer Ausführungsform eines Assistenzsystems.
In den Fig. sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Die einzige Fig. zeigt eine schematische Seitenansicht einer Ausführungsform eines Assistenzsystems 1 . Das Assistenzsystems 1 ist zum Ausführen einer teleoperierten Fahrfunktion 2 eines zumindest teilweise autonom betriebenen Kraftfahrzeugs 3 ausgebildet. Das Assistenzsystems 1 weist hier zumindest eine kraftfahrzeuginterne, erste Kommunikationseinrichtung 4 sowie eine kraftfahrzeugexterne, zweite Kommunikationseinrichtung 5 auf. Ferner weist das Assistenzsystem 1 zumindest eine elektronische Recheneinrichtung 6 sowie eine Eingabeeinrichtung 7 auf. Im folgenden Ausführungsbeispiel ist die elektronische Recheneinrichtung 6 und die Eingabeeinrichtung 7 als Laptop ausgebildet und insbesondere in einem gemeinsamen Funktionsblock bereitgestellt. Insbesondere kann die elektronische Recheneinrichtung 6, die Eingabeeinrichtung 7 sowie die zweite Kommunikationseinrichtung 5 in einem einzigen Bauteil bereitgestellt werde, und beispielsweise als Teleoperationseinrichtung 8 bezeichnet werden.
Beim Verfahren zum Ausführen einer teleoperierten Fahrfunktion 2 des zumindest teilweise autonom betriebenen Kraftfahrzeugs 3 erfolgt eine Bestimmung einer Qualität einer Netzwerkverbindung 9 zwischen der ersten Kommunikationseinrichtung 4 und der zweiten Kommunikationseinrichtung 5. Es erfolgt ein Bestimmen einer sicheren Geschwindigkeit V des Kraftfahrzeugs 3 für das teleoperierte Ausführen der Fahrfunktion 2 in Abhängigkeit von der bestimmten Qualität mittels der elektronischen Recheneinrichtung 6 durch einen Teleoperator 10 mit der sicheren Geschwindigkeit V mittels der Eingabeeinrichtung 7.
Bei dem Kraftfahrzeug 3 kann es sich insbesondere um ein zumindest teilweise autonom betriebenes Kraftfahrzeug 3 beziehungsweise voll autonom betriebenes Kraftfahrzeug 3 handeln. Beispielsweise kann das Kraftfahrzeug 3 hierzu eine Längsbeschleunigungseinrichtung sowie eine Querbeschleunigungseinrichtung aufweisen, welche autonom durch das Kraftfahrzeug 3 betrieben werden kann.
Beispielsweise in einer kritischen Situation, in welcher kein autonomes Fahren möglich ist, kann dann wiederrum vorgesehen sein, dass der Teleoperator 10 die teleoperierte Fahrfunktion 2 übernimmt. Alternativ kann vorgesehen sein, dass beispielsweise das Kraftfahrzeug 3 durch den Teleoperator 10 von einem ersten Punkt zu einem zweiten Punkt überführt wird, beispielsweise sollte das Kraftfahrzeug 3 als Mietwagen ausgebildet sein, so kann von einer Mietwagenstation das Kraftfahrzeug 3 an den Mieter überführt werden, ohne dass direkt ein Fahrer im Kraftfahrzeug 3 sitzen muss, sondern der Teleoperator 10 kann somit zentral das Überführen des Kraftfahrzeugs 3 durchführen.
Das Kraftfahrzeug 3 weist insbesondere zumindest eine Umgebungserfassungseinrichtung 11 auf. Die Umgebungserfassungseinrichtung 11 ist dabei stellvertretend für beispielsweise eine Kamera, eine Lidarsensoreinrichtung, eine Radarsensoreinrichtung oder eine Ultraschallsensoreinrichtung dargestellt. Insbesondere kann vorgesehen sein, dass das Kraftfahrzeug 3 eine Vielzahl von solcher Umgebungserfassungseinrichtungen 11 in unterschiedlichen Konstellationen aufweisen kann.
Insbesondere ist vorgesehen, dass die Qualität der Netzwerkverbindung 9 auf Basis einer aktuellen Bandbreite der Netzwerkverbindung 9 und/oder auf Basis einer aktuellen Latenzzeit der Netzwerkverbindung 9 bestimmt wird.
Weiterhin kann vorgesehen sein, dass die sichere Geschwindigkeit V einer Funktionseinheit im Kraftfahrzeug 3 vorgegeben wird. Beispielsweise kann somit kraftfahrzeugintern die sichere Geschwindigkeit V geregelt beziehungsweise eingestellt und begrenzt werden, und verhindert werden, dass die sichere Geschwindigkeit V überschritten wird. Alternativ oder ergänzend kann die sichere Geschwindigkeit V auch der Teleoperationseinrichtung 8 vorgegeben werden, sodass der Teleoperator 10 die sichere Geschwindigkeit V nicht über die Teleoperationseinrichtung 8 übersteuern kann. Sollte der Teleoperator 10 beispielsweise feststellen, dass es sich bei dem Bestimmen der sicheren Geschwindigkeit V um eine Fehlfunktion handelt, so kann der Teleoperator 10 dennoch, beispielsweise unter Durchführung entsprechender zusätzlicher Sicherheitsschritte, die sichere Geschwindigkeit V übersteuern.
Insbesondere ist vorgesehen, dass die sichere Geschwindigkeit V als maximal einstellbare Geschwindigkeit V für das Kraftfahrzeug 3 vorgegeben wird. Zusätzlich kann vorgesehen sein, dass die sichere Geschwindigkeit V in Abhängigkeit von einem erfassten Freiraum 12 vor dem Kraftfahrzeug 3 bestimmt wird. Insbesondere kann der Freiraum 12 beispielsweise als Abstand vom Kraftfahrzeug 3 zu einem Objekt 13 angesehen werden. Der Freiraum 12 kann beispielsweise dann auch in Abhängigkeit von der Art der Umgebungserfassungseinrichtung 11 angesehen werden. Beispielsweise weist ein Lidarsensor eine weitere Freiraumbestimmungsmöglichkeit auf, als ein Ultraschallsensor.
Sollte beispielsweise das Kraftfahrzeug 3, insbesondere bei einem autonomen Fährbetrieb des Kraftfahrzeugs 3, sich in eine kritische Fahrsituation begeben, bei welchem das Kraftfahrzeug 3 nicht mehr autonom gesteuert werden kann, so kann der Teleoperator 10 die teleoperierte Fahrunktion 2 durchführen.
Es kann weiterhin vorgesehen sein, sollte die Netzwerkverbindung 9 einen derart schlechten Qualitätswert aufweisen, insbesondere unterhalb eines Qualitätsschwellenwerts, so kann ein autonomes Notmanöver durchgeführt werden, und beispielsweise das Kraftfahrzeug 3 zum sicheren Stillstand gebracht werden.
Es kann ferner vorgesehen sein, dass beim Bestimmen der sicheren Geschwindigkeit V eine Reaktionszeit des Teleoperators 10 und/oder Abstand zu einem Hindernis, insbesondere dem Objekt 13, in einer Umgebung 14 des Kraftfahrzeugs 3 und/oder eine potentielle Beschleunigung, insbesondere eine potentielle Verzögerung des Kraftfahrzeugs 3, berücksichtigt werden. Zusätzlich kann in Abhängigkeit von einer übertragenen Art einer Umgebungserfassung für den Teleoperator 10 die sichere Geschwindigkeit V bestimmt werden. Beispielsweise, sollte ein sicheres Übertragen eines Kamerabildes nicht mehr möglich sein, so kann die sichere Geschwindigkeit V entsprechend reduziert werden. Sollte jedoch lediglich die Übertragung eines Ultraschallsensors reduziert sein, so kann dennoch zuverlässig die höhere Geschwindigkeit V durch den Teleoperator 10 genutzt werden.
Insbesondere basiert die Erfindung somit auf dem Fakt, dass eine spezifische Warnzeit Tw in Abhängigkeit einer Latenzzeit der Netzwerkverbindung 9 Ti, der Reaktionszeit des Teleoperators 10 T und einer exakten Zeitspanne Ts, wann das Kraftfahrzeug 3 zum Stilstand kommt bevor es das Objekt 13 betrifft bestimmt werden:
TW = TI + TR +TS
Anstatt der Warnzeit Tw kann auch eine Warndistanz Sw bestimmt werden, da die Geschwindigkeit V des Kraftfahrzeugs 3 und die Verzögerung a des Kraftfahrzeugs 3 ebenfalls bekannt sind.
Sw = V * Ti + V * TR + (V2 / 2*a)
Insbesondere, solange der entsprechende Freiraum 12 über die gesamte Distanz Sw garantiert werden kann, muss keine Reduzierung der Geschwindigkeit V vorgenommen werden. Andererseits, kann die sichere Geschwindigkeit V (nachfolgend in der Formel als Vmax bezeichnet) angepasst werden in Abhängigkeit von dem Freiraum 12, welcher in der Formel durch SF vorgegeben ist, wobei der Freiraum 12 wiederum abhängig von der Umgebungserfassungseinrichtung 11 ist. Der längste mögliche Pfad SF ist somit die längste gesicherte Abschätzung SE des individuellen Sensorsystems, wie zum Beispiel des Lidarsensors, Ultraschallsensors der Kamera des Teleoperators 10: SF = Max (Si, S2, ■■■ Sn)
Die sichere Geschwindigkeit V kann somit mittels der nachfolgenden Formel bestimmt werden:
Vmax
Figure imgf000014_0001

Claims

Patentansprüche
1 . Verfahren zum Ausführen einer teleoperierten Fahrfunktion (2) eines zumindest teilweise autonom betriebenen Kraftfahrzeugs (3) mittels eines Assistenzsystems (1), mit den Schritten:
- Bestimmen einer Qualität einer Netzwerkverbindung (9) zwischen einer kraftfahrzeuginternen, ersten Kommunikationseinrichtung (4) des Assistenzsystems (1) und einer kraftfahrzeugexternen, zweiten Kommunikationseinrichtung (5) des Assistenzsystem (1 ) mittels einer elektronischen Recheneinrichtung (6) des Assistenzsystems (1 );
- Bestimmen einer sicheren Geschwindigkeit (V) des Kraftfahrzeugs (3) für ein teleoperiertes Ausführen der Fahrfunktion (2) in Abhängigkeit von der bestimmten Qualität mittels der elektronischen Recheneinrichtung (6); und
- Ausführen der teleoperierten Fahrfunktion (2) kraftfahrzeug extern durch einen Teleoperator (10) mit der sicheren Geschwindigkeit (V) mittels einer Eingabeeinrichtung (6) des Assistenzsystems (1 ).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Qualität der Netzwerkverbindung (9) auf Basis einer aktuellen Bandbreite der Netzwerkverbindung (9) und/oder auf Basis einer aktuellen Latenzzeit der Netzwerkverbindung (9) bestimmt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die sichere Geschwindigkeit (V) einer Funktionseinheit im Kraftfahrzeug (3) vorgegeben wird und/oder die sichere Geschwindigkeit (V) einer Teleoperationseinrichtung (8) des Assistenzsystems (1), welche kraftfahrzeugextern durch den Teleoperator (10) bedient wird, vorgegeben wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die sichere Geschwindigkeit (V) als maximal einstellbare Geschwindigkeit (V) vorgegeben wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die sichere Geschwindigkeit (V) durch den Teleoperator (10) übersteuert wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die sichere Geschwindigkeit (V) zusätzlich in Abhängigkeit von einem erfassten Freiraum (12) vor dem Kraftfahrzeug (3) bestimmt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Freiraum (12) mittels einer Kamera des Assistenzsystems (1) und/oder mittels einer Lidarsensoreinrichtung des Assistenzsystems (1 ) und/oder mittels einer Radarsensoreinrichtung des Assistenzsystems (1 ) und/oder mittels einer Ultraschallsensoreinrichtung des Assistenzsystems (1 ) bestimmt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das teleoperierte Ausführen der Fahrfunktion (2) bei einer unsicheren Fahrsituation bei einem autonomen Betrieb des Kraftfahrzeugs (3) durchgeführt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das teleoperierte Ausführen der Fahrfunktion (2) bei einer Überführungsfahrt von einem ersten Punkt zu einem zweiten Punkt in einer Umgebung (14) des Kraftfahrzeugs (3) durchgeführt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Bestimmen der sicheren Geschwindigkeit (V) eine Reaktionszeit des Teleoperators (10) und/oder ein Abstand zu einem Hindernis in einer Umgebung (14) des Kraftfahrzeugs (3) und/oder eine potentielle Beschleunigung des Kraftfahrzeugs (3) berücksichtigt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einem Unterschreiten eines vergebenen Qualitätswerts für die Qualität der Netzwerkverbindung (9) ein Notmanöver durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich in Abhängigkeit von einer übertragenen Art einer Umgebungserfassung für den Teleoperator (10) die sichere Geschwindigkeit (V) bestimmt wird. Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung (6) dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung (6) abgearbeitet werden, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen. Computerlesbares Speichermedium mit zumindest einem Computerprogrammprodukt nach Anspruch 13. Assistenzsystem (1 ) zum Ausführen einer teleoperierten Fahrfunktion (2) eines zumindest teilweise autonom betriebenen Kraftfahrzeugs (3), mit zumindest einer kraftfahrzeuginternen, ersten Kommunikationseinrichtung (4), einer kraftfahrzeugexternen, zweiten Kommunikationseinrichtung (5), einer elektronischen Recheneinrichtung (6) und einer Eingabeeinrichtung (7), wobei das Assistenzsystem (1 ) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.
PCT/EP2023/060592 2022-05-02 2023-04-24 Verfahren zum ausführen einer teleoperierten fahrfunktion eines zumindest teilweise autonom betriebenen kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ein assistenzsystem Ceased WO2023213587A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022110655.1 2022-05-02
DE102022110655.1A DE102022110655A1 (de) 2022-05-02 2022-05-02 Verfahren zum Ausführen einer teleoperierten Fahrfunktion eines zumindest teilweise autonom betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie ein Assistenzsystem

Publications (1)

Publication Number Publication Date
WO2023213587A1 true WO2023213587A1 (de) 2023-11-09

Family

ID=86329549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/060592 Ceased WO2023213587A1 (de) 2022-05-02 2023-04-24 Verfahren zum ausführen einer teleoperierten fahrfunktion eines zumindest teilweise autonom betriebenen kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ein assistenzsystem

Country Status (2)

Country Link
DE (1) DE102022110655A1 (de)
WO (1) WO2023213587A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024100015A1 (de) * 2024-01-02 2025-07-03 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anpassen von Fahrdynamikparametern für ein fernsteuerbares Fahrzeug und Fernsteuerungssystem
DE102024100012A1 (de) 2024-01-02 2025-07-03 Valeo Schalter Und Sensoren Gmbh Verfahren für einen teleoperierten Fahrbetrieb eines zumindest teilweise automatisiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Fahrunterstützungssystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170248963A1 (en) 2015-11-04 2017-08-31 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US20190354111A1 (en) * 2018-05-16 2019-11-21 Direct Current Capital LLC Method for dynamically querying a remote operator for assistance
US20200333778A1 (en) * 2017-11-30 2020-10-22 Marc Lambert System for remotely driving a driverless vehicle
US20210294319A1 (en) * 2020-03-20 2021-09-23 Volkswagen Aktiengesellschaft Method, computer program, apparatus, vehicle and network component for determining a speed limit for a tele-operated vehicle
DE102020113933A1 (de) * 2020-05-25 2021-11-25 Daimler Ag Verfahren zur Fernsteuerung eines zumindest teilweise autonom betriebenen Kraftfahrzeugs durch einen Operator, sowie Unterstützungssystem

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10066233B4 (de) 2000-11-18 2013-10-24 Deere & Company Kombination aus Erntegutabtransportfahrzeug und landwirtschaftlicher Maschine
DE102019214995A1 (de) 2019-09-30 2021-04-01 Robert Bosch Gmbh Verfahren zur Überprüfung einer Verbindungsqualität
DE102019127245A1 (de) 2019-10-10 2021-04-15 Bayerische Motoren Werke Aktiengesellschaft Fahrsystem und Verfahren zum zumindest teilweise automatisierten Fahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170248963A1 (en) 2015-11-04 2017-08-31 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US20200333778A1 (en) * 2017-11-30 2020-10-22 Marc Lambert System for remotely driving a driverless vehicle
US20190354111A1 (en) * 2018-05-16 2019-11-21 Direct Current Capital LLC Method for dynamically querying a remote operator for assistance
US20210294319A1 (en) * 2020-03-20 2021-09-23 Volkswagen Aktiengesellschaft Method, computer program, apparatus, vehicle and network component for determining a speed limit for a tele-operated vehicle
DE102020113933A1 (de) * 2020-05-25 2021-11-25 Daimler Ag Verfahren zur Fernsteuerung eines zumindest teilweise autonom betriebenen Kraftfahrzeugs durch einen Operator, sowie Unterstützungssystem

Also Published As

Publication number Publication date
DE102022110655A1 (de) 2023-11-02

Similar Documents

Publication Publication Date Title
EP3948466B1 (de) Verfahren und vorrichtung zum teleoperierten fahren eines fahrzeuges
DE102019128555A1 (de) Minderung einer intermittierenden verzögerung für ferngesteuerten fahrzeugvorgang
DE102018118568A1 (de) Redundante aktive steuerungssystemkoordination
WO2020015923A1 (de) Verfahren zum betreiben eines autonomen fahrzeugs und autonomes fahrzeug
DE102014201844A1 (de) Aktive Anhänger-Rückfahrassistenz mit Spurbreiten-HMI
EP1016572A2 (de) Vorrichtung und Verfahren zur Stabilisierung eines aus einem Zugfahrzeug und einem Anhänger bzw. Auflieger bestehenden Fahrzeuggespannes
DE102019125712A1 (de) Schnittstellen für fernbedienbare anhängermanöverhilfe
WO2021175631A1 (de) Verfahren zum betreiben eines fahrzeugs, parkassistenzsystem und fahrzeug
DE102017220327A1 (de) Verfahren zum Prüfen wenigstens einer Fahrzeugkomponente eines Fahrzeugs
DE102016121474A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit Berücksichtigung eines Gefahrenpotentials bei einer Übergabe an einen Fahrer, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102022110655A1 (de) Verfahren zum Ausführen einer teleoperierten Fahrfunktion eines zumindest teilweise autonom betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie ein Assistenzsystem
DE102017203328A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102021101225A1 (de) Autonomes Fahrzeug und Verfahren zu dessen Betrieb
WO2021239466A1 (de) Verfahren zur fernsteuerung eines zumindest teilweise autonom betriebenen kraftfahrzeugs durch einen operator, sowie unterstützungssystem
DE102017214569B4 (de) Verfahren zum Betreiben eines Kraftfahrzeugs, insbesondere eines Kraftwagens
DE102004054854A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Bewertungssignals
WO2024052402A1 (de) Verfahren zum ferngesteuerten durchführen eines fahrmanövers mit trajektorienanzeige für einen fernsteuerer, sowie elektronisches fernsteuerungssystem
DE102023102024A1 (de) Fahrtroutenerzeugungsvorrichtung, Fahrzeugsteuerung und computerlesbares Medium, das ein Fahrtroutenerzeugungsprogramm speichert
WO2023227300A1 (de) Anpassungsgerät zur ermöglichung des automatisierten betriebes eines fahrzeuges durch umrüstung
DE102020103905A1 (de) Verfahren zum ferngesteuerten Betreiben eines Ziel-Kraftfahrzeugs, Steuereinrichtung, und Controller-Kraftfahrzeug
EP4163133A1 (de) Verfahren zum unterstützen während eines ankoppelvorgangs mit einem anhänger, recheneinrichtung sowie assistenzsystem für ein fahrzeug
DE102021127063A1 (de) Vorrichtung und Verfahren zum manuellen Fernsteuern eines Fahrzeugs
DE102020107814A1 (de) Verfahren und Fahrsystem zum Bewirken eines Nothalts bei einer Tunnelsituation
DE102022124223B4 (de) Verfahren zur adaptiven überlagerung von fahrer- und automatisierten lenkbefehlen bei externer gefährdung
AT525388B1 (de) Verfahren und Vorrichtung zur Fahrunterstützung eines zumindest teilautomatisiert geführten Fahrzeugs in einer Infrastruktur

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23721876

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23721876

Country of ref document: EP

Kind code of ref document: A1