WO2023280554A1 - Teleoperator workstation - Google Patents

Teleoperator workstation Download PDF

Info

Publication number
WO2023280554A1
WO2023280554A1 PCT/EP2022/066655 EP2022066655W WO2023280554A1 WO 2023280554 A1 WO2023280554 A1 WO 2023280554A1 EP 2022066655 W EP2022066655 W EP 2022066655W WO 2023280554 A1 WO2023280554 A1 WO 2023280554A1
Authority
WO
WIPO (PCT)
Prior art keywords
teleoperator
workstation
information
motor vehicle
area
Prior art date
Application number
PCT/EP2022/066655
Other languages
German (de)
French (fr)
Inventor
Gerhard Graf
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2023280554A1 publication Critical patent/WO2023280554A1/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Definitions

  • the present invention relates to a teleoperator workstation for a teleoperated motor vehicle.
  • Remote-controlled or teleoperated motor vehicles depend on the understanding of a driving situation by a teleoperator or operator while he is interacting with the system.
  • the operator should maintain a high level of situational awareness, i.e. the awareness that the operator has of the changes in the environment, taking into account the current and future actions of the teleoperated motor vehicle.
  • suitable user interfaces are designed based on the needs of the operator in order to make it easier for the operator to understand and deal with the remote driving situation.
  • US Pat. No. 1,0606,259 B2 shows a schematic perspective view of a generic teleoperation system interface or a generic teleoperator workstation.
  • the teleoperations system interface comprises three display units that are set up to provide a teleoperator with information relating to operation of one or more vehicles in a fleet.
  • the display units are configured to display information related to communication signals received from the vehicles, information related to a road network and/or additional information to enable and facilitate control of the vehicles by the teleoperator.
  • the display units are configured to display different information related to one or more of the vehicles. Such information can be presented as animations or pictorial representations, coloring of sensor data, abstractions of sensor data (e.g.
  • the teleoperations system interface shown in US 10606259 B2 includes a teleoperator input device that is set up in such a way that the teleoperator can provide information to one of the vehicles or to several of the vehicles, e.g. in the form of teleoperations signals, which drive the vehicle or vehicles.
  • the teleoperator input device may include one or more touch-sensitive screens, a stylus, a mouse, a rotary knob, a keypad, and/or a gesture input system configured to translate gestures performed by the teleoperator into input commands for the teleoperator interface.
  • the input device may include a split screen having different touch-sensitive areas that the teleoperator can use to provide different types of information to one of the vehicles.
  • the different areas of the split screen may provide different types of information to the teleoperator and make it easier for the teleoperator to provide instructions to the vehicle, to cooperate with the vehicle, and/or to confirm information and/or suggested actions taken by the vehicle must.
  • a portion of the input device may provide a menu of different vehicles in the fleet to assist the teleoperator in selecting a vehicle for which to instruct.
  • Other portions of the input device may include interactive displays and/or options to provide instructions for a selected vehicle.
  • the object of the present invention is to specify a generic device which is functionally further developed in such a way that it enables a teleoperator of a teleoperated motor vehicle to operate it more ergonomically.
  • a teleoperator workstation for a teleoperated motor vehicle, in particular a teleoperated automobile, which has a first display area arranged substantially vertically and a second display area arranged substantially horizontally.
  • Horizontal and vertical refer to a horizontal or vertical plane.
  • first and second display areas are designed to be continuous. This means that the display area can be embodied as one component, in particular with a curved display and/or multiple displays. It is also conceivable for the first and second display areas to be embodied as two physically separate units. This means that, for example, a display unit can be arranged horizontally and a display unit can be arranged vertically, it being possible for each of the display units to have one or more displays.
  • Display area can be set up to output information to the teleoperator by means of a visual display and optionally by means of haptic feedback.
  • Vehicle position The vehicle position describes how and where the teleoperated motor vehicle is located.
  • the necessary primary information therefore includes: 360° distant view, direction of the motor vehicle, location of the vehicle Motor vehicle, steering wheel alignment angle and / or alignment of the wheels of the motor vehicle.
  • the vehicle speed can also be taken into account here.
  • Vehicle status Other important information about the status of the vehicle can be the engine/battery condition, i.e. the charge/fuel level of the vehicle, the engine/battery temperature and the engine oil level. Information about other vehicle damage, e.g. tyres, lights and the like, and/or the last vehicle inspection and, if applicable, general vehicle damage, e.g. B. on the body come
  • the teleoperator may receive important information about past, present and/or near future vehicle issues including location and actions, unexpected technical issues, unexpected traffic situations, unforeseen customer issues and/or maintenance routines. This information can allow the teleoperator to develop a quick understanding of the situation.
  • Vehicle characteristics With vehicle characteristics is the actual
  • Vehicle size means, ie length, width and/or height, possibly including the weight of the motor vehicle.
  • information about the state of charge of the motor vehicle ie loading/unloading and/or type of load, can also or alternatively be important for the operator in order to adapt his driving behavior to the situation.
  • Vehicle operation In order to drive proactively and to support the teleoperator in understanding the future situation, the expected destination of the motor vehicle (short and long term) and/or the expected stopping position of the vehicle can be displayed. In addition, possible longitudinal and transverse collision warnings can be transmitted to the teleoperator.
  • the system can suggest possible locations at which the motor vehicle can be parked, for example in order to stop the motor vehicle safely. Alternatively, the system can recommend turning maneuvers and similar control actions. With all of these information, the communication delay from and to the motor vehicle should not be neglected.
  • the teleoperator may need to know how long the process will take, what effects it will have on the motor vehicle and what time constraints there are (e.g. if the teleoperator has to work under time constraints). It might be helpful to know the estimated time to complete the driving task, the following driving task(s), and/or the priority of the driving task(s). The total number of driving tasks that need to be completed should also be displayed. Finally, the projected likelihood of completing the tasks or the projected need to discard the tasks can be displayed.
  • Onboard sensors Functionality and status (i.e. e.g. on/off) of onboard sensors such as LiDAR (English for “Light Detecting and Ranging”), long, medium and/or
  • Camera data can contain additional information such as orientation and zoom level.
  • additional detailed information such as the number of sensors that detect an obstacle and, if applicable, the type of sensors that detect the obstacle may be available.
  • Experienced teleoperators may find it useful to know the results of past prediction accuracy detection.
  • Information about the quality and state of the communication link from and to the motor vehicle can be taken into account. This means that, for example, a bandwidth from the motor vehicle to the operator and vice versa, an available bandwidth, bandwidth requirements, possibly including a current signal strength, a future development, a list of available mobile phone providers and/or the mobile phone provider currently in use can be displayed.
  • Objects or obstacles In order to understand the spatial relationship between the motor vehicle and obstacles in the area surrounding the motor vehicle, the teleoperator know the distance and location of the object or obstacle. Further details can include the properties of the object or obstacle, such as material (ie, eg, solid or liquid) and/or size (ie, length, width, depth, and/or height).
  • Environment information includes important details about the environment. They may contain information about the speed limit in force in the area and/or other traffic signaling and infrastructure information, e.g. traffic lights. Other information may include the location of other fleet-related motor vehicles associated with the area.
  • Weather conditions Current and/or forecast weather conditions can be displayed to the teleoperator.
  • Terrain Features More spatial information about the terrain features can improve the teleoperator's understanding of how and where the motor vehicle should be maneuvered. This category includes features such as landmarks/obstacles, rubble and/or rough terrain.
  • the user interface design assets described above not only provide information about the teleoperated motor vehicle, but also about the environment of the teleoperated motor vehicle. They cover all three macro-levels of driver situational awareness: 1) perception of elements in the environment, 2) understanding of the current situation, and 3) projection of future status.
  • the respective information input area of the first and second display area can be set up to input information from the teleoperator, in particular information that controls a Vehicle longitudinal guidance and / or vehicle lateral guidance relate to receive.
  • the teleoperator workstation is designed to evaluate and process the information received via the respective information input area of the first and second display area and as control signals, in particular as control signals that relate to the control of the vehicle's longitudinal guidance and/or the vehicle's lateral guidance issue the teleoperated motor vehicle
  • the information input area of the first and/or the second display area can have a touch-sensitive input device, in particular a touch screen. It is conceivable that an indirect steering control of the motor vehicle takes place via the touch-sensitive input device.
  • the information input area of the first and/or the second display area has an input device for direct steering control of the teleoperated motor vehicle, in particular a joystick.
  • the input device for direct steering control of the teleoperated motor vehicle can be arranged on the side and level with the second display area, i.e. horizontally.
  • the teleoperator workstation is designed to output information to the teleoperator via the information output area of the first and/or the second display area, which information corresponds to a current environment of the teleoperated motor vehicle.
  • a teleoperator workstation with two display areas is proposed.
  • a primary display area is vertical and a second or secondary display area is arranged horizontally, whereby both display areas are located in front of a teleoperator or operator, ie in his line of sight, when the teleoperator workstation is in operation.
  • the two display areas can, but do not have to, be (physically) separate, but can also be part of a larger interaction area or display.
  • both display areas can act as input and output devices if required, i.e. the teleoperator can receive visual and haptic or tactile feedback and send control commands from both display areas to a teleoperated vehicle, in particular via touch input using a touch-sensitive input device.
  • the teleoperator can use the touch-sensitive input device installed horizontally in the teleoperator workstation to assess the remote vehicle and control it with a touch gesture.
  • more complex maneuvers can be controlled via a dedicated control joystick located on the left or right side of the teleoperator.
  • Indirect control may be used when there is high latency and/or a maneuver that is simple enough to be accomplished by sending a single command to the vehicle (e.g., "pass").
  • the teleoperator can use a direct steering control (e.g. the control joystick and/or a steering wheel, possibly with gas and brake pedals) to support the vehicle in more complex situations in order to move the teleoperated motor vehicle.
  • a direct steering control e.g. the control joystick and/or a steering wheel, possibly with gas and brake pedals
  • the workspace presented here not only offers a good view of the distant traffic situation, but also enables the teleoperator to move the remote automated motor vehicle directly and indirectly.
  • An embodiment with reference to FIG. 1 is described below.
  • FIG. 1 schematically shows a teleoperator workplace connected to a teleoperated motor vehicle.
  • the teleoperator workstation 2 is connected to the motor vehicle 1, in particular wirelessly. Communication standards known to those skilled in the art can be used for the exchange of data or information.
  • the motor vehicle is automated in such a way that an operator or teleoperator (not shown) can directly and/or indirectly control a lateral and/or longitudinal guidance of the motor vehicle using the information transmitted from the teleoperator workstation 2 to the teleoperated motor vehicle 1, in particular the control signals .
  • the teleoperator workstation 2 has a first or primary display area 21, which is arranged vertically, and a second or secondary display area 22, which is arranged horizontally.
  • horizontal can mean that the second display area 22 is arranged inclined to the horizontal up to an angle of inclination of 35°, in particular 30°.
  • the first and / or the second Display area 21, 22 is adjustable in height and/or adjustable at an angle of inclination to the horizontal or vertical.
  • the first and second display areas 21, 22 are (respectively) arranged to serve as an information input area and information output area for the teleoperator.
  • the first and second display areas 21, 22 can be continuous or can be designed as two physically separate units
  • the respective information output area of the first and second display area 21, 22 is presently set up to output information to the teleoperator by means of a visual display, i.e. here via a display, and by means of haptic feedback, i.e. here by means of vibration.
  • the information is output as a function of the sensor data received from the motor vehicle 1, which is processed and optionally evaluated by the teleoperator workstation 2 for this purpose.
  • the sensor data e.g. from a LiDAR sensor installed on motor vehicle 1 and/or a camera installed on motor vehicle 1
  • the teleoperator workstation 2 being configured to display information about the information output area of the output the first and/or the second display area to the teleoperator, which corresponds to the current environment of the teleoperated motor vehicle 1.
  • the respective information input area of the first and second display area 21, 22 is set up here to receive information that can be input by the teleoperator, ie the basis for the control signals for the motor vehicle 1 described above.
  • the information input area of the first and/or the second display area 21, 22 has a touch-sensitive input device, in particular a touchscreen.
  • the teleoperator workstation 2 processes and/or evaluates the information received via the respective information input area of the first and second display areas 21, 22 or entered by the teleoperator and then outputs this as control signals to the teleoperated motor vehicle 1.
  • the information input area of the first and/or the second display area 21, 22 can have an input device for direct steering control of the teleoperated motor vehicle 1, in particular a joystick (not shown).
  • This input device for direct steering control of the teleoperated motor vehicle 1 can be arranged to the side and at the height of the second display area 22, ie essentially in the horizontal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The invention provides a teleoperator workstation for a teleoperated motor vehicle, wherein the teleoperator workstation has a first display region, which is arranged vertically, and a second display region, which is arranged horizontally. The first and the second display region are designed to serve as an information input region and an information output region for a teleoperator.

Description

TELEOPERATOR-ARBEITSPLATZ TELEOPERATOR WORKSTATION
Die vorliegende Erfindung betrifft einen Teleoperator-Arbeitsplatz für ein teleoperiertes Kraftfahrzeug. The present invention relates to a teleoperator workstation for a teleoperated motor vehicle.
Ferngesteuerte bzw. teleoperierte Kraftfahrzeuge sind auf das Verständnis einer Fahrsituation eines Teleoperators bzw. Bedieners angewiesen während dieser mit dem System interagiert. Insbesondere soll der Bediener ein hohes Maß an Situationsbewusstsein aufrechterhalten, d.h. das Bewusstsein, das der Bediener über die Veränderungen der Umgebung hat, unter Berücksichtigung der aktuellen und zukünftigen Aktionen des teleoperierten Kraftfahrzeugs. Remote-controlled or teleoperated motor vehicles depend on the understanding of a driving situation by a teleoperator or operator while he is interacting with the system. In particular, the operator should maintain a high level of situational awareness, i.e. the awareness that the operator has of the changes in the environment, taking into account the current and future actions of the teleoperated motor vehicle.
Dazu werden basierend auf den Bedürfnissen des Bedieners geeignete Benutzerschnittstellen entworfen, um das Verständnis und den Umgang mit der entfernten Fahrsituation für den Bediener zu erleichtern. For this purpose, suitable user interfaces are designed based on the needs of the operator in order to make it easier for the operator to understand and deal with the remote driving situation.
In der US 10606259 B2 ist eine schematische perspektivische Ansicht einer gattungsgemäßen Teleoperations-Systemschnittstelle bzw. eines gattungsgemäßen Teleoperator-Arbeitsplatz gezeigt. Die Teleoperations-Systemschnittstelle umfasst drei Anzeigeeinheiten, die so eingerichtet sind, dass sie einem Teleoperator Informationen bereitstellen, die sich auf einen Betrieb eines Fahrzeugs oder mehrerer Fahrzeuge einer Flotte beziehen. Die Anzeigeeinheiten sind so eingerichtet, dass sie Informationen in Bezug auf von den Fahrzeugen empfangenen Kommunikationssignalen, Informationen in Bezug auf ein Straßennetz und/oder zusätzliche Informationen anzeigen, um eine Steuerung der Fahrzeuge durch den Teleoperator zu ermöglichen und zu erleichtern. Die Anzeigeeinheiten sind so eingerichtet, dass sie unterschiedliche Informationen in Bezug auf eines oder mehrere der Fahrzeuge anzeigen. Solche Informationen können als Animationen oder bildliche Darstellungen, Einfärbungen von Sensordaten, Abstraktionen von Sensordaten (z. B. Bounding Boxes) oder Ähnliches dargestellt werden, so dass die Informationen für den Teleoperator mit geringem Aufwand erfassbar sind. Darüber hinaus umfasst die in der der US 10606259 B2 gezeigte Teleoperations- Systemschnittstelle ein Teleoperator-Eingabegerät, das so eingerichtet ist, dass der Teleoperator einem der Fahrzeuge oder mehreren der Fahrzeuge Informationen zur Verfügung stellen kann, z.B. in Form von Teleoperations-Signalen, die das Fahrzeug bzw. die Fahrzeuge führen. Die Teleoperator-Eingabevorrichtung kann einen oder mehrere berührungsempfindliche Bildschirme, einen Stift, eine Maus, einen Drehknopf, ein Tastenfeld und/oder ein Gesteneingabesystem umfassen, das so eingerichtet ist, dass es vom Teleoperator ausgeführte Gesten in Eingabebefehle für die Teleoperator-Schnittstelle übersetzt. Die Eingabevorrichtung kann einen geteilten Bildschirm umfassen, der verschiedene berührungsempfindliche Bereiche aufweist, die der Teleoperator verwenden kann, um verschiedene Arten von Informationen für eines der Fahrzeuge bereitzustellen. Beispielsweise können die verschiedenen Bereiche des geteilten Bildschirms dem Teleoperator verschiedene Arten von Informationen zur Verfügung stellen und es dem Teleoperator erleichtern, dem Fahrzeug Anweisungen zu geben, mit dem Fahrzeug zusammenzuarbeiten und/oder Informationen und/oder vorgeschlagene Aktionen zu bestätigen, die vom Fahrzeug ausgeführt werden sollen. Zum Beispiel kann ein Teil des Eingabegeräts ein Menü verschiedener Fahrzeuge der Flotte bereitstellen, um dem Teleoperator die Auswahl eines Fahrzeugs zu erleichtern, für das er Anweisungen geben möchte. Andere Teile des Eingabegeräts können interaktive Anzeigen und/oder Optionen zur Bereitstellung von Anweisungen für ein ausgewähltes Fahrzeug enthalten. US Pat. No. 1,0606,259 B2 shows a schematic perspective view of a generic teleoperation system interface or a generic teleoperator workstation. The teleoperations system interface comprises three display units that are set up to provide a teleoperator with information relating to operation of one or more vehicles in a fleet. The display units are configured to display information related to communication signals received from the vehicles, information related to a road network and/or additional information to enable and facilitate control of the vehicles by the teleoperator. The display units are configured to display different information related to one or more of the vehicles. Such information can be presented as animations or pictorial representations, coloring of sensor data, abstractions of sensor data (e.g. bounding boxes) or the like, so that the information can be recorded by the teleoperator with little effort. In addition, the teleoperations system interface shown in US 10606259 B2 includes a teleoperator input device that is set up in such a way that the teleoperator can provide information to one of the vehicles or to several of the vehicles, e.g. in the form of teleoperations signals, which drive the vehicle or vehicles. The teleoperator input device may include one or more touch-sensitive screens, a stylus, a mouse, a rotary knob, a keypad, and/or a gesture input system configured to translate gestures performed by the teleoperator into input commands for the teleoperator interface. The input device may include a split screen having different touch-sensitive areas that the teleoperator can use to provide different types of information to one of the vehicles. For example, the different areas of the split screen may provide different types of information to the teleoperator and make it easier for the teleoperator to provide instructions to the vehicle, to cooperate with the vehicle, and/or to confirm information and/or suggested actions taken by the vehicle must. For example, a portion of the input device may provide a menu of different vehicles in the fleet to assist the teleoperator in selecting a vehicle for which to instruct. Other portions of the input device may include interactive displays and/or options to provide instructions for a selected vehicle.
Vor dem Flintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine gattungsgemäße Vorrichtung anzugeben, welche funktionell so weiterentwickelt ist, dass sie einem Teleoperator eines teleoperierten Kraftfahrzeugs eine ergonomischere Bedienung ermöglicht. Against the background of this prior art, the object of the present invention is to specify a generic device which is functionally further developed in such a way that it enables a teleoperator of a teleoperated motor vehicle to operate it more ergonomically.
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt. The problem is solved by the features of the independent claim. The dependent claims relate to preferred developments of the invention.
Danach wird die Aufgabe durch einen Teleoperator-Arbeitsplatz für ein teleoperiertes Kraftfahrzeug, insbesondere ein teleoperiertes Automobil, gelöst, der einen ersten Anzeigebereich, der im Wesentlichen vertikal angeordnet ist, und einen zweiten Anzeigebereich, der im Wesentlichen horizontal angeordnet ist, aufweist. Thereafter, the task is solved by a teleoperator workstation for a teleoperated motor vehicle, in particular a teleoperated automobile, which has a first display area arranged substantially vertically and a second display area arranged substantially horizontally.
Horizontal und vertikal beziehen sich dabei auf eine horizontale bzw. vertikale Ebene. Horizontal and vertical refer to a horizontal or vertical plane.
Der Teleoperator-Arbeitsplatz zeichnet sich dadurch aus, dass der erste und der zweite Anzeigebereich eingerichtet sind, um als ein Informationseingabebereich und Informationsausgabebereich für einen Teleoperator zu dienen The teleoperator work station is characterized in that the first and second display areas are set up to serve as an information input area and information output area for a teleoperator
Denkbar ist, dass der erste und der zweite Anzeigebereich durchgängig ausgeführt sind. Das heißt, der Anzeigenbereich kann als ein Bauteil, insbesondere mit einem gebogenen Display und/oder mehreren Displays, ausgeführt sein Denkbar ist auch, dass der erste und der zweite Anzeigebereich als zwei physisch getrennte Einheiten ausgeführt sind. Das heißt, es kann beispielsweise eine Displayeinheit horizontal und eine Displayeinheit vertikal angeordnet sein, wobei jede der Displayeinheiten ein oder mehrere Displays aufweisen kann. Der jeweilige Informationsausgabebereich des ersten und des zweitenIt is conceivable that the first and second display areas are designed to be continuous. This means that the display area can be embodied as one component, in particular with a curved display and/or multiple displays. It is also conceivable for the first and second display areas to be embodied as two physically separate units. This means that, for example, a display unit can be arranged horizontally and a display unit can be arranged vertically, it being possible for each of the display units to have one or more displays. The respective information output area of the first and the second
Anzeigebereichs kann eingerichtet sein, um Informationen mittels einer visuellen Anzeige und optional mittels haptischen Feedback an den Teleoperator auszugeben. Display area can be set up to output information to the teleoperator by means of a visual display and optionally by means of haptic feedback.
Nachfolgend werden Benutzerschnittstellen-Design-Assets, die mittels des Informationsausgabebereichs des ersten und/oder des zweiten Anzeigebereichs angezeigt werden können, beschrieben, wobei die Benutzerschnittstellen-Design- Assets in 12 Kategorien sortiert sind und ein ganzheitliches Anzeigekonzept ergeben. Fahrzeugposition: Die Fahrzeugposition beschreibt, wie und wo sich das teleoperierte Kraftfahrzeug befindet. Zu den notwendigen Primärinformationen gehören daher: 360°-Fernsicht, Richtung des Kraftfahrzeugs, Standort des Kraftfahrzeugs, Lenkradausrichtungswinkel und/oder Ausrichtung der Räder des Kraftfahrzeugs. Hier kann auch die Fahrzeuggeschwindigkeit berücksichtigt werden. User interface design assets that can be displayed using the information output area of the first and/or the second display area are described below, with the user interface design assets being sorted into 12 categories and resulting in a holistic display concept. Vehicle position: The vehicle position describes how and where the teleoperated motor vehicle is located. The necessary primary information therefore includes: 360° distant view, direction of the motor vehicle, location of the vehicle Motor vehicle, steering wheel alignment angle and / or alignment of the wheels of the motor vehicle. The vehicle speed can also be taken into account here.
Fahrzeugstatus: Weitere wichtige Informationen über den Status des Kraftfahrzeugs können der Motor-/Batteriezustand sein, d.h. der Lade-/Kraftstoffstand des Kraftfahrzeugs, die Motor-/Batterietemperatur und der Motorölstand. Dazu können Informationen über sonstige Fahrzeugschäden, z.B. Reifen, Licht und Ähnliches, und/oder die letzte Fahrzeuginspektion sowie ggf. allgemeine Fahrzeugschäden, z. B. an der Karosserie, kommen Vehicle status: Other important information about the status of the vehicle can be the engine/battery condition, i.e. the charge/fuel level of the vehicle, the engine/battery temperature and the engine oil level. Information about other vehicle damage, e.g. tyres, lights and the like, and/or the last vehicle inspection and, if applicable, general vehicle damage, e.g. B. on the body come
Fahrzeugprobleme: Der Teleoperator kann wichtige Informationen über vergangene, gegenwärtige und/oder in naher Zukunft auftretende Fahrzeugprobleme erhalten, einschließlich Standort und Aktionen, unerwartete technische Probleme, unerwartete Verkehrssituationen, unvorhergesehene Kundenprobleme und/oder Wartungsroutinen. Diese Informationen können es dem Teleoperator ermöglichen, ein schnelles Verständnis für die Situation zu entwickeln. Vehicle Issues: The teleoperator may receive important information about past, present and/or near future vehicle issues including location and actions, unexpected technical issues, unexpected traffic situations, unforeseen customer issues and/or maintenance routines. This information can allow the teleoperator to develop a quick understanding of the situation.
Fahrzeugeigenschaften: Mit Fahrzeugeigenschaften ist die tatsächlicheVehicle characteristics: With vehicle characteristics is the actual
Fahrzeuggröße gemeint, d.h. Länge, Breite und/oder Höhe, ggf. einschließlich des Gewichts des Kraftfahrzeugs. Neben dem spezifischen Gewicht des Kraftfahrzeugs können, zusätzlich oder alternativ, Informationen über den Ladungszustand des Kraftfahrzeugs, d.h. Beladung/Entladung und/oder Art der Ladung, für den Bediener wichtig sein, um sein Fahrverhalten an die Situation anzupassen. Fahrzeugbetrieb: Um vorausschauend zu fahren und den Teleoperator beim Verständnis der zukünftigen Situation zu unterstützen, kann das voraussichtliche Ziel des Kraftfahrzeugs (kurz- und langfristig) und/oder die voraussichtliche Halteposition des Fahrzeugs angezeigt werden. Außerdem können dem Teleoperator mögliche Kollisionswarnungen in Längs- und Querrichtung übermittelt werden. Zusätzlich kann das System mögliche Stellen vorschlagen, an denen das Kraftfahrzeug abgestellt werden kann, z.B. um das Kraftfahrzeug sicher zu stoppen. Alternativ kann das System Wendemanöver und ähnliche Steuerungsaktionen empfehlen. Bei all diesen Informationen sollte die Kommunikationsverzögerung vom und zum Kraftfahrzeug nicht vernachlässigt werden. Vehicle size means, ie length, width and/or height, possibly including the weight of the motor vehicle. In addition to the specific weight of the motor vehicle, information about the state of charge of the motor vehicle, ie loading/unloading and/or type of load, can also or alternatively be important for the operator in order to adapt his driving behavior to the situation. Vehicle operation: In order to drive proactively and to support the teleoperator in understanding the future situation, the expected destination of the motor vehicle (short and long term) and/or the expected stopping position of the vehicle can be displayed. In addition, possible longitudinal and transverse collision warnings can be transmitted to the teleoperator. In addition, the system can suggest possible locations at which the motor vehicle can be parked, for example in order to stop the motor vehicle safely. Alternatively, the system can recommend turning maneuvers and similar control actions. With all of these information, the communication delay from and to the motor vehicle should not be neglected.
Ziele der Fahraufgabe: Der Teleoperator muss möglicherweise wissen, wie lange der Vorgang dauert, welche Auswirkungen er auf das Kraftfahrzeug hat und welche zeitlichen Beschränkungen bestehen (bspw. wenn der Teleoperator unter Zeitvorgaben arbeiten muss). Es könnte hilfreich sein, die voraussichtliche Zeit bis zur Fertigstellung der Fahraufgabe, die folgende(n) Fahraufgabe(n) und/oder die Priorität der Fahraufgabe(n) zu kennen. Angezeigt werden sollte auch die Gesamtzahl der Fahraufgaben, die erledigt werden müssen. Zuletzt kann die voraussichtliche Wahrscheinlichkeit, die Aufgaben zu erledigen, oder die projizierte Notwendigkeit, die Aufgaben abzulegen, angezeigt werden. Objectives of the driving task: The teleoperator may need to know how long the process will take, what effects it will have on the motor vehicle and what time constraints there are (e.g. if the teleoperator has to work under time constraints). It might be helpful to know the estimated time to complete the driving task, the following driving task(s), and/or the priority of the driving task(s). The total number of driving tasks that need to be completed should also be displayed. Finally, the projected likelihood of completing the tasks or the projected need to discard the tasks can be displayed.
Bordsensorik: Funktionalität und Zustand (d.h. z.B. ein/aus) von Onboard-Sensoren wie LiDAR (engl für „Light Detecting and Ranging“), Lang-, Mittel- und/oderOnboard sensors: Functionality and status (i.e. e.g. on/off) of onboard sensors such as LiDAR (English for "Light Detecting and Ranging"), long, medium and/or
Kurzstreckenradar und/oder Kameras können ebenfalls angezeigt werden. Kameradaten können weitere Informationen wie Orientierung und Zoomstufe enthalten. Neben der Funktionalität und dem Status der Sensorik können zusätzliche Detailinformationen, wie die Anzahl der Sensoren, die ein Hindernis erkennen, und ggf. die Art der Sensoren, die das Hindernis erkennen, verfügbar sein. Möglicherweise ist es für erfahrene Teleoperatoren hilfreich, die Ergebnisse der vergangenen Erkennung der Vorhersagegenauigkeit zu kennen. Short range radar and/or cameras may also be displayed. Camera data can contain additional information such as orientation and zoom level. In addition to the functionality and the status of the sensors, additional detailed information such as the number of sensors that detect an obstacle and, if applicable, the type of sensors that detect the obstacle may be available. Experienced teleoperators may find it useful to know the results of past prediction accuracy detection.
Zustand der Kommunikation: Es können Informationen über die Qualität und den Zustand der Kommunikationsverbindung vom und zum Kraftfahrzeug berücksichtigt werden. Das heißt, es kann beispielsweise eine Bandbreite vom Kraftfahrzeug zum Bediener und umgekehrt, eine verfügbare Bandbreite, Bandbreitenanforderungen, ggf. einschließlich einer aktuellen Signalstärke, eine zukünftige Entwicklung, eine Liste verfügbarer Mobilfunkanbieter und/oder der aktuell genutzte Mobilfunkanbieter angezeigt werden. State of the communication: Information about the quality and state of the communication link from and to the motor vehicle can be taken into account. This means that, for example, a bandwidth from the motor vehicle to the operator and vice versa, an available bandwidth, bandwidth requirements, possibly including a current signal strength, a future development, a list of available mobile phone providers and/or the mobile phone provider currently in use can be displayed.
Objekte bzw. Hindernisse: Um die räumliche Beziehung zwischen dem Kraftfahrzeug und Hindernissen in der Umgebung des Kraftfahrzeugs zu verstehen, sollte der Teleoperator die Entfernung und den Standort des Objekts bzw. Hindernisses kennen. Weitere Details können die Eigenschaften des Objekts bzw. Hindernisses, wie Material (d.h. z.B. fest oder flüssig) und/oder Größe (d.h. Länge, Breite, Tiefe und/oder Höhe), umfassen. Objects or obstacles: In order to understand the spatial relationship between the motor vehicle and obstacles in the area surrounding the motor vehicle, the teleoperator know the distance and location of the object or obstacle. Further details can include the properties of the object or obstacle, such as material (ie, eg, solid or liquid) and/or size (ie, length, width, depth, and/or height).
Umgebungsinformationen: Zu den Umgebungsinformationen gehören wichtige Details über die Umgebung. Sie können Informationen über die in der Umgebung geltende Geschwindigkeitsbegrenzung und/oder andere Verkehrssignalisierungs und Infrastrukturinformationen, z.B. Ampeln, enthalten. Weitere Informationen können den Standort anderer flottenbezogener Kraftfahrzeuge beinhalten, die dem Gebiet zugeordnet sind. Environment Information: Environment information includes important details about the environment. They may contain information about the speed limit in force in the area and/or other traffic signaling and infrastructure information, e.g. traffic lights. Other information may include the location of other fleet-related motor vehicles associated with the area.
Wetterbedingungen: Aktuelle und/oder vorhergesagte Wetterbedingungen können dem Teleoperator angezeigt werden. Schlechte Wetterbedingungen, wie starker Niederschlag, Wind und Vereisung, beeinträchtigen die operative Leistung. Daher sollte der Teleoperator die aktuellen und vorhergesagten Wetterinformationen kennen, um sein Fahrverhalten anzupassen. Weather conditions: Current and/or forecast weather conditions can be displayed to the teleoperator. Bad weather conditions, such as heavy precipitation, wind and icing affect operational performance. Therefore, the teleoperator should know the current and forecast weather information in order to adjust his driving behavior.
Geländemerkmale: Weitere räumliche Informationen über die Geländemerkmale können das Verständnis des Teleoperators dafür verbessern, wie und wohin das Kraftfahrzeug manövriert werden sollte. Zu dieser Kategorie gehören Merkmale wie Landmarken/Hindernisse, Geröll und/oder unebenes Gelände. Terrain Features: More spatial information about the terrain features can improve the teleoperator's understanding of how and where the motor vehicle should be maneuvered. This category includes features such as landmarks/obstacles, rubble and/or rough terrain.
Die oben beschriebenen Benutzerschnittstellen-Design-Assets liefern nicht nur Informationen über das teleoperierte Kraftfahrzeug, sondern auch über die Umgebung des teleoperierten Kraftfahrzeugs. Sie decken alle drei Makroebenen des Fahrer- Situationsbewusstseins ab: 1) Wahrnehmung von Elementen in der Umgebung, 2) Verständnis der aktuellen Situation und 3) Projektion des zukünftigen Status. The user interface design assets described above not only provide information about the teleoperated motor vehicle, but also about the environment of the teleoperated motor vehicle. They cover all three macro-levels of driver situational awareness: 1) perception of elements in the environment, 2) understanding of the current situation, and 3) projection of future status.
Der jeweilige Informationseingabebereich des ersten und des zweiten Anzeigebereichs kann eingerichtet sein, um von dem Teleoperator eingebbare Informationen, insbesondere Informationen, die eine Steuerung einer Fahrzeuglängsführung und/oder einer Fahrzeugquerführung betreffen, zu empfangen. The respective information input area of the first and second display area can be set up to input information from the teleoperator, in particular information that controls a Vehicle longitudinal guidance and / or vehicle lateral guidance relate to receive.
Denkbar ist, dass der Teleoperator-Arbeitsplatz ausgestaltet ist, um die über den jeweiligen Informationseingabebereich des ersten und des zweiten Anzeigebereichs empfangenen Informationen auszuwerten, zu verarbeiten und als Steuersignale, insbesondere als Steuersignale, die die Steuerung der Fahrzeuglängsführung und/oder der Fahrzeugquerführung betreffen, an das teleoperierte Kraftfahrzeug auszugeben It is conceivable that the teleoperator workstation is designed to evaluate and process the information received via the respective information input area of the first and second display area and as control signals, in particular as control signals that relate to the control of the vehicle's longitudinal guidance and/or the vehicle's lateral guidance issue the teleoperated motor vehicle
Der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs kann ein berührungsempfindliches Eingabegerät, insbesondere einen Touchscreen, aufweisen. Denkbar ist, dass über das berührungsempfindliches Eingabegerät ein indirekte Lenkungssteuerungen des Kraftfahrzeugs erfolgt. The information input area of the first and/or the second display area can have a touch-sensitive input device, in particular a touch screen. It is conceivable that an indirect steering control of the motor vehicle takes place via the touch-sensitive input device.
Denkbar ist, dass der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs ein Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs, insbesondere einen Joystick, aufweist. Das Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs kann seitlich und auf Höhe des zweiten Anzeigebereichs, d.h. in der Horizontalen, angeordnet sein. It is conceivable that the information input area of the first and/or the second display area has an input device for direct steering control of the teleoperated motor vehicle, in particular a joystick. The input device for direct steering control of the teleoperated motor vehicle can be arranged on the side and level with the second display area, i.e. horizontally.
Denkbar ist, dass der Teleoperator-Arbeitsplatz ausgestaltet ist, um Informationen über den Informationsausgabebereich des ersten und/oder des zweiten Anzeigebereichs an den Teleoperator auszugeben, die zu einer aktuellen Umgebung des teleoperierten Kraftfahrzeugs korrespondieren. It is conceivable that the teleoperator workstation is designed to output information to the teleoperator via the information output area of the first and/or the second display area, which information corresponds to a current environment of the teleoperated motor vehicle.
Das oben Beschriebene kann mit anderen Worten und konkreter wie nachfolgend beschrieben zusammengefasst werden. The above can be summarized in other words and more concretely as described below.
Es wird ein Teleoperator-Arbeitsplatz mit zwei Anzeigebereichen vorgeschlagen. Ein primärer Anzeigebereich ist vertikal und ein zweiter bzw. sekundärer Anzeigebereich ist horizontal angeordnet, wobei sich beide Anzeigebereiche im Betrieb des Teleoperator-Arbeitsplatzes vor einem Teleoperator bzw. Bediener, d.h. in dessen Blickrichtung, befinden. Die beiden Anzeigebereiche können, müssen aber nicht, (physisch) getrennt sein, sondern können auch Teil eines größeren Interaktionsbereichs oder Displays sein. A teleoperator workstation with two display areas is proposed. A primary display area is vertical and a second or secondary display area is arranged horizontally, whereby both display areas are located in front of a teleoperator or operator, ie in his line of sight, when the teleoperator workstation is in operation. The two display areas can, but do not have to, be (physically) separate, but can also be part of a larger interaction area or display.
Zudem können beide Anzeigebereiche bei Bedarf als Ein- und Ausgabegeräte fungieren, d.h. der Teleoperator kann visuelles und haptisches bzw. taktiles Feedback erhalten und von beiden Anzeigebereiche aus Steuerbefehle, insbesondere über eine Touch-Eingabe mittels einem berührungssensitiven Eingabegerät, an ein teleoperiertes Fahrzeug senden. In addition, both display areas can act as input and output devices if required, i.e. the teleoperator can receive visual and haptic or tactile feedback and send control commands from both display areas to a teleoperated vehicle, in particular via touch input using a touch-sensitive input device.
Denkbar ist, dass der Teleoperator mittels dem berührungssensitiven Eingabegerät, das horizontal in dem Teleoperator-Arbeitsplatzes installiert ist, das entfernte Fahrzeug einschätzen und per Touch-Geste steuern kann. It is conceivable that the teleoperator can use the touch-sensitive input device installed horizontally in the teleoperator workstation to assess the remote vehicle and control it with a touch gesture.
Zusätzlich oder alternativ können komplexere Manöver über einen dedizierten Steuerjoystick, der sich auf der linken oder rechten Seite des Teleoperators befindet, gesteuert werden. Additionally or alternatively, more complex maneuvers can be controlled via a dedicated control joystick located on the left or right side of the teleoperator.
Die indirekte Steuerung kann bei einer hohen Latenzzeit und/oder bei einem Manöver zum Einsatz kommen, das so einfach ist, dass es durch ein Senden eines einzigen Befehls an das Fahrzeug gelöst werden kann (z. B. "überholen"). Indirect control may be used when there is high latency and/or a maneuver that is simple enough to be accomplished by sending a single command to the vehicle (e.g., "pass").
Zusätzlich oder alternativ kann der Teleoperator zur Unterstützung des Fahrzeugs in komplexeren Situationen auf eine direkte Lenkungssteuerung (z.B. den Steuerjoystick und/oder ein Lenkrad ggf. mit Gas- und Bremspedalen) zurückgreifen, um das teleoperierte Kraftfahrzeug zu bewegen. Additionally or alternatively, the teleoperator can use a direct steering control (e.g. the control joystick and/or a steering wheel, possibly with gas and brake pedals) to support the vehicle in more complex situations in order to move the teleoperated motor vehicle.
Somit bietet der hier vorgestellte Arbeitsraum nicht nur eine gute Sicht auf die entfernte Verkehrssituation, sondern ermöglicht es dem Teleoperator, das entfernte automatisierte Kraftfahrzeug direkt und indirekt zu bewegen. In dieser Hinsicht unterstützt die Integration verschiedener Fernbedienungskonzepte in ein Teleoperator-Arbeitsraumdesign, wie direkte oder indirekte Lenkung, verschiedene Herausforderungen des autonomen Fahrens in der realen Welt. Nachfolgend wird eine Ausführungsform mit Bezug zu Figur 1 beschrieben. Thus, the workspace presented here not only offers a good view of the distant traffic situation, but also enables the teleoperator to move the remote automated motor vehicle directly and indirectly. In this regard supports the integration of different remote control concepts into a teleoperator workspace design, such as direct or indirect steering, different challenges of autonomous driving in the real world. An embodiment with reference to FIG. 1 is described below.
Fig. 1 zeigt schematisch einen zu einem teleoperierten Kraftfahrzeug verbundenen Teleoperator-Arbeitsplatz. Wie Figur 1 zu entnehmen ist, ist ein bidirektionaler Daten bzw.1 schematically shows a teleoperator workplace connected to a teleoperated motor vehicle. As can be seen from Figure 1, a bidirectional data or
Informationsaustausch zwischen dem automatisierten, teleoperierten Kraftfahrzeug 1 und dem Teleoperator-Arbeitsplatz 2, insbesondere von Steuersignalen vom Teleoperator-Arbeitsplatz 2 zum teleoperierten Kraftfahrzeug 1 und von Sensordaten vom Kraftfahrzeug 1 zum Teleoperator-Arbeitsplatz 2, vorgesehen. Exchange of information between the automated, teleoperated motor vehicle 1 and the teleoperator workplace 2, in particular control signals from the teleoperator workplace 2 to the teleoperated motor vehicle 1 and sensor data from the motor vehicle 1 to the teleoperator workplace 2.
Dazu ist der Teleoperator-Arbeitsplatz 2 mit dem Kraftfahrzeug 1, insbesondere drahtlos, verbunden. Für den Daten- bzw. Informationsaustausch können dem Fachmann bekannte Kommunikationsstandards verwendet werden. Das Kraftfahrzeug ist so automatisiert, dass ein (nicht dargestellter) Bediener bzw. Teleoperator mittels der vom Teleoperator-Arbeitsplatz 2 zum teleoperierten Kraftfahrzeug 1 übertragenen Informationen, insbesondere der Steuersignale, eine Quer- und/oder Längsführung des Kraftfahrzeugs direkt und/oder indirekt steuern kann. For this purpose, the teleoperator workstation 2 is connected to the motor vehicle 1, in particular wirelessly. Communication standards known to those skilled in the art can be used for the exchange of data or information. The motor vehicle is automated in such a way that an operator or teleoperator (not shown) can directly and/or indirectly control a lateral and/or longitudinal guidance of the motor vehicle using the information transmitted from the teleoperator workstation 2 to the teleoperated motor vehicle 1, in particular the control signals .
Dazu weist der Teleoperator-Arbeitsplatz 2 einen ersten bzw. primären Anzeigebereich 21, der vertikal angeordnet ist, und einen zweiten bzw. sekundären Anzeigebereich 22, der horizontal angeordnet ist, auf. Horizontal kann vorliegend bedeuten, dass der zweite Anzeigebereich 22 bis zu einem Neigungswinkel von 35°, insbesondere 30°, geneigt zur Horizontalen angeordnet ist. Insbesondere ist denkbar, dass der erste und/oder der zweite Anzeigebereich 21, 22 höhenverstellbar und/oder in einem Neigungswinkel zur Horizontalen bzw. Vertikalen verstellbar angeordnet ist/sind. For this purpose, the teleoperator workstation 2 has a first or primary display area 21, which is arranged vertically, and a second or secondary display area 22, which is arranged horizontally. In the present case, horizontal can mean that the second display area 22 is arranged inclined to the horizontal up to an angle of inclination of 35°, in particular 30°. In particular, it is conceivable that the first and / or the second Display area 21, 22 is adjustable in height and/or adjustable at an angle of inclination to the horizontal or vertical.
Der erste und der zweite Anzeigebereich 21 , 22 sind (jeweils) eingerichtet, um als ein Informationseingabebereich und Informationsausgabebereich für den Teleoperator zu dienen. The first and second display areas 21, 22 are (respectively) arranged to serve as an information input area and information output area for the teleoperator.
Der erste und der zweite Anzeigebereich 21, 22 können durchgängig oder als zwei physisch getrennte Einheiten ausgeführt sein The first and second display areas 21, 22 can be continuous or can be designed as two physically separate units
Der jeweilige Informationsausgabebereich des ersten und des zweiten Anzeigebereichs 21, 22 ist vorliegend eingerichtet, um Informationen mittels einer visuellen Anzeige, d.h. hier über ein Display, und mittels haptischen Feedback, d.h. hier mittels Vibration, an den Teleoperator auszugeben. The respective information output area of the first and second display area 21, 22 is presently set up to output information to the teleoperator by means of a visual display, i.e. here via a display, and by means of haptic feedback, i.e. here by means of vibration.
Die Ausgabe der Informationen erfolgt in Abhängigkeit der von dem Kraftfahrzeug 1 empfangenen Sensordaten, die zu diesem Zwecke von dem Teleoperator- Arbeitsplatz 2 verarbeitet und ggf. ausgewertet werden. Die Sensordaten, z.B. von einem am Kraftfahrzeug 1 installierten LiDAR-Sensor und/oder einer am Kraftfahrzeug 1 installierten Kamera, können zu einer aktuellen Umgebung des teleoperierten Kraftfahrzeugs 1 korrespondieren, wobei der Teleoperator-Arbeitsplatz 2 dadurch ausgestaltet ist, um Informationen über den Informationsausgabebereich des ersten und/oder des zweiten Anzeigebereichs an den Teleoperator auszugeben, die zu der aktuellen Umgebung des teleoperierten Kraftfahrzeugs 1 korrespondieren. The information is output as a function of the sensor data received from the motor vehicle 1, which is processed and optionally evaluated by the teleoperator workstation 2 for this purpose. The sensor data, e.g. from a LiDAR sensor installed on motor vehicle 1 and/or a camera installed on motor vehicle 1, can correspond to a current environment of the teleoperated motor vehicle 1, with the teleoperator workstation 2 being configured to display information about the information output area of the output the first and/or the second display area to the teleoperator, which corresponds to the current environment of the teleoperated motor vehicle 1.
Zudem ist hier der jeweilige Informationseingabebereich des ersten und des zweiten Anzeigebereichs 21, 22 eingerichtet, um von dem Teleoperator eingebbare Informationen, d.h. die Grundlage für die oben beschriebenen Steuersignale für das Kraftfahrzeug 1 , zu empfangen. Der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs 21, 22 weisen dazu ein berührungsempfindliches Eingabegerät, insbesondere einen Touchscreen, auf. Der Teleoperator-Arbeitsplatz 2 verarbeitet und/oder wertet die über den jeweiligen Informationseingabebereich des ersten und des zweiten Anzeigebereichs 21, 22 empfangenen bzw. vom Teleoperator eingegebenen Informationen aus und gibt diese anschließend als Steuersignale an das teleoperierte Kraftfahrzeug 1 aus. Zusätzlich kann der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs 21, 22 ein Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs 1, insbesondere einen (nicht dargestellten) Joystick, aufweisen. Dieses Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs 1 kann seitlich und auf Höhe des zweiten Anzeigebereichs 22 angeordnet sein, d.h. im Wesentlichen in der horizontalen. In addition, the respective information input area of the first and second display area 21, 22 is set up here to receive information that can be input by the teleoperator, ie the basis for the control signals for the motor vehicle 1 described above. For this purpose, the information input area of the first and/or the second display area 21, 22 has a touch-sensitive input device, in particular a touchscreen. The teleoperator workstation 2 processes and/or evaluates the information received via the respective information input area of the first and second display areas 21, 22 or entered by the teleoperator and then outputs this as control signals to the teleoperated motor vehicle 1. In addition, the information input area of the first and/or the second display area 21, 22 can have an input device for direct steering control of the teleoperated motor vehicle 1, in particular a joystick (not shown). This input device for direct steering control of the teleoperated motor vehicle 1 can be arranged to the side and at the height of the second display area 22, ie essentially in the horizontal.
Bezugszeichenliste reference list
1 teleoperiertes automatisiertes Kraftfahrzeug 2 Teleoperator-Arbeitsplatz 1 teleoperated automated motor vehicle 2 teleoperator workplace
21 primärer bzw. erster Anzeigebereich 21 primary or first display area
22 sekundärer bzw. zweiter Anzeigebereich 22 secondary or second display area

Claims

Patentansprüche patent claims
1. Teleoperator-Arbeitsplatz (2) für ein teleoperiertes Kraftfahrzeug (1), wobei der Teleoperator-Arbeitsplatz (2) aufweist: - einen ersten Anzeigebereich (21 ), der vertikal angeordnet ist, und1. Teleoperator workstation (2) for a teleoperated motor vehicle (1), the teleoperator workstation (2) having: - a first display area (21), which is arranged vertically, and
- einen zweiten Anzeigebereich (22), der horizontal angeordnet ist, dadurch gekennzeichnet, dass - a second display area (22) arranged horizontally, characterized in that
- der erste und der zweite Anzeigebereich (21 , 22) eingerichtet sind, um als ein Informationseingabebereich und Informationsausgabebereich für einen Teleoperator zu dienen. - The first and second display areas (21, 22) are set up to serve as an information input area and information output area for a teleoperator.
2. Teleoperator-Arbeitsplatz (2) nach Anspruch 1, dadurch gekennzeichnet, dass der erste und der zweite Anzeigebereich (21, 22) durchgängig ausgeführt sind. 2. Teleoperator workstation (2) according to claim 1, characterized in that the first and second display areas (21, 22) are continuous.
3. Teleoperator-Arbeitsplatz (2) nach Anspruch 1, dadurch gekennzeichnet, dass der erste und der zweite Anzeigebereich (21, 22) als zwei physisch getrennte Einheiten ausgeführt sind. 3. Teleoperator workstation (2) according to claim 1, characterized in that the first and the second display area (21, 22) are designed as two physically separate units.
4. Teleoperator-Arbeitsplatz(2) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der jeweilige Informationsausgabebereich des ersten und des zweiten Anzeigebereichs (21, 22) eingerichtet ist, um Informationen mittels einer visuellen Anzeige und optional mittels haptischen Feedback an den Teleoperator auszugeben. 4. Teleoperator workstation (2) according to one of Claims 1 to 3, characterized in that the respective information output area of the first and second display area (21, 22) is set up to send information to the user by means of a visual display and optionally by means of haptic feedback output teleoperator.
5. Teleoperator-Arbeitsplatz (2) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der jeweilige Informationseingabebereich des ersten und des zweiten Anzeigebereichs (21, 22) eingerichtet ist, um von dem Teleoperator eingebbare Informationen zu empfangen. 5. Teleoperator workstation (2) according to one of claims 1 to 4, characterized in that the respective information input area of the first and second display area (21, 22) is set up to receive inputtable information from the teleoperator.
6. Teleoperator-Arbeitsplatz (2) nach Anspruch 5, dadurch gekennzeichnet, dass der Teleoperator-Arbeitsplatz die über den jeweiligen Informationseingabebereich des ersten und des zweiten Anzeigebereichs (21, 22) empfangenen Informationen auszuwerten, zu verarbeiten und als Steuersignale an das teleoperierte Kraftfahrzeug (1) auszugeben. 6. teleoperator workstation (2) according to claim 5, characterized in that the teleoperator workstation over the respective information input area of the first and second display area (21, 22) to evaluate the information received, to process it and to output it as control signals to the teleoperated motor vehicle (1).
7. Teleoperator-Arbeitsplatz (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs (21, 22) ein berührungsempfindliches Eingabegerät, insbesondere einen Touchscreen, aufweist. 7. Teleoperator workstation (2) according to one of the preceding claims, characterized in that the information input area of the first and/or the second display area (21, 22) has a touch-sensitive input device, in particular a touchscreen.
8. Teleoperator-Arbeitsplatz (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs (21, 22) ein Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs (1), insbesondere einen Joystick, aufweist. 8. Teleoperator workstation (2) according to one of the preceding claims, characterized in that the information input area of the first and/or the second display area (21, 22) has an input device for direct steering control of the teleoperated motor vehicle (1), in particular a joystick .
9. Teleoperator-Arbeitsplatz (2) nach Anspruch 8, dadurch gekennzeichnet, dass das Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs seitlich und auf Höhe des zweiten Anzeigebereichs (21, 22) angeordnet ist. 9. Teleoperator workstation (2) according to claim 8, characterized in that the input device for direct steering control of the teleoperated motor vehicle is arranged on the side and at the height of the second display area (21, 22).
10. Teleoperator-Arbeitsplatz (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Teleoperator-Arbeitsplatz (2) ausgestaltet ist, um Informationen über den Informationsausgabebereich des ersten und/oder des zweiten Anzeigebereichs (21, 22) an den Teleoperator auszugeben, die zu einer aktuellen Umgebung des teleoperierten Kraftfahrzeugs (1) korrespondieren. 10. Teleoperator workstation (2) according to one of the preceding claims, characterized in that the teleoperator workstation (2) is designed to output information about the information output area of the first and/or the second display area (21, 22) to the teleoperator , which correspond to a current environment of the teleoperated motor vehicle (1).
PCT/EP2022/066655 2021-07-06 2022-06-20 Teleoperator workstation WO2023280554A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021117450.3A DE102021117450A1 (en) 2021-07-06 2021-07-06 TELEOPERATOR WORKSTATION
DE102021117450.3 2021-07-06

Publications (1)

Publication Number Publication Date
WO2023280554A1 true WO2023280554A1 (en) 2023-01-12

Family

ID=82404169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/066655 WO2023280554A1 (en) 2021-07-06 2022-06-20 Teleoperator workstation

Country Status (2)

Country Link
DE (1) DE102021117450A1 (en)
WO (1) WO2023280554A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225006A1 (en) * 2005-10-11 2008-09-18 Abderrahim Ennadi Universal Touch Screen Keyboard
US20190011910A1 (en) * 2017-07-07 2019-01-10 Zoox, Inc. Interactions between vehicle and teleoperations system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225006A1 (en) * 2005-10-11 2008-09-18 Abderrahim Ennadi Universal Touch Screen Keyboard
US20190011910A1 (en) * 2017-07-07 2019-01-10 Zoox, Inc. Interactions between vehicle and teleoperations system
US10606259B2 (en) 2017-07-07 2020-03-31 Zoox, Inc. Interactions between vehicle and teleoperations system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Big and Small: Display Technologies Transform Control Rooms | Automation World", 18 September 2020 (2020-09-18), pages 1, XP055962363, Retrieved from the Internet <URL:https://web.archive.org/web/20200918102841/https://www.automationworld.com/products/control/article/13314243/big-and-small-display-technologies-transform-control-rooms#next-slide> [retrieved on 20220919] *

Also Published As

Publication number Publication date
DE102021117450A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
DE102014015493B4 (en) Method for operating a motor vehicle and motor vehicle
DE102016112859B4 (en) Navigation device for an autonomously driving vehicle
EP3027484B1 (en) Method for using a communication terminal in a motor vehicle while autopilot is activated and motor vehicle
DE3820589C2 (en) Method and control device for automatically controlling a land vehicle
DE102019102173A1 (en) ADMINISTRATION OF THE AUTOMATED DRIVING COMPLEXITY OF THE FOREGOING ROUTE USING THE PERCEPTION SYSTEM
DE102013021834B4 (en) Device and method for navigating within a menu for vehicle control and selecting a menu entry from the menu
DE102016220313B3 (en) Method for operating a motor vehicle with a plurality of driver assistance systems and motor vehicle
DE102015118489A1 (en) Remote control of an autonomous vehicle in an unexpected environment
EP3176047B1 (en) Operating system for the driving of a vehicle, in particular of a commercial vehicle
WO2015000882A1 (en) Assistance system and assistance method for support when controlling a motor vehicle
DE102018210226A1 (en) PROCESS AND DEVICE FOR USE WITH VEHICLES WITH AUTONOMIC DRIVING MODE
DE102021101086A1 (en) VEHICLE OPERATING MODES
DE102013003214A1 (en) Method for transferring driving tasks between occupants e.g. driver of motor car, involves terminating autonomous driving by driving assistance system after detecting completed transfer and acquisition of object by other occupant
WO2019081420A1 (en) Method for the early indication of an operating range with an insufficient reliability status of an assistance system of a transportation means, system and automobile
DE102018222002B4 (en) Method and electronic vehicle control system for remote control of a driverless motor vehicle
DE102017210221A1 (en) Method for longitudinal and transverse guidance of a motor vehicle
WO2020108839A1 (en) Situation-dependent calculation of a desired vehicle speed
DE102019104778A1 (en) Method and control unit for operating a vehicle when approaching a stop event
DE102018125621A1 (en) Method for supporting a driving operation of a motor vehicle and for operating a motor vehicle, motor vehicle and server device
DE102021101225A1 (en) Autonomous vehicle and method of operating it
WO2023280554A1 (en) Teleoperator workstation
DE102017101342A1 (en) VEHICLE AUTOMATION AND PREDICTION FOR OPERATOR LEVEL
DE102022208199A1 (en) Safety control for automated driving
DE102017223451B4 (en) Method for illuminating a roadway area by projecting a trajectory and motor vehicle
WO2017108860A1 (en) Display system and method for operating a display system in a vehicle having at least one first and one second display surface

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22737775

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE