WO2023280554A1 - Teleoperator-arbeitsplatz - Google Patents

Teleoperator-arbeitsplatz Download PDF

Info

Publication number
WO2023280554A1
WO2023280554A1 PCT/EP2022/066655 EP2022066655W WO2023280554A1 WO 2023280554 A1 WO2023280554 A1 WO 2023280554A1 EP 2022066655 W EP2022066655 W EP 2022066655W WO 2023280554 A1 WO2023280554 A1 WO 2023280554A1
Authority
WO
WIPO (PCT)
Prior art keywords
teleoperator
workstation
information
motor vehicle
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2022/066655
Other languages
English (en)
French (fr)
Inventor
Gerhard Graf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of WO2023280554A1 publication Critical patent/WO2023280554A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Definitions

  • the present invention relates to a teleoperator workstation for a teleoperated motor vehicle.
  • Remote-controlled or teleoperated motor vehicles depend on the understanding of a driving situation by a teleoperator or operator while he is interacting with the system.
  • the operator should maintain a high level of situational awareness, i.e. the awareness that the operator has of the changes in the environment, taking into account the current and future actions of the teleoperated motor vehicle.
  • suitable user interfaces are designed based on the needs of the operator in order to make it easier for the operator to understand and deal with the remote driving situation.
  • US Pat. No. 1,0606,259 B2 shows a schematic perspective view of a generic teleoperation system interface or a generic teleoperator workstation.
  • the teleoperations system interface comprises three display units that are set up to provide a teleoperator with information relating to operation of one or more vehicles in a fleet.
  • the display units are configured to display information related to communication signals received from the vehicles, information related to a road network and/or additional information to enable and facilitate control of the vehicles by the teleoperator.
  • the display units are configured to display different information related to one or more of the vehicles. Such information can be presented as animations or pictorial representations, coloring of sensor data, abstractions of sensor data (e.g.
  • the teleoperations system interface shown in US 10606259 B2 includes a teleoperator input device that is set up in such a way that the teleoperator can provide information to one of the vehicles or to several of the vehicles, e.g. in the form of teleoperations signals, which drive the vehicle or vehicles.
  • the teleoperator input device may include one or more touch-sensitive screens, a stylus, a mouse, a rotary knob, a keypad, and/or a gesture input system configured to translate gestures performed by the teleoperator into input commands for the teleoperator interface.
  • the input device may include a split screen having different touch-sensitive areas that the teleoperator can use to provide different types of information to one of the vehicles.
  • the different areas of the split screen may provide different types of information to the teleoperator and make it easier for the teleoperator to provide instructions to the vehicle, to cooperate with the vehicle, and/or to confirm information and/or suggested actions taken by the vehicle must.
  • a portion of the input device may provide a menu of different vehicles in the fleet to assist the teleoperator in selecting a vehicle for which to instruct.
  • Other portions of the input device may include interactive displays and/or options to provide instructions for a selected vehicle.
  • the object of the present invention is to specify a generic device which is functionally further developed in such a way that it enables a teleoperator of a teleoperated motor vehicle to operate it more ergonomically.
  • a teleoperator workstation for a teleoperated motor vehicle, in particular a teleoperated automobile, which has a first display area arranged substantially vertically and a second display area arranged substantially horizontally.
  • Horizontal and vertical refer to a horizontal or vertical plane.
  • first and second display areas are designed to be continuous. This means that the display area can be embodied as one component, in particular with a curved display and/or multiple displays. It is also conceivable for the first and second display areas to be embodied as two physically separate units. This means that, for example, a display unit can be arranged horizontally and a display unit can be arranged vertically, it being possible for each of the display units to have one or more displays.
  • Display area can be set up to output information to the teleoperator by means of a visual display and optionally by means of haptic feedback.
  • Vehicle position The vehicle position describes how and where the teleoperated motor vehicle is located.
  • the necessary primary information therefore includes: 360° distant view, direction of the motor vehicle, location of the vehicle Motor vehicle, steering wheel alignment angle and / or alignment of the wheels of the motor vehicle.
  • the vehicle speed can also be taken into account here.
  • Vehicle status Other important information about the status of the vehicle can be the engine/battery condition, i.e. the charge/fuel level of the vehicle, the engine/battery temperature and the engine oil level. Information about other vehicle damage, e.g. tyres, lights and the like, and/or the last vehicle inspection and, if applicable, general vehicle damage, e.g. B. on the body come
  • the teleoperator may receive important information about past, present and/or near future vehicle issues including location and actions, unexpected technical issues, unexpected traffic situations, unforeseen customer issues and/or maintenance routines. This information can allow the teleoperator to develop a quick understanding of the situation.
  • Vehicle characteristics With vehicle characteristics is the actual
  • Vehicle size means, ie length, width and/or height, possibly including the weight of the motor vehicle.
  • information about the state of charge of the motor vehicle ie loading/unloading and/or type of load, can also or alternatively be important for the operator in order to adapt his driving behavior to the situation.
  • Vehicle operation In order to drive proactively and to support the teleoperator in understanding the future situation, the expected destination of the motor vehicle (short and long term) and/or the expected stopping position of the vehicle can be displayed. In addition, possible longitudinal and transverse collision warnings can be transmitted to the teleoperator.
  • the system can suggest possible locations at which the motor vehicle can be parked, for example in order to stop the motor vehicle safely. Alternatively, the system can recommend turning maneuvers and similar control actions. With all of these information, the communication delay from and to the motor vehicle should not be neglected.
  • the teleoperator may need to know how long the process will take, what effects it will have on the motor vehicle and what time constraints there are (e.g. if the teleoperator has to work under time constraints). It might be helpful to know the estimated time to complete the driving task, the following driving task(s), and/or the priority of the driving task(s). The total number of driving tasks that need to be completed should also be displayed. Finally, the projected likelihood of completing the tasks or the projected need to discard the tasks can be displayed.
  • Onboard sensors Functionality and status (i.e. e.g. on/off) of onboard sensors such as LiDAR (English for “Light Detecting and Ranging”), long, medium and/or
  • Camera data can contain additional information such as orientation and zoom level.
  • additional detailed information such as the number of sensors that detect an obstacle and, if applicable, the type of sensors that detect the obstacle may be available.
  • Experienced teleoperators may find it useful to know the results of past prediction accuracy detection.
  • Information about the quality and state of the communication link from and to the motor vehicle can be taken into account. This means that, for example, a bandwidth from the motor vehicle to the operator and vice versa, an available bandwidth, bandwidth requirements, possibly including a current signal strength, a future development, a list of available mobile phone providers and/or the mobile phone provider currently in use can be displayed.
  • Objects or obstacles In order to understand the spatial relationship between the motor vehicle and obstacles in the area surrounding the motor vehicle, the teleoperator know the distance and location of the object or obstacle. Further details can include the properties of the object or obstacle, such as material (ie, eg, solid or liquid) and/or size (ie, length, width, depth, and/or height).
  • Environment information includes important details about the environment. They may contain information about the speed limit in force in the area and/or other traffic signaling and infrastructure information, e.g. traffic lights. Other information may include the location of other fleet-related motor vehicles associated with the area.
  • Weather conditions Current and/or forecast weather conditions can be displayed to the teleoperator.
  • Terrain Features More spatial information about the terrain features can improve the teleoperator's understanding of how and where the motor vehicle should be maneuvered. This category includes features such as landmarks/obstacles, rubble and/or rough terrain.
  • the user interface design assets described above not only provide information about the teleoperated motor vehicle, but also about the environment of the teleoperated motor vehicle. They cover all three macro-levels of driver situational awareness: 1) perception of elements in the environment, 2) understanding of the current situation, and 3) projection of future status.
  • the respective information input area of the first and second display area can be set up to input information from the teleoperator, in particular information that controls a Vehicle longitudinal guidance and / or vehicle lateral guidance relate to receive.
  • the teleoperator workstation is designed to evaluate and process the information received via the respective information input area of the first and second display area and as control signals, in particular as control signals that relate to the control of the vehicle's longitudinal guidance and/or the vehicle's lateral guidance issue the teleoperated motor vehicle
  • the information input area of the first and/or the second display area can have a touch-sensitive input device, in particular a touch screen. It is conceivable that an indirect steering control of the motor vehicle takes place via the touch-sensitive input device.
  • the information input area of the first and/or the second display area has an input device for direct steering control of the teleoperated motor vehicle, in particular a joystick.
  • the input device for direct steering control of the teleoperated motor vehicle can be arranged on the side and level with the second display area, i.e. horizontally.
  • the teleoperator workstation is designed to output information to the teleoperator via the information output area of the first and/or the second display area, which information corresponds to a current environment of the teleoperated motor vehicle.
  • a teleoperator workstation with two display areas is proposed.
  • a primary display area is vertical and a second or secondary display area is arranged horizontally, whereby both display areas are located in front of a teleoperator or operator, ie in his line of sight, when the teleoperator workstation is in operation.
  • the two display areas can, but do not have to, be (physically) separate, but can also be part of a larger interaction area or display.
  • both display areas can act as input and output devices if required, i.e. the teleoperator can receive visual and haptic or tactile feedback and send control commands from both display areas to a teleoperated vehicle, in particular via touch input using a touch-sensitive input device.
  • the teleoperator can use the touch-sensitive input device installed horizontally in the teleoperator workstation to assess the remote vehicle and control it with a touch gesture.
  • more complex maneuvers can be controlled via a dedicated control joystick located on the left or right side of the teleoperator.
  • Indirect control may be used when there is high latency and/or a maneuver that is simple enough to be accomplished by sending a single command to the vehicle (e.g., "pass").
  • the teleoperator can use a direct steering control (e.g. the control joystick and/or a steering wheel, possibly with gas and brake pedals) to support the vehicle in more complex situations in order to move the teleoperated motor vehicle.
  • a direct steering control e.g. the control joystick and/or a steering wheel, possibly with gas and brake pedals
  • the workspace presented here not only offers a good view of the distant traffic situation, but also enables the teleoperator to move the remote automated motor vehicle directly and indirectly.
  • An embodiment with reference to FIG. 1 is described below.
  • FIG. 1 schematically shows a teleoperator workplace connected to a teleoperated motor vehicle.
  • the teleoperator workstation 2 is connected to the motor vehicle 1, in particular wirelessly. Communication standards known to those skilled in the art can be used for the exchange of data or information.
  • the motor vehicle is automated in such a way that an operator or teleoperator (not shown) can directly and/or indirectly control a lateral and/or longitudinal guidance of the motor vehicle using the information transmitted from the teleoperator workstation 2 to the teleoperated motor vehicle 1, in particular the control signals .
  • the teleoperator workstation 2 has a first or primary display area 21, which is arranged vertically, and a second or secondary display area 22, which is arranged horizontally.
  • horizontal can mean that the second display area 22 is arranged inclined to the horizontal up to an angle of inclination of 35°, in particular 30°.
  • the first and / or the second Display area 21, 22 is adjustable in height and/or adjustable at an angle of inclination to the horizontal or vertical.
  • the first and second display areas 21, 22 are (respectively) arranged to serve as an information input area and information output area for the teleoperator.
  • the first and second display areas 21, 22 can be continuous or can be designed as two physically separate units
  • the respective information output area of the first and second display area 21, 22 is presently set up to output information to the teleoperator by means of a visual display, i.e. here via a display, and by means of haptic feedback, i.e. here by means of vibration.
  • the information is output as a function of the sensor data received from the motor vehicle 1, which is processed and optionally evaluated by the teleoperator workstation 2 for this purpose.
  • the sensor data e.g. from a LiDAR sensor installed on motor vehicle 1 and/or a camera installed on motor vehicle 1
  • the teleoperator workstation 2 being configured to display information about the information output area of the output the first and/or the second display area to the teleoperator, which corresponds to the current environment of the teleoperated motor vehicle 1.
  • the respective information input area of the first and second display area 21, 22 is set up here to receive information that can be input by the teleoperator, ie the basis for the control signals for the motor vehicle 1 described above.
  • the information input area of the first and/or the second display area 21, 22 has a touch-sensitive input device, in particular a touchscreen.
  • the teleoperator workstation 2 processes and/or evaluates the information received via the respective information input area of the first and second display areas 21, 22 or entered by the teleoperator and then outputs this as control signals to the teleoperated motor vehicle 1.
  • the information input area of the first and/or the second display area 21, 22 can have an input device for direct steering control of the teleoperated motor vehicle 1, in particular a joystick (not shown).
  • This input device for direct steering control of the teleoperated motor vehicle 1 can be arranged to the side and at the height of the second display area 22, ie essentially in the horizontal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Bereitgestellt wird ein Teleoperator-Arbeitsplatz für ein teleoperiertes Kraftfahrzeug, wobei der Teleoperator-Arbeitsplatz einen ersten Anzeigebereich, der vertikal angeordnet ist, und einen zweiten Anzeigebereich, der horizontal angeordnet ist, aufweist. Der erste und der zweite Anzeigebereich sind eingerichtet, um als ein Informationseingabebereich und Informationsausgabebereich für einen Teleoperator zu dienen.

Description

TELEOPERATOR-ARBEITSPLATZ
Die vorliegende Erfindung betrifft einen Teleoperator-Arbeitsplatz für ein teleoperiertes Kraftfahrzeug.
Ferngesteuerte bzw. teleoperierte Kraftfahrzeuge sind auf das Verständnis einer Fahrsituation eines Teleoperators bzw. Bedieners angewiesen während dieser mit dem System interagiert. Insbesondere soll der Bediener ein hohes Maß an Situationsbewusstsein aufrechterhalten, d.h. das Bewusstsein, das der Bediener über die Veränderungen der Umgebung hat, unter Berücksichtigung der aktuellen und zukünftigen Aktionen des teleoperierten Kraftfahrzeugs.
Dazu werden basierend auf den Bedürfnissen des Bedieners geeignete Benutzerschnittstellen entworfen, um das Verständnis und den Umgang mit der entfernten Fahrsituation für den Bediener zu erleichtern.
In der US 10606259 B2 ist eine schematische perspektivische Ansicht einer gattungsgemäßen Teleoperations-Systemschnittstelle bzw. eines gattungsgemäßen Teleoperator-Arbeitsplatz gezeigt. Die Teleoperations-Systemschnittstelle umfasst drei Anzeigeeinheiten, die so eingerichtet sind, dass sie einem Teleoperator Informationen bereitstellen, die sich auf einen Betrieb eines Fahrzeugs oder mehrerer Fahrzeuge einer Flotte beziehen. Die Anzeigeeinheiten sind so eingerichtet, dass sie Informationen in Bezug auf von den Fahrzeugen empfangenen Kommunikationssignalen, Informationen in Bezug auf ein Straßennetz und/oder zusätzliche Informationen anzeigen, um eine Steuerung der Fahrzeuge durch den Teleoperator zu ermöglichen und zu erleichtern. Die Anzeigeeinheiten sind so eingerichtet, dass sie unterschiedliche Informationen in Bezug auf eines oder mehrere der Fahrzeuge anzeigen. Solche Informationen können als Animationen oder bildliche Darstellungen, Einfärbungen von Sensordaten, Abstraktionen von Sensordaten (z. B. Bounding Boxes) oder Ähnliches dargestellt werden, so dass die Informationen für den Teleoperator mit geringem Aufwand erfassbar sind. Darüber hinaus umfasst die in der der US 10606259 B2 gezeigte Teleoperations- Systemschnittstelle ein Teleoperator-Eingabegerät, das so eingerichtet ist, dass der Teleoperator einem der Fahrzeuge oder mehreren der Fahrzeuge Informationen zur Verfügung stellen kann, z.B. in Form von Teleoperations-Signalen, die das Fahrzeug bzw. die Fahrzeuge führen. Die Teleoperator-Eingabevorrichtung kann einen oder mehrere berührungsempfindliche Bildschirme, einen Stift, eine Maus, einen Drehknopf, ein Tastenfeld und/oder ein Gesteneingabesystem umfassen, das so eingerichtet ist, dass es vom Teleoperator ausgeführte Gesten in Eingabebefehle für die Teleoperator-Schnittstelle übersetzt. Die Eingabevorrichtung kann einen geteilten Bildschirm umfassen, der verschiedene berührungsempfindliche Bereiche aufweist, die der Teleoperator verwenden kann, um verschiedene Arten von Informationen für eines der Fahrzeuge bereitzustellen. Beispielsweise können die verschiedenen Bereiche des geteilten Bildschirms dem Teleoperator verschiedene Arten von Informationen zur Verfügung stellen und es dem Teleoperator erleichtern, dem Fahrzeug Anweisungen zu geben, mit dem Fahrzeug zusammenzuarbeiten und/oder Informationen und/oder vorgeschlagene Aktionen zu bestätigen, die vom Fahrzeug ausgeführt werden sollen. Zum Beispiel kann ein Teil des Eingabegeräts ein Menü verschiedener Fahrzeuge der Flotte bereitstellen, um dem Teleoperator die Auswahl eines Fahrzeugs zu erleichtern, für das er Anweisungen geben möchte. Andere Teile des Eingabegeräts können interaktive Anzeigen und/oder Optionen zur Bereitstellung von Anweisungen für ein ausgewähltes Fahrzeug enthalten.
Vor dem Flintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine gattungsgemäße Vorrichtung anzugeben, welche funktionell so weiterentwickelt ist, dass sie einem Teleoperator eines teleoperierten Kraftfahrzeugs eine ergonomischere Bedienung ermöglicht.
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
Danach wird die Aufgabe durch einen Teleoperator-Arbeitsplatz für ein teleoperiertes Kraftfahrzeug, insbesondere ein teleoperiertes Automobil, gelöst, der einen ersten Anzeigebereich, der im Wesentlichen vertikal angeordnet ist, und einen zweiten Anzeigebereich, der im Wesentlichen horizontal angeordnet ist, aufweist.
Horizontal und vertikal beziehen sich dabei auf eine horizontale bzw. vertikale Ebene.
Der Teleoperator-Arbeitsplatz zeichnet sich dadurch aus, dass der erste und der zweite Anzeigebereich eingerichtet sind, um als ein Informationseingabebereich und Informationsausgabebereich für einen Teleoperator zu dienen
Denkbar ist, dass der erste und der zweite Anzeigebereich durchgängig ausgeführt sind. Das heißt, der Anzeigenbereich kann als ein Bauteil, insbesondere mit einem gebogenen Display und/oder mehreren Displays, ausgeführt sein Denkbar ist auch, dass der erste und der zweite Anzeigebereich als zwei physisch getrennte Einheiten ausgeführt sind. Das heißt, es kann beispielsweise eine Displayeinheit horizontal und eine Displayeinheit vertikal angeordnet sein, wobei jede der Displayeinheiten ein oder mehrere Displays aufweisen kann. Der jeweilige Informationsausgabebereich des ersten und des zweiten
Anzeigebereichs kann eingerichtet sein, um Informationen mittels einer visuellen Anzeige und optional mittels haptischen Feedback an den Teleoperator auszugeben.
Nachfolgend werden Benutzerschnittstellen-Design-Assets, die mittels des Informationsausgabebereichs des ersten und/oder des zweiten Anzeigebereichs angezeigt werden können, beschrieben, wobei die Benutzerschnittstellen-Design- Assets in 12 Kategorien sortiert sind und ein ganzheitliches Anzeigekonzept ergeben. Fahrzeugposition: Die Fahrzeugposition beschreibt, wie und wo sich das teleoperierte Kraftfahrzeug befindet. Zu den notwendigen Primärinformationen gehören daher: 360°-Fernsicht, Richtung des Kraftfahrzeugs, Standort des Kraftfahrzeugs, Lenkradausrichtungswinkel und/oder Ausrichtung der Räder des Kraftfahrzeugs. Hier kann auch die Fahrzeuggeschwindigkeit berücksichtigt werden.
Fahrzeugstatus: Weitere wichtige Informationen über den Status des Kraftfahrzeugs können der Motor-/Batteriezustand sein, d.h. der Lade-/Kraftstoffstand des Kraftfahrzeugs, die Motor-/Batterietemperatur und der Motorölstand. Dazu können Informationen über sonstige Fahrzeugschäden, z.B. Reifen, Licht und Ähnliches, und/oder die letzte Fahrzeuginspektion sowie ggf. allgemeine Fahrzeugschäden, z. B. an der Karosserie, kommen
Fahrzeugprobleme: Der Teleoperator kann wichtige Informationen über vergangene, gegenwärtige und/oder in naher Zukunft auftretende Fahrzeugprobleme erhalten, einschließlich Standort und Aktionen, unerwartete technische Probleme, unerwartete Verkehrssituationen, unvorhergesehene Kundenprobleme und/oder Wartungsroutinen. Diese Informationen können es dem Teleoperator ermöglichen, ein schnelles Verständnis für die Situation zu entwickeln.
Fahrzeugeigenschaften: Mit Fahrzeugeigenschaften ist die tatsächliche
Fahrzeuggröße gemeint, d.h. Länge, Breite und/oder Höhe, ggf. einschließlich des Gewichts des Kraftfahrzeugs. Neben dem spezifischen Gewicht des Kraftfahrzeugs können, zusätzlich oder alternativ, Informationen über den Ladungszustand des Kraftfahrzeugs, d.h. Beladung/Entladung und/oder Art der Ladung, für den Bediener wichtig sein, um sein Fahrverhalten an die Situation anzupassen. Fahrzeugbetrieb: Um vorausschauend zu fahren und den Teleoperator beim Verständnis der zukünftigen Situation zu unterstützen, kann das voraussichtliche Ziel des Kraftfahrzeugs (kurz- und langfristig) und/oder die voraussichtliche Halteposition des Fahrzeugs angezeigt werden. Außerdem können dem Teleoperator mögliche Kollisionswarnungen in Längs- und Querrichtung übermittelt werden. Zusätzlich kann das System mögliche Stellen vorschlagen, an denen das Kraftfahrzeug abgestellt werden kann, z.B. um das Kraftfahrzeug sicher zu stoppen. Alternativ kann das System Wendemanöver und ähnliche Steuerungsaktionen empfehlen. Bei all diesen Informationen sollte die Kommunikationsverzögerung vom und zum Kraftfahrzeug nicht vernachlässigt werden.
Ziele der Fahraufgabe: Der Teleoperator muss möglicherweise wissen, wie lange der Vorgang dauert, welche Auswirkungen er auf das Kraftfahrzeug hat und welche zeitlichen Beschränkungen bestehen (bspw. wenn der Teleoperator unter Zeitvorgaben arbeiten muss). Es könnte hilfreich sein, die voraussichtliche Zeit bis zur Fertigstellung der Fahraufgabe, die folgende(n) Fahraufgabe(n) und/oder die Priorität der Fahraufgabe(n) zu kennen. Angezeigt werden sollte auch die Gesamtzahl der Fahraufgaben, die erledigt werden müssen. Zuletzt kann die voraussichtliche Wahrscheinlichkeit, die Aufgaben zu erledigen, oder die projizierte Notwendigkeit, die Aufgaben abzulegen, angezeigt werden.
Bordsensorik: Funktionalität und Zustand (d.h. z.B. ein/aus) von Onboard-Sensoren wie LiDAR (engl für „Light Detecting and Ranging“), Lang-, Mittel- und/oder
Kurzstreckenradar und/oder Kameras können ebenfalls angezeigt werden. Kameradaten können weitere Informationen wie Orientierung und Zoomstufe enthalten. Neben der Funktionalität und dem Status der Sensorik können zusätzliche Detailinformationen, wie die Anzahl der Sensoren, die ein Hindernis erkennen, und ggf. die Art der Sensoren, die das Hindernis erkennen, verfügbar sein. Möglicherweise ist es für erfahrene Teleoperatoren hilfreich, die Ergebnisse der vergangenen Erkennung der Vorhersagegenauigkeit zu kennen.
Zustand der Kommunikation: Es können Informationen über die Qualität und den Zustand der Kommunikationsverbindung vom und zum Kraftfahrzeug berücksichtigt werden. Das heißt, es kann beispielsweise eine Bandbreite vom Kraftfahrzeug zum Bediener und umgekehrt, eine verfügbare Bandbreite, Bandbreitenanforderungen, ggf. einschließlich einer aktuellen Signalstärke, eine zukünftige Entwicklung, eine Liste verfügbarer Mobilfunkanbieter und/oder der aktuell genutzte Mobilfunkanbieter angezeigt werden.
Objekte bzw. Hindernisse: Um die räumliche Beziehung zwischen dem Kraftfahrzeug und Hindernissen in der Umgebung des Kraftfahrzeugs zu verstehen, sollte der Teleoperator die Entfernung und den Standort des Objekts bzw. Hindernisses kennen. Weitere Details können die Eigenschaften des Objekts bzw. Hindernisses, wie Material (d.h. z.B. fest oder flüssig) und/oder Größe (d.h. Länge, Breite, Tiefe und/oder Höhe), umfassen.
Umgebungsinformationen: Zu den Umgebungsinformationen gehören wichtige Details über die Umgebung. Sie können Informationen über die in der Umgebung geltende Geschwindigkeitsbegrenzung und/oder andere Verkehrssignalisierungs und Infrastrukturinformationen, z.B. Ampeln, enthalten. Weitere Informationen können den Standort anderer flottenbezogener Kraftfahrzeuge beinhalten, die dem Gebiet zugeordnet sind.
Wetterbedingungen: Aktuelle und/oder vorhergesagte Wetterbedingungen können dem Teleoperator angezeigt werden. Schlechte Wetterbedingungen, wie starker Niederschlag, Wind und Vereisung, beeinträchtigen die operative Leistung. Daher sollte der Teleoperator die aktuellen und vorhergesagten Wetterinformationen kennen, um sein Fahrverhalten anzupassen.
Geländemerkmale: Weitere räumliche Informationen über die Geländemerkmale können das Verständnis des Teleoperators dafür verbessern, wie und wohin das Kraftfahrzeug manövriert werden sollte. Zu dieser Kategorie gehören Merkmale wie Landmarken/Hindernisse, Geröll und/oder unebenes Gelände.
Die oben beschriebenen Benutzerschnittstellen-Design-Assets liefern nicht nur Informationen über das teleoperierte Kraftfahrzeug, sondern auch über die Umgebung des teleoperierten Kraftfahrzeugs. Sie decken alle drei Makroebenen des Fahrer- Situationsbewusstseins ab: 1) Wahrnehmung von Elementen in der Umgebung, 2) Verständnis der aktuellen Situation und 3) Projektion des zukünftigen Status.
Der jeweilige Informationseingabebereich des ersten und des zweiten Anzeigebereichs kann eingerichtet sein, um von dem Teleoperator eingebbare Informationen, insbesondere Informationen, die eine Steuerung einer Fahrzeuglängsführung und/oder einer Fahrzeugquerführung betreffen, zu empfangen.
Denkbar ist, dass der Teleoperator-Arbeitsplatz ausgestaltet ist, um die über den jeweiligen Informationseingabebereich des ersten und des zweiten Anzeigebereichs empfangenen Informationen auszuwerten, zu verarbeiten und als Steuersignale, insbesondere als Steuersignale, die die Steuerung der Fahrzeuglängsführung und/oder der Fahrzeugquerführung betreffen, an das teleoperierte Kraftfahrzeug auszugeben
Der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs kann ein berührungsempfindliches Eingabegerät, insbesondere einen Touchscreen, aufweisen. Denkbar ist, dass über das berührungsempfindliches Eingabegerät ein indirekte Lenkungssteuerungen des Kraftfahrzeugs erfolgt.
Denkbar ist, dass der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs ein Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs, insbesondere einen Joystick, aufweist. Das Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs kann seitlich und auf Höhe des zweiten Anzeigebereichs, d.h. in der Horizontalen, angeordnet sein.
Denkbar ist, dass der Teleoperator-Arbeitsplatz ausgestaltet ist, um Informationen über den Informationsausgabebereich des ersten und/oder des zweiten Anzeigebereichs an den Teleoperator auszugeben, die zu einer aktuellen Umgebung des teleoperierten Kraftfahrzeugs korrespondieren.
Das oben Beschriebene kann mit anderen Worten und konkreter wie nachfolgend beschrieben zusammengefasst werden.
Es wird ein Teleoperator-Arbeitsplatz mit zwei Anzeigebereichen vorgeschlagen. Ein primärer Anzeigebereich ist vertikal und ein zweiter bzw. sekundärer Anzeigebereich ist horizontal angeordnet, wobei sich beide Anzeigebereiche im Betrieb des Teleoperator-Arbeitsplatzes vor einem Teleoperator bzw. Bediener, d.h. in dessen Blickrichtung, befinden. Die beiden Anzeigebereiche können, müssen aber nicht, (physisch) getrennt sein, sondern können auch Teil eines größeren Interaktionsbereichs oder Displays sein.
Zudem können beide Anzeigebereiche bei Bedarf als Ein- und Ausgabegeräte fungieren, d.h. der Teleoperator kann visuelles und haptisches bzw. taktiles Feedback erhalten und von beiden Anzeigebereiche aus Steuerbefehle, insbesondere über eine Touch-Eingabe mittels einem berührungssensitiven Eingabegerät, an ein teleoperiertes Fahrzeug senden.
Denkbar ist, dass der Teleoperator mittels dem berührungssensitiven Eingabegerät, das horizontal in dem Teleoperator-Arbeitsplatzes installiert ist, das entfernte Fahrzeug einschätzen und per Touch-Geste steuern kann.
Zusätzlich oder alternativ können komplexere Manöver über einen dedizierten Steuerjoystick, der sich auf der linken oder rechten Seite des Teleoperators befindet, gesteuert werden.
Die indirekte Steuerung kann bei einer hohen Latenzzeit und/oder bei einem Manöver zum Einsatz kommen, das so einfach ist, dass es durch ein Senden eines einzigen Befehls an das Fahrzeug gelöst werden kann (z. B. "überholen").
Zusätzlich oder alternativ kann der Teleoperator zur Unterstützung des Fahrzeugs in komplexeren Situationen auf eine direkte Lenkungssteuerung (z.B. den Steuerjoystick und/oder ein Lenkrad ggf. mit Gas- und Bremspedalen) zurückgreifen, um das teleoperierte Kraftfahrzeug zu bewegen.
Somit bietet der hier vorgestellte Arbeitsraum nicht nur eine gute Sicht auf die entfernte Verkehrssituation, sondern ermöglicht es dem Teleoperator, das entfernte automatisierte Kraftfahrzeug direkt und indirekt zu bewegen. In dieser Hinsicht unterstützt die Integration verschiedener Fernbedienungskonzepte in ein Teleoperator-Arbeitsraumdesign, wie direkte oder indirekte Lenkung, verschiedene Herausforderungen des autonomen Fahrens in der realen Welt. Nachfolgend wird eine Ausführungsform mit Bezug zu Figur 1 beschrieben.
Fig. 1 zeigt schematisch einen zu einem teleoperierten Kraftfahrzeug verbundenen Teleoperator-Arbeitsplatz. Wie Figur 1 zu entnehmen ist, ist ein bidirektionaler Daten bzw.
Informationsaustausch zwischen dem automatisierten, teleoperierten Kraftfahrzeug 1 und dem Teleoperator-Arbeitsplatz 2, insbesondere von Steuersignalen vom Teleoperator-Arbeitsplatz 2 zum teleoperierten Kraftfahrzeug 1 und von Sensordaten vom Kraftfahrzeug 1 zum Teleoperator-Arbeitsplatz 2, vorgesehen.
Dazu ist der Teleoperator-Arbeitsplatz 2 mit dem Kraftfahrzeug 1, insbesondere drahtlos, verbunden. Für den Daten- bzw. Informationsaustausch können dem Fachmann bekannte Kommunikationsstandards verwendet werden. Das Kraftfahrzeug ist so automatisiert, dass ein (nicht dargestellter) Bediener bzw. Teleoperator mittels der vom Teleoperator-Arbeitsplatz 2 zum teleoperierten Kraftfahrzeug 1 übertragenen Informationen, insbesondere der Steuersignale, eine Quer- und/oder Längsführung des Kraftfahrzeugs direkt und/oder indirekt steuern kann.
Dazu weist der Teleoperator-Arbeitsplatz 2 einen ersten bzw. primären Anzeigebereich 21, der vertikal angeordnet ist, und einen zweiten bzw. sekundären Anzeigebereich 22, der horizontal angeordnet ist, auf. Horizontal kann vorliegend bedeuten, dass der zweite Anzeigebereich 22 bis zu einem Neigungswinkel von 35°, insbesondere 30°, geneigt zur Horizontalen angeordnet ist. Insbesondere ist denkbar, dass der erste und/oder der zweite Anzeigebereich 21, 22 höhenverstellbar und/oder in einem Neigungswinkel zur Horizontalen bzw. Vertikalen verstellbar angeordnet ist/sind.
Der erste und der zweite Anzeigebereich 21 , 22 sind (jeweils) eingerichtet, um als ein Informationseingabebereich und Informationsausgabebereich für den Teleoperator zu dienen.
Der erste und der zweite Anzeigebereich 21, 22 können durchgängig oder als zwei physisch getrennte Einheiten ausgeführt sein
Der jeweilige Informationsausgabebereich des ersten und des zweiten Anzeigebereichs 21, 22 ist vorliegend eingerichtet, um Informationen mittels einer visuellen Anzeige, d.h. hier über ein Display, und mittels haptischen Feedback, d.h. hier mittels Vibration, an den Teleoperator auszugeben.
Die Ausgabe der Informationen erfolgt in Abhängigkeit der von dem Kraftfahrzeug 1 empfangenen Sensordaten, die zu diesem Zwecke von dem Teleoperator- Arbeitsplatz 2 verarbeitet und ggf. ausgewertet werden. Die Sensordaten, z.B. von einem am Kraftfahrzeug 1 installierten LiDAR-Sensor und/oder einer am Kraftfahrzeug 1 installierten Kamera, können zu einer aktuellen Umgebung des teleoperierten Kraftfahrzeugs 1 korrespondieren, wobei der Teleoperator-Arbeitsplatz 2 dadurch ausgestaltet ist, um Informationen über den Informationsausgabebereich des ersten und/oder des zweiten Anzeigebereichs an den Teleoperator auszugeben, die zu der aktuellen Umgebung des teleoperierten Kraftfahrzeugs 1 korrespondieren.
Zudem ist hier der jeweilige Informationseingabebereich des ersten und des zweiten Anzeigebereichs 21, 22 eingerichtet, um von dem Teleoperator eingebbare Informationen, d.h. die Grundlage für die oben beschriebenen Steuersignale für das Kraftfahrzeug 1 , zu empfangen. Der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs 21, 22 weisen dazu ein berührungsempfindliches Eingabegerät, insbesondere einen Touchscreen, auf. Der Teleoperator-Arbeitsplatz 2 verarbeitet und/oder wertet die über den jeweiligen Informationseingabebereich des ersten und des zweiten Anzeigebereichs 21, 22 empfangenen bzw. vom Teleoperator eingegebenen Informationen aus und gibt diese anschließend als Steuersignale an das teleoperierte Kraftfahrzeug 1 aus. Zusätzlich kann der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs 21, 22 ein Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs 1, insbesondere einen (nicht dargestellten) Joystick, aufweisen. Dieses Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs 1 kann seitlich und auf Höhe des zweiten Anzeigebereichs 22 angeordnet sein, d.h. im Wesentlichen in der horizontalen.
Bezugszeichenliste
1 teleoperiertes automatisiertes Kraftfahrzeug 2 Teleoperator-Arbeitsplatz
21 primärer bzw. erster Anzeigebereich
22 sekundärer bzw. zweiter Anzeigebereich

Claims

Patentansprüche
1. Teleoperator-Arbeitsplatz (2) für ein teleoperiertes Kraftfahrzeug (1), wobei der Teleoperator-Arbeitsplatz (2) aufweist: - einen ersten Anzeigebereich (21 ), der vertikal angeordnet ist, und
- einen zweiten Anzeigebereich (22), der horizontal angeordnet ist, dadurch gekennzeichnet, dass
- der erste und der zweite Anzeigebereich (21 , 22) eingerichtet sind, um als ein Informationseingabebereich und Informationsausgabebereich für einen Teleoperator zu dienen.
2. Teleoperator-Arbeitsplatz (2) nach Anspruch 1, dadurch gekennzeichnet, dass der erste und der zweite Anzeigebereich (21, 22) durchgängig ausgeführt sind.
3. Teleoperator-Arbeitsplatz (2) nach Anspruch 1, dadurch gekennzeichnet, dass der erste und der zweite Anzeigebereich (21, 22) als zwei physisch getrennte Einheiten ausgeführt sind.
4. Teleoperator-Arbeitsplatz(2) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der jeweilige Informationsausgabebereich des ersten und des zweiten Anzeigebereichs (21, 22) eingerichtet ist, um Informationen mittels einer visuellen Anzeige und optional mittels haptischen Feedback an den Teleoperator auszugeben.
5. Teleoperator-Arbeitsplatz (2) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der jeweilige Informationseingabebereich des ersten und des zweiten Anzeigebereichs (21, 22) eingerichtet ist, um von dem Teleoperator eingebbare Informationen zu empfangen.
6. Teleoperator-Arbeitsplatz (2) nach Anspruch 5, dadurch gekennzeichnet, dass der Teleoperator-Arbeitsplatz die über den jeweiligen Informationseingabebereich des ersten und des zweiten Anzeigebereichs (21, 22) empfangenen Informationen auszuwerten, zu verarbeiten und als Steuersignale an das teleoperierte Kraftfahrzeug (1) auszugeben.
7. Teleoperator-Arbeitsplatz (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs (21, 22) ein berührungsempfindliches Eingabegerät, insbesondere einen Touchscreen, aufweist.
8. Teleoperator-Arbeitsplatz (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Informationseingabebereich des ersten und/oder des zweiten Anzeigebereichs (21, 22) ein Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs (1), insbesondere einen Joystick, aufweist.
9. Teleoperator-Arbeitsplatz (2) nach Anspruch 8, dadurch gekennzeichnet, dass das Eingabegerät zur direkten Lenkungssteuerung des teleoperierten Kraftfahrzeugs seitlich und auf Höhe des zweiten Anzeigebereichs (21, 22) angeordnet ist.
10. Teleoperator-Arbeitsplatz (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Teleoperator-Arbeitsplatz (2) ausgestaltet ist, um Informationen über den Informationsausgabebereich des ersten und/oder des zweiten Anzeigebereichs (21, 22) an den Teleoperator auszugeben, die zu einer aktuellen Umgebung des teleoperierten Kraftfahrzeugs (1) korrespondieren.
PCT/EP2022/066655 2021-07-06 2022-06-20 Teleoperator-arbeitsplatz Ceased WO2023280554A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021117450.3 2021-07-06
DE102021117450.3A DE102021117450A1 (de) 2021-07-06 2021-07-06 Teleoperator-arbeitsplatz

Publications (1)

Publication Number Publication Date
WO2023280554A1 true WO2023280554A1 (de) 2023-01-12

Family

ID=82404169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/066655 Ceased WO2023280554A1 (de) 2021-07-06 2022-06-20 Teleoperator-arbeitsplatz

Country Status (2)

Country Link
DE (1) DE102021117450A1 (de)
WO (1) WO2023280554A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024102983A1 (de) 2024-02-02 2025-08-07 Valeo Schalter Und Sensoren Gmbh Leitstand zum ferngesteuerten Betreiben eines Kraftfahrzeugs sowie Verfahren zum Betreiben eines solchen Leitstands

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225006A1 (en) * 2005-10-11 2008-09-18 Abderrahim Ennadi Universal Touch Screen Keyboard
US20190011910A1 (en) * 2017-07-07 2019-01-10 Zoox, Inc. Interactions between vehicle and teleoperations system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225006A1 (en) * 2005-10-11 2008-09-18 Abderrahim Ennadi Universal Touch Screen Keyboard
US20190011910A1 (en) * 2017-07-07 2019-01-10 Zoox, Inc. Interactions between vehicle and teleoperations system
US10606259B2 (en) 2017-07-07 2020-03-31 Zoox, Inc. Interactions between vehicle and teleoperations system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Big and Small: Display Technologies Transform Control Rooms | Automation World", 18 September 2020 (2020-09-18), pages 1, XP055962363, Retrieved from the Internet <URL:https://web.archive.org/web/20200918102841/https://www.automationworld.com/products/control/article/13314243/big-and-small-display-technologies-transform-control-rooms#next-slide> [retrieved on 20220919] *

Also Published As

Publication number Publication date
DE102021117450A1 (de) 2023-01-12

Similar Documents

Publication Publication Date Title
DE102014015493B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
EP3543059B1 (de) Verfahren zur berechnung einer einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
DE102016112859B4 (de) Navigationsvorrichtung für ein autonom fahrendes Fahrzeug
DE3820589C2 (de) Verfahren und Steuervorrichtung zum selbsttätigen Steuern eines Landfahrzeuges
EP3027484B1 (de) Verfahren zum nutzen eines kommunikationsendgeräts in einem kraftfahrzeug beim aktivierten autopiloten und kraftfahrzeug
DE102016220313B3 (de) Verfahren zum Betrieb eines Kraftfahrzeugs mit mehreren Fahrerassistenzsystemen und Kraftfahrzeug
DE102019102173A1 (de) Verwaltung der automatisierten fahrkomplexität des vorausliegenden fahrweges unter verwendung des wahrnehmungssystems
DE102021123234A1 (de) Teleoperator-arbeitsplatz
DE102016116928A1 (de) Formulieren von Leitplänen auf Fahrspurebene
WO2019081420A1 (de) Verfahren zum frühzeitigen hinweisen auf einen betriebsbereich mit einem unzureichenden verlässlichkeitsstatus eines assistenzsystems eines fortbewegungsmittels, system und automobil
DE102019104778A1 (de) Verfahren und Steuereinheit zum Betrieb eines Fahrzeugs bei Annäherung an ein Halte-Ereignis
DE102022208199A1 (de) Sicherheitssteuerung für automatisiertes Fahren
DE102005008874A1 (de) Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen
DE102021101086A1 (de) Fahrzeugbetriebsmodi
DE102018210226A1 (de) Verfahrung und vorrichtung für die verwendung mit fahrzeugen mit autonomem fahrmodus
EP3176047A1 (de) Betriebssystem für den fahrbetrieb eines fahrzeugs, insbesondere eines nutzfahrzeugs
WO2020108839A1 (de) Situationsabhängige berechnung einer soll-fahrzeuggeschwindigkeit
DE102020206144A1 (de) Parkassistent und Verfahren zum adaptiven Parken eines Fahrzeugs zur Optimierung eines übergreifenden Sensorerfassungsbereichs einer Verkehrsumgebung
DE102017210221A1 (de) Verfahren zur Längs- und Querführung eines Kraftfahrzeugs
DE102020213514A1 (de) Situationsabhängige Festlegung von Beobachtungsbereichen für zumindest teilautonom betriebene Kraftfahrzeuge
DE102018111016A1 (de) (Teil-) autonomes Kraftfahrzeug und Verfahren zum Betreiben desselben
DE102018222002B4 (de) Verfahren und elektronisches Fahrzeugführungssystem zur Fernsteuerung eines fahrerlos fahrenden Kraftfahrzeugs
DE102017223451B4 (de) Verfahren zum Ausleuchten eines Fahrbahnbereichs durch Projizieren einer Trajektorie sowie Kraftfahrzeug
WO2023280554A1 (de) Teleoperator-arbeitsplatz
DE102019220313B4 (de) Verfahren zum Beurteilen eines Fahrbahnzustands einer Fahrbahn, sowie Fahrbahnzustandsbeurteilungssystem und Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22737775

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22737775

Country of ref document: EP

Kind code of ref document: A1