WO2023111184A1 - Assigning a task to a remotely located expert - Google Patents

Assigning a task to a remotely located expert Download PDF

Info

Publication number
WO2023111184A1
WO2023111184A1 PCT/EP2022/086164 EP2022086164W WO2023111184A1 WO 2023111184 A1 WO2023111184 A1 WO 2023111184A1 EP 2022086164 W EP2022086164 W EP 2022086164W WO 2023111184 A1 WO2023111184 A1 WO 2023111184A1
Authority
WO
WIPO (PCT)
Prior art keywords
expert
task
instruction
location
processing
Prior art date
Application number
PCT/EP2022/086164
Other languages
German (de)
French (fr)
Inventor
Niklas Brandt
Nils Kessler
Christian Kiefer
Yannick Wehmann
Gero Jacob Corman
Timm SCHULZ-ISENBECK
Lukas Lehmann
Martin Kumke
Miriam HERMANN
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Publication of WO2023111184A1 publication Critical patent/WO2023111184A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, master-slave control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40153—Teleassistance, operator assists, controls autonomous robot

Definitions

  • the invention relates to a method for determining and assigning a task to a remote expert and a corresponding computer program, a device and a system.
  • a method for remote control of a mobile robot and an intuitive user interface for remote control of a mobile robot are known from US Pat. No. 6,535,793 B2.
  • the user is able to select a destination within a heads-up display to move a mobile robot to.
  • Additional graphical overlays are provided to help the user navigate even in systems with asynchronous communication.
  • the disadvantage here is that the method is not suitable for determining a suitable geographically distant expert.
  • the disclosed method does not allow automated error estimation.
  • Document CN 11 145 9274 A discloses a teleoperation method for an unstructured environment based on 5G+AR.
  • the method comprises the following steps: first, performing a rapid three-dimensional reconstruction on an unstructured environment in which a robot resides and imaging a reconstructed one scene into a virtual reality space, and then capturing a user's gesture action, creating a virtual model of the user's hand, and mapping the gesture action into the virtual reality space, thereby realizing an interaction between the user and the virtual object; finally, the introduction of assistive technology to help the user finish the teleoperation work more accurately and quickly.
  • the disadvantage here is that the disclosed method is limited to an improvement of a three-dimensional reconstruction; the disclosure is silent with regard to an automated error assessment and/or the determination of a suitable, geographically distant expert.
  • a robot operates in an autonomous mode of operation, in which the robot performs one or more tasks autonomously without human intervention.
  • the robot realizes that no strategy is available to perform a next task autonomously.
  • the robot enters a human intervention mode of operation.
  • the disadvantage is that no strategy is provided for selecting a suitable expert for operating the robot in the human intervention operating mode.
  • the reference only discloses entering the human intervention mode of operation and not further specifying asking for help.
  • augmented reality systems and methods for human-robot communication are disclosed in the published application US 2021/0094 180 A1.
  • some embodiments use augmented reality to facilitate robot intent communication and teleoperation in human-robot cooperative environments.
  • Various embodiments of the present technology provide middleware that integrates augmented reality with novel teleoperation interfaces to increase operational effectiveness, assist the user in performing concurrent work, and reduce stress.
  • Various embodiments provide predictive graphical interfaces so that a teleoperator controls a virtual robot surrogate rather than directly operating the robot itself, giving the user a prediction of where the physical robot will end up and how it will get there.
  • using such a surrogate a user can choose between two AR interfaces: one focused on real-time control and one inspired by waypoint delegation.
  • the disadvantage here is that the teaching disclosed relates to an improvement in control of a robot, the disclosure is silent regarding determining a suitable geographically remote expert
  • the invention is now based on the object of specifying a possibility of determining a suitable expert quickly and reliably.
  • the expert should be determined automatically and preferably be able to process a given task teleoperatively.
  • an apparatus for determining and assigning a task to a remote expert comprising: an input interface for receiving status data with information on a status that requires processing and/or task data with information on a defined task; an analysis unit for determining a suitable expert for the task based on the status data and/or the task data and expert information from an expert database and an output interface for transmitting expert data with information regarding the suitable expert, the analysis unit being designed to automatically identify the suitable expert determine.
  • a system for completing a task at a task location by a remote expert at an instruction location comprising: a detection unit for detecting an expert instruction at the instruction location regarding the task to be processed at the task location; a transmission unit for transmitting the expert instruction from the instruction location to the task location; and an execution unit for executing the transmitted expert instruction at the task location.
  • any arrangements for processing the task that can be performed at the execution site can be performed efficiently and quickly.
  • Transmission of the defined task to a backlog system allows for efficient task management, which can in particular be managed, maintained and operated centrally.
  • the automated determination of a suitable expert for the task enables the task to be quickly assigned to an expert.
  • human assignment is preferably no longer necessary. Costs can be saved and efficiency increased.
  • allocation times can be shortened.
  • Working through the task by the expert, with the expert staying remotely at an instruction location enables the task to be completed quickly.
  • the expert can preferably start working on the task directly and does not have to travel to the task location. Furthermore, the expert does not have to instruct any other employees at the task location.
  • a front-end interface can provide a cost-effective device that can preferably be used with existing systems, modules, and units.
  • An input interface can be wired and/or wireless and preferably support one or more communication protocols.
  • a suitable expert can be determined quickly and reliably by means of an analysis unit.
  • An output interface enables a cost-efficient device that can preferably be used with existing storage or backlog systems, in particular cloud storage.
  • the device can also be created, at least in part, purely by software.
  • the detection of a state that requires processing and preferably the definition of a task is carried out by an IOT-enabled device. This allows the status to be recorded directly by the device itself. Furthermore, an exact detection of the status and an unambiguous definition of the task take place. A corresponding state is detected quickly, reliably and directly.
  • An IOT-enabled device is characterized in particular by having a—in particular wireless—communications interface with which data can be exchanged with other devices having a communications interface and/or central-side servers. This preferably happens via the Internet and/or wireless communication networks such as 5G.
  • the task includes digital manipulation and the processing of the task by the expert preferably includes representing a digital twin of the environment in which the task occurs, the expert preferably moving virtually in the digital twin and/or can act with the digital twin, wherein an interaction of the expert with the digital twin is translated into a real control instruction of the IOT-enabled device.
  • This preferably means that the expert does not need to have any remote maintenance knowledge in order to process the task teleoperatively. The expert does not require any special training but can work through the task as if he were at the task location.
  • the task includes a mechanical manipulation and the processing of the task by the expert preferably includes controlling an at least partially autonomous humanoid robot, with a 360-degree camera image from the perspective of the humanoid robot being particularly preferred is transmitted to the expert's VR glasses and an expert instruction in the form of a movement of the expert at the instruction location, in particular in real time, is repeated by the humanoid robot at the execution location.
  • an intuitive control for a humanoid robot is provided, which allows an expert to work through the task, preferably without prior knowledge of robot control. The expert does not require any special training but can process the task as if he were at the task location.
  • communication between the place of execution and the place of instruction takes place by means of a wireless network, in particular a 5G network.
  • a wireless network in particular a 5G network.
  • secure and fast communication can be achieved, which can be set up wirelessly in particular.
  • an AI preferably based on a processing and evaluation history of the expert
  • individual tasks being particularly preferably prioritized based on the additional costs incurred.
  • a class and a processing and evaluation history make it possible that with each determination of an expert and processing of a task, the next determination of the expert can take place in an improved manner.
  • a learning system can be created that becomes faster and more reliable with increasing operating time.
  • the data recorded in this way are intended as input data for the class to decide on the selection of the expert for future tasks. For this purpose, they are made available to the AI system by means of IOT transmission.
  • the following step is provided: evaluating how successfully the task was processed, preferably based on the duration of processing, processing costs and/or error recurrence, with the evaluation particularly preferably being stored in an expert database.
  • an expert can be selected more precisely in the future.
  • a database can be used to create expert profiles for various experts, so that the most suitable expert can be determined from a large number of experts.
  • a suitable expert can not only be determined based on successful completion of the task or the duration, but the costs can also be optimized, for example. If a wide time window is available for completing the task, a slower expert who causes less costs for this can be selected, for example.
  • Machine learning or machine learning is a generic term for the "artificial" or machine generation of knowledge from experience: An artificial system learns from examples and can generalize them after the learning phase has ended. To do this, machine learning algorithms build a statistical model based on training data. This means that the examples are not simply learned by heart, but that patterns and regularities are recognized in the learning data. The system can also assess unknown data, a so-called learning transfer, or fail to learn unknown data, for example due to overfitting.
  • 5G refers to the fifth generation of mobile communications and is a mobile communications standard that has been gaining popularity since 2019. 5G is based on the existing "Long Term Evolution" standard - LTE. The radio cells will probably be expanded more closely with 5G in cities than with previous technologies. It also offers improvements in terms of real-time capability due to reduced latencies and higher reliability.
  • a humanoid robot is a highly developed mechanical being, more precisely a robot whose construction is based on the human form.
  • the positions of the joints and the movement sequences of a humanoid robot are often inspired by the human joint positions and movement sequences.
  • a humanoid robot mostly walks on two legs. It goes without saying that another form of locomotion by means of wheels or chains is also conceivable.
  • a form of humanoid robot that is particularly similar to humans in terms of appearance and behavior is the android.
  • PLM is a management approach and includes the holistic management of all data and information that is processed and distributed when developing new products or updating existing ones.
  • VR virtual reality
  • IOT Internet of Things
  • All-Network Internet of Things is preferably a collective term for technologies of a global infrastructure of the information societies, which makes it possible to network physical and virtual objects with each other and to let them work together through information and communication technologies.
  • Figure 1 is a schematic representation of a device for determining
  • FIG. 2 shows a schematic representation of a system for processing a task at a task location by a remote expert at an instruction location;
  • Figure 3 is a schematic representation of an expert working on a
  • FIG. 4 shows a schematic representation of a humanoid robot performing an activity at a task location
  • Figure 5 is a schematic representation of the determination and assignment of a
  • Figure 6 is a schematic representation of the steps of an inventive
  • Figure 1 shows schematically an apparatus 10 for determining and assigning a task to a remote expert.
  • the device 10 comprises an input interface 12, an analysis unit 14 and an output interface 16.
  • the input interface 12 is designed to receive status data with information about a status that requires processing and/or task data with information about a defined task.
  • the status data can be, for example, an error message from a machine, a written error report from a worker on site, a request for maintenance on a machine, in particular as part of a predictive maintenance program, or the like.
  • the input interface 12 can be designed for wireless communication or be connected to a proprietary transmission network, for example a wired transmission network.
  • the analysis unit 14 is designed to process and analyze the status data and/or task data.
  • the analysis unit 14 determines a suitable expert for the task based on the status data and/or the task data and expert information from an expert database.
  • the expert information can include, for example, information relating to the duration of the processing of past tasks, processing costs and/or a recurrence of errors, each relating to past tasks processed by the expert.
  • the analysis unit 14 can determine a suitable expert using artificial intelligence. This can be done, for example, because the expert has successfully completed similar tasks in the past and/or is currently available or will be available soon.
  • the output interface 16 is designed to transmit expert data with information regarding the appropriate expert. For example, an e-mail can be sent to the appropriate expert. It goes without saying that a ticket system or other methods known in principle from the prior art are also conceivable.
  • the output interface 16 can be designed analogously to the input interface 12 for communication. It goes without saying that the input interface 12 and the output interface 16 can also be designed in combination as a communication interface for sending and receiving.
  • Figure 2 shows a schematic representation of a system 18 according to the invention for processing a task at a task location by a remote expert at an instruction location with a detection unit 20 for detecting an expert instruction at the instruction location for processing a task at a task location, a transmission unit 28 for transmitting the expert instruction from the instruction location to the task location and an execution unit 30 for executing the transmitted expert instruction at the task location.
  • the detection unit 20 can in particular communicate with an observation unit 22 comprising a radar and/or lidar sensor and/or a camera, a sensor glove 24 and/or a sensor suit (not shown). It goes without saying that other units such as a smartphone are also conceivable. For reasons of clarity, no other units are shown in the drawing. It is also understood that the detection unit 20 can also be combined with the aforementioned units.
  • the detection unit 20 can in particular be designed to transmit information to the expert by means of an AR display device or a VR display device, in particular VR glasses 26 .
  • the information can in particular include a 360-degree camera image of the task location and can be supplemented by sensor information, construction plans or the like.
  • the transmission unit 28 can in particular be designed to transmit the expert instruction from the instruction location, preferably the detection unit 20, to the task location, preferably the execution unit 30, using 5G.
  • the transmission unit 28 may comprise a transceiver at the instruction site and another transceiver at the task site.
  • the execution unit 30 can communicate in particular with a humanoid robot 32 or a control unit 34 of a system, in particular an IOT-capable device. It goes without saying that other units are also conceivable. It is also understood that the execution unit 30 can also be combined with the aforementioned units.
  • the information for the VR display device can include a 360-degree camera image from the perspective of the humanoid robot 32 . It is also conceivable for the humanoid robot 32 to move autonomously to the location of the task to be processed before the start of processing the task.
  • FIG. 3 shows an expert 36 generating an expert instruction at an instruction location.
  • the information refers to members of either gender.
  • the expert 36 carries out an activity at the instruction location in a virtual environment.
  • the expert 36 is recorded by one or more observation units 22:
  • the expert can also wear a sensor glove 24 or a VR input device and/or a sensor suit 38, with the system 18 (not shown) generating expert instructions from the activity of the expert 36 and these transmitted to an execution unit 30 at the task site.
  • a digital twin of the environment in which the task occurs is preferably shown, in which the expert 36 can move virtually and/or act with the digital twin, an interaction of the expert 36 with the digital twin being translated into a real control instruction.
  • a task location is shown schematically in FIG.
  • the machine 40 may have generated an error message, with the expert 36 supposed to correct the error in question.
  • the error message can be processed as already described above.
  • Various interaction models can be selected.
  • the expert 36 can generate an expert instruction, as previously described, which is transmitted to the system control unit 34 and changes a setting on the system so that the fault is corrected.
  • the expert 36 can control a humanoid robot 32 at the task site using expert instructions and make mechanical changes to the system using the humanoid robot 32 .
  • Determining and assigning a task to a remote expert 36 is shown schematically in FIG.
  • a plurality of machines 40 can be monitored, for example, by means of a predictive maintenance class 42, with maintenance of a machine 40 having to be carried out. This task can then be stored in a task repository or backlog system 44 . Furthermore, each of the machines 40 can communicate with the task memory and, for example, itself generate a task or send an error message from which a task is then created.
  • Another AI 46 can then prioritize the created tasks from the task memory and determine an expert 36 from a large number of experts 36 who is most suitable for processing the task.
  • a relevant system 48 such as a product lifecycle management PLM or a production cloud, can communicate with the predictive maintenance class 42 and the experts 36.
  • an evaluation unit 50 in particular in the form of an evaluation algorithm, can evaluate the processing of the task by the appropriate expert 36 and particularly preferably store the evaluation and other information such as duration and/or costs of processing in an expert database.
  • FIG. 1 The steps of a method according to the invention for determining and assigning a task to a remote expert 36 are shown schematically in FIG.
  • a state that requires processing is detected and a task is defined at an execution location.
  • a second step S2 the defined task is transmitted to a backlog system 44 .
  • a suitable expert 36 for the task is determined.
  • a fourth step S4 the task is processed by the expert 36, ie completed, with the expert 36 remaining at an instruction location at a remote location.
  • the determination S3 of the suitable expert 36 takes place automatically.
  • an evaluation is carried out as to how successfully the task was processed, preferably based on the duration of the processing, the costs of the processing and/or the recurrence of an error, with the evaluation particularly preferably being stored in an expert database.
  • a holistic solution is provided to enable an expert 36 to perform tasks entirely on his own without having to move on site. This eliminates the need for on-site employees, which represents an additional time, error and cost factor.
  • a suitable expert 36 is automatically searched for and found by creating a task from a requirement, with the expert 36 processing the task creation from a remote location in a virtual environment and thereby processing the task on site, for example by a robot, in particular a humanoid robot 32 causes.

Abstract

The invention relates to a method for determining and assigning a task to a remotely located expert (36), and to a corresponding computer program, a device (10) and a system (18). According to the invention, by means of a task creation from a request, a suitable expert (36) is searched for and found in an automated manner, wherein the expert (36) processes the task creation from a remote location in a virtual environment. For example, the machines (40) of a plant are monitored by an AI system (42) and a task to be carried out on the machines is stored in a backlog system or a memory (44). A further AI system (46) identifies a suitable expert (36), who then performs an activity (e.g. maintenance or error correction) on the machines (40) in a virtual environment, for example by means of a sensor glove (24), a VR input device or a sensor suit (38). The expert (36) can also control a humanoid robot (32) in order to perform the activity.

Description

Beschreibung Description
Zuweisen einer Aufgabe an einen örtlich entfernten Experten Assigning a task to a remote expert
Die Erfindung betrifft ein Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten sowie ein entsprechendes Computer-Programm, eine Vorrichtung und ein System. The invention relates to a method for determining and assigning a task to a remote expert and a corresponding computer program, a device and a system.
Eine große Reihe an Tätigkeiten in der Produktion und Logistik kann durch im Stand der Technik bekannte Automatisierungstechnik nicht abgedeckt werden. Das gilt insbesondere für komplexe oder seltene Aufgaben, eine Fehlerbehebung bei ansonsten automatisierten Aufgaben und/oder einzelne Aufgaben aus den Bereichen Dull, Dangerous, Dirty, also langweilig, gefährlich, dreckig. Bisher ist es bekannt, hierzu manuell vor Ort einzugreifen, wobei häufig geographisch entfernte Experten Aufgaben übernehmen und einen Mitarbeiter vor Ort anleiten müssen. Hierdurch können einerseits Fehler aufgrund einer schlechten Kommunikation und/oder einer Sprachbarriere entstehen. Ferner führt dieses Vorgehen zu einer Verdoppelung der Personalkosten und ist zeitintensiv. Ferner ist ein Bestimmen eines geeigneten geographisch entfernten Experten aufwendig, da eine Einschätzung der Aufgabe zumeist durch den Experten selbst erfolgt. A large number of activities in production and logistics cannot be covered by automation technology known in the prior art. This applies in particular to complex or rare tasks, troubleshooting in otherwise automated tasks and/or individual tasks from the areas of dull, dangerous, dirty, i.e. boring, dangerous, dirty. So far, it has been known to intervene manually on site, with experts who are often geographically distant taking on tasks and having to instruct an employee on site. On the one hand, this can lead to errors due to poor communication and/or a language barrier. Furthermore, this procedure leads to a doubling of personnel costs and is time-consuming. Furthermore, determining a suitable, geographically remote expert is complex, since the task is usually assessed by the expert himself.
Aus der Druckschrift US 6 535 793 B2 sind ein Verfahren zur Fernsteuerung eines mobilen Roboters und eine intuitive Benutzeroberfläche zum Fernsteuern eines mobilen Roboters bekannt. Unter Verwendung einer Point-and-Click-Vorrichtung ist der Benutzer in der Lage, einen Zielort innerhalb eines Head-Up-Displays auszuwählen, zu dem ein mobiler Roboter bewegt werden soll. Zusätzliche grafische Überlagerungen werden bereitgestellt, um den Benutzer beim Navigieren selbst in Systemen mit asynchroner Kommunikation zu unterstützen. Nachteilig hierbei ist, dass sich das Verfahren nicht zum Bestimmen eines geeigneten geographisch entfernten Experten eignet. Das offenbarte Verfahren erlaubt keine automatisierte Fehlereinschätzung. A method for remote control of a mobile robot and an intuitive user interface for remote control of a mobile robot are known from US Pat. No. 6,535,793 B2. Using a point-and-click device, the user is able to select a destination within a heads-up display to move a mobile robot to. Additional graphical overlays are provided to help the user navigate even in systems with asynchronous communication. The disadvantage here is that the method is not suitable for determining a suitable geographically distant expert. The disclosed method does not allow automated error estimation.
Die Druckschrift CN 11 145 9274 A offenbart ein Teleoperationsverfahren für eine unstrukturierte Umgebung basierend auf 5G + AR. Das Verfahren umfasst die folgenden Schritte: erstens Ausführen einer schnellen dreidimensionalen Rekonstruktion an einer unstrukturierten Umgebung, in der sich ein Roboter befindet und Abbilden einer rekonstruierten Szene in einen Raum der virtuellen Realität und dann Erfassen einer Gestenaktion eines Benutzers, Erstellen eines virtuellen Modells der Hand des Benutzers und Abbilden der Gestenaktion in den Raum der virtuellen Realität, wodurch eine Interaktion zwischen dem Benutzer und dem virtuellen Objekt realisiert wird; schließlich die Einführung einer Hilfstechnologie, die dem Benutzer hilft, die Teleoperationsarbeit genauer und schneller zu beenden. Nachteilig hierbei ist, dass sich das offenbarte Verfahren auf eine Verbesserung einer dreidimensionalen Rekonstruktion beschränkt, bezüglich einer automatisierten Fehlereinschätzung und/oder über einem Bestimmen eines geeigneten geographisch entfernten Experten schweigt die Offenbarung. Document CN 11 145 9274 A discloses a teleoperation method for an unstructured environment based on 5G+AR. The method comprises the following steps: first, performing a rapid three-dimensional reconstruction on an unstructured environment in which a robot resides and imaging a reconstructed one scene into a virtual reality space, and then capturing a user's gesture action, creating a virtual model of the user's hand, and mapping the gesture action into the virtual reality space, thereby realizing an interaction between the user and the virtual object; finally, the introduction of assistive technology to help the user finish the teleoperation work more accurately and quickly. The disadvantage here is that the disclosed method is limited to an improvement of a three-dimensional reconstruction; the disclosure is silent with regard to an automated error assessment and/or the determination of a suitable, geographically distant expert.
In der Druckschrift US 10 824 142 B2 wird ein autonomer Roboter mit menschlichem Eingreifen auf Anforderung offenbart. In verschiedenen Ausführungsformen arbeitet ein Roboter in einem autonomen Betriebsmodus, in dem der Roboter eine oder mehrere Aufgaben autonom ohne menschliches Eingreifen ausführt. Der Roboter stellt fest, dass keine Strategie verfügbar ist, um eine nächste Aufgabe autonom auszuführen. Als Reaktion auf die Bestimmung tritt der Roboter in einen menschlichen Eingriffsbetriebsmodus ein. Nachteilig hierbei ist, dass für eine Auswahl eines geeigneten Experten zum Bedienen des Roboters im menschlichen Eingriffsbetriebsmodus keine Strategie bereitgestellt wird. Die Druckschrift offenbart lediglich ein Eintreten in den menschlichen Eingriffsbetriebsmodus und ein nicht weiter spezifiziertes Fragen nach Hilfe. In the document US 10 824 142 B2 an autonomous robot with human intervention on demand is disclosed. In various embodiments, a robot operates in an autonomous mode of operation, in which the robot performs one or more tasks autonomously without human intervention. The robot realizes that no strategy is available to perform a next task autonomously. In response to the determination, the robot enters a human intervention mode of operation. The disadvantage here is that no strategy is provided for selecting a suitable expert for operating the robot in the human intervention operating mode. The reference only discloses entering the human intervention mode of operation and not further specifying asking for help.
In der Offenlegungsschrift US 2021/ 0094 180 A1 sind Systeme und Methoden zur Mensch- Roboter-Kommunikation offenbart. Insbesondere verwenden einige Ausführungsformen Augmented Reality, um die Kommunikation der Roboterabsicht und die Teleoperation in kooperativen Mensch-Roboter-Umgebungen zu erleichtern. Verschiedene Ausführungsformen der vorliegenden Technologie stellen eine Middleware bereit, die Augmented Reality mit neuartigen Teleoperationsschnittstellen integriert, um die Betriebseffektivität zu erhöhen, den Benutzer bei der Durchführung gleichzeitiger Arbeit zu unterstützen und Stress zu verringern. Verschiedene Ausführungsformen stellen prädiktive grafische Schnittstellen bereit, so dass ein Teleoperator einen virtuellen Roboterersatz steuert, anstatt den Roboter selbst direkt zu bedienen, was dem Benutzer eine Voraussicht darüber gibt, wo der physische Roboter enden wird und wie er dorthin gelangen wird. Gemäß verschiedenen Ausführungsformen kann ein Benutzer unter Verwendung eines solchen Ersatzes zwischen zwei AR-Schnittstellen wählen: eine konzentriert sich auf Echtzeitsteuerung und eine inspiriert durch Wegpunktdelegierung. Nachteilig hierbei ist, dass sich die offenbarte Lehre auf eine Verbesserung einer Steuerung eines Roboters beschränkt, bezüglich einem Bestimmen eines geeigneten geographisch entfernten Experten schweigt die Offenbarung Systems and methods for human-robot communication are disclosed in the published application US 2021/0094 180 A1. In particular, some embodiments use augmented reality to facilitate robot intent communication and teleoperation in human-robot cooperative environments. Various embodiments of the present technology provide middleware that integrates augmented reality with novel teleoperation interfaces to increase operational effectiveness, assist the user in performing concurrent work, and reduce stress. Various embodiments provide predictive graphical interfaces so that a teleoperator controls a virtual robot surrogate rather than directly operating the robot itself, giving the user a prediction of where the physical robot will end up and how it will get there. According to various embodiments, using such a surrogate, a user can choose between two AR interfaces: one focused on real-time control and one inspired by waypoint delegation. The disadvantage here is that the teaching disclosed relates to an improvement in control of a robot, the disclosure is silent regarding determining a suitable geographically remote expert
Der Erfindung liegt nun die Aufgabe zugrunde, eine Möglichkeit anzugeben einen geeigneten Experten schnell und zuverlässig zu bestimmen. Insbesondere soll der Experte automatisiert ermittelt werden und vorzugsweise eine gestellte Aufgabe teleoperativ bearbeiten können. The invention is now based on the object of specifying a possibility of determining a suitable expert quickly and reliably. In particular, the expert should be determined automatically and preferably be able to process a given task teleoperatively.
Gelöst wird die obige Aufgabe durch ein Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten mit den Schritten: The above problem is solved by a method for determining and assigning a task to a remote expert with the steps:
Erfassen eines Zustands, der einer Bearbeitung bedarf und definieren einer Aufgabe an einem Ausführungsort; detecting a condition that requires attention and defining a task at an execution site;
Übermitteln der definierten Aufgabe an ein Backlog-System; submitting the defined task to a backlog system;
Ermitteln eines geeigneten Experten für die Aufgabe und Identifying a suitable expert for the task and
Abarbeiten der Aufgabe durch den Experten, wobei der Experte örtlich entfernt an einem Anweisungsort bleibt, wobei das Ermitteln des geeigneten Experten automatisiert erfolgt. Processing of the task by the expert, with the expert remaining locally remote at an instruction location, with the determination of the appropriate expert being automated.
Die obige Aufgabe wird ferner gelöst von einem Computer-Programm mit Programm-Code- Mitteln, um alle Schritte eines Verfahrens wie zuvor definiert, durchzuführen, wenn das Computer-Programm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird. The above object is also achieved by a computer program with program code means in order to carry out all the steps of a method as defined above when the computer program is executed on a computer or a corresponding computing unit.
Weiterhin wird die obige Aufgabe gelöst durch eine Vorrichtung zum Bestimmen und zuweisen einer Aufgabe an einen örtlich entfernten Experten, mit: einer Eingangsschnittstelle zum Empfangen von Zustandsdaten mit Informationen zu einem Zustand, der einer Bearbeitung bedarf und/oder Aufgabendaten mit Informationen zu einer definierten Aufgabe; einer Analyseeinheit zum Ermitteln eines geeigneten Experten für die Aufgabe basierend auf den Zustandsdaten und/oder den Aufgabendaten und Experteninformation aus einer Expertendatenbank und einer Ausgangsschnittstelle zum Übermitteln von Expertendaten mit Informationen bezüglich des geeigneten Experten, wobei die Analyseeinheit dazu ausgebildet ist, den geeigneten Experten automatisiert zu ermitteln. Furthermore, the above object is achieved by an apparatus for determining and assigning a task to a remote expert, comprising: an input interface for receiving status data with information on a status that requires processing and/or task data with information on a defined task; an analysis unit for determining a suitable expert for the task based on the status data and/or the task data and expert information from an expert database and an output interface for transmitting expert data with information regarding the suitable expert, the analysis unit being designed to automatically identify the suitable expert determine.
Schließlich wird die obige Aufgabe gelöst durch ein System zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten an einem Anweisungsort, mit: einer Erfassungseinheit zum Erfassen einer Expertenanweisung an dem Anweisungsort bezüglich der abzuarbeitenden Aufgabe am Aufgabenort; einer Übertragungseinheit zum Übertragen der Expertenanweisung vom Anweisungsort zum Aufgabenort und einer Ausführungseinheit zum Ausführen der übertragenen Expertenanweisung am Aufgabenort. Finally, the above object is achieved by a system for completing a task at a task location by a remote expert at an instruction location, comprising: a detection unit for detecting an expert instruction at the instruction location regarding the task to be processed at the task location; a transmission unit for transmitting the expert instruction from the instruction location to the task location; and an execution unit for executing the transmitted expert instruction at the task location.
Durch das Erfassen eines Zustands, der einer Bearbeitung bedarf und Definieren einer Aufgabe an einem Ausführungsort können alle Vorkehrungen zur Bearbeitung der Aufgabe, die am Ausführungsort durchgeführt werden können, effizient und schnell durchgeführt werden. Ein Übermitteln der definierten Aufgabe an ein Backlog-System erlaubt ein effizientes Aufgabenmanagement, das insbesondere zentral geführt, gewartet und betrieben werden kann. Das automatisierte Ermitteln eines geeigneten Experten für die Aufgabe ermöglicht eine schnelle Zuweisung der Aufgabe zu einem Experten. Insbesondere ist vorzugsweise keine menschliche Zuweisung mehr nötig. Es können Kosten eingespart und eine Effizienz gesteigert werden. Ferner können Zuweisungszeiten verkürzt werden. Ein Abarbeiten der Aufgabe durch den Experten, wobei der Experte örtlich entfernt an einem Anweisungsort bleibt, ermöglicht ein schnelles Abarbeiten der Aufgabe. Vorzugsweise kann der Experte direkt mit der Abarbeitung der Aufgabe beginnen und muss nicht zum Aufgabenort reisen. Ferner muss der Experte keinen weiteren Mitarbeiter am Aufgabenort anweisen. Durch eine Eingangsschnittstelle kann eine kosteneffiziente Vorrichtung geschaffen werden, die vorzugsweise mit vorhandenen, Systemen, Modulen und Einheiten verwendet werden kann. Eine Eingangsschnittstelle kann dabei kabelgebunden und/oder drahtlos ausgebildet sein und vorzugsweise ein oder mehrere Kommunikationsprotokolle unterstützen. Durch eine Analyseeinheit kann schnell und zuverlässig ein geeigneter Experte bestimmt werden. Eine Ausgangsschnittstelle ermöglicht eine kosteneffiziente Vorrichtung, die vorzugsweise mit vorhandenen Speicher- bzw. Backlog- Systemen, insbesondere einem Cloud-Speicher verwendet werden kann. By detecting a condition that requires attention and defining a task at an execution site, any arrangements for processing the task that can be performed at the execution site can be performed efficiently and quickly. Transmission of the defined task to a backlog system allows for efficient task management, which can in particular be managed, maintained and operated centrally. The automated determination of a suitable expert for the task enables the task to be quickly assigned to an expert. In particular, human assignment is preferably no longer necessary. Costs can be saved and efficiency increased. Furthermore, allocation times can be shortened. Working through the task by the expert, with the expert staying remotely at an instruction location, enables the task to be completed quickly. The expert can preferably start working on the task directly and does not have to travel to the task location. Furthermore, the expert does not have to instruct any other employees at the task location. A front-end interface can provide a cost-effective device that can preferably be used with existing systems, modules, and units. An input interface can be wired and/or wireless and preferably support one or more communication protocols. A suitable expert can be determined quickly and reliably by means of an analysis unit. An output interface enables a cost-efficient device that can preferably be used with existing storage or backlog systems, in particular cloud storage.
Es versteht sich, dass die Vorrichtung zumindest teilweise auch rein softwaretechnisch geschaffen werden kann. It goes without saying that the device can also be created, at least in part, purely by software.
In bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass das Erfassen eines Zustands, der einer Bearbeitung bedarf und vorzugsweise das Definieren einer Aufgabe, durch ein IOT- fähiges Gerät erfolgt. Hierdurch kann der Zustand direkt vom Gerät selbst erfasst werden. Ferner kann ein genaues Erfassen des Zustands und ein eindeutiges Definieren der Aufgabe erfolgen. Es erfolgt schnell, zuverlässig und direkt ein Erfassen eines entsprechenden Zustands. In a preferred embodiment of the invention, it is provided that the detection of a state that requires processing and preferably the definition of a task is carried out by an IOT-enabled device. This allows the status to be recorded directly by the device itself. Furthermore, an exact detection of the status and an unambiguous definition of the task take place. A corresponding state is detected quickly, reliably and directly.
Ein lOT-fähiges Gerät zeichnet sich insbesondere dadurch aus, eine - insbesondere drahtlose - Kommunikationsschnittstelle aufzuweisen, mit dem mit anderen Geräten mit Kommunikationsschnittstelle und/oder zentralseitigen Servern Daten ausgetauscht werden können. Das passiert vorzugsweise über das Internet und/oder drahtlose Kommunikationsnetze wie 5G. An IOT-enabled device is characterized in particular by having a—in particular wireless—communications interface with which data can be exchanged with other devices having a communications interface and/or central-side servers. This preferably happens via the Internet and/or wireless communication networks such as 5G.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass die Aufgabe eine digitale Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten vorzugsweise ein Darstellen eines digitalen Zwillings der Umgebung, in der die Aufgabe anfällt, umfasst, der Experte sich vorzugsweise virtuell im digitalen Zwilling bewegen und/oder mit dem digitalen Zwilling agieren kann, wobei eine Interaktion des Experten mit dem digitalen Zwilling in eine reale Steuerungsanweisung des lOT-fähigen Gerätes übersetzt wird. Hierdurch sind vorzugsweise keine Fernwartungskenntnisse des Experten notwendig, um die Aufgabe teleoperativ abzuarbeiten. Der Experte benötigt keine spezielle Schulung sondern kann die Aufgabe abarbeiten als wäre er am Aufgabenort. In a further preferred embodiment of the invention, it is provided that the task includes digital manipulation and the processing of the task by the expert preferably includes representing a digital twin of the environment in which the task occurs, the expert preferably moving virtually in the digital twin and/or can act with the digital twin, wherein an interaction of the expert with the digital twin is translated into a real control instruction of the IOT-enabled device. This preferably means that the expert does not need to have any remote maintenance knowledge in order to process the task teleoperatively. The expert does not require any special training but can work through the task as if he were at the task location.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass die Aufgabe eine mechanische Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten vorzugsweise ein Steuern eines zumindest teilweise autonomen humanoiden Roboters umfasst, wobei besonders bevorzugt ein 360-Grad-Kamerabild aus der Perspektive des humanoiden Roboters in eine VR-Brille des Experten übertragen wird und eine Expertenanweisung in Form einer Bewegung des Experten am Anweisungsort, insbesondere in Echtzeit, durch den humanoiden Roboter am Ausführungsort widerholt wird. Hierdurch können auch mechanische beziehungsweise handwerkliche Tätigkeiten teleoperativ durchgeführt werden. Es wird eine intuitive Steuerung für einen humanoiden Roboter bereitgestellt, die es einem Experten erlaubt, vorzugsweise ohne Vorkenntnisse bezüglich der Robotersteuerung die Aufgabe abzuarbeiten. Der Experte benötigt keine spezielle Schulung sondern kann die Aufgabe Abarbeiten als wäre er am Aufgabenort. In a further preferred embodiment of the invention, it is provided that the task includes a mechanical manipulation and the processing of the task by the expert preferably includes controlling an at least partially autonomous humanoid robot, with a 360-degree camera image from the perspective of the humanoid robot being particularly preferred is transmitted to the expert's VR glasses and an expert instruction in the form of a movement of the expert at the instruction location, in particular in real time, is repeated by the humanoid robot at the execution location. As a result, mechanical or manual activities can also be carried out teleoperatively. An intuitive control for a humanoid robot is provided, which allows an expert to work through the task, preferably without prior knowledge of robot control. The expert does not require any special training but can process the task as if he were at the task location.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass eine Kommunikation zwischen Ausführungsort und Anweisungsort mittels eines drahtlosen Netzwerks, insbesondere eines 5G-Netzwerkes erfolgt. Hierdurch kann eine sichere und schnelle Kommunikation erreicht werden, die insbesondere kabellos eingerichtet werden kann. Insbesondere ermöglicht die Verwendung eines drahtlosen Netzwerkes im 5G-Standard (oder höher) die Übertragung von Daten in Echtzeit. In a further preferred embodiment of the invention, it is provided that communication between the place of execution and the place of instruction takes place by means of a wireless network, in particular a 5G network. In this way, secure and fast communication can be achieved, which can be set up wirelessly in particular. In particular, the Using a wireless network in the 5G standard (or higher) the transmission of data in real time.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass das Ermitteln des geeigneten Experten mittels einer Kl erfolgt, vorzugsweise basierend auf einer Bearbeitungsund Bewertungshistorie des Experten, wobei besonders bevorzugt eine Priorisierung einzelner Aufgaben basierend auf anfallenden Mehrkosten erfolgt. Hierdurch kann effizient der geeignetste Experte für eine Aufgabe bestimmt werden. Insbesondere ermöglicht eine Kl und eine Bearbeitungs- und Bewertungshistorie, dass mit jeder Bestimmung eines Experten und Abarbeiten einer Aufgabe, die nächste Bestimmung des Experten verbessert erfolgen kann. Es kann ein lernendes System geschaffen werden, das mit zunehmender Betriebsdauer schneller und zuverlässiger wird. In a further preferred embodiment of the invention, provision is made for the suitable expert to be determined using an AI, preferably based on a processing and evaluation history of the expert, individual tasks being particularly preferably prioritized based on the additional costs incurred. In this way, the most suitable expert for a task can be determined efficiently. In particular, a class and a processing and evaluation history make it possible that with each determination of an expert and processing of a task, the next determination of the expert can take place in an improved manner. A learning system can be created that becomes faster and more reliable with increasing operating time.
Es ist weiterhin vorgesehen, dass der Experte mittels Sensorhandschuh (Smart-Giove), Radar, Lidar, Kamera, in der VR-Brille enthaltene Sensoren und/oder sonstiger Sensorik überwacht wird bei der Abarbeitung von ihm zugewiesenen Aufgaben. Die so erfassten Daten sind als Eingangsdaten für die Kl zur Entscheidung der Auswahl des Experten für künftige Aufgaben vorgesehen. Dazu werden sie mittels lOT-Übertragung dem Kl-System zur Verfügung gestellt. Provision is also made for the expert to be monitored by means of a sensor glove (smart giove), radar, lidar, camera, sensors contained in the VR glasses and/or other sensors when processing tasks assigned to him. The data recorded in this way are intended as input data for the class to decide on the selection of the expert for future tasks. For this purpose, they are made available to the AI system by means of IOT transmission.
In weiterer bevorzugter Ausgestaltung der Erfindung ist der folgende Schritt vorgesehen: Auswerten wie erfolgreich die Aufgabe abgearbeitet wurde, vorzugsweise basierend auf einer Dauer der Bearbeitung, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, wobei besonders bevorzugt die Bewertung in einer Expertendatenbank hinterlegt wird. In a further preferred embodiment of the invention, the following step is provided: evaluating how successfully the task was processed, preferably based on the duration of processing, processing costs and/or error recurrence, with the evaluation particularly preferably being stored in an expert database.
Hierdurch kann ein Auswählen eines Experten in Zukunft präziser erfolgen. Durch eine Datenbank können Expertenprofile für verschiedene Experten geschaffen werden, sodass aus einer Vielzahl von Experten der geeignetste Experte bestimmt werden kann. Insbesondere kann ein geeigneter Experte nicht nur basierend auf einem erfolgreichen Abarbeiten der Aufgabe oder der Dauer bestimmt werden, es können auch beispielsweise die Kosten optimiert werden. Steht für das Abarbeiten der Aufgabe ein breites Zeitfenster zur Verfügung, kann beispielsweise ein langsamer Experte, der dafür weniger Kosten verursacht, ausgewählt werden. As a result, an expert can be selected more precisely in the future. A database can be used to create expert profiles for various experts, so that the most suitable expert can be determined from a large number of experts. In particular, a suitable expert can not only be determined based on successful completion of the task or the duration, but the costs can also be optimized, for example. If a wide time window is available for completing the task, a slower expert who causes less costs for this can be selected, for example.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen. Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar. Further preferred configurations of the invention result from the remaining features mentioned in the dependent claims. Unless stated otherwise in the individual case, the various embodiments of the invention mentioned in this application can advantageously be combined with one another.
Machine Learning oder maschinelles Lernen ist insbesondere ein Oberbegriff für die "künstliche" beziehungsweise maschinelle Generierung von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern. Dazu bauen Algorithmen beim maschinellen Lernen ein statistisches Modell auf, das auf Trainingsdaten beruht. Das heißt, es werden nicht einfach die Beispiele auswendig gelernt, sondern Muster und Gesetzmäßigkeiten in den Lerndaten erkannt. So kann das System auch unbekannte Daten beurteilen, ein sogenannter Lerntransfer, oder aber am Lernen unbekannter Daten scheitern, beispielsweise durch Überanpassung, englisch overfitting. Machine learning or machine learning is a generic term for the "artificial" or machine generation of knowledge from experience: An artificial system learns from examples and can generalize them after the learning phase has ended. To do this, machine learning algorithms build a statistical model based on training data. This means that the examples are not simply learned by heart, but that patterns and regularities are recognized in the learning data. The system can also assess unknown data, a so-called learning transfer, or fail to learn unknown data, for example due to overfitting.
5G bezeichnet die fünfte Generation des Mobilfunks und ist ein Mobilfunkstandard, der seit 2019 an Verbreitung gewinnt. 5G baut auf dem bestehenden Standard „Long Term Evolution“ - LTE - auf. Die Funkzellen werden voraussichtlich bei 5G in Städten engmaschiger ausgebaut als bei Vorgängertechniken. Es bietet zudem Verbesserungen in Bezug auf Echtzeitfähigkeit aufgrund verringerter Latenzen und höherer Zuverlässigkeit. 5G refers to the fifth generation of mobile communications and is a mobile communications standard that has been gaining popularity since 2019. 5G is based on the existing "Long Term Evolution" standard - LTE. The radio cells will probably be expanded more closely with 5G in cities than with previous technologies. It also offers improvements in terms of real-time capability due to reduced latencies and higher reliability.
Ein humanoider Roboter ist ein hoch entwickeltes Maschinenwesen, genauer ein Roboter, dessen Konstruktion der menschlichen Gestalt nachempfunden ist. Häufig sind die Positionen der Gelenke und die Bewegungsabläufe eines humanoiden Roboters von den menschlichen Gelenkpositionen und Bewegungsabläufen inspiriert. Unter anderem läuft ein humanoider Roboter meistens auf zwei Beinen. Es versteht sich, dass auch eine andere Fortbewegung mittels Rädern oder Ketten denkbar ist. Eine dem Menschen in seinem Aussehen und Verhalten besonders ähnliche Form des humanoiden Roboters ist der Android. A humanoid robot is a highly developed mechanical being, more precisely a robot whose construction is based on the human form. The positions of the joints and the movement sequences of a humanoid robot are often inspired by the human joint positions and movement sequences. Among other things, a humanoid robot mostly walks on two legs. It goes without saying that another form of locomotion by means of wheels or chains is also conceivable. A form of humanoid robot that is particularly similar to humans in terms of appearance and behavior is the android.
PLM ist ein Managementansatz und umfasst die ganzheitliche Verwaltung aller Daten und Informationen, die bei der Entwicklung neuer oder der Aktualisierung bestehender Produkte bearbeitet und verteilt werden. PLM is a management approach and includes the holistic management of all data and information that is processed and distributed when developing new products or updating existing ones.
Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung einer scheinbaren Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet. Eine VR-Brille ist eine Art eines am Kopf und vorzugsweise vor den Augen eines Anwenders angeordneten Displays, welches dem Anwender Einblick in die virtuelle Realität verschafft. Das Internet of Things, IOT, ist insbesondere ein Netzwerk physischer Objekte beziehungsweise Dinge, die mit Sensoren, Software und anderen Technologien integriert sind, um diese mit anderen Geräten und Systemen über das Internet zu vernetzen, sodass zwischen den Objekten Daten ausgetauscht werden können. Das Internet der Dinge, Allesnetz, Internet of Things, ist vorzugsweise ein Sammelbegriff für Technologien einer globalen Infrastruktur der Informationsgesellschaften, die es ermöglicht, physische und virtuelle Objekte miteinander zu vernetzen und sie durch Informations- und Kommunikationstechniken Zusammenarbeiten zu lassen. Virtual reality, VR for short, is the representation and simultaneous perception of an apparent reality and its physical properties in a real-time, computer-generated, interactive virtual environment. VR glasses are a type of display arranged on the head and preferably in front of a user's eyes, which gives the user an insight into virtual reality. In particular, the Internet of Things, IOT, is a network of physical objects or things that are integrated with sensors, software and other technologies to connect them to other devices and systems via the Internet so that data can be exchanged between the objects. The Internet of Things, All-Network, Internet of Things is preferably a collective term for technologies of a global infrastructure of the information societies, which makes it possible to network physical and virtual objects with each other and to let them work together through information and communication technologies.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen: The invention is explained below in exemplary embodiments with reference to the associated drawings. Show it:
Figur 1 eine schematische Darstellung einer Vorrichtung zum Bestimmen undFigure 1 is a schematic representation of a device for determining and
Zuweisen einer Aufgabe an einen örtlich entfernten Experten; assigning a task to a remote expert;
Figur 2 eine schematische Darstellung eines Systems zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten an einem Anweisungsort; FIG. 2 shows a schematic representation of a system for processing a task at a task location by a remote expert at an instruction location;
Figur 3 eine schematische Darstellung eines Experten bei einer Tätigkeit an einemFigure 3 is a schematic representation of an expert working on a
Anweisungsort; place of instruction;
Figur 4 eine schematische Darstellung eines humanoiden Roboters bei einer Tätigkeit an einem Aufgabenort; FIG. 4 shows a schematic representation of a humanoid robot performing an activity at a task location;
Figur 5 eine schematische Darstellung des Bestimmens und Zuweisens einerFigure 5 is a schematic representation of the determination and assignment of a
Aufgabe an einen örtlich entfernten Experten und Assignment to a locally remote expert and
Figur 6 eine schematische Darstellung der Schritte eines erfindungsgemäßenFigure 6 is a schematic representation of the steps of an inventive
Verfahrens. procedure.
Figur 1 zeigt schematisch eine Vorrichtung 10 zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten. Die Vorrichtung 10 umfasst eine Eingangsschnittstelle 12, eine Analyseeinheit 14 und eine Ausgangsschnittstelle 16. Die Eingangsschnittstelle 12 ist dazu ausgebildet, Zustandsdaten mit Informationen zu einem Zustand, der einer Bearbeitung bedarf und/oder Aufgabendaten mit Informationen zu einer definierten Aufgabe zu empfangen. Die Zustandsdaten können beispielsweise einer Fehlermeldung einer Maschine, ein geschriebener Fehlerbericht eines Arbeiters vor Ort, eine Anforderung einer Wartung einer Maschine, insbesondere im Rahmen eines Predictive- Maintenance-Programms oder dergleichen sein. Ferner kann die Eingangsschnittstelle 12 zur drahtlosen Kommunikation ausgebildet sein oder mit einem proprietären, beispielsweise kabelgebundenen, Übertragungsnetz verbunden sein. Figure 1 shows schematically an apparatus 10 for determining and assigning a task to a remote expert. The device 10 comprises an input interface 12, an analysis unit 14 and an output interface 16. The input interface 12 is designed to receive status data with information about a status that requires processing and/or task data with information about a defined task. The status data can be, for example, an error message from a machine, a written error report from a worker on site, a request for maintenance on a machine, in particular as part of a predictive maintenance program, or the like. Furthermore, the input interface 12 can be designed for wireless communication or be connected to a proprietary transmission network, for example a wired transmission network.
Die Analyseeinheit 14 ist dazu ausgebildet, die Zustandsdaten und/oder Aufgabendaten zu verarbeiten und zu analysieren. Die Analyseeinheit 14 bestimmt einen geeigneten Experten für die Aufgabe basierend auf den Zustandsdaten und/oder den Aufgabendaten und Experteninformation aus einer Expertendatenbank. The analysis unit 14 is designed to process and analyze the status data and/or task data. The analysis unit 14 determines a suitable expert for the task based on the status data and/or the task data and expert information from an expert database.
Die Experteninformationen können beispielsweise Informationen bezüglich einer Dauer der Bearbeitung von vergangenen Aufgaben, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, jeweils bezüglich vergangener vom Experten abgearbeiteter Aufgaben umfassen. The expert information can include, for example, information relating to the duration of the processing of past tasks, processing costs and/or a recurrence of errors, each relating to past tasks processed by the expert.
Beispielsweise kann die Analyseeinheit 14 mittels einer künstlichen Intelligenz einen geeigneten Experten bestimmen. Das kann beispielsweise erfolgen, da der Experte in der Vergangenheit ähnliche Aufgaben erfolgreich bearbeitet hat und/oder aktuell oder demnächst verfügbar ist. For example, the analysis unit 14 can determine a suitable expert using artificial intelligence. This can be done, for example, because the expert has successfully completed similar tasks in the past and/or is currently available or will be available soon.
Die Ausgangsschnittstelle 16 ist dazu ausgebildet, Expertendaten mit Informationen bezüglich des geeigneten Experten zu übermitteln. Hierbei kann beispielsweise eine E-Mail an den geeigneten Experten verschickt werden. Es versteht sich, dass auch ein Ticket-System oder andere prinzipiell im Stand der Technik bekannte Verfahren denkbar sind. Die Ausgangsschnittstelle 16 kann analog zur Eingangsschnittstelle 12 zur Kommunikation ausgebildet sein. Es versteht sich, dass die Eingangsschnittstelle 12 und die Ausgangschnittstelle 16 auch kombiniert als Kommunikationsschnittstelle zum Senden und Empfangen ausgebildet sein können. The output interface 16 is designed to transmit expert data with information regarding the appropriate expert. For example, an e-mail can be sent to the appropriate expert. It goes without saying that a ticket system or other methods known in principle from the prior art are also conceivable. The output interface 16 can be designed analogously to the input interface 12 for communication. It goes without saying that the input interface 12 and the output interface 16 can also be designed in combination as a communication interface for sending and receiving.
Figur 2 zeigt eine schematische Darstellung eines erfindungsgemäßen Systems 18 zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten an einem Anweisungsort mit einer Erfassungseinheit 20 zum Erfassen einer Expertenanweisung an dem Anweisungsort zum Abarbeiten einer Aufgabe an einen Aufgabenort, einer Übertragungseinheit 28 zum Übertragen der Expertenanweisung vom Anweisungsort zum Aufgabenort und einer Ausführungseinheit 30 zum Ausführen der übertragenen Expertenanweisung am Aufgabenort. Figure 2 shows a schematic representation of a system 18 according to the invention for processing a task at a task location by a remote expert at an instruction location with a detection unit 20 for detecting an expert instruction at the instruction location for processing a task at a task location, a transmission unit 28 for transmitting the expert instruction from the instruction location to the task location and an execution unit 30 for executing the transmitted expert instruction at the task location.
Die Erfassungseinheit 20 kann insbesondere mit einer Beobachtungseinheit 22 umfassend einem Radar- und/oder Lidarsensor und/oder einer Kamera, einem Sensorhandschuh 24 und/oder einem nicht gezeigten Sensoranzug kommunizieren. Es versteht sich, dass weitere Einheiten wie beispielswiese ein Smartphone ebenfalls denkbar sind. Aus Gründen der Übersicht wurden keine weiteren Einheiten in der Zeichnung dargestellt. Es versteht sich ferner, dass die Erfassungseinheit 20 auch mit den vorgenannten Einheiten kombiniert sein kann. The detection unit 20 can in particular communicate with an observation unit 22 comprising a radar and/or lidar sensor and/or a camera, a sensor glove 24 and/or a sensor suit (not shown). It goes without saying that other units such as a smartphone are also conceivable. For reasons of clarity, no other units are shown in the drawing. It is also understood that the detection unit 20 can also be combined with the aforementioned units.
Bei dem gezeigten System 18 kann die Erfassungseinheit 20 insbesondere dazu ausgebildet sein, Informationen an den Experten mittels einem AR-Anzeigegerät oder einem VR- Anzeigegerät, insbesondere einer VR-Brille 26 zu übermitteln. Die Informationen können insbesondere ein 360-Grad-Kamerabild des Aufgabenorts umfassen und um Sensorinformationen, Baupläne oder dergleichen ergänzt sein. In the system 18 shown, the detection unit 20 can in particular be designed to transmit information to the expert by means of an AR display device or a VR display device, in particular VR glasses 26 . The information can in particular include a 360-degree camera image of the task location and can be supplemented by sensor information, construction plans or the like.
Die Übertragungseinheit 28 kann insbesondere dazu ausgebildet sein, die Expertenanweisung vom Anweisungsort, bevorzugt der Erfassungseinheit 20, zum Aufgabenort, bevorzugt der Ausführungseinheit 30, mittels 5G zu übertragen. Die Übertragungseinheit 28 kann insbesondere einen Transceiver am Anweisungsort und einen weiteren Transceiver am Aufgabenort umfassen. The transmission unit 28 can in particular be designed to transmit the expert instruction from the instruction location, preferably the detection unit 20, to the task location, preferably the execution unit 30, using 5G. In particular, the transmission unit 28 may comprise a transceiver at the instruction site and another transceiver at the task site.
Die Ausführungseinheit 30 kann insbesondere mit einem humanoiden Roboter 32 oder einer Steuereinheit 34 einer Anlage, insbesondere einem lOT-fähigen Gerät, kommunizieren. Es versteht sich, dass weitere Einheiten ebenfalls denkbar sind. Es versteht sich ferner, dass die Ausführungseinheit 30 auch mit den vorgenannten Einheiten kombiniert sein kann. The execution unit 30 can communicate in particular with a humanoid robot 32 or a control unit 34 of a system, in particular an IOT-capable device. It goes without saying that other units are also conceivable. It is also understood that the execution unit 30 can also be combined with the aforementioned units.
Die Informationen für das VR-Anzeigegerät können insbesondere ein 360-Grad-Kamerabild aus der Perspektive des humanoiden Roboters 32 umfassen. Ferner ist denkbar, dass sich der humanoide Roboter 32 vor Beginn der Abarbeitung der Aufgabe autonom zu der Örtlichkeit der zu bearbeitenden Aufgabe bewegt. In particular, the information for the VR display device can include a 360-degree camera image from the perspective of the humanoid robot 32 . It is also conceivable for the humanoid robot 32 to move autonomously to the location of the task to be processed before the start of processing the task.
In Figur 3 ist ein Experte 36 beziehungsweise eine Expertin 36 beim Erzeugen einer Expertenanweisung an einem Anweisungsort dargestellt. Aus Gründen der Lesbarkeit wurde im Text die männliche Form gewählt, nichtsdestoweniger beziehen sich die Angaben auf Angehörige jedweder Geschlechter. FIG. 3 shows an expert 36 generating an expert instruction at an instruction location. For reasons of readability, in The masculine form has been chosen in the text, nevertheless the information refers to members of either gender.
Der Experte 36 führt in dem gezeigten Beispiel in einer virtuellen Umgebung eine Tätigkeit am Anweisungsort durch. Hierbei wird der Experte 36 von einer oder mehreren Beobachtungseinheiten 22 erfasst: Ferner kann der Experte einen Sensorhandschuh 24 oder ein VR-Eingabegerät und/oder einen Sensoranzug 38 tragen, wobei das nicht gezeigte System 18 aus der Tätigkeit des Experten 36 eine Expertenanweisung generiert und diese zu einer Ausführungseinheit 30 am Aufgabenort übermittelt. Es wird vorzugsweise ein digitaler Zwilling der Umgebung in der die Aufgabe anfällt dargestellt, in dem sich der Experte 36 virtuell bewegen und/oder mit dem digitalen Zwilling agieren kann, wobei eine Interaktion des Experten 36 mit dem digitalen Zwilling in eine reale Steuerungsanweisung übersetzt wird. In the example shown, the expert 36 carries out an activity at the instruction location in a virtual environment. Here, the expert 36 is recorded by one or more observation units 22: The expert can also wear a sensor glove 24 or a VR input device and/or a sensor suit 38, with the system 18 (not shown) generating expert instructions from the activity of the expert 36 and these transmitted to an execution unit 30 at the task site. A digital twin of the environment in which the task occurs is preferably shown, in which the expert 36 can move virtually and/or act with the digital twin, an interaction of the expert 36 with the digital twin being translated into a real control instruction.
In Figur 4 ist ein Aufgabenort schematisch dargestellt. Am Aufgabenort befindet sich eine Anlage mit einer Maschine 40, an der eine Aufgabe abzuarbeiten ist. Beispielsweise kann die Maschine 40 eine Fehlermeldung generiert haben, wobei der Experte 36 den betreffenden Fehler korrigieren soll. Die Fehlermeldung kann, wie bereits oben beschrieben, verarbeitet werden. Es können verschiedene Interaktionsmodelle gewählt werden. A task location is shown schematically in FIG. At the task site there is a system with a machine 40 on which a task is to be processed. For example, the machine 40 may have generated an error message, with the expert 36 supposed to correct the error in question. The error message can be processed as already described above. Various interaction models can be selected.
Bei einer digitalen Manipulation kann der Experte 36 eine Expertenanweisung, wie zuvor beschrieben, erzeugen, die an die Steuereinheit 34 der Anlage übermittelt wird und eine Einstellung an der Anlage ändert, so dass der Fehler behoben wird. In the case of digital manipulation, the expert 36 can generate an expert instruction, as previously described, which is transmitted to the system control unit 34 and changes a setting on the system so that the fault is corrected.
Bei einer mechanischen Manipulation, die alternativ oder ergänzend zur digitalen Manipulation durchführbar ist, kann der Experte 36 einen humanoiden Roboter 32 am Aufgabenort mittels einer Expertenanweisung steuern und mittels des humanoiden Roboters 32 mechanische Änderungen an der Anlage vornehmen. In the case of mechanical manipulation, which can be carried out as an alternative or in addition to digital manipulation, the expert 36 can control a humanoid robot 32 at the task site using expert instructions and make mechanical changes to the system using the humanoid robot 32 .
In Figur 5 ist ein Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten 36 schematisch dargestellt. Determining and assigning a task to a remote expert 36 is shown schematically in FIG.
Eine Mehrzahl von Maschinen 40 kann beispielsweise mittels einer Predictive-Maintenance-Kl 42 überwacht werden, wobei eine Wartung einer Maschine 40 durchzuführen ist. Diese Aufgabe kann dann in einem Aufgabenspeicher oder Backlog-System 44 hinterlegt werden. Ferner kann jede der Maschinen 40 mit dem Aufgabenspeicher kommunizieren und beispielsweise selbst eine Aufgabe generieren oder eine Fehlermeldung schicken, aus der dann eine Aufgabe erstellt wird. A plurality of machines 40 can be monitored, for example, by means of a predictive maintenance class 42, with maintenance of a machine 40 having to be carried out. This task can then be stored in a task repository or backlog system 44 . Furthermore, each of the machines 40 can communicate with the task memory and, for example, itself generate a task or send an error message from which a task is then created.
Eine weitere Kl 46 kann dann die erstellten Aufgaben aus dem Aufgabenspeicher priorisieren und einen Experten 36 aus einer Vielzahl von Experten 36 bestimmen, der am geeignetsten zur Bearbeitung der Aufgabe ist. Another AI 46 can then prioritize the created tasks from the task memory and determine an expert 36 from a large number of experts 36 who is most suitable for processing the task.
Ferner kann ein relevantes System 48, wie beispielsweise ein Product Lifecycle Management PLM oder eine Produktionscloud, mit der Predictive-Maintenance-Kl 42 und den Experten 36 kommunizieren. Furthermore, a relevant system 48, such as a product lifecycle management PLM or a production cloud, can communicate with the predictive maintenance class 42 and the experts 36.
Zudem kann eine Bewertungseinheit 50, insbesondere in Form eines Bewertungsalgorithmus, die Abarbeitung der Aufgabe durch den geeigneten Experten 36 bewerten und besonders bevorzugt die Bewertung und weitere Informationen wie Dauer und/oder Kosten der Bearbeitung in einer Expertendatenbank hinterlegen. In addition, an evaluation unit 50, in particular in the form of an evaluation algorithm, can evaluate the processing of the task by the appropriate expert 36 and particularly preferably store the evaluation and other information such as duration and/or costs of processing in an expert database.
In Figur 6 sind schematisch die Schritte eines erfindungsgemäßen Verfahrens zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten 36 gezeigt. The steps of a method according to the invention for determining and assigning a task to a remote expert 36 are shown schematically in FIG.
In einem ersten Schritt S1 erfolgt ein Erfassen eines Zustands, der einer Bearbeitung bedarf und Definieren einer Aufgabe an einem Ausführungsort. In a first step S1, a state that requires processing is detected and a task is defined at an execution location.
In einem zweiten Schritt S2 wird die definierte Aufgabe an ein Backlog-System 44 übermittelt. In a second step S2 the defined task is transmitted to a backlog system 44 .
In einem dritten Schritt S3 erfolgt ein Ermitteln eines geeigneten Experten 36 für die Aufgabe. In a third step S3, a suitable expert 36 for the task is determined.
In einem vierten Schritt S4 wird die Aufgabe durch den Experten 36 abgearbeitet also erledigt, wobei der Experte 36 örtlich entfernt an einem Anweisungsort bleibt. In a fourth step S4, the task is processed by the expert 36, ie completed, with the expert 36 remaining at an instruction location at a remote location.
Das Ermitteln S3 des geeigneten Experten 36 erfolgt automatisiert. The determination S3 of the suitable expert 36 takes place automatically.
In einem optionalen weiteren Schritt S5 erfolgt ein Auswerten, wie erfolgreich die Aufgabe abgearbeitet wurde, vorzugsweise basierend auf einer Dauer der Bearbeitung, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, wobei besonders bevorzugt die Bewertung in einer Expertendatenbank hinterlegt wird. Die Erfindung wurde ausführlich beschrieben. Ein Fachmann erkennt, dass mit der offenbarten Lehre wenigstens eine der folgenden Ausführungsformen geschaffen oder wenigstens einer der folgenden Vorteile erreicht werden kann. In an optional further step S5, an evaluation is carried out as to how successfully the task was processed, preferably based on the duration of the processing, the costs of the processing and/or the recurrence of an error, with the evaluation particularly preferably being stored in an expert database. The invention has been described in detail. One skilled in the art will recognize that at least one of the following embodiments can be provided or at least one of the following advantages can be achieved with the disclosed teachings.
Es wird eine ganzheitliche Lösung bereitgestellt, um einen Experten 36 zu befähigen, Aufgaben vollständig allein durchzuführen ohne sich dabei vor Ort bewegen zu müssen. Dabei entfällt der Mitarbeiter vor Ort, welcher einen zusätzlichen Zeit-, Fehler- und Kostenfaktor darstellt. A holistic solution is provided to enable an expert 36 to perform tasks entirely on his own without having to move on site. This eliminates the need for on-site employees, which represents an additional time, error and cost factor.
Mittels einer Aufgabenerstellung aus einer Anforderung wird ein geeigneter Experte 36 automatisiert gesucht und gefunden, wobei der Experte 36 die Aufgabenerstellung von einem entfernten Ort aus in einer virtuellen Umgebung bearbeitet und hierdurch ein Abarbeiten der Aufgabenstellung vor Ort, beispielsweise durch einen Roboter, insbesondere einen humanoiden Roboter 32 bewirkt. A suitable expert 36 is automatically searched for and found by creating a task from a requirement, with the expert 36 processing the task creation from a remote location in a virtual environment and thereby processing the task on site, for example by a robot, in particular a humanoid robot 32 causes.
Im Rahmen der digitalen Transformation können in den Bereichen der jeweiligen Experten 36 Effektivitäts- und Effizienzsteigerungen, Umweltschutz sowie die Weiterentwicklung von Berufsbildern erfolgen. As part of the digital transformation, effectiveness and efficiency increases, environmental protection and the further development of job profiles can take place in the areas of the respective experts.
Bezugszeichenliste Reference List
Vorrichtung Eingangsschnittstelle Analyseeinheit Ausgangsschnittstelle System Erfassungseinheit Beobachtungseinheit Sensorhandschuh VR-Brille Übertragungseinheit Ausführungseinheit humanoider Roboter Steuereinheit Experte Sensoranzug Maschine Predictive-Maintenance- Kl Backlog-System weitere Kl relevantes System Bewertungseinheit Verfahrensschritte Device input interface analysis unit output interface system acquisition unit observation unit sensor glove VR glasses transmission unit execution unit humanoid robot control unit expert sensor suit machine predictive maintenance cl backlog system further cl relevant system assessment unit procedural steps

Claims

Patentansprüche Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten (36) mit den Schritten: Claims A method for determining and assigning a task to a locally remote expert (36), comprising the steps of:
Erfassen (S1) eines Zustands, der einer Bearbeitung bedarf und Definieren einer Aufgabe an einem Ausführungsort; detecting (S1) a condition that requires processing and defining a task at an execution site;
Übermitteln (S2) der definierten Aufgabe an ein Backlog-System (44); Ermitteln (S3) eines geeigneten Experten (36) für die Aufgabe und Abarbeiten (S4) der Aufgabe durch den Experten (36), wobei der Experte (36) örtlich entfernt an einem Anweisungsort bleibt, dadurch gekennzeichnet, dass das Ermitteln (S3) des geeigneten Experten (36) automatisiert erfolgt. Verfahren nach Anspruch 1, wobei das Erfassen (S1) eines Zustands, der einer Bearbeitung bedarf und vorzugsweise das Definieren einer Aufgabe, durch ein IOT- fähiges Gerät erfolgt. Verfahren nach einem der vorstehenden Ansprüche, wobei die Aufgabe eine digitale Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten (36) vorzugsweise ein Darstellen eines digitalen Zwillings der Umgebung, in der die Aufgabe anfällt, umfasst, der Experte (36) sich vorzugsweise virtuell im digitalen Zwilling bewegen und/oder mit dem digitalen Zwilling agieren kann, wobei eine Interaktion des Experten (36) mit dem digitalen Zwilling in eine reale Steuerungsanweisung des IOT- fähigen Gerätes übersetzt wird. Verfahren nach einem der vorstehenden Ansprüche, wobei die Aufgabe eine mechanische Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten (36) vorzugsweise ein Steuern eines zumindest teilweise autonomen humanoiden Roboters (32) umfasst, wobei besonders bevorzugt ein 360-Grad- Kamerabild aus der Perspektive des humanoiden Roboters (32) in eine VR-Brille (26) des Experten (36) übertragen wird und eine Expertenanweisung in Form einer Bewegung des Experten (36) am Anweisungsort, insbesondere in Echtzeit, durch den humanoiden Roboter (32) am Ausführungsort widerholt wird. Verfahren nach einem der vorstehenden Ansprüche, wobei eine Kommunikation zwischen Ausführungsort und Anweisungsort mittels eines drahtlosen Netzwerks, insbesondere eines 5G-Netzwerkes erfolgt. Verfahren nach einem der vorstehenden Ansprüche, wobei das Ermitteln (S3) des geeigneten Experten (36) mittels einer Kl (46) erfolgt, vorzugsweise basierend auf einer Bearbeitungs- und Bewertungshistorie des Experten (36), wobei besonders bevorzugt eine Priorisierung einzelner Aufgaben basierend auf anfallenden Mehrkosten erfolgt. Verfahren nach einem der vorstehenden Ansprüche, zusätzlich mit dem Schritt: Auswerten (S5) wie erfolgreich die Aufgabe abgearbeitet wurde, vorzugsweise basierend auf einer Dauer der Bearbeitung, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, wobei besonders bevorzugt die Bewertung in einer Expertendatenbank hinterlegt wird. Computer-Programm mit Programm-Code-Mitteln, um alle Schritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen, wenn das Computer- Programm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird. Vorrichtung (10) zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten (36), mit: einer Eingangsschnittstelle (12) zum Empfangen von Zustandsdaten mit Informationen zu einem Zustand, der einer Bearbeitung bedarf und/oder Aufgabendaten mit Informationen zu einer definierten Aufgabe; einer Analyseeinheit (14) zum Ermitteln eines geeigneten Experten (36) für die Aufgabe basierend auf den Zustandsdaten und/oder den Aufgabendaten und Experteninformation aus einer Expertendatenbank und einer Ausgangsschnittstelle (16) zum Übermitteln von Expertendaten mit Informationen bezüglich des geeigneten Experten (36), dadurch gekennzeichnet, dass die Analyseeinheit (14) dazu ausgebildet ist, den geeigneten Experten (36) automatisiert zu ermitteln. System (18) zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten (36) an einem Anweisungsort, mit: einer Erfassungseinheit (20) zum Erfassen einer Expertenanweisung an dem Anweisungsort bezüglich der abzuarbeitenden Aufgabe am Aufgabenort; einer Übertragungseinheit (28) zum Übertragen der Expertenanweisung vom Anweisungsort zum Aufgabenort und einer Ausführungseinheit (30) zum Ausführen der übertragenen Expertenanweisung am Aufgabenort. Transmission (S2) of the defined task to a backlog system (44); Determination (S3) of a suitable expert (36) for the task and processing (S4) of the task by the expert (36), with the expert (36) remaining locally remote at an instruction location, characterized in that the determination (S3) of the appropriate experts (36) is carried out automatically. Method according to claim 1, wherein the detection (S1) of a state that requires processing and preferably the definition of a task is carried out by an IOT-enabled device. Method according to one of the preceding claims, wherein the task includes digital manipulation and the processing of the task by the expert (36) preferably includes a representation of a digital twin of the environment in which the task occurs, the expert (36) preferably virtual move in the digital twin and/or act with the digital twin, with an interaction of the expert (36) with the digital twin being translated into a real control instruction of the IOT-enabled device. Method according to one of the preceding claims, wherein the task comprises a mechanical manipulation and the processing of the task by the expert (36) preferably comprises controlling an at least partially autonomous humanoid robot (32), with a 360-degree camera image particularly preferably being taken from the Perspective of the humanoid robot (32) is transferred to VR glasses (26) of the expert (36) and an expert instruction in the form of a movement of the expert (36) at the instruction location, in particular in real time, by the humanoid robot (32) at the execution location is repeated. Method according to one of the preceding claims, wherein communication between the place of execution and the place of instruction takes place by means of a wireless network, in particular a 5G network. Method according to one of the preceding claims, wherein the determination (S3) of the suitable expert (36) by means of a Kl (46), preferably based on a processing and evaluation history of the expert (36), particularly preferably a prioritization of individual tasks based on any additional costs incurred. Method according to one of the preceding claims, additionally with the step: evaluating (S5) how successfully the task was processed, preferably based on the duration of the processing, the costs of the processing and/or an error recurrence, the evaluation being particularly preferably stored in an expert database . Computer program with program code means to carry out all the steps of a method according to one of the preceding claims when the computer program is executed on a computer or a corresponding computing unit. Apparatus (10) for determining and assigning a task to a remote expert (36), comprising: an input interface (12) for receiving status data including information about a condition requiring attention and/or task data including information about a defined task ; an analysis unit (14) for determining a suitable expert (36) for the task based on the status data and/or the task data and expert information from an expert database and an output interface (16) for transmitting expert data with information regarding the suitable expert (36), characterized in that the analysis unit (14) is designed to automatically determine the appropriate expert (36). A system (18) for completing a task at a task location by a remote expert (36) at an instruction location, comprising: a capturing unit (20) for detecting an expert instruction at the instruction location regarding the task to be performed at the task location; a transmission unit (28) for transmitting the expert instruction from the instruction location to the task location; and an execution unit (30) for executing the transmitted expert instruction at the task location.
PCT/EP2022/086164 2021-12-17 2022-12-15 Assigning a task to a remotely located expert WO2023111184A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021214584.1 2021-12-17
DE102021214584.1A DE102021214584A1 (en) 2021-12-17 2021-12-17 Assigning a task to a remote expert

Publications (1)

Publication Number Publication Date
WO2023111184A1 true WO2023111184A1 (en) 2023-06-22

Family

ID=84799756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/086164 WO2023111184A1 (en) 2021-12-17 2022-12-15 Assigning a task to a remotely located expert

Country Status (2)

Country Link
DE (1) DE102021214584A1 (en)
WO (1) WO2023111184A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535793B2 (en) 2000-05-01 2003-03-18 Irobot Corporation Method and system for remote control of mobile robot
US20180089870A1 (en) * 2016-09-26 2018-03-29 Rockwell Automation Technologies, Inc. Augmented reality presentation of an industrial environment
CN111459274A (en) 2020-03-30 2020-07-28 华南理工大学 5G + AR-based remote operation method for unstructured environment
US10824142B2 (en) 2018-05-01 2020-11-03 Dexterity, Inc. Autonomous robot with on demand teleoperation
US20210094180A1 (en) 2018-03-05 2021-04-01 The Regents Of The University Of Colorado, A Body Corporate Augmented Reality Coordination Of Human-Robot Interaction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535793B2 (en) 2000-05-01 2003-03-18 Irobot Corporation Method and system for remote control of mobile robot
US20180089870A1 (en) * 2016-09-26 2018-03-29 Rockwell Automation Technologies, Inc. Augmented reality presentation of an industrial environment
US20210094180A1 (en) 2018-03-05 2021-04-01 The Regents Of The University Of Colorado, A Body Corporate Augmented Reality Coordination Of Human-Robot Interaction
US10824142B2 (en) 2018-05-01 2020-11-03 Dexterity, Inc. Autonomous robot with on demand teleoperation
CN111459274A (en) 2020-03-30 2020-07-28 华南理工大学 5G + AR-based remote operation method for unstructured environment

Also Published As

Publication number Publication date
DE102021214584A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
EP1385071B1 (en) Method for exchanging data between machine controllers, specially robot controllers
DE102010045529B4 (en) Interactive robot control system and method of use
DE112018002565B4 (en) System and method for direct training of a robot
DE112009003656B4 (en) Method and system for in-production optimization of the parameters of a robot used for assembly
DE112010000775T5 (en) INDUSTRIAL ROBOT SYSTEM
DE112019003185T5 (en) AUTOMATIC DYNAMIC DIAGNOSTIC GUIDE WITH EXTENDED REALITY
DE102008008500B3 (en) Method for computer-assisted configuration of e.g. motor vehicle, involves determining template provided for generic specification of characteristics of technical system, and values of template based on modeling of configuration information
EP3229185A1 (en) System for digital support of a work process
DE112012003218T5 (en) Load control system and load drive system
DE60219570T2 (en) simulation device
DE102017110469A1 (en) An information processing apparatus for processing processing information exchanged between a plurality of manufacturing cells
DE10215885A1 (en) Automatic process control
DE102019211770B3 (en) Process for the computer-aided recording and evaluation of a workflow in which a human worker and a robotic system interact
DE102017007909A1 (en) Production control equipped with a function for identifying the cause after an operation stop of a production facility comprising manufacturing facilities
EP3699704B1 (en) System and method for validating system requirements of cyber-physical systems
WO2023111184A1 (en) Assigning a task to a remotely located expert
EP3731043A1 (en) Security assessment method, computer program, machine-readable storage medium, and security assessment device
DE102016100241A1 (en) Method of producing a product with integrated planning and direct integrated control
EP1487616B1 (en) Automatic process control
EP4268162A1 (en) Method and system for transforming a start object situation into a target object situation (intuitive tacit solution finding)
DE112019007691T5 (en) SYSTEM FOR PLANNING ROBOT ACTIONS, ROBOT SYSTEM, ROBOT TASK VERIFICATION SYSTEM AND METHOD FOR PLANNING ROBOT ACTIONS
EP3712724A1 (en) Automation device, method for operating the automation device and computer program
EP4109194B1 (en) Sensor data generation for controlling an autonomous vehicle
DE102022123243B3 (en) Artificial intelligence for precise determination of output torques of collaborative robots
EP4060440B1 (en) System with at least one installation system with at least several parts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22835794

Country of ref document: EP

Kind code of ref document: A1