WO2016206874A1 - Interaction system - Google Patents

Interaction system Download PDF

Info

Publication number
WO2016206874A1
WO2016206874A1 PCT/EP2016/061276 EP2016061276W WO2016206874A1 WO 2016206874 A1 WO2016206874 A1 WO 2016206874A1 EP 2016061276 W EP2016061276 W EP 2016061276W WO 2016206874 A1 WO2016206874 A1 WO 2016206874A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
expert
operating environment
interaction system
unit
Prior art date
Application number
PCT/EP2016/061276
Other languages
German (de)
French (fr)
Inventor
Rebecca Johnson
Asa Macwilliams
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2016206874A1 publication Critical patent/WO2016206874A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the invention relates to an interaction system for operator assistance of an operator by an expert.
  • the proposed means for assisting operators have the significant disadvantage that it remains for the operator to be supported to interpret instructions received from the expert and to locate the points to be processed in the operating environment. It is therefore an object of the present invention to provide a
  • the interaction system according to the invention for operator assistance of an operator by an expert comprises one or more operator support devices on the part of the operator as well as a remote expert device on the part of the expert.
  • the operator support device and the remote expert device are at least indirectly coupled via a bidirectional data connection.
  • the operator assistance device on the side of the operator comprises one or more operating environment detection units for detecting an operating environment of the operator and one or more projection units for optical projection of one or more operating instructions on the operating environment.
  • the remote expert device comprises an output unit for outputting the operating environment detected by the operating environment detection unit on the operator's side to the expert and an operator guidance unit for detecting a gesture of the expert assigned to a context of the operating environment and for generating the operating information on the basis of the gesture.
  • the operating instruction is projected on the operator's side in its operating environment.
  • the invention is supported by the idea of a remote-acting finger-pointer by the expert.
  • the finger pointing or operating instruction of an expert is carried out by means of an optical projection on the operating environment. This operating instruction is intuitively provided by the expert on the part of the expert
  • Gesture prompted Operator's note is processed and transmitted via the bidirectional data link to the operator support device. There, the operating instruction is projected by the projection unit on the part of the operator in its operating environment.
  • the interaction system ensures an intuitive instruction to the operator as to which exact point in the operating environment is to be operated. This is particularly evident when asked which fuse to operate in a cabinet with a variety of fuses. While previous means of assistance rely on linguistic instructions, such as "row 40, twelfth backup from the left", optical projection of an operation indication, such as marking the fuse to be operated by means of a light emitting point, allows a more natural instruction of the operator ,
  • the erfindungsgenzeße interaction system also facilitates the finger pointing the expert.
  • the gesture causing the operating instruction is initiated by a fixation with the eyes of the expert.
  • the server can see the look of the Experts follow, which is projected into the operating environment as a luminous point or as a marker or illumination of a field of view.
  • an expert is not necessarily more qualified than the operator.
  • the interaction system according to the invention is used, for example, in the field of automation technology, in production and machine tools, in process automation, in diagnosis or service support systems as well as for complex components, devices and systems such as vehicles and industrial machines and plants.
  • the user guidance unit is adapted to detect the gesture for detecting a position or movement of body parts of the expert or to detect a gesture as a combination of a position and a movement of a body part of the expert, such as gestures , which provide a positioning and swiping (Swipe Gesture).
  • the gesture control also includes meta-commands which are not directly linked to a finger gesture, for example gestures which deactivate or activate the optical projection of the operation advice, select certain patterns or colors of the projection, control playback of stored instruction videos, etc.
  • Body parts for defining the gesture are in particular: one or more fingers of the expert, one or both hands of the expert, the head of the expert and one or both eyes of the expert. Depending on the body part, suitable techniques are used to detect the gesture by the user guidance unit.
  • the operator guidance unit comprises a gaze-tracking or eye-tracking device.
  • a gaze tracking device for detecting an eye position and for generating a location information about the eye position, a gesture triggered by an eye of the expert is detected.
  • the location information is transferred to the user guidance unit, which calculates the spatial coordinates of the operating information to be projected in the spatial context of the operating environment.
  • the gaze tracking device can be integrated, for example, in a data goggle or in a head mounted display.
  • a gesture triggered by a hand and / or at least one finger of the expert is detected.
  • the data glove translates movements of the hand and fingers into electrical signals. Furthermore, this allows a determination of position and orientation of the hand.
  • detection of the position and movement of the hand and fingers may be detected by camera and / or laser-based gesture detection, which eliminates the need to wear a data glove.
  • a combination of gestures is advantageous, for example, it can be provided that a gesture causing a first operating instruction from a fixation of an object of the operating environment is triggered by the eyes of the expert, and a gesture causing a second operation is triggered by a finger pointing to an object of the operating environment.
  • the first and second operating instructions are preferably simultaneously projected into the operating environment.
  • a visual differentiation of the two operating instructions can be provided, for example by a different coloration of the operating instruction triggered by the eye fixation and the operating instruction triggered by the finger pointer.
  • the operator can follow the gaze of the expert, which is projected into the operating environment as a luminous point or else as a marking or illumination of a field of view.
  • Different coloration of an operating instruction can also be advantageously used for other signaling purposes, for example, reserved colors may indicate a higher importance or priority. Further, certain colors may indicate the status of the data connection between the operator support device and the remote expert unit or also the time elapsed between detection of the expert's gesture and transmission and generation of the operator side operator indication, thereby indicating possible data link delays. Further, certain colors may be associated with a respective hand of the expert, such as a right-hand red laser, a left-hand green laser. To generate different colors, several independently controllable lasers with different spray colors can be provided on the operator side. A color can alternatively or additionally be adjusted by mixing different laser beams or by frequency tuning individual lasers.
  • the projection unit includes For example, a laser in the visible wavelength range, a Mikroaptarrayproj ector, a liquid crystal projector and / or a LED projector. Combinations of the mentioned projection units are also advantageous, for example by projecting a circuit diagram of a system to be serviced onto a flat surface of the operating environment, while the expert can highlight individual areas with a laser marking point. Furthermore, the projection units allow a projection of moving pictures or video sequences, for example to represent a sequence of required hand movements for a complex operating step.
  • the projection unit comprises a pattern projector for the random definition of patterns. For example, a fixation of an area of the operating environment with the eyes of the operator on the operator side is displayed with a circular operating instruction, a finger gesture with a punctiform operating instruction.
  • the pattern projector is set up for generating a pattern that is statically perceived by the human eye with an outline marked by a trajectory of a movement gesture.
  • a border made by the expert border of an area with his finger is displayed on the operator side as an outline of the border area or with a filled border area.
  • the laser beam is guided so fast along the contour lines or within the border area that the contour or area is perceived statically for the human eye due to its inertia for rapid image changes.
  • Further advantageous embodiments of the invention relate to the operator assistance device on the part of the operator.
  • Optical detection devices detect in particular optical cameras and / or depth data scanners.
  • Optical detection devices detect in particular optical cameras and / or depth data scanners.
  • combinations of infrared sensors or cameras in combination with a light or laser projection of structures such as grid lines are used as depth data scanners.
  • laser depth data scanners are used.
  • annular or spherical segment-shaped arrangement is also advantageous for the acoustic detection devices or microphones in order to allow the experts a spatial and directional hearing of the ambient noise.
  • Other detection devices may include thermal sensors, radiation sensors, gas sensors, as well as physical and chemical sensors of all kinds.
  • the output unit on the part of the expert as data glasses or head-mounted display, which on the one hand allows a spatial vision through a stereoscopic Dar- position of the operating environment and on the other hand also allows integration of the gaze tracking device.
  • smart glasses allow integration of inertial sensors for detecting head movement as well as gesture detection scanners for detecting gestures of the fingers and / or hands of the expert.
  • the interaction control system is, for example, a server which controls a preparation and transmission of the video data of the operating environment.
  • the server continues to perform a definition and calculation of patterns and Location coordinates of the respective operating instructions to ensure a correct position projection on the operating environment.
  • the interaction control system is formed by a respective, on the one hand, the remote expert unit and the other hand, the operator support device via a wireless data connection associated portable device with a software brought to expiration thereon.
  • Fig. La a schematic representation of an operator assistance of an operator in a control environment
  • FIG. 1b shows a schematic representation of an operator guidance by an expert
  • FIG. 2 shows a schematic representation of an operator assistance device according to an exemplary embodiment.
  • FIG. 1a shows an operator assistance of an operator OPR in a service environment or "service site".
  • the operator OPR works on screw connections of a flange of a pipe connection, which is shown only schematically and in sections. In the situation shown in Fig. 1, the operator has to release a hexagon bolt of the flange connection with a wrench.
  • An operator support device OSD assists the operator OPR in his operating task.
  • the operator assistance device OSD is set up by means of a stand in a not necessarily immediate vicinity to the operator OPR.
  • the operator support device OSD is preferably placed in a position that would be occupied by a personally present expert for operator assistance of the operator OPR.
  • the operator support device OSD comprises a plurality of operating environment detection units for detecting an operating environment of the operator.
  • several optical detection units CAM arranged annularly around the circumference of the operator support device OSD, preferably high-resolution video cameras with wide-angle lenses, serve as the operating environment detection unit. With this arrangement as complete as possible optical detection of the operating environment is achieved.
  • the operator support device OSD further comprises at least one projection unit for the optical projection of an operating instruction on the operating environment.
  • a laser projection unit as
  • Projection unit used by a laser beam LSB is projected onto the operating environment.
  • a point or area marked by the laser beam shows the operator OPR which screw is to be loosened.
  • FIG. 1b shows an operator guidance at the same time taking place at a location remote from the operating environment by an expert RME or "remote expert” by means of a remote expert unit.
  • the remote expert unit is at least indirectly coupled to the operator support device OSD via a bidirectional data link and comprises an output unit and a guidance unit.
  • a direct coupling is suitable for simple solutions, in which the respective - not shown - arithmetic units in the interaction system, ie in the operator support device OSD and / or in the remote expert unit control a preparation and transmission of the video data of the operating environment, as well as a definition and calculation of Carry out patterns and location coordinates of the respective operating instructions in order to ensure a correct position projection on the operating environment.
  • These tasks can be ⁇ ⁇
  • one of the remote expert unit and the operator support device OSD via a wireless data connection assigned portable device with a run on it brought software or "App" occupy.
  • an advantageous outsourcing of at least part of the computing capacity to an already routinely entrained computing unit is achieved.
  • a more powerful interaction control system in the form of a server (not shown) may be provided via a coupling (not shown).
  • the output unit in the present exemplary embodiment at least comprising a data goggles HMD or "head-mounted display", serves for an essentially time-synchronized output of the detected operating environment to the expert RME.
  • the operating environment detected by the operator support device OSD is output via the bidirectional data connection to the data glasses HMD of the expert RME.
  • FIG. 1b schematically shows an optical representation of a virtual operating environment VRV which is output in the data goggles HMD of the expert.
  • the expert RME captures the operating environment in a spatial manner via separately prepared optical data for his left and right eyes, which are output stereoscopically from the data glasses HMD.
  • the stereoscopic processing advantageously includes a perspective curvature for correcting optical differences in the imaging behavior of the operating environment detection units and the data glasses HMD or the output unit in general.
  • Other components of the output unit include a
  • stereo-acoustic output of the acoustic signals detected in the operating environment for example via - not shown - speakers or headphones via ge separates prepared acoustic data for the left and right ear of the expert RME.
  • the stereoacoustic output changes to output with a changed stereoacoustic preferential direction according to the changed turning or tilting angle of the head of the expert RME.
  • the expert can turn his head in this way to better perceive incoming noises from a certain direction.
  • the visual representation of the virtual operating environment VRV changes so that it is displayed with a changed image detail and a changed perspective in accordance with the angle of vision changed by rotation or inclination of the head of the expert RME.
  • signals of at least one, in the case of stereo-optical or stereo-acoustic representation of at least two, of a plurality of detection units are selected which surround the operator support device in an annular manner, for example along a full circle.
  • the expert RME can turn in all possible directions and receives stereoscopically prepared views or soundscapes according to a taken in direction.
  • an image or audio processing is used, which performs an interpolation on the basis of the signals supplied by participating detection units.
  • an image processing process which is preferably carried out by the operator support device OSD, is a 3D or 2.5D process.
  • the expert RME acts with the remote expert unit essentially as if it were in close proximity to the operator OPR. He sees and hears what is going on in the operating environment, communicates with the operator OPR and gives it a hint in the form of operating instructions about the location and type of operation to be performed.
  • the guide unit comprises at least one data glove GLV or "data glove”. and further - not shown - means for processing the data supplied by the data glove GLV raw data with the aim of generating operating instructions from these raw data.
  • the raw data of the data glove GLV are generated by converting movements of the hand and fingers into electrical signals.
  • fiber optic structures run along the fingers and thumb of the expert RME.
  • a light-emitting diode at one end sends light along the fiber optic structures to a phototransistor at the other end, which converts the light into an electrical signal.
  • the position and orientation of the hand is determined by means of a sensor provided on the back of the hand of the data glove GLV, by means of which, for example, the strength and orientation of three mutually perpendicular artificially generated magnetic fields in space is measured.
  • gestures are detected by corresponding data glasses HMD integrated devices, for example with a gaze tracking device, inertial sensors for detecting a head movement and optical devices for detecting gestures of the fingers and / or hand of the expert RME.
  • Support for detecting gestures of the fingers and / or hands of the expert RME may optionally be assisted by a glove which has a signal color facilitating detection.
  • This glove GLV need not necessarily have the facilities of the data glove for translating hand and finger movements into electrical signals.
  • the guidance unit finally assigns the gestures to the context of the operating environment to result in a correctly-produced operator's instruction being projected into the operator's operating environment.
  • By showing the expert RME on virtual Objects in the virtual operating environment VRV is projected an operating instruction on the real objects corresponding to the virtual objects.
  • a virtual representation of the hand of the expert RME is displayed in the virtual operating environment VRV.
  • FIG. 2 shows a schematic representation of an operator assistance device OSD according to an exemplary embodiment.
  • the operator support device OSD has a cylindrical base body, which is connected via a tripod coupling TRP with a tripod.
  • a suspension device HOK alternatively allows a suspended attachment of the operator support device OSD.
  • a plurality of optical detection unit CAM and acoustic detection units MIC are arranged in an annular manner, advantageously along a full circle. Adjacent detection units are preferably so far apart that their detection ranges overlap and / or that the distance between the detection units corresponds approximately to the distance between corresponding human sensory organs - eye or ear.
  • At least two acoustic output units LSP and at least one projection / display unit DSP are arranged along the lateral surface or else only in a partial surface which is dressed in a preferred direction.
  • the projection / display unit DSP serves to output opti- Information which is either displayed on a display of the projection / display unit DSP or projected onto the operating environment by the projection / display unit DSP.
  • an embodiment of the projection / display unit DSP as a micromirror array projector, liquid crystal projector, light-emitting diode projector or a combination of the aforementioned projectors is suitable for projection onto the operating environment.
  • the operator support device OSD further comprises two laser guide devices STA for steering a respective laser beam LSB, which serves to project a respective operating instruction.
  • two embodiments of the invention will be explained, in which the outer dimensions of the user assistance device OSD are considered. While an operator support device OSD usable for usual technical purposes is to be dimensioned approximately to the size of a human head, so that the recorded and expert-generated virtual operating environment VRV corresponds approximately to that of the real operating environment, dimensions which deviate upwards and downwards also show up technical advantages.
  • An operator support device OSD in a miniature format according to a first embodiment allows placement inside a machine in which access by an operator OPR is not possible.
  • the operator OPR accesses from outside the operating environment detected by the operator support device OSD with the aid of corresponding miniature tools, with projections according to the invention being supported by operating instructions in the placement and application of the miniature tools.
  • the operator instructing expert RME has through the miniature size of the operator support device OSD and the corresponding operating environment detection unit a more detailed view of the operating environment and can also in a simpler way an operating instruction on miniature objects.
  • An operator support device OSD in a giant format allows a placement in a position in which a complete area, such as an airport, a construction site, a factory, etc. can be detected.
  • the operating instructions of the expert RME are in such an embodiment, for example, used to point a group of workers a way to a maintenance position.
  • a first possible application of the interaction system according to the invention provides that the roles of the operator OPR and the expert RME coincide.
  • a person named in the following user changes his workstation between the operating environment and the workstation where the remote expert unit is located.
  • a workstation at the remote expert unit first allows the user to inspect the control panel via the output unit and to set one or more operating instructions for points to be processed in the following. The user fixes these operating instructions and then switches to the operating environment to carry out the work there.
  • Such an upstream remote inspection of an operating environment prior to the actual execution of the work is advantageous, for example, in cases in which the personal stay in the operating environment is to be reduced to a minimum, for example due to health-threatening environmental conditions or due to environmental conditions requiring a posture of the user, which complicate longer inspections prior to the actual work in the operating environment.
  • an application of a change of job also lends itself to cases where an operator assistance ⁇ Q
  • device OSD is used in a miniature or giant format explained above and a forthcoming work in advance inspection is in a more detailed or overviewing view of advantage.
  • a coincidence of the role of the operator OPR and the expert RME is also present in an application in which an operator support device OSD in a giant format allows an overview of a complete area from a bird's eye view and an operator in the search for a path through the area a mobile Output unit of the remote expert unit, in particular a data goggles, uses to get on his path finding a representation of the bird's eye view of the area.
  • an operator support device OSD in a giant format allows an overview of a complete area from a bird's eye view and an operator in the search for a path through the area a mobile Output unit of the remote expert unit, in particular a data goggles, uses to get on his path finding a representation of the bird's eye view of the area.
  • Interaction system provides that the roles of the operator and the expert of several persons are taken. For example, in certain situations, at least one interaction system assigned to an operator or a group of operators is advantageous, which is assigned to a plurality of remote expert units, each with different experts. An alternating or simultaneous guidance by different experts is carried out in an advantageous manner by optical projection of operating instructions on the operating environment with a different color depending on the experts.
  • the interaction system according to the invention for operating support of an operator by an expert ensures a long-term finger pointing by the expert.
  • the finger pointing or operating instruction of an expert is carried out by means of an optical projection on the operating environment of the operator.
  • This operating instruction is presented on the part of the expert in an intuitive way by a gesture control in front of the Background generated on the side of the operator operating environment and the experts transmitted and displayed operating environment generated.
  • the operator prompt, prompted by a gesture is processed and transmitted to the operator support facility of the operator.
  • the operating instruction is projected by the projection unit on the part of the operator in its operating environment.
  • the interaction system according to the invention ensures an intuitive instruction to the operator as to which exact point in the operating environment is to be operated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

The claimed interaction system for supporting an operator with operation by means of an expert provides a remotely operated hint by the expert. The hint or prompt of an expert is performed by means of an optical projection onto the operating environment of the operator. This prompt is generated intuitively on the expert side by a gesture control in front of the background of an operating environment that is detected on the operator side and is transmitted and represented to the expert. The prompt initiated by the expert by means of a gesture is processed and transmitted to the operator support device of the operator. At the operator support device, the prompt is projected on the operator side into the operating environment of the operator by means of the projection unit. In contrast to currently known devices for supporting operators, the claimed interaction system provides the operator with an intuitive instruction as to which exact position in the operating environment is to be operated on.

Description

Beschreibung description
InteraktionsSystem Die Erfindung betrifft ein Interaktionssystem zur Bedienungsunterstützung eines Bedieners durch einen Experten. Interaction System The invention relates to an interaction system for operator assistance of an operator by an expert.
Im Stand der Technik sind Einrichtungen zur Unterstützung von Bedienern bei der Durchführung Ihrer Aufgaben bekannt . Unter Bediener in diesem Sinn werden Personen verstanden, welche Arbeiten an technischen Einrichtungen aller Art durchführen, beispielsweise Reparaturpersonal, Wartungspersonal, Techniker usw . Es wurde bereits vorgeschlagen, einem Bediener über eine Datenbrille unterstützende Informationen zur Durchführung der Bedienaufgaben in dessen Sichtfeld einzublenden. Weiterhin sind Vorschläge bekannt, den Bediener während der Durchführung seiner Arbeiten, also "on site", durch eine Kommunikati- on mit einem Experten zu unterstützen. In überwiegenden Fällen ist eine persönliche Anwesenheit des Experten im Bedienumfeld nicht möglich, so dass die Kommunikation über eine Kommunikationsverbindung erfolgen muss. Auf den per Kommunikationsverbindung assistierenden Experten wird oftmals auch als "Remote Expert" Bezug genommen. In the prior art, facilities for assisting operators in carrying out their duties are known. Operators in this sense are understood to mean persons who carry out work on technical equipment of all kinds, for example repair personnel, maintenance personnel, technicians, etc. It has already been proposed to show an operator via data glasses supportive information for carrying out the operating tasks in the field of view. Furthermore, proposals are known to support the operator during the execution of his work, ie "on site" by a communication with an expert. In most cases, a personal presence of the expert in the operating environment is not possible, so that the communication must be made via a communication link. The experts who assist in the communication connection are often referred to as "remote experts".
Ferner wurde vorgeschlagen, Bediener und Experten mit einer Hör-Sprech-Kombination und einer Datenbrille ("Head Mounted Display") auszustatten. Diese Maßnahme gestattet eine nahezu unbeeinträchtigte Arbeitsweise des Bedieners, da er zumindest beide Hände zur Durchführung seiner Arbeitsschritte frei hat. Der Experte wiederum erhält durch eine video- und audiobasierte Kommunikationsverbindung einen angemessenen Eindruck vom Bedienumfeld und muss sich nicht auf mündliche Erklärun- gen des Bedieners zur Situation im Bedienumfeld verlassen. In der Praxis hat sich allerdings gezeigt, dass eine Zusammenarbeit zwischen Bediener und "Remote Expert" nicht so fruchtbar ist wie eine Zusammenarbeit, bei der der Experte und Bediener gemeinsam am Bedienumfeld anwesend ist. It has also been proposed to equip operators and experts with a hearing-and-speech combination and a data-goggles ("head-mounted display"). This measure allows an almost undisturbed operation of the operator, since he has at least both hands free to carry out his work steps. The expert in turn receives a reasonable impression of the operating environment through a video- and audio-based communication connection and does not have to rely on verbal explanations from the operator regarding the operating environment. In practice, however, has shown that a collaboration between the operator and "Remote Expert" not so fruitful is like a collaboration in which the expert and operator are present together in the operating environment.
Die vorgeschlagenen Einrichtungen zur Unterstützung von Be- dienern haben den wesentlichen Nachteil, dass es dem zu unterstützenden Bediener verbleibt, vom Experten erhaltene Anweisungen zu interpretieren und die zu bearbeitenden Stellen im Bedienumfeld ausfindig zu machen. Es ist daher eine Aufgabe der vorliegenden Erfindung, einThe proposed means for assisting operators have the significant disadvantage that it remains for the operator to be supported to interpret instructions received from the expert and to locate the points to be processed in the operating environment. It is therefore an object of the present invention to provide a
System zur Bedienungsunterstützung eines Bedieners zu schaffen, welches eine intuitivere Interaktion zwischen einem Bediener und einem Experten gewährleistet. Die Aufgabe wird erfindungsgemäß durch ein Interaktionssystem mit den Merkmalen des Patentanspruchs 1 gelöst. To provide an operator assistance system that provides a more intuitive interaction between an operator and an expert. The object is achieved by an interaction system with the features of claim 1.
Das erfindungsgemäße Interaktionssystem zur Bedienungsunterstützung eines Bedieners durch einen Experten umfasst eine oder mehrere Bedienerunterstützungseinrichtung auf Seiten des Bedieners sowie eine Fernexperteneinrichtung auf Seiten des Experten. Die Bedienerunterstützungseinrichtung und die Fernexperteneinrichtung sind über eine bidirektionale Datenverbindung zumindest indirekt gekoppelt. The interaction system according to the invention for operator assistance of an operator by an expert comprises one or more operator support devices on the part of the operator as well as a remote expert device on the part of the expert. The operator support device and the remote expert device are at least indirectly coupled via a bidirectional data connection.
Die Bedienerunterstützungseinrichtung auf Seiten des Bedieners umfasst eine oder mehrere Bedienumfelderfassungsein- heiten zur Erfassung eines Bedienumfelds des Bedieners sowie eine oder mehrere Projektionseinheiten zur optischen Projek- tion eines oder mehrerer Bedienhinweise auf das Bedienumfeld. The operator assistance device on the side of the operator comprises one or more operating environment detection units for detecting an operating environment of the operator and one or more projection units for optical projection of one or more operating instructions on the operating environment.
Die Fernexperteneinrichtung umfasst eine Ausgabeeinheit zur Ausgabe des von der Bedienumfelderfassungseinheit auf Seiten des Bedieners erfassten Bedienumfelds an den Experten sowie eine Bedienerführungseinheit zur Erfassung einer einem Kontext des Bedienumfelds zugeordneten Geste des Experten und zur Erzeugung des Bedienhinweises auf Grundlage der Geste. Der Bedienhinweis wird auf Seiten des Bedieners in dessen Bedienumfeld projiziert. The remote expert device comprises an output unit for outputting the operating environment detected by the operating environment detection unit on the operator's side to the expert and an operator guidance unit for detecting a gesture of the expert assigned to a context of the operating environment and for generating the operating information on the basis of the gesture. The operating instruction is projected on the operator's side in its operating environment.
Die Erfindung ist von der Idee eines fernwirkenden Finger- zeigs durch den Experten getragen. Der Fingerzeig oder Bedienhinweis eines Experten erfolgt mittels einer optischen Projektion auf das Bedienumfeld. Dieser Bedienhinweis wird auf Seiten des Experten in intuitiver Weise durch eine The invention is supported by the idea of a remote-acting finger-pointer by the expert. The finger pointing or operating instruction of an expert is carried out by means of an optical projection on the operating environment. This operating instruction is intuitively provided by the expert on the part of the expert
Gestensteuerung vor dem Hintergrund des dem Experten darge- stellten Bedienumfelds erzeugt. Der vom Experten durch eineGesture control against the background of the operator presented operating environment generated. The one by the expert
Geste veranlasste Bedienhinweis wird verarbeitet und über die bidirektionale Datenverbindung an die Bedienerunterstützungs- einrichtung des Bedieners übertragen. Dort wird der Bedienhinweis von der Projektionseinheit auf Seiten des Bedieners in dessen Bedienumfeld projiziert. Gesture prompted Operator's note is processed and transmitted via the bidirectional data link to the operator support device. There, the operating instruction is projected by the projection unit on the part of the operator in its operating environment.
Im Gegensatz zu derzeit bekannten Einrichtungen zur Unterstützung von Bedienern gewährleistet das erfindungsgemäße Interaktionssystem eine intuitive Weisung an den Bediener, welche exakte Stelle im Bedienumfeld zu bedienen ist. Dies wird besonders augenscheinlich bei der Frage, welche Sicherung in einem Schaltschrank mit einer Vielzahl an Sicherungen zu betätigen ist. Während vormalige Einrichtungen zur Unterstützung auf sprachliche Anweisungen angewiesen sind, etwa in der Form "Reihe 40, zwölfte Sicherung von links", gestattet eine optische Projektion eines Bedienhinweises, etwa in Form einer Markierung der zu betätigenden Sicherung mittels eines Leuchtpunkts, eine selbstverständlichere Weisung des Bedieners . In contrast to currently known devices for assisting operators, the interaction system according to the invention ensures an intuitive instruction to the operator as to which exact point in the operating environment is to be operated. This is particularly evident when asked which fuse to operate in a cabinet with a variety of fuses. While previous means of assistance rely on linguistic instructions, such as "row 40, twelfth backup from the left", optical projection of an operation indication, such as marking the fuse to be operated by means of a light emitting point, allows a more natural instruction of the operator ,
In vorteilhafter Weise erleichtert das erfindungsgenmäße Interaktionssystem auch den Fingerzeig des Experten. Dieser führt den Fingerzeig, beispielsweise durch ein virtuelles Zeigen auf die Sicherung, im Kontext des ihm dargestellten Bedienumfelds durch. Außerdem kann alternativ oder zusätzlich vorgesehen sein, dass die den Bedienhinweis veranlassende Geste durch eine Fixierung mit den Augen des Experten veranlasst wird. Auf Bedienerseite kann der Bediener dem Blick des Experten folgen, welche in das Bedienumfeld als Leuchtpunkt oder auch als Markierung bzw. Ausleuchtung eines Blickfelds projiziert wird. Im Sinne dieser Beschreibung ist ein Experte nicht notwendigerweise qualifizierter als der Bediener. Dessen Expertise kann auch als "zweite Meinung" zur Lösung eines Probelems herangezogen werden, wobei die Qualifikation des Experten durchaus auf anderen Gebieten oder sogar unterhalb der Quali - fikation des Bedieners liegen kann. Der Experte ist mit anderen Worten lediglich eine Rolle, die eine beliebige Person zur Unterstützung des Bedieners einnehmen kann. Advantageously, the erfindungsgenmäße interaction system also facilitates the finger pointing the expert. This leads the finger pointer, for example, by a virtual pointing to the backup, in the context of the user environment shown him by. In addition, it can alternatively or additionally be provided that the gesture causing the operating instruction is initiated by a fixation with the eyes of the expert. On server side, the server can see the look of the Experts follow, which is projected into the operating environment as a luminous point or as a marker or illumination of a field of view. For the purpose of this description, an expert is not necessarily more qualified than the operator. Its expertise can also be used as a "second opinion" for solving a problem, whereby the qualification of the expert may well lie in other areas or even below the level of qualification of the operator. In other words, the expert is merely a role that any person can take to assist the operator.
Das erfindungsgemäße Interaktionssystem kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, in der Prozessautomation, bei Diagnoseoder Serviceunterstützungssystemen sowie für komplexe Komponenten, Geräte und Systeme, wie beispielsweise Fahrzeuge und industrielle Maschinen und Anlagen zum Einsatz. The interaction system according to the invention is used, for example, in the field of automation technology, in production and machine tools, in process automation, in diagnosis or service support systems as well as for complex components, devices and systems such as vehicles and industrial machines and plants.
Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. Further advantageous embodiments of the invention are the subject of the dependent claims.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bedienerführungseinheit zur Erfassung der Geste eingerichtet ist zur Erfassung einer Position oder einer Bewegung von Körperteilen des Experten oder auch zur Erfassung einer Geste als Kombination einer Position und einer Bewegung eines Körperteils des Experten, etwa bei Gesten, welche ein Positionieren und Wischen (Swipe Gesture) vorsehen . According to an advantageous embodiment of the invention it is provided that the user guidance unit is adapted to detect the gesture for detecting a position or movement of body parts of the expert or to detect a gesture as a combination of a position and a movement of a body part of the expert, such as gestures , which provide a positioning and swiping (Swipe Gesture).
In vorteilhafter Weise umfasst die Gestensteurung auch MetaBefehle, welche nicht direkt mit einem Fingerzeig verbunden sind, beispielswese Gesten, welche die optische Projektion des Bedienhinweises deaktivieren oder aktivieren, bestimmte Muster oder Farbe der Projektion selektieren, ein Abspielen von gespeicherten Instruktionsvideos steuern usw. Als Körperteile zur Definition der Geste kommen insbesondere in Betracht: ein oder mehrere Finger des Experten, eine oder beide Hände des Experten, der Kopfs des Experten sowie ein oder beide Augen des Experten. Zur Erfassung der Geste durch die Bedienerführungseinheit kommen je nach Körperteil geeignete Techniken zum Einsatz . Advantageously, the gesture control also includes meta-commands which are not directly linked to a finger gesture, for example gestures which deactivate or activate the optical projection of the operation advice, select certain patterns or colors of the projection, control playback of stored instruction videos, etc. Body parts for defining the gesture are in particular: one or more fingers of the expert, one or both hands of the expert, the head of the expert and one or both eyes of the expert. Depending on the body part, suitable techniques are used to detect the gesture by the user guidance unit.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bedienerführungseinheit eine Blickver- folgungs- oder Eye-Tracking-Einrichtung umfasst. Mittels einer Blickverfolgungseinrichtung zur Erfassung einer Augenposition und zur Erzeugung einer Ortsinformation über die Augenposition wird eine durch ein Auge des Experten ausgelöste Geste erfasst. Die Ortsinformation wird an die Bedienerführungseinheit übergeben, welche die in den räumlichen Kontext des Bedienumfelds einzubringenden Ortskoordinaten des zu projizierenden Bedienhinweises berechnet. Die Blickverfolgungseinrichtung kann beispielsweise in eine Datenbrille bzw. in ein Head Mounted Display integriert sein. According to an advantageous embodiment of the invention, it is provided that the operator guidance unit comprises a gaze-tracking or eye-tracking device. By means of a gaze tracking device for detecting an eye position and for generating a location information about the eye position, a gesture triggered by an eye of the expert is detected. The location information is transferred to the user guidance unit, which calculates the spatial coordinates of the operating information to be projected in the spatial context of the operating environment. The gaze tracking device can be integrated, for example, in a data goggle or in a head mounted display.
Mittels eines Datenhandschuhs bzw. "Data Glove" zur Erfassung einer Hand- und Fingerpositionsdaten und zur Erzeugung einer Ortsinformation über die Hand- und Fingerpositionsdaten wird eine durch eine Hand und/oder mindestens einen Finger des Experten ausgelöste Geste erfasst. Der Datenhandschuh übersetzt Bewegungen der Hand und der Finger in elektrische Signale. Weiterhin ermöglicht dieser eine Bestimmung von Lage und Orientierung der Hand. By means of a data glove or "data glove" for detecting a hand and finger position data and for generating location information about the hand and finger position data, a gesture triggered by a hand and / or at least one finger of the expert is detected. The data glove translates movements of the hand and fingers into electrical signals. Furthermore, this allows a determination of position and orientation of the hand.
Alternativ kann eine Erfassung der Position und Bewegung der Hand sowie der Finger durch eine kamera- und/oder lasergestützte Gestenerfassung erfasst werden, welche ein Tragen eines Datenhandschuhs entbehrlich machen. Alternatively, detection of the position and movement of the hand and fingers may be detected by camera and / or laser-based gesture detection, which eliminates the need to wear a data glove.
Auch eine Kombination von Gesten ist vorteilhaft, beispielsweise kann vorgesehen sein, dass eine einen ersten Bedienhinweis veranlassende Geste aus einer Fixierung eines Objekts des Bedienumfelds mit den Augen des Experten ausgelöst wird und eine einen zweiten Bedienhinweis veranlassende Geste durch einen Fingerzeig auf ein Objekt des Bedienumfelds ausgelöst wird. Auf Seiten des Bedieners werden der erste und der zweite Bedienhinweis vorzugsweise gleichzeitig in das Bedienumfeld projiziert. In vorteilhafter Weise kann eine optische Unterscheidung der beiden Bedienhinweise vorgesehen sein, beispielsweise durch eine unterschiedliche Farbgebung des durch die Augenfixierung ausgelösten Bedienhinweises und des durch den Fingerzeig ausgelösten Bedienhinweises. Auf Bedienerseite kann der Bediener den Blick des Experten verfolgen, welche in das Bedienumfeld als Leuchtpunkt oder auch als Markierung bzw. Ausleuchtung eines Blickfelds projiziert wird . Also, a combination of gestures is advantageous, for example, it can be provided that a gesture causing a first operating instruction from a fixation of an object of the operating environment is triggered by the eyes of the expert, and a gesture causing a second operation is triggered by a finger pointing to an object of the operating environment. On the part of the operator, the first and second operating instructions are preferably simultaneously projected into the operating environment. In an advantageous manner, a visual differentiation of the two operating instructions can be provided, for example by a different coloration of the operating instruction triggered by the eye fixation and the operating instruction triggered by the finger pointer. On the operator side, the operator can follow the gaze of the expert, which is projected into the operating environment as a luminous point or else as a marking or illumination of a field of view.
Eine unterschiedliche Farbgebung eines Bedienhinweises kann auch für andere Signalisierungszwecke vorteilhaft eingesetzt werden, beispielsweise können vorbehaltene Farben eine höhere Wichtigkeit oder Priorität anzeigen. Ferner können bestimmte Farben den Status der Datenverbindung zwischen der Bediener- unterstützungseinrichtung und der Fernexperteneinheit oder auch den zwischen Erfassung der Geste des Experten und Übertragung und Erzeugung des Bedienhinweises auf Bedienerseite verstrichenen Zeitraum anzeigen und dadurch einen Hinweis auf mögliche Datenverbindungsverzögerungen geben. Ferner können bestimmte Farben einer jeweiligen Hand des Experten zugeordnet sein, beispielsweise ein roter Laser der rechten, ein grüner Laser der linken Hand. Zur Erzeugung verschiedener Farben können auf Bedienerseite mehrere unabhängig ansteuerbare Laser mit unterschiedlichen Strahlfarben bereitgestellt werden. Eine Farbe kann alternativ oder zusätzlich durch Mischung verschiedener Laserstrahlen oder durch Frequenzabstimmung einzelner Laser eingestellt werden. Different coloration of an operating instruction can also be advantageously used for other signaling purposes, for example, reserved colors may indicate a higher importance or priority. Further, certain colors may indicate the status of the data connection between the operator support device and the remote expert unit or also the time elapsed between detection of the expert's gesture and transmission and generation of the operator side operator indication, thereby indicating possible data link delays. Further, certain colors may be associated with a respective hand of the expert, such as a right-hand red laser, a left-hand green laser. To generate different colors, several independently controllable lasers with different spray colors can be provided on the operator side. A color can alternatively or additionally be adjusted by mixing different laser beams or by frequency tuning individual lasers.
Weitere vorteilhafte Ausgestaltungen der Erfindung betreffen die Projektionseinheit. Die Projektionseinheit umfasst bei- spielsweise einen Laser im sichtbaren Wellenbereich, einen Mikrospiegelarrayproj ektor, einen Flüssigkristallprojektor und/oder einen Leuchtdiodenprojektor. Auch Kombinationen der genannten Projektionseinheiten sind vorteilhaft, beispiels- weise indem ein Schaltbild einer zu wartenden Anlage auf eine ebene Fläche des Bedienumfelds projiziert wird, während der Experte einzelne Bereiche mit einem Laser-Markierungspunkt hervorheben kann. Weiterhin ermöglichen die Projektionseinheiten eine Projektion von Bewegtbildern bzw. Videosequenzen, etwa um eine Sequenz erforderlicher Handbewegungen für einen komplexen Bedienschritt darzustellen. Further advantageous embodiments of the invention relate to the projection unit. The projection unit includes For example, a laser in the visible wavelength range, a Mikrospiegelarrayproj ector, a liquid crystal projector and / or a LED projector. Combinations of the mentioned projection units are also advantageous, for example by projecting a circuit diagram of a system to be serviced onto a flat surface of the operating environment, while the expert can highlight individual areas with a laser marking point. Furthermore, the projection units allow a projection of moving pictures or video sequences, for example to represent a sequence of required hand movements for a complex operating step.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Projektionseinheit einen Musterprojektor zur wahlfreien Definition von Mustern umfasst. Beispielsweise wird eine Fixierung eines Bereichs des Bedienumfelds mit den Augen des Experten auf Bedienerseite mit einem kreisförmigen Bedienhinweis dargestellt, eine Fingergeste mit einem punktförmigen Bedienhinweis. According to an advantageous embodiment of the invention, it is provided that the projection unit comprises a pattern projector for the random definition of patterns. For example, a fixation of an area of the operating environment with the eyes of the operator on the operator side is displayed with a circular operating instruction, a finger gesture with a punctiform operating instruction.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass der Musterprojektor eingerichtet ist zur Generierung eines für das menschliche Auge statisch wahrgenommenen Musters mit einem durch eine Trajektorie einer Bewe- gungsgeste markierten Umriss. Eine seitens des Experten vollzogene Umrandung eines Bereichs mit seinem Finger wird auf Bedienerseite als Umriss des Umrandungsbereichs oder mit einem ausgefüllten Umrandungsbereich dargestellt. Im Fall einer Laserprojektion wird der Laserstrahl so schnell entlang der Umrisslinien oder innerhalb des Umrandungsbereichs geführt, dass für der Umriss oder der Bereich für das menschliche Auge aufgrund dessen Trägheit für rasche Bildwechsel statisch wahrgenommen wird. Weitere vorteilhafte Ausgestaltungen der Erfindung betreffen die Bedienerunterstützungseinrichtung auf Seiten des Bedie- ners . Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, die Bedienumfelderfassungseinheit mit einer ring- oder kugelsegmentförmigen Anordnung einer Mehrzahl von Erfassungseinrichtungen fortzubilden. Optische Erfassungseinrich- tungen erfassen insbesondere optische Kameras und/oder Tie- fendatenscanner . Als Tiefendatenscanner kommen beispielsweise Kombinationen aus Infrarotsensoren bzw. -kameras in Kombination mit einer Licht- bzw. Laserprojektion von Strukturen wie Gitternetzlinien zum Einsatz. Alternativ werden Lasertiefen- datenscanner eingesetzt. According to an advantageous embodiment of the invention, it is provided that the pattern projector is set up for generating a pattern that is statically perceived by the human eye with an outline marked by a trajectory of a movement gesture. A border made by the expert border of an area with his finger is displayed on the operator side as an outline of the border area or with a filled border area. In the case of laser projection, the laser beam is guided so fast along the contour lines or within the border area that the contour or area is perceived statically for the human eye due to its inertia for rapid image changes. Further advantageous embodiments of the invention relate to the operator assistance device on the part of the operator. According to an advantageous embodiment of the invention, it is provided to train the operating environment detection unit with a ring or spherical segment arrangement of a plurality of detection devices. Optical detection devices detect in particular optical cameras and / or depth data scanners. For example, combinations of infrared sensors or cameras in combination with a light or laser projection of structures such as grid lines are used as depth data scanners. Alternatively, laser depth data scanners are used.
Daneben ist auch für die akustischen Erfassungseinrichtungen oder Mikrophone eine ring- oder kugelsegmentförmige Anordnung vorteilhaft, um den Experten ein räumliches und gerichtetes Hören der Umgebungsgeräusche zu ermöglichen. In addition, an annular or spherical segment-shaped arrangement is also advantageous for the acoustic detection devices or microphones in order to allow the experts a spatial and directional hearing of the ambient noise.
Weitere Erfassungseinrichtungen können thermische Sensoren, Strahlungssensoren, Gassensoren, sowie physikalische und chemische Sensoren aller Art umfassen. Other detection devices may include thermal sensors, radiation sensors, gas sensors, as well as physical and chemical sensors of all kinds.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, die Ausgabeeinheit auf Seiten des Experten als Datenbrille oder Head-Mounted Display vorzusehen, welche einerseits ein räumliches Sehen durch eine stereoskopische Dar- Stellung des Bedienumfelds erlaubt und andererseits auch eine Integration der Blickverfolgungseinrichtung gestattet. Weiterhin gestattet eine Datenbrille eine Integration von Trägheitssensoren zur Erfassung einer Kopfbewegung sowie von Gestenerfassungsscanner zur Erfassung von Gesten der Finger und/oder Hand des Experten. According to an advantageous embodiment of the invention it is provided to provide the output unit on the part of the expert as data glasses or head-mounted display, which on the one hand allows a spatial vision through a stereoscopic Dar- position of the operating environment and on the other hand also allows integration of the gaze tracking device. Furthermore, smart glasses allow integration of inertial sensors for detecting head movement as well as gesture detection scanners for detecting gestures of the fingers and / or hands of the expert.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, die Bedienerunterstützungseinrichtung über ein Interaktionskontrollsystem mit der Fernexperteneinrichtung zu koppeln. Das Interaktionskontrollsystem ist beispielsweise ein Server, welcher eine Aufbereitung und Übermittlung der Videodaten des Bedienumfelds steuert . Der Server übernimmt weiterhin eine Definition und Berechnung von Mustern und Ortskoordinaten der jeweiligen Bedienhinweise um eine lagerichtige Projektion auf das Bedienumfeld zu gewährleisten. Alternativ wird das Interaktionskontrollsystem durch ein jeweiliges, einerseits der Fernexperteneinheit und andererseits der Bedienerunterstützungseinrichtung per drahtloser Datenverbindung zugeordnetes portables Gerät mit einer darauf zum Ablauf gebrachten Software gebildet. According to an advantageous embodiment of the invention, it is provided to couple the operator support device via an interaction control system with the remote expert device. The interaction control system is, for example, a server which controls a preparation and transmission of the video data of the operating environment. The server continues to perform a definition and calculation of patterns and Location coordinates of the respective operating instructions to ensure a correct position projection on the operating environment. Alternatively, the interaction control system is formed by a respective, on the one hand, the remote expert unit and the other hand, the operator support device via a wireless data connection associated portable device with a software brought to expiration thereon.
Im Folgenden werden weitere Ausführungsbeispiele und Vorteile der Erfindung anhand der Zeichnung näher erläutert. Dabei zeigen : In the following, further embodiments and advantages of the invention will be explained in more detail with reference to the drawing. Showing:
Fig. la: eine schematische Darstellung einer Bedienerunterstützung eines Bedieners in einem Bedienumfeld; Fig. La: a schematic representation of an operator assistance of an operator in a control environment;
Fig. lb : eine schematische Darstellung einer Bedienerführung durch einen Experten; und; FIG. 1b shows a schematic representation of an operator guidance by an expert; FIG. and;
Fig. 2: eine schematische Darstellung einer Bedienerunter- stützungseinrichtung gemäß einem Ausführungsbeispiel . 2 shows a schematic representation of an operator assistance device according to an exemplary embodiment.
In Fig. la ist eine Bedienerunterstützung eines Bedieners OPR in einem Bedienumfeld bzw. "Service Site" dargestellt. Der Bediener OPR arbeitet an Schraubverbindungen eines lediglich schemenhaft und ausschnittsweise dargestellten Flansches einer Rohrverbindung. In der in Fig. 1 dargestellten Situation hat der Bediener eine Sechskantschraube der Flanschverbindung mit einem Schraubenschlüssel zu lösen. FIG. 1a shows an operator assistance of an operator OPR in a service environment or "service site". The operator OPR works on screw connections of a flange of a pipe connection, which is shown only schematically and in sections. In the situation shown in Fig. 1, the operator has to release a hexagon bolt of the flange connection with a wrench.
Eine Bedienerunterstützungseinrichtung OSD unterstützt den Bediener OPR bei seiner Bedienungsaufgabe. Die Bedienerunter- stützungseinrichtung OSD ist mittels eines Stativs in einer nicht notwendigerweise unmittelbaren Nachbarschaft zum Bediener OPR aufgestellt. Die Bedienerunterstützungseinrichtung OSD wird vorzugsweise in einer Position platziert, welche ein persönlich anwesender Experte zur Bedienungsunterstützung des Bedieners OPR einnehmen würde. Die Bedienerunterstützungseinrichtung OSD umfasst mehrere Bedienumfelderfassungseinheiten zur Erfassung eines Bedienumfelds des Bedieners . Im vorliegenden Ausführungsbeispiel die- nen mehrere um den Umfang der Bedienerunterstützungseinrich- tung OSD ringförmig angeordnete optische Erfassungseinheiten CAM, vorzugsweise hochauflösende Videokameras mit Weitwinkelobjektive, als Bedienumfelderfassungseinheit . Mit dieser Anordnung wird eine möglichst vollständige optische Erfassung des Bedienumfelds erzielt. An operator support device OSD assists the operator OPR in his operating task. The operator assistance device OSD is set up by means of a stand in a not necessarily immediate vicinity to the operator OPR. The operator support device OSD is preferably placed in a position that would be occupied by a personally present expert for operator assistance of the operator OPR. The operator support device OSD comprises a plurality of operating environment detection units for detecting an operating environment of the operator. In the present exemplary embodiment, several optical detection units CAM arranged annularly around the circumference of the operator support device OSD, preferably high-resolution video cameras with wide-angle lenses, serve as the operating environment detection unit. With this arrangement as complete as possible optical detection of the operating environment is achieved.
Die Bedienerunterstützungseinrichtung OSD umfasst weiterhin mindestens eine Projektionseinheit zur optischen Projektion eines Bedienhinweises auf das Bedienumfeld. Im vorliegenden Ausführungsbeispiel wird eine Laserprojektionseinheit alsThe operator support device OSD further comprises at least one projection unit for the optical projection of an operating instruction on the operating environment. In the present embodiment, a laser projection unit as
Projektionseinheit eingesetzt, durch die ein Laserstrahl LSB auf das Bedienumfeld projiziert wird. Ein durch den Laserstrahl markierter Punkt oder Bereich zeigt im vorliegenden Ausführungsbeispiel dem Bediener OPR, welche Schraube zu lö- sen ist. Projection unit used by a laser beam LSB is projected onto the operating environment. In the present exemplary embodiment, a point or area marked by the laser beam shows the operator OPR which screw is to be loosened.
Fig. lb zeigt eine gleichzeitig an einem vom Bedienumfeld entfernten Ort stattfindende Bedienerführung durch einen Experten RME bzw. "Remote Expert" mittels einer Fernexperten- einheit. FIG. 1b shows an operator guidance at the same time taking place at a location remote from the operating environment by an expert RME or "remote expert" by means of a remote expert unit.
Die Fernexperteneinheit ist mit der Bedienerunterstützungs- einrichtung OSD über eine bidirektionale Datenverbindung zumindest indirekt gekoppelt und umfasst eine Ausgabeeinheit und eine Führungseinheit. Eine direkte Kopplung bietet sich für einfache Lösungen an, bei der jeweilige - nicht dargestellte - Recheneinheiten im Interaktionssystem, also in der Bedienerunterstützungseinrichtung OSD und/oder in der Fernexperteneinheit eine Aufbereitung und Übermittlung der Videoda- ten des Bedienumfelds steuern, sowie eine Definition und Berechnung von Mustern und Ortskoordinaten der jeweiligen Bedienhinweise ausführen, um eine lagerichtige Projektion auf das Bedienumfeld zu gewährleisten. Diese Aufgaben kann bei- ± ± The remote expert unit is at least indirectly coupled to the operator support device OSD via a bidirectional data link and comprises an output unit and a guidance unit. A direct coupling is suitable for simple solutions, in which the respective - not shown - arithmetic units in the interaction system, ie in the operator support device OSD and / or in the remote expert unit control a preparation and transmission of the video data of the operating environment, as well as a definition and calculation of Carry out patterns and location coordinates of the respective operating instructions in order to ensure a correct position projection on the operating environment. These tasks can be ± ±
spielsweise ein der Fernexperteneinheit und der Bediener- unterstützungseinrichtung OSD per drahtloser Datenverbindung zugeordnetes portables Gerät mit einer darauf zum Ablauf gebrachten Software oder "App" einnehmen. Auf diese Weise wird eine vorteilhafte Auslagerung zumindest eines Teils der Rechenkapazität auf eine ohnehin routinemäßig mitgeführte Recheneinheit erreicht. For example, one of the remote expert unit and the operator support device OSD via a wireless data connection assigned portable device with a run on it brought software or "App" occupy. In this way, an advantageous outsourcing of at least part of the computing capacity to an already routinely entrained computing unit is achieved.
Sollen mehrere Bedienerunterstützungseinrichtungen OSD mit einem oder mehreren Fernexperteneinheiten gekoppelt werden, bietet sich eine über Kopplung über ein - nicht dargestelltes - leistungsstärkeres Interaktionskontrollsystem in Form eines Servers an. If several operator support devices OSD are to be coupled to one or more remote expert units, a more powerful interaction control system in the form of a server (not shown) may be provided via a coupling (not shown).
Die Ausgabeeinheit, im vorliegenden Ausführungsbeispiel zumindest umfassend eine Datenbrille HMD oder "Head-Mounted Display", dient einer im Wesentlichen zeitsynchronen Ausgabe des erfassten Bedienumfelds an den Experten RME . Hierzu wird das von der Bedienerunterstützungseinrichtung OSD erfasste Bedienumfeld über die bidirektionale Datenverbindung an der Datenbrille HMD des Experten RME ausgegeben. Fig. lb zeigt schematisch eine optische Repräsentation eines virtuellen Bedienumfelds VRV, welches in der Datenbrille HMD des Experten ausgegeben wird. The output unit, in the present exemplary embodiment at least comprising a data goggles HMD or "head-mounted display", serves for an essentially time-synchronized output of the detected operating environment to the expert RME. For this purpose, the operating environment detected by the operator support device OSD is output via the bidirectional data connection to the data glasses HMD of the expert RME. FIG. 1b schematically shows an optical representation of a virtual operating environment VRV which is output in the data goggles HMD of the expert.
Der Experte RME erfasst das Bedienumfeld in räumlicher Weise über getrennt aufbereitete optische Daten für dessen linkes und rechtes Auge, welche von der Datenbrille HMD stereoskopisch ausgegeben werden. Die stereoskopische Aufbereitung beinhaltet in vorteilhafter Weise eine perspektivische Krümmung zur Korrektur optischer Unterschiede im Abbildungsverhalten der Bedienumfelderfassungseinheiten und der Datenbrille HMD bzw. der Ausgabeeinheit im Allgemeinen. Weitere Bestandteile der Ausgabeeinheit umfassen eine The expert RME captures the operating environment in a spatial manner via separately prepared optical data for his left and right eyes, which are output stereoscopically from the data glasses HMD. The stereoscopic processing advantageously includes a perspective curvature for correcting optical differences in the imaging behavior of the operating environment detection units and the data glasses HMD or the output unit in general. Other components of the output unit include a
nicht dargestellte - stereoakustische Ausgabe der im Bedienumfeld erfassten akustischen Signale, beispielsweise über - nicht dargestellte - Lautsprecher oder Kopfhörer über ge- trennt aufbereitete akustische Daten für das linke und rechte Ohr des Experten RME. Durch Drehung oder Neigung des Kopfes des Experten RME ändert sich die stereoakustische Ausgabe so, dass diese mit einer geänderten stereoakustische Vorzugsrich- tung entsprechend des geänderten Dreh- oder Neigungswinkels des Kopfes des Experten RME ausgegeben wird. Der Experte kann auf diese Weise seinen Kopf drehen, um aus einer bestimmten Richtung eintreffende Geräusche besser wahrzunehmen. Durch Drehung oder Neigung des Kopfes des Experten RME ändert sich die optische Darstellung des virtuellen Bedienumfelds VRV so, dass dieses mit einem geänderten Bildausschnitt und einer geänderten Perspektive entsprechend des durch Drehung oder Neigung des Kopfes des Experten RME geänderten Blickwin- kels dargestellt wird. not shown - stereo-acoustic output of the acoustic signals detected in the operating environment, for example via - not shown - speakers or headphones via ge separates prepared acoustic data for the left and right ear of the expert RME. By turning or tilting the head of the Expert RME, the stereoacoustic output changes to output with a changed stereoacoustic preferential direction according to the changed turning or tilting angle of the head of the expert RME. The expert can turn his head in this way to better perceive incoming noises from a certain direction. By rotating or tilting the head of the expert RME, the visual representation of the virtual operating environment VRV changes so that it is displayed with a changed image detail and a changed perspective in accordance with the angle of vision changed by rotation or inclination of the head of the expert RME.
Durch Drehung des Kopfes innerhalb eines 360 -Gradbereichs werden Signale mindestens einer, bei stereooptischer bzw. stereoakustischer Darstellung mindestens zweier, einer Mehr- zahl an Erfassungseinheiten ausgewählt, welche die Bediener- unterstützungseinrichtung in vorteilhafter Weise ringförmig, beispielsweise entlang eines Vollkreises umgeben. Der Experte RME kann sich in alle mögliche Richtungen wenden und erhält stereoskopisch aufbereitete Ansichten bzw. Geräuschkulissen entsprechend einer eingenommenen Richtung. By rotation of the head within a 360-degree range, signals of at least one, in the case of stereo-optical or stereo-acoustic representation of at least two, of a plurality of detection units are selected which surround the operator support device in an annular manner, for example along a full circle. The expert RME can turn in all possible directions and receives stereoscopically prepared views or soundscapes according to a taken in direction.
Im Fall einer geringen Drehung des Kopfes, bei der noch kein Wechsel im Signal der aufnehmenden Erfassungseinheiten erforderlich ist, wird eine Bild- bzw. Audioprozessierung ange- wandt, welche eine Interpolation auf Basis der von beteiligten Erfassungseinheiten gelieferten Signalen durchführt. In the case of a slight rotation of the head, in which no change in the signal of the receiving detection units is required, an image or audio processing is used, which performs an interpolation on the basis of the signals supplied by participating detection units.
Im Fall einer Bildprozessierung bedeutet dies, dass ein vorzugsweise seitens der Bedienerunterstützungseinrichtung OSD durchgeführter Bildbearbeitungsprozess eine 3D- oder 2,5D-In the case of image processing, this means that an image processing process, which is preferably carried out by the operator support device OSD, is a 3D or 2.5D process.
Videosequenz aufnimmt und diese per Streaming an die Fernexperteneinheit überträgt, in welcher die Bilddaten der Videosequenz wiederum in einer auch als Re-Rendering bezeichneten Weise prozessiert werden, dass diese durch die Ausgabeeinheit in einer für den Experten passenden Perspektive zur Darstellung gebracht werden. Diese Re-Rendering wird auch bei einer Neigung des Kopfes nach oben oder unten angewandt . Record video sequence and streaming it to the remote expert unit, in which the image data of the video sequence in turn in a also referred to as re-rendering Be processed so that they are presented by the output unit in a perspective suitable for the expert for presentation. This re-rendering is also applied when the head is tilted up or down.
Es versteht sich von selbst, dass eine unterstützende bidirektionale Sprechverbindung zwischen dem Bediener OPR und dem Experten RME von der Erfindung umfasst ist. Der Experte RME agiert mit der Fernexperteneinheit im Wesentlichen so, als würde er sich in unmittelbarer Nachbarschaft zum Bediener OPR befinden. Er sieht und hört, was im Bedienumfeld vor sich geht, kommuniziert mit dem Bediener OPR und gibt diesem Fingerzeige in Form von Bedienhinweisen über Ort und Art der durchzuführenden Bedienung. It goes without saying that a supporting bi-directional speech connection between the operator OPR and the expert RME is included in the invention. The expert RME acts with the remote expert unit essentially as if it were in close proximity to the operator OPR. He sees and hears what is going on in the operating environment, communicates with the operator OPR and gives it a hint in the form of operating instructions about the location and type of operation to be performed.
Mit der Ausgabe einer räumlich optischen und räumlich akustischen Repräsentation des Bedienumfelds wird eine virtuelle Realität erreicht, mit welcher der Experte RME durch intuitiv per Fingerzeig veranlasste Bedienhinweise interagieren kann. Auf diese Weise wird mit den Mitteln der Erfindung eine bis dahin nicht bekannte Immersion einer räumlich entfernten Zusammenarbeit bzw. "Remote Collaboration" erzielt. Wenngleich die der erfindungsgemäßen Lösung zugrundeliegende Aufgabe inspiriert war durch Konzepte eines "Wearable Computing" ist festzustellen, dass die Erfindung und deren Ausgestaltungen einen Rahmen schaffen, in der für den Bediener dank der erfindungsgemäßen Vorsehung einer Projektion keine Notwendigkeit besteht, eine Datenbrille oder ähnliche Rechen-, Ein- oder Ausgabeeinheiten am Körper zu tragen. Diese Maßnahme erleichtert die Bedienarbeiten des Bedieners wesentlich, abgesehen von der Tatsache, dass die erfindungsgemäße Lösung wie auch schon vorbekannte Unterstützungseinrichtungen eine "Hands Free" Bedienung gestatten. With the output of a spatial and spatial acoustic representation of the operating environment, a virtual reality is achieved with which the expert RME can interact with intuitively prompted operating instructions. In this way, a hitherto unknown immersion of a spatially remote cooperation or "remote collaboration" is achieved with the means of the invention. Although the problem underlying the solution according to the invention was inspired by concepts of "wearable computing", it should be noted that the invention and its embodiments provide a framework in which the operator, thanks to the provision of a projection according to the invention, is not required to use data glasses or similar computing devices. To carry input or output units on the body. This measure facilitates the operator's operations significantly, apart from the fact that the solution according to the invention as well as already known support facilities allow a "Hands Free" operation.
Die Führungseinheit umfasst im vorliegenden Ausführungsbeispiel zumindest einen Datenhandschuh GLV bzw. "Data Glove" sowie weitere - nicht dargestellte - Einrichtungen zur Verarbeitung der durch den Datenhandschuh GLV gelieferten Rohdaten mit dem Ziel der Erzeugung von Bedienhinweisen aus diesen Rohdaten . In the present exemplary embodiment, the guide unit comprises at least one data glove GLV or "data glove". and further - not shown - means for processing the data supplied by the data glove GLV raw data with the aim of generating operating instructions from these raw data.
Die Rohdaten des Datenhandschuhs GLV werden durch Umsetzung von Bewegungen der Hand und der Finger in elektrische Signale erzeugt. Zwischen zwei Stofflagen verlaufen faseroptische Strukturen entlang der Finger und des Daumens des Experten RME . Eine lichtemittierende Diode an einem Ende sendet Licht entlang der faseroptischen Strukturen zu einem Phototransistor am anderen Ende, der das Licht in ein elektrisches Signal umwandelt. Je stärker die Finger gekrümmt werden, desto größer ist der Lichtverlust in der faseroptische Struktur und desto kleiner das entsprechende elektrische Signal. Lage und Orientierung der Hand wird mit Hilfe eines auf dem Handrückenbereich des Datenhandschuhs GLV vorgesehenen Sensors bestimmt, durch welchen beispielsweise Stärke und Orientierung dreier aufeinander senkrecht stehender künstlich erzeugter Magnetfelder im Raum gemessen wird. The raw data of the data glove GLV are generated by converting movements of the hand and fingers into electrical signals. Between two layers of fabric, fiber optic structures run along the fingers and thumb of the expert RME. A light-emitting diode at one end sends light along the fiber optic structures to a phototransistor at the other end, which converts the light into an electrical signal. The more the fingers are curved, the greater the loss of light in the fiber optic structure and the smaller the corresponding electrical signal. The position and orientation of the hand is determined by means of a sensor provided on the back of the hand of the data glove GLV, by means of which, for example, the strength and orientation of three mutually perpendicular artificially generated magnetic fields in space is measured.
Alternativ werden Gesten durch entsprechende Datenbrille HMD integrierte Einrichtungen erfasst, beispielsweise mit einer Blickverfolgungseinrichtung, Trägheitssensoren zur Erfassung einer Kopfbewegung sowie optische Einrichtungen zur Erfassung von Gesten der Finger und/oder Hand des Experten RME. Eine Unterstützung einer Erfassung von Gesten der Finger und/oder Hand des Experten RME kann optional durch einen Handschuh unterstützt werden, welcher eine die Erfassung erleichternde Signalfarbe aufweist. Dieser Handschuh GLV muss nicht notwendigerweise die Einrichtungen des Datenhandschuhs zur Übersetzung von Hand- und Fingerbewegungen in elektrische Signale aufweisen- Die Führungseinheit ordnet die Gesten schließlich dem Kontext des Bedienumfelds zu, um im Ergebnis einen lagerichtig erzeugten Bedienhinweis in das Bedienumfeld des Bedieners OPR projizierten. Mit einem Zeigen des Experten RME auf virtuelle Objekte im virtuellen Bedienumfeld VRV wird ein Bedienhinweis auf die den virtuellen Objekten entsprechenden realen Objekte projiziert. Vorzugsweise wird eine virtuelle Repräsentation der Hand des Experten RME im virtuellen Bedienumfeld VRV dar- gestellt. Alternatively, gestures are detected by corresponding data glasses HMD integrated devices, for example with a gaze tracking device, inertial sensors for detecting a head movement and optical devices for detecting gestures of the fingers and / or hand of the expert RME. Support for detecting gestures of the fingers and / or hands of the expert RME may optionally be assisted by a glove which has a signal color facilitating detection. This glove GLV need not necessarily have the facilities of the data glove for translating hand and finger movements into electrical signals. The guidance unit finally assigns the gestures to the context of the operating environment to result in a correctly-produced operator's instruction being projected into the operator's operating environment. By showing the expert RME on virtual Objects in the virtual operating environment VRV is projected an operating instruction on the real objects corresponding to the virtual objects. Preferably, a virtual representation of the hand of the expert RME is displayed in the virtual operating environment VRV.
Eine vom Experten durchzuführende "Navigation" dieses Fingerzeigs oder Bedienhinweises wird zusätzlich dadurch erleichtert, dass die an den Experten übertragene optische Repräsen- tation des Bedienumfelds selbstverständlich auch die optische Projektion des Bedienhinweises auf das Bedienumfeld enthält. Dies ermöglicht dem Experten eine zielgenaue Positionierung des Bedienhinweises auf einen gewünschten Zielpunkt. Fig. 2 zeigt eine schematische Darstellung einer Bediener- unterstützungseinrichtung OSD gemäß einem Ausführungsbeispiel. Die Bedienerunterstützungseinrichtung OSD weist einen zylinderförmigen Grundkörper auf, welcher über eine Stativkupplung TRP mit einem Stativ verbunden ist. Eine Aufhän- gungsvorrichtung HOK ermöglicht alternativ eine hängende Befestigung der Bedienerunterstützungseinrichtung OSD. A "navigation" of this finger pointer or operating instruction to be carried out by the expert is additionally facilitated by the fact that the optical representation of the operating environment transmitted to the experts naturally also includes the optical projection of the operating information on the operating environment. This allows the expert to precisely position the operating information on a desired target point. FIG. 2 shows a schematic representation of an operator assistance device OSD according to an exemplary embodiment. The operator support device OSD has a cylindrical base body, which is connected via a tripod coupling TRP with a tripod. A suspension device HOK alternatively allows a suspended attachment of the operator support device OSD.
Entlang der Mantelfläche der Bedienerunterstützungseinrich- tung OSD ist eine Mehrzahl optischer Erfassungseinheit CAM sowie akustischer Erfassungseinheiten MIC, ringförmig, in vorteilhafter Weise entlang eines Vollkreises, angeordnet. Benachbarte Erfassungseinheiten sind vorzugsweise so weit voneinander entfernt, dass sich ihre Erfassungsbereiche überlappen und/oder dass die Streckenlänge zwischen den Erfas- sungseinheiten in etwa der Streckenlänge zwischen entsprechenden menschlichen Sinnesorganen - Auge bzw. Ohr - entsprechen . Along the lateral surface of the operator support device OSD, a plurality of optical detection unit CAM and acoustic detection units MIC are arranged in an annular manner, advantageously along a full circle. Adjacent detection units are preferably so far apart that their detection ranges overlap and / or that the distance between the detection units corresponds approximately to the distance between corresponding human sensory organs - eye or ear.
Weiterhin sind entlang der Mantelfläche oder auch lediglich in einer Teilfläche, welche einer Vorzugsrichtung zugerichtet ist, mindestens zwei akustische Ausgabeeinheiten LSP sowie mindestens eine Proj ektions-/Anzeigeeinheit DSP angeordnet. Die Proj ektions-/Anzeigeeinheit DSP dient einer Ausgabe opti- scher Informationen, welche entweder an einem Display der Proj ektions-/Anzeigeeinheit DSP angezeigt werden oder durch die Proj ektions-/Anzeigeeinheit DSP auf das Bedienumfeld projiziert werden. Zur Projektion auf das Bedienumfeld bietet sich beispielsweise eine Ausführung der Proj ektions-/Anzeige- einheit DSP als Mikrospiegelarrayproj ektor, Flüssigkristall - projektor, Leuchtdiodenprojektor oder eine Kombinationen der genannten Projektoren an. Die Bedienerunterstützungseinrichtung OSD umfasst des Weiteren zwei Laserführungsvorrichtungen STA zur Lenkung eines jeweiligen Laserstrahls LSB, welcher zur Projektion eines jeweiligen Bedienhinweises dient. Im Folgenden werden zwei Ausführungsformen der Erfindung erläutert, bei denen die äußeren Abmessungen der Bedienerunter- stützungseinrichtung OSD von Betracht sind. Während eine für übliche technische Zwecke einsetzbare Bedienerunterstützungs- einrichtung OSD ungefähr auf die Größe eines menschlichen Kopfes zu dimensionieren ist, so dass das aufgenommene und auf Expertenseite erzeugte virtuelle Bedienumfeld VRV ungefähr der des realen Bedienumfelds entspricht, zeigen sich auch für nach oben und unten abweichende Dimensionen technische Vorteile. Furthermore, at least two acoustic output units LSP and at least one projection / display unit DSP are arranged along the lateral surface or else only in a partial surface which is dressed in a preferred direction. The projection / display unit DSP serves to output opti- Information which is either displayed on a display of the projection / display unit DSP or projected onto the operating environment by the projection / display unit DSP. For example, an embodiment of the projection / display unit DSP as a micromirror array projector, liquid crystal projector, light-emitting diode projector or a combination of the aforementioned projectors is suitable for projection onto the operating environment. The operator support device OSD further comprises two laser guide devices STA for steering a respective laser beam LSB, which serves to project a respective operating instruction. In the following, two embodiments of the invention will be explained, in which the outer dimensions of the user assistance device OSD are considered. While an operator support device OSD usable for usual technical purposes is to be dimensioned approximately to the size of a human head, so that the recorded and expert-generated virtual operating environment VRV corresponds approximately to that of the real operating environment, dimensions which deviate upwards and downwards also show up technical advantages.
Eine Bedienerunterstützungseinrichtung OSD in einem Miniaturformat gemäß einer ersten Ausführungsform gestattet es eine Platzierung im Inneren einer Maschine, in welcher ein Zutritt durch einen Bediener OPR nicht möglich ist. Der Bediener OPR greift in diesem Fall von außen auf das durch die Bediener- unterstützungseinrichtung OSD erfasste Bedienumfeld unter Zuhilfenahme entsprechender Miniaturwerkzeuge zu, wobei mit erfindungsgemäßen Projektionen von Bedienhinweisen bei der Platzierung und Anwendung der Miniaturwerkzeugen unterstützt wird. Der die Bedienhinweise veranlassende Experte RME hat durch die Miniaturgröße der Bedienerunterstützungseinrichtung OSD sowie der entsprechenden Bedienumfelderfassungseinheit einen detaillierteren Blick auf das Bedienumfeld und kann auch in einfacherer Weise einen Bedienhinweis auf Miniaturobjekte richten. An operator support device OSD in a miniature format according to a first embodiment allows placement inside a machine in which access by an operator OPR is not possible. In this case, the operator OPR accesses from outside the operating environment detected by the operator support device OSD with the aid of corresponding miniature tools, with projections according to the invention being supported by operating instructions in the placement and application of the miniature tools. The operator instructing expert RME has through the miniature size of the operator support device OSD and the corresponding operating environment detection unit a more detailed view of the operating environment and can also in a simpler way an operating instruction on miniature objects.
Eine Bedienerunterstützungseinrichtung OSD in einem Riesen- format gemäß einer zweiten Ausführungsform gestattet eine Platzierung in einer Position, in der ein komplettes Areal, beispielsweise ein Flughafen, eine Baustelle, eine Fabrikhalle etc. erfassbar ist. Die Bedienhinweise des Experten RME sind in einer solchen Ausführungsform beispielsweise dafür einsetzbar, einer Gruppe von Arbeitern einen Weg zu einer Wartungsposition zu weisen. An operator support device OSD in a giant format according to a second embodiment allows a placement in a position in which a complete area, such as an airport, a construction site, a factory, etc. can be detected. The operating instructions of the expert RME are in such an embodiment, for example, used to point a group of workers a way to a maintenance position.
Im Folgenden werden zwei Anwendungsmöglichkeiten der Erfindung erläutert, bei denen Rolle und Anzahl von Experten RME und Bedienern OPR variiert werden. In the following two applications of the invention will be explained, in which the role and number of experts RME and operators OPR are varied.
Eine erste Anwendungsmöglichkeit des erfindungsgemäßen Interaktionssystems sieht vor, dass die Rollen des Bedieners OPR und des Experten RME zusammenfallen. Eine solche im folgenden Anwender genannte Person wechselt beispielsweise seinen Arbeitsplatz zwischen dem Bedienumfeld sowie dem Arbeitsplatz an dem die Fernexperteneinheit angeordnet ist. Ein Arbeitsplatz an der Fernexperteneinheit erlaubt dem Anwender zunächst eine Inspektion des Bedienfelds über die Ausgabeein- heit sowie eine Einstellung eines oder mehrerer Bedienhinweises für Stellen, welche im Folgenden zu bearbeiten sind. Der Anwender fixiert diese Bedienhinweise und wechselt sodann zum Bedienumfeld, um die Arbeiten dort durchzuführen. Eine derartige vorgelagerte Remote- Inspektion eines Bedienumfelds vor der eigentlichen Durchführung der Arbeiten ist beispielsweise vorteilhaft in Fällen, in denen der persönliche Aufenthalt im Bedienumfeld auf ein Minimum reduziert werden soll, etwa aufgrund gesundheitsgefährdender Umgebungsbedingungen oder aufgrund von Umgebungsbedingungen, welche eine Körperhaltung des Anwenders erfordern, welche längere, den eigentlichen Arbeiten vorausgehende Inspektionen im Bedienumfeld erschweren. Außerdem bietet sich eine derartige Anwendung eines Arbeitswechsels auch in Fällen an, wenn eine Bedienerunterstützungs- ± Q A first possible application of the interaction system according to the invention provides that the roles of the operator OPR and the expert RME coincide. For example, such a person named in the following user changes his workstation between the operating environment and the workstation where the remote expert unit is located. A workstation at the remote expert unit first allows the user to inspect the control panel via the output unit and to set one or more operating instructions for points to be processed in the following. The user fixes these operating instructions and then switches to the operating environment to carry out the work there. Such an upstream remote inspection of an operating environment prior to the actual execution of the work is advantageous, for example, in cases in which the personal stay in the operating environment is to be reduced to a minimum, for example due to health-threatening environmental conditions or due to environmental conditions requiring a posture of the user, which complicate longer inspections prior to the actual work in the operating environment. Moreover, such an application of a change of job also lends itself to cases where an operator assistance ± Q
einrichtung OSD in einem oben erläuterten Miniatur- bzw. Riesenformat zum Einsatz kommt und eine den anstehenden Arbeiten vorausgehende Inspektion in einer detaillierteren bzw. überblickenden Sichtweise von Vorteil ist. device OSD is used in a miniature or giant format explained above and a forthcoming work in advance inspection is in a more detailed or overviewing view of advantage.
Ein Zusammenfallen der Rolle des Bedieners OPR und des Experten RME liegt auch in einer Anwendungsmöglichkeit vor, bei der eine Bedienerunterstützungseinrichtung OSD in einem Riesenformat einen Überblick über ein komplettes Areal aus einer Vogelperspektive gestattet und ein Bediener bei der Suche nach einem Weg durch das Areal eine mobile Ausgabeeinheit der Fernexperteneinheit, insbesondere eine Datenbrille, nutzt um auf seiner Wegfindung eine Darstellung der Vogelperspektive des Areals zu erhalten. Auch in einem solchen Fall fallen die Rollen des Bedieners OPR und des Experten RME in einer zusammen, im Unterschied zum oben beschriebenen Beispiel nicht alternierend, sondern sogar synchron. A coincidence of the role of the operator OPR and the expert RME is also present in an application in which an operator support device OSD in a giant format allows an overview of a complete area from a bird's eye view and an operator in the search for a path through the area a mobile Output unit of the remote expert unit, in particular a data goggles, uses to get on his path finding a representation of the bird's eye view of the area. Even in such a case, the roles of the operator OPR and the expert RME coincide in one, not in alternation with the example described above, but even synchronously.
Eine zweite Anwendungsmöglichkeit des erfindungsgemäßen A second application of the invention
Interaktionssystems sieht vor, dass die Rollen des Bedieners und des Experten von jeweils mehreren Personen eingenommen werden. Beispielsweise ist in bestimmten Situationen mindestens ein einem Bediener oder einer Gruppe von Bedienern zugeordnetes Interaktionssystem vorteilhaft, welches einer Mehrzahl von Fernexperteneinheiten mit jeweils unterschiedlichen Experten zugeordnet ist. Eine alternierende oder gleichzeitige Führung durch unterschiedliche Experten wird in vorteilhafter Weise durch optische Projektion von Bedienhinweisen auf das Bedienumfeld mit einer je nach Experten unterschiedlichen Farbe durchgeführt. Interaction system provides that the roles of the operator and the expert of several persons are taken. For example, in certain situations, at least one interaction system assigned to an operator or a group of operators is advantageous, which is assigned to a plurality of remote expert units, each with different experts. An alternating or simultaneous guidance by different experts is carried out in an advantageous manner by optical projection of operating instructions on the operating environment with a different color depending on the experts.
Zusammenfassend gewährleistet das erfindungsgemäße Interaktionssystem zur Bedienungsunterstützung eines Bedieners durch einen Experten einen fernwirkenden Fingerzeig durch den Ex- perten. Der Fingerzeig oder Bedienhinweis eines Experten erfolgt mittels einer optischen Projektion auf das Bedienumfeld des Bedieners. Dieser Bedienhinweis wird auf Seiten des Experten in intuitiver Weise durch eine Gestensteuerung vor dem Hintergrund einer auf Seiten des Bedieners erfassten Bedienumfelds und an den Experten übertragenen und dargestellten Bedienumfelds erzeugt. Der vom Experten durch eine Geste veranlasste Bedienhinweis wird verarbeitet und an die Bediener- unterstützungseinrichtung des Bedieners übertragen. Dort wird der Bedienhinweis von der Projektionseinheit auf Seiten des Bedieners in dessen Bedienumfeld projiziert. Im Gegensatz zu derzeit bekannten Einrichtungen zur Unterstützung von Bedie- nern gewährleistet das erfindungsgemäße Interaktionssystem eine intuitive Weisung an den Bediener, welche exakte Stelle im Bedienumfeld zu bedienen ist. In summary, the interaction system according to the invention for operating support of an operator by an expert ensures a long-term finger pointing by the expert. The finger pointing or operating instruction of an expert is carried out by means of an optical projection on the operating environment of the operator. This operating instruction is presented on the part of the expert in an intuitive way by a gesture control in front of the Background generated on the side of the operator operating environment and the experts transmitted and displayed operating environment generated. The operator prompt, prompted by a gesture, is processed and transmitted to the operator support facility of the operator. There, the operating instruction is projected by the projection unit on the part of the operator in its operating environment. In contrast to currently known devices for assisting operators, the interaction system according to the invention ensures an intuitive instruction to the operator as to which exact point in the operating environment is to be operated.

Claims

Patentansprüche claims
1. Interaktionssystem zur Bedienungsunterstützung eines Be- dieners durch einen Experten (RME) , umfassend, 1. Interaction system for operator assistance of an operator by an expert (RME), comprising,
- mindestens eine Bedienerunterstützungseinrichtung (OSD) , mit - At least one operator support device (OSD), with
- mindestens einer Bedienumfelderfassungseinheit zur Erfassung eines Bedienumfelds des Bedieners (OPR) ;  - at least one operating environment detection unit for detecting an operating environment of the operator (OPR);
- mindestens eine Projektionseinheit zur optischen Projek- tion eines Bedienhinweises auf das Bedienumfeld;  - At least one projection unit for the optical projection of an operating instruction on the operating environment;
- eine mit der mindestens einen Bedienerunterstützungsein- richtung (OSD) über eine bidirektionale Datenverbindung zumindest indirekt gekoppelte Fernexperteneinrichtung, umfassend  a remote expert device at least indirectly coupled to the at least one operator assistance device (OSD) via a bidirectional data link
- eine Ausgabeeinheit zur Ausgabe des erfassten Bedienumfelds an den Experten (RME) ; und;  an output unit for outputting the detected operating environment to the expert (RME); and;
- eine Bedienerführungseinheit zur Erfassung einer einem Kontext des Bedienumfelds zugeordneten Geste des Experten (RME) und zur Erzeugung des Bedienhinweises.  - An operator control unit for detecting a context of the operating environment associated gesture of the expert (RME) and for generating the operating instruction.
2. Interaktionssystem gemäß Patentanspruch 1, dadurch gekennzeichnet, dass die Bedienerführungseinheit zur Erfassung der Geste eingerichtet ist zur Erfassung einer Position und/oder einer Bewegung 2. Interaction system according to claim 1, characterized in that the user guidance unit is adapted to detect the gesture for detecting a position and / or a movement
- mindestens eines Fingers;  - at least one finger;
- mindestens einer Hand;  - at least one hand;
- eines Kopfs; und/oder;  - a head; and or;
- mindestens eines Auges  - at least one eye
des Experten (RME) . of the expert (RME).
3. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Bedienerführungseinheit eine Blickverfolgungseinrichtung umfasst. 3. interaction system according to one of the preceding claims, characterized in that the user guidance unit comprises a gaze tracking device.
4. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Proj ektionseinheit einen Laser im sichtbaren Wellenbereich umfasst. 4. interaction system according to one of the preceding claims, characterized in that the proj ection unit comprises a laser in the visible wavelength range.
5. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Proj ektionseinheit einen Mikrospiegelarrayproj ektor, einen Flüssigkristallprojektor und/oder einen Leuchtdiodenprojektor umfasst. 5. Interaction system according to one of the preceding claims, characterized in that the proj ektionseinheit comprises a Mikrospiegelarrayproj ector, a liquid crystal projector and / or a LED projector.
6. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, dadurch gekennzeichnet, dass die Proj ektionseinheit einen Musterprojektor zur wahlfreien Definition von Mustern umfasst . 6. interaction system according to one of the preceding claims, characterized in that the proj ektionseinheit comprises a pattern projector for random definition of patterns.
7. Interaktionssystem gemäß Patentanspruch 6, dadurch gekennzeichnet, dass der Musterprojektor eingerichtet ist zur Generierung eines für das menschliche Auge statisch wahrgenommenen Musters mit einem durch eine Trajektorie einer Bewegungs- geste markierten Umriss. 7. interaction system according to claim 6, characterized in that the pattern projector is adapted to generate a statically perceived pattern for the human eye with an outline marked by a trajectory of a movement gesture.
8. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, die Bedienumfelderfassungseinheit umfassend eine ringförmige oder kugelsegmentförmige Anordnung einer Mehrzahl von Erfassungseinrichtungen. 8. interaction system according to one of the preceding claims, the operating environment detection unit comprising an annular or spherical segment arrangement of a plurality of detection devices.
9. Interaktionssystem gemäß Patentanspruch 8, wobei die Erfassungseinrichtungen optische Kameras und/oder Tiefendaten- scanner sind. 9. Interaction system according to claim 8, wherein the detection devices are optical cameras and / or depth data scanners.
10. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, wobei die Ausgabeeinheit ein Head-Mounted Display ist . 10. Interaction system according to one of the preceding claims, wherein the output unit is a head-mounted display.
11. Interaktionssystem gemäß einem der vorgenannten Patentansprüche, bei der Bedienerunterstützungseinrichtung (OSD) über ein Interaktionskontrollsystem mit der Fernexperteneinrichtung gekoppelt ist. 11. Interaction system according to one of the preceding claims, wherein the operator support device (OSD) is coupled via an interaction control system with the remote expert device.
PCT/EP2016/061276 2015-06-23 2016-05-19 Interaction system WO2016206874A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015211515.1A DE102015211515A1 (en) 2015-06-23 2015-06-23 Interaction system
DE102015211515.1 2015-06-23

Publications (1)

Publication Number Publication Date
WO2016206874A1 true WO2016206874A1 (en) 2016-12-29

Family

ID=56068892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/061276 WO2016206874A1 (en) 2015-06-23 2016-05-19 Interaction system

Country Status (2)

Country Link
DE (1) DE102015211515A1 (en)
WO (1) WO2016206874A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020016488A1 (en) 2018-07-18 2020-01-23 Holomake System for motor-driven mechanical control of a holographic plane for manual precision guidance
WO2022037758A1 (en) 2020-08-18 2022-02-24 Siemens Aktiengesellschaft Remote collaboration using augmented and virtual reality

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016006768A1 (en) * 2016-06-02 2017-12-07 Audi Ag A method of operating a display system and display system
JP2019067050A (en) * 2017-09-29 2019-04-25 株式会社日立ビルシステム Work support system
DE102017217834A1 (en) * 2017-10-06 2019-04-11 Robert Bosch Gmbh Assembly workstation, assembly workstation, computer program, and computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238194A1 (en) * 2009-03-20 2010-09-23 Roach Jr Peter Methods And Apparatuses For Using A Mobile Device To Provide Remote Assistance
US20130083063A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Service Provision Using Personal Audio/Visual System
EP2765502A1 (en) * 2013-02-08 2014-08-13 ShowMe Telepresence ApS Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefore
US20140361988A1 (en) * 2011-09-19 2014-12-11 Eyesight Mobile Technologies Ltd. Touch Free Interface for Augmented Reality Systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (en) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP2008078690A (en) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd Image processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238194A1 (en) * 2009-03-20 2010-09-23 Roach Jr Peter Methods And Apparatuses For Using A Mobile Device To Provide Remote Assistance
US20140361988A1 (en) * 2011-09-19 2014-12-11 Eyesight Mobile Technologies Ltd. Touch Free Interface for Augmented Reality Systems
US20130083063A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Service Provision Using Personal Audio/Visual System
EP2765502A1 (en) * 2013-02-08 2014-08-13 ShowMe Telepresence ApS Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefore

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Videoprojektor", 26 May 2015 (2015-05-26), Wikipedia, XP055297486, Retrieved from the Internet <URL:https://de.wikipedia.org/w/index.php?title=Videoprojektor&oldid=142487783> [retrieved on 20160824] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020016488A1 (en) 2018-07-18 2020-01-23 Holomake System for motor-driven mechanical control of a holographic plane for manual precision guidance
FR3084173A1 (en) 2018-07-18 2020-01-24 Holomake MOTORIZED MECHANICAL SERVO SYSTEM OF A HOLOGRAPHIC PLAN FOR MANUAL PRECISION GUIDANCE
WO2022037758A1 (en) 2020-08-18 2022-02-24 Siemens Aktiengesellschaft Remote collaboration using augmented and virtual reality

Also Published As

Publication number Publication date
DE102015211515A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
WO2016206874A1 (en) Interaction system
EP2048557B1 (en) Optoelectronic sensor and mobile device and configuration method
DE102018109463C5 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user using a mobile display device
DE102015015503A1 (en) A robotic system having an augmented reality compatible display
EP2161219A1 (en) Method and device for visual support of picking processes
EP2380709A2 (en) 3D safety device and method for securing and operating at least one machine
DE3609469A1 (en) DISPLAY CONTROL DEVICE
EP3356271A1 (en) Method and device for generating control data for controlling an elevator system by monitoring a thermal image of an operating surface
EP3079041A1 (en) Method and system for the production of a virtual reality environment for passengers of landcraft and aircraft
DE102016010284A1 (en) Robot system using a visual sensor
EP3012712A1 (en) Virtual drawing in real environment
EP3679417B1 (en) Secure spectacle-type device and method
DE102015217838B4 (en) Device for supporting maintenance of medical devices
DE102016221861B4 (en) Device and method for influencing objects
WO2019174672A2 (en) Method for operating a pair of smart glasses, method for assisting a person performing the activity, method for commissioning goods, smart glasses, device for actuating functions, system consisting of smart glasses and a computer communicating therewith, goods store and commissioning trolley
EP3953795A1 (en) Augmented reality system
DE102018204152A1 (en) System for virtual support of an operator for woodworking machines
DE102013021280A1 (en) Object magnification device
DE102017216134B4 (en) Process for identifying a robot, portable robot operating device and robot workstation
EP3649539A1 (en) Visual output device with a camera and presentation method
EP3867736B1 (en) Method and device for training an artificial neural network and method for position tracking of an input device
DE102017221305A1 (en) Method for operating a collaborative robot
EP0656613B1 (en) Motion generator for motion simulation in a virtual environment
DE102014015025B4 (en) Sighting system and method for operating a sighting system
DE10307827A1 (en) Remote control system for a moving object, e.g. a radio-controlled aircraft, whereby the operator has a head up display which is supplied with real time images from a camera mounted in the model and linked to a control computer

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16724396

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16724396

Country of ref document: EP

Kind code of ref document: A1