WO2022258343A1 - Audiovisual assistance system, method and computer program for supporting maintenance works, repair works or installation works in an industrial system - Google Patents

Audiovisual assistance system, method and computer program for supporting maintenance works, repair works or installation works in an industrial system Download PDF

Info

Publication number
WO2022258343A1
WO2022258343A1 PCT/EP2022/063632 EP2022063632W WO2022258343A1 WO 2022258343 A1 WO2022258343 A1 WO 2022258343A1 EP 2022063632 W EP2022063632 W EP 2022063632W WO 2022258343 A1 WO2022258343 A1 WO 2022258343A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
maintenance
information
assistance system
output device
Prior art date
Application number
PCT/EP2022/063632
Other languages
German (de)
French (fr)
Inventor
Mark Haverkamp
Marco KOEPE
Sebastian Kemper
Robin BRUNNER
Michael STRÖDER
Aram AVAGYAN
Original Assignee
Sms Group Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sms Group Gmbh filed Critical Sms Group Gmbh
Publication of WO2022258343A1 publication Critical patent/WO2022258343A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32007—Operator is assisted by expert system for advice and delegation of tasks

Definitions

  • Audiovisual assistance system for supporting maintenance work, repair work or installation work in an industrial plant
  • the invention relates to an audiovisual assistance system to support maintenance work, repair work or installation work in an industrial plant, a method for audiovisual support of a maintenance worker by an external expert during maintenance work, repair work or installation work in an industrial plant, and a computer program for executing the method according to the invention.
  • the invention relates to the audiovisual support of maintenance work, repair work or installation work in an industrial plant, in particular a metallurgical production plant for the production of industrial goods such as metallic semi-finished products and/or metallic end products.
  • the industrial plant is used, for example, to produce steel, non-ferrous metals, slabs, blocks, rods, strips, sheets, tubes, beams, forgings or the like.
  • non-ferrous metals are aluminum, copper, nickel, or the like.
  • the production plant is subject to not inconsiderable wear and tear during the manufacture of the products mentioned, for example due to the necessary process temperatures, the forces required during manufacture and the like. Furthermore, as in any technical system, there may be disruptions due to failures, malfunctions or the like of individual machines, parts or components of the production system. For these reasons, maintenance work and/or repair work must be carried out in production plants at regular intervals and at irregular intervals due to incidents. To carry out the maintenance work, repair work or installation work, the maintenance worker goes to the location within the production plant where the maintenance work, repair work or installation work is to be carried out. This is usually a machine, a specific part or component of the production facility, where the production facility extends over a large area.
  • the on-site maintenance worker is equipped with a mobile device that is connected to a stationary computer via a network.
  • Maintenance-related information from a plant information system can be displayed to the maintenance technician on site via a graphic output device.
  • the graphical output device is designed as an augmented reality (AR) display device, so that the information is displayed to the maintenance technician superimposed on reality.
  • AR augmented reality
  • the disclosed assistance system has, for example, means for recognizing components, parts or machines of the production plant. Furthermore, the maintenance worker on site in the
  • US 2007/0273610 A1 discloses a system and a method for displaying maintenance-related information and instructions for a maintenance worker in a system to be maintained.
  • the maintenance technician is shown the information via an augmented reality display.
  • the maintenance-relevant information is stored on a mobile device that the maintenance technician carries with them, for example as a backpack PC. Communication with an external expert is not planned. Comparable systems are known from US 2013/0288719 A1 and WO 2015/028978 A1.
  • EP 1 647 869 A2 discloses an automation system which shows received sensor data on a head-mounted display, in particular an augmented reality system, of a person in the system. Proceeding from this prior art, the invention is based on the object of better supporting the execution of maintenance work, repair work or installation work by a maintenance worker in an industrial plant by an external expert.
  • an audiovisual assistance system for supporting maintenance work, repair work or installation work in an industrial plant, comprising: at least one mobile device for a maintenance worker in the industrial plant, with a first graphic output device for displaying information regarding activities to be carried out by the Maintenance technician and at least one camera for capturing the surroundings of the mobile device, in particular the maintenance technician's field of vision, at least one computer for an external expert with regard to carrying out work in the industrial plant, with a second graphic output device to display the surroundings of the mobile device captured by the camera of the mobile device, in particular the field of view of the maintenance technician; and a network via which the at least one mobile device and the at least one computer can exchange information, in particular data; which is characterized in that the at least one computer comprises a device for detecting and tracking the position and movement of the hands of the external expert, with the detected position and movement of the hands of the external expert being transmitted to the at least one mobile device of the maintenance engineer and the Maintenance worker is displayed by means of the first graphical output device of at least one mobile device.
  • the invention is based on the finding that the execution of maintenance work, repair work or installation work in an industrial plant, in particular an industrial plant such as metallurgical production plants for the production of industrial goods such as metallic semi-finished products and/or metallic end products, often includes many different and complex work steps. Under certain circumstances, complicated activities and work must be carried out, which can only be described in a cumbersome manner.
  • the audiovisual assistance system detects the position and movement of the hands of the external expert and shows the on-site maintenance technician the recorded position and movements of the hands of the external expert.
  • the audiovisual system according to the invention is used in particular to support maintenance work, repair work or installation work in an industrial plant, that is to say generally for work in the industrial plant during its construction and operation.
  • a maintenance worker within the meaning of the invention can also be entrusted with installation work when setting up the industrial plant and is not limited to maintenance work or repair work.
  • the present invention is not limited to overlaying the hands of the external expert, rather this is the minimum requirement.
  • a virtual image of the entire external expert can also be displayed on the first graphic output device of the maintenance technician's at least one mobile device, for example in the form of a so-called avatar.
  • the avatar's hands are then displayed and moved according to the detected position and movements of the external expert's hands.
  • the external expert's computer is designed, for example, as a stationary computer.
  • the recorded position and movement of the hands of the external expert is displayed using the second graphic output device of the at least one computer.
  • the external expert thus gets the recorded position and movements of his hands displayed on the graphic output device of his computer. This allows him to check the recorded position and movements of his hands and, if necessary, adjust them in order to better explain the activities to be carried out to the maintenance technician on site.
  • the audiovisual assistance system according to the invention also includes a plant information system with information about the industrial plant, in particular with information relevant to maintenance, repair or installation.
  • drawings in particular exploded drawings, models, in particular exploded models in 2D or 3D, site plans, maintenance information, information on machines, parts or components of the industrial plant, documents for carrying out maintenance work and/or damage repair or comparable information are stored in the plant information system.
  • the plant information system can be reached via the network, for example.
  • information from the plant information system can also be stored on the mobile device of the maintenance engineer in order to reduce the amount of data to be transmitted and the associated transmission times.
  • the information from the plant information system is displayed to the maintenance technician and/or external experts using the first graphical output device or the second graphical output device.
  • the on-site maintenance worker and/or the external expert has a large number of different pieces of information relating to the industrial plant, including its machines, parts and components, available and can be used when carrying out the maintenance work, repair work or installation work.
  • hidden components, parts or machines of the industrial plant can be displayed.
  • the first graphic output device of the at least one mobile device is designed as a head-mounted display, optical see-through head-mounted display, augmented reality head-mounted display, virtual reality head-mounted Display or a combination thereof formed.
  • the information in particular the position and movements of the hands of the external expert, can be displayed virtually in the maintenance technician's field of vision on site.
  • an overlay with reality as so-called augmented reality has proven to be particularly advantageous proven.
  • useful information from the plant information system can also be displayed for the maintenance engineer on site.
  • a head-mounted display also has the advantage that the maintenance technician has both hands free to carry out activities.
  • the first graphic output device can also be part of the mobile device, for example the display of a tablet or similar mobile device.
  • the audiovisual assistance system in particular the at least one mobile device, includes a device for determining the position of the at least one mobile device in the industrial plant.
  • the device can be used to determine the position of the at least one mobile device and thus also the position of the maintenance worker within the industrial plant.
  • the device is preferably suitable for position determination in an outdoor area and an indoor area and is based, for example, on a GPS system, sensor network or the like. By determining the position, information that is particularly interesting locally can be displayed to the maintenance technician, for example in combination with the plant information system.
  • the audiovisual assistance system in particular the at least one mobile device, includes a device for determining the line of sight of the maintenance worker who is using a mobile device.
  • a device for determining the line of sight of the maintenance engineer By determining the line of sight of the maintenance engineer, the information displayed to the maintenance engineer can be better adapted to the situation.
  • the device for determining the line of sight of the maintenance technician includes, for example, position sensors, a gyro compass, an electronic compass, an image evaluation system or the like.
  • the at least one mobile device includes a device for detecting distances.
  • a device for detecting distances by means of By recording distances, depth information can be generated, i.e. distances to machines, parts or components of the industrial plant.
  • the detected position and movements of the hands of the external expert preferably also include distances or depth information, so that the position and movements of the hands of the external expert displayed to the maintenance worker also take into account the distances or depth information.
  • the external expert can show the maintenance technician on site, preferably in three dimensions, which activities he has to carry out.
  • the device for detecting distances includes, for example, lidar sensors (light detection and ranging), ultrasonic sensors or the like.
  • the area around the mobile device is scanned by means of the device for detecting distances in order to determine the distances to machines, parts or components of the industrial installation located in the area.
  • a grid model (mesh model) is created from this, which represents the environment of the mobile device in three dimensions.
  • the information obtained in this way regarding the surroundings of the mobile device can subsequently be used by the audiovisual assistance system according to the invention, in particular the external expert, to give the maintenance technician more precise instructions, display more relevant information or the like.
  • the information obtained in this way can also be linked to information from other components or systems of the assistance system according to the invention or the industrial plant, such as the plant information system.
  • the second graphic output device of the at least one computer is designed to display a virtual reality, in particular as a virtual reality head-up display or virtual reality cave.
  • the distances recorded by the at least one mobile device can be displayed for the external expert within the virtual reality.
  • a three-dimensional virtual space is thus generated for the external expert, which corresponds to the environment of the maintenance technician on site in the industrial plant.
  • a live image from the maintenance technician's mobile device can be shown to the external expert in the virtual world, so that a kind of augmented reality is generated for the external expert with the situation of the maintenance technician on site in the industrial plant.
  • the audiovisual assistance system in particular the at least one computer, enables the external expert to generate a virtual marking in the industrial installation, in particular in the three-dimensional space of the industrial installation.
  • the virtual marking thus includes three-dimensional location information, in particular as xyz coordinates.
  • the depth information is provided, for example, by the device for detecting distances of the at least one mobile device, or it can be derived from the current position and data from a system model or system plan.
  • the virtual note is displayed to the maintenance engineer and/or the external expert on the first graphical output device or second graphical output device if the maintenance engineer or external expert's field of vision is directed to the area of the industrial plant with the generated virtual note.
  • the external expert can leave notes for the maintenance engineer, who takes them into account when he is at the corresponding position in the industrial plant.
  • the audiovisual assistance system in particular the at least one mobile device, comprises at least one sensor for detecting markers, in particular electronic markers, of the industrial plant, in particular of components, parts and/or machines of the industrial plant. This makes it easy to identify the different components, parts and machines of the industrial plant and, for example, associated information from the
  • the markers and the at least one sensor are based, for example, on an auto ID system, RFID system, barcode system (2D or 3D) or the like.
  • the camera of the mobile device can also be used as a sensor to detect markers of the industrial plant.
  • the at least one mobile device and the at least one computer each comprise audio communication means for audio communication between the maintenance worker and an external expert.
  • the audiovisual assistance system includes a central data store which stores at least the data of the at least one mobile device, in particular of all components involved in the maintenance of the industrial system, for documentation purposes.
  • the audio-visual assistance system thus stores all relevant data that was recorded and exchanged using the system according to the invention.
  • Such documentation is relevant, for example, if an accident occurs in the industrial plant at a later point in time and you want to find the cause of the accident. It can also be used to prove that certain maintenance intervals or the like have been observed.
  • the industrial system in particular machines and components of the industrial system, includes sensors for recording measured values and/or error states, the measured values and/or error states recorded by the sensors being transmitted by the industrial plant, in particular the machines or components of the industrial plant or by control units of the industrial plant, and/or are transmitted to the audiovisual assistance system, in particular to the at least one mobile device, the at least one computer or to a central control system.
  • the recorded measured values are expediently transmitted via the network of the audiovisual assistance system or via another network
  • Error states of the industrial installation can preferably be derived from the recorded measured values. This is done, for example, by the control unit, the central control system or the audiovisual assistance system. In the latter case, by the at least one mobile device and/or by the at least one computer.
  • a control unit is, for example, one or more interconnected ones Programmable logic controllers (PLC or PLCs).
  • PLC or PLCs Programmable logic controllers
  • the multiple programmable logic controllers (PLCs) can be structured hierarchically, with a so-called head PLC collecting and evaluating the data from subordinate PLCs, for example.
  • Fault conditions can be derived from the measured values collected, or the fault conditions can be detected directly using the sensors.
  • the collected measured values or error states can be collected and sent cyclically or sent directly, which is particularly advantageous in the case of serious error states.
  • Error status is sent, for example, in the form of an error code or a more detailed error message.
  • the so-called head PLC collects the sensor data, in particular measured values, from a number of subordinate PLCs or the sensors connected to them.
  • the head PLC evaluates the collected sensor data, for example by means of data correlation and analysis, and based on the evaluation generates an error message, if necessary, which is transmitted to the audiovisual assistance system according to the invention, in particular the maintenance technician's mobile device.
  • the head PLC can also serve as a receiver for information from the mobile device, which is then forwarded to the other PLCs, in particular to adapt the control of the industrial plant.
  • the audiovisual assistance system evaluates the displayed and/or received measured values and/or error states and creates an activity plan for the maintenance worker with the at least a mobile device.
  • the activity plan that has been created is displayed to the maintenance worker using the first graphical output device.
  • the audiovisual assistance system initiates maintenance, repair and/or installation by the on-site maintenance technician, who in turn can call in an external expert as part of the activities to be carried out.
  • the action plan starts from the detected error condition and follows an event tree until the error condition is resolved.
  • the activity plan created is designed as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle, and/or the activity plan created is made available to the maintenance worker as a 3D animation and/or displayed as a movie clip.
  • the step-by-step instructions or the question-and-answer principle are particularly designed to be interactive, so that the maintenance worker must confirm or answer the individual steps or questions. For example, measuring a voltage in a switch cabinet can be described as an activity plan.
  • safety instructions are displayed to the maintenance worker by means of the first graphic output device, in particular with regard to the execution of the maintenance work, repair work or installation work.
  • the safety instructions can be general or system-specific.
  • the safety instructions can come from the central control system, be stored in the audiovisual assistance system, or come from other systems of the industrial plant.
  • the safety instructions can also include safety rules or draw attention to special features, such as a required waiting time after switching off a frequency converter for the discharge of existing capacitors or comparable components.
  • the audiovisual assistance system includes a module for ordering spare parts for the industrial system, in particular for machines, components or the like.
  • the maintenance technician and/or the external expert can expediently access the module for ordering spare parts and thus initiate a direct order for spare parts.
  • information from the facility information system, from the device for determining the position of the at least one mobile device and/or the device for determining the line of sight of the maintenance worker can also be taken into account. This additional information makes it easier to identify the spare parts to be ordered and, if necessary, to order them semi-automatically.
  • the module for ordering spare parts automatically suggests the one to be ordered spare part before and the maintenance technician and/or the external expert confirms the suggestion or rejects it or adapts it.
  • spare parts can also be identified using QR codes, component IDs or an e-Doc system.
  • an immediate delivery of spare parts can be arranged.
  • the spare part ordered is delivered directly by a courier or supplier to the maintenance worker on site, for example from a materials warehouse within or in the vicinity of the industrial plant.
  • This is particularly advantageous in the case of time-critical maintenance work or repair work in the event of malfunctions, since this can reduce the downtime of the system.
  • the position of the at least one mobile device, ie the maintenance technician is also transmitted at the same time.
  • the at least one computer is designed to display markings, texts, images, graphics or the like on the first graphic output device of the at least one mobile device, so that the external expert can provide the maintenance technician in the industrial plant with a wide variety of information.
  • the audiovisual assistance system comprises a virtual tool box for displaying virtual tools on the first graphical output device of the at least one mobile device by the external expert.
  • the virtual toolbox provides the tools required for the maintenance work to be carried out, so that the external expert can show them to the maintenance technician on the first graphical output device and show them how to use them.
  • This allows the external expert to show the maintenance engineer the tool to be used on site, so that the maintenance engineer can select it from his real tool box.
  • activities that require the use of a tool can be better displayed. Examples of such activities are measuring a voltage or removing a screwed cover.
  • the device for detecting and tracking the position and movement of the external expert's hands comprises sensors to be worn on the external expert's hands, video sensors, infrared sensors or similar means.
  • the wearable sensors are known, for example, from virtual reality systems with a head-mounted display, where the user holds a controller in both hands, which also include input means or control means in addition to the necessary sensors for position and movement tracking. In principle, however, any type of sensor that is suitable for tracking the position and movement of the hands of the external expert can be used.
  • the network of the audiovisual system according to the invention is expediently designed as a wired and/or wireless network, in particular as a local area network, wireless local area network, mobile network network such as according to the UMTS, LTE or 5G standard, or combinations thereof.
  • the network can also be local or supra-regional, such as an internal local company network or a private or public supra-regional network.
  • the individual transmission technologies and regional extensions can also be combined with one another.
  • the at least one mobile device includes input means in order to adapt the information displayed on the first graphical output device and/or to enter information for display. The maintenance worker can therefore adapt the display on the first graphic output device to his needs and preferences and also enter information which is subsequently displayed on the first graphic output device.
  • the at least one computer comprises input means in order to adapt the information displayed on the first graphic output device and/or the second graphic output device and/or to input information for display.
  • the external expert can therefore input both for the first graphical output device of at least one mobile device and for the second graphical output device of the at least one computer.
  • the external expert can thus display information and/or notes to the maintenance engineer, for example.
  • the audiovisual assistance system comprises a translation system or an interface to a translation system for translating information for the maintenance worker and/or external experts, in particular for translating audio information, texts and/or coded information.
  • a translation system for translating information for the maintenance worker and/or external experts, in particular for translating audio information, texts and/or coded information.
  • the external expert can thus be located anywhere in the world, for example at the headquarters of the manufacturer of the industrial plant, while the maintainer is located at the site of the industrial plant, which is for example in another country or even another continent, and thanks to the translation system external experts and maintenance staff do not have to speak a common language.
  • the translation system can also be used to translate coded information into plain text, such as an error code into a detailed error description.
  • the at least one mobile device is designed as a personal computer, in particular as a backpack PC.
  • the maintenance technician can operate the at least one mobile device using a user interface (desktop) that he is familiar with and does not have to get used to a proprietary user interface.
  • the user interface is in particular the user interfaces known from operating systems such as Windows or MacOS.
  • the at least one mobile device can also use existing software licenses without additional costs or only with lower additional costs.
  • the mobile device designed as a personal computer can be used as a stationary computer and mobile computer, so that the maintenance technician can access his data at any time and the known user interface (desktop) is displayed to him.
  • a backpack PC within the meaning of the invention is a portable PC, regardless of the housing and/or design such as mini/micro housing, laptop, single-board computer, or the like.
  • the essential feature with regard to the present invention is the mobility of the PC, ie its portability for the maintenance worker.
  • the at least one mobile device also includes a documentation module for documenting the maintenance work, repair work or installation work carried out by the maintenance engineer.
  • the documentation module can, for example, automatically record and store the maintenance work, repair work or installation work that has been carried out, which significantly reduces the effort involved for the maintenance worker in this regard.
  • the documentation module can also include an audio interface for voice input.
  • the maintenance worker can thus document the maintenance work, repair work or installation work that has been carried out by means of a simple voice input, in particular at the same time as the execution.
  • voice input allows notes to be entered for later post-processing by a third party.
  • the documentation module can also store images and videos of the maintenance work, repair work or installation work that has been carried out, in particular including the support provided by the external expert. For example, the virtual hands of the external expert, etc., displayed to the maintenance technician, could also be stored.
  • the audiovisual assistance system also includes a virtual reality module, comprising a virtual three-dimensional model of the industrial plant, wherein the at least one mobile device and/or the at least one computer can access the virtual reality module.
  • the maintenance technician and/or the external expert can move through the industrial plant virtually and independently of one another and, for example, create notes, instructions, safety instructions or leave them for the other, which are then displayed.
  • the external expert could be in these different places Leave notes, instructions, safety notices, and when the maintenance worker arrives at the site in the actual industrial plant, the notes, instructions, safety notices are displayed.
  • the virtual reality module is based in particular on a digital twin of the industrial installation and/or on digital twins of machines, parts or components of the industrial installation.
  • a digital twin describes a virtual image of the real system or component and preferably contains all relevant details, information, parameters and the like.
  • the real system or component can expediently be accessed via its associated digital twin.
  • the object is also achieved by a method for the audiovisual support of a maintenance worker by an external expert during maintenance work, repair work or installation work in an industrial plant, comprising the steps: establishing a communication connection between a mobile device of the maintenance worker and a computer of the external expert,
  • the method according to the invention is also based on the knowledge that the execution of maintenance work, repair work or installation work in an industrial plant, in particular an industrial plant such as metallurgical Production plants for the production of industrial goods such as metallic semi-finished products and/or metallic end products, often involving many different and complex work steps. Under certain circumstances, complicated activities and work must be carried out, which can only be described in a cumbersome manner.
  • an industrial plant such as metallurgical Production plants for the production of industrial goods such as metallic semi-finished products and/or metallic end products, often involving many different and complex work steps. Under certain circumstances, complicated activities and work must be carried out, which can only be described in a cumbersome manner.
  • To support a maintenance technician on site who cannot carry out the maintenance work, repair work or installation work independently, but is dependent on the help of an external expert for the execution, it is proposed according to the invention that the position and movement of the hands of the external expert can be adjusted using the method according to the invention recorded and the on-site maintenance technician is shown the recorded position and movements of the hands
  • the method according to the invention serves in particular to support maintenance work, repair work or installation work in an industrial plant, that is to say generally for work in the industrial plant during its construction and operation.
  • a maintenance worker within the meaning of the invention can also be entrusted with installation work when setting up the industrial plant and is not limited to maintenance work or repair work.
  • the present invention is not limited to overlaying the hands of the external expert, rather this is the minimum requirement.
  • the hands can also be a virtual image of the entire external expert on the first graphic output device of the at least one mobile device of the maintenance technician are displayed, for example in the form of a so-called avatar.
  • the avatar's hands are then displayed and moved according to the detected position and movements of the external expert's hands.
  • the external expert is preferably at a stationary location, while the maintenance technician can move freely in the industrial plant, ie is mobile.
  • the method further comprises displaying the detected and tracked position and movement of the hands of the external expert on the second output device of the computer.
  • the external expert thus gets the recorded position and movements of his hands displayed on the graphic output device of his computer. This allows him to check the recorded position and movements of his hands and, if necessary, adjust them in order to better explain the activities to be carried out to the maintenance technician on site.
  • the method according to the invention includes the provision of information about the industrial installation, in particular information relevant to maintenance, repair or installation.
  • the information is provided, for example, by a plant information system and includes drawings, in particular exploded drawings, models, in particular exploded models in 2D or 3D, site plans, maintenance information, information on machines, parts or components of the industrial plant, documents for carrying out maintenance work and/or damage repair or similar Information.
  • the plant information system can be reached via a network, for example.
  • information from the plant information system can also be stored on the mobile device of the maintenance engineer in order to reduce the amount of data to be transmitted and the associated transmission times.
  • the method includes displaying the information about the industrial installation on the first output device of the mobile device and/or the second output device of the computer.
  • the on-site maintenance worker and/or the external expert has a large number of different pieces of information relating to the industrial plant, including its machines, parts and components, available and can be used when carrying out the maintenance work, repair work or installation work.
  • hidden components, parts or machines of the industrial plant can be displayed.
  • the method includes the generation of a virtual reality and/or augmented reality for the maintenance worker by the mobile device, in particular by the first graphic output device of the mobile device, which is a head-mounted display, optical see -Through head-mounted display, augmented reality head-mounted display, virtual reality head-mounted display or a combination thereof.
  • the information in particular the position and movements of the hands of the external expert, can be displayed virtually in the maintenance technician's field of vision on site.
  • an overlay with reality as so-called augmented reality has proven to be particularly advantageous.
  • useful information from the plant information system can also be displayed for the maintenance engineer on site.
  • a head-mounted display also has the advantage that the maintenance technician has both hands free to carry out activities.
  • the information for the maintenance engineer can also be reproduced on a graphical output device of the mobile device, for example on the display of a tablet or similar mobile device.
  • the method includes determining the position of the mobile device in the industrial installation.
  • the determined position of the at least one mobile device also corresponds to the position of the maintenance worker within the industrial installation.
  • the position can be determined in an outdoor area and an indoor area of the industrial installation and is based, for example, on a GPS system, sensor network or the like.
  • the maintenance technician can, in particular, locally Show interesting information, for example in combination with the plant information system.
  • the method includes determining the line of sight of the maintenance worker.
  • the information displayed to the maintenance engineer can be better adapted to the situation.
  • a combination with the determination of the position within the industrial plant and/or the plant information system has proven to be particularly advantageous.
  • the device used to determine the line of sight of the maintenance worker includes, for example, position sensors, a gyro compass, an electronic compass, an image evaluation system or the like.
  • the method includes detecting distances using the mobile device.
  • depth information can be generated, i.e. distances to machines, parts or components of the industrial plant.
  • the detected position and movements of the hands of the external expert preferably also include distances or depth information, so that the position and movements of the hands of the external expert displayed to the maintenance worker also take into account the distances or depth information.
  • the external expert can show the maintenance technician on site, preferably in three dimensions, which activities he has to carry out.
  • the device for detecting distances includes, for example, lidar sensors (light detection and ranging), ultrasonic sensors or the like.
  • the environment of the mobile device is scanned in order to determine the distances to machines, parts or components of the industrial installation located in the environment.
  • a grid model (mesh model) is created from this, which represents the environment of the mobile device in three dimensions.
  • the information obtained in this way regarding the environment of the mobile device can subsequently be used, in particular by the external expert, to give the maintenance technician more precise instructions, display more relevant information or the like.
  • the information obtained in this way can also be linked to information from other components or systems of the assistance system according to the invention or the industrial plant, such as the plant information system.
  • the method according to the invention includes the generation of a virtual reality for the external expert by the computer, in particular by the second graphic output device of the computer, which is designed as a virtual reality head-up display or virtual reality cave.
  • the distances recorded by the maintenance technician's at least one mobile device can be displayed for the external expert.
  • a three-dimensional virtual space is thus generated for the external expert, which corresponds to the environment of the maintenance technician on site in the industrial plant.
  • the external expert can be shown a live image from the maintenance technician's mobile device in the virtual world, so that a kind of augmented reality is generated for the external expert with the situation of the maintenance technician on site in the industrial plant.
  • the method includes the creation of a virtual marking in the industrial installation by the external expert, in particular in the three-dimensional space of the industrial installation.
  • the virtual marking thus includes three-dimensional location information, in particular as xyz coordinates.
  • the depth information is provided, for example, by a device for detecting distances of the at least one mobile device, or can be derived from the current position and data from a system model or system plan.
  • the virtual note is displayed to the maintenance engineer and/or the external expert on the first graphical output device or second graphical output device if the maintenance engineer or external expert's field of vision is directed to the area of the industrial plant with the generated virtual note.
  • the method includes the detection of markers, in particular electronic markers, of the industrial installation, in particular of components and/or machines of the industrial installation.
  • markers in particular electronic markers
  • the markers and the at least one sensor are based, for example, on an auto ID system, RFID system, barcode system (2D or 3D) or the like.
  • these markers can also be captured using the mobile device's camera.
  • the method according to the invention includes the provision of audio communication between the maintenance worker and an external expert.
  • the method includes storing at least the data of the mobile device, in particular all the components involved in the maintenance of the industrial installation, for documentation purposes.
  • the method according to the invention thus stores all relevant data that was recorded and exchanged using the method according to the invention.
  • Such documentation is relevant, for example, if an accident occurs in the industrial plant at a later point in time and you want to find the cause of the accident. It can also be used to prove that certain maintenance intervals or the like have been observed.
  • the method includes the acquisition of measured values and / or error states of the industrial plant, in particular machines and components of the industrial plant, the measured values and / or error states recorded from the industrial plant, in particular the machines or components of the industrial plant or by control units of the industrial plant, and/or are transmitted to the audiovisual assistance system, in particular to the at least one mobile device, the at least one computer or to a central control system.
  • the transmission of the measured values is expediently carried out via the Network of the audiovisual assistance system or another communication network and an interface to the audiovisual assistance system according to the invention.
  • Error states of the industrial installation, in particular machines, parts or components of the industrial installation can preferably be derived from the recorded measured values.
  • a control unit is, for example, one or more interconnected programmable logic controllers (PLC or PLCs).
  • PLC programmable logic controller
  • the multiple programmable logic controllers (PLCs) can be structured hierarchically, with a so-called head PLC collecting and evaluating the data from subordinate PLCs, for example.
  • Fault conditions can be derived from the measured values collected, or the fault conditions can be detected directly using the sensors.
  • the collected measured values or error states can be collected and sent cyclically or sent directly, which is particularly advantageous in the case of serious error states.
  • the error status is sent, for example, in the form of an error code or a more detailed error message.
  • the so-called head PLC collects the sensor data, in particular measured values, from a number of subordinate PLCs or the sensors connected to them.
  • the head PLC evaluates the collected sensor data, for example by means of data correlation and analysis, and based on the evaluation generates an error message, if necessary, which is transmitted to the audiovisual assistance system according to the invention, in particular the maintenance technician's mobile device.
  • the head PLC can also serve as a receiver for information from the mobile device, which is then forwarded to the other PLCs, in particular to adapt the control of the industrial plant.
  • the method according to the invention includes the evaluation of the measured values and/or error states recorded, the creation of an activity plan for the maintenance worker using the mobile device and the display of the created activity plan for the maintenance worker.
  • the evaluation is carried out, for example, by the audiovisual assistance system, in particular the at least one mobile device, or by the industrial installation, in particular a central control system such as a head PLC.
  • the activity plan that has been created is displayed to the maintenance worker using the first graphical output device.
  • the method or the audiovisual assistance system initiates maintenance, repair or installation by the on-site maintenance technician, who in turn can call in an external expert as part of the maintenance work, repair work or installation work.
  • the action plan starts from the detected error condition and follows an event tree until the error condition is resolved.
  • the method includes creating the activity plan as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle, and/or displaying the activity plan created as a 3D animation and/or as a film sequence for the
  • step-by-step instructions or the question-and-answer principle are particularly designed to be interactive, so that the maintenance worker must confirm or answer the individual steps or questions. For example, measuring a voltage in a switch cabinet can be described as an activity plan.
  • the method includes the display of safety instructions for the maintenance worker, in particular with regard to the execution of the maintenance work, repair work or installation work.
  • the safety instructions can be general or system-specific. According to the invention, the safety instructions can come from the central control system, be stored in the audiovisual assistance system, or come from other systems of the industrial plant.
  • the safety instructions can also include safety rules or draw attention to special features, such as a required waiting time after switching off a frequency converter for the discharge of existing capacitors or comparable components.
  • the method according to the invention includes ordering spare parts for the industrial plant, in particular for machines, components or the like. The maintenance technician and/or the external expert can expediently initiate the procurement of spare parts. When the order is triggered, information from the
  • Plant information system are taken into account by the position of at least one mobile device and / or the line of sight of the maintenance worker. This additional information makes it easier to identify the spare parts to be ordered and, if necessary, to order them semi-automatically.
  • the procedure automatically proposes the spare part to be ordered and the maintenance technician and/or the external expert confirms the proposal or rejects it or adapts it.
  • spare parts can also be identified using QR codes, component IDs or an e-Doc system. According to a particularly advantageous variant, an immediate
  • the spare part ordered is delivered directly by a courier or supplier to the maintenance worker on site, for example from a materials warehouse within or in the vicinity of the industrial plant.
  • This is advantageous in particular in the case of time-critical maintenance work or repair work in the event of malfunctions, since the downtime of the industrial plant can be reduced as a result.
  • the position of the at least one mobile device, ie the maintenance technician is also transmitted at the same time.
  • the method according to the invention includes the superimposition of markings, texts, images, graphics or the like on the first graphic output device of the mobile device for the maintenance technician by the external expert, so that the external expert can provide the maintenance technician in the industrial plant with a wide variety of information can provide.
  • the method according to the invention includes the provision of a virtual toolbox for displaying virtual
  • the virtual toolbox provides the tools required for the maintenance work to be carried out, so that the external expert can show them to the maintenance technician on the first graphical output device and show them how to use them.
  • This allows the external expert to show the maintenance engineer the tool to be used on site, so that the maintenance engineer can select it from his real tool box.
  • activities that require the use of a tool can be better displayed. Examples of such activities are measuring a voltage or removing a screwed cover.
  • the position and movement of the hands of the external expert are recorded by sensors that can be worn on the hands, video sensors, infrared sensors or comparable means.
  • the wearable sensors are known, for example, from virtual reality systems with a head-mounted display, where the user holds a controller in both hands, which, in addition to the necessary sensors for position and
  • Motion tracking also include input means or control means.
  • input means or control means any type of sensor that is suitable for tracking the position and movement of the hands of the external expert can be used.
  • the method according to the invention expediently includes the transmission of data when executing the method according to the invention via a wired and/or wireless network, in particular via a local area network, wireless local area network, mobile network network such as according to the UMTS, LTE or 5G standard, or combinations thereof.
  • the network can also be local or supra-regional, such as an internal local company network or a private or public supra-regional network.
  • the individual transmission technologies and regional extensions can also be combined with one another.
  • the method includes the adjustment of information displayed on the first graphic output device and/or the input of information for display by the maintenance technician, in particular by means of input means of the mobile device. So the maintainer can adapt the display on the first graphic output device to his needs and preferences and also enter information which is subsequently displayed on the first graphic output device.
  • the method includes the adaptation of information displayed on the first graphic output device and/or the input of information for display by the external expert, in particular by means of input means of the computer.
  • the external expert can therefore make entries both for the first graphic output device of the at least one mobile device and for the second graphic output device of the at least one computer.
  • the external expert can thus display information and/or notes to the maintenance engineer, for example.
  • the method according to the invention includes the translation of information for the maintenance worker and/or external experts, in particular for the translation of audio information, text and/or coded information.
  • the external expert can thus be located anywhere in the world, for example at the headquarters of the manufacturer of the industrial plant, while the maintainer is located at the site of the industrial plant, which is for example in another country or even another continent, and thanks to the translation system external experts and maintenance staff do not have to speak a common language.
  • the translation system can also be used to translate coded information into plain text, such as an error code into a detailed error description.
  • the method for the maintenance technician is carried out using a mobile personal computer, in particular using a backpack PC.
  • the maintenance technician can operate the at least one mobile device using a user interface (desktop) that he is familiar with and does not have to get used to a proprietary user interface.
  • the user interface is in particular the user interfaces known from operating systems such as Windows or MacOS.
  • At least one mobile device can also do this use existing software licenses without additional or only with lower additional costs.
  • the mobile device designed as a personal computer can be used as a stationary computer and mobile computer, so that the maintenance technician can access his data at any time and the known user interface (desktop) is displayed to him.
  • a backpack PC within the meaning of the invention is a portable PC, regardless of the housing and/or design, such as a mini/micro housing, laptop, single-board computer, or the like.
  • the essential feature with regard to the present invention is the mobility of the PC, ie its portability for the maintenance worker.
  • the method includes documenting the maintenance work, repair work or installation work carried out by the maintenance worker, in particular using the mobile device.
  • the documentation can, for example, automatically record and save the maintenance work, repair work or installation work that has been carried out, which significantly reduces the related effort for the maintenance technician.
  • the documentation can also include voice input.
  • the maintenance worker can thus document the maintenance work, repair work or installation work that has been carried out by means of a simple voice input, in particular at the same time as the execution. Furthermore, voice input allows notes to be entered for later post-processing by a third party.
  • the documentation can also include the storage of images and videos of the maintenance work, repair work or installation work carried out, in particular including the support of the external expert. For example, the virtual hands of the external expert, etc., displayed to the maintenance technician, could also be stored.
  • the method includes the provision of a virtual three-dimensional model of the industrial installation, with the maintenance worker and/or the external expert being able to access the virtual three-dimensional model.
  • the maintenance technician and/or the external expert can navigate through the industrial Move the system and, for example, create notes, instructions, safety instructions or leave them for the other, which are displayed below.
  • the external expert could leave notes, instructions, safety notices in these different places, and when the maintainer arrives at the place in the actual industrial plant, the notes, instructions, safety notices are displayed.
  • the method according to the invention is expediently carried out using an audiovisual assistance system according to the invention.
  • the object is also achieved by a computer program comprising instructions which, when the program is executed by a computer, cause the latter to execute the method according to the invention.
  • FIG. 1 is a schematic view of an audiovisual according to the invention
  • FIG. 1 shows a schematic view of an audiovisual assistance system 1 to support maintenance work, repair work or installation work in an industrial plant 11.
  • the inventive audiovisual assistance system 1 includes a mobile device 2 for a maintenance technician 3 in the industrial plant 11.
  • the mobile device 2 for The maintenance technician 3 is equipped with a first graphical output device 4 for displaying information regarding activities to be carried out by the maintenance technician 3 and a camera for capturing the environment of the mobile device 2, in particular the field of view of the maintenance technician 3.
  • the mobile device 2 for the maintenance technician 3 also includes a device 13 for determining the position of the mobile device 2 in the industrial plant 11, a device 14 for determining the viewing direction of the maintenance technician 3 who mobile device 2 uses, a device 15 for detecting distances and audio communication means 16, in particular speakers and a microphone, for example in the form of a headset.
  • the mobile device 1 also includes input means (not shown) in order to adapt the information displayed on the first graphical output device 4 and/or to enter information for display.
  • the mobile device 2 is preferably designed as a personal computer, in particular as a so-called backpack PC.
  • the components assigned to the mobile device 2 of the maintenance technician 3 are summarized in a dashed circle in FIG. 1 .
  • the audiovisual assistance system 1 from FIG. The computer 6 is equipped with a second graphical output device 8 for displaying the surroundings of the mobile device 2 captured by the camera 5 of the mobile device 2 , in particular the field of view of the maintenance technician 3 .
  • the computer 6 of the external expert 7 also includes audio communication means 16, in particular loudspeakers and a microphone, for example in the form of a headset.
  • the computer 6 is preferably designed to overlay markings, texts, images, graphics or the like on the first graphic output device 4 of the mobile device 2 so that the external expert 7 can provide the maintenance technician 3 in the industrial plant 11 with a wide variety of information.
  • the computer 6 includes input means (not shown) in order to adapt the information displayed on the first graphical output device 4 and/or the second graphical output device 8 and/or to enter information for display.
  • the computer 6 comprises a device 10 for detecting and tracking the position and movement of the hands of the external expert 7, the detected position and movement of the hands of the external expert 7 being transmitted to the mobile device 2 of the maintenance technician 3 and to the maintenance technician 3 by means of of the first graphic output device 4 of the at least one mobile device 1 is shown.
  • the detected position and movement of the hands of the external expert 7 are expediently also displayed using the second graphical output device 8 of the computer 6, so that the external expert can check the detected position and movement of his hands.
  • the device 10 for detecting and tracking the position and movement of the hands of the external expert 7 can comprise sensors to be worn on the hands of the external expert 7, video sensors, infrared sensors or comparable means.
  • the network 9 is designed, for example, as a wired and/or wireless network, in particular as a local area network, wireless local area network, mobile network network such as, for example, according to the UMTS, LTE or 5G standard, or combinations from it.
  • the audiovisual assistance system 1 preferably includes a plant information system 12 with information about the industrial plant 11, in particular with maintenance-related information.
  • the plant information system 12 can also be part of the industrial plant 11, which the audiovisual assistance system 1 according to the invention accesses.
  • information from the plant information system 12 can also be stored on the mobile device 2 of the maintenance technician 3 in order to reduce the amount of data to be transmitted and the associated transmission times.
  • the system information system 12 contains, for example, drawings, in particular exploded drawings, models, in particular exploded models in 2D or 3D, site plans, maintenance information, repair information,
  • the plant information system 12 can be reached via the network 9, for example.
  • the information from the plant information system 12 is sent to the maintenance technician 3 and/or external experts 7 using the first graphical output device 4 or the second graphical output device 8 .
  • the first output device 4 of the mobile device 2 is designed as a head-mounted display, in particular as an optical see-through head-mounted display for generating an augmented reality.
  • the maintenance worker 3, who wears the head-mounted display can see his surroundings through it (optical see-through).
  • the position and movement of the hands of the external expert 7 are shown to the maintenance worker by means of the head-mounted display as an overlay with reality, so that an augmented reality is created.
  • safety instructions are preferably additionally displayed to the maintenance technician 3 by means of the first graphic output device 4, in particular with regard to the execution of the maintenance work, repair work or installation work.
  • the first output device 4 can also be part of the mobile device 2, such as the display of a tablet.
  • the second graphic output device 8 of the computer 6 is designed to display a virtual reality, in particular as a virtual reality head-up display or virtual reality cave.
  • the virtual reality shown is based on the recorded surroundings of the mobile device 2, in particular the camera 5.
  • Information from the plant information system 12 can also be displayed.
  • the generated virtual reality contains information from the device 15 for detecting distances, so that the external expert 7 is shown a three-dimensional virtual reality within which he can move his hands, which in turn are shown to the maintenance worker 3 .
  • the audiovisual assistance system 1, in particular the computer 6, preferably enables the external expert 7 to create a virtual marking in the industrial plant 11, in particular in the three-dimensional space of the industrial plant 11.
  • the audiovisual assistance system 1 comprises at least one sensor for detecting markers, in particular electronic markers, of the industrial plant 11, in particular of components, parts and/or machines of the industrial plant 11. In this way, the components Identify parts and/or machines of the industrial plant 11 easily and reliably.
  • the audiovisual assistance system 1 also includes a central data store 17, which stores at least the data of the mobile device 2, in particular all of the components involved in the maintenance, repair or installation of the system 11, for documentation purposes.
  • the audiovisual system 1 preferably stores all exchanged data.
  • the mobile device includes
  • this documentation module can include a voice input in order to make the documentation as simple as possible for maintenance personnel 3 and to reduce the time required for this.
  • the industrial plant 11 from FIG. 1 also includes one or more control units 23, in particular so-called programmable logic controllers (PLCs or PLCs).
  • the multiple programmable logic controllers (PLCs) can be structured hierarchically, with a so-called head PLC collecting and evaluating the data from subordinate PLCs, for example.
  • the multiple control units 23 are preferably connected to one another via a bus system or the like. According to FIG. 1, the industrial installation 11, in particular machines and
  • Measured values and/or error states are displayed by the industrial system 11, in particular the machines or components of the industrial system 11 or by control units 23 of the industrial system 11, and/or to the audiovisual assistance system 1, in particular to the mobile device 2, the computer 6 or to a central control system.
  • the so-called head PLC collects the sensor data, in particular measured values, from several subordinate PLCs or the sensors 18 connected to them.
  • the head PLC evaluates the collected sensor data, for example by means of data correlation and analysis, and generates an error message which is transmitted to the audiovisual assistance system 1 according to the invention, in particular the mobile device 2 of the maintenance worker 3 .
  • the head PLC can also serve as a receiver for information from the mobile device 2, which is then forwarded to the other PLCs, in particular in order to adapt the control of the industrial plant 11.
  • the created activity plan is displayed to the maintenance person 3 by means of the first graphic output device 4 .
  • the activity plan that is created is preferably designed as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle. Alternatively or additionally, the created activity plan is displayed to the maintenance worker 3 as a 3D animation and/or as a film sequence.
  • the audiovisual assistance system according to the invention advantageously includes a module 19 for ordering spare parts for the industrial plant 11, in particular for machines, components or the like.
  • the maintenance technician 3 and/or the external expert 7 can access the module 19 for ordering spare parts in order to initiate the procurement of spare parts.
  • the audiovisual assistance system 1 also includes a virtual toolbox 20 for the external expert 7 to display virtual tools on the first graphical output device 4 of the mobile device 2. Using the displayed tools, the external expert 7 can show the maintenance technician 3 in the industrial plant 11 better die activities to be carried out using tools virtually on the first graphical output device 4 show.
  • the audiovisual assistance system 1 includes a translation system 21 for translating information for the maintenance worker 3 and/or external experts 7, in particular for translating audio information, texts and/or coded information.
  • the audiovisual assistance system 1 from FIG. 1 also includes a virtual reality module 22 which contains a virtual three-dimensional model of the industrial plant 11 .
  • Mobile device 2 and computer 6 can access virtual reality module 22 .
  • the maintenance worker 3 and/or the external expert 7 can move through the industrial plant 11 virtually and independently of one another and, for example, create notes, instructions, safety instructions or leave them for the other, which are then displayed.
  • the external expert 7 could leave notes, instructions, safety instructions at these different locations and when the maintenance worker 3 arrives at the location in the actual industrial plant 11, the notes, instructions, safety instructions are displayed on the first graphical output device 4 of the mobile device 2 for the Maintainer 3 displayed.
  • the virtual reality module is based in particular on a digital twin of the industrial installation and/or on digital twins of machines, parts or components of the industrial installation.
  • a digital twin describes a virtual image of the real system or component and preferably contains all relevant details, information, parameters and the like.
  • the real system or component can expediently be accessed via its associated digital twin.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Manufacturing & Machinery (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

The invention relates to an audiovisual assistance system (1) and a method for supporting maintenance works, repair works or installation works in an industrial system (11), comprising: at least one mobile device (2) for a maintenance staff member (3) in the industrial system (11), with a first graphic output device (4) for displaying information relating to tasks to be carried out by the maintenance staff member (3) and at least one camera (5) for capturing the environment around the mobile device (2), in particular the field of vision of the maintenance staff member (3), at least one computer (6) for an external expert (7) for carrying out works in the industrial system (11), with a second graphic output device (8) for displaying the environment around the mobile device (2) captured by the camera (5) of the mobile device (2), in particular the field of vision of the maintenance staff member (3); and a network (9) via which the at least one mobile device (2) and the at least one computer (6) can exchange information, in particular data; characterised in that the at least one computer (6) comprises a device (10) for capturing and tracking the position and movement of the hands of the external expert (7), wherein the captured position and movement of the hands of the external expert (7) are transmitted to the at least one mobile device (2) of the maintenance staff member (3) and displayed for the maintenance staff member (3) by means of the first graphic output device (4) of the at least one mobile device (1).

Description

Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage Audiovisual assistance system, method and computer program for supporting maintenance work, repair work or installation work in an industrial plant
Die Erfindung betrifft ein audiovisuelles Assistenzsystem zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, ein Verfahren zur audiovisuellen Unterstützung eines Instandhalters durch einen externen Experten bei Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage und ein Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens. The invention relates to an audiovisual assistance system to support maintenance work, repair work or installation work in an industrial plant, a method for audiovisual support of a maintenance worker by an external expert during maintenance work, repair work or installation work in an industrial plant, and a computer program for executing the method according to the invention.
Die Erfindung betrifft die audiovisuelle Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer Industrieanlage, insbesondere einer metallurgischen Produktionsanlage zur Erzeugung von Industriegütern wie metallischem Halbzeug und/oder metallischen Endprodukten. Die Industrieanlage dient beispielsweise zur Herstellung von Stahl, nicht-Eisen Metallen, Brammen, Blöcken, Stäben, Bändern, Blechen, Rohren, Trägern, Schmiedestücken oder dergleichen. Nicht-Eisen Metalle sind beispielsweise Aluminium, Kupfer, Nickel, oder dergleichen. The invention relates to the audiovisual support of maintenance work, repair work or installation work in an industrial plant, in particular a metallurgical production plant for the production of industrial goods such as metallic semi-finished products and/or metallic end products. The industrial plant is used, for example, to produce steel, non-ferrous metals, slabs, blocks, rods, strips, sheets, tubes, beams, forgings or the like. Examples of non-ferrous metals are aluminum, copper, nickel, or the like.
Die Produktionsanlage unterliegt bei der Herstellung der genannten Produkte einem nicht unerheblichen Verschleiß, beispielsweise durch die notwendigen Prozesstemperaturen, erforderlichen Kräfte während der Herstellung und dergleichen. Ferner kann es wie in jeder technischen Anlage zu Störungen aufgrund von Ausfällen, Fehlfunktionen oder dergleichen von einzelnen Maschinen, Teilen oder Komponenten der Produktionsanlage kommen. Aus diesen Gründen müssen in Produktionsanlagen in regelmäßigen und aufgrund von Störfällen unregelmäßigen Abständen Wartungsarbeiten und/oder Reparaturarbeiten in der Produktionsanlage durchgeführt werden. Zur Durchführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten begibt sich der Instandhalter zu dem Standort innerhalb der Produktionsanlage, wo die Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten durchzuführen sind. Dies ist üblicherweise eine Maschine, ein bestimmtes Teil oder eine Komponente der Produktionsanlage, wobei sich die Produktionsanlage über eine große Fläche erstreckt. Insbesondere erstrecken sich Industrieanlagen wie beispielsweise zur Herstellung von Stahl, nicht-Eisen Metallen, Brammen, Blöcken, Stäben, Bändern, Blechen, Rohren, Trägern, Schmiedestücken oder dergleichen über mehrere hundert Meter. Im Idealfall kann der Instandhalter die geplanten oder ungeplanten Wartungsmaßnahmen, Reparaturarbeiten oder Installationsarbeiten aufgrund seines Fachwissens und des mitgeführten Werkzeugs und/oder bereitgestellter Ersatzteile problemlos vor Ort durchführen. Zur Unterstützung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann der Instandhalter eine Dokumentation bezüglich der zu wartenden, reparierenden oder installierenden Maschine, des zu wartenden, reparierenden oder installierenden Teils oder der zu wartenden, reparierenden oder installierenden Komponente mit sich führen. Falls der Instandhalter bei der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten Unterstützung von einem externen, d.h. nicht vor Ort befindlichen, Experten benötigt, so muss er diesen beispielsweise telefonisch oder über Funk kontaktieren und versuchen, das Problem zusammen mit dem Experten zu lösen. Aus der WO 2017/097902 A1 ist ein audiovisuelles Assistenzsystem zurThe production plant is subject to not inconsiderable wear and tear during the manufacture of the products mentioned, for example due to the necessary process temperatures, the forces required during manufacture and the like. Furthermore, as in any technical system, there may be disruptions due to failures, malfunctions or the like of individual machines, parts or components of the production system. For these reasons, maintenance work and/or repair work must be carried out in production plants at regular intervals and at irregular intervals due to incidents. To carry out the maintenance work, repair work or installation work, the maintenance worker goes to the location within the production plant where the maintenance work, repair work or installation work is to be carried out. This is usually a machine, a specific part or component of the production facility, where the production facility extends over a large area. In particular, industrial plants such as for the production of steel, non-ferrous metals, slabs, blocks, rods, strips, sheets, tubes, beams, forgings or the like extend over several hundred meters. Ideally, the maintenance technician can easily carry out the planned or unplanned maintenance measures, repair work or installation work on site due to his specialist knowledge and the tools he has with him and/or the spare parts made available. To support the maintenance work, repair work or installation work, the maintenance worker may carry documentation relating to the machine, part or component to be maintained, repaired or installed. If the maintainer needs support from an external, ie not on-site, expert when carrying out the maintenance work, repair work or installation work, he must contact this expert, for example by telephone or radio, and try to solve the problem together with the expert. WO 2017/097902 A1 is an audiovisual assistance system for
Unterstützung von Wartungsarbeiten in einer Produktionsanlage bekannt. DerKnown support for maintenance work in a production plant. Of the
Instandhalter vor Ort ist dabei mit einem mobilen Gerät ausgestattet, welches über ein Netzwerk mit einem stationären Rechner verbunden ist. Über ein graphisches Ausgabegerät können dem Instandhalter vor Ort instandhaltungsrelevante Informationen aus einem Anlageninformationssystem angezeigt werden.The on-site maintenance worker is equipped with a mobile device that is connected to a stationary computer via a network. Maintenance-related information from a plant information system can be displayed to the maintenance technician on site via a graphic output device.
Beispielsweise ist das graphische Ausgabegerät als Augmented-Reality (AR) Anzeigegerät ausgebildet, so dass dem Instandhalter die Informationen überlagert zu der Realität angezeigt werden. Dazu verfügt das offenbarte Assistenzsystem beispielsweise über Mittel zur Erkennung von Komponenten, Teilen oder Maschinen der Produktionsanlage. Ferner kann der Instandhalter vor Ort in derFor example, the graphical output device is designed as an augmented reality (AR) display device, so that the information is displayed to the maintenance technician superimposed on reality. For this purpose, the disclosed assistance system has, for example, means for recognizing components, parts or machines of the production plant. Furthermore, the maintenance worker on site in the
Produktionsanlage mittels des offenbarten Systems einen externen Experten kontaktieren. Da der externe Experte Bildinformationen aus der Produktionsanlage angezeigt bekommt und gegebenenfalls auch Sensordaten an den externen Experten übertragen werden, kann der externe Experte den Instandhalter vor Ort besser unterstützen. Contact an external expert for a production facility using the disclosed system. Because the external expert image information from the production plant is displayed and, if necessary, sensor data is also transmitted to the external expert, the external expert can better support the maintenance technician on site.
Ferner offenbart die US 2007/0273610 A1 ein System und ein Verfahren zur Anzeige von wartungsrelevanten Informationen und Anweisungen für einen Instandhalter in einer zu wartenden Anlage. Dem Instandhalter werden dabei die Informationen über ein Augmented-Reality Display angezeigt. Die wartungsrelevanten Informationen sind auf einem mobilen Gerät gespeichert, welches der Instandhalter mit sich führt, beispielsweise als Rucksack-PC. Eine Kommunikation mit einem externen Experten ist nicht vorgesehen. Vergleichbare Systeme sind aus der US 2013/0288719 A1 und der WO 2015/028978 A1 bekannt. Furthermore, US 2007/0273610 A1 discloses a system and a method for displaying maintenance-related information and instructions for a maintenance worker in a system to be maintained. The maintenance technician is shown the information via an augmented reality display. The maintenance-relevant information is stored on a mobile device that the maintenance technician carries with them, for example as a backpack PC. Communication with an external expert is not planned. Comparable systems are known from US 2013/0288719 A1 and WO 2015/028978 A1.
Die EP 1 647 869 A2 offenbart ein Automatisierungssystem, welches empfangene Sensordaten auf einem Head-Mounted-Display, insbesondere einem Augmented- Reality-System, einer Person in der Anlage darstellt. Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, die Ausführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten durch einen Instandhalter in einer industriellen Anlage durch einen externen Experten besser zu unterstützen. EP 1 647 869 A2 discloses an automation system which shows received sensor data on a head-mounted display, in particular an augmented reality system, of a person in the system. Proceeding from this prior art, the invention is based on the object of better supporting the execution of maintenance work, repair work or installation work by a maintenance worker in an industrial plant by an external expert.
Die Aufgabe wird erfindungsgemäß gelöst durch ein audiovisuelles Assistenzsystem zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, umfassend: wenigstens ein mobiles Gerät für einen Instandhalter in der industriellen Anlage, mit einem ersten graphischen Ausgabegerät zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter und wenigstens einer Kamera zur Erfassung der Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters, wenigstens einen Rechner für einen externen Experten bezüglich der Durchführung von Arbeiten in der industriellen Anlage, mit einem zweiten graphischen Ausgabegerät zur Darstellung der mittels der Kamera des mobilen Geräts erfassten Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters; und einem Netzwerk, über welches das wenigstens eine mobile Gerät und der wenigstens eine Rechner Informationen, insbesondere Daten, austauschen können; welches sich dadurch auszeichnet, dass der wenigstens eine Rechner eine Vorrichtung zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten umfasst, wobei die erfasste Position und Bewegung der Hände des externen Experten an das wenigstens eine mobile Gerät des Instandhalters übertragen wird und dem Instandhalter mittels des ersten graphischen Ausgabegeräts des wenigstens einen mobilen Geräts angezeigt wird. The object is achieved according to the invention by an audiovisual assistance system for supporting maintenance work, repair work or installation work in an industrial plant, comprising: at least one mobile device for a maintenance worker in the industrial plant, with a first graphic output device for displaying information regarding activities to be carried out by the Maintenance technician and at least one camera for capturing the surroundings of the mobile device, in particular the maintenance technician's field of vision, at least one computer for an external expert with regard to carrying out work in the industrial plant, with a second graphic output device to display the surroundings of the mobile device captured by the camera of the mobile device, in particular the field of view of the maintenance technician; and a network via which the at least one mobile device and the at least one computer can exchange information, in particular data; which is characterized in that the at least one computer comprises a device for detecting and tracking the position and movement of the hands of the external expert, with the detected position and movement of the hands of the external expert being transmitted to the at least one mobile device of the maintenance engineer and the Maintenance worker is displayed by means of the first graphical output device of at least one mobile device.
Der Erfindung liegt die Erkenntnis zugrunde, dass die Ausführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, insbesondere einer Industrieanlage wie metallurgische Produktionsanlagen zur Erzeugung von Industriegütern wie metallischem Halbzeug und/oder metallischen Endprodukten, häufig viele unterschiedliche und komplexe Arbeitsschritte umfasst. Dabei müssen unter Umständen komplizierte Tätigkeiten und Arbeiten ausgeführt werden, welche sich nur umständlich beschreiben lassen. Zur Unterstützung eines Instandhalters vor Ort, welcher die Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten nicht selbstständig ausführen kann, sondern bei der Ausführung auf die Hilfe eines externen Experten angewiesen ist, wird erfindungsgemäß vorgeschlagen, dass das audiovisuelle Assistenzsystem die Position und Bewegung der Hände des externen Experten erfasst und dem Instandhalter vor Ort die erfasste Position und Bewegungen der Hände des externen Experten anzeigt. Dadurch kann der externe Experte dem Instandhalter vor Ort live die durchzuführenden Tätigkeiten vormachen. Die Hände werden dem Instandhalter virtuell und live angezeigt, so dass dieser die Bewegungen nachmachen kann. So kann der externe Experte individuell auf die Bedürfnisse des Instandhalters vor Ort eingehen und die durchzuführenden Tätigkeiten vormachen. Das erfindungsgemäße audiovisuelle System dient insbesondere zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, also allgemein von Arbeiten in der industriellen Anlage bei deren Errichtung und Betrieb. Ein Instandhalter im Sinne der Erfindung kann auch mit Installationsarbeiten bei der Errichtung der industriellen Anlage betraut werden und ist nicht auf Wartungsarbeiten bzw. Reparaturarbeiten beschränkt. The invention is based on the finding that the execution of maintenance work, repair work or installation work in an industrial plant, in particular an industrial plant such as metallurgical production plants for the production of industrial goods such as metallic semi-finished products and/or metallic end products, often includes many different and complex work steps. Under certain circumstances, complicated activities and work must be carried out, which can only be described in a cumbersome manner. To support an on-site maintenance worker who cannot carry out the maintenance work, repair work or installation work independently, but is dependent on the help of an external expert for the execution, it is proposed according to the invention that the audiovisual assistance system detects the position and movement of the hands of the external expert and shows the on-site maintenance technician the recorded position and movements of the hands of the external expert. This allows the external expert to demonstrate the activities to be carried out live to the maintenance technician on site. The hands are displayed virtually and live to the maintenance worker so that he can imitate the movements. In this way, the external expert can respond individually to the needs of the maintenance technician on site and demonstrate the activities to be carried out. The audiovisual system according to the invention is used in particular to support maintenance work, repair work or installation work in an industrial plant, that is to say generally for work in the industrial plant during its construction and operation. A maintenance worker within the meaning of the invention can also be entrusted with installation work when setting up the industrial plant and is not limited to maintenance work or repair work.
Das Erfassen der Position und Bewegungen der Hände des externen Experten hat deutliche Vorteile gegenüber einer mündlichen Beschreibung, da sich komplexe Tätigkeiten und Handgriffe häufig nur schlecht mündlich beschreiben lassen. Auch geht dies über das einfache Einblenden von Zeigern durch den externen Experten für den Instandhalter vor Ort hinaus, wie beispielsweise Einblenden eines Mauszeigers, da mittels eines Zeigers nur auf bestimmte Objekte gedeutet werden kann, aber keine komplexen Handgriffe dargestellt werden können. Recording the position and movements of the external expert's hands has clear advantages over an oral description, since complex activities and movements are often difficult to describe verbally. This also goes beyond the simple display of pointers by the external expert for the on-site maintenance technician, such as displaying a mouse pointer, since a pointer can only be used to indicate certain objects, but no complex movements can be displayed.
Die vorliegende Erfindung beschränkt sich nicht auf das Einblenden der Hände des externen Experten, vielmehr ist dies die Mindestvoraussetzung. Neben den Händen kann auch ein virtuelles Abbild des gesamten externen Experten auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts des Instandhalters eingeblendet werden, beispielsweise in Form eines sogenannten Avatars. Die Hände des Avatars werden dann entsprechend zu der erfassten Position und Bewegungen der Hände des externen Experten angezeigt und bewegt. The present invention is not limited to overlaying the hands of the external expert, rather this is the minimum requirement. In addition to the hands, a virtual image of the entire external expert can also be displayed on the first graphic output device of the maintenance technician's at least one mobile device, for example in the form of a so-called avatar. The avatar's hands are then displayed and moved according to the detected position and movements of the external expert's hands.
Der Rechner des externen Experten ist beispielsweise als stationärer Rechner ausgebildet. The external expert's computer is designed, for example, as a stationary computer.
Nach einer zweckmäßigen Variante der Erfindung wird die erfasste Position und Bewegung der Hände des externen Experten mittels des zweiten graphischen Ausgabegeräts des wenigstens einen Rechners angezeigt. Der externe Experte bekommt somit auf dem graphischen Ausgabegerät seines Rechners die erfasste Position und Bewegungen seiner Hände angezeigt. Er kann dadurch die erfasste Position und Bewegungen seiner Hände kontrollieren und gegebenenfalls anpassen, um dem Instandhalter vor Ort die durchzuführenden Tätigkeiten besser zu verdeutlichen. In einer bevorzugten Variante umfasst das erfindungsgemäße audiovisuelle Assistenzsystem weiterhin ein Anlageninformationssystem mit Informationen zu der industriellen Anlage, insbesondere mit wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen. In dem Anlageninformationssystem sind beispielsweise Zeichnungen, insbesondere Explosionszeichnungen, Modelle, insbesondere Explosionsmodelle in 2D oder 3D, Lagepläne, Wartungsinformationen, Informationen zu Maschinen, Teilen oder Komponenten der industriellen Anlage, Dokumente zur Durchführung einer Wartungsarbeit und/oder Schadensbehebung oder vergleichbare Informationen hinterlegt. Das Anlageninformationssystem ist beispielsweise über das Netzwerk erreichbar. Alternativ oder zusätzlich können Informationen aus dem Anlageninformationssystem auch auf dem mobilen Gerät des Instandhalters gespeichert sein, um die zu übertragende Datenmenge und damit verbundene Übertragungszeiten zu verringern. According to an expedient variant of the invention, the recorded position and movement of the hands of the external expert is displayed using the second graphic output device of the at least one computer. The external expert thus gets the recorded position and movements of his hands displayed on the graphic output device of his computer. This allows him to check the recorded position and movements of his hands and, if necessary, adjust them in order to better explain the activities to be carried out to the maintenance technician on site. In a preferred variant, the audiovisual assistance system according to the invention also includes a plant information system with information about the industrial plant, in particular with information relevant to maintenance, repair or installation. For example, drawings, in particular exploded drawings, models, in particular exploded models in 2D or 3D, site plans, maintenance information, information on machines, parts or components of the industrial plant, documents for carrying out maintenance work and/or damage repair or comparable information are stored in the plant information system. The plant information system can be reached via the network, for example. Alternatively or additionally, information from the plant information system can also be stored on the mobile device of the maintenance engineer in order to reduce the amount of data to be transmitted and the associated transmission times.
Gemäß einer Variante der Erfindung werden die Informationen aus dem Anlageninformationssystem dem Instandhalter und/oder externen Experten mittels des ersten graphischen Ausgabegeräts beziehungsweise des zweiten graphischen Ausgabegeräts angezeigt. Dadurch stehen dem Instandhalter vor Ort und/oder dem externen Experten eine Vielzahl von unterschiedlichen Informationen bezüglich der industriellen Anlage, einschließlich deren Maschinen, Teile und Komponenten zur Verfügung und können bei der Durchführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten genutzt werden. Weiterhin lassen sich so beispielsweise verdeckte Komponenten, Teile oder Maschinen der industriellen Anlage einblenden. According to one variant of the invention, the information from the plant information system is displayed to the maintenance technician and/or external experts using the first graphical output device or the second graphical output device. As a result, the on-site maintenance worker and/or the external expert has a large number of different pieces of information relating to the industrial plant, including its machines, parts and components, available and can be used when carrying out the maintenance work, repair work or installation work. Furthermore, for example, hidden components, parts or machines of the industrial plant can be displayed.
Nach einer zweckmäßigen Variante der Erfindung ist das erste graphische Ausgabegerät des wenigstens einen mobilen Geräts als Head-Mounted-Display, Optical-See-Through Head-Mounted-Display, Augmented-Reality Head-Mounted- Display, Virtual-Reality Head-Mounted-Display oder einer Kombination daraus ausgebildet. Dadurch können die Informationen, insbesondere die Position und Bewegungen der Hände des externen Experten, dem Instandhalter vor Ort direkt virtuell ins Blickfeld eingeblendet werden. Insbesondere eine Überlagerung mit der Realität als sogenannten Augmented-Reality hat sich dabei als besonders vorteilhaft erwiesen. In Kombination mit dem Anlageninformationssystem lassen sich so auch nützliche Informationen aus dem Anlageninformationssystem für den Instandhalter vor Ort einblenden. Ein Head-Mounted-Display hat ferner den Vorteil, dass der Instandhalter beide Hände zur Ausführung von Tätigkeiten frei hat. Das erste graphische Ausgabegerät kann auch Teil des mobilen Geräts sein, beispielsweise das Display eines Tablets oder ähnlichen mobilen Geräts. According to an expedient variant of the invention, the first graphic output device of the at least one mobile device is designed as a head-mounted display, optical see-through head-mounted display, augmented reality head-mounted display, virtual reality head-mounted Display or a combination thereof formed. As a result, the information, in particular the position and movements of the hands of the external expert, can be displayed virtually in the maintenance technician's field of vision on site. In particular, an overlay with reality as so-called augmented reality has proven to be particularly advantageous proven. In combination with the plant information system, useful information from the plant information system can also be displayed for the maintenance engineer on site. A head-mounted display also has the advantage that the maintenance technician has both hands free to carry out activities. The first graphic output device can also be part of the mobile device, for example the display of a tablet or similar mobile device.
In einer weiteren erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät, eine Vorrichtung zur Bestimmung der Position des wenigstens einen mobilen Geräts in der industriellen Anlage. Mittels der Vorrichtung lässt sich die Position des wenigstens einen mobilen Geräts und damit auch die Position des Instandhalters innerhalb der industriellen Anlage bestimmen. Die Vorrichtung ist vorzugsweise zur Positionsbestimmung in einem Außenbereich und einem Innenbereich geeignet und basiert beispielsweise auf einem GPS-System, Sensornetzwerk oder dergleichen. Durch die Positionsbestimmung lassen sich dem Instandhalter insbesondere lokal interessante Informationen einblenden, beispielsweise in Kombination mit dem Anlageninformationssystem. In a further variant according to the invention, the audiovisual assistance system, in particular the at least one mobile device, includes a device for determining the position of the at least one mobile device in the industrial plant. The device can be used to determine the position of the at least one mobile device and thus also the position of the maintenance worker within the industrial plant. The device is preferably suitable for position determination in an outdoor area and an indoor area and is based, for example, on a GPS system, sensor network or the like. By determining the position, information that is particularly interesting locally can be displayed to the maintenance technician, for example in combination with the plant information system.
Gemäß einer weiteren zweckmäßigen Variante der Erfindung umfasst das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät, eine Vorrichtung zur Bestimmung der Blickrichtung des Instandhalters, welcher ein mobiles Gerät nutzt. Durch die Bestimmung der Blickrichtung des Instandhalters können die dem Instandhalter eingeblendeten Informationen noch besser an die Situation angepasst werden. Insbesondere eine Kombination mit der Bestimmung der Position innerhalb der industriellen Anlage und/oder dem Anlageninformationssystem hat sich dabei als besonders vorteilhaft herausgestellt. Die Vorrichtung zur Bestimmung der Blickrichtung des Instandhalters umfasst beispielsweise Lagesensoren, einen Kreiselkompass, einen elektronischen Kompass, eine Bildauswertung oder dergleichen. According to a further expedient variant of the invention, the audiovisual assistance system, in particular the at least one mobile device, includes a device for determining the line of sight of the maintenance worker who is using a mobile device. By determining the line of sight of the maintenance engineer, the information displayed to the maintenance engineer can be better adapted to the situation. In particular, a combination with the determination of the position within the industrial plant and/or the plant information system has proven to be particularly advantageous. The device for determining the line of sight of the maintenance technician includes, for example, position sensors, a gyro compass, an electronic compass, an image evaluation system or the like.
Nach einer besonders vorteilhaften Variante der Erfindung umfasst das wenigstens eine mobile Gerät eine Vorrichtung zur Erfassung von Entfernungen. Mittels der Erfassung von Entfernungen lassen sich Tiefeninformationen generieren, also Abstände zu Maschinen, Teilen oder Komponenten der industriellen Anlage. Dadurch kann der externe Experte dem Instandhalter vor Ort noch genauere Anweisungen geben. Vorzugsweise umfassen in dieser Variante die erfasste Position und Bewegungen der Hände des externen Experten ebenfalls Abstände bzw. Tiefeninformationen, so dass die dem Instandhalter angezeigte Position und Bewegungen der Hände des externen Experten ebenfalls die Abstände bzw. Tiefeninformation berücksichtigt. Der externe Experte kann dem Instandhalter vor Ort somit vorzugsweise dreidimensional zeigen, welche Tätigkeiten er auszuführen hat. Die Vorrichtung zur Erfassung von Entfernungen umfasst beispielsweise Lidar- Sensoren (light detection and ranging), Ultraschall-Sensoren oder dergleichen. According to a particularly advantageous variant of the invention, the at least one mobile device includes a device for detecting distances. by means of By recording distances, depth information can be generated, i.e. distances to machines, parts or components of the industrial plant. This allows the external expert to give the on-site maintenance technician even more precise instructions. In this variant, the detected position and movements of the hands of the external expert preferably also include distances or depth information, so that the position and movements of the hands of the external expert displayed to the maintenance worker also take into account the distances or depth information. The external expert can show the maintenance technician on site, preferably in three dimensions, which activities he has to carry out. The device for detecting distances includes, for example, lidar sensors (light detection and ranging), ultrasonic sensors or the like.
Gemäß einer vorteilhaften Variante wird mittels der Vorrichtung zur Erfassung von Entfernungen die Umgebung des mobilen Geräts abgetastet, um die Entfernungen zu in der Umgebung befindlichen Maschinen, Teilen oder Komponenten der industriellen Anlage zu ermitteln. Daraus wird beispielsweise ein Gittermodel (mesh-model) erstellt, welches die Umgebung des mobilen Geräts dreidimensional repräsentiert. Die so erhaltenen Informationen bezüglich der Umgebung des mobilen Geräts können nachfolgend von dem erfindungsgemäßen audiovisuellen Assistenzsystem, insbesondere dem externen Experten, genutzt werden, um dem Instandhalter genauere Anweisungen zu geben, relevanteren Informationen anzuzeigen oder dergleichen. Auch können die so erhaltenen Informationen zu diesem Zweck mit Informationen aus anderen Komponenten oder System des erfindungsgemäßen Assistenzsystems oder der industriellen Anlage, wie beispielsweise dem Anlageninformationssystem, verknüpft werden. In einer weiteren erfindungsgemäßen Variante ist das zweite graphische Ausgabegerät des wenigstens einen Rechners zur Darstellung einer Virtual-Reality ausgebildet, insbesondere als Virtual-Reality Head-Up Display oder Virtual-Reality Cave. Innerhalb der Virtual-Reality lassen sich die von dem wenigstens einen mobilen Gerät erfassten Entfernungen für den externen Experten darstellen. Es wird also für den externen Experten ein dreidimensionaler virtueller Raum erzeugt, welcher der Umgebung des Instandhalters vor Ort in der industriellen Anlage entspricht. Zusätzlich kann dem externen Experten noch ein Live-Bild von dem mobilen Gerät des Instandhalters in der virtuellen Welt eingeblendet werden, so dass eine Art Augmented-Reality für den externen Experten mit der Situation des Instandhalters vor Ort in der industriellen Anlage erzeugt wird. Gemäß einer zweckmäßigen Variante der Erfindung ermöglicht das audiovisuelle Assistenzsystem, insbesondere der wenigstens eine Rechner, dem externen Experten eine virtuelle Markierung in der industriellen Anlage zu erzeugen, insbesondere im dreidimensionalen Raum der industriellen Anlage. Die virtuelle Markierung umfasst also eine dreidimensionale Ortsangabe, insbesondere als x-y-z Koordinaten. Die Tiefeninformation wird beispielsweise von der Vorrichtung zur Erfassung von Entfernungen des wenigstens einen mobilen Geräts bereitgestellt oder kann aus der aktuellen Position und Daten aus einem Anlagenmodell oder Anlagenplan abgeleitet werden. Die virtuelle Notiz wird dem Instandhalter und/oder dem externen Experten auf dem ersten graphischen Ausgabegerät bzw. zweitem graphischen Ausgabegerät angezeigt, wenn das Blickfeld des Instandhalters bzw. externen Experten auf den Bereich der industriellen Anlage mit der erzeugten virtuellen Notiz gerichtet ist. So kann der externe Experte beispielsweise dem Instandhalter Notizen hinterlassen, welcher diese berücksichtigt, wenn er sich an der entsprechenden Position in der industriellen Anlage befindet. Nach einer weiteren erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät, wenigstens einen Sensor zur Erfassung von Markern, insbesondere elektronischen Markern, der industriellen Anlage, insbesondere von Komponenten, Teilen und/oder Maschinen der industriellen Anlage. Dadurch lassen sich auf einfach Art und Weise die unterschiedlichen Komponenten, Teile und Maschinen der industriellen Anlage identifizieren und beispielsweise zugehörige Informationen aus demAccording to an advantageous variant, the area around the mobile device is scanned by means of the device for detecting distances in order to determine the distances to machines, parts or components of the industrial installation located in the area. For example, a grid model (mesh model) is created from this, which represents the environment of the mobile device in three dimensions. The information obtained in this way regarding the surroundings of the mobile device can subsequently be used by the audiovisual assistance system according to the invention, in particular the external expert, to give the maintenance technician more precise instructions, display more relevant information or the like. For this purpose, the information obtained in this way can also be linked to information from other components or systems of the assistance system according to the invention or the industrial plant, such as the plant information system. In a further variant according to the invention, the second graphic output device of the at least one computer is designed to display a virtual reality, in particular as a virtual reality head-up display or virtual reality cave. The distances recorded by the at least one mobile device can be displayed for the external expert within the virtual reality. A three-dimensional virtual space is thus generated for the external expert, which corresponds to the environment of the maintenance technician on site in the industrial plant. Additionally a live image from the maintenance technician's mobile device can be shown to the external expert in the virtual world, so that a kind of augmented reality is generated for the external expert with the situation of the maintenance technician on site in the industrial plant. According to an expedient variant of the invention, the audiovisual assistance system, in particular the at least one computer, enables the external expert to generate a virtual marking in the industrial installation, in particular in the three-dimensional space of the industrial installation. The virtual marking thus includes three-dimensional location information, in particular as xyz coordinates. The depth information is provided, for example, by the device for detecting distances of the at least one mobile device, or it can be derived from the current position and data from a system model or system plan. The virtual note is displayed to the maintenance engineer and/or the external expert on the first graphical output device or second graphical output device if the maintenance engineer or external expert's field of vision is directed to the area of the industrial plant with the generated virtual note. For example, the external expert can leave notes for the maintenance engineer, who takes them into account when he is at the corresponding position in the industrial plant. According to a further variant according to the invention, the audiovisual assistance system, in particular the at least one mobile device, comprises at least one sensor for detecting markers, in particular electronic markers, of the industrial plant, in particular of components, parts and/or machines of the industrial plant. This makes it easy to identify the different components, parts and machines of the industrial plant and, for example, associated information from the
Anlageninformationssystem einblenden. Die Marker und der wenigstens eine Sensor basieren beispielsweise auf einem Auto-ID-System, RFID-System, Barcode-System (2D oder 3D) oder dergleichen. Im Falle von visuellen Markern, wie Barcode- Systemen, kann auch die Kamera des mobilen Geräts als Sensor zu Erfassung von Markern der industriellen Anlage verwendet werden. In einer zweckmäßigen Variante der Erfindung umfassen das wenigstens eine mobile Gerät und der wenigstens eine Rechner jeweils Audiokommunikationsmittel für eine Audiokommunikation zwischen Instandhalter und externem Experten. Show plant information system. The markers and the at least one sensor are based, for example, on an auto ID system, RFID system, barcode system (2D or 3D) or the like. In the case of visual markers, such as barcode systems, the camera of the mobile device can also be used as a sensor to detect markers of the industrial plant. In an expedient variant of the invention, the at least one mobile device and the at least one computer each comprise audio communication means for audio communication between the maintenance worker and an external expert.
Gemäß einer weiteren Variante der Erfindung umfasst das audiovisuelle Assistenzsystem einen zentralen Datenspeicher, welcher zumindest die Daten des wenigstens einen mobilen Geräts, insbesondere aller an der Wartung der industriellen Anlage beteiligter Komponenten, zu Dokumentationszwecken speichert. Das audiovisuelle Assistenzsystem speichert somit alle relevanten Daten, welche mittels des erfindungsgemäßen Systems erfasst und ausgetauscht wurden. Eine derartige Dokumentation ist beispielsweise relevant, wenn es zu einem späteren Zeitpunkt zu einem Störfall in der industriellen Anlage kommt und man die Ursache des Störfalls ausfindig machen möchte. Ferner kann dadurch nachgewiesen werden, dass bestimmte Wartungsintervalle oder dergleichen eingehalten wurden. According to a further variant of the invention, the audiovisual assistance system includes a central data store which stores at least the data of the at least one mobile device, in particular of all components involved in the maintenance of the industrial system, for documentation purposes. The audio-visual assistance system thus stores all relevant data that was recorded and exchanged using the system according to the invention. Such documentation is relevant, for example, if an accident occurs in the industrial plant at a later point in time and you want to find the cause of the accident. It can also be used to prove that certain maintenance intervals or the like have been observed.
Nach einer vorteilhaften erfindungsgemäßen Variante umfasst die industrielle Anlage, insbesondere Maschinen und Komponenten der industriellen Anlage, Sensoren zur Erfassung von Messwerten und/oder Fehlerzuständen, wobei die von den Sensoren erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage, insbesondere den Maschinen oder Komponenten der industriellen Anlage oder von Steuereinheiten der industriellen Anlage, angezeigt werden und/oder an das audiovisuelle Assistenzsystem, insbesondere an das wenigstens eine mobile Gerät, den wenigstens einen Rechner oder an ein zentrales Leitsystem, übermittelt werden. Die Übermittlung der erfassten Messwerte erfolgt zweckmäßigerweise über das Netzwerk des audiovisuellen Assistenzsystems oder über ein anderesAccording to an advantageous variant of the invention, the industrial system, in particular machines and components of the industrial system, includes sensors for recording measured values and/or error states, the measured values and/or error states recorded by the sensors being transmitted by the industrial plant, in particular the machines or components of the industrial plant or by control units of the industrial plant, and/or are transmitted to the audiovisual assistance system, in particular to the at least one mobile device, the at least one computer or to a central control system. The recorded measured values are expediently transmitted via the network of the audiovisual assistance system or via another network
Kommunikationsnetzwerk und eine Schnittstelle zu dem erfindungsgemäßen audiovisuellen Assistenzsystem. Aus den erfassten Messwerten können vorzugsweise Fehlerzustände der industriellen Anlage, insbesondere Maschinen, Teilen oder Komponenten der industriellen Anlage, abgeleitet werden. Dies erfolgt beispielsweise durch die Steuereinheit, das zentrale Leitsystem oder das audiovisuelle Assistenzsystem. In letzterem Fall durch das wenigstens eine mobile Gerät und/oder durch den wenigstens einen Rechner. Bei einer Steuereinheit handelt es sich beispielsweise um eine oder mehrere zusammengeschaltete Speicherprogrammierbare Steuerungen (SPS bzw. SPSen). Die mehreren Speicherprogrammierbaren Steuerungen (SPSen) können hierarchisch aufgebaut sein, wobei beispielsweise eine sogenannte Kopf-SPS die Daten untergeordneter SPSen sammelt und auswertet. Aus den gesammelten Messwerten können Fehlerzustände abgeleitet werden oder die Fehlerzustände können direkt mittels der Sensoren erfasst werden. Die gesammelten Messwerte bzw. Fehlerzustände können gesammelt und zyklisch versendet werden oder direkt versendet werden, was insbesondere bei schwerwiegenden Fehlerzuständen vorteilhaft ist. DerCommunication network and an interface to the audiovisual assistance system according to the invention. Error states of the industrial installation, in particular machines, parts or components of the industrial installation, can preferably be derived from the recorded measured values. This is done, for example, by the control unit, the central control system or the audiovisual assistance system. In the latter case, by the at least one mobile device and/or by the at least one computer. A control unit is, for example, one or more interconnected ones Programmable logic controllers (PLC or PLCs). The multiple programmable logic controllers (PLCs) can be structured hierarchically, with a so-called head PLC collecting and evaluating the data from subordinate PLCs, for example. Fault conditions can be derived from the measured values collected, or the fault conditions can be detected directly using the sensors. The collected measured values or error states can be collected and sent cyclically or sent directly, which is particularly advantageous in the case of serious error states. Of the
Fehlerzustand wird beispielsweise in Form eines Fehlercodes oder einer detaillierteren Fehlermeldung versendet. Error status is sent, for example, in the form of an error code or a more detailed error message.
Beispielsweise sammelt die sogenannte Kopf-SPS die Sensordaten, insbesondere Messwerte, von mehreren untergeordneten SPSen bzw. der damit jeweils verbundenen Sensoren. Die Kopf-SPS wertet die gesammelten Sensordaten aus, beispielsweise durch eine Datenkorrelation und -analyse und generiert auf Basis der Auswertung ggf. eine Fehlermeldung, welche an das erfindungsgemäße audiovisuelle Assistenzsystem, insbesondere das mobile Gerät des Instandhalters, übermittelt wird. Ferner kann die Kopf-SPS auch als Empfänger für Informationen von dem mobilen Gerät dienen, welche nachfolgend an die anderen SPSen weitergeleitet werden, insbesondere um die Steuerung der industriellen Anlage anzupassen. In einer zweckmäßigen Variante der Erfindung wertet das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät oder das zentrale Leitsystem, insbesondere die Kopf-SPS, die angezeigten und/oder empfangenen Messwerte und/oder Fehlerzustände aus und erstellt einen Tätigkeitsplan für den Instandhalter mit dem wenigstens einen mobilen Gerät. Der erstellte Tätigkeitsplan wird dem Instandhalter mittels des ersten graphischen Ausgabegeräts angezeigt. Auf Basis des empfangenen Messwertes bzw. Fehlerzustands veranlasst das audiovisuelle Assistenzsystem eine Wartung, Reparatur und/oder Installation durch den Instandhalter vor Ort, welcher wiederum einen externen Experten im Rahmen der durchzuführenden Tätigkeiten hinzuziehen kann. Der Tätigkeitsplan geht von dem festgestellten Fehlerzustand aus und folgt einem Ereignisbaum bis zur Lösung des Fehlerzustands. Gemäß einer besonders vorteilhaften Variante der Erfindung ist der erstellte Tätigkeitsplan als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, ausgebildet und/oder der erstellte Tätigkeitsplan wird dem Instandhalter als 3D-Animation und/oder als Filmsequenz angezeigt. Die Schritt-für-Schritt-Anleitung oder das Frage-Antwort-Prinzip sind dabei insbesondere interaktiv ausgebildet, so dass der Instandhalter die einzelnen Schritte oder Fragen bestätigen bzw. beantworten muss. Beispielsweise kann so das Messen einer Spannung in einem Schaltschrank als Tätigkeitsplan beschrieben werden. For example, the so-called head PLC collects the sensor data, in particular measured values, from a number of subordinate PLCs or the sensors connected to them. The head PLC evaluates the collected sensor data, for example by means of data correlation and analysis, and based on the evaluation generates an error message, if necessary, which is transmitted to the audiovisual assistance system according to the invention, in particular the maintenance technician's mobile device. Furthermore, the head PLC can also serve as a receiver for information from the mobile device, which is then forwarded to the other PLCs, in particular to adapt the control of the industrial plant. In an expedient variant of the invention, the audiovisual assistance system, in particular the at least one mobile device or the central control system, in particular the head PLC, evaluates the displayed and/or received measured values and/or error states and creates an activity plan for the maintenance worker with the at least a mobile device. The activity plan that has been created is displayed to the maintenance worker using the first graphical output device. On the basis of the measured value or error status received, the audiovisual assistance system initiates maintenance, repair and/or installation by the on-site maintenance technician, who in turn can call in an external expert as part of the activities to be carried out. The action plan starts from the detected error condition and follows an event tree until the error condition is resolved. According to a particularly advantageous variant of the invention, the activity plan created is designed as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle, and/or the activity plan created is made available to the maintenance worker as a 3D animation and/or displayed as a movie clip. The step-by-step instructions or the question-and-answer principle are particularly designed to be interactive, so that the maintenance worker must confirm or answer the individual steps or questions. For example, measuring a voltage in a switch cabinet can be described as an activity plan.
Nach einer zweckmäßigen Variante der Erfindung werden dem Instandhalter mittels des ersten graphischen Ausgabegeräts Sicherheitshinweise angezeigt, insbesondere bezüglich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Die Sicherheitshinweise können allgemein oder anlagenspezifisch ausgebildet sein. Die Sicherheitshinweise können erfindungsgemäß vom zentralen Leitsystem stammen, im audiovisuellen Assistenzsystem hinterlegt sein, oder aus anderen Systemen der industriellen Anlage stammen. Die Sicherheitshinweise können auch Sicherheitsregeln umfassen oder auf Besonderheiten aufmerksam machen, wie eine erforderliche Wartezeit nach der Abschaltung eines Frequenzumrichters zur Entladung von vorhandenen Kondensatoren oder vergleichbaren Bauteilen. In einer vorteilhaften Variante der Erfindung umfasst das audiovisuelle Assistenzsystem ein Modul zur Bestellung von Ersatzteilen für die industrielle Anlage, insbesondere für Maschinen, Komponenten oder dergleichen. Zweckmäßigerweise können der Instandhalter und/oder der externe Experte auf das Modul zur Ersatzteilbestellung zugreifen und so eine direkte Bestellung von Ersatzteilen auslösen. Bei der Auslösung der Bestellung können ferner Informationen aus dem Anlageninformationssystem, von der Vorrichtung zur Bestimmung der Position des wenigstens einen mobilen Geräts und/oder der Vorrichtung zur Bestimmung der Blickrichtung des Instandhalters berücksichtigt werden. Durch diese zusätzlichen Informationen lassen sich die zu bestellenden Ersatzteile einfacher identifizieren und gegebenenfalls halbautomatisch bestellen. Bei einer halbautomatischen Bestellung schlägt das Modul zur Bestellung von Ersatzteilen automatisch das zu bestellende Ersatzteil vor und der Instandhalter und/oder der externe Experte bestätigen den Vorschlag oder lehnen diesen ab bzw. passen diesen an. Die Ersatzteilidentifikation kann alternativ auch mittels QR-Codes, Bauteil-IDs oder einem e-Doc-System erfolgen. Gemäß einer besonders vorteilhaften Variante kann eine unmittelbare Ersatzteillieferung veranlasst werden. Dabei wird das bestellte Ersatzteil unmittelbar von einem Boten oder Lieferanten zu dem Instandhalter vor Ort geliefert, beispielsweise aus einem Materiallager innerhalb oder in der Nähe der industriellen Anlage. Dies ist insbesondere bei zeitkritischen Wartungsarbeiten bzw. Reparaturarbeiten in Störfällen vorteilhaft, da dadurch die Stillstandzeit der Anlage reduziert werden kann. Dazu wird beispielsweise bei der Ersatzteilbestellung gleichzeitig die Position des wenigstens einen mobilen Geräts, also des Instandhalters, mit übermittelt. According to an expedient variant of the invention, safety instructions are displayed to the maintenance worker by means of the first graphic output device, in particular with regard to the execution of the maintenance work, repair work or installation work. The safety instructions can be general or system-specific. According to the invention, the safety instructions can come from the central control system, be stored in the audiovisual assistance system, or come from other systems of the industrial plant. The safety instructions can also include safety rules or draw attention to special features, such as a required waiting time after switching off a frequency converter for the discharge of existing capacitors or comparable components. In an advantageous variant of the invention, the audiovisual assistance system includes a module for ordering spare parts for the industrial system, in particular for machines, components or the like. The maintenance technician and/or the external expert can expediently access the module for ordering spare parts and thus initiate a direct order for spare parts. When the order is triggered, information from the facility information system, from the device for determining the position of the at least one mobile device and/or the device for determining the line of sight of the maintenance worker can also be taken into account. This additional information makes it easier to identify the spare parts to be ordered and, if necessary, to order them semi-automatically. In the case of a semi-automatic order, the module for ordering spare parts automatically suggests the one to be ordered spare part before and the maintenance technician and/or the external expert confirms the suggestion or rejects it or adapts it. Alternatively, spare parts can also be identified using QR codes, component IDs or an e-Doc system. According to a particularly advantageous variant, an immediate delivery of spare parts can be arranged. In this case, the spare part ordered is delivered directly by a courier or supplier to the maintenance worker on site, for example from a materials warehouse within or in the vicinity of the industrial plant. This is particularly advantageous in the case of time-critical maintenance work or repair work in the event of malfunctions, since this can reduce the downtime of the system. For this purpose, for example, when ordering spare parts, the position of the at least one mobile device, ie the maintenance technician, is also transmitted at the same time.
Nach einer zweckmäßigen Variante ist der wenigstens eine Rechner dazu ausgebildet auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts Markierungen, Texte, Bilder, Grafiken oder dergleichen einzublenden, so dass der externe Experte dem Instandhalter in der industriellen Anlage unterschiedlichste Informationen zur Verfügung stellen kann. According to an expedient variant, the at least one computer is designed to display markings, texts, images, graphics or the like on the first graphic output device of the at least one mobile device, so that the external expert can provide the maintenance technician in the industrial plant with a wide variety of information.
In einer bevorzugten Variante umfasst das erfindungsgemäße audiovisuelle Assistenzsystem einen virtuellen Werkzeugkasten zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts durch den externen Experten. Der virtuelle Werkzeugkasten stellt dabei die für die auszuführenden Wartungstätigkeiten notwendigen Werkzeuge bereit, so dass der externe Experte diese dem Instandhalter auf dem ersten graphischen Ausgabegerät einblenden und deren Einsatz zeigen kann. Dadurch kann der externe Experte dem Instandhalter vor Ort das zu verwendete Werkzeug zeigen, so dass der Instandhalter dieses aus seinem realen Werkzeugkasten auswählen kann. Ferner können so beispielsweise Tätigkeiten besser dargestellt werden, welche den Einsatz eines Werkzeugs erfordern. Beispiele für derartige Tätigkeiten sind das Messen einer Spannung oder das Entfernen einer verschraubten Abdeckung. Gemäß einer erfindungsgemäßen Variante umfasst die Vorrichtung zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten Sensoren zum Tragen an den Händen des externen Experten, Videosensoren, Infrarot- Sensoren oder vergleichbare Mittel. Die tragbaren Sensoren sind beispielsweise aus Virtual-Reality-Systemen mit einem Head-Mounted-Display bekannt, wo der Nutzer in beiden Händen jeweils einen Controller hält, welche neben den notwendigen Sensoren zur Positions- und Bewegungsverfolgung auch Eingabemittel bzw. Steuermittel umfassen. Grundsätzlich können aber jegliche Arten von Sensoren genutzt werden, welche zur Verfolgung der Position und Bewegung der Hände des externen Experten geeignet sind. In a preferred variant, the audiovisual assistance system according to the invention comprises a virtual tool box for displaying virtual tools on the first graphical output device of the at least one mobile device by the external expert. The virtual toolbox provides the tools required for the maintenance work to be carried out, so that the external expert can show them to the maintenance technician on the first graphical output device and show them how to use them. This allows the external expert to show the maintenance engineer the tool to be used on site, so that the maintenance engineer can select it from his real tool box. Furthermore, for example, activities that require the use of a tool can be better displayed. Examples of such activities are measuring a voltage or removing a screwed cover. According to a variant of the invention, the device for detecting and tracking the position and movement of the external expert's hands comprises sensors to be worn on the external expert's hands, video sensors, infrared sensors or similar means. The wearable sensors are known, for example, from virtual reality systems with a head-mounted display, where the user holds a controller in both hands, which also include input means or control means in addition to the necessary sensors for position and movement tracking. In principle, however, any type of sensor that is suitable for tracking the position and movement of the hands of the external expert can be used.
Zweckmäßigerweise ist das Netzwerk des erfindungsgemäßen audiovisuellen Systems als drahtgebundenes und/oder drahtloses Netzwerk ausgebildet, insbesondere als Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. Auch kann das Netzwerk lokal beschränkt oder überregional ausgebildet sein, wie beispielsweise als internes lokales Firmennetzwerk oder als privates oder öffentliches überregionales Netzwerk. Auch können die einzelnen Übertragungstechniken und regionalen Ausdehnungen miteinander kombiniert werden. Nach einer zweckmäßigen Variante der Erfindung umfasst das wenigstens eine mobile Gerät Eingabemittel, um die auf dem ersten graphischen Ausgabegerät dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. Der Instandhalter kann also die Anzeige auf dem ersten graphischen Ausgabegerät an seine Bedürfnisse und Vorlieben anpassen und ferner Informationen eingeben, welche nachfolgend auf dem ersten graphischen Ausgabegerät dargestellt werden. The network of the audiovisual system according to the invention is expediently designed as a wired and/or wireless network, in particular as a local area network, wireless local area network, mobile network network such as according to the UMTS, LTE or 5G standard, or combinations thereof. The network can also be local or supra-regional, such as an internal local company network or a private or public supra-regional network. The individual transmission technologies and regional extensions can also be combined with one another. According to an expedient variant of the invention, the at least one mobile device includes input means in order to adapt the information displayed on the first graphical output device and/or to enter information for display. The maintenance worker can therefore adapt the display on the first graphic output device to his needs and preferences and also enter information which is subsequently displayed on the first graphic output device.
In einer weiteren zweckmäßigen Variante der Erfindung umfasst der wenigstens eine Rechner Eingabemittel, um die auf dem ersten graphischen Ausgabegerät und/oder dem zweiten graphischen Ausgabegerät dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. Der externe Experte kann also Eingaben sowohl für das erste graphische Ausgabegerät des wenigstens einen mobilen Geräts als auch für das zweite graphische Ausgabegerät des wenigstens einen Rechners machen. Somit kann der externe Experte dem Instandhalter beispielsweise Informationen und/oder Notizen einblenden. In a further expedient variant of the invention, the at least one computer comprises input means in order to adapt the information displayed on the first graphic output device and/or the second graphic output device and/or to input information for display. The external expert can therefore input both for the first graphical output device of at least one mobile device and for the second graphical output device of the at least one computer. The external expert can thus display information and/or notes to the maintenance engineer, for example.
Gemäß einer besonders vorteilhaften Variante umfasst das erfindungsgemäße audiovisuelle Assistenzsystem ein Übersetzungssystem oder eine Schnittstelle zu einem Übersetzungssystem, zur Übersetzung von Informationen für den Instandhalter und/oder externen Experten, insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen. Dadurch können selbst Instandhalter und externe Experten miteinander kommunizieren, die keine gemeinsame Sprache sprechen. Der externe Experte kann sich somit an einem Ort der Welt befinden, beispielsweise dem Sitz des Herstellers der industriellen Anlage, während sich der Instandhalter am Standort der industriellen Anlage befindet, welche beispielsweise in einem anderen Land oder sogar einem anderen Kontinent liegt, und dank des Übersetzungssystems müssen externer Experte und Instandhalter keine gemeinsame Sprache sprechen. Das Übersetzungssystem kann aber auch dazu genutzt werden, um codierte Informationen in einen Klartext zu übersetzen, wie beispielsweise einen Fehlercode in eine ausführliche Fehlerbeschreibung. According to a particularly advantageous variant, the audiovisual assistance system according to the invention comprises a translation system or an interface to a translation system for translating information for the maintenance worker and/or external experts, in particular for translating audio information, texts and/or coded information. This means that even maintenance workers and external experts who do not speak a common language can communicate with each other. The external expert can thus be located anywhere in the world, for example at the headquarters of the manufacturer of the industrial plant, while the maintainer is located at the site of the industrial plant, which is for example in another country or even another continent, and thanks to the translation system external experts and maintenance staff do not have to speak a common language. However, the translation system can also be used to translate coded information into plain text, such as an error code into a detailed error description.
Nach einer weiteren bevorzugten Variante der Erfindung ist das wenigstens eine mobile Gerät als Personal-Computer ausgebildet, insbesondere als Rucksack-PC. Der Instandhalter kann das wenigstens eine mobile Gerät also über eine ihm bekannte Bedienoberfläche (Desktop) bedienen und muss sich nicht an eine proprietäre Bedienoberfläche gewöhnen. Bei der Bedienoberfläche handelt es sich insbesondere um die von Betriebssystemen wie Windows oder MacOS bekannten Bedienoberflächen. Auch kann das wenigstens eine mobile Gerät so vorhandene Softwarelizenzen ohne zusätzliche oder nur mit geringeren Mehrkosten mit verwenden. Insbesondere kann das als Personal-Computer ausgebildete mobile Gerät als stationärer Rechner und mobiler Rechner verwendet werden, so dass der Instandhalter jederzeit auf seine Daten zugreifen kann und ihm die bekannte Bedienoberfläche (Desktop) angezeigt wird. Bei einem Rucksack-PC im Sinne der Erfindung handelt es sich um einen tragbaren PC, unabhängig von der Gehäuse- und/oder Bauform wie beispielsweise Mini-/ Microgehäuse, Laptop, Einplatinencomputer, oder dergleichen. Das wesentliche Merkmal bezüglich der vorliegenden Erfindung ist die Mobilität des PC, also dessen Tragbarkeit für den Instandhalter. According to a further preferred variant of the invention, the at least one mobile device is designed as a personal computer, in particular as a backpack PC. The maintenance technician can operate the at least one mobile device using a user interface (desktop) that he is familiar with and does not have to get used to a proprietary user interface. The user interface is in particular the user interfaces known from operating systems such as Windows or MacOS. The at least one mobile device can also use existing software licenses without additional costs or only with lower additional costs. In particular, the mobile device designed as a personal computer can be used as a stationary computer and mobile computer, so that the maintenance technician can access his data at any time and the known user interface (desktop) is displayed to him. A backpack PC within the meaning of the invention is a portable PC, regardless of the housing and/or design such as mini/micro housing, laptop, single-board computer, or the like. The essential feature with regard to the present invention is the mobility of the PC, ie its portability for the maintenance worker.
In einer weiteren erfindungsgemäßen Variante umfasst das wenigstens eine mobile Gerät weiterhin ein Dokumentationsmodul, zur Dokumentation der durch den Instandhalter durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Das Dokumentationsmodul kann beispielsweise automatisch die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten erfassen und speichern, wodurch sich der diesbezügliche Aufwand für den Instandhalter deutlich reduziert. Das Dokumentationsmodul kann auch eine Audioschnittstelle zur Spracheingabe umfassen. Der Instandhalter kann somit die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten mittels einer einfachen Spracheingabe dokumentieren, insbesondere gleichzeitig mit der Ausführung. Ferner ermöglicht die Spracheingabe die Eingabe von Notizen für eine spätere Nachbearbeitung durch einen Dritten. Das Dokumentationsmodul kann ferner Bildaufnahmen und Videos zu den durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten speichern, insbesondere inklusive der Unterstützung durch den externen Experten. So könnten beispielsweise auch die dem Instandhalter angezeigten virtuelle Hände des externen Experten, usw. gespeichert werden. In a further variant according to the invention, the at least one mobile device also includes a documentation module for documenting the maintenance work, repair work or installation work carried out by the maintenance engineer. The documentation module can, for example, automatically record and store the maintenance work, repair work or installation work that has been carried out, which significantly reduces the effort involved for the maintenance worker in this regard. The documentation module can also include an audio interface for voice input. The maintenance worker can thus document the maintenance work, repair work or installation work that has been carried out by means of a simple voice input, in particular at the same time as the execution. Furthermore, voice input allows notes to be entered for later post-processing by a third party. The documentation module can also store images and videos of the maintenance work, repair work or installation work that has been carried out, in particular including the support provided by the external expert. For example, the virtual hands of the external expert, etc., displayed to the maintenance technician, could also be stored.
Gemäß einer vorteilhaften erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem weiterhin ein Virtual-Reality-Modul, umfassend ein virtuelles dreidimensionales Modell der industriellen Anlage, wobei das wenigstens eine mobile Gerät und/oder der wenigstens eine Rechner auf das Virtual-Reality-Modul zugreifen können. Der Instandhalter und/oder der externe Experte können sich virtuell und unabhängig voneinander durch die industrielle Anlage bewegen und beispielsweise Notizen, Anweisungen, Sicherheitshinweise erzeugen bzw. für den jeweils anderen hinterlassen, welche nachfolgend angezeigt werden. Bei der Durchführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann es Vorkommen, dass der Instandhalter an verschiedenen Orten in der industriellen Anlage Arbeiten durchführen muss. Der externe Experte könnte an diesen unterschiedlichen Orten Notizen, Anweisungen, Sicherheitshinweise hinterlassen und wenn der Instandhalter an dem Ort in der tatsächlichen industriellen Anlage ankommt, werden die Notizen, Anweisungen, Sicherheitshinweise angezeigt. According to an advantageous variant of the invention, the audiovisual assistance system also includes a virtual reality module, comprising a virtual three-dimensional model of the industrial plant, wherein the at least one mobile device and/or the at least one computer can access the virtual reality module. The maintenance technician and/or the external expert can move through the industrial plant virtually and independently of one another and, for example, create notes, instructions, safety instructions or leave them for the other, which are then displayed. When carrying out maintenance work, repair work or installation work, it can happen that the maintenance worker has to carry out work at different locations in the industrial plant. The external expert could be in these different places Leave notes, instructions, safety notices, and when the maintenance worker arrives at the site in the actual industrial plant, the notes, instructions, safety notices are displayed.
Das Virtual-Reality-Modul basiert insbesondere auf einem digitalen Zwilling der industriellen Anlage und/oder auf digitalen Zwillingen von Maschinen, Teilen oder Komponenten der industriellen Anlage. Ein digitaler Zwilling beschreibt ein virtuelles Abbild des realen Systems bzw. Bauteils und enthält vorzugsweise alle relevanten Details, Informationen, Parameter und dergleichen. Zweckmäßigerweise kann auf das reale System bzw. Bauteil über seinen zugehörigen digitalen Zwilling zugegriffen werden. The virtual reality module is based in particular on a digital twin of the industrial installation and/or on digital twins of machines, parts or components of the industrial installation. A digital twin describes a virtual image of the real system or component and preferably contains all relevant details, information, parameters and the like. The real system or component can expediently be accessed via its associated digital twin.
Die Aufgabe wird weiterhin gelöst durch ein Verfahren zur audiovisuellen Unterstützung eines Instandhalters durch einen externen Experten bei Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, umfassend die Schritte: Herstellen einer Kommunikationsverbindung zwischen einem mobilen Gerät des Instandhalters und einem Rechner des externen Experten, The object is also achieved by a method for the audiovisual support of a maintenance worker by an external expert during maintenance work, repair work or installation work in an industrial plant, comprising the steps: establishing a communication connection between a mobile device of the maintenance worker and a computer of the external expert,
Erfassen der Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters, mittels einer Kamera, Capturing the surroundings of the mobile device, in particular the maintenance technician's field of vision, using a camera,
Darstellen der mittels der Kamera des mobilen Geräts erfassten Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters, auf einem zweiten graphischen Ausgabegerät des Rechners, Representation of the surroundings of the mobile device captured by the camera of the mobile device, in particular the field of view of the maintenance technician, on a second graphical output device of the computer,
Erfassen und Verfolgen der Position und Bewegung der Hände des externen Experten durch eine Vorrichtung, und detecting and tracking the position and movement of the external expert's hands by a device, and
Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten auf einem ersten Ausgabegerät des mobilen Geräts. displaying the sensed and tracked position and movement of the external expert's hands on a first output device of the mobile device.
Dem erfindungsgemäßen Verfahren liegt ebenfalls die Erkenntnis zugrunde, dass die Ausführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, insbesondere einer Industrieanlage wie metallurgische Produktionsanlagen zur Erzeugung von Industriegütern wie metallischem Halbzeug und/oder metallischen Endprodukten, häufig viele unterschiedliche und komplexe Arbeitsschritte umfasst. Dabei müssen unter Umständen komplizierte Tätigkeiten und Arbeiten ausgeführt werden, welche sich nur umständlich beschreiben lassen. Zur Unterstützung eines Instandhalters vor Ort, welcher die Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten nicht selbstständig ausführen kann, sondern bei der Ausführung auf die Hilfe eines externen Experten angewiesen ist, wird erfindungsgemäß vorgeschlagen, dass mittels des erfindungsgemäßen Verfahrens die Position und Bewegung der Hände des externen Experten erfasst und dem Instandhalter vor Ort die erfasste Position und Bewegungen der Hände des externen Experten anzeigt wird. Dadurch kann der externe Experte dem Instandhalter vor Ort live die durchzuführenden Tätigkeiten vormachen. Die Hände werden dem Instandhalter virtuell und live angezeigt, so dass dieser die Bewegungen nachmachen kann. So kann der externe Experte individuell auf die Bedürfnisse des Instandhalters vor Ort eingehen und die durchzuführenden Tätigkeiten vormachen. The method according to the invention is also based on the knowledge that the execution of maintenance work, repair work or installation work in an industrial plant, in particular an industrial plant such as metallurgical Production plants for the production of industrial goods such as metallic semi-finished products and/or metallic end products, often involving many different and complex work steps. Under certain circumstances, complicated activities and work must be carried out, which can only be described in a cumbersome manner. To support a maintenance technician on site, who cannot carry out the maintenance work, repair work or installation work independently, but is dependent on the help of an external expert for the execution, it is proposed according to the invention that the position and movement of the hands of the external expert can be adjusted using the method according to the invention recorded and the on-site maintenance technician is shown the recorded position and movements of the hands of the external expert. This allows the external expert to demonstrate the activities to be carried out live to the maintenance technician on site. The hands are displayed virtually and live to the maintenance worker so that he can imitate the movements. In this way, the external expert can respond individually to the needs of the maintenance technician on site and demonstrate the activities to be carried out.
Das erfindungsgemäße Verfahren dient insbesondere zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, also allgemein von Arbeiten in der industriellen Anlage bei deren Errichtung und Betrieb. Ein Instandhalter im Sinne der Erfindung kann auch mit Installationsarbeiten bei der Errichtung der industriellen Anlage betraut werden und ist nicht auf Wartungsarbeiten bzw. Reparaturarbeiten beschränkt. The method according to the invention serves in particular to support maintenance work, repair work or installation work in an industrial plant, that is to say generally for work in the industrial plant during its construction and operation. A maintenance worker within the meaning of the invention can also be entrusted with installation work when setting up the industrial plant and is not limited to maintenance work or repair work.
Das Erfassen der Position und Bewegungen der Hände des externen Experten hat deutliche Vorteile gegenüber einer mündlichen Beschreibung, da sich komplexe Tätigkeiten und Handgriffe häufig nur schlecht mündlich beschreiben lassen. Auch geht dies über das einfache Einblenden von Zeigern durch den externen Experten für den Instandhalter vor Ort hinaus, wie beispielsweise Einblenden eines Mauszeigers, da mittels eines Zeigers nur auf bestimmte Objekte gedeutet werden kann, aber keine komplexen Handgriffe dargestellt werden können. Recording the position and movements of the external expert's hands has clear advantages over an oral description, since complex activities and movements are often difficult to describe verbally. This also goes beyond the simple display of pointers by the external expert for the on-site maintenance technician, such as displaying a mouse pointer, since a pointer can only be used to indicate certain objects, but no complex movements can be displayed.
Die vorliegende Erfindung beschränkt sich nicht auf das Einblenden der Hände des externen Experten, vielmehr ist dies die Mindestvoraussetzung. Neben den Händen kann auch ein virtuelles Abbild des gesamten externen Experten auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts des Instandhalters eingeblendet werden, beispielsweise in Form eines sogenannten Avatars. Die Hände des Avatars werden dann entsprechend zu der erfassten Position und Bewegungen der Hände des externen Experten angezeigt und bewegt. Der externe Experte befindet sich bei der Ausführung des erfindungsgemäßen Verfahrens vorzugsweise an einem stationären Ort, während sich der Instandhalter in der industriellen Anlage frei bewegen kann, also mobil ist. The present invention is not limited to overlaying the hands of the external expert, rather this is the minimum requirement. In addition to the hands can also be a virtual image of the entire external expert on the first graphic output device of the at least one mobile device of the maintenance technician are displayed, for example in the form of a so-called avatar. The avatar's hands are then displayed and moved according to the detected position and movements of the external expert's hands. When executing the method according to the invention, the external expert is preferably at a stationary location, while the maintenance technician can move freely in the industrial plant, ie is mobile.
Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren weiterhin das Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten auf dem zweiten Ausgabegerät des Rechners. Der externe Experte bekommt somit auf dem graphischen Ausgabegerät seines Rechners die erfasste Position und Bewegungen seiner Hände angezeigt. Er kann dadurch die erfasste Position und Bewegungen seiner Hände kontrollieren und gegebenenfalls anpassen, um dem Instandhalter vor Ort die durchzuführenden Tätigkeiten besser zu verdeutlichen. According to an expedient variant of the invention, the method further comprises displaying the detected and tracked position and movement of the hands of the external expert on the second output device of the computer. The external expert thus gets the recorded position and movements of his hands displayed on the graphic output device of his computer. This allows him to check the recorded position and movements of his hands and, if necessary, adjust them in order to better explain the activities to be carried out to the maintenance technician on site.
In einer bevorzugten Variante umfasst das erfindungsgemäße Verfahren das Bereitstellen von Informationen zu der industriellen Anlage, insbesondere von wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen. Die Informationen werden beispielsweise durch ein Anlageninformationssystem bereitgestellt und umfassen Zeichnungen, insbesondere Explosionszeichnungen, Modelle, insbesondere Explosionsmodelle in 2D oder 3D, Lagepläne, Wartungsinformationen, Informationen zu Maschinen, Teilen oder Komponenten der industriellen Anlage, Dokumente zur Durchführung einer Wartungsarbeit und/oder Schadensbehebung oder vergleichbare Informationen. Das Anlageninformationssystem ist beispielsweise über ein Netzwerk erreichbar. Alternativ oder zusätzlich können Informationen aus dem Anlageninformationssystem auch auf dem mobilen Gerät des Instandhalters gespeichert sein, um die zu übertragende Datenmenge und damit verbundene Übertragungszeiten zu verringern. In a preferred variant, the method according to the invention includes the provision of information about the industrial installation, in particular information relevant to maintenance, repair or installation. The information is provided, for example, by a plant information system and includes drawings, in particular exploded drawings, models, in particular exploded models in 2D or 3D, site plans, maintenance information, information on machines, parts or components of the industrial plant, documents for carrying out maintenance work and/or damage repair or similar Information. The plant information system can be reached via a network, for example. Alternatively or additionally, information from the plant information system can also be stored on the mobile device of the maintenance engineer in order to reduce the amount of data to be transmitted and the associated transmission times.
Gemäß einer Variante der Erfindung umfasst das Verfahren das Anzeigen der Informationen zu der industriellen Anlage auf dem ersten Ausgabegerät des mobilen Geräts und/oder dem zweiten Ausgabegerät des Rechners. Dadurch stehen dem Instandhalter vor Ort und/oder dem externen Experten eine Vielzahl von unterschiedlichen Informationen bezüglich der industriellen Anlage, einschließlich deren Maschinen, Teile und Komponenten zur Verfügung und können bei der Durchführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten genutzt werden. Weiterhin lassen sich so beispielsweise verdeckte Komponenten, Teile oder Maschinen der industriellen Anlage einblenden. According to one variant of the invention, the method includes displaying the information about the industrial installation on the first output device of the mobile device and/or the second output device of the computer. As a result, the on-site maintenance worker and/or the external expert has a large number of different pieces of information relating to the industrial plant, including its machines, parts and components, available and can be used when carrying out the maintenance work, repair work or installation work. Furthermore, for example, hidden components, parts or machines of the industrial plant can be displayed.
Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Erzeugen einer Virtual-Reality und/oder Augmented-Reality für den Instandhalter durch das mobile Gerät, insbesondere durch das erste graphische Ausgabegerät des mobilen Geräts, welches als Head-Mounted-Display, Optical-See-Through Head- Mounted-Display, Augmented-Reality Head-Mounted-Display, Virtual-Reality Head- Mounted-Display oder einer Kombination daraus ausgebildet ist. Dadurch können die Informationen, insbesondere die Position und Bewegungen der Hände des externen Experten, dem Instandhalter vor Ort direkt virtuell ins Blickfeld eingeblendet werden. Insbesondere eine Überlagerung mit der Realität als sogenannten Augmented-Reality hat sich dabei als besonders vorteilhaft erwiesen. In Kombination mit dem Anlageninformationssystem lassen sich so auch nützliche Informationen aus dem Anlageninformationssystem für den Instandhalter vor Ort einblenden. Ein Head- Mounted-Display hat ferner den Vorteil, dass der Instandhalter beide Hände zur Ausführung von Tätigkeiten frei hat. According to an expedient variant of the invention, the method includes the generation of a virtual reality and/or augmented reality for the maintenance worker by the mobile device, in particular by the first graphic output device of the mobile device, which is a head-mounted display, optical see -Through head-mounted display, augmented reality head-mounted display, virtual reality head-mounted display or a combination thereof. As a result, the information, in particular the position and movements of the hands of the external expert, can be displayed virtually in the maintenance technician's field of vision on site. In particular, an overlay with reality as so-called augmented reality has proven to be particularly advantageous. In combination with the plant information system, useful information from the plant information system can also be displayed for the maintenance engineer on site. A head-mounted display also has the advantage that the maintenance technician has both hands free to carry out activities.
Die Informationen für den Instandhalter können auch auf einem graphischen Ausgabegerät des mobilen Geräts wiedergegeben werden, beispielsweise auf dem Display eines Tablets oder ähnlichen mobilen Geräts. In einer weiteren erfindungsgemäßen Variante umfasst das Verfahren das Bestimmen der Position des mobilen Geräts in der industriellen Anlage. Die ermittelte Position des wenigstens einen mobilen Geräts entspricht dabei auch der Position des Instandhalters innerhalb der industriellen Anlage. Die Positionsbestimmung kann in einem Außenbereich und einem Innenbereich der industriellen Anlage erfolgen und basiert beispielsweise auf einem GPS-System, Sensornetzwerk oder dergleichen. Durch die Positionsbestimmung lassen sich dem Instandhalter insbesondere lokal interessante Informationen einblenden, beispielsweise in Kombination mit dem Anlageninformationssystem. The information for the maintenance engineer can also be reproduced on a graphical output device of the mobile device, for example on the display of a tablet or similar mobile device. In a further variant according to the invention, the method includes determining the position of the mobile device in the industrial installation. The determined position of the at least one mobile device also corresponds to the position of the maintenance worker within the industrial installation. The position can be determined in an outdoor area and an indoor area of the industrial installation and is based, for example, on a GPS system, sensor network or the like. By determining the position, the maintenance technician can, in particular, locally Show interesting information, for example in combination with the plant information system.
Gemäß einer weiteren zweckmäßigen Variante der Erfindung umfasst das Verfahren das Bestimmen der Blickrichtung des Instandhalters. Durch die Bestimmung der Blickrichtung des Instandhalters können die dem Instandhalter eingeblendeten Informationen noch besser an die Situation angepasst werden. Insbesondere eine Kombination mit der Bestimmung der Position innerhalb der industriellen Anlage und/oder dem Anlageninformationssystem hat sich dabei als besonders vorteilhaft herausgestellt. Die zur Bestimmung der Blickrichtung des Instandhalters eingesetzte Vorrichtung umfasst beispielsweise Lagesensoren, einen Kreiselkompass, einen elektronischen Kompass, eine Bildauswertung oder dergleichen. According to a further expedient variant of the invention, the method includes determining the line of sight of the maintenance worker. By determining the line of sight of the maintenance engineer, the information displayed to the maintenance engineer can be better adapted to the situation. In particular, a combination with the determination of the position within the industrial plant and/or the plant information system has proven to be particularly advantageous. The device used to determine the line of sight of the maintenance worker includes, for example, position sensors, a gyro compass, an electronic compass, an image evaluation system or the like.
Nach einer besonders vorteilhaften Variante der Erfindung umfasst das Verfahren das Erfassen von Entfernungen durch das mobile Gerät. Mittels der Erfassung von Entfernungen lassen sich Tiefeninformationen generieren, also Abstände zu Maschinen, Teilen oder Komponenten der industriellen Anlage. Dadurch kann der externe Experte dem Instandhalter vor Ort noch genauere Anweisungen geben. Vorzugsweise umfassen in dieser Variante die erfasste Position und Bewegungen der Hände des externen Experten ebenfalls Abstände bzw. Tiefeninformationen, so dass die dem Instandhalter angezeigte Position und Bewegungen der Hände des externen Experten ebenfalls die Abstände bzw. Tiefeninformation berücksichtigt. Der externe Experte kann dem Instandhalter vor Ort somit vorzugsweise dreidimensional zeigen, welche Tätigkeiten er auszuführen hat. Die Vorrichtung zur Erfassung von Entfernungen umfasst beispielsweise Lidar-Sensoren (light detection and ranging), Ultraschall-Sensoren oder dergleichen. Gemäß einer vorteilhaften Variante wird die Umgebung des mobilen Geräts abgetastet, um die Entfernungen zu in der Umgebung befindlichen Maschinen, Teilen oder Komponenten der industriellen Anlage zu ermitteln. Daraus wird beispielsweise ein Gittermodel (mesh-model) erstellt, welches die Umgebung des mobilen Geräts dreidimensional repräsentiert. Die so erhaltenen Informationen bezüglich der Umgebung des mobilen Geräts können nachfolgend, insbesondere dem externen Experten, genutzt werden, um dem Instandhalter genauere Anweisungen zu geben, relevanteren Informationen anzuzeigen oder dergleichen. Auch können die so erhaltenen Informationen zu diesem Zweck mit Informationen aus anderen Komponenten oder System des erfindungsgemäßen Assistenzsystems oder der industriellen Anlage, wie beispielsweise dem Anlageninformationssystem, verknüpft werden. According to a particularly advantageous variant of the invention, the method includes detecting distances using the mobile device. By recording distances, depth information can be generated, i.e. distances to machines, parts or components of the industrial plant. This allows the external expert to give the on-site maintenance technician even more precise instructions. In this variant, the detected position and movements of the hands of the external expert preferably also include distances or depth information, so that the position and movements of the hands of the external expert displayed to the maintenance worker also take into account the distances or depth information. The external expert can show the maintenance technician on site, preferably in three dimensions, which activities he has to carry out. The device for detecting distances includes, for example, lidar sensors (light detection and ranging), ultrasonic sensors or the like. According to an advantageous variant, the environment of the mobile device is scanned in order to determine the distances to machines, parts or components of the industrial installation located in the environment. For example, a grid model (mesh model) is created from this, which represents the environment of the mobile device in three dimensions. The information obtained in this way regarding the environment of the mobile device can subsequently be used, in particular by the external expert, to give the maintenance technician more precise instructions, display more relevant information or the like. For this purpose, the information obtained in this way can also be linked to information from other components or systems of the assistance system according to the invention or the industrial plant, such as the plant information system.
In einer weiteren Variante umfasst das erfindungsgemäße Verfahren das Erzeugen einer Virtual-Reality für den externen Experten durch den Rechner, insbesondere durch das zweite grafische Ausgabegerät des Rechners, welches als Virtual-Reality Head-Up Display oder Virtual-Reality Cave ausgebildet ist. Innerhalb der Virtual- Reality lassen sich die von dem wenigstens einen mobilen Gerät des Instandhalters erfassten Entfernungen für den externen Experten darstellen. Es wird also für den externen Experten ein dreidimensionaler virtueller Raum erzeugt, welcher der Umgebung des Instandhalters vor Ort in der industriellen Anlage entspricht. Zusätzlich kann dem externen Experten noch ein Live-Bild von dem mobilen Gerät des Instandhalters in der virtuellen Welt eingeblendet werden, so dass eine Art Augmented-Reality für den externen Experten mit der Situation des Instandhalters vor Ort in der industriellen Anlage erzeugt wird. In a further variant, the method according to the invention includes the generation of a virtual reality for the external expert by the computer, in particular by the second graphic output device of the computer, which is designed as a virtual reality head-up display or virtual reality cave. Within the virtual reality, the distances recorded by the maintenance technician's at least one mobile device can be displayed for the external expert. A three-dimensional virtual space is thus generated for the external expert, which corresponds to the environment of the maintenance technician on site in the industrial plant. In addition, the external expert can be shown a live image from the maintenance technician's mobile device in the virtual world, so that a kind of augmented reality is generated for the external expert with the situation of the maintenance technician on site in the industrial plant.
Gemäß einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Erzeugen einer virtuellen Markierung in der industriellen Anlage durch den externen Experten, insbesondere im dreidimensionalen Raum der industriellen Anlage. Die virtuelle Markierung umfasst also eine dreidimensionale Ortsangabe, insbesondere als x-y-z Koordinaten. Die Tiefeninformation wird beispielsweise von einer Vorrichtung zur Erfassung von Entfernungen des wenigstens einen mobilen Geräts bereitgestellt oder kann aus der aktuellen Position und Daten aus einem Anlagenmodell oder Anlagenplan abgeleitet werden. Die virtuelle Notiz wird dem Instandhalter und/oder dem externen Experten auf dem ersten graphischen Ausgabegerät bzw. zweitem graphischen Ausgabegerät angezeigt, wenn das Blickfeld des Instandhalters bzw. externen Experten auf den Bereich der industriellen Anlage mit der erzeugten virtuellen Notiz gerichtet ist. So kann der externe Experte beispielsweise dem Instandhalter Notizen hinterlassen, welcher diese berücksichtigt, wenn er sich an der entsprechenden Position in der industriellen Anlage befindet. Nach einer weiteren erfindungsgemäßen Variante umfasst das Verfahren das Erfassen von Markern, insbesondere elektronischen Markern, der industriellen Anlage, insbesondere von Komponenten und/oder Maschinen der industriellen Anlage. Dadurch lassen sich auf einfache Art und Weise die unterschiedlichen Komponenten, Teile und Maschinen der industriellen Anlage identifizieren und beispielsweise zugehörige Informationen aus dem Anlageninformationssystem einblenden. Die Marker und der wenigstens eine Sensor basieren beispielsweise auf einem Auto-ID-System, RFID-System, Barcode-System (2D oder 3D) oder dergleichen. Im Falle von visuellen Markern, wie Barcode-Systemen, können diese Marker auch mittels der Kamera des mobilen Geräts erfasst werden. According to an expedient variant of the invention, the method includes the creation of a virtual marking in the industrial installation by the external expert, in particular in the three-dimensional space of the industrial installation. The virtual marking thus includes three-dimensional location information, in particular as xyz coordinates. The depth information is provided, for example, by a device for detecting distances of the at least one mobile device, or can be derived from the current position and data from a system model or system plan. The virtual note is displayed to the maintenance engineer and/or the external expert on the first graphical output device or second graphical output device if the maintenance engineer or external expert's field of vision is directed to the area of the industrial plant with the generated virtual note. For example, the external expert can leave notes for the maintenance engineer, who takes them into account when he is at the corresponding position in the industrial plant. According to a further variant according to the invention, the method includes the detection of markers, in particular electronic markers, of the industrial installation, in particular of components and/or machines of the industrial installation. This makes it easy to identify the different components, parts and machines of the industrial plant and, for example, to display associated information from the plant information system. The markers and the at least one sensor are based, for example, on an auto ID system, RFID system, barcode system (2D or 3D) or the like. In the case of visual markers, such as barcode systems, these markers can also be captured using the mobile device's camera.
In einer zweckmäßigen Variante der Erfindung umfasst das erfindungsgemäße Verfahren das Bereitstellen einer Audiokommunikation zwischen Instandhalter und externem Experten. In an expedient variant of the invention, the method according to the invention includes the provision of audio communication between the maintenance worker and an external expert.
Gemäß einer weiteren Variante der Erfindung umfasst das Verfahren das Speichern zumindest der Daten des mobilen Geräts, insbesondere aller an der Wartung der industriellen Anlage beteiligter Komponenten, zu Dokumentationszwecken. Das erfindungsgemäße Verfahren speichert somit alle relevanten Daten, welche mittels des erfindungsgemäßen Verfahrens erfasst und ausgetauscht wurden. Eine derartige Dokumentation ist beispielsweise relevant, wenn es zu einem späteren Zeitpunkt zu einem Störfall in der industriellen Anlage kommt und man die Ursache des Störfalls ausfindig machen möchte. Ferner kann dadurch nachgewiesen werden, dass bestimmte Wartungsintervalle oder dergleichen eingehalten wurden. According to a further variant of the invention, the method includes storing at least the data of the mobile device, in particular all the components involved in the maintenance of the industrial installation, for documentation purposes. The method according to the invention thus stores all relevant data that was recorded and exchanged using the method according to the invention. Such documentation is relevant, for example, if an accident occurs in the industrial plant at a later point in time and you want to find the cause of the accident. It can also be used to prove that certain maintenance intervals or the like have been observed.
Nach einer vorteilhaften erfindungsgemäßen Variante umfasst das Verfahren das Erfassen von Messwerten und/oder Fehlerzuständen der industriellen Anlage, insbesondere von Maschinen und Komponenten der industriellen Anlage, wobei die erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage, insbesondere den Maschinen oder Komponenten der industriellen Anlage oder von Steuereinheiten der industriellen Anlage, angezeigt werden und/oder an das audiovisuelle Assistenzsystem, insbesondere an das wenigstens eine mobile Gerät, den wenigstens einen Rechner oder an ein zentrales Leitsystem, übermittelt werden. Die Übermittlung der erfassten Messwerte erfolgt zweckmäßigerweise über das Netzwerk des audiovisuellen Assistenzsystems oder über ein anderes Kommunikationsnetzwerk und eine Schnittstelle zu dem erfindungsgemäßen audiovisuellen Assistenzsystem. Aus den erfassten Messwerten können vorzugsweise Fehlerzustände der industriellen Anlage, insbesondere Maschinen, Teilen oder Komponenten der industriellen Anlage, abgeleitet werden. Dies erfolgt beispielsweise durch die Steuereinheit, das zentrale Leitsystem oder das audiovisuelle Assistenzsystem. In letzterem Fall durch das wenigstens eine mobile Gerät und/oder durch den wenigstens einen Rechner. Bei einer Steuereinheit handelt es sich beispielsweise um eine oder mehrere zusammengeschaltete Speicherprogrammierbare Steuerungen (SPS bzw. SPSen). Die mehreren Speicherprogrammierbaren Steuerungen (SPSen) können hierarchisch aufgebaut sein, wobei beispielsweise eine sogenannte Kopf-SPS die Daten untergeordneter SPSen sammelt und auswertet. Aus den gesammelten Messwerten können Fehlerzustände abgeleitet werden oder die Fehlerzustände können direkt mittels der Sensoren erfasst werden. Die gesammelten Messwerte bzw. Fehlerzustände können gesammelt und zyklisch versendet werden oder direkt versendet werden, was insbesondere bei schwerwiegenden Fehlerzuständen vorteilhaft ist. Der Fehlerzustand wird beispielsweise in Form eines Fehlercodes oder einer detaillierteren Fehlermeldung versendet. Beispielsweise sammelt die sogenannte Kopf-SPS die Sensordaten, insbesondere Messwerte, von mehreren untergeordneten SPSen bzw. der damit jeweils verbundenen Sensoren. Die Kopf-SPS wertet die gesammelten Sensordaten aus, beispielsweise durch eine Datenkorrelation und -analyse und generiert auf Basis der Auswertung ggf. eine Fehlermeldung, welche an das erfindungsgemäße audiovisuelle Assistenzsystem, insbesondere das mobile Gerät des Instandhalters, übermittelt wird. Ferner kann die Kopf-SPS auch als Empfänger für Informationen von dem mobilen Gerät dienen, welche nachfolgend an die anderen SPSen weitergeleitet werden, insbesondere um die Steuerung der industriellen Anlage anzupassen. According to an advantageous variant of the invention, the method includes the acquisition of measured values and / or error states of the industrial plant, in particular machines and components of the industrial plant, the measured values and / or error states recorded from the industrial plant, in particular the machines or components of the industrial plant or by control units of the industrial plant, and/or are transmitted to the audiovisual assistance system, in particular to the at least one mobile device, the at least one computer or to a central control system. The transmission of the measured values is expediently carried out via the Network of the audiovisual assistance system or another communication network and an interface to the audiovisual assistance system according to the invention. Error states of the industrial installation, in particular machines, parts or components of the industrial installation, can preferably be derived from the recorded measured values. This is done, for example, by the control unit, the central control system or the audiovisual assistance system. In the latter case, by the at least one mobile device and/or by the at least one computer. A control unit is, for example, one or more interconnected programmable logic controllers (PLC or PLCs). The multiple programmable logic controllers (PLCs) can be structured hierarchically, with a so-called head PLC collecting and evaluating the data from subordinate PLCs, for example. Fault conditions can be derived from the measured values collected, or the fault conditions can be detected directly using the sensors. The collected measured values or error states can be collected and sent cyclically or sent directly, which is particularly advantageous in the case of serious error states. The error status is sent, for example, in the form of an error code or a more detailed error message. For example, the so-called head PLC collects the sensor data, in particular measured values, from a number of subordinate PLCs or the sensors connected to them. The head PLC evaluates the collected sensor data, for example by means of data correlation and analysis, and based on the evaluation generates an error message, if necessary, which is transmitted to the audiovisual assistance system according to the invention, in particular the maintenance technician's mobile device. Furthermore, the head PLC can also serve as a receiver for information from the mobile device, which is then forwarded to the other PLCs, in particular to adapt the control of the industrial plant.
In einer zweckmäßigen Variante umfasst das erfindungsgemäße Verfahren das Auswerten der erfassten Messwerte und/oder Fehlerzustände, Erstellen eines Tätigkeitsplans für den Instandhalter mit dem mobilen Gerät und Anzeigen des erstellten Tätigkeitsplans für den Instandhalter. Die Auswertung erfolgt beispielsweise seitens des audiovisuellen Assistenzsystems, insbesondere des wenigstens einen mobilen Geräts, oder seitens der industriellen Anlage, insbesondere einem zentralen Leitsystem wie einer Kopf-SPS. Der erstellte Tätigkeitsplan wird dem Instandhalter mittels des ersten graphischen Ausgabegeräts angezeigt. Auf Basis des empfangenen Messwertes bzw. Fehlerzustands veranlasst das Verfahren bzw. das audiovisuelle Assistenzsystem eine Wartung, Reparatur oder Installation durch den Instandhalter vor Ort, welcher wiederum einen externen Experten im Rahmen der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten hinzuziehen kann. Der Tätigkeitsplan geht von dem festgestellten Fehlerzustand aus und folgt einem Ereignisbaum bis zur Lösung des Fehlerzustands. In an expedient variant, the method according to the invention includes the evaluation of the measured values and/or error states recorded, the creation of an activity plan for the maintenance worker using the mobile device and the display of the created activity plan for the maintenance worker. The evaluation is carried out, for example, by the audiovisual assistance system, in particular the at least one mobile device, or by the industrial installation, in particular a central control system such as a head PLC. The activity plan that has been created is displayed to the maintenance worker using the first graphical output device. Based on the received measured value or error status, the method or the audiovisual assistance system initiates maintenance, repair or installation by the on-site maintenance technician, who in turn can call in an external expert as part of the maintenance work, repair work or installation work. The action plan starts from the detected error condition and follows an event tree until the error condition is resolved.
Gemäß einer besonders vorteilhaften Variante der Erfindung umfasst das Verfahren das Erstellen des Tätigkeitsplans als interaktives Menü, insbesondere als Schritt-für- Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, und/oder Anzeigen des erstellten Tätigkeitsplans als 3D-Animation und/oder als Filmsequenz für denAccording to a particularly advantageous variant of the invention, the method includes creating the activity plan as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle, and/or displaying the activity plan created as a 3D animation and/or as a film sequence for the
Instandhalter. Die Schritt-für-Schritt-Anleitung oder das Frage-Antwort-Prinzip sind dabei insbesondere interaktiv ausgebildet, so dass der Instandhalter die einzelnen Schritte oder Fragen bestätigen bzw. beantworten muss. Beispielsweise kann so das Messen einer Spannung in einem Schaltschrank als Tätigkeitsplan beschrieben werden. maintenance. The step-by-step instructions or the question-and-answer principle are particularly designed to be interactive, so that the maintenance worker must confirm or answer the individual steps or questions. For example, measuring a voltage in a switch cabinet can be described as an activity plan.
Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Anzeigen von Sicherheitshinweisen für den Instandhalter, insbesondere hinsichtlich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Die Sicherheitshinweise können allgemein oder anlagenspezifisch ausgebildet sein. Die Sicherheitshinweise können erfindungsgemäß vom zentralen Leitsystem stammen, im audiovisuellen Assistenzsystem hinterlegt sein, oder aus anderen Systemen der industriellen Anlage stammen. Die Sicherheitshinweise können auch Sicherheitsregeln umfassen oder auf Besonderheiten aufmerksam machen, wie eine erforderliche Wartezeit nach der Abschaltung eines Frequenzumrichters zur Entladung von vorhandenen Kondensatoren oder vergleichbaren Bauteilen. In einer vorteilhaften Variante der Erfindung umfasst das erfindungsgemäße Verfahren das Bestellen von Ersatzteilen für die industrielle Anlage, insbesondere für Maschinen, Komponenten oder dergleichen. Zweckmäßigerweise können der Instandhalter und/oder der externe Experte die Ersatzteilbeschaffung veranlassen. Bei der Auslösung der Bestellung können ferner Informationen aus demAccording to an expedient variant of the invention, the method includes the display of safety instructions for the maintenance worker, in particular with regard to the execution of the maintenance work, repair work or installation work. The safety instructions can be general or system-specific. According to the invention, the safety instructions can come from the central control system, be stored in the audiovisual assistance system, or come from other systems of the industrial plant. The safety instructions can also include safety rules or draw attention to special features, such as a required waiting time after switching off a frequency converter for the discharge of existing capacitors or comparable components. In an advantageous variant of the invention, the method according to the invention includes ordering spare parts for the industrial plant, in particular for machines, components or the like. The maintenance technician and/or the external expert can expediently initiate the procurement of spare parts. When the order is triggered, information from the
Anlageninformationssystem, von der Position des wenigstens einen mobilen Geräts und/oder der Blickrichtung des Instandhalters berücksichtigt werden. Durch diese zusätzlichen Informationen lassen sich die zu bestellenden Ersatzteile einfacher identifizieren und gegebenenfalls halbautomatisch bestellen. Bei einer halbautomatischen Bestellung wird von dem Verfahren automatisch das zu bestellende Ersatzteil vorgeschlagen und der Instandhalter und/oder der externe Experte bestätigen den Vorschlag oder lehnen diesen ab bzw. passen diesen an. Die Ersatzteilidentifikation kann alternativ auch mittels QR-Codes, Bauteil-IDs oder einem e-Doc-System erfolgen. Gemäß einer besonders vorteilhaften Variante kann eine unmittelbarePlant information system, are taken into account by the position of at least one mobile device and / or the line of sight of the maintenance worker. This additional information makes it easier to identify the spare parts to be ordered and, if necessary, to order them semi-automatically. In the case of a semi-automatic order, the procedure automatically proposes the spare part to be ordered and the maintenance technician and/or the external expert confirms the proposal or rejects it or adapts it. Alternatively, spare parts can also be identified using QR codes, component IDs or an e-Doc system. According to a particularly advantageous variant, an immediate
Ersatzteillieferung veranlasst werden. Dabei wird das bestellte Ersatzteil unmittelbar von einem Boten oder Lieferanten zu dem Instandhalter vor Ort geliefert, beispielsweise aus einem Materiallager innerhalb oder in der Nähe der industriellen Anlage. Dies ist insbesondere bei zeitkritischen Wartungsarbeiten bzw. Reparaturarbeiten in Störfällen vorteilhaft, da dadurch die Stillstandzeit der industriellen Anlage reduziert werden kann. Dazu wird beispielsweise bei der Ersatzteilbestellung gleichzeitig die Position des wenigstens einen mobilen Geräts, also des Instandhalters, mit übermittelt. Delivery of spare parts can be arranged. In this case, the spare part ordered is delivered directly by a courier or supplier to the maintenance worker on site, for example from a materials warehouse within or in the vicinity of the industrial plant. This is advantageous in particular in the case of time-critical maintenance work or repair work in the event of malfunctions, since the downtime of the industrial plant can be reduced as a result. For this purpose, for example, when ordering spare parts, the position of the at least one mobile device, ie the maintenance technician, is also transmitted at the same time.
Nach einer zweckmäßigen Variante umfasst das erfindungsgemäße Verfahren das Einblenden von Markierungen, Texten, Bildern, Grafiken oder dergleichen auf dem ersten graphischen Ausgabegerät des mobilen Geräts für den Instandhalter durch den externen Experten, so dass der externe Experte dem Instandhalter in der industriellen Anlage unterschiedlichste Informationen zur Verfügung stellen kann. According to an expedient variant, the method according to the invention includes the superimposition of markings, texts, images, graphics or the like on the first graphic output device of the mobile device for the maintenance technician by the external expert, so that the external expert can provide the maintenance technician in the industrial plant with a wide variety of information can provide.
In einer bevorzugten Variante umfasst das erfindungsgemäße Verfahren das Bereitstellen eines virtuellen Werkzeugkastens zum Einblenden von virtuellenIn a preferred variant, the method according to the invention includes the provision of a virtual toolbox for displaying virtual
Werkzeugen auf dem ersten graphischen Ausgabegerät des mobilen Geräts durch den externen Experten. Der virtuelle Werkzeugkasten stellt dabei die für die auszuführenden Wartungstätigkeiten notwendigen Werkzeuge bereit, so dass der externe Experte diese dem Instandhalter auf dem ersten graphischen Ausgabegerät einblenden und deren Einsatz zeigen kann. Dadurch kann der externe Experte dem Instandhalter vor Ort das zu verwendete Werkzeug zeigen, so dass der Instandhalter dieses aus seinem realen Werkzeugkasten auswählen kann. Ferner können so beispielsweise Tätigkeiten besser dargestellt werden, welche den Einsatz eines Werkzeugs erfordern. Beispiele für derartige Tätigkeiten sind das Messen einer Spannung oder das Entfernen einer verschraubten Abdeckung. Gemäß einer erfindungsgemäßen Variante des Verfahrens werden die Position und Bewegung der Hände des externen Experten durch an den Händen tragbare Sensoren, Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel erfasst. Die tragbaren Sensoren sind beispielsweise aus Virtual-Reality-Systemen mit einem Head-Mounted-Display bekannt, wo der Nutzer in beiden Händen jeweils einen Controller hält, welche neben den notwendigen Sensoren zur Positions- undtools on the first graphical output device of the mobile device the external experts. The virtual toolbox provides the tools required for the maintenance work to be carried out, so that the external expert can show them to the maintenance technician on the first graphical output device and show them how to use them. This allows the external expert to show the maintenance engineer the tool to be used on site, so that the maintenance engineer can select it from his real tool box. Furthermore, for example, activities that require the use of a tool can be better displayed. Examples of such activities are measuring a voltage or removing a screwed cover. According to a variant of the method according to the invention, the position and movement of the hands of the external expert are recorded by sensors that can be worn on the hands, video sensors, infrared sensors or comparable means. The wearable sensors are known, for example, from virtual reality systems with a head-mounted display, where the user holds a controller in both hands, which, in addition to the necessary sensors for position and
Bewegungsverfolgung auch Eingabemittel bzw. Steuermittel umfassen. Grundsätzlich können aber jegliche Arten von Sensoren genutzt werden, welche zur Verfolgung der Position und Bewegung der Hände des externen Experten geeignet sind. Motion tracking also include input means or control means. In principle, however, any type of sensor that is suitable for tracking the position and movement of the hands of the external expert can be used.
Zweckmäßigerweise umfasst das Verfahren nach der Erfindung das Übertragen von Daten bei der Ausführung des erfindungsgemäßen Verfahrens über ein drahtgebundenes und/oder drahtloses Netzwerk, insbesondere über ein Local Area Network, Wreless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. Auch kann das Netzwerk lokal beschränkt oder überregional ausgebildet sein, wie beispielsweise als internes lokales Firmennetzwerk oder als privates oder öffentliches überregionales Netzwerk. Auch können die einzelnen Übertragungstechniken und regionalen Ausdehnungen miteinander kombiniert werden. The method according to the invention expediently includes the transmission of data when executing the method according to the invention via a wired and/or wireless network, in particular via a local area network, wireless local area network, mobile network network such as according to the UMTS, LTE or 5G standard, or combinations thereof. The network can also be local or supra-regional, such as an internal local company network or a private or public supra-regional network. The individual transmission technologies and regional extensions can also be combined with one another.
Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Anpassen von auf dem ersten graphischen Ausgabegerät dargestellten Informationen und/oder Eingeben von Informationen zur Darstellung durch den Instandhalter, insbesondere mittels Eingabemittel des mobilen Geräts. Der Instandhalter kann also die Anzeige auf dem ersten graphischen Ausgabegerät an seine Bedürfnisse und Vorlieben anpassen und ferner Informationen eingeben, welche nachfolgend auf dem ersten graphischen Ausgabegerät dargestellt werden. According to an expedient variant of the invention, the method includes the adjustment of information displayed on the first graphic output device and/or the input of information for display by the maintenance technician, in particular by means of input means of the mobile device. So the maintainer can adapt the display on the first graphic output device to his needs and preferences and also enter information which is subsequently displayed on the first graphic output device.
In einer weiteren zweckmäßigen Variante der Erfindung umfasst das Verfahren das Anpassen von auf dem ersten graphischen Ausgabegerät dargestellten Informationen und/oder Eingeben von Informationen zur Darstellung durch den externen Experten, insbesondere mittels Eingabemittel des Rechners. Der externe Experte kann also Eingaben sowohl für das erste graphische Ausgabegerät des wenigstens einen mobilen Geräts als auch für das zweite graphische Ausgabegerät des wenigstens einen Rechners machen. Somit kann der externe Experte dem Instandhalter beispielsweise Informationen und/oder Notizen einblenden. In a further expedient variant of the invention, the method includes the adaptation of information displayed on the first graphic output device and/or the input of information for display by the external expert, in particular by means of input means of the computer. The external expert can therefore make entries both for the first graphic output device of the at least one mobile device and for the second graphic output device of the at least one computer. The external expert can thus display information and/or notes to the maintenance engineer, for example.
Gemäß einer besonders vorteilhaften Variante umfasst das erfindungsgemäße Verfahren das Übersetzen von Informationen für den Instandhalter und/oder externen Experten, insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen. Dadurch können selbst Instandhalter und externe Experten miteinander kommunizieren, die keine gemeinsame Sprache sprechen. Der externe Experte kann sich somit an einem Ort der Welt befinden, beispielsweise dem Sitz des Herstellers der industriellen Anlage, während sich der Instandhalter am Standort der industriellen Anlage befindet, welche beispielsweise in einem anderen Land oder sogar einem anderen Kontinent liegt, und dank des Übersetzungssystems müssen externer Experte und Instandhalter keine gemeinsame Sprache sprechen. Das Übersetzungssystem kann aber auch dazu genutzt werden, um codierte Informationen in einen Klartext zu übersetzen, wie beispielsweise einen Fehlercode in eine ausführliche Fehlerbeschreibung. Nach einer weiteren bevorzugten Variante der Erfindung wird das Verfahren für den Instandhalter mittels eines mobilen Personal-Computers ausgeführt, insbesondere mittels eines Rucksack-PCs. Der Instandhalter kann das wenigstens eine mobile Gerät also über eine ihm bekannte Bedienoberfläche (Desktop) bedienen und muss sich nicht an eine proprietäre Bedienoberfläche gewöhnen. Bei der Bedienoberfläche handelt es sich insbesondere um die von Betriebssystemen wie Windows oder MacOS bekannten Bedienoberflächen. Auch kann das wenigstens eine mobile Gerät so vorhandene Softwarelizenzen ohne zusätzliche oder nur mit geringeren Mehrkosten mit verwenden. Insbesondere kann das als Personal-Computer ausgebildete mobile Gerät als stationärer Rechner und mobiler Rechner verwendet werden, so dass der Instandhalter jederzeit auf seine Daten zugreifen kann und ihm die bekannte Bedienoberfläche (Desktop) angezeigt wird. Bei einem Rucksack-PC im Sinne der Erfindung handelt es sich um einen tragbaren PC, unabhängig von der Gehäuse- und/oder Bauform wie beispielsweise Mini-/ Microgehäuse, Laptop, Einplatinencomputer, oder dergleichen. Das wesentliche Merkmal bezüglich der vorliegenden Erfindung ist die Mobilität des PC, also dessen Tragbarkeit für den Instandhalter. According to a particularly advantageous variant, the method according to the invention includes the translation of information for the maintenance worker and/or external experts, in particular for the translation of audio information, text and/or coded information. This means that even maintenance workers and external experts who do not speak a common language can communicate with each other. The external expert can thus be located anywhere in the world, for example at the headquarters of the manufacturer of the industrial plant, while the maintainer is located at the site of the industrial plant, which is for example in another country or even another continent, and thanks to the translation system external experts and maintenance staff do not have to speak a common language. However, the translation system can also be used to translate coded information into plain text, such as an error code into a detailed error description. According to a further preferred variant of the invention, the method for the maintenance technician is carried out using a mobile personal computer, in particular using a backpack PC. The maintenance technician can operate the at least one mobile device using a user interface (desktop) that he is familiar with and does not have to get used to a proprietary user interface. The user interface is in particular the user interfaces known from operating systems such as Windows or MacOS. At least one mobile device can also do this use existing software licenses without additional or only with lower additional costs. In particular, the mobile device designed as a personal computer can be used as a stationary computer and mobile computer, so that the maintenance technician can access his data at any time and the known user interface (desktop) is displayed to him. A backpack PC within the meaning of the invention is a portable PC, regardless of the housing and/or design, such as a mini/micro housing, laptop, single-board computer, or the like. The essential feature with regard to the present invention is the mobility of the PC, ie its portability for the maintenance worker.
In einer weiteren erfindungsgemäßen Variante umfasst das Verfahren das Dokumentieren der durch den Instandhalter durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten, insbesondere mittels des mobilen Geräts. Das Dokumentieren kann beispielsweise automatisch die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten erfassen und speichern, wodurch sich der diesbezügliche Aufwand für den Instandhalter deutlich reduziert. Das Dokumentieren kann auch eine Spracheingabe umfassen. Der Instandhalter kann somit die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten mittels einer einfachen Spracheingabe dokumentieren, insbesondere gleichzeitig mit der Ausführung. Ferner ermöglicht die Spracheingabe die Eingabe von Notizen für eine spätere Nachbearbeitung durch einen Dritten. Das Dokumentieren kann ferner das Speichern von Bildaufnahmen und Videos zu den durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten umfassen, insbesondere inklusive der Unterstützung durch den externen Experten. So könnten beispielsweise auch die dem Instandhalter angezeigten virtuelle Hände des externen Experten, usw. gespeichert werden. In a further variant according to the invention, the method includes documenting the maintenance work, repair work or installation work carried out by the maintenance worker, in particular using the mobile device. The documentation can, for example, automatically record and save the maintenance work, repair work or installation work that has been carried out, which significantly reduces the related effort for the maintenance technician. The documentation can also include voice input. The maintenance worker can thus document the maintenance work, repair work or installation work that has been carried out by means of a simple voice input, in particular at the same time as the execution. Furthermore, voice input allows notes to be entered for later post-processing by a third party. The documentation can also include the storage of images and videos of the maintenance work, repair work or installation work carried out, in particular including the support of the external expert. For example, the virtual hands of the external expert, etc., displayed to the maintenance technician, could also be stored.
Gemäß einer vorteilhaften erfindungsgemäßen Variante umfasst das Verfahren das Bereitstellen eines virtuellen dreidimensionalen Modells der industriellen Anlage, wobei der Instandhalter und/oder der externe Experte auf das virtuelle dreidimensionale Modell zugreifen können. Der Instandhalter und/oder der externe Experte können sich virtuell und unabhängig voneinander durch die industrielle Anlage bewegen und beispielsweise Notizen, Anweisungen, Sicherheitshinweise erzeugen bzw. für den jeweils anderen hinterlassen, welche nachfolgend angezeigt werden. Bei der Durchführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann es Vorkommen, dass der Instandhalter an verschiedenen Orten in der industriellen Anlage Arbeiten durchführen muss. Der externe Experte könnte an diesen unterschiedlichen Orten Notizen, Anweisungen, Sicherheitshinweise hinterlassen und wenn der Instandhalter an dem Ort in der tatsächlichen industriellen Anlage ankommt, werden die Notizen, Anweisungen, Sicherheitshinweise angezeigt.According to an advantageous variant according to the invention, the method includes the provision of a virtual three-dimensional model of the industrial installation, with the maintenance worker and/or the external expert being able to access the virtual three-dimensional model. The maintenance technician and/or the external expert can navigate through the industrial Move the system and, for example, create notes, instructions, safety instructions or leave them for the other, which are displayed below. When carrying out maintenance work, repair work or installation work, it can happen that the maintenance worker has to carry out work at different locations in the industrial plant. The external expert could leave notes, instructions, safety notices in these different places, and when the maintainer arrives at the place in the actual industrial plant, the notes, instructions, safety notices are displayed.
Zweckmäßigerweise wird das erfindungsgemäße Verfahren mittels eines erfindungsgemäßen audiovisuellen Assistenzsystems ausgeführt. The method according to the invention is expediently carried out using an audiovisual assistance system according to the invention.
Die Aufgabe wird weiterhin gelöst durch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. The object is also achieved by a computer program comprising instructions which, when the program is executed by a computer, cause the latter to execute the method according to the invention.
Nachfolgend wird die Erfindung anhand von in den beigefügten Figuren dargestellten Ausführungsbeispielen näher erläutert. Es zeigen: The invention is explained in more detail below with reference to exemplary embodiments illustrated in the attached figures. Show it:
Fig. 1 eine schematische Ansicht eines erfindungsgemäßen audiovisuellen1 is a schematic view of an audiovisual according to the invention
Assistenzsystems zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage. Fig. 1 zeigt eine schematische Ansicht eines audiovisuelles Assistenzsystems 1 zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage 11. Das erfindungsgemäße audiovisuelle Assistenzsystem 1 umfasst ein mobiles Gerät 2 für einen Instandhalter 3 in der industriellen Anlage 11. Das mobile Gerät 2 für den Instandhalter 3 ist mit einem ersten graphischen Ausgabegerät 4 zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter 3 und einer Kamera zur Erfassung der Umgebung des mobilen Geräts 2, insbesondere des Blickfelds des Instandhalters 3, ausgestattet. Das mobile Gerät 2 für den Instandhalter 3 umfasst ferner eine Vorrichtung 13 zur Bestimmung der Position des mobilen Geräts 2 in der industriellen Anlage 11 , eine Vorrichtung 14 zur Bestimmung der Blickrichtung des Instandhalters 3, welcher das mobile Gerät 2 nutzt, eine Vorrichtung 15 zur Erfassung von Entfernungen und Audiokommunikationsmittel 16, insbesondere Lautsprecher und ein Mikrofon, beispielsweise in Form eines Headsets. Das mobile Gerät 1 umfasst ferner Eingabemittel (nicht dargestellt), um die auf dem ersten graphischen Ausgabegerät 4 dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. Das mobile Gerät 2 ist vorzugsweise als Personal-Computer ausgebildet, insbesondere als sogenannter Rucksack-PC. Assistance system to support maintenance work, repair work or installation work in an industrial plant. Fig. 1 shows a schematic view of an audiovisual assistance system 1 to support maintenance work, repair work or installation work in an industrial plant 11. The inventive audiovisual assistance system 1 includes a mobile device 2 for a maintenance technician 3 in the industrial plant 11. The mobile device 2 for The maintenance technician 3 is equipped with a first graphical output device 4 for displaying information regarding activities to be carried out by the maintenance technician 3 and a camera for capturing the environment of the mobile device 2, in particular the field of view of the maintenance technician 3. The mobile device 2 for the maintenance technician 3 also includes a device 13 for determining the position of the mobile device 2 in the industrial plant 11, a device 14 for determining the viewing direction of the maintenance technician 3 who mobile device 2 uses, a device 15 for detecting distances and audio communication means 16, in particular speakers and a microphone, for example in the form of a headset. The mobile device 1 also includes input means (not shown) in order to adapt the information displayed on the first graphical output device 4 and/or to enter information for display. The mobile device 2 is preferably designed as a personal computer, in particular as a so-called backpack PC.
Die dem mobilen Gerät 2 des Instandhalters 3 zugeordneten Komponenten sind in Fig. 1 in einem gestrichelten Kreis zusammengefasst. Das audiovisuelle Assistenzsystem 1 aus Fig.1 umfasst weiterhin einen Rechner 6 für einen externen Experten 7, welcher den Instandhalter 3 bezüglich der Durchführung von Arbeiten in der industriellen Anlage 11 unterstützen kann. Der Rechner 6 ist mit einem zweiten graphischen Ausgabegerät 8 zur Darstellung mittels der Kamera 5 des mobilen Geräts 2 erfassten Umgebung des mobilen Geräts 2, insbesondere des Blickfelds des Instandhalters 3, ausgestattet. Wie das mobile Gerät 2 des Instandhalters 3 umfasst auch der Rechner 6 des externen Experten 7 Audiokommunikationsmitteln 16, insbesondere Lautsprecher und ein Mikrofon, beispielsweise in Form eines Headsets. Der Rechner 6 ist vorzugsweise dazu ausgebildet, auf dem ersten graphischen Ausgabegerät 4 des mobilen Geräts 2 Markierungen, Texte, Bilder, Grafiken oder dergleichen einzublenden, so dass der externe Experte 7 dem Instandhalter 3 in der industriellen Anlage 11 unterschiedlichste Informationen zur Verfügung stellen kann. Der Rechner 6 umfasst wie das mobile Gerät 3 Eingabemittel (nicht dargestellt), um die auf dem ersten graphischen Ausgabegerät 4 und/oder dem zweiten graphischen Ausgabegerät 8 dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. The components assigned to the mobile device 2 of the maintenance technician 3 are summarized in a dashed circle in FIG. 1 . The audiovisual assistance system 1 from FIG. The computer 6 is equipped with a second graphical output device 8 for displaying the surroundings of the mobile device 2 captured by the camera 5 of the mobile device 2 , in particular the field of view of the maintenance technician 3 . Like the mobile device 2 of the maintenance technician 3, the computer 6 of the external expert 7 also includes audio communication means 16, in particular loudspeakers and a microphone, for example in the form of a headset. The computer 6 is preferably designed to overlay markings, texts, images, graphics or the like on the first graphic output device 4 of the mobile device 2 so that the external expert 7 can provide the maintenance technician 3 in the industrial plant 11 with a wide variety of information. Like the mobile device 3, the computer 6 includes input means (not shown) in order to adapt the information displayed on the first graphical output device 4 and/or the second graphical output device 8 and/or to enter information for display.
Der Rechner 6 umfasst erfindungsgemäß eine Vorrichtung 10 zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten 7, wobei die erfasste Position und Bewegung der Hände des externen Experten 7 an das mobile Gerät 2 des Instandhalters 3 übertragen wird und dem Instandhalter 3 mittels des ersten graphischen Ausgabegeräts 4 des wenigstens einen mobilen Geräts 1 angezeigt wird. Zweckmäßigerweise werden die erfasste Position und Bewegung der Hände des externen Experten 7 ebenfalls mittels des zweiten graphischen Ausgabegeräts 8 des Rechners 6 angezeigt, so dass der externe Experte die erfasste Position und Bewegung seiner Hände kontrollieren kann. Die Vorrichtung 10 zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten 7 kann Sensoren zum Tragen an den Händen des externen Experten 7, Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel umfassen. According to the invention, the computer 6 comprises a device 10 for detecting and tracking the position and movement of the hands of the external expert 7, the detected position and movement of the hands of the external expert 7 being transmitted to the mobile device 2 of the maintenance technician 3 and to the maintenance technician 3 by means of of the first graphic output device 4 of the at least one mobile device 1 is shown. The detected position and movement of the hands of the external expert 7 are expediently also displayed using the second graphical output device 8 of the computer 6, so that the external expert can check the detected position and movement of his hands. The device 10 for detecting and tracking the position and movement of the hands of the external expert 7 can comprise sensors to be worn on the hands of the external expert 7, video sensors, infrared sensors or comparable means.
Die dem Rechner 6 des externen Experten 7 zugeordneten Komponenten sind in Fig. The components assigned to the computer 6 of the external expert 7 are shown in Fig.
1 ebenfalls in einem gestrichelten Kreis zusammengefasst. Die Kommunikation, insbesondere der Datenaustausch, zwischen dem mobilen Gerät1 also summarized in a dashed circle. The communication, in particular the exchange of data, between the mobile device
2 und dem Rechner 6 erfolgt über das Netzwerk 9. Das Netzwerk 9 ist beispielsweise als drahtgebundenes und/oder drahtloses Netzwerk ausgebildet, insbesondere als Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. 2 and the computer 6 takes place via the network 9. The network 9 is designed, for example, as a wired and/or wireless network, in particular as a local area network, wireless local area network, mobile network network such as, for example, according to the UMTS, LTE or 5G standard, or combinations from it.
Das audiovisuelle Assistenzsystem 1 umfasst vorzugsweise ein Anlageninformationssystem 12 mit Informationen zu der industriellen Anlage 11 , insbesondere mit wartungsrelevanten Informationen. Das Anlageninformationssystem 12 kann auch Bestandteil der industriellen Anlage 11 sein, auf welches das erfindungsgemäße audiovisuelle Assistenzsystem 1 zugreift. Alternativ oder zusätzlich können Informationen aus dem Anlageninformationssystem 12 auch auf dem mobilen Gerät 2 des Instandhalters 3 gespeichert sein, um die zu übertragende Datenmenge und damit verbundene Übertragungszeiten zu verringern. In dem Anlageninformationssystem 12 sind beispielsweise Zeichnungen, insbesondere Explosionszeichnungen, Modelle, insbesondere Explosionsmodelle in 2D oder 3D, Lagepläne, Wartungsinformationen, Reparaturinformationen,The audiovisual assistance system 1 preferably includes a plant information system 12 with information about the industrial plant 11, in particular with maintenance-related information. The plant information system 12 can also be part of the industrial plant 11, which the audiovisual assistance system 1 according to the invention accesses. Alternatively or additionally, information from the plant information system 12 can also be stored on the mobile device 2 of the maintenance technician 3 in order to reduce the amount of data to be transmitted and the associated transmission times. The system information system 12 contains, for example, drawings, in particular exploded drawings, models, in particular exploded models in 2D or 3D, site plans, maintenance information, repair information,
Installationsinformationen, Informationen zu Maschinen, Teilen oder Komponenten der industriellen Anlage 11 , Dokumente zur Durchführung einer Wartungsarbeit und/oder Schadensbehebung oder vergleichbare Informationen hinterlegt. Das Anlageninformationssystem 12 ist beispielsweise über das Netzwerk 9 erreichbar. Die Informationen aus dem Anlageninformationssystem 12 werden dem Instandhalter 3 und/oder externen Experten 7 mittels des ersten graphischen Ausgabegeräts 4 beziehungsweise des zweiten graphischen Ausgabegeräts 8 angezeigt. Installation information, information on machines, parts or components of the industrial installation 11, documents for carrying out maintenance work and/or damage repair or comparable information are stored. The plant information system 12 can be reached via the network 9, for example. The information from the plant information system 12 is sent to the maintenance technician 3 and/or external experts 7 using the first graphical output device 4 or the second graphical output device 8 .
Das erste Ausgabegerät 4 des mobilen Geräts 2 ist gemäß dem Ausführungsbeispiel aus Fig. 1 als Head-Mounted-Display ausgebildet, insbesondere als Optical-See- Through Head-Mounted-Display zur Erzeugung einer Augmented-Reality. Der Instandhalter 3, welcher das Head-Mounted-Display trägt, kann durch dieses hindurch seine Umgebung sehen (Optical-See-Through). Die Position und Bewegung der Hände des externen Experten 7 werden dem Instandhalter mittels des Head- Mounted-Display als Überlagerung mit der Realität eingeblendet, so dass eine Augmented-Reality erschaffen wird. Weiterhin werden dem Instandhalter 3 mittels des ersten graphischen Ausgabegeräts 4 vorzugsweise zusätzlich Sicherheitshinweise angezeigt, insbesondere bezüglich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Alternativ kann das erste Ausgabegerät 4 auch Teil des mobilen Geräts 2 sein, wie beispielsweise das Display eines Tablets. Gemäß dem in Fig. 1 dargestellten Ausführungsbeispiel ist das zweite graphische Ausgabegerät 8 des Rechners 6 zur Darstellung einer Virtual-Reality ausgebildet, insbesondere als Virtual-Reality Head-Up Display oder Virtual-Reality Cave. Die dargestellte virtuelle Realität basiert auf der erfassten Umgebung des mobilen Geräts 2, insbesondere der Kamera 5. Zusätzlich können Informationen aus dem Anlageninformationssystem 12 eingeblendet werden. Insbesondere enthält die erzeugte virtuelle Realität Informationen der Vorrichtung 15 zur Erfassung von Entfernungen, so dass dem externen Experten 7 eine dreidimensionale virtuelle Realität angezeigt wird, innerhalb welcher er seine Hände bewegen kann, welche wiederum dem Instandhalter 3 angezeigt werden. Vorzugsweise ermöglicht das audiovisuelle Assistenzsystem 1 , insbesondere der Rechner 6, dem externen Experten 7 eine virtuelle Markierung in der industriellen Anlage 11 zu erzeugen, insbesondere im dreidimensionalen Raum der industriellen Anlage 11. Diese virtuelle Markierung wird dem Instandhalter 3 auf dem ersten graphischen Ausgabegerät 4 angezeigt, wenn der Instandhalter die Stelle der industriellen Anlage 11 betrachtet, wo die virtuelle Markierung vom externen Experten 7 angeordnet wurde. In einer erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem 1 wenigstens einen Sensor zur Erfassung von Markern, insbesondere elektronischen Markern, der industriellen Anlage 11 , insbesondere von Komponenten, Teilen und/oder Maschinen der industriellen Anlage 11. Auf diese Art und Weise lassen sich die Komponenten, Teile und/oder Maschinen der industriellen Anlage 11 einfach und sicher identifizieren. According to the exemplary embodiment from FIG. 1 , the first output device 4 of the mobile device 2 is designed as a head-mounted display, in particular as an optical see-through head-mounted display for generating an augmented reality. The maintenance worker 3, who wears the head-mounted display, can see his surroundings through it (optical see-through). The position and movement of the hands of the external expert 7 are shown to the maintenance worker by means of the head-mounted display as an overlay with reality, so that an augmented reality is created. Furthermore, safety instructions are preferably additionally displayed to the maintenance technician 3 by means of the first graphic output device 4, in particular with regard to the execution of the maintenance work, repair work or installation work. Alternatively, the first output device 4 can also be part of the mobile device 2, such as the display of a tablet. According to the exemplary embodiment illustrated in FIG. 1, the second graphic output device 8 of the computer 6 is designed to display a virtual reality, in particular as a virtual reality head-up display or virtual reality cave. The virtual reality shown is based on the recorded surroundings of the mobile device 2, in particular the camera 5. Information from the plant information system 12 can also be displayed. In particular, the generated virtual reality contains information from the device 15 for detecting distances, so that the external expert 7 is shown a three-dimensional virtual reality within which he can move his hands, which in turn are shown to the maintenance worker 3 . The audiovisual assistance system 1, in particular the computer 6, preferably enables the external expert 7 to create a virtual marking in the industrial plant 11, in particular in the three-dimensional space of the industrial plant 11. This virtual marking is displayed to the maintenance technician 3 on the first graphical output device 4 , when the maintainer looks at the place of the industrial plant 11 where the virtual mark has been placed by the external expert 7 . In a variant according to the invention, the audiovisual assistance system 1 comprises at least one sensor for detecting markers, in particular electronic markers, of the industrial plant 11, in particular of components, parts and/or machines of the industrial plant 11. In this way, the components Identify parts and/or machines of the industrial plant 11 easily and reliably.
Gemäß dem Ausführungsbeispiel aus Fig. 1 umfasst das audiovisuelle Assistenzsystem 1 weiterhin einen zentralen Datenspeicher 17, welcher zumindest die Daten des mobilen Geräts 2, insbesondere aller an der Wartung, Reparatur oder Installation der Anlage 11 beteiligter Komponenten, zu Dokumentationszwecken speichert. Das audiovisuelle System 1 speichert in dieser Variante vorzugsweise sämtliche ausgetauschten Daten. Alternativ oder zusätzlich umfasst das mobile GerätAccording to the exemplary embodiment from FIG. 1, the audiovisual assistance system 1 also includes a central data store 17, which stores at least the data of the mobile device 2, in particular all of the components involved in the maintenance, repair or installation of the system 11, for documentation purposes. In this variant, the audiovisual system 1 preferably stores all exchanged data. Alternatively or additionally, the mobile device includes
2 weiterhin ein Dokumentationsmodul, zur Dokumentation der durch den Instandhalter2 furthermore a documentation module for the documentation by the maintenance engineer
3 durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Dieses Dokumentationsmodul kann insbesondere eine Spracheingabe umfassen, um die Dokumentation für Instandhalter 3 möglichst einfach zu gestalten und den dafür benötigten Zeitaufwand zu reduzieren. 3 maintenance work, repair work or installation work carried out. In particular, this documentation module can include a voice input in order to make the documentation as simple as possible for maintenance personnel 3 and to reduce the time required for this.
Die industrielle Anlage 11 aus Fig. 1 umfasst ferner eine oder mehrere Steuereinheiten 23, insbesondere sogenannte Speicherprogrammierbare Steuerungen (SPS bzw. SPSen). Die mehreren Speicherprogrammierbaren Steuerungen (SPSen) können hierarchisch aufgebaut sein, wobei beispielsweise eine sogenannte Kopf-SPS die Daten untergeordneter SPSen sammelt und auswertet. Die mehreren Steuereinheiten 23 sind dabei vorzugsweise über ein Bussystem oder dergleichen miteinander verbunden. Nach Fig. 1 umfasst die industrielle Anlage 11 , insbesondere Maschinen undThe industrial plant 11 from FIG. 1 also includes one or more control units 23, in particular so-called programmable logic controllers (PLCs or PLCs). The multiple programmable logic controllers (PLCs) can be structured hierarchically, with a so-called head PLC collecting and evaluating the data from subordinate PLCs, for example. The multiple control units 23 are preferably connected to one another via a bus system or the like. According to FIG. 1, the industrial installation 11, in particular machines and
Komponenten der industriellen Anlage 11 , Sensoren 18 zur Erfassung von Messwerten und/oder Fehlerzuständen. Die von den Sensoren 18 erfasstenComponents of the industrial plant 11, sensors 18 for recording measured values and/or error states. Those detected by the sensors 18
Messwerte und/oder Fehlerzustände werden von der industriellen Anlage 11 , insbesondere den Maschinen oder Komponenten der industriellen Anlage 11 oder von Steuereinheiten 23 der industriellen Anlage 11 , angezeigt und/oder an das audiovisuelle Assistenzsystem 1 , insbesondere an das mobile Gerät 2, den Rechner 6 oder an ein zentrales Leitsystem, übermittelt. Das audiovisuelle Assistenzsystem 1 , insbesondere das mobile Gerät 2 oder das zentrale Leitsystem, insbesondere die Steuereinheit 23 wertet die angezeigten und/oder empfangenen Messwerte und/oder Fehlerzustände aus und erstellt einen Tätigkeitsplan für den Instandhalter 3 mit dem mobilen Gerät 1. Measured values and/or error states are displayed by the industrial system 11, in particular the machines or components of the industrial system 11 or by control units 23 of the industrial system 11, and/or to the audiovisual assistance system 1, in particular to the mobile device 2, the computer 6 or to a central control system. The audiovisual assistance system 1, in particular the mobile device 2 or the central control system, in particular the control unit 23, evaluates the displayed and/or received measured values and/or error states and creates an activity plan for the maintenance worker 3 with the mobile device 1.
Beispielsweise sammelt die sogenannte Kopf-SPS die Sensordaten, insbesondere Messwerte, von mehreren untergeordneten SPSen bzw. der damit jeweils verbundenen Sensoren 18. Die Kopf-SPS wertet die gesammelten Sensordaten aus, beispielsweise durch eine Datenkorrelation und -analyse und generiert auf Basis der Auswertung ggf. eine Fehlermeldung, welche an das erfindungsgemäße audiovisuelle Assistenzsystem 1 , insbesondere das mobile Gerät 2 des Instandhalters 3, übermittelt wird. Ferner kann die Kopf-SPS auch als Empfänger für Informationen von dem mobilen Gerät 2 dienen, welche nachfolgend an die anderen SPSen weitergeleitet werden, insbesondere um die Steuerung der industriellen Anlage 11 anzupassen. Der erstellte Tätigkeitsplan wird dem Instandhalter 3 mittels des ersten graphischen Ausgabegeräts 4 anzeigt. Der erstellte Tätigkeitsplan ist vorzugsweise als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort- Prinzip, ausgebildet. Alternativ oder zusätzlich wird der erstellte Tätigkeitsplan dem Instandhalter 3 als 3D-Animation und/oder als Filmsequenz anzeigt. Das erfindungsgemäße audiovisuelle Assistenzsystem umfasst vorteilhafterweise ein Modul 19 zur Bestellung von Ersatzteilen für die industrielle Anlage 11 , insbesondere für Maschinen, Komponenten oder dergleichen. Der Instandhalter 3 und/oder der externe Experte 7 können auf das Modul 19 zur Ersatzteilbestellung zugreifen, um die Ersatzteilbeschaffung zu veranlassen. Gemäß dem Ausführungsbeispiel aus Fig. 1 umfasst das audiovisuelle Assistenzsystem 1 weiterhin einen virtuellen Werkzeugkasten 20 zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät 4 des mobilen Geräts 2 durch den externen Experten 7. Mittels der eingeblendeten Werkzeuge kann der externe Experte 7 dem Instandhalter 3 in der industriellen Anlage 11 besser die mittels Werkzeugen durchzuführenden Tätigkeiten virtuell auf dem ersten graphischen Ausgabegerät 4 einblenden. For example, the so-called head PLC collects the sensor data, in particular measured values, from several subordinate PLCs or the sensors 18 connected to them. The head PLC evaluates the collected sensor data, for example by means of data correlation and analysis, and generates an error message which is transmitted to the audiovisual assistance system 1 according to the invention, in particular the mobile device 2 of the maintenance worker 3 . Furthermore, the head PLC can also serve as a receiver for information from the mobile device 2, which is then forwarded to the other PLCs, in particular in order to adapt the control of the industrial plant 11. The created activity plan is displayed to the maintenance person 3 by means of the first graphic output device 4 . The activity plan that is created is preferably designed as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle. Alternatively or additionally, the created activity plan is displayed to the maintenance worker 3 as a 3D animation and/or as a film sequence. The audiovisual assistance system according to the invention advantageously includes a module 19 for ordering spare parts for the industrial plant 11, in particular for machines, components or the like. The maintenance technician 3 and/or the external expert 7 can access the module 19 for ordering spare parts in order to initiate the procurement of spare parts. According to the exemplary embodiment from Fig. 1, the audiovisual assistance system 1 also includes a virtual toolbox 20 for the external expert 7 to display virtual tools on the first graphical output device 4 of the mobile device 2. Using the displayed tools, the external expert 7 can show the maintenance technician 3 in the industrial plant 11 better die activities to be carried out using tools virtually on the first graphical output device 4 show.
Nach dem in Fig. 1 dargestellten Ausführungsbeispiel umfasst das audiovisuelle Assistenzsystem 1 ein Übersetzungssystem 21 , zur Übersetzung von Informationen für den Instandhalter 3 und/oder externen Experten 7, insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen. According to the exemplary embodiment illustrated in FIG. 1, the audiovisual assistance system 1 includes a translation system 21 for translating information for the maintenance worker 3 and/or external experts 7, in particular for translating audio information, texts and/or coded information.
Das audiovisuelle Assistenzsystem 1 aus Fig. 1 umfasst ferner ein Virtual-Reality- Modul 22, welches ein virtuelles dreidimensionales Modell der industriellen Anlage 11 enthält. Das mobile Gerät 2 und der Rechner 6 können auf das Virtual-Reality-Modul 22 zugreifen. Der Instandhalter 3 und/oder der externe Experte 7 können sich virtuell und unabhängig voneinander durch die industrielle Anlage 11 bewegen und beispielsweise Notizen, Anweisungen, Sicherheitshinweise erzeugen bzw. für den jeweils anderen hinterlassen, welche nachfolgend angezeigt werden. Bei der Durchführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann es Vorkommen, dass der Instandhalter 3 an verschiedenen Orten in der industriellen Anlage 11 Arbeiten durchführen muss. Der externe Experte 7 könnte an diesen unterschiedlichen Orten Notizen, Anweisungen, Sicherheitshinweise hinterlassen und wenn der Instandhalter 3 an dem Ort in der tatsächlichen industriellen Anlage 11 ankommt, werden die Notizen, Anweisungen, Sicherheitshinweise auf dem ersten graphischen Ausgabegerät 4 des mobilen Geräts 2 für den Instandhalter 3 angezeigt. The audiovisual assistance system 1 from FIG. 1 also includes a virtual reality module 22 which contains a virtual three-dimensional model of the industrial plant 11 . Mobile device 2 and computer 6 can access virtual reality module 22 . The maintenance worker 3 and/or the external expert 7 can move through the industrial plant 11 virtually and independently of one another and, for example, create notes, instructions, safety instructions or leave them for the other, which are then displayed. When carrying out maintenance work, repair work or installation work, it can happen that the maintenance worker 3 has to carry out work at different locations in the industrial installation 11 . The external expert 7 could leave notes, instructions, safety instructions at these different locations and when the maintenance worker 3 arrives at the location in the actual industrial plant 11, the notes, instructions, safety instructions are displayed on the first graphical output device 4 of the mobile device 2 for the Maintainer 3 displayed.
Das Virtual-Reality-Modul basiert insbesondere auf einem digitalen Zwilling der industriellen Anlage und/oder auf digitalen Zwillingen von Maschinen, Teilen oder Komponenten der industriellen Anlage. Ein digitaler Zwilling beschreibt ein virtuelles Abbild des realen Systems bzw. Bauteils und enthält vorzugsweise alle relevanten Details, Informationen, Parameter und dergleichen. Zweckmäßigerweise kann auf das reale System bzw. Bauteil über seinen zugehörigen digitalen Zwilling zugegriffen werden. Bezugszeichenliste The virtual reality module is based in particular on a digital twin of the industrial installation and/or on digital twins of machines, parts or components of the industrial installation. A digital twin describes a virtual image of the real system or component and preferably contains all relevant details, information, parameters and the like. The real system or component can expediently be accessed via its associated digital twin. Reference List
1 audiovisuelles Assistenzsystem 1 audiovisual assistance system
2 mobiles Gerät 2 mobile device
3 Instandhalter 4 erstes graphisches Ausgabegerät 3 maintenance personnel 4 first graphic output device
5 Kamera 5 camera
6 Rechner 6 calculators
7 externer Experte 7 external expert
8 zweites graphisches Ausgabegerät 9 Netzwerk 8 second graphic output device 9 network
10 Vorrichtung zur Erfassung der Position und Bewegung der Hände10 Device for detecting the position and movement of the hands
11 industrielle Anlage 11 industrial plant
12 Anlageninformationssystem 12 plant information system
13 Vorrichtung zur Bestimmung der Position 14 Vorrichtung zur Bestimmung der Blickrichtung 13 device for determining the position 14 device for determining the viewing direction
15 Vorrichtung zur Erfassung von Entfernungen 15 Device for detecting distances
16 Audiokommunikationsmittel 16 means of audio communication
17 zentraler Datenspeicher 17 central data storage
18 Sensoren (industrielle Anlage) 19 Modul zur Bestellung 18 sensors (industrial plant) 19 module to order
20 virtueller Werkzeugkasten 20 virtual toolbox
21 Übersetzungssystem 22 Virtual-Reality-Modul 21 translation system 22 virtual reality module

Claims

Ansprüche Expectations
1. Audiovisuelles Assistenzsystem (1) zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage (11), umfassend: wenigstens ein mobiles Gerät (2) für einen Instandhalter (3) in der industriellen Anlage (11), mit einem ersten graphischen Ausgabegerät (4) zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter (3) und wenigstens einer Kamera (5) zur Erfassung der Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3), wenigstens einen Rechner (6) für einen externen Experten (7) bezüglich der Durchführung von Arbeiten in der industriellen Anlage (11), mit einem zweiten graphischen Ausgabegerät (8) zur Darstellung der mittels der Kamera (5) des mobilen Geräts (2) erfassten Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3); und einem Netzwerk (9), über welches das wenigstens eine mobile Gerät (2) und der wenigstens eine Rechner (6) Informationen, insbesondere Daten, austauschen können; dadurch gekennzeichnet, dass der wenigstens eine Rechner (6) eine Vorrichtung (10) zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten (7) umfasst, wobei die erfasste Position und Bewegung der Hände des externen Experten (7) an das wenigstens eine mobile Gerät (2) des Instandhalters (3) übertragen wird und dem Instandhalter (3) mittels des ersten graphischen Ausgabegeräts (4) des wenigstens einen mobilen Geräts (2) angezeigt wird. 1. Audiovisual assistance system (1) to support maintenance work, repair work or installation work in an industrial plant (11), comprising: at least one mobile device (2) for a maintenance technician (3) in the industrial plant (11), with a first graphic Output device (4) for displaying information regarding activities to be carried out by the maintenance worker (3) and at least one camera (5) for capturing the environment of the mobile device (2), in particular the field of view of the maintenance worker (3), at least one computer (6) for an external expert (7) regarding the performance of work in the industrial plant (11), with a second graphic output device (8) for displaying the area around the mobile device (2 ), in particular the field of vision of the maintenance worker (3); and a network (9) via which the at least one mobile device (2) and the at least one computer (6) can exchange information, in particular data; characterized in that the at least one computer (6) comprises a device (10) for detecting and tracking the position and movement of the hands of the external expert (7), the detected position and movement of the hands of the external expert (7) being transmitted to the at least one mobile device (2) of the maintenance worker (3) is transmitted and the maintenance worker (3) is displayed by means of the first graphic output device (4) of the at least one mobile device (2).
2. Audiovisuelles Assistenzsystem (1 ) nach Anspruch 1 , wobei die erfasste Position und Bewegung der Hände des externen Experten (7) mittels des zweiten graphischen Ausgabegeräts (8) des wenigstens einen Rechners (6) angezeigt wird. 2. Audiovisual assistance system (1) according to claim 1, wherein the detected position and movement of the hands of the external expert (7) is displayed by means of the second graphic output device (8) of the at least one computer (6).
3. Audiovisuelles Assistenzsystem (1) nach Anspruch 1 oder Anspruch 2, weiterhin umfassend ein Anlageninformationssystem (12) mit Informationen zu der industriellen Anlage (11), insbesondere mit wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen. 3. Audiovisual assistance system (1) according to claim 1 or claim 2, further comprising a plant information system (12) with information about the industrial plant (11), in particular with maintenance-related, repair-related or installation-related information.
4. Audiovisuelles Assistenzsystem (1) nach Anspruch 3, wobei die Informationen aus den Anlageninformationssystem (12) dem Instandhalter (3) und/oder externen Experten (7) mittels des ersten graphischen Ausgabegeräts (4) beziehungsweise des zweiten graphischen Ausgabegeräts (8) angezeigt werden. 4. Audiovisual assistance system (1) according to claim 3, wherein the information from the system information system (12) is displayed to the maintenance technician (3) and/or external experts (7) by means of the first graphical output device (4) or the second graphical output device (8). will.
5. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 4, wobei das erste graphische Ausgabegerät (4) des wenigstens einen mobilen Geräts (2) als Head-Mounted-Display, Optical-See-Through Head-Mounted- Display, Augmented-Reality Head-Mounted-Display, Virtual-Reality Head-5. Audiovisual assistance system (1) according to any one of claims 1 to 4, wherein the first graphical output device (4) of the at least one mobile device (2) as a head-mounted display, optical-see-through head-mounted display, augmented -Reality Head-Mounted Display, Virtual Reality Head-
Mounted-Display oder einer Kombination daraus ausgebildet ist. Mounted display or a combination thereof is formed.
6. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 5, weiterhin umfassend eine Vorrichtung (13) zur Bestimmung der Position des wenigstens einen mobilen Geräts (2) in der industriellen Anlage (11 ). 6. Audiovisual assistance system (1) according to any one of claims 1 to 5, further comprising a device (13) for determining the position of the at least one mobile device (2) in the industrial plant (11).
7. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 6, weiterhin umfassend eine Vorrichtung (14) zur Bestimmung der Blickrichtung des Instandhalters (3), welcher ein mobiles Gerät (2) nutzt. 7. Audiovisual assistance system (1) according to any one of claims 1 to 6, further comprising a device (14) for determining the viewing direction of the maintenance worker (3) who uses a mobile device (2).
8. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 7, wobei das wenigstens eine mobile Gerät (2) eine Vorrichtung (15) zur Erfassung von Entfernungen umfasst. 8. Audiovisual assistance system (1) according to any one of claims 1 to 7, wherein the at least one mobile device (2) comprises a device (15) for detecting distances.
9. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 8, wobei das zweite graphische Ausgabegerät (8) des wenigstens einen Rechners (6) zur Darstellung einer Virtual-Reality ausgebildet ist, insbesondere als Virtual-Reality Head-Up Display oder Virtual-Reality Cave. 9. Audiovisual assistance system (1) according to any one of claims 1 to 8, wherein the second graphic output device (8) of the at least one computer (6) is designed to display a virtual reality, in particular as a virtual reality head-up display or virtual reality cave.
10. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 9, wobei das audiovisuelles Assistenzsystem (1), insbesondere der wenigstens eine Rechner (6), dem externen Experten (7) ermöglicht, eine virtuelle Markierung in der industriellen Anlage (11) zu erzeugen, insbesondere im dreidimensionalen Raum der industriellen Anlage (11). 10. Audiovisual assistance system (1) according to one of claims 1 to 9, wherein the audiovisual assistance system (1), in particular the at least one computer (6), allows the external expert (7) to create a virtual marking in the industrial plant (11) to generate, in particular in the three-dimensional space of the industrial plant (11).
11. Audiovisuelles Assistenzsystem (1 ) nach einem der Ansprüche 1 bis 10, weiterhin umfassend wenigstens einen Sensor zur Erfassung von Markern, insbesondere elektronischen Markern, der industriellen Anlage (11), insbesondere von Komponenten, Teilen und/oder Maschinen der industriellen Anlage (11). 11. Audiovisual assistance system (1) according to one of Claims 1 to 10, further comprising at least one sensor for detecting markers, in particular electronic markers, of the industrial plant (11), in particular of components, parts and/or machines of the industrial plant (11 ).
12. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 11 , wobei das wenigstens eine mobile Gerät (2) und der wenigstens eine Rechner (6) jeweils Audiokommunikationsmittel (16) für eine Audiokommunikation zwischen Instandhalter (3) und externem Experten (7) umfassen. 12. Audiovisual assistance system (1) according to one of claims 1 to 11, wherein the at least one mobile device (2) and the at least one computer (6) each have audio communication means (16) for audio communication between the maintenance worker (3) and the external expert (7 ) include.
13. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 12, weiterhin umfassend einen zentralen Datenspeicher (17), welcher zumindest die Daten des wenigstens einen mobilen Geräts (2), insbesondere aller an der Wartung, Reparatur oder Installation der industriellen Anlage (11) beteiligter13. Audiovisual assistance system (1) according to any one of claims 1 to 12, further comprising a central data memory (17) which stores at least the data of the at least one mobile device (2), in particular all of the maintenance, repair or installation of the industrial plant ( 11) involved
Komponenten, zu Dokumentationszwecken speichert. components, for documentation purposes.
14. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 13, wobei die industrielle Anlage (11), insbesondere Maschinen und Komponenten der industriellen Anlage (11), Sensoren (18) zur Erfassung von Messwerten und/oder Fehlerzuständen umfasst, wobei die von den Sensoren (18) erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage (11), insbesondere den Maschinen oder Komponenten der industriellen Anlage (11) oder von Steuereinheiten der industriellen Anlage (11), angezeigt werden und/oder an das audiovisuelle Assistenzsystem (1), insbesondere an das wenigstens eine mobile Gerät (2), den wenigstens einen Rechner (6) oder an ein zentrales Leitsystem, übermittelt werden. 14. Audiovisual assistance system (1) according to any one of claims 1 to 13, wherein the industrial system (11), in particular machines and components of the industrial system (11), sensors (18) for detecting measured values and / or error states, wherein the Measured values recorded by the sensors (18) and/or error states from the industrial system (11), in particular the machines or components of the industrial plant (11) or by control units of the industrial plant (11), and/or to the audiovisual assistance system (1), in particular to the at least one mobile device (2), the at least one computer ( 6) or to a central control system.
15. Audiovisuelles Assistenzsystem (1) nach Anspruch 14, wobei das audiovisuelle Assistenzsystem (1), insbesondere das wenigstens eine mobile Gerät (2) oder das zentrale Leitsystem, die angezeigten und/oder empfangenen Messwerte und/oder Fehlerzustände auswertet und einen15. Audiovisual assistance system (1) according to claim 14, wherein the audiovisual assistance system (1), in particular the at least one mobile device (2) or the central control system, the displayed and / or received measured values and / or error states and evaluates a
Tätigkeitsplan für den Instandhalter (3) mit dem wenigstens einen mobilen Gerät (2) erstellt und dem Instandhalter (3) den erstellten Tätigkeitsplan mittels des ersten graphischen Ausgabegeräts (4) anzeigt. Activity plan for the maintenance worker (3) created with the at least one mobile device (2) and the maintenance worker (3) displays the created work plan using the first graphical output device (4).
16. Audiovisuelles Assistenzsystem (1) nach Anspruch 15, wobei der erstellte Tätigkeitsplan als interaktives Menü, insbesondere als S ch ri tt-f ü r-S ch ri tt-An I e i tu ng oder nach dem Frage-Antwort-Prinzip, ausgebildet ist und/oder wobei der erstellte Tätigkeitsplan dem Instandhalter (3) als 3D- Animation und/oder als Filmsequenz anzeigt. 16. Audiovisual assistance system (1) according to claim 15, wherein the created activity plan is designed as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle, and /or wherein the activity plan created is displayed to the maintenance worker (3) as a 3D animation and/or as a film sequence.
17. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 16, wobei dem Instandhalter (3) mittels des ersten graphischen Ausgabegeräts (4) Sicherheitshinweise angezeigt werden, insbesondere bezüglich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. 17. Audiovisual assistance system (1) according to one of claims 1 to 16, wherein the maintenance technician (3) is displayed safety instructions by means of the first graphic output device (4), in particular with regard to the execution of the maintenance work, repair work or installation work.
18. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 17, weiterhin umfassend ein Modul (19) zur Bestellung von Ersatzteilen für die industrielle Anlage (11), insbesondere für Maschinen, Komponenten oder dergleichen. 18. Audiovisual assistance system (1) according to any one of claims 1 to 17, further comprising a module (19) for ordering spare parts for the industrial system (11), in particular for machines, components or the like.
19. Audiovisuelles Assistenzsystem (1) nach Anspruch 18, wobei der Instandhalter (3) und/oder der externe Experte (7) auf das Modul (19) zur Ersatzteilbestellung zugreifen kann. 19. Audiovisual assistance system (1) according to claim 18, the maintenance technician (3) and/or the external expert (7) being able to access the module (19) for ordering spare parts.
20. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 19, wobei der wenigstens eine Rechner (6) dazu ausgebildet ist, auf dem ersten graphischen Ausgabegerät (4) des wenigstens einen mobilen Geräts (2) Markierungen, Texte, Bilder, Grafiken oder dergleichen einzublenden, so dass der externe Experte (7) dem Instandhalter (3) in der industriellen Anlage (11) unterschiedlichste Informationen zur Verfügung stellen kann. 20. Audiovisual assistance system (1) according to one of claims 1 to 19, wherein the at least one computer (6) is designed to display markings, text, images, graphics on the first graphic output device (4) of the at least one mobile device (2). or the like, so that the external expert (7) can provide the maintenance technician (3) in the industrial plant (11) with a wide variety of information.
21. Audiovisuelles Assistenzsystem (1 ) nach Anspruch 20, weiterhin umfassend einen virtuellen Werkzeugkasten (20) zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät (4) des wenigstens einen mobilen Geräts (2) durch den externen Experten (7). 21. Audiovisual assistance system (1) according to claim 20, further comprising a virtual tool box (20) for displaying virtual tools on the first graphical output device (4) of the at least one mobile device (2) by the external expert (7).
22. Audiovisuelles Assistenzsystem (1 ) nach einem der Ansprüche 1 bis 21 , wobei die Vorrichtung (10) zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten (7) Sensoren zum Tragen an den Händen des externen Experten (7), Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel umfassen. 22. Audiovisual assistance system (1) according to any one of claims 1 to 21, wherein the device (10) for detecting and tracking the position and movement of the hands of the external expert (7) sensors to wear on the hands of the external expert (7), Include video sensors, infrared sensors or similar means.
23. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 22, wobei das Netzwerk (9) als drahtgebundenes und/oder drahtloses Netzwerk ausgebildet ist, insbesondere als Local Area Network, Wreless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. 23. Audiovisual assistance system (1) according to one of claims 1 to 22, wherein the network (9) is designed as a wired and / or wireless network, in particular as a local area network, wireless local area network, mobile network network such as according to UMTS, LTE or 5G standard, or combinations thereof.
24. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 23, wobei das wenigstens eine mobile Gerät (2) Eingabemittel umfasst, um die auf dem ersten graphischen Ausgabegerät (4) dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. 24. Audiovisual assistance system (1) according to one of claims 1 to 23, wherein the at least one mobile device (2) comprises input means in order to adapt the information displayed on the first graphic output device (4) and/or to enter information for display.
25. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 24, wobei der wenigstens eine Rechner (6) Eingabemittel umfasst, um die auf dem ersten graphischen Ausgabegerät (4) und/oder dem zweiten graphischen Ausgabegerät (8) dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. 25. Audiovisual assistance system (1) according to one of claims 1 to 24, wherein the at least one computer (6) comprises input means in order to adapt the information displayed on the first graphic output device (4) and/or the second graphic output device (8) and /or enter information for display.
26. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 25, weiterhin umfassend ein Übersetzungssystem (21) oder eine Schnittstelle zu einem Übersetzungssystem, zur Übersetzung von Informationen für den Instandhalter (3) und/oder externen Experten (7), insbesondere zur26. Audiovisual assistance system (1) according to one of claims 1 to 25, further comprising a translation system (21) or an interface to a translation system, for the translation of information for the maintenance worker (3) and/or external experts (7), in particular for
Übersetzung von Audioinformationen, Texten und/oder codiertenTranslation of audio information, text and/or encoded
Informationen. Information.
27. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 26, wobei das wenigstens eine mobile Gerät (2) als Personal-Computer ausgebildet ist, insbesondere als Rucksack-PC. 27. Audiovisual assistance system (1) according to any one of claims 1 to 26, wherein the at least one mobile device (2) is designed as a personal computer, in particular as a backpack PC.
28. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 27, wobei das wenigstens eine mobile Gerät (2) weiterhin ein Dokumentationsmodul umfasst, zur Dokumentation der durch den28. Audiovisual assistance system (1) according to any one of claims 1 to 27, wherein the at least one mobile device (2) further comprises a documentation module for documenting by the
Instandhalter (3) durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Maintenance work, repair work or installation work carried out by maintenance personnel (3).
29. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 28, weiterhin umfassend ein Virtual-Reality-Modul (22) umfassend ein virtuelles dreidimensionales Modell der industriellen Anlage (11), wobei das wenigstens eine mobile Gerät (2) und/oder der wenigstens eine Rechner (6) auf das Virtual-Reality-Modul (22) zugreifen können. 29. Audiovisual assistance system (1) according to any one of claims 1 to 28, further comprising a virtual reality module (22) comprising a virtual three-dimensional model of the industrial plant (11), wherein the at least one mobile device (2) and / or the at least one computer (6) can access the virtual reality module (22).
30. Verfahren zur audiovisuellen Unterstützung eines Instandhalters (3) durch einen externen Experten (7) bei Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage (11), umfassend die Schritte: Herstellen einer Kommunikationsverbindung zwischen einem mobilen Gerät (2) des Instandhalters (3) und einem Rechner (6) des externen Experten (7), Erfassen der Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3), mittels einer Kamera (5), 30. Method for the audio-visual support of a maintenance worker (3) by an external expert (7) during maintenance work, repair work or installation work in an industrial plant (11), comprising the steps: Establishing a communication link between a mobile device (2) belonging to the maintenance worker (3) and a computer (6) belonging to the external expert (7), capturing the surroundings of the mobile device (2), in particular the field of view of the maintenance worker (3), using a camera (5),
Darstellen der mittels der Kamera (5) des mobilen Geräts (2) erfassten Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3), auf einem zweiten graphischen Ausgabegerät (8) des Rechners (6), Representation of the surroundings of the mobile device (2) captured by the camera (5) of the mobile device (2), in particular the field of view of the maintenance worker (3), on a second graphic output device (8) of the computer (6),
Erfassen und Verfolgen der Position und Bewegung der Hände des externen Experten (7) durch eine Vorrichtung (10), und detecting and tracking the position and movement of the hands of the external expert (7) by a device (10), and
Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten (7) auf einem ersten Ausgabegerät (4) des mobilen Geräts (2). Displaying the detected and tracked position and movement of the external expert's (7) hands on a first output device (4) of the mobile device (2).
31. Verfahren nach Anspruch 30, weiterhin umfassend das Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten (7) auf dem zweiten Ausgabegerät (8) des Rechners (6). The method according to claim 30, further comprising displaying the detected and tracked position and movement of the hands of the external expert (7) on the second output device (8) of the computer (6).
32. Verfahren nach Anspruch 30 oder Anspruch 31 , umfassend das Bereitstellen von Informationen zu der industriellen Anlage (11), insbesondere von wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen. 32. The method according to claim 30 or claim 31, comprising the provision of information on the industrial plant (11), in particular maintenance-related, repair-related or installation-related information.
33. Verfahren nach Anspruch 32, umfassend das Anzeigen der Informationen zu der industriellen Anlage (11) auf dem ersten Ausgabegerät (4) des mobilen Geräts (2) und/oder dem zweiten Ausgabegerät (8) des Rechners (6). 33. The method according to claim 32, comprising displaying the information about the industrial installation (11) on the first output device (4) of the mobile device (2) and/or the second output device (8) of the computer (6).
34. Verfahren nach einem der Ansprüche 30 bis 33, umfassend das Erzeugen einer Virtual-Reality und/oder Augmented-Reality für den Instandhalter (3) durch das mobile Gerät (2), insbesondere durch das erste graphische Ausgabegerät (4) des mobilen Geräts (2), welches als Head- Mounted-Display, Optical-See-Through Head-Mounted-Display, Augmented- Reality Head-Mounted-Display, Virtual-Reality Head-Mounted-Display oder einer Kombination daraus ausgebildet ist. 34. The method according to any one of claims 30 to 33, comprising generating a virtual reality and / or augmented reality for the maintenance technician (3) by the mobile device (2), in particular by the First graphical output device (4) of the mobile device (2), which as a head-mounted display, optical see-through head-mounted display, augmented reality head-mounted display, virtual reality head-mounted display or a combination thereof is formed.
35. Verfahren nach einem der Ansprüche 30 bis 34, umfassend das Bestimmen der Position des mobilen Geräts (2) in der industriellen Anlage (11). 35. The method according to any one of claims 30 to 34, comprising determining the position of the mobile device (2) in the industrial plant (11).
36. Verfahren nach einem der Ansprüche 30 bis 35, umfassend das Bestimmen der Blickrichtung des Instandhalters (3). 36. The method according to any one of claims 30 to 35, comprising determining the viewing direction of the maintenance worker (3).
37. Verfahren nach einem der Ansprüche 30 bis 36, umfassend das Erfassen von Entfernungen durch das mobile Gerät (2). 37. The method according to any one of claims 30 to 36, comprising the detection of distances by the mobile device (2).
38. Verfahren nach einem der Ansprüche 30 bis 37, umfassend das Erzeugen einer Virtual-Reality für den externen Experten (7) durch den Rechner (6), insbesondere durch das zweite grafische Ausgabegerät (8) des Rechners (6), welches als Virtual-Reality Head-Up Display oder Virtual-Reality Cave ausgebildet ist. 38. The method according to any one of claims 30 to 37, comprising generating a virtual reality for the external expert (7) by the computer (6), in particular by the second graphic output device (8) of the computer (6), which as a virtual -Reality head-up display or virtual reality cave is formed.
39. Verfahren nach einem der Ansprüche 30 bis 38, umfassend das Erzeugen einer virtuellen Markierung in der industriellen Anlage (11) durch den externen Experten (7), insbesondere im dreidimensionalen Raum der industriellen Anlage (11 ). 39. The method according to any one of claims 30 to 38, comprising the generation of a virtual marking in the industrial plant (11) by the external expert (7), in particular in the three-dimensional space of the industrial plant (11).
40. Verfahren nach einem der Ansprüche 30 bis 39, umfassend das Erfassen von Markern, insbesondere elektronischen Markern, der industriellen Anlage (11), insbesondere von Komponenten und/oder Maschinen der industriellen Anlage (11 ). 40. The method according to any one of claims 30 to 39, comprising the detection of markers, in particular electronic markers, the industrial plant (11), in particular components and / or machines of the industrial plant (11).
41. Verfahren nach einem der Ansprüche 30 bis 40, umfassend das Bereitstellen einer Audiokommunikation zwischen Instandhalter (3) und externem Experten (7). 41. The method according to any one of claims 30 to 40, comprising the provision of audio communication between the maintenance worker (3) and the external expert (7).
42. Verfahren nach einem der Ansprüche 30 bis 41 , umfassend das Speichern zumindest der Daten des mobilen Geräts (2), insbesondere aller an der Wartung, Reparator oder Installation der industriellen Anlage (11) beteiligter Komponenten, zu Dokumentationszwecken. 42. The method according to any one of claims 30 to 41, comprising storing at least the data of the mobile device (2), in particular all of the maintenance, repair or installation of the industrial system (11) involved components, for documentation purposes.
43. Verfahren nach einem der Ansprüche 30 bis 42, umfassend das Erfassen von Messwerten und/oder Fehlerzuständen der industriellen Anlage (11), insbesondere von Maschinen und Komponenten der industriellen Anlage (11), wobei die erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage (11), insbesondere den Maschinen oder Komponenten der industriellen Anlage (11) oder von Steuereinheiten der industriellen Anlage (11), angezeigt werden und/oder an das audiovisuelle Assistenzsystem (1), insbesondere an das wenigstens eine mobile Gerät (2), den wenigstens einen Rechner (6) oder an ein zentrales Leitsystem, übermittelt werden. 43. The method according to any one of claims 30 to 42, comprising the acquisition of measured values and / or error states of the industrial system (11), in particular machines and components of the industrial system (11), wherein the measured values and / or error states detected by the industrial System (11), in particular the machines or components of the industrial system (11) or control units of the industrial system (11), and/or to the audiovisual assistance system (1), in particular to the at least one mobile device (2), the at least one computer (6) or to a central control system.
44. Verfahren nach Anspruch 43, umfassend das Auswerten der erfassten Messwerte und/oder Fehlerzustände, Erstellen eines Tätigkeitsplans für den Instandhalter (3) mit dem mobilen Gerät (2) und Anzeigen des erstellten Tätigkeitsplans für den Instandhalter (3). 44. The method according to claim 43, comprising evaluating the measured values and/or error states recorded, creating an activity plan for the maintenance worker (3) with the mobile device (2) and displaying the created activity plan for the maintenance worker (3).
45. Verfahren nach Anspruch 44, umfassend das Erstellen des Tätigkeitsplans als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort- Prinzip, und/oder Anzeigen des erstellten Tätigkeitsplans als 3D-Animation und/oder als Filmsequenz für den Instandhalter (3). 45. The method according to claim 44, comprising creating the activity plan as an interactive menu, in particular as a step-by-step guide or according to the question-and-answer principle, and/or displaying the activity plan created as a 3D animation and/or as a film sequence for the maintenance person (3).
46. Verfahren nach einem der Ansprüche 30 bis 45, umfassend das Anzeigen von Sicherheitshinweisen für den Instandhalter (3), insbesondere hinsichtlich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. 46. The method according to any one of claims 30 to 45, comprising displaying safety instructions for the maintenance worker (3), in particular with regard to carrying out the maintenance work, repair work or installation work.
47. Verfahren nach einem der Ansprüche 30 bis 46, umfassend das Bestellen von Ersatzteilen für die industrielle Anlage (11), insbesondere für Maschinen, Komponenten oder dergleichen. 47. The method according to any one of claims 30 to 46, comprising ordering spare parts for the industrial plant (11), in particular for machines, components or the like.
48. Verfahren nach Anspruch 47, wobei der Instandhalter (3) und/oder der externe Experte (7) die Ersatzteilbestellung veranlasst. 48. The method according to claim 47, wherein the maintenance technician (3) and/or the external expert (7) initiates the ordering of spare parts.
49. Verfahren nach einem der Ansprüche 30 bis 48, umfassend das Einblenden von Markierungen, Texten, Bildern, Grafiken oder dergleichen auf dem ersten graphischen Ausgabegerät (4) des mobilen Geräts (2) für den Instandhalter (3) durch den externen Experten (7), so dass der externe Experte (7) dem Instandhalter (3) in der industriellen Anlage (11) unterschiedlichste Informationen zur Verfügung stellen kann. 49. The method according to any one of claims 30 to 48, comprising the overlaying of markings, texts, images, graphics or the like on the first graphical output device (4) of the mobile device (2) for the maintenance technician (3) by the external expert (7 ), so that the external expert (7) can provide the maintenance technician (3) in the industrial plant (11) with a wide variety of information.
50. Verfahren nach einem der Ansprüche 30 bis 49, umfassend das Bereitstellen eines virtuellen Werkzeugkastens (20) zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät (4) des mobilen Geräts (2) durch den externen Experten (7). 50. The method according to any one of claims 30 to 49, comprising the provision of a virtual tool box (20) for displaying virtual tools on the first graphical output device (4) of the mobile device (2) by the external expert (7).
51. Verfahren nach einem der Ansprüche 30 bis 50, wobei die Position und Bewegung der Hände des externen Experten (7) durch an den Händen tragbare Sensoren, Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel erfasst werden. 51. The method according to any one of claims 30 to 50, wherein the position and movement of the hands of the external expert (7) are detected by sensors that can be worn on the hands, video sensors, infrared sensors or comparable means.
52. Verfahren nach einem der Ansprüche 30 bis 51 , umfassend das Übertragen von Daten bei der Ausführung des erfindungsgemäßen Verfahrens über ein drahtgebundenes und/oder drahtloses Netzwerk, insbesondere über ein Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. 52. The method according to any one of claims 30 to 51, comprising the transmission of data in the execution of the method according to the invention via a wired and / or wireless network, in particular via a local area network, wireless local area network, mobile network network such as according to the UMTS, LTE or 5G standard, or combinations thereof.
53. Verfahren nach einem der Ansprüche 30 bis 52, umfassend das Anpassen von auf dem ersten graphischen Ausgabegerät (4) dargestellten Informationen und/oder Eingeben von Informationen zur53. The method according to any one of claims 30 to 52, comprising adjusting the on the first graphical output device (4) displayed information and / or entering information for
Darstellung durch den Instandhalter (3), insbesondere mittels Eingabemittel des mobilen Geräts (2). Representation by the maintenance technician (3), in particular by means of input means of the mobile device (2).
54. Verfahren nach einem der Ansprüche 30 bis 53, umfassend das Anpassen von auf dem ersten graphischen Ausgabegerät (4) dargestellten Informationen und/oder Eingeben von Informationen zur54. The method according to any one of claims 30 to 53, comprising the adjustment of on the first graphical output device (4) displayed information and / or entering information for
Darstellung durch den externen Experten (7), insbesondere mittels Eingabemittel des Rechners (6). Presentation by the external expert (7), in particular by means of input means of the computer (6).
55. Verfahren nach einem der Ansprüche 30 bis 54, umfassend das Übersetzen von Informationen für den Instandhalter (3) und/oder externen Experten (7), insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen. 55. Method according to one of claims 30 to 54, comprising the translation of information for the maintenance worker (3) and/or external experts (7), in particular for the translation of audio information, texts and/or coded information.
56. Verfahren nach einem der Ansprüche 30 bis 55, wobei das Verfahren für den Instandhalter (3) mittels eines mobilen Personal computers ausgeführt wird, insbesondere mittels eines Rucksack-PCs. 56. The method according to any one of claims 30 to 55, wherein the method for the maintenance person (3) is carried out by means of a mobile personal computer, in particular by means of a backpack PC.
57. Verfahren nach einem der Ansprüche 30 bis 56, umfassend das Dokumentieren der durch den Instandhalter (3) durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten, insbesondere mittels des mobilen Geräts (2). 57. The method according to any one of claims 30 to 56, comprising documenting the maintenance work, repair work or installation work carried out by the maintenance technician (3), in particular by means of the mobile device (2).
58. Verfahren nach einem der Ansprüche 30 bis 57, umfassend das Bereitstellen eines virtuellen dreidimensionalen Modells der industriellen Anlage, wobei der Instandhalter (3) und/oder der externe Experte (7) auf das virtuelle dreidimensionale Modell zugreifen können. 58. The method according to any one of claims 30 to 57, comprising the provision of a virtual three-dimensional model of the industrial plant, the maintenance worker (3) and/or the external expert (7) being able to access the virtual three-dimensional model.
59. Verfahren nach einem der Ansprüche 30 bis 58, wobei das Verfahren mittels eines audiovisuellen Assistenzsystems (1) gemäß einem der Ansprüche 1 bis 29 ausgeführt wird. 59. The method according to any one of claims 30 to 58, wherein the method is carried out by means of an audiovisual assistance system (1) according to any one of claims 1 to 29.
60. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 30 bis 59 auszuführen. 60. A computer program comprising instructions which, when the program is executed by a computer, cause the latter to execute the method according to any one of claims 30 to 59.
PCT/EP2022/063632 2021-06-10 2022-05-19 Audiovisual assistance system, method and computer program for supporting maintenance works, repair works or installation works in an industrial system WO2022258343A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021205859.0 2021-06-10
DE102021205859.0A DE102021205859A1 (en) 2021-06-10 2021-06-10 Audiovisual assistance system, method and computer program for supporting maintenance work, repair work or installation work in an industrial plant

Publications (1)

Publication Number Publication Date
WO2022258343A1 true WO2022258343A1 (en) 2022-12-15

Family

ID=82116851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/063632 WO2022258343A1 (en) 2021-06-10 2022-05-19 Audiovisual assistance system, method and computer program for supporting maintenance works, repair works or installation works in an industrial system

Country Status (2)

Country Link
DE (1) DE102021205859A1 (en)
WO (1) WO2022258343A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1647869A2 (en) 2004-10-15 2006-04-19 Siemens Aktiengesellschaft Data transmission to and from automation components
US20070273610A1 (en) 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20130288719A1 (en) 2012-04-27 2013-10-31 Oracle International Corporation Augmented reality for maintenance management, asset management, or real estate management
WO2015028978A1 (en) 2013-08-29 2015-03-05 Umpi Elettronica - Societa' A Responsabilita' Limitata Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality
DE102016224459A1 (en) * 2015-12-11 2017-06-14 Sms Group Gmbh Mobile visual assistance in metallurgical, rolling, forging and tube works
EP3318944A2 (en) * 2016-11-08 2018-05-09 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
US20190370544A1 (en) * 2017-05-30 2019-12-05 Ptc Inc. Object Initiated Communication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1647869A2 (en) 2004-10-15 2006-04-19 Siemens Aktiengesellschaft Data transmission to and from automation components
US20070273610A1 (en) 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20130288719A1 (en) 2012-04-27 2013-10-31 Oracle International Corporation Augmented reality for maintenance management, asset management, or real estate management
WO2015028978A1 (en) 2013-08-29 2015-03-05 Umpi Elettronica - Societa' A Responsabilita' Limitata Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality
DE102016224459A1 (en) * 2015-12-11 2017-06-14 Sms Group Gmbh Mobile visual assistance in metallurgical, rolling, forging and tube works
WO2017097902A1 (en) 2015-12-11 2017-06-15 Sms Group Gmbh Mobile visual assistance in steel, rolling, forging and pipe mills
EP3318944A2 (en) * 2016-11-08 2018-05-09 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
US20190370544A1 (en) * 2017-05-30 2019-12-05 Ptc Inc. Object Initiated Communication

Also Published As

Publication number Publication date
DE102021205859A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
DE102006014634B4 (en) Human machine interface for a control system
DE19953739C2 (en) Device and method for object-oriented marking and assignment of information to selected technological components
DE102005061211B4 (en) Method for creating a human-machine user interface
CN106340217B (en) Manufacturing equipment intelligence system and its implementation based on augmented reality
EP1163557B1 (en) System and method for processing documents with a multi-layer information structure, in particular for technical and industrial applications
EP1451652B1 (en) System and method for establishing a documentation of working processes for display in an augmented reality system
EP1157314B1 (en) Use of augmented reality fundamental technology for the situation-specific assistance of a skilled worker via remote experts
EP1701233B1 (en) Generation of virtual worlds based on a real environment
DE102019122343A1 (en) DEVIATION CORRECTION FOR INDUSTRIAL APPLICATIONS WITH EXTENDED REALITY
EP3387589A1 (en) Mobile visual assistance in steel, rolling, forging and pipe mills
EP3337751A1 (en) Method for monitoring a building site, work machine, and system for monitoring a building site
WO2005045729A1 (en) System and method for carrying out and visually displaying simulations in an augmented reality
DE10242007A1 (en) Portable computer in a process control environment
EP3623891A1 (en) Individualised image hierarchies for a control system of a technical installation
DE102006051533A1 (en) Handling machine for drink containers has monitoring unit including picture manipulation unit reacting to state signals in storage device
DE102004021379B4 (en) Operating and monitoring system for industrial plants and processes
WO2022258343A1 (en) Audiovisual assistance system, method and computer program for supporting maintenance works, repair works or installation works in an industrial system
EP1487616B1 (en) Automatic process control
EP3607419B1 (en) Method and device for displaying component documentation
DE19546223A1 (en) Process and management system for the management of spatially separated objects
EP4147202A2 (en) Method and arrangement for testing the quality of an object
EP3640767B1 (en) Method for determining at least one area in at least one input model for at least one element to be placed
EP4186651B1 (en) System and method with a system
EP2515554A2 (en) Method for visualising status data of a machine in an assembly and device for same
DE102018217834A1 (en) Method and system for operating a detection and display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22731997

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
122 Ep: pct application non-entry in european phase

Ref document number: 22731997

Country of ref document: EP

Kind code of ref document: A1