WO2020173983A1 - Verfahren und vorrichtung zum überwachen eines industriellen prozessschrittes - Google Patents

Verfahren und vorrichtung zum überwachen eines industriellen prozessschrittes Download PDF

Info

Publication number
WO2020173983A1
WO2020173983A1 PCT/EP2020/054991 EP2020054991W WO2020173983A1 WO 2020173983 A1 WO2020173983 A1 WO 2020173983A1 EP 2020054991 W EP2020054991 W EP 2020054991W WO 2020173983 A1 WO2020173983 A1 WO 2020173983A1
Authority
WO
WIPO (PCT)
Prior art keywords
decision algorithm
machine learning
image data
digital image
industrial process
Prior art date
Application number
PCT/EP2020/054991
Other languages
English (en)
French (fr)
Inventor
Thomas Neumann
Daniel MARCEK
Florian Weiss
Original Assignee
Wago Verwaltungsgesellschaft Mbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wago Verwaltungsgesellschaft Mbh filed Critical Wago Verwaltungsgesellschaft Mbh
Priority to CN202080030630.7A priority Critical patent/CN113748389A/zh
Publication of WO2020173983A1 publication Critical patent/WO2020173983A1/de
Priority to US17/446,042 priority patent/US20210390303A1/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31447—Process error event detection and continuous process image detection, storage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the invention relates to a method for monitoring an industrial process step of an industrial process by means of a monitoring system.
  • the invention also relates to a monitoring system for this.
  • EP 1 157 316 B1 A system and a method for situation-appropriate support of an interaction with the aid of augmented reality technologies are known from EP 1 157 316 B1.
  • a networked augmented reality system which consists of one or more local stations or more local stations and one or more remote stations.
  • the remote stations can provide resources that are not available in a local station, e.g. Databases, high-performance computers, etc.
  • the object of the present invention is to provide an improved method and an improved device with which manual process steps of an industrial process can be monitored with regard to quality assurance.
  • a method for monitoring an industrial process step of an industrial process by means of a monitoring system is proposed.
  • the machine learning system provided has at least one machine-learned decision algorithm which contains a correlation between digital image data as input data and process states of the industrial process step as output data.
  • the machine learning system thus provides a system in which digital image data have been learned as input data with regard to their corresponding process states in such a way that, by inputting digital image data on the basis of the principle of the learned generalization, corresponding process states from the learned correlation can be derived and determined.
  • digital image data are now continuously recorded by means of at least one image sensor of at least one image recording unit.
  • the digital image sensor can be worn by the person on the body and thus particularly records digital image data in the area of the person's gaze or handling. It can be provided that several people are involved in the process step to be carried out, and several of these people can be equipped with an image recording unit. It is also conceivable, however, that the viewing and / or handling area of one or more people is recorded by at least one stationary image recording unit and the respective image sensors.
  • the machine learning system with the decision algorithm can be executed, for example, on a computing unit, wherein the computing unit can be accommodated together with the digital image sensors in a mobile device and is carried by the person concerned.
  • the digital computing unit with the decision algorithm is part of a larger data processing system with which the image recording device or the digital
  • the decision algorithm of the machine learning system is an artificial neural network which receives the digital image data (in the processed state or in an unprocessed state) via the corresponding input neurons as corresponding input data and generates an output by corresponding output neurons of the artificial neural network, where the output characterizes a process status of the industrial sub-process.
  • the currently recorded image data can be provided to the artificial neural network as input data so that it can use the learned image data can assign a corresponding process status.
  • the digital image data are recorded by at least one mobile device, the mobile device being carried by a person involved in the industrial process step and the digital image sensor (s) being arranged on the mobile device.
  • the image data recorded by the mobile device are then transmitted to the machine learning system with the at least one decision algorithm.
  • Such a mobile device can, for example, contain or be a spectacle construction that can be worn by a person, the at least one image sensor being arranged on the wearable spectacle construction.
  • the image data are now recorded and transmitted to the machine learning system with the decision algorithm.
  • the digital image sensors are arranged on the glasses construction in such a way that they record the field of vision of the person when the glasses construction is worn by the person as glasses. Since the head is generally aligned in the viewing direction, the area or section of the person's action is preferably recorded when they are looking in the respective direction.
  • Such mobile devices with glasses construction can be, for example, VR glasses (Virtual Reality) or AR glasses (Augmented Reality).
  • the glasses construction can be connected to the above-described computing unit or have such a computing unit. It is conceivable that the glasses construction has a communication module to communicate with the arithmetic unit when the arithmetic unit with the knowledge database of the machine learning system is arranged at a remote location. Such a communication module can be wireless or wired, for example, and address appropriate communication standards such as Bluetooth, Ethernet, WLAN and the like. With the help of the communication module, the image data and / or the current process status, which was recognized with the help of a decision algorithm, can be transmitted.
  • the output unit for visual, acoustic and / or haptic output can be arranged on the glasses construction in such a way that the output unit can generate a corresponding visual, acoustic and / or haptic output to the person.
  • a corresponding visual indication is projected in the person's field of vision in order to transmit the process status determined from the machine learning system as a corresponding output to the person.
  • a localized output can also take place, i.e. the person's surroundings, which can be perceived through the person's eyes, are virtually expanded by means of corresponding notices in such a way that these notices are located directly on the respective object in the person's surroundings.
  • An acoustic output in the form of voice outputs, tones or other acoustic cues is also conceivable.
  • a haptic output is also conceivable, for example in the form of a vibration or the like.
  • the digital image sensors can be 2D image sensors for recording 2D image data, for example. In this case, a digital image sensor is usually sufficient. But it is also conceivable that the digital image sensors 3D Image sensors for recording digital 3D image data are. A corresponding combination of 2D and 3D image data is also conceivable.
  • This 2D image information or 3D image information is then provided as input data in accordance with the at least one decision algorithm of the machine learning system in order to obtain the process states as output data.
  • the 3D image data, or also in combination with 2D and 3D image data achieve a significantly higher level of accuracy.
  • additional parameters of physical objects can be recorded, such as the size and ratio, and taken into account when determining the current process status.
  • additional depth information can be determined by means of 3D image data in the context of the invention and taken into account when determining the current process status.
  • objects can be scanned, measured and / or the distance to them can be measured and taken into account when determining the current process status using the 3D image data. This improves the process, as further information, for example for the detection of defective components, is recorded and evaluated and thus improves the quality assurance process step.
  • the 3D image sensors can be a so-called time-of-flight camera, for example. However, there are also other, known image sensors that can be used in the context of the present invention.
  • the parameters determined from the 3D image data such as, for example, size, ratio, distance, etc., which can be derived directly or indirectly from the 3D image data, were also learned at least in part.
  • the decision algorithm thus contains not only a correlation between image data and process status, but also, in an advantageous embodiment, a correlation between process parameters, derived from the 3D image data or a Combinations of 2D and 3D image data and process status. This can improve the recognition accuracy.
  • the mobile devices can also contain an output unit so that the respective person wearing the mobile device can also perceive a corresponding output from the output unit through the mobile device.
  • the monitoring system can be set up in such a way that in a training mode the at least one decision algorithm of the machine learning system is learned from the recorded digital image data. It is conceivable that the decision algorithm of the machine learning system is initially learned in training mode and then operated exclusively in a productive mode. However, a combination of training mode and productive mode is also conceivable, so that not only are the process states continuously determined as output data from the decision algorithm of the machine learning system, but the decision algorithm (and the knowledge base stored in it) is continuously learned (for example in the form of a open learning process). This makes it possible to continuously develop the decision algorithm in order to improve the output behavior.
  • the decision algorithm of the machine learning process runs in a first possible alternative on the computing unit as an instance, so that the productive mode and possibly the training mode are executed on one and the same knowledge base or with one and the same decision algorithm.
  • the at least one decision algorithm runs on two separate processing units or is present in the processing unit as at least two instances, the productive mode of a first instance of the decision algorithm being executed while the training mode is performed on a second instance is performed.
  • the decision algorithm remains unchanged in the productive mode, while the second instance of the decision algorithm is continuously developed.
  • the second alternative is particularly advantageous when the machine learning system with the decision algorithm is executed on a mobile processing unit. Since the computing capacity for a complex training mode is usually not available here, only the productive mode can be executed with the mobile computing units, while a further knowledge database is continuously learned on a remotely located second computing unit (e.g. a server system).
  • one or more parameters of the decision algorithm are learned based on the recorded digital image data through a training module of the machine learning system and / or if in a productive mode the decision algorithm of the machine learning system uses the at least one current process status of the industrial process step is determined.
  • the at least one current process status of the industrial process step is determined by the decision algorithm executed on at least one mobile device, the mobile device being carried by a person involved in the industrial process step. It is conceivable that there is also a large number of mobile devices on each of which a corresponding decision algorithm of the machine learning system is executed, so that a correspondingly current process status can be determined on each mobile device with the aid of the decision algorithm executed.
  • the recorded digital image data can be transmitted to a data processing system that can be accessed in a network, one or more parameters of the decision algorithm being learned based on the recorded digital image data and then being learned by a training module of the machine learning system executed on the data processing system. licd the parameters of the decision algorithm are transmitted from the data processing system to the mobile device carried by the person and the decision algorithm is used as a basis.
  • the recorded digital image data are transmitted to a data processing system that can be reached in a network, the at least one current process status of the industrial process step being determined by the decision algorithm executed on the data processing system, and then depending on the determined current process state of the industrial process step, the output unit for generating the visual, acoustic and / or haptic output is controlled by the data processing system.
  • a training module of the machine learning system executed on the data processing system learns one or more parameters of the decision algorithm based on the recorded digital image data.
  • the output unit can be controlled directly by the data processing system or indirectly by interposing the mobile device or devices.
  • the productive mode and possibly also the training mode are executed on the data processing system that can be reached in the network, so that only the image data of the image sensors are transmitted from the mobile devices and, if the output unit is arranged on the mobile devices, the result of the current process status is transmitted back to the mobile devices.
  • decision algorithms are available on the data processing system, it is also conceivable if these are learned independently of one another and then the decision algorithm that is best learned is then selected. The selection can be made on the basis of different criteria, such as recognition quality, simplicity of the knowledge structure, etc.
  • a decision algorithm for example available on the data processing system, is selected from several decision algorithms that are learned independently of one another as a function of a selection criterion and / or an optimization criterion.
  • a selection criterion and / or optimization criterion can be, for example, the recognition quality, the simplicity, the knowledge structure, properties of the mobile device on which the decision algorithm is executed, etc.
  • the selected decision algorithm is then used to determine the current process status. This can be done, for example, by transferring the image data to the data processing unit and to the selected one there Decision algorithm can be used as input data. However, this can also be done by transferring the decision algorithm to the relevant mobile device and applying it there.
  • the decision algorithm can, for example, be selected so that it is optimally adapted to the mobile device. If, for example, the mobile device is a resource-restricted or low-resource device (reduced performance compared to other mobile devices), a decision algorithm can be selected which is optimally adapted to the resource conditions prevailing in the mobile device. This could mean, for example, that the decision algorithm is less computationally intensive and can therefore be optimally executed on the mobile device (however, it may have a reduced accuracy or speed or efficiency). This can be achieved, for example, by a simplified knowledge structure of the decision algorithm. Of course, this also applies to the monitoring system.
  • each mobile device has a decision algorithm that is then sent by the data processing system and the decision algorithms trained there to all of the parameters of a decision algorithm available there (or a selection of them ) is transmitted to mobile devices in order to combine different learned decision algorithms on the mobile devices.
  • the monitoring system having the following:
  • At least one image recording unit the at least one digital signal
  • Image sensor for receiving digital image data
  • a machine learning system with at least one machine-learned decision algorithm that establishes a correlation between digital image data contains as input data of the machine learning system and process states of the industrial process step to be monitored as output data of the machine learning system;
  • At least one computing unit for determining at least one current process state of the industrial process step by means of the decision algorithm that can be executed on the computing unit, by using at least one current process state of the industrial process step as output data from the recorded digital image data as input data of the machine learning system based on the learned decision algorithm machine learning system is generated;
  • an output unit which is set up to generate a visual, acoustic and / o the haptic output to a person as a function of the at least one determined current process state.
  • the machine learning system is or contains an artificial neural network as a decision algorithm.
  • the monitoring system has at least one mobile device that is designed to be carried by the at least one person and on which the at least one digital image sensor of the image recording unit is arranged such that the digital image data can be recorded, the mobile device is set up to transmit the recorded digital image data to the maschi nelle learning system.
  • the monitoring system has a training mode in which one or more parameters of the decision algorithm based on the recorded digital image data are learned by a training module of the machine learning system and / or the monitoring system has a productive mode in which the at least one current process status of the industrial process step is determined by the decision algorithm of the machine learning system.
  • the monitoring system has a mobile device with a processing unit, which can be carried by a person involved in the industrial process step, the mobile device being set up to display the at least one current process status of the industrial process step through the one on the processing unit to determine the executed decision algorithm.
  • the monitoring system has a data processing system that can be reached in a network and that is set up to receive the digital image data recorded by the image recording unit, using a training module of the machine learning system executed on the data processing system, one or more parameters of the decision algorithm based on the to learn received digital image data and then to transfer the parameters of the decision algorithm from the data processing system to the mobile device carried by the person.
  • the monitoring system has a data processing system accessible in a network, which is set up to receive the digital image data recorded by the image recording unit, to determine at least one current process status of the industrial process step by the decision algorithm executed on the data processing system and as a function to control the output unit for generating the visual, acoustic and / or haptic output from the determined current process status of the industrial process step.
  • the data processing system is still set up, a training program carried out on the data processing system module of the machine learning system to learn one or more parameters of the decision algorithm based on the received digital image data and to base the decision algorithm.
  • a decision algorithm for the training mode or the training module and a decision algorithm for the productive mode or the productive module.
  • a separate decision algorithm can be available for each mobile terminal in training mode as well as in productive mode.
  • there is a separate decision algorithm for a specific group of mobile devices which is learned jointly by the group of mobile devices in training mode.
  • a decision algorithm trained in this way for a group of mobile devices is then only transmitted through its parameters to the mobile devices in the group.
  • FIG. 1 Schematic representation of the monitoring system
  • FIG. 2 - a schematic representation of the mobile device
  • FIG. 3 Schematic representation of a data processing system.
  • Figure 1 shows schematically in a very simplified representation the individual components of the monitoring system 1, with which a manual industrial process step (not shown) of an industrial process is to be monitored.
  • the monitoring system 1 has an augmented reality system 100 which has at least two image sensors 110 and 120 in the form of a mobile device.
  • the first image sensor 110 is a 2D image sensor for recording 2D image data
  • the second image sensor 120 is a 3D image sensor for recording digital 3D image data.
  • the digital image data recorded by the image sensors 110 and 120 are then made available to a first arithmetic unit 130, which then controls an output unit 140 of the augmented reality system 100 based on its calculations.
  • the output unit 140 is designed for visual, acoustic and / or hap tables output to a person.
  • Both the image sensors 110 or 120 and the output unit 140 do not necessarily have to be an integral part of a mobile device. It is also conceivable that these are distributed components that are only linked to the computing unit 130 by the mobile device. However, an integral solution is conceivable and preferred in which the mobile device, for example AR glasses or VR glasses, contains both the image sensors 110 or 120 and the output unit 140. It is advantageous if the image sensors 110 and 120 per se and the output unit 140 are part of a glasses construction that is worn by a person in question in the manner of glasses.
  • the first computing unit 130 can also be part of the glasses, which enables a very compact construction. It is also conceivable, however, that the computing unit 130 is carried in the form of a mobile device on the body of the person concerned and is connected to the glasses by wire and / or wireless.
  • the monitoring system 1 also has a data processing system 300 which is connected to the mobile device 100 or the augmented reality system 100 via a network 200.
  • the data processing system 300 has a second arithmetic unit 310, which is set up accordingly in connection with the determination of the current process status.
  • the second computing unit 310 of the data processing system 300 can execute a training module with which a decision algorithm is trained. It is also conceivable that the second processing unit 310 executes a productive module with which the current process status is determined based on a decision algorithm.
  • a configuration unit 400 can also be reached via the network 200 to the data processing system 300, which configuration unit can in particular contain information relating to the classification of the images. This is useful, for example, if the recorded image data, be it 2D image data or 3D image data, have previously been analyzed and, if necessary, classified.
  • FIG. 2 shows schematically the augmented reality system 100 with the first computing unit 130 and the data transmitted in the various configurations.
  • the first arithmetic unit 130 receives the 2D image data D1 10 from the 2D image sensor 110.
  • the first arithmetic unit 130 also receives the 3D image data D120 from the 3D image sensor. It is of course conceivable that either only the 2D image data D1 10 or the 3D image data D120 are provided to the first computing unit 130.
  • the image data D110 and / or the image data D120 are provided to the first decision module 131 of the first computing unit 130 of the augmented reality system 100, the first decision module for executing a decision algorithm, for example in the form of a neural network, is trained.
  • the decision algorithm of the first decision module 130 is part of a machine learning system and contains a correlation between digital image data as input data on the one hand and process states of the industrial process step to be monitored as output data on the other hand.
  • the decision algorithm of the first decision module 131 is now fed with the image data D110 and / or D120 as input data and then determines the current process state D131 as output data.
  • the current process state D131 is locally generated decision data that was generated by the decision algorithm executed on the first processing unit with the aid of the first decision module 131. This current process state D131 determined in this way is then transmitted via an interface of the first computing unit 130 to the output unit 140, where a corresponding acoustic, visual and / or haptic output can then take place.
  • the output unit 140 can be designed in such a way that it generates a corresponding output directly on the basis of the determined current process state D131. However, it is also conceivable that, based on the current process state D131, a corresponding control of an output unit 140 that does not have any further intelligence takes place.
  • the augmented reality system 100 operates independently of a possibly existing server system with regard to the productive mode, it being possible for the decision algorithm to remain trained or untrained. It is conceivable that a training mode is also carried out by the first decision module in order to further train the decision algorithm present in the first decision module. Training mode and productive mode are thus executed jointly by the first processing unit 130. In a further embodiment, however, it is conceivable that the image data D1 10 and D120 are transmitted via the network 200 to the data processing system 300 already known from FIG. 1 and the second processing unit 310 present there.
  • the result of the first processing unit 130 of the augmented reality system 100 can either be a remotely determined current process state D31 1 or parameters D312 of the further trained decision algorithm. It is also conceivable, however, that both data records D31 1, D312 are provided to the first computing unit 130.
  • the data processing system 300 provides the parameters D312 of the decision algorithm further trained by the data processing system via the network 200, then these parameters D312 are made available to the first decision module 131.
  • the decision algorithm present there is now supplemented or expanded or replaced by the parameters D312, so that the productive mode of the first decision module 131 is based on a decision algorithm trained in the data processing system.
  • the image data D1 10 and D120 are of course still provided to the first decision module 131 in order to determine the current process status D131 locally by the first processing unit 130.
  • the basis of the decision module 131 is continuously improved by a remotely trained decision algorithm, as a result of which the recognition rate can be improved.
  • the data processing system 300 determines the current process status in a productive mode of a second computing unit 310 and then makes it available to the first computing unit 130. If the current process status is only determined by the data processing system 300, this is then transmitted to the output unit 140 as data D31 1. If, however, at the same time a corresponding current process state D131 is also determined by the first processing unit and the decision module 131 contained therein, then both process states of the corresponding output unit become Provided. This can then generate a corresponding output from the two process states (local: D131, remote: D31 1).
  • FIG. 3 shows a schematic, detailed view of the data flow of the second processing unit 310 of the data processing system 300.
  • the image data D1 10 and D120 are transmitted to the second computing unit 310 via the network.
  • the second processing unit 310 can have a second decision module 31 1 and / or a training module 312, both modules, if both are present, also providing the respective image data D1 10 and D120.
  • the second decision module 31 1 has one or more decision algorithms which contain a correlation between the digital image data D1 10, D120 as input data and process states D31 1 as output data.
  • the output data D31 1 in the form of current process states are then transmitted back to the augmented reality system 100 (see FIG. 2) via the network.
  • the second processing unit 310 can have a training module 312, which likewise receives the image data D1 10 and D120. With the aid of the training module, the parameters of the decision algorithm are then learned in a corresponding learning process and then optionally made available to decision module 31 1 in the form of parameter data D312. The newly learned parameters D312 of the decision algorithm can in turn be provided to the augmented reality system 100 by the training module 312 via the network.
  • the learned parameters D312 can be transmitted to the augmented reality system 100 at discrete, not necessarily fixed times. It is also conceivable that these parameters D312 of the decision algorithm are transmitted to more than one augmented reality system that is connected to the data processing system 300. Reference number

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen eines industriellen Prozessschrittes eines Industrieprozesses mittels eines Überwachungssystems, wobei das Verfahren die folgenden Schritte umfasst: - Bereitstellen eines maschinellen Lernsystems des Überwachungssystems, das mittels mindestens eines maschinell angelernten Entscheidungsalgorithmus eine Korrelation zwischen digitalen Bilddaten als Eingabedaten und Prozesszustände des zu überwachenden industriellen Prozessschrittes als Ausgabedaten enthält; - Aufnehmen von digitalen Bilddaten mittels mindestens eines Bildsensors wenigstens einer Bildaufnahmeeinheit des Überwachungssystems; - Ermitteln mindestens eines aktuellen Prozesszustandes des industriellen Prozessschrittes durch den Entscheidungsalgorithmus des maschinellen Lernsystems, indem basierend auf dem angelernten Entscheidungsalgorithmus aus den aufgenommenen digitalen Bilddaten als Eingabedaten des maschinellen Lernsystems mindestens ein aktueller Prozesszustand des industriellen Prozessschrittes als Ausgebedaten des maschinellen Lernsystems generiert wird; und - Überwachen des industriellen Prozessschrittes durch Erzeugen einer visuellen, akustischen und/oder haptischen Ausgabe mittels einer Ausgabeeinheit in Abhängigkeit von dem mindestens einen ermittelten aktuellen Prozesszustand.

Description

Verfahren und Vorrichtung zum Überwachen eines industriellen Prozessschrittes
Die Erfindung betrifft ein Verfahren zum Überwachen eines industriellen Prozess schrittes eines Industrieprozesses mittels eines Überwachungssystems. Die Erfin dung betrifft ebenso ein Überwachungssystem hierzu.
Bei der industriellen Fertigung werden auch heute noch teilweise manuelle Prozess schritte benötigt, die durch eine Person händisch ausgeführt werden müssen. Ge rade im Bereich der Qualitätssicherung werden manuelle bzw. händische Prozess schritte, die durch eine Person aktiv ausgeführt werden müssen, benötigt, um das Produkt hinsichtlich seiner vorbestimmten Eigenschaften zu untersuchen und ggf. die Untersuchung zu dokumentieren.
Aber auch bei Teilprozessen in der Fertigung, bei denen noch manuelle bzw. händi sche Prozessschritte, ausgeführt durch eine Fachkraft, benötigt werden, wäre es wünschenswert, die manuell bzw. händisch ausgeführten Prozessschritte hinsichtlich ihrer Korrektheit im Sinne einer Qualitätssicherung zu untersuchen bzw. zu überwa chen. Denn Fehler während der manuellen bzw. händischen Abarbeitung der Pro zessschritte des gesamten Industrieprozesses können in darauf folgenden automati sierten Teilprozessen zu einem Anlagenstillstand oder einer Beschädigung der An lage führen, was zusätzliche Wartungs- und Rüstzeiten bedarf. Darüber hinaus wer den ggf. fehlerhaft durchgeführte Prozessschritte erst am Schluss bei der Qualitätssi cherung entdeckt, was zu einer großen Ressourcenverschwendung führt. Aus der EP 1 183 578 B1 ist eine Vorrichtung bekannt, welche ein Augmented-Rea- lity-System mit einem mobilen Gerät zum kontextabhängigen Einblenden von Monta gehinweisen beschreibt.
Aus der EP 1 157 316 B1 ist ein System und ein Verfahren zur situationsgerechten Unterstützung einer Interaktion mithilfe von Augmented-Reality-Technologien be kannt. Für eine optimierte Unterstützung, insbesondere beim Systemaufbau, bei der Inbetriebsetzung bis hin zu Wartung von automatisierungstechnisch gesteuerten Systemen und Prozessen wird vorgeschlagen, dass eine konkrete Arbeitssituation automatisch erfasst und statistisch analysiert wird.
Aus der US 2002/0010734 A1 ist ein vernetztes Augmented-Reality-System bekannt, welches aus einer oder mehreren lokalen Stationen oder mehreren lokalen Stationen und einer oder mehreren entfernten Stationen besteht. Die entfernten Stationen kön nen Ressourcen bereitstellen, die in einer lokalen Station nicht verfügbar sind, z.B. Datenbanken, Hochleistungsrechner etc.
Aus der US 6,463,438 B1 ist ein auf einem neuronalen Netz basierendes Bilderken nungssystem zur Detektion von Krebszellen und Klassifizierung der Gewebezellen als normal oder abnormal bekannt.
Es ist Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren sowie eine verbesserte Vorrichtung anzugeben, mit dem/der manuelle Prozessschritte eines In dustrieprozesses im Hinblick auf die Qualitätssicherung überwacht werden können.
Die Aufgabe wird mit dem Verfahren gemäß Anspruch 1 sowie der korrespondieren den Vorrichtung gemäß Anspruch 9 erfindungsgemäß gelöst. Vorteilhafte Ausgestal tungen finden sich in den entsprechenden Unteransprüchen.
Gemäß Anspruch 1 wird ein Verfahren zum Überwachen eines industriellen Prozess schrittes eines Industrieprozesses mittels eines Überwachungssystems vorgeschla- gen, wobei zunächst ein maschinelles Lernsystem des Überwachungssystems be reitgestellt wird. Das bereitgestellte maschinelle Lernsystem weist mindestens einen maschinell angelernten Entscheidungsalgorithmus auf, der eine Korrelation zwischen digitalen Bilddaten als Eingabedaten und Prozesszuständen des industriellen Pro zessschrittes als Ausgabedaten enthält. Das maschinelle Lernsystem stellt somit mit dem mindestens einen Entscheidungsalgorithmus ein System zur Verfügung, bei dem digitale Bilddaten als Eingabedaten hinsichtlich ihrer entsprechenden Prozess zustände so gelernt wurden, dass durch Eingabe von digitalen Bilddaten auf Grund lage des Prinzips der gelernten Verallgemeinerung entsprechende Prozesszustände aus der gelernten Korrelation abgeleitet und ermittelt werden können.
Zur Überwachung des industriellen Prozessschrittes, insbesondere einen durch eine Person manuell bzw. händisch ausgeführten Prozessschritt, werden nun kontinuier lich digitale Bilddaten mittels mindestens eines Bildsensors mindestens einer Bildauf nahmeeinheit aufgenommen. Der digitale Bildsensor kann dabei von der Person am Körper getragen und nimmt somit insbesondere digitale Bilddaten im Blick- bzw. Handhabungsbereich der Person auf. Dabei kann vorgesehen sein, dass mehrere Personen an dem auszuführenden Prozessschritt beteiligt sind, wobei mehrere die ser Personen mit einer Bildaufnahmeeinheit ausgestattet sein können. Denkbar ist aber auch, dass der Blick- und/oder Handhabungsbereich einer oder mehrerer Per sonen durch mindestens eine stationäre Bildaufnahmeeinheit und den jeweiligen Bildsensoren aufgenommen wird.
Über eine drahtgebundene bzw. drahtlose Verbindung werden diese durch die min destens eine Bildaufnahmeeinheit aufgenommenen digitalen Bilddaten an das ma schinelle Lernsystem mit dem mindestens einen Entscheidungsalgorithmus übermit telt, wobei auf Basis der digitalen Bilddaten als Eingabedaten in den Entscheidungs algorithmus des maschinellen Lernsystems die hierzu angelernten Prozesszustände als Ausgabedaten ermittelt werden. Auf Basis des ermittelten Prozesszustandes wird nun eine Ausgabeeinheit so angesteuert, dass eine visuelle, akustische und/oder haptische Ausgabe eine Person, beispielsweise an die am Prozess beteiligten Perso nen, ausgegeben wird. So ist es beispielsweise denkbar, dass bei einem erkannten Prozesszustand, der ei nen fehlerhaften Status des Prozessschrittes charakterisiert, eine entsprechende vi suelle, akustische und/oder haptische Warnung an die Person ausgegeben wird, um so das Bewusstsein auf den fehlerhaften Prozessablauf zu richten.
Hierdurch wird es möglich, dass bereits während der Entstehung von Prozessfehlern bei der Ausführung von insbesondere manuellen Prozessschritten die Person auf den jeweiligen fehlerhaft durchgeführten Prozessablauf hingewiesen werden kann, so dass sich ein solcher fehlerhafter Prozessablauf im gesamten industriellen Pro zess nicht weiter fortpflanzt und so ggf. größeren Schaden anrichten kann. Vielmehr wird es durch die vorliegende Erfindung möglich, Fehler bei der Durchführung von manuellen Prozessschritten bereits während des Entstehens zu erkennen und die betreffende Person darauf hinzuweisen. Es wird darüber hinaus auch möglich, im Bereich der manuellen Qualitätssicherung die für die Qualitätssicherung zuständige Person durch ein automatisches Erkennen von fehlerhaften Bauteilen zu unterstüt zen und so den Prozessschritt der Qualitätssicherung zu verbessern und effizienter zu gestalten. Außerdem kann mithilfe der vorliegenden Erfindung der manuell durch geführte Prozessschritt dokumentiert werden, wodurch Dokumentationspflichten bei der Durchführung sicherheitskritischer Prozessschritte nachgekommen werden kann.
Das maschinelle Lernsystem mit dem Entscheidungsalgorithmus kann beispielsweise auf einer Recheneinheit ausgeführt werden, wobei die Recheneinheit zusammen mit den digitalen Bildsensoren in einem mobilen Gerät untergebracht sein kann und von der betreffenden Person mitgeführt wird. Denkbar ist aber auch, dass die digitale Re cheneinheit mit dem Entscheidungsalgorithmus Bestandteil einer größeren Datenver arbeitungsanlage ist, mit der die Bildaufnahmeeinrichtung bzw. die digitalen
Bildsensoren drahtlos oder drahtgebunden verbunden sind. Selbstverständlich ist auch eine Mischform beider Varianten, d.h. sowohl eine zentrale als auch eine de zentrale Bereitstellung des Entscheidungsalgorithmus denkbar. In einer Ausführungsform ist der Entscheidungsalgorithmus des maschinellen Lern systems ein künstliches neuronales Netz, welches als entsprechende Eingabedaten die digitalen Bilddaten (im bearbeiteten Zustand oder in einem unbearbeiteten Zu stand) über die entsprechenden Eingabeneuronen erhält und eine Ausgabe durch entsprechende Ausgabeneuronen des künstlichen neuronalen Netzes generiert, wo bei die Ausgabe einen Prozesszustand des industriellen Teilprozesses charakteri siert. Aufgrund der Fähigkeit, in einem Trainingsverfahren das künstliche neuronale Netz mit seinen gewichteten Verbindungen so anzulernen, dass es die Lerndaten verallgemeinern kann, können die aktuell aufgenommenen Bilddaten als Eingabeda ten dem künstlichen neuronalen Netz bereitgestellt werden, so dass es basierend auf dem Gelernten den aufgenommenen Bilddaten einen entsprechenden Prozesszu stand zuordnen kann.
In einer Ausführungsform werden die digitalen Bilddaten durch mindestens ein mobi les Gerät aufgenommen, wobei das mobile Gerät von einer an dem industriellen Pro zessschritt beteiligten Person mitgeführt wird und wobei an dem mobilen Gerät der oder die digitalen Bildsensoren angeordnet sind. Die von dem mobilen Gerät aufge nommenen Bilddaten werden dann an das maschinelle Lernsystem mit dem mindes tens einen Entscheidungsalgorithmus übertragen.
Ein solches mobiles Gerät kann bspw. eine von einer Person tragbare Brillenkon struktion beinhalten oder sein, wobei an der tragbaren Brillenkonstruktion der min destens eine Bildsensor angeordnet ist. Mittels der von der Person getragenen Bril lenkonstruktion werden nun die Bilddaten aufgenommen und an das maschinelle Lernsystem mit dem Entscheidungsalgorithmus übertragen. Die digitalen Bildsenso ren sind dabei so an der Brillenkonstruktion angeordnet, dass sie den Blickbereich der Person aufnehmen, wenn die Brillenkonstruktion als Brille von der Person getra gen wird. Da in der Regel der Kopf in Blickrichtung ausgerichtet wird, wird so auch bevorzugt der Handlungsbereich bzw. -abschnitt der Person aufgezeichnet, wenn sie in die jeweilige Richtung schaut. Solche mobilen Geräte mit Brillenkonstruktion kön nen bspw. VR-Brillen (Virtual-Reality) oder AR-Brillen (Augmented-Reality) sein. Die Brillenkonstruktion kann dabei mit der vorstehend beschriebenen Recheneinheit verbunden sein oder eine solche Recheneinheit aufweisen. Dabei ist es denkbar, dass die Brillenkonstruktion ein Kommunikationsmodul hat, um mit der Rechenein heit zu kommunizieren, wenn die Recheneinheit mit der Wissensdatenbank des ma schinellen Lernsystems an einem entfernten Ort angeordnet ist. Ein solches Kommu nikationsmodul kann beispielsweise drahtlos oder drahtgebunden sein und entspre chende Kommunikationsstandards wie Bluetooth, Ethernet, WLAN und ähnliches ad ressieren. Mit Hilfe des Kommunikationsmoduls können dabei die Bilddaten und/oder der aktuelle Prozesszustand, der mit Hilfe eines Entscheidungsalgorithmus erkannt wurde, übertragen werden.
Dabei kann die Ausgabeeinheit zur visuellen, akustischen und/oder haptischen Aus gabe an der Brillenkonstruktion so angeordnet sein, dass die Ausgabeeinheit eine entsprechende, visuelle, akustische und/oder haptische Ausgabe an die Person er zeugen kann. Bei einem entsprechenden Augmented-Reality-System mit Brille ist es denkbar, dass in dem Sichtbereich der Person ein entsprechender Hinweis visueller Art projiziert wird, um den aus dem maschinellen Lernsystem ermittelten Prozesszu stand als eine entsprechende Ausgabe an die Person zu übermitteln. Ist beispiels weise die Position der Brillenkonstruktion im Raum bekannt sowie deren Ausrich tung, so kann zusätzlich zu der reinen visuellen Ausgabe auch eine ortstreue Aus gabe erfolgen, d.h. die Umgebung der Person, die durch die Augen der Person wahr genommen werden kann, wird durch entsprechende Hinweise virtuell derart erwei tert, dass sich diese Hinweise direkt an dem jeweiligen Objekt in der Umgebung der Person befinden.
Denkbar ist auch eine akustische Ausgabe in Form von Sprachausgaben, Tönen o- der anderen akustischen Hinweisen. Auch eine haptische Ausgabe ist denkbar, bei spielsweise in Form einer Vibration oder ähnlichem.
Bei den digitalen Bildsensoren kann es sich beispielsweise um 2D-Bildsensoren zur Aufnahme von 2D-Bilddaten handeln. In diesem Fall reicht in der Regel ein digitaler Bildsensor aus. Denkbar ist aber auch, dass die digitalen Bildsensoren 3D- Bildsensoren zur Aufnahme von digitalen 3D-Bilddaten sind. Denkbar ist auch eine entsprechende Kombination von 2D- und 3D-Bilddaten. Diese 2D-Bildinformationen bzw. 3D-Bildinformationen werden dann entsprechend dem mindestens einen Ent scheidungsalgorithmus des maschinellen Lernsystems als Eingabedaten bereitge stellt, um die Prozesszustände als Ausgabedaten zu erhalten. Durch die 3D-Bildda- ten, oder auch in Kombination mit 2D und 3D Bilddaten, wird eine wesentlich höhere Aussagegenauigkeit erreicht. So können in Abhängigkeit von 3D Bilddaten oder Kombinationen von 2D und 3D Bilddaten entsprechende (zusätzliche) Parameter physischer Objekte erfasst werden, wie bspw. die Größe und das Verhältnis, und bei der Ermittlung des aktuellen Prozesszustandes mit berücksichtig werden. Darüber hinaus können mittels 3D Bilddaten im Kontext der Erfindung zusätzliche Tiefeninfor mationen ermittelt werden und bei der Ermittlung des aktuellen Prozesszustandes mit berücksichtigt werden.
Mittels der 3D Bilddaten können darüber hinaus insbesondere Objekte gescannt, ver messen und/oder die Distanz zu ihnen gemessen werden und bei der Ermittlung des aktuellen Prozesszustandes mit berücksichtigt werden. Dies verbessert das Verfah ren, da weitere Informationen, zum Beispiel für das Erkennen von fehlerhaften Bau teilen, erfasst und ausgewertet werden und so den Prozessschritt der Qualitätssiche rung verbessern.
Bei den 3D Bildsensoren kann es sich bspw. um eine sogenannte Time-of-Flight Ka mera handeln. Es gibt aber auch andere, bekannte Bildsensoren, die im Kontext der vorliegenden Erfindung Anwendung finden kann.
Darüber hinaus ist es denkbar, dass die aus den 3D Bilddaten ermittelten Parameter, wie bspw. Größe, Verhältnis, Distanz, etc, die sich aus den 3D Bilddaten direkt oder indirekt ableiten lassen, zumindest teilweise mit gelernt wurde. Somit enthält der Ent scheidungsalgorithmus nicht nur eine Korrelation zwischen Bilddaten und Prozesszu stand, sondern zusätzlich in einer vorteilhaften Ausgestaltung auch noch eine Korre lation zwischen Prozessparametern, abgeleitet aus den 3D Bilddaten oder einer Kombinationen von 2D und 3D Bilddaten, und Prozesszustand. Hierdurch kann die Erkennungsgenauigkeit verbessert werden.
Als mobile Geräte mit Bildsensoren sind aber auch Telefone, wie bspw. Smartpho- nes, oder Tablets denkbar. Die mobilen Geräte können dabei neben einer Bildauf nahmeeinheit auch eine Ausgabeeinheit beinhalten, so dass die jeweilige das mobile Gerät tragende Person auch durch das mobile Geräte eine entsprechende Ausgabe der Ausgabeeinheit wahrnehmen kann.
Das Überwachungssystem kann dabei so eingerichtet sein, dass in einem Trainings modus der mindestens eine Entscheidungsalgorithmus des maschinellen Lernsys tems durch die aufgenommenen digitalen Bilddaten gelernt wird. Dabei ist es denk bar, dass zunächst der Entscheidungsalgorithmus des maschinellen Lernsystems im Trainingsmodus angelernt und dann ausschließlich in einem Produktivmodus betrie ben wird. Denkbar ist aber auch eine Kombination von Trainingsmodus und Produk tivmodus, so dass nicht nur kontinuierlich die Prozesszustände als Ausgabedaten aus dem Entscheidungsalgorithmus des maschinellen Lernsystems ermittelt werden, sondern fortwährend auch der Entscheidungsalgorithmus (und die darin gespeicherte Wissensbasis) weiter gelernt wird (beispielsweise in Form eines offenen Lernverfah rens). Hierdurch wird es möglich, den Entscheidungsalgorithmus stätig weiterzuent wickeln, um so das Ausgabeverhalten zu verbessern.
Hierbei ist es denkbar, dass der Entscheidungsalgorithmus des maschinellen Lern verfahrens in einer ersten möglichen Alternative auf der Recheneinheit als eine In stanz läuft, so dass Produktivmodus und ggf. Trainingsmodus auf ein und derselben Wissensbasis bzw. mit ein und demselben Entscheidungsalgorithmus ausgeführt werden. Denkbar ist in einer weiteren Alternative aber auch, dass der mindestens eine Entscheidungsalgorithmus auf zwei getrennten Recheneinheiten abläuft bzw. in der Recheneinheit als mindestens zwei Instanzen vorliegt, wobei der Produktivmo dus einer ersten Instanz des Entscheidungsalgorithmus ausgeführt wird, während gleichzeitig der Trainingsmodus auf einer zweiten Instanz ausgeführt wird. Somit ver bleibt im Produktivmodus der Entscheidungsalgorithmus unverändert, während die zweite Instanz des Entscheidungsalgorithmus fortwährend weiterentwickelt wird. Die zweite Alternative ist besonders dann von Vorteil, wenn das maschinelle Lernsystem mit dem Entscheidungsalgorithmus auf einer mobilen Recheneinheit ausgeführt wird. Da hier in der Regel die Rechenkapazität für einen komplexen Trainingsmodus nicht zur Verfügung steht, kann bei den mobilen Recheneinheiten nur der Produktivmodus ausgeführt werden, während auf einer entfernt angeordneten zweiten Recheneinheit (beispielsweise eine Serveranlage) eine weitere Wissensdatenbank kontinuierlich ge lernt wird.
Demzufolge ist es vorteilhaft, wenn in einem Trainingsmodus durch ein Trainingsmo dul des maschinellen Lernsystems ein oder mehrere Parameter des Entscheidungs algorithmus basierend auf den aufgenommenen digitalen Bilddaten gelernt werden und/oder wenn in einem Produktivmodus durch den Entscheidungsalgorithmus des maschinellen Lernsystems der mindestens eine aktuelle Prozesszustand des indust riellen Prozessschrittes ermittelt wird.
In einer weiteren vorteilhaften Ausführungsform wird der mindestens eine aktuelle Prozesszustand des industriellen Prozessschrittes durch den auf mindestens einem mobilen Gerät ausgeführten Entscheidungsalgorithmus ermittelt, wobei das mobile Gerät von einer an dem industriellen Prozessschritt beteiligten Person mitgeführt wird. Hierbei ist es denkbar, dass auch eine Vielzahl von mobilen Geräten vorhanden ist, auf denen jeweils ein entsprechender Entscheidungsalgorithmus des maschinel len Lernsystems ausgeführt wird, so dass an jedem mobilen Gerät ein entsprechend aktueller Prozesszustand mithilfe des ausgeführten Entscheidungsalgorithmus ermit telbar wird.
Hierbei ist es denkbar, wenn die aufgenommenen digitalen Bilddaten an eine in ei nem Netzwerk erreichbare Datenverarbeitungsanlage übertragen werden, wobei durch ein auf der Datenverarbeitungsanlage ausgeführtes Trainingsmodul des ma schinellen Lernsystems ein oder mehrere Parameter des Entscheidungsalgorithmus basierend auf den aufgenommenen digitalen Bilddaten gelernt werden und anschlie- ßend die Parameter des Entscheidungsalgorithmus von der Datenverarbeitungsan lage an das von der Person mitgeführte mobile Gerät übertragen und dem Entschei dungsalgorithmus zugrunde gelegt werden.
Hierdurch wird es möglich, fortwährend den Entscheidungsalgorithmus mit den auf genommenen digitalen Bilddaten zu trainieren und in regelmäßigen Abständen dann die Parameter des angelernten Entscheidungsalgorithmus an das jeweilige mobile Gerät zu übertragen, um so die Basis bzw. die Wissensbasis für den Entscheidungs algorithmus fortwährend zu verbessern. Aufgrund der Tatsache, dass die mobilen Geräte nicht die notwendige Rechenkapazität aufweisen, um die Parameter des Ent scheidungsalgorithmus basierend auf neu aufgenommenen Bilddaten zu trainieren, ist es vorteilhaft, den Produktivmodus und den Trainingsmodus hardwareseitig auf verschiedenen Geräten auszuführen. Zum Trainieren eines solchen Entscheidungs algorithmus eigenen sich dabei große Serveranlagen besonders gut.
Alternativ oder zusätzlich ist es aber auch denkbar, dass die aufgenommenen digita len Bilddaten an eine in einem Netzwerk erreichbare Datenverarbeitungsanlage übertragen werden, wobei der mindestens eine aktuelle Prozesszustand des industri ellen Prozessschrittes durch den auf der Datenverarbeitungsanlage ausgeführten Entscheidungsalgorithmus ermittelt wird, wobei anschließend in Abhängigkeit von dem ermittelten aktuellen Prozesszustand des industriellen Prozessschrittes die Aus gabeeinheit zum Erzeugen der visuellen, akustischen und/oder haptischen Ausgabe durch die Datenverarbeitungsanlage angesteuert wird. Dabei kann vorgesehen sein, dass durch ein auf der Datenverarbeitungsanlage ausgeführte Trainingsmodul des maschinellen Lernsystems ein oder mehrere Parameter des Entscheidungsalgorith mus basierend auf den aufgenommenen digitalen Bilddaten gelernt werden. Die An steuerung der Ausgabeeinheit kann dabei unmittelbar durch die Datenverarbeitungs anlage erfolgen oder mittelbar durch Zwischenschaltung des oder der mobilen Ge räte.
In dieser Ausführungsform wird somit der Produktivmodus als auch ggf. der Trai ningsmodus auf der im Netzwerk erreichbaren Datenverarbeitungsanlage ausgeführt, so dass von den mobilen Geräten lediglich die Bilddaten der Bildsensoren übertra gen werden und, sofern die Ausgabeeinheit an den mobilen Geräten angeordnet ist, das Ergebnis des aktuellen Prozesszustandes zurück an die mobilen Geräte übertra gen werden.
Dabei ist es denkbar, dass für jedes mobile Gerät auf der Datenverarbeitungsanlage ein eigener Entscheidungsalgorithmus vorliegt, der im Trainingsmodus gelernt wird. Die Datenverarbeitungsanlage kann dann so eingerichtet sein, dass sie zur Verbes serung des Ergebnisses die Entscheidungsalgorithmen miteinander kombiniert, um diese so weiter zu optimieren. Denkbar ist allerdings auch, dass für eine Vielzahl von mobilen Geräten auf der Datenverarbeitungsanlage nur ein einziger Entscheidungs algorithmus vorliegt, der durch die Eingaben vieler verschiedener mobiler Geräte im Trainingsmodus trainiert wird.
Sind mehrere Entscheidungsalgorithmen auf der Datenverarbeitungsanlage vorhan den, so ist es auch denkbar, wenn diese unabhängig voneinander angelernt werden und dann der am besten angelernte Entscheidungsalgorithmus anschließend ausge wählt wird. Die Auswahl kann dabei anhand unterschiedlicher Kriterien erfolgen, wie beispielsweise Erkennungsgüte, Einfachheit der Wissensstruktur etc.
In diesem Zusammenhang ist daher besonders vorteilhaft, wenn ein Entscheidungs algorithmus, bspw. vorhanden auf der Datenverarbeitungsanlage, aus mehreren, un abhängig voneinander angelernten Entscheidungsalgorithmen in Abhängigkeit von einem Auswahlkriterium und/oder einem Optimierungskriterium ausgewählt wird. Ein solches Auswahlkriterium und/oder Optimierungskriterium kann dabei bspw. die Er kennungsgüte, die Einfachheit, die Wissensstruktur, Eigenschaften des mobilen Ge rätes, auf dem der Entscheidungsalgorithmus ausgeführt wird, etc.
Der ausgewählte Entscheidungsalgorithmus wird dann für die Ermittlung des aktuel len Prozesszustandes verwendet. Dies kann bspw. dadurch geschehen, dass die Bilddaten an die Datenverarbeitungseinheit übertragen und dort dem ausgewählten Entscheidungsalgorithmus als Eingabedaten zugrunde gelegt werden. Dies kann al lerdings auch dadurch geschehen, dass der Entscheidungsalgorithmus auf das be treffende mobile Gerät übertragen wird und dort Anwendung findet.
Hierdurch kann eine effiziente Auswahl eines Entscheidungsalgorithmus erreicht werden, welcher optimal an die vorliegende Situation angepasst ist. So kann der Ent scheidungsalgorithmus bspw. so ausgewählt werden, dass er optimal an das mobile Gerät angepasst ist. Handelt es sich bspw. bei dem mobilen Gerät um ein ressour cenbeschränktes oder ressourcenschwaches Gerät (verminderte Leistungsfähigkeit gegenüber anderen mobilen Geräten), so kann ein Entscheidungsalgorithmus ausge wählt werden, welcher an die bei dem mobilen Gerät vorherrschenden Ressourcen bedingungen optimal angepasst ist. Dies könnte bspw. bedeuten, dass der Entschei dungsalgorithmus weniger rechenintensiv ist und somit auf dem mobilen Gerät opti mal ausgeführt werden kann (allerdings dafür ggf. eine verringerte Genauigkeit oder Schnelligkeit oder Effizienz hat). Dies kann bspw. durch eine vereinfachte Wissens struktur des Entscheidungsalgorithmus erreicht werden. Dies gilt selbstverständlich auch für das Überwachungssystem.
Denkbar ist aber auch, dass der Produktivmodus auf den mobilen Geräten ausge führt wird und somit jedes mobile Gerät einen Entscheidungsalgorithmus hat, das dann von der Datenverarbeitungsanlage und den dort trainierten Entscheidungsalgo rithmen die Parameter eines dort vorhandenen Entscheidungsalgorithmus an alle (o- der eine Auswahl davon) mobilen Endgeräte übertragen wird, um so verschiedene angelernte Entscheidungsalgorithmen auf den mobilen Geräten zu kombinieren.
Die Aufgabe wird im Übrigen auch mit dem Überwachungssystem gemäß Anspruch 9 erfindungsgemäß gelöst, wobei das Überwachungssystem Folgendes aufweist:
- mindestens eine Bildaufnahmeeinheit, die mindestens einen digitalen
Bildsensor zum Aufnehmen von digitalen Bilddaten aufweist;
- ein maschinelles Lernsystem mit mindestens einem maschinell angelernten Entscheidungsalgorithmus, der eine Korrelation zwischen digitalen Bilddaten als Eingabedaten des maschinellen Lernsystems und Prozesszustände des zu überwachenden industriellen Prozessschrittes als Ausgabedaten des ma schinellen Lernsystems enthält;
- mindestens eine Recheneinheit zum Ermitteln mindestens eines aktuellen Prozesszustandes des industriellen Prozessschrittes mittels des auf der Re cheneinheit ausführbaren Entscheidungsalgorithmus, indem basierend auf dem angelernten Entscheidungsalgorithmus aus den aufgenommenen digi talen Bilddaten als Eingabedaten des maschinellen Lernsystems mindes tens ein aktueller Prozesszustand des industriellen Prozessschrittes als Ausgebedaten des maschinellen Lernsystems generiert wird; und
- eine Ausgabeeinheit, die zum Erzeugen einer visuellen, akustischen und/o der haptischen Ausgabe an eine Person in Abhängigkeit von dem mindes tens einen ermittelten aktuellen Prozesszustand eingerichtet ist.
Vorteilhafte Ausgestaltungen des Überwachungssystems finden sich in den entspre chenden Unteransprüchen.
So kann vorgesehen sein, dass das maschinelle Lernsystem ein künstliches neuro nales Netz als Entscheidungsalgorithmus ist bzw. enthält.
Des Weiteren kann vorgesehen sein, dass das Überwachungssystem mindestens ein mobiles Gerät hat, das zum Mitführen durch die mindestens eine Person ausge bildet ist und an dem der mindestens eine digitale Bildsensor der Bildaufnahmeein heit derart angeordnet ist, dass die digitalen Bilddaten aufnehmbar sind, wobei das mobile Gerät eingerichtet ist, die aufgenommenen digitalen Bilddaten an das maschi nelle Lernsystem zu übertragen.
Des Weiteren kann vorgesehen sein, dass das Überwachungssystem einen Trai ningsmodus hat, bei dem durch ein Trainingsmodul des maschinellen Lernsystems ein oder mehrere Parameter des Entscheidungsalgorithmus basierend auf den auf genommenen digitalen Bilddaten gelernt werden und/oder das Überwachungssystem einen Produktivmodus hat, bei dem durch den Entscheidungsalgorithmus des ma schinellen Lernsystems der mindestens eine aktuelle Prozesszustand des industriel len Prozessschrittes ermittelt wird.
Des Weiteren kann vorgesehen sein, dass das Überwachungssystem ein mobiles Gerät mit einer Recheneinheit hat, welches von einer an dem industriellen Prozess schritt beteiligten Person mitführbar ist, wobei das mobile Gerät eingerichtet ist, den mindestens einen aktuellen Prozesszustand des industriellen Prozessschrittes durch den auf der Recheneinheit ausgeführten Entscheidungsalgorithmus zu ermitteln.
Des Weiteren kann vorgesehen sein, dass das Überwachungssystem eine in einem Netzwerk erreichbare Datenverarbeitungsanlage hat, die eingerichtet ist, die von der Bildaufnahmeeinheit aufgenommenen digitalen Bilddaten zu empfangen, durch ein auf der Datenverarbeitungsanlage ausgeführtes Trainingsmodul des maschinellen Lernsystems ein oder mehrere Parameter des Entscheidungsalgorithmus basierend auf den empfangenen digitalen Bilddaten zu lernen und anschließend die Parameter des Entscheidungsalgorithmus von der Datenverarbeitungsanlage an das von der Person mitgeführte mobile Gerät zu übertragen.
Des Weiteren kann vorgesehen sein, dass das Überwachungssystem eine in einem Netzwerk erreichbare Datenverarbeitungsanlage hat, die eingerichtet ist, die von der Bildaufnahmeeinheit aufgenommenen digitalen Bilddaten zu empfangen, mindestens einen aktuellen Prozesszustand des industriellen Prozessschrittes durch den auf der Datenverarbeitungsanlage ausgeführten Entscheidungsalgorithmus zu ermitteln und in Abhängigkeit von dem ermittelten aktuellen Prozesszustand des industriellen Pro zessschrittes die Ausgabeeinheit zum Erzeugen der visuellen, akustischen und/oder haptischen Ausgabe anzusteuern.
Hierbei kann vorgesehen sein, dass die Datenverarbeitungsanlage weiterhin einge richtet ist, ein durch ein auf der Datenverarbeitungsanlage ausgeführtes Trainings- modul des maschinellen Lernsystems ein oder mehrere Parameter des Entschei dungsalgorithmus basierend auf den empfangenen digitalen Bilddaten zu lernen und dem Entscheidungsalgorithmus zugrunde zu legen. Dabei kann grundsätzlich immer vorgesehen sein, dass mehr als ein Entscheidungs algorithmus vorhanden ist, insbesondere ein Entscheidungsalgorithmus für den Trai ningsmodus bzw. das Trainingsmodul und ein Entscheidungsalgorithmus für den Produktivmodus bzw. das Produktivmodul. Dabei kann für jedes mobile Endgerät so wohl im Trainingsmodus als auch im Produktivmodus jeweils ein eigener Entschei- dungsalgorithmus vorhanden sein. Denkbar ist aber auch, dass für eine bestimmte Gruppe von mobilen Geräten ein eigener Entscheidungsalgorithmus existiert, der durch die Gruppe von mobilen Geräten gemeinsam im Trainingsmodus gelernt wird. Ein so für eine Gruppe von mobilen Geräten trainierter Entscheidungsalgorithmus wird dann durch seine Parameter auch nur an die in der Gruppe befindlichen mobilen Geräte übertragen.
Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:
Figur 1 - Schematische Darstellung des Überwachungssystems;
Figur 2 - Schematische Darstellung des mobilen Gerätes;
Figur 3 - Schematische Darstellung einer Datenverarbeitungsanlage.
Figur 1 zeigt schematisch in einer sehr stark vereinfachten Darstellung die einzelnen Komponenten des Überwachungssystems 1 , mit dem ein nicht dargestellter manuel ler industrieller Prozessschritt eines Industrieprozesses überwacht werden soll. Das Überwachungssystem 1 weist im Ausführungsbeispiel der Figur 1 ein Augmented- Reality-System 100 auf, das in Form eines mobilen Gerätes wenigstens zwei Bildsensoren 110 und 120 hat. Der erste Bildsensor 110 ist dabei ein 2D-Bildsensor zum Aufnehmen von 2D-Bilddaten, während der zweite Bildsensor 120 ein 3D- Bildsensor zur Aufnahme von digitalen 3D-Bilddaten ist.
Die von den Bildsensoren 110 und 120 aufgenommenen digitalen Bilddaten werden dann einer ersten Recheneinheit 130 zur Verfügung gestellt, die dann basierend auf ihren Berechnungen eine Ausgabeeinheit 140 des Augmented-Reality-Systems 100 ansteuert. Die Ausgabeeinheit 140 ist dabei zur visuellen, akustischen und/oder hap tischen Ausgabe an eine Person ausgebildet.
Sowohl die Bildsensoren 110 bzw. 120 als auch die Ausgabeeinheit 140 müssen nicht zwangsläufig integraler Bestandteil eines mobilen Gerätes sein. Denkbar ist auch, dass es sich hierbei um verteilte Komponenten handelt, die lediglich durch das mobile Gerät mit der Recheneinheit 130 verknüpft wird. Denkbar und bevorzugt ist jedoch eine integrale Lösung, bei der das mobile Gerät, beispielsweise eine AR-Brille oder VR-Brille sowohl die Bildsensoren 1 10 bzw. 120 und die Ausgabeeinheit 140 enthält. So ist es vorteilhaft, wenn die Bildsensoren 1 10 bzw. 120 an sich sowie die Ausgabe einheit 140 Bestandteil einer Brillenkonstruktion sind, die durch eine betreffende Per son in Art einer Brille getragen wird. Die erste Recheneinheit 130 kann dabei eben falls Bestandteil der Brille sein, wodurch eine sehr kompakte Konstruktion möglich wird. Denkbar ist aber auch, dass die Recheneinheit 130 in Form eines mobilen Ge rätes am Körper der betreffenden Person getragen wird und dabei drahtgebunden und/oder drahtlos mit der Brille in Verbindung steht.
Das Überwachungssystem 1 weist des Weiteren eine Datenverarbeitungsanlage 300 auf, die über ein Netzwerk 200 mit dem mobilen Gerät 100 bzw. dem Augmented- Reality-System 100 in Verbindung steht. Die Datenverarbeitungsanlage 300 weist dabei eine zweite Recheneinheit 310 auf, die in Verbindung mit der Ermittlung des aktuellen Prozesszustandes entsprechend eingerichtet ist. So kann die zweite Re cheneinheit 310 der Datenverarbeitungsanlage 300 beispielsweise ein Trainingsmo dul ausführen, mit dem ein Entscheidungsalgorithmus trainiert wird. Denkbar ist auch, dass die zweite Recheneinheit 310 ein Produktivmodul ausführt, mit dem der aktuelle Prozesszustand basierend auf einem Entscheidungsalgorithmus ermittelt wird.
Über das Netzwerk 200 ist des Weiteren eine Konfigurationseinheit 400 an die Da tenverarbeitungsanlage 300 erreichbar, die insbesondere Informationen bezüglich der Klassifizierung der Bilder enthalten kann. Dies ist beispielsweise dann sinnvoll, wenn die aufgenommenen Bilddaten, seien es nun 2D-Bilddaten oder 3D-Bilddaten, zuvor analysiert und ggf. klassifiziert wurden.
Figur 2 zeigt schematisch das Augmented-Reality-System 100 mit der ersten Re cheneinheit 130 und die in den verschiedenen Ausgestaltungen übertragenen Daten. Zunächst erhält die erste Recheneinheit 130 von dem 2D-Bildsensor 1 10 die 2D-Bild- daten D1 10. Des Weiteren erhält die erste Recheneinheit 130 von dem 3D- Bildsensor die 3D-Bilddaten D120. Selbstverständlich ist denkbar, dass auch entwe der nur die 2D-Bilddaten D1 10 oder die 3D-Bilddaten D120 der ersten Recheneinheit 130 bereitgestellt werden. In einer ersten Ausführungsform werden die Bilddaten D110 und/oder die Bilddaten D120 dem ersten Entscheidungsmodul 131 der ersten Recheneinheit 130 des Aug- mented-Reality-Systems 100 bereitgestellt, wobei das erste Entscheidungsmodul zum Ausführen eines Entscheidungsalgorithmus, beispielsweise in Form eines neu ronalen Netzes, ausgebildet ist. Der Entscheidungsalgorithmus des ersten Entschei dungsmoduls 130 ist dabei Bestandteil eines maschinellen Lernsystems und enthält eine Korrelation zwischen digitalen Bilddaten als Eingabedaten einerseits und Pro zesszustände des zu überwachenden industriellen Prozessschrittes als Ausgabeda ten andererseits. Der Entscheidungsalgorithmus des ersten Entscheidungsmoduls 131 wird nun mit den Bilddaten D110 und/oder D120 als Eingabedaten gefüttert und ermittelt dann den aktuellen Prozesszustand D131 als Ausgabedaten. Bei dem aktu ellen Prozesszustand D131 handelt es sich um lokal erzeugte Entscheidungsdaten, die durch den auf der ersten Recheneinheit ausgeführten Entscheidungsalgorithmus mithilfe des ersten Entscheidungsmoduls 131 generiert wurden. Dieser so ermittelte aktuelle Prozesszustand D131 wird dann über eine Schnittstelle der ersten Rechen einheit 130 an die Ausgabeeinheit 140 übertragen, wo dann eine entsprechende akustische, visuelle und/oder haptische Ausgabe erfolgen kann. Dabei kann die Aus gabeeinheit 140 so ausgebildet sein, dass sie direkt anhand des ermittelten aktuellen Prozesszustandes D131 eine entsprechende Ausgabe generiert. Denkbar ist aller dings auch, dass basierend auf dem aktuellen Prozesszustand D131 eine entspre chende Ansteuerung einer ohne weitere Intelligenz vorhandenen Ausgabeeinheit 140 erfolgt.
In dieser Ausführungsform arbeitet das Augmented-Reality-System 100 hinsichtlich des Produktivmodus autark von einem möglicherweise vorhandenen Serversystem, wobei der Entscheidungsalgorithmus trainiert oder untrainiert bleiben kann. Dabei ist denkbar, dass durch das erste Entscheidungsmodul auch ein Trainingsmodus durch geführt wird, um den in dem ersten Entscheidungsmodul vorhandenen Entschei dungsalgorithmus weiter zu trainieren. Trainingsmodus und Produktivmodus werden somit durch die erste Recheneinheit 130 gemeinsam ausgeführt. In einer weiteren Ausführungsform ist es aber denkbar, dass die Bilddaten D1 10 und D120 an die bereits aus Figur 1 bekannte Datenverarbeitungsanlage 300 und die dort vorhandene zweite Recheneinheit 310 über das Netzwerk 200 übertragen wer den. Je nachdem welche Funktionalität die Datenverarbeitungsanlage 300 realisiert, können als Ergebnis der ersten Recheneinheit 130 des Augmented-Reality-Systems 100 entweder ein remote ermittelter aktueller Prozesszustand D31 1 sein oder Para meter D312 des weiter trainierten Entscheidungsalgorithmus. Denkbar ist aber auch, dass beide Datensätze D31 1 , D312 der ersten Recheneinheit 130 bereitgestellt wer den.
Werden von der Datenverarbeitungsanlage 300 über das Netzwerk 200 die Parame ter D312 des durch die Datenverarbeitungsanlage weiter trainierten Entscheidungsal gorithmus bereitgestellt, so werden diese Parameter D312 dem ersten Entschei dungsmodul 131 zur Verfügung gestellt. Der dort vorhandene Entscheidungsalgorith mus wird nun durch die Parameter D312 ergänzt bzw. erweitert oder ersetzt, so dass dem Produktivmodus des ersten Entscheidungsmoduls 131 ein in der Datenverarbei tungsanlage trainierter Entscheidungsalgorithmus zugrunde gelegt wird. Parallel dazu werden selbstverständlich weiterhin die Bilddaten D1 10 und D120 dem ersten Entscheidungsmodul 131 bereitgestellt, um lokal durch die erste Recheneinheit 130 den aktuellen Prozesszustand D131 zu ermitteln. Dabei wird stätig die Grundlage des Entscheidungsmoduls 131 durch einen remote trainierten Entscheidungsalgorith mus verbessert, wodurch die Erkennungsrate verbessert werden kann.
Denkbar ist aber auch, dass alternativ oder parallel durch die Datenverarbeitungsan lage 300 der aktuelle Prozesszustand in einem Produktivmodus einer zweiten Re cheneinheit 310 ermittelt wird und dann der ersten Recheneinheit 130 bereitgestellt wird. Wird nur durch die Datenverarbeitungsanlage 300 der aktuelle Prozesszustand ermittelt, so wird dieser dann an die Ausgabeeinheit 140 als Daten D31 1 übertragen. Wird gleichzeitig jedoch auch durch die erste Recheneinheit und dem darin enthalte nen Entscheidungsmodul 131 ein entsprechender aktueller Prozesszustand D131 er mittelt, so werden beide Prozesszustände der entsprechenden Ausgabeeinheit zur Verfügung gestellt. Diese kann dann aus den beiden Prozesszustände (lokal: D131 , remote: D31 1 ) eine entsprechende Ausgabe generieren.
Figur 3 zeigt in einer schematisch detaillierten Ansicht den Datenfluss der zweiten Recheneinheit 310 der Datenverarbeitungsanlage 300. Wie bereits in Figur 2 er wähnt, werden über das Netzwerk die Bilddaten D1 10 und D120 an die zweite Re cheneinheit 310 übertragen. Die zweite Recheneinheit 310 kann dabei ein zweites Entscheidungsmodul 31 1 und/oder ein Trainingsmodul 312 aufweisen, wobei beiden Modulen, sofern beide vorhanden sind, auch die jeweiligen Bilddaten D1 10 und D120 bereitgestellt werden.
Das zweite Entscheidungsmodul 31 1 weist ein oder mehrere Entscheidungsalgorith men auf, die eine Korrelation zwischen den digitalen Bilddaten D1 10, D120 als Ein gabedaten und Prozesszuständen D31 1 als Ausgabedaten enthalten. Die Ausgabe daten D31 1 in Form von aktuellen Prozesszuständen werden dann über das Netz werk wieder zurück an das Augmented-Reality-System 100 (vgl. Figur 2) übertragen.
Des Weiteren kann die zweite Recheneinheit 310 ein Trainingsmodul 312 aufweisen, das ebenfalls die Bilddaten D1 10 und D120 erhält. Mithilfe des Trainingsmoduls wer den dann in einem entsprechenden Lernverfahren die Parameter des Entschei dungsalgorithmus gelernt und dann ggf. dem Entscheidungsmodul 31 1 in Form von Parameterdaten D312 bereitgestellt. Die neu gelernten Parameter D312 des Ent scheidungsalgorithmus können dabei durch das Trainingsmodul 312 über das Netz werk wiederum dem Augmented-Reality-System 100 bereitgestellt werden.
Das Übertragen der gelernten Parameter D312 an das Augmented-Reality-System 100 kann dabei zu diskreten, nicht zwangsläufig fest vorgegebenen Zeitpunkten er folgen. Dabei ist es auch denkbar, dass diese Parameter D312 des Entscheidungsal gorithmus an mehr als ein Augmented-Reality-System, das mit der Datenverarbei tungsanlage 300 verbunden ist, übertragen werden. Bezugszeichen
1 Überwachungssystem
100 mobiles Gerät/Augmented-Reality-System 110 2D-Bildsensor
120 3D-Bildsensor
130 erste Recheneinheit
131 erstes Entscheidungsmodul
140 Ausgabeeinheit
200 Netzwerk
300 Datenverarbeitungsanlage
310 zweite Recheneinheit
311 zweites Entscheidungsmodul
312 Trainingsmodul
400 Konfigurationseinheit
D110 2D-Bilddaten
D120 3D-Bilddaten
D131 lokal ermittelter aktueller Prozesszustand D31 1 remote ermittelter aktueller Prozesszustand D312 Parameter des Entscheidungsalgorithmus
D400 Konfigurationsdaten

Claims

Patentansprüche:
1. Verfahren zum Überwachen eines industriellen Prozessschrittes eines Indust rieprozesses mittels eines Überwachungssystems (1 ), wobei das Verfahren die folgenden Schritte umfasst:
- Bereitstellen eines maschinellen Lernsystems des Überwachungssystems (1 ), das mittels mindestens eines maschinell angelernten Entscheidungsal gorithmus (131 , 311 ) eine Korrelation zwischen digitalen Bilddaten als Ein gabedaten (D110, D120) und Prozesszustände des zu überwachenden in dustriellen Prozessschrittes als Ausgabedaten (D131 , D311 ) enthält;
- Aufnehmen von digitalen Bilddaten (D110, D120) mittels mindestens eines Bildsensors (110, 120) wenigstens einer Bildaufnahmeeinheit des Überwa chungssystems (1 );
- Ermitteln mindestens eines aktuellen Prozesszustandes (D131 , D311 ) des industriellen Prozessschrittes durch den Entscheidungsalgorithmus (131 , 311 ) des maschinellen Lernsystems, indem basierend auf dem angelernten Entscheidungsalgorithmus (131 , 311 ) aus den aufgenommenen digitalen Bilddaten als Eingabedaten (D110, D120) des maschinellen Lernsystems mindestens ein aktueller Prozesszustand des industriellen Prozessschrittes als Ausgebedaten (D131 , D311 ) des maschinellen Lernsystems generiert wird; und
- Überwachen des industriellen Prozessschrittes durch Erzeugen einer visuel len, akustischen und/oder haptischen Ausgabe mittels einer Ausgabeeinheit (140) in Abhängigkeit von dem mindestens einen ermittelten aktuellen Pro zesszustand (D131 , D311 ).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das maschinelle Lernsystem ein künstliches neuronales Netz als Entscheidungsalgorithmus (131 , 311 ) enthält.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die digitalen Bilddaten (D110, D120) durch mindestens ein mobiles Gerät (100), welches von einer an dem industriellen Prozessschritt beteiligten Person mitgeführt wird und an dem mindestens ein digitaler Bildsensor (110, 120) einer Bildaufnahmeein heit angeordnet ist, aufgenommen und an das maschinelle Lernsystem übertra gen werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich net, dass in einem Trainingsmodus durch ein Trainingsmodul (312) des maschi nellen Lernsystems ein oder mehrere Parameter (D312) des Entscheidungsal gorithmus (131 , 311 ) basierend auf den aufgenommenen digitalen Bilddaten (D110, D120) gelernt werden und/oder dass in einem Produktivmodus durch den Entscheidungsalgorithmus (131 , 311 ) des maschinellen Lernsystems der mindestens eine aktuelle Prozesszustand (D131 , D311 ) des industriellen Pro zessschrittes ermittelt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich net, dass der mindestens eine aktuelle Prozesszustand (D131 ) des industriellen Prozessschrittes durch den auf mindestens einem mobilen Gerät (100), wel ches von einer an dem industriellen Prozessschritt beteiligten Person mitgeführt wird, ausgeführten Entscheidungsalgorithmus (131 ) ermittelt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die aufgenomme nen digitalen Bilddaten (D110, D120) an eine in einem Netzwerk (200) erreich bare Datenverarbeitungsanlage (300) übertragen werden, wobei durch ein auf der Datenverarbeitungsanlage (300) ausgeführtes Trainingsmodul (312) des maschinellen Lernsystems ein oder mehrere Parameter (D312) des Entschei dungsalgorithmus (131 ) basierend auf den aufgenommenen digitalen Bilddaten (D110, D120) gelernt werden und anschließend die Parameter (D312) des Ent scheidungsalgorithmus (131 ) von der Datenverarbeitungsanlage (300) an das von der Person mitgeführte mobile Gerät (100) übertragen und dem Entschei dungsalgorithmus (131 ) zugrunde gelegt werden.
7. Verfahren nach einem der Ansprüche vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die aufgenommenen digitalen Bilddaten (D110, D120) an eine in einem Netzwerk (200) erreichbare Datenverarbeitungsanlage (300) übertragen werden, wobei der mindestens eine aktuelle Prozesszustand (D131 , D31 1 ) des industriellen Prozessschrittes durch den auf der Datenverarbeitungs anlage (300) ausgeführten Entscheidungsalgorithmus (311 ) ermittelt wird, wo bei anschließend in Abhängigkeit von dem ermittelten aktuellen Prozesszustand des industriellen Prozessschrittes die Ausgabeeinheit (140) zum Erzeugen der visuellen, akustischen und/oder haptischen Ausgabe durch die Datenverarbei tungsanlage (300) angesteuert wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass durch ein auf der Datenverarbeitungsanlage (300) ausgeführtes Trainingsmodul (312) des ma schinellen Lernsystems ein oder mehrere Parameter (D312) des Entschei dungsalgorithmus (311 ) basierend auf den aufgenommenen digitalen Bilddaten gelernt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich net, dass auf der Datenverarbeitungsanlage (300) eine Mehrzahl von Entschei dungsalgorithmen hinterlegt sind, die unabhängig voneinander angelernt wurde oder werden, wobei in Abhängigkeit von einem Auswahlkriterium und/oder Opti mierungskriterium aus dieser Mehrzahl von Entscheidungsalgorithmen ein Ent scheidungsalgorithmus ausgewählt wird, wobei der ausgewählte Entschei dungsalgorithmus der Ermittlung des aktuellen Prozesszustandes zugrunde ge legt wird.
10. Uberwachungssystem (1 ) zum Überwachen eines industriellen Prozessschrittes eines Industrieprozesses, wobei das Überwachungssystem (1 ) folgendes auf weist:
- mindestens eine Bildaufnahmeeinheit, die mindestens einen digitalen
Bildsensor (110, 120) zum Aufnehmen von digitalen Bilddaten (D110, D120) aufweist;
- ein maschinelles Lernsystem mit mindestens einem maschinell angelernten Entscheidungsalgorithmus (131 , 311 ), der eine Korrelation zwischen digita len Bilddaten als Eingabedaten (D110, D120) des maschinellen Lernsys tems und Prozesszustände des zu überwachenden industriellen Prozess schrittes als Ausgabedaten (D131 , D311 ) des maschinellen Lernsystems enthält;
- mindestens eine Recheneinheit (130, 310) zum Ermitteln mindestens eines aktuellen Prozesszustandes des industriellen Prozessschrittes mittels des auf der Recheneinheit (130, 310) ausführbaren Entscheidungsalgorithmus (131 , 311 ), indem basierend auf dem angelernten Entscheidungsalgorith mus aus den aufgenommenen digitalen Bilddaten als Eingabedaten (D110, D120) des maschinellen Lernsystems mindestens ein aktueller Prozesszu stand des industriellen Prozessschrittes als Ausgebedaten (D131 , D311 ) des maschinellen Lernsystems generiert wird; und
- eine Ausgabeeinheit (140), die zum Erzeugen einer visuellen, akustischen und/oder haptischen Ausgabe an eine Person in Abhängigkeit von dem min destens einen ermittelten aktuellen Prozesszustand (D131 , D311 ) eingerich tet ist.
11. Überwachungssystem (1 ) nach Anspruch 10, dadurch gekennzeichnet, dass das maschinelle Lernsystem ein künstliches neuronales Netz als Entschei dungsalgorithmus enthält.
12. Überwachungssystem (1 ) nach Anspruch 10 oder 11 , dadurch gekennzeichnet, dass das Überwachungssystem (1 ) mindestens ein mobiles Gerät (100) hat, das zum Mitführen durch die mindestens eine Person ausgebildet ist und an dem der mindestens eine digitale Bildsensor (110, 120) der Bildaufnahmeein heit derart angeordnet ist, dass digitale Bilddaten (D110, D120) aufnehmbar sind, wobei das mobile Gerät (100) eingerichtet ist, die aufgenommenen digita len Bilddaten (D110, D120) an das maschinelle Lernsystem zu übertragen.
13. Überwachungssystem (1 ) nach einem der Ansprüche 10 bis 12, dadurch ge kennzeichnet, dass das Überwachungssystem (1 ) einen Trainingsmodus hat, bei dem durch ein Trainingsmodul (312) des maschinellen Lernsystems ein o- der mehrere Parameter (D312) des Entscheidungsalgorithmus (131 , 311 ) ba sierend auf den aufgenommenen digitalen Bilddaten (D110, D120) gelernt wer den, und/oder dass das Überwachungssystem (1 ) einen Produktivmodus hat, bei dem durch den Entscheidungsalgorithmus (131 , 311 ) des maschinellen Lernsystems der mindestens eine aktuelle Prozesszustand (D131 , D311 ) des industriellen Prozessschrittes ermittelt wird.
14. Überwachungssystem (1 ) nach einem der Ansprüche 10 bis 13, dadurch ge kennzeichnet, dass das Überwachungssystem (1 ) ein mobiles Gerät (100) mit einer Recheneinheit (130, 310) hat, welches von einer an dem industriellen Pro zessschritt beteiligten Person mitführbar ist, wobei das mobile Gerät eingerich tet ist, den mindestens einen aktuellen Prozesszustand des industriellen Pro zessschrittes durch den auf der Recheneinheit (130, 310) ausgeführten Ent scheidungsalgorithmus zu ermitteln.
15. Überwachungssystem (1 ) nach Anspruch 14, dadurch gekennzeichnet, dass das Überwachungssystem (1 ) eine in einem Netzwerk (200) erreichbare Daten verarbeitungsanlage (300) hat, die eingerichtet ist, die von der Bildaufnahme einheit aufgenommenen digitalen Bilddaten zu empfangen, durch ein auf der Datenverarbeitungsanlage (300) ausgeführtes Trainingsmodul (312) des ma schinellen Lernsystems ein oder mehrere Parameter (D312) des Entschei dungsalgorithmus basierend auf den empfangenen digitalen Bilddaten zu lernen und anschließend die Parameter des Entscheidungsalgorithmus von der Daten verarbeitungsanlage (300) an das von der Person mitgeführte mobile Gerät zu übertragen.
16. Überwachungssystem (1 ) nach einem der Ansprüche 10 bis 15, dadurch ge kennzeichnet, dass das Überwachungssystem (1 ) eine in einem Netzwerk (200) erreichbare Datenverarbeitungsanlage (300) hat, die eingerichtet ist, die von der Bildaufnahmeeinheit aufgenommenen digitalen Bilddaten zu empfangen, mindestens einen aktuellen Prozesszustand des industriellen Prozessschrittes durch den auf der Datenverarbeitungsanlage (300) ausgeführten Entschei dungsalgorithmus zu ermitteln und in Abhängigkeit von dem ermittelten aktuel len Prozesszustand des industriellen Prozessschrittes die Ausgabeeinheit (140) zum Erzeugen der visuellen, akustischen und/oder haptischen Ausgabe anzu steuern.
17. Überwachungssystem (1 ) nach Anspruch 16, dadurch gekennzeichnet, dass die Datenverarbeitungsanlage (300) weiterhin eingerichtet ist, ein durch ein auf der Datenverarbeitungsanlage (300) ausgeführtes Trainingsmodul (312) des ma schinellen Lernsystems ein oder mehrere Parameter des Entscheidungsalgo rithmus basierend auf den empfangenen digitalen Bilddaten zu lernen und dem Entscheidungsalgorithmus zugrunde zu legen.
18. Überwachungssystem (1 ) nach einem der Ansprüche 10 bis 17, dadurch ge kennzeichnet, dass das Überwachungssystem (1 ) zur Durchführung des Ver fahrens nach einem der Ansprüche 1 bis 9 ausgebildet ist.
PCT/EP2020/054991 2019-02-26 2020-02-26 Verfahren und vorrichtung zum überwachen eines industriellen prozessschrittes WO2020173983A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080030630.7A CN113748389A (zh) 2019-02-26 2020-02-26 用于监控工业过程步骤的方法和设备
US17/446,042 US20210390303A1 (en) 2019-02-26 2021-08-26 Method and device for monitoring an industrial process step

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019104822.2 2019-02-26
DE102019104822.2A DE102019104822A1 (de) 2019-02-26 2019-02-26 Verfahren und Vorrichtung zum Überwachen eines industriellen Prozessschrittes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/446,042 Continuation US20210390303A1 (en) 2019-02-26 2021-08-26 Method and device for monitoring an industrial process step

Publications (1)

Publication Number Publication Date
WO2020173983A1 true WO2020173983A1 (de) 2020-09-03

Family

ID=69701210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/054991 WO2020173983A1 (de) 2019-02-26 2020-02-26 Verfahren und vorrichtung zum überwachen eines industriellen prozessschrittes

Country Status (4)

Country Link
US (1) US20210390303A1 (de)
CN (1) CN113748389A (de)
DE (1) DE102019104822A1 (de)
WO (1) WO2020173983A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009258B (zh) * 2021-03-01 2023-10-10 上海电气集团数字科技有限公司 一种设备工作状态监测方法
CH719104A1 (de) * 2021-11-01 2023-05-15 Cerrion Ag Überwachungssystem für eine Behälterglasformmaschine.
DE102022203803A1 (de) 2022-04-14 2023-10-19 Volkswagen Aktiengesellschaft Verfahren und Überwachungssystem zum Überwachen eines manuellen Fertigungsprozesses und Trainingsverfahren

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010734A1 (en) 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US6463438B1 (en) 1994-06-03 2002-10-08 Urocor, Inc. Neural network for cell image analysis for identification of abnormal cells
US20030028353A1 (en) * 2001-08-06 2003-02-06 Brian Gventer Production pattern-recognition artificial neural net (ANN) with event-response expert system (ES)--yieldshieldTM
EP1183578B1 (de) 1999-03-02 2003-08-20 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
WO2017183554A1 (ja) * 2016-04-19 2017-10-26 日立マクセル株式会社 作業支援装置及び作業支援システム
US20170368706A1 (en) * 2016-06-24 2017-12-28 Zünd Systemtechnik Ag System for cutting of cutting stock
US20190041808A1 (en) * 2017-08-07 2019-02-07 Fanuc Corporation Controller and machine learning device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146510A (en) * 1989-02-09 1992-09-08 Philip Morris Incorporated Methods and apparatus for optically determining the acceptability of products
US5717456A (en) * 1995-03-06 1998-02-10 Champion International Corporation System for monitoring a continuous manufacturing process
DE102005050350A1 (de) * 2005-10-20 2007-05-03 Siemens Ag System und Verfahren zur Überwachung einer technischen Anlage sowie Datenbrille auf Basis eines solchen Systems
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN104570739B (zh) * 2015-01-07 2017-01-25 东北大学 基于云和移动终端的选矿多生产指标优化决策系统及方法
US10586172B2 (en) * 2016-06-13 2020-03-10 General Electric Company Method and system of alarm rationalization in an industrial control system
US10594712B2 (en) * 2016-12-06 2020-03-17 General Electric Company Systems and methods for cyber-attack detection at sample speed
WO2018117890A1 (en) * 2016-12-21 2018-06-28 Schlumberger Technology Corporation A method and a cognitive system for predicting a hydraulic fracture performance
US10805324B2 (en) * 2017-01-03 2020-10-13 General Electric Company Cluster-based decision boundaries for threat detection in industrial asset control system
US10234848B2 (en) * 2017-05-24 2019-03-19 Relativity Space, Inc. Real-time adaptive control of additive manufacturing processes using machine learning
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统
US20190158628A1 (en) * 2017-11-09 2019-05-23 Jianzhong Fu Universal self-learning softsensor and its built platform that applies machine learning and advanced analytics
US11244509B2 (en) * 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
CN109191074A (zh) * 2018-08-27 2019-01-11 宁夏大学 智慧果园种植管理系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463438B1 (en) 1994-06-03 2002-10-08 Urocor, Inc. Neural network for cell image analysis for identification of abnormal cells
EP1183578B1 (de) 1999-03-02 2003-08-20 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
EP1157316B1 (de) 1999-03-02 2003-09-03 Siemens Aktiengesellschaft System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
US20020010734A1 (en) 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US20030028353A1 (en) * 2001-08-06 2003-02-06 Brian Gventer Production pattern-recognition artificial neural net (ANN) with event-response expert system (ES)--yieldshieldTM
WO2017183554A1 (ja) * 2016-04-19 2017-10-26 日立マクセル株式会社 作業支援装置及び作業支援システム
US10565450B2 (en) * 2016-04-19 2020-02-18 Maxell, Ltd. Work supporting apparatus and work supporting system
US20170368706A1 (en) * 2016-06-24 2017-12-28 Zünd Systemtechnik Ag System for cutting of cutting stock
US20190041808A1 (en) * 2017-08-07 2019-02-07 Fanuc Corporation Controller and machine learning device

Also Published As

Publication number Publication date
CN113748389A (zh) 2021-12-03
DE102019104822A1 (de) 2020-08-27
US20210390303A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
WO2020173983A1 (de) Verfahren und vorrichtung zum überwachen eines industriellen prozessschrittes
EP2734998B1 (de) Assistenzsystem
EP3282399B1 (de) Verfahren zur verbesserten erkennung von prozessanomalien einer technischen anlage sowie entsprechendes diagnosesystem
DE102009056640A1 (de) Robotersystem mit einer Mehrzahl mechanischer Roboterteile
EP3725472A1 (de) Verfahren zum ermitteln einer trajektorie eines roboters
DE112017005957T5 (de) Informationsverarbeitungssystem und Informationsverarbeitungsverfahren
WO2020098949A1 (de) Laborsystem mit zumindest teilweise vernetzten laborgeräten und verfahren zur steuerung eines laborsystems mit zumindest teilweise vernetzten laborgeräten
DE102021124253A1 (de) Maschinelles Lernverfahren zur Anomaliedetektion in einem elektrischen System
DE10215885A1 (de) Automatische Prozesskontrolle
WO2018165691A1 (de) Biegeschritt-auswahlverfahren, ausgeführt auf einem steuerungssystem einer biegemaschine
DE102019120864B3 (de) Verfahren und Vorrichtung zur Planung von Wartungsarbeiten an wenigstens einer Maschine
WO2019233735A1 (de) Verfahren zur qualitätssicherung bei der produktion eines produktes sowie recheneinrichtung und computerprogramm
WO2022136703A1 (de) Verfahren und system zum überführen einer start-objektsituation in eine ziel-objektsituation (intuitive tacit solution finding)
DE202017105656U1 (de) Prädiktives Messsystem, Aktorsteuerungssystem und Vorrichtung zum Betreiben des prädiktiven Messsystems und/oder des Aktorsteuerungssystems
DE102019218078B4 (de) Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs
DE102021003597A1 (de) Verfahren zur Beeinflussung eines Verhaltens mindestens eines lnsassen in einem Fahrzeug
DE102017219067A1 (de) Vorrichtung und verfahren zur visuellen unterstützung eines benutzers in einem arbeitsumfeld
DE102019203921A1 (de) Automatisierungsanordnung, Verfahren zum Betrieb der Automatisierungsanordnung sowie Computerprogramm
DE102013209800A1 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
DE102019109067B4 (de) Entscheidungsfindungsmodul zum automatischen Bereitstellen von Handlungsempfehlungen
WO2023156188A1 (de) Verfahren und system zur bestimmung eines betriebszustandes einer maschine
DE102022121211B4 (de) Verfahren zum Betreiben einer Sensor-Anordnung und Sensor-Anordnung sowie Einrichtung zur Datenverarbeitung und Vorrichtung
EP2697702A1 (de) Vorrichtung und verfahren zur gestensteuerung eines bildschirms in einer leitwarte
DE102022203803A1 (de) Verfahren und Überwachungssystem zum Überwachen eines manuellen Fertigungsprozesses und Trainingsverfahren
DE102022121577A1 (de) Verfahren zur Erfassung und Vermeidung von fehlerhaften Arbeitsschritten während einer manuellen Montage

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20707257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20707257

Country of ref document: EP

Kind code of ref document: A1