WO2023156188A1 - Method and system for determining an operating state of a machine - Google Patents
Method and system for determining an operating state of a machine Download PDFInfo
- Publication number
- WO2023156188A1 WO2023156188A1 PCT/EP2023/052296 EP2023052296W WO2023156188A1 WO 2023156188 A1 WO2023156188 A1 WO 2023156188A1 EP 2023052296 W EP2023052296 W EP 2023052296W WO 2023156188 A1 WO2023156188 A1 WO 2023156188A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- machine
- image
- operating state
- images
- artificial intelligence
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
- G05B19/4065—Monitoring tool breakage, life or condition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24097—Camera monitors controlled machine
Abstract
The invention relates to method for determining an operating state of a machine (1), wherein at least one image (3) of at least one part of the machine (1) is created using at least one camera (2), and wherein the image (3) is transmitted to a computing unit (4), the method being characterized in that the operating state of the machine (1) is determined from the image (3) by means of the computing unit (4), the operating state of the machine (1) being transmitted to a production management program (5).
Description
Verfahren und System zur Bestimmung eines Betriebszustandes einer Maschine Method and system for determining an operating state of a machine
Verfahren zur Bestimmung eines Betriebszustandes einer Maschine. Method for determining an operating state of a machine.
Weiter betrifft die Erfindung ein System zur Bestimmung eines Betriebszustandes einer Maschine. The invention also relates to a system for determining an operating state of a machine.
In Fertigungsbetrieben ist es oft wünschenswert, die Betriebszustände von Maschinen, insbesondere von Fertigungsmaschinen, überwachen zu können. Insbesondere besteht das Bedürfnis, aus der Ferne überwachen und aufzeichnen zu können, ob und ggf. welche Fertigungsoperationen mit einer Fertigungsmaschine durchgeführt wurden. Nach Auswertung dieser Informationen können der Einsatz der Produktionsmittel und Wertschöpfungsprozesse optimiert werden. Für diese Überwachungsaufgaben ist aus der DE102018205492A1 ein Zwischenmodul zum Ermitteln von Betriebsdaten einer Maschine bekannt. In manufacturing companies it is often desirable to be able to monitor the operating states of machines, in particular of manufacturing machines. In particular, there is a need to be able to remotely monitor and record whether and, if so, which manufacturing operations have been carried out with a manufacturing machine. After evaluating this information, the use of production resources and value-added processes can be optimized. For these monitoring tasks, an intermediate module for determining operating data of a machine is known from DE102018205492A1.
Aus der WO 2018/069314 Al ist ein Verfahren zur Bestimmung eines Fertigungsfortschritts an einer Handarbeitsplatzeinheit bekannt. Dabei wird der Arbeitsbereich mit Kameras erfasst und Änderungen am Werkstück erfasst. WO 2018/069314 A1 discloses a method for determining a production progress at a manual workstation unit. The work area is recorded with cameras and changes to the workpiece are recorded.
Der Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes System und ein eingangs genanntes Verfahren bereitzustellen, welche eine Bestimmung eines Betriebszustandes einer Maschine, insbesondere einer Maschine, die nicht dazu
vorgesehen und eingerichtet ist ihren Betriebszustand selbsttätig zu erfassen und informationstechnisch weiterzugeben, zu ermöglichen. The invention is based on the object of providing a system mentioned at the outset and a method mentioned at the outset which determine an operating state of a machine, in particular a machine which is not intended for this purpose It is intended and set up to automatically record their operating status and to enable it to be passed on using information technology.
Diese Aufgabe wird bei dem eingangs genannten Verfahren erfindungsgemäß dadurch gelöst, dass mit zumindest einer Kamera zumindest ein Bild von zumindest einem Teil der Maschine erstellt wird, wobei das Bild einer Recheneinheit übermittelt wird, wobei mittels der Recheneinheit der Betriebszustand der Maschine aus dem Bild bestimmt wird, wobei der Betriebszustand der Maschine einem Produktionsverwaltungsprogramm übermittelt wird. In the method mentioned at the outset, this object is achieved according to the invention in that at least one image of at least one part of the machine is created with at least one camera, the image being transmitted to a processing unit, the operating state of the machine being determined from the image by means of the processing unit , wherein the operating status of the machine is transmitted to a production management program.
Unter einer Kamera wird hier jedes System für bildgebendes Verfahren verstanden z.b. 2D/3D-Kamera, ToF-Kamera, Radar, Lidar, Laser-Scanner und sonstige Verfahren zur berührungslosen, optischen Erfassung einer Szene. Eine Kamera hat typischerweise einen beschränkten Blickwinkel, der aus Position und Blickrichtung bestimmt wird. A camera is understood here as any system for imaging processes, e.g. 2D/3D camera, ToF camera, radar, lidar, laser scanner and other methods for non-contact, optical capture of a scene. A camera typically has a limited field of view, which is determined by position and line of sight.
Durch die Bestimmung des Betriebszustandes aus einem Bild ist es möglich den Betriebszustand zu bestimmen ohne, dass auf die Maschine Einfluss genommen wird. Insbesondere ist keine Anpassung an der Maschine oder an Strom- oder Informationsleitungen der Maschine notwendig. Die Maschine kann dabei insbesondere eine Werkzeugmaschine, bspw. eine Laserschneidmaschine, eine Schweißmaschine, eine Biegemaschine oder eine Fräsmaschine sein. By determining the operating status from an image, it is possible to determine the operating status without having to influence the machine. In particular, no adjustments to the machine or to the power or information lines of the machine are necessary. The machine can in particular be a machine tool, for example a laser cutting machine, a welding machine, a bending machine or a milling machine.
Ein Produktionsverwaltungsprogramm wird auch als Manufacturing Execution System oder kurz MES bezeichnet. Durch die Übermittlung des Betriebszustandes der Maschine an das Produktionsverwaltungsprogramm kann die Maschine besser in die Produktionsleitung einbezogen werden. Weiterhin kann der Betriebszustand dokumentiert und angezeigt werden. A production management program is also referred to as a Manufacturing Execution System, or MES for short. By transmitting the operating status of the machine to the production management program, the machine can be better integrated into production management. Furthermore, the operating status can be documented and displayed.
Bevorzugt werden zur Bestimmung des Betriebszustandes mehrere Bilder von einer oder mehrerer Kameras kombiniert. Dies ist vorteilhaft, wenn mehrere Betriebszustände nur aus unterschiedlichen Blickwinkeln unterschieden werden können oder wenn sich Betriebszustände nur aus einer zeitlichen Entwicklung erkennen lassen.
Besonders bevorzugt wird eine Mehrzahl von Bildern als Bildfolge erstellt und der Zustand der Maschine aus einer Veränderung zwischen den Bildern erkannt, wenn sich Betriebszustände nur aus einer zeitlichen Veränderung erkennen lassen. Multiple images from one or more cameras are preferably combined to determine the operating state. This is advantageous if a number of operating states can only be distinguished from different perspectives or if operating states can only be recognized from a development over time. A plurality of images is particularly preferably created as an image sequence and the state of the machine is recognized from a change between the images if the operating states can only be recognized from a change over time.
Dabei werden die Bilder der Bildfolge bevorzugt in einem vordefinierten zeitlichen Abstand erstellt. Durch den vordefinierten zeitlichen Abstand kann sichergestellt werden, dass der Abstand zwischen zwei Bildern nicht einer Arbeitsperiode der Maschine entspricht. Ansonsten könnte bei periodisch arbeitenden Maschinen, die bspw. eine gleichmäßige Dreh-, Pendel- oder Hubbewegung ausführen, ein Stillstand erkannt werden, obwohl eine Bewegung vorhanden ist. The images of the image sequence are preferably created at a predefined time interval. The predefined time interval can be used to ensure that the interval between two images does not correspond to a working period of the machine. Otherwise, a standstill could be detected in the case of periodically working machines, which, for example, carry out a uniform rotary, pendulum or lifting movement, although there is a movement.
Bevorzugt wird der Betriebszustand der Maschine mittels einer trainierten künstlichen Intelligenz bestimmt. Durch das Training einer künstlichen Intelligenz entfällt der Aufwand für jede Maschine und jeden Blickwinkel spezielle Algorithmen zur Bestimmung des Betriebszustandes zu entwickeln. Als künstliche Intelligenz kann insbesondere ein neuronales Netz eingesetzt werden. The operating state of the machine is preferably determined by means of a trained artificial intelligence. By training an artificial intelligence, there is no need to develop special algorithms for determining the operating status for each machine and each perspective. In particular, a neural network can be used as artificial intelligence.
Bevorzugt wird die künstliche Intelligenz mit überwachtem Lernen anhand von klassifizierten Bildern oder Bildfolgen vor der Bestimmung des Zustandes der Maschine trainiert. Überwachtes Lernen eignet sich besonders gut zum Trainieren einer künstlichen Intelligenz zur Bestimmung eines Betriebszustandes. Ein bevorzugtes Verfahren zum überwachten Lernen besteht aus der Nutzung bekannter Anregungsmuster der Maschine. Bei bekanntem Anregungsmuster, bpsw. einem Ruhebefehl oder einem Arbeitsbefehl, kann direkt auf den Betriebszustand der Maschine geschlossen werden. Ein oder mehrere Bilder der Maschine in diesem Betriebszustand werden dann zum überwachten Lernen der künstlichen Intelligenz genutzt. In einer Ausgestaltung wird je nach zu trainierendem Betriebszustand entschieden ob Einzelbilder oder Bilderfolgen zum Training genutzt werden. Bei Bilderfolgen wird bevorzugt je nach zu trainierendem Betriebszustand entschieden ob die Bilder der Bildfolge in einem vorbestimmten zeitlichen Abstand aufgenommen werden sollen.
Zum Training der künstlichen Intelligenz werden bevorzugt Bilder aus einem Blickwinkel genutzt, die dem Blickwinkel der Kamera beim Einsatz der künstlichen Intelligenz entsprechen. Die Kamera kann dabei ortsfest oder ortsflexibel sein. Die Kamera kann bspw. auf bewegten Maschinenkörpern wie einem Kragarm oder einem Drehteller mitgeführt werden oder anderweitig die Position und/oder die Blickrichtung der Kamera geändert werden. Bei einer ortsflexiblen Kamera sind die Position und der Blickwinkel der Kamera relativ zur Maschine bevorzugt bekannt und die künstliche Intelligenz wird mit Bildern aus den gleichen Positionen und Blickwinkeln trainiert. The artificial intelligence is preferably trained with supervised learning using classified images or image sequences before the state of the machine is determined. Supervised learning is particularly well suited for training an artificial intelligence to determine an operating state. A preferred method for supervised learning consists of using known excitation patterns of the machine. If the excitation pattern is known, e.g. a rest command or a work command, the operating status of the machine can be inferred directly. One or more images of the machine in this operating state are then used for the supervised learning of the artificial intelligence. In one embodiment, depending on the operating state to be trained, a decision is made as to whether individual images or sequences of images are used for training. In the case of image sequences, it is preferably decided, depending on the operating state to be trained, whether the images in the image sequence should be recorded at a predetermined time interval. Images from a viewing angle that correspond to the viewing angle of the camera when using the artificial intelligence are preferably used to train the artificial intelligence. The camera can be stationary or mobile. The camera can, for example, be carried along on moving machine bodies such as a cantilever arm or a turntable, or the position and/or the viewing direction of the camera can be changed in some other way. With a mobile camera, the position and viewing angle of the camera relative to the machine are preferably known and the artificial intelligence is trained with images from the same positions and viewing angles.
In einer Ausgestaltung werden in dem Bild relevante Bereiche definiert, wobei nur die relevanten Bildbereiche zur Bestimmung des Betriebszustandes genutzt werden. Durch die Definition von relevanten Bereichen können irrelevante Bildbereiche ausgeblendet werden. Diese irrelevanten Bereiche werden daher nicht zur Bestimmung des Betriebszustandes genutzt. Änderungen in irrelevanten Bereichen führen daher, insbesondere bei der Nutzung von künstlicher Intelligenz, nicht zu fehlerhaften Bestimmungen des Betriebszustandes. In one embodiment, relevant areas are defined in the image, with only the relevant image areas being used to determine the operating state. By defining relevant areas, irrelevant image areas can be hidden. These irrelevant areas are therefore not used to determine the operating status. Changes in irrelevant areas therefore do not lead to erroneous determinations of the operating status, especially when using artificial intelligence.
Bevorzugt wird das Bild oder die Bilder der Bildfolge mittels künstlicher Intelligenz, insbesondere neuronalen Netzen, aufgeteilt, wobei nur ein Teil des Bildes oder der Bilder als relevanter Bildbereich zur Bestimmung des Betriebszustandes genutzt wird. Die künstliche Intelligenz, welche das Bild aufteilt, ist dabei bevorzugt von der künstlichen Intelligenz zur Bestimmung des Betriebszustandes getrennt. Es ist aber auch möglich eine einzige künstliche Intelligenz zur Aufteilung des Bildes und zur Bestimmung des Betriebszustandes einzusetzen. Die künstliche Intelligenz zur Aufteilung des Bildes wird darauf trainiert relevante Bereiche, insbesondere Maschinen, im Bild zu erkennen. The image or the images of the image sequence are preferably divided by means of artificial intelligence, in particular neural networks, with only part of the image or images being used as the relevant image area for determining the operating state. The artificial intelligence that splits up the image is preferably separate from the artificial intelligence that determines the operating state. However, it is also possible to use a single artificial intelligence for dividing the image and for determining the operating status. The artificial intelligence for dividing the image is trained to recognize relevant areas, especially machines, in the image.
In einer alternativen Ausgestaltung werden in dem Bild ein oder mehrere relevante Bereiche manuell definiert. Dieses Vorgehen ist besonders einfach einzusetzen, wenn der Blickwinkel der Kamera auf die Maschine statisch ist. Diese Ausgestaltung ist bevorzugt, wenn wenige Kameras an festen Positionen eingesetzt werden sollen und der Aufwand zum Training einer künstlichen Intelligenz zur Aufteilung des Bildes vermieden werden soll.
Bevorzugt wird das Bild oder die Bildfolge einem Nutzer angezeigt, wobei eine Anzeige des Zustandes der Maschine dem Bild oder der Bildfolge überlagert wird. Durch die Anzeige kann der Nutzer sehr schnell erkennen in welchem Betriebszustand sich die Maschine befindet. Besonders nützlich ist die Anzeige, wenn in dem Bild mehrere Maschinen mit ihrem jeweiligen Betriebszustand zu erkennen sind. Zusätzlich zum Betriebszustand kann der relevante Bereich des Bildes dem Bild überlagert werden. Die Anzeige des relevanten Bereiches ist besonders nützlich bei der Nutzung einer künstlichen Intelligenz zur Aufteilung des Bildes, da der Nutzer leicht erkennen kann ob die künstliche Intelligenz den relevanten Bereich korrekt erkannt hat und der Betriebszustand folglich aus dem korrekten Bildbereich bestimmt wurde. In an alternative embodiment, one or more relevant areas are manually defined in the image. This procedure is particularly easy to use when the camera's viewing angle of the machine is static. This configuration is preferred if few cameras are to be used at fixed positions and the effort involved in training an artificial intelligence to split up the image is to be avoided. The image or the sequence of images is preferably displayed to a user, with a display of the state of the machine being superimposed on the image or the sequence of images. The display allows the user to see very quickly the operating status of the machine. The display is particularly useful when several machines with their respective operating status can be seen in the image. In addition to the operating status, the relevant area of the image can be overlaid on the image. The display of the relevant area is particularly useful when using an artificial intelligence for dividing the image, since the user can easily see whether the artificial intelligence has correctly identified the relevant area and the operating status has consequently been determined from the correct image area.
In einer alternativen Ausgestaltung wird einem Nutzer ein Bild oder eine Bildfolge der Maschine, das bei der Bestimmung des Betriebszustandes ungenutzt bleibt, angezeigt, wobei eine Anzeige des Zustandes der Maschine dem Bild oder der Bildfolge überlagert wird. Dies ist besonders vorteilhaft, wenn zur Bestimmung des Betriebszustandes ein oder mehrere Bilder genutzt werden, die nur Details der Maschine zeigen und zur Anzeige ein Bild genutzt wird, das die ganze Maschine zeigt. Alternativ kann ein Bild zur Anzeige genutzt werden, das mehrere Maschinen zeigt, während zur Bestimmung des Betriebszustandes Bilder genutzt werden, die nur einen Teil der mehreren Maschinen, bspw. nur einzelne Maschinen, zeigen. Bevorzugt wird auch in dieser Ausgestaltung ein Livebild genutzt, sodass der Nutzer den Betriebszustand bei Bedarf visuell überprüfen kann. In an alternative embodiment, a user is shown an image or an image sequence of the machine that remains unused when determining the operating state, with a display of the state of the machine being superimposed on the image or the image sequence. This is particularly advantageous if one or more images that only show details of the machine are used to determine the operating state and an image that shows the entire machine is used for the display. Alternatively, an image showing a plurality of machines can be used for the display, while images showing only a part of the plurality of machines, for example only individual machines, are used to determine the operating state. A live image is preferably also used in this refinement, so that the user can visually check the operating state if necessary.
Weiterhin betrifft die Erfindung ein System zur Bestimmung eines Betriebszustandes einer Maschine, umfassend zumindest eine Kamera, eine Recheneinheit und ein Produktionsverwaltungsprogramm, wobei das System dazu vorgesehen und eingerichtet ist ein erfindungsgemäßes Verfahren auszuführen. Furthermore, the invention relates to a system for determining an operating state of a machine, comprising at least one camera, a computing unit and a production management program, the system being provided and set up to carry out a method according to the invention.
Die nachfolgende Beschreibung bevorzugter Ausführungsformen dient im Zusammenhang mit den Zeichnungen der näheren Erläuterung der Erfindung.
Es zeigen: The following description of preferred embodiments serves to explain the invention in more detail in conjunction with the drawings. Show it:
Fig. 1 eine schematische Skizze eines Verfahrens zum Anlernen einer künstlichen Intelligenz; 1 shows a schematic sketch of a method for training an artificial intelligence;
Fig. 2 ein System zur Bestimmung eines Betriebszustandes einer Maschine; 2 shows a system for determining an operating state of a machine;
Fig. 3 ein Bild einer Werkzeugmaschine mit überlagerter Anzeige des Betriebszustandes; 3 shows an image of a machine tool with a superimposed display of the operating state;
Fig. 4 ein Bild mehrerer Werkzeugmaschinen mit überlagerten Anzeigen des jeweiligen Betriebszustandes; und 4 shows an image of several machine tools with superimposed displays of the respective operating status; and
Fig. 5 ein Bild mehrerer Maschinen mit überlagerten Anzeigen des jeweiligen Betriebszustandes. 5 shows a picture of several machines with superimposed displays of the respective operating status.
Gleiche oder funktional äquivalente Elemente sind in sämtlichen Ausführungsbeispielen mit denselben Bezugszeichen bezeichnet. Identical or functionally equivalent elements are denoted by the same reference symbols in all exemplary embodiments.
In Figur 1 ist eine schematische Skizze eines Verfahrens zum Anlernen einer künstlichen Intelligenz gezeigt. Die in diesem Verfahren angelernte künstliche Intelligenz soll anhand von Bildern 3 einer Werkzeugmaschine 1 den jeweiligen Betriebszustand der Werkzeugmaschine 1 erkennen. Bspw. solle die Betriebszustände „arbeitend", „Materialwechsel", „wartend" und „aus" unterschieden werden. Ein bekanntes Bearbeitungsprogramm 10 wird als Anregungsmuster der Maschine 1 genutzt. Da das Bearbeitungsprogramm 10 bekannt ist, ist über ein bekanntes Verhaltensmodell 11 ebenfalls bekannt in welchem Betriebszustand sich die Maschine 1 befindet. Mit anderen Worten kann also vorhergesagt werden, wann die Maschine 1 von einem Betriebszustand in einen anderen Betriebszustand wechselt. FIG. 1 shows a schematic sketch of a method for training an artificial intelligence. The artificial intelligence trained in this method is intended to use images 3 of a machine tool 1 to recognize the respective operating state of the machine tool 1 . For example, the operating states "working", "material change", "waiting" and "off" should be differentiated. A known machining program 10 is used as an excitation pattern for the machine 1 . Since the machining program 10 is known, the operating state of the machine 1 is also known via a known behavior model 11 . In other words, it can be predicted when the machine 1 changes from one operating state to another operating state.
Das bekannte Bearbeitungsprogramm 10 wird an die Maschine 1 übermittelt und von dieser ausgeführt. Die Maschine 1 wechselt dann zu den vorhergesagten Zeitpunkten in vorhergesagte Betriebszustände. Während der Ausführung des
Bearbeitungsprogramms 10 durch die Maschine 1 werden mit einer Kamera 2 Bilder 3 von der Maschine 1 gemacht. Entsprechend des jeweiligen Zeitpunktes des Bildes 3 wird der entsprechende Betriebszustand der Maschine 1 als Label 12 dem Bild 3 hinzugefügt. Mit den so gelabelten Bildern wird die künstliche Intelligenz auf die Erkennung von Betriebszuständen der Maschine 1 trainiert. Nach dem Training kann die künstliche Intelligenz die Betriebszustände von gleichen oder ähnlichen Maschinen, die ein unbekanntes Bearbeitungsprogramm abarbeiten erkennen. The known machining program 10 is transmitted to the machine 1 and executed by it. The machine 1 then changes into predicted operating states at the predicted times. During the execution of the Machining program 10 by the machine 1, pictures 3 of the machine 1 are taken with a camera 2. According to the respective point in time of image 3, the corresponding operating state of machine 1 is added to image 3 as label 12. The artificial intelligence is trained to recognize operating states of the machine 1 with the images labeled in this way. After training, the artificial intelligence can recognize the operating states of the same or similar machines that are processing an unknown machining program.
Die so erstellten Bilder 3 mit den hinzugefügten Labels werden dann für das überwachte Lernen der künstlichen Intelligenz verwendet. Die künstliche Intelligenz lernt anhand der gelabelten Bilder wie die unterschiedlichen Betriebszustände erkannt werden können. Die künstliche Intelligenz kann nach dem Lernen auch Betriebszustände von Maschinen erkennen, die unbekannte Bearbeitungsprogramme abarbeiten. The images 3 created in this way with the added labels are then used for the supervised learning of the artificial intelligence. The artificial intelligence uses the labeled images to learn how to recognize the different operating states. After learning, the artificial intelligence can also recognize the operating states of machines that process unknown machining programs.
In Figur 2 ist ein zur Bestimmung eines Betriebszustandes einer Maschine 1 gezeigt. Die Maschine 1 ist in diesem Beispiel eine 2D-Laserschneidemaschine. 2D-Laserschneidmaschinen schneiden Werkstücke aus plattenförmigen Blechen. Eine Kamera 2 ist auf die Maschine 1 ausgerichtet und macht ein Bild 3 oder vorzugsweise eine Bildfolge von der Maschine 1. Das Bild 3 oder die Bildfolge wird von der Kamera 2 an eine Recheneinheit 4, hier ein normaler Computer, übermittelt. Die Recheneinheit 4 führt eine trainierte künstliche Intelligenz 8 aus. Die künstliche Intelligenz 8 kann wie in Figur 1 gezeigt trainiert worden sein. Die künstliche Intelligenz 8 ist vorzugsweise auf den Maschinentyp der Maschine 1 trainiert worden. Vorzugsweise wurde beim Training der künstlichen Intelligenz 8 ein Kamerablickwinkel genutzt, der im Wesentlichen dem Blickwinkel der Kamera 2 auf die Maschine 1 entspricht. Die künstliche Intelligenz 8 bestimmt aus dem Bild 3 oder der Bildfolge den Betriebszustand der Maschine 1. Der Betriebszustand der Maschine 1 wird auf einem Bildschirm 6 ausgegeben. Die Betriebszustand kann dabei als Texteinblendung über dem Bild oder der Bildfolge ausgegeben werden. Ein Nutzer 7 kann so leicht erkennen welche Maschine 1 welchen Betriebszustand hat. Weiterhin wird der Betriebszustand an ein Produktionsverwaltungsprogramm 5 übergeben. In diesem Beispiel wird das Produktionsverwaltungsprogramm 5 auf einem Server ausgeführt, der über ein
Netzwerk mit dem Computer 4 verbunden ist. Es versteht sich, dass das Produktionsverwaltungsprogramm 5 auch auf derselben Recheneinheit wie die künstliche Intelligenz 8 ausgeführt werden kann. Das Produktionsverwaltungsprogramm 5 ist durch die Übermittlung des Betriebszustandes in der Lage auf den Betriebszustand der Maschine 1 zu reagieren, obwohl die Maschine 1 den Betriebszustand nicht selbst an das Produktionsverwaltungsprogramm 5 übermittelt. Das Produktionsverwaltungsprogramm 5 kann bspw. erkennen, wenn die Maschine 1 einen Auftrag abgearbeitet hat und im Pause-Zustand ist. Alternativ oder zusätzlich kann das Produktionsverwaltungsprogramm 5 erkennen, wenn die Maschine im Fehler-Zustand ist und kann Produktionsaufträge umplanen und den Nutzer 7 informieren. FIG. 2 shows a method for determining an operating state of a machine 1. In this example, machine 1 is a 2D laser cutting machine. 2D laser cutting machines cut workpieces from sheet metal. A camera 2 is aligned with the machine 1 and takes an image 3 or preferably an image sequence of the machine 1. The image 3 or the image sequence is transmitted from the camera 2 to a computing unit 4, here a normal computer. The processing unit 4 carries out a trained artificial intelligence 8 . The artificial intelligence 8 can have been trained as shown in FIG. The artificial intelligence 8 has preferably been trained on the machine type of the machine 1. When training the artificial intelligence 8 , a camera viewing angle that essentially corresponds to the viewing angle of the camera 2 on the machine 1 was preferably used. The artificial intelligence 8 determines the operating state of the machine 1 from the image 3 or the image sequence. The operating state of the machine 1 is output on a screen 6 . The operating status can be output as a text overlay over the image or the image sequence. A user 7 can thus easily identify which machine 1 has which operating status. The operating status is also transferred to a production management program 5 . In this example, the production management program 5 is running on a server that has a Network connected to the computer 4. It goes without saying that the production management program 5 can also be executed on the same computing unit as the artificial intelligence 8 . The production management program 5 is able to react to the operating state of the machine 1 by transmitting the operating state, although the machine 1 does not itself transmit the operating state to the production management program 5 . The production management program 5 can, for example, recognize when the machine 1 has processed an order and is in the pause state. Alternatively or additionally, the production management program 5 can recognize when the machine is in the error state and can reschedule production orders and inform the user 7 .
In Figur 3 ist ein Bild 3 einer Werkzeugmaschine 1 gezeigt. Ein solches Bild 3 kann bspw. von der Kamera aus Figur 2 stammen. Die Werkzeugmaschine 1 ist in diesem Beispiel eine Fräse. Die Fräse erzeugt Ausnehmungen 22 in einem Werkstück 20. In diesem Beispiel ist der Fräser 21 in das Werkstück 20 eingeführt. Die künstliche Intelligenz 8 erkennt daran, dass die Maschine 1 im Betriebszustand „arbeitend" ist. Der erkannte Betriebszustand wird einem Produktionsverwaltungsprogramm 5 übermittelt. Das Bild 3 wird dem Nutzer 7 über einen Bildschirm 6 angezeigt, wie in Figur 2 gezeigt. Der erkannte Betriebszustand wird dabei als Überlagerung 23 im Bild 3 angezeigt. So erkennt der Nutzer 7 sehr leicht welchen Betriebszustand die künstliche Intelligenz 8 der Maschine 1 zugeordnet hat. An image 3 of a machine tool 1 is shown in FIG. Such an image 3 can come from the camera in FIG. 2, for example. The machine tool 1 is a milling machine in this example. The milling cutter creates recesses 22 in a workpiece 20. In this example, the milling cutter 21 is inserted into the workpiece 20. FIG. The artificial intelligence 8 recognizes that the machine 1 is "working" in the operating state. The recognized operating state is transmitted to a production management program 5. The image 3 is displayed to the user 7 on a screen 6, as shown in Figure 2. The recognized operating state is displayed as an overlay 23 in image 3. The user 7 thus recognizes very easily which operating state the artificial intelligence 8 has assigned to the machine 1.
In Figur 4 ist ein Bild 3 mehrerer Werkzeugmaschinen 1 gezeigt. Innerhalb des Bildes 3 werden mehrere relevante Bereiche erkannt. Für jeden relevanten Bereich wird erkannt ob darin eine Maschine 1 abgebildet ist. Für die jeweilige Maschine 1 wird der jeweilige Betriebszustand erkannt. Der Betriebszustand wird jeweils als Überlagerung 23 über dem Bild 3 angezeigt. Das Erkennen der relevanten Bereiche kann bspw. mit einer trainierten künstlichen Intelligenz durchgeführt werden. Die künstliche Intelligenz ist dabei darauf trainiert bekannte Maschinen innerhalb eines Bildes 3 zu erkennen. In diesem Beispiel erkennt die künstliche Intelligenz auch Personen 24 auf dem Bild 3. Die Bereiche in denen Personen 24 auf dem Bild 3 abgebildet sind können, bpsw. zur Wahrung
des Datenschutzes und der Privatsphäre der abgebildeten Personen 24, unkenntlich gemacht werden. An image 3 of several machine tools 1 is shown in FIG. Several relevant areas are identified within image 3. It is recognized for each relevant area whether a machine 1 is depicted therein. The respective operating state is recognized for the respective machine 1 . The operating status is displayed as an overlay 23 above image 3. The relevant areas can be recognized, for example, with a trained artificial intelligence. The artificial intelligence is trained to recognize known machines within an image 3. In this example, the artificial intelligence also recognizes people 24 in image 3. The areas in which people 24 can be shown in image 3, e.g. for compliance of data protection and the privacy of the persons depicted 24, are made unrecognizable.
In Figur 5 ist ein Bild 3 mehrerer Maschinen 1 mit überlagerten Anzeigen 23 des jeweiligen Betriebszustandes dargestellt. Die Maschinen 1 sind in diesem Beispiel ein automatisiertes Hallentor und ein Gabelstapler. Für das Hallentor können bspw. die Betriebszustände „offen, „geschlossen", „öffnet", „schließt" oder „Fehlerzustand" erkannt werden. Für den Gablestapler kann der Betriebszustand bspw. in Form von Fahrtrichtung und Geschwindigkeit angegeben werden.
FIG. 5 shows an image 3 of several machines 1 with superimposed displays 23 of the respective operating state. In this example, the machines 1 are an automated hall door and a forklift. For example, the operating states "open", "closed", "opened", "closed" or "error status" can be recognized for the hall door. For the forklift, the operating status can be specified, for example, in the form of direction of travel and speed.
Bezugszeichenliste Reference List
Maschine machine
Kamera camera
Bild Picture
Recheneinheitunit of account
Produktionsverwaltungsprogrammproduction management program
Bildschirm Screen
Nutzer user
Künstliche IntelligenzArtificial intelligence
Bearbeitungsprogrammediting program
Verhaltensmodell behavior model
Label labels
Werkstück workpiece
Fräser cutter
Ausnehmung recess
Überlagerung overlay
Personen
persons
Claims
Patentansprüche Verfahren zur Bestimmung eines Betriebszustandes einer Maschine (1), wobei mit zumindest einer Kamera (2) zumindest ein Bild (3) von zumindest einem Teil der Maschine (1) erstellt wird, wobei das Bild (3) einer Recheneinheit (4) übermittelt wird, dadurch gekennzeichnet, dass mittels der Recheneinheit (4) der Betriebszustand der Maschine (1) aus dem Bild (3) bestimmt wird, wobei der Betriebszustand der Maschine (1) einem Produktionsverwaltungsprogramm (5) übermittelt wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bestimmung des Betriebszustandes mehrere Bilder (3) von einer oder mehrerer Kameras (2) kombiniert werden. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Mehrzahl von Bildern (3) als Bildfolge erstellt wird und der Zustand der Maschine (1) aus einer Veränderung zwischen den Bildern (3) erkannt wird. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Bilder (3) der Bildfolge in einem vordefinierten zeitlichen Abstand erstellt werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Betriebszustand der Maschine (1) mittels einer trainierten künstlichen Intelligenz bestimmt wird. Verfahren nach Ansprüche 5, dadurch gekennzeichnet, dass die künstliche Intelligenz mit überwachtem Lernen anhand von klassifizierten Bildern oder Bildfolgen vor der Bestimmung des Betriebszustandes der Maschine (1) trainiert wird. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass in dem Bild (3) relevante Bereiche definiert werden, wobei nur die relevanten Bildbereiche zur Bestimmung des Betriebszustandes genutzt werden.
Verfahren nach Ansprüche 7, dadurch gekennzeichnet, dass das Bild (3) oder die Bilder der Bildfolge mittels künstlicher Intelligenz, insbesondere neuronalen Netzen, aufgeteilt wird, wobei nur ein Teil des Bildes (3) oder der Bilder als relevanter Bildbereich zur Bestimmung des Betriebszustandes genutzt wird. Verfahren nach Ansprüche 7, dadurch gekennzeichnet, dass der Blickwinkel der Kamera auf die Maschine (1) statisch ist und in dem Bild relevante Bereiche manuell definiert werden. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das Bild (3) oder die Bildfolge einem Nutzer (7) angezeigt wird, wobei eine Anzeige des Betriebszustandes der Maschine (1) dem Bild (3) oder der Bildfolge überlagert wird. Verfahren nach einem der Ansprüche 1 bis 10 dadurch gekennzeichnet, dass einem Nutzer ein Bild (3) oder eine Bildfolge der Maschine (1), das nicht zur Bestimmung des Betriebszustandes genutzt wird angezeigt wird, wobei eine Anzeige des Betriebszustandes der Maschine (1) dem Bild (1) oder der Bildfolge überlagert wird. System zur Bestimmung eines Betriebszustandes einer Maschine (1), umfassend zumindest eine Kamera (2), eine Recheneinheit (4) und ein Produktionsverwaltungsprogramm (5), wobei das System dazu vorgesehen und eingerichtet ist ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Method for determining an operating state of a machine (1), at least one image (3) of at least part of the machine (1) being created with at least one camera (2), the image (3) being transmitted to a computing unit (4). characterized in that the operating state of the machine (1) is determined from the image (3) by means of the computing unit (4), the operating state of the machine (1) being transmitted to a production management program (5). Method according to Claim 1, characterized in that a plurality of images (3) from one or more cameras (2) are combined to determine the operating state. Method according to Claim 2, characterized in that a plurality of images (3) is created as an image sequence and the state of the machine (1) is recognized from a change between the images (3). Method according to Claim 3, characterized in that the images (3) of the image sequence are created at a predefined time interval. Method according to one of the preceding claims, characterized in that the operating state of the machine (1) is determined by means of a trained artificial intelligence. Method according to Claim 5, characterized in that the artificial intelligence is trained with supervised learning using classified images or image sequences before the operating state of the machine (1) is determined. Method according to one of the preceding claims, characterized in that relevant areas are defined in the image (3), only the relevant image areas being used to determine the operating state. Method according to Claim 7, characterized in that the image (3) or the images in the sequence of images is divided using artificial intelligence, in particular neural networks, with only part of the image (3) or the images being used as the relevant image area for determining the operating state becomes. Method according to Claim 7, characterized in that the angle of view of the camera on the machine (1) is static and relevant areas are defined manually in the image. Method according to one of the preceding claims, characterized in that the image (3) or the image sequence is displayed to a user (7), a display of the operating state of the machine (1) being superimposed on the image (3) or the image sequence. Method according to one of Claims 1 to 10, characterized in that a user is shown an image (3) or an image sequence of the machine (1) which is not used to determine the operating state, with a display of the operating state of the machine (1) being Image (1) or the image sequence is superimposed. System for determining an operating state of a machine (1), comprising at least one camera (2), a computing unit (4) and a production management program (5), the system being provided and set up to carry out a method according to one of the preceding claims.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022103875.0 | 2022-02-18 | ||
| DE102022103875.0A DE102022103875A1 (en) | 2022-02-18 | 2022-02-18 | Method and system for determining an operating state of a machine |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023156188A1 true WO2023156188A1 (en) | 2023-08-24 |
Family
ID=85158631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2023/052296 WO2023156188A1 (en) | 2022-02-18 | 2023-01-31 | Method and system for determining an operating state of a machine |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102022103875A1 (en) |
| WO (1) | WO2023156188A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202015103051U1 (en) * | 2015-04-20 | 2016-07-21 | Korsch Ag | Tableting machine with a device for executing a dashboard application |
| WO2018069314A1 (en) | 2016-10-13 | 2018-04-19 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Manual work station unit, remote data-processing device, manual work station operating system, manual work station operating method, and method for providing a manual work station |
| DE102018205492A1 (en) | 2018-04-11 | 2019-10-17 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Intermediate module, receiver module, monitoring system and monitoring method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009018477A1 (en) | 2008-05-15 | 2009-11-19 | Heidelberger Druckmaschinen Ag | Video-monitored printing machine |
| JP6715282B2 (en) | 2018-03-26 | 2020-07-01 | 株式会社東芝 | Quality monitoring system |
| DE102019003695A1 (en) | 2019-05-24 | 2020-11-26 | abaut GmbH | System for determining the activities of at least one machine |
| DE102019208448A1 (en) | 2019-06-11 | 2020-12-17 | Robert Bosch Gmbh | Procedure for checking a device or a machine |
-
2022
- 2022-02-18 DE DE102022103875.0A patent/DE102022103875A1/en not_active Withdrawn
-
2023
- 2023-01-31 WO PCT/EP2023/052296 patent/WO2023156188A1/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202015103051U1 (en) * | 2015-04-20 | 2016-07-21 | Korsch Ag | Tableting machine with a device for executing a dashboard application |
| WO2018069314A1 (en) | 2016-10-13 | 2018-04-19 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Manual work station unit, remote data-processing device, manual work station operating system, manual work station operating method, and method for providing a manual work station |
| DE102018205492A1 (en) | 2018-04-11 | 2019-10-17 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Intermediate module, receiver module, monitoring system and monitoring method |
Non-Patent Citations (1)
| Title |
|---|
| REN YUTIAN ET AL: "A contextual sensor system for non-intrusive machine status and energy monitoring", JOURNAL OF MANUFACTURING SYSTEMS, SOCIETY OF MANUFACTURING ENGINEERS, DEARBORN, MI, US, vol. 62, 24 November 2021 (2021-11-24), pages 87 - 101, XP086984269, ISSN: 0278-6125, [retrieved on 20211124], DOI: 10.1016/J.JMSY.2021.11.010 * |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102022103875A1 (en) | 2023-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102017010799B4 (en) | Machine learning device for learning a processing sequence of a robot system with a plurality of laser processing robots, associated robot system and machine learning method for learning a processing sequence of the robot system with a plurality of laser processing robots | |
| DE102018129425B4 (en) | System for recognizing a machining error for a laser machining system for machining a workpiece, laser machining system for machining a workpiece by means of a laser beam comprising the same, and method for detecting a machining error in a laser machining system for machining a workpiece | |
| DE102018109392A1 (en) | METHOD FOR DETECTING OPTICAL CODES, AUTOMATION SYSTEM AND COMPUTER PROGRAM PRODUCT TO PERFORM THE PROCESS | |
| EP3883715A1 (en) | Monitoring a laser machining process using deep folding neural networks | |
| DE102010017763A1 (en) | Device for displaying the toolpath for machine tools | |
| DE102018212531B4 (en) | Article transfer device | |
| DE102020110252B4 (en) | Vibration display device, operating program creation device and system | |
| DE102017211544A1 (en) | MANAGEMENT SYSTEM FOR MONITORING AN OPERATOR | |
| DE102016220015A1 (en) | Manual workstation, off-line data processing device, manual workstation system, manual workstation operating method, and manual workstation deployment method | |
| WO2020098949A1 (en) | Laboratory system comprising at least partially networked laboratory devices, and method for controlling a laboratory system comprising at least partially networked laboratory devices | |
| DE10215885A1 (en) | Automatic process control | |
| WO2020173983A1 (en) | Method and device for monitoring an industrial process step | |
| DE102020130520A1 (en) | METHOD OF CONTROLLING A ROBOT IN THE PRESENCE OF HUMAN OPERATORS | |
| DE112019007889T5 (en) | MACHINING PROGRAM CONVERSION DEVICE, NUMERICAL CONTROL DEVICE AND MACHINING PROGRAM CONVERSION METHOD | |
| DE102017007909A1 (en) | Production control equipped with a function for identifying the cause after an operation stop of a production facility comprising manufacturing facilities | |
| EP3168701B1 (en) | Method for representing the processing in a machine tool | |
| WO2023156188A1 (en) | Method and system for determining an operating state of a machine | |
| DE112019007579T5 (en) | Numerical control device and machine learning device | |
| EP3838504A1 (en) | Method and device for monitoring a machining process and machine tool with such a device | |
| EP2808843B1 (en) | Method of parameterisation of an image processing system for the monitoring of a machine tool | |
| DE112021007196T5 (en) | MACHINE LEARNING DEVICE, CLASSIFICATION DEVICE AND CONTROL DEVICE | |
| DE102017105078A1 (en) | Robot control, which allows a robot to perform machining movements, and robot program generator | |
| EP2703920B1 (en) | Method for teaching a machine controller | |
| EP3581935A1 (en) | System for the automatic recognition of laboratory work objects and method of operating a system for automatic recognition of laboratory work objects | |
| EP3582140A1 (en) | System for the automatic recognition of laboratory work objects and method for operating a system for automatic recognition of laboratory work objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23703017 Country of ref document: EP Kind code of ref document: A1 |