WO2019052742A1 - Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen - Google Patents

Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen Download PDF

Info

Publication number
WO2019052742A1
WO2019052742A1 PCT/EP2018/071161 EP2018071161W WO2019052742A1 WO 2019052742 A1 WO2019052742 A1 WO 2019052742A1 EP 2018071161 W EP2018071161 W EP 2018071161W WO 2019052742 A1 WO2019052742 A1 WO 2019052742A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
production
tracked
mobile unit
workpiece
Prior art date
Application number
PCT/EP2018/071161
Other languages
English (en)
French (fr)
Inventor
Klaus Bauer
Christian Bauer
Manuel BEUTTLER
Hans-Peter Bock
Daniel Bossert
Marcel Ely Gomes
Christian Görg
Manuel Kiefer
Thorsten Larsen-Vefring
Frank Perdana
Zaigham Faraz SIDDIQUI
Eberhard Wahl
Stephan Fischer
Original Assignee
Trumpf Werkzeugmaschinen Gmbh + Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Werkzeugmaschinen Gmbh + Co. Kg filed Critical Trumpf Werkzeugmaschinen Gmbh + Co. Kg
Priority to EP18752130.7A priority Critical patent/EP3682303A1/de
Publication of WO2019052742A1 publication Critical patent/WO2019052742A1/de
Priority to US16/815,456 priority patent/US11460832B2/en

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31432—Keep track of conveyed workpiece, batch, tool, conditions of stations, cells
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32055—Identify workpiece, read status centrally, machine, adapt status centrally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a method for monitoring and control of manufacturing processes, in particular of process sequences in the industrial production of workpieces in the metal and / or sheet metal processing. Furthermore, the invention relates to a system for workpiece position monitoring in production halls of the metalworking industry, especially in steel and / or sheet metal processing. Furthermore, the invention relates to the assignment of workpieces to process flows in the context of manufacturing control.
  • a physical material flow is usually synchronized discretely at booking stations manually with processing steps to be performed, so that often no detailed or only a delayed evaluation can take place.
  • German patent applications DE 10 2016 120 132.4 ("workpiece collection unit and method for supporting the machining of workpieces") and DE 10 2016 120 131.6 (“Absortierunterstützungsvon and flatbed machine”) with filing date 21 October 2016 are methods for sub - supporting the sorting operation of workpieces produced by a flatbed machine tool, in general, methods for assisting the machining of workpieces.
  • German patent application DE 10 2017 107 357.4
  • German patent application DE 10 2017 120 358.8 relates to "Interior location-based control of production processes in the metalworking industry", DE 10 2017 120 381.8 "Assisted allocation of a workpiece to a mobile unit of an indoor location system", DE 10 2017 120 382.6 "Image-based assignment of an editing plan to a mobile unit data record of a mobile unit of an indoor location system” and DE 10 2017 120 383.4 "Interior passenger location-based production control in the metalworking industry", each with filing date 5 September 2017, the use from Z. B. ultra-wideband technology for locating mobile units in manufacturing halls revealed.
  • German patent applications are incorporated herein in full. It is an object of this disclosure to propose methods and systems that can intelligently support manufacturing processes, particularly in the field of metal processing, for example steel and / or sheet metal processing.
  • a method for manufacturing control of process sequences in the industrial machining of workpieces according to claim 1 by a production control system for controlling manufacturing processes in a production hall according to claim 16 and a method for industrial manufacturing of an end product according to claim 19. Further developments specified in the dependent claims.
  • a method for manufacturing control of process sequences in the industrial machining of workpieces according to machining plans, in particular in the metal and / or sheet metal processing, in a production hall for manufacturing a final product comprises the following steps: Providing a plurality of image capture devices arranged in the production hall and configured to record image sequences of assigned observation areas in the production hall,
  • Determining a current position of the object to be tracked by locating the object feature in a temporally current image of one of the image sequences and assigning the position of the object feature in the temporally current image to a current position in the observation region of the image sequence comprising the temporally current image, and
  • a method for industrially manufacturing an end product using a manufacturing control system includes the steps of:
  • processing steps comprising one or more of the following operations: cutting, especially laser cutting, punching, bending, drilling, tapping, grinding, joining, welding, riveting, screwing, pressing, treating the edges and surfaces;
  • Manufacturing a workpiece for the final product wherein it is processed in particular to a part of the final product after a first of the processing steps at the machine or workstation unit assigned to the processing step, (optional step of spatially allocating a mobile unit associated with the production order to the finished workpiece,)
  • a production control system for controlling production processes in a production hall comprises:
  • an analysis unit which is designed to determine, exchange and provide data for the position of an object to be tracked in the production hall and to carry out the method outlined above.
  • the manufacturing control system may further include a display unit configured to display the position of the at least one mobile unit in a floor plan of the production hall.
  • At least one of the image recording devices may be fixedly installed and / or movable, in particular freely movable about a pivot axis and / or along a displacement axis, installed and / or installed on a drone.
  • the shop floor control system may further include an indoor location system having a plurality of transceiver units permanently installed in the shop floor, at least one mobile unit, and a (location system) analysis unit.
  • the transceiver units and the mobile unit may be configured to transmit and receive electromagnetic signals.
  • the analysis unit is designed to run from the terms of electromagnetic signals between the transceiver units and the mobile unit to determine the positions of the mobile unit and thus the position of a mobile unit to be tracked object to be tracked in the production hall.
  • the following aspects may be implemented.
  • the image pickup devices can be designed differently.
  • the image recording devices can be designed as (video) cameras.
  • An image pickup device can be easily installed on the machine tool or at a workstation unit or in its vicinity, and the image information can be directly evaluated.
  • machine tools or workstation units can also be retrofitted with such an image acquisition device and with such a location system.
  • the image pickup device may be fixed or movable.
  • inventory cameras generally inventory imaging devices, e.g. B. on, inside and outside of machines already in the manufacturing plant for other purposes are provided in the described system of image-based tracking are included.
  • the image recording device can also be formed by an ultrasonic sensor, in particular with an additional sound source.
  • the image sequences of the image recording devices can have a clear time reference for position determination and with one another.
  • the object to be tracked may be tracked within the provided images solely on the basis of typical pixel changes associated with an object feature.
  • the identification of the object to be tracked can take place in the first image with a software system which provides information about the position of the object in the first image, in particular by means of an object information area superimposed on the observation area.
  • Locating the object feature may include determining a An object feature vector that describes the movement of the object feature between images of the first of the image sequences, and projecting the object feature vector into an image of a second of the image sequences.
  • An object feature may be a specific geometric shape, a color, a light signal of an LED, or an extent of an area in the image.
  • An object feature vector may be a directional or velocity vector of an object feature.
  • one of the image sequence associated observation area in the production hall can be checked whether an object feature corresponding to the object feature and / or object feature vector in an appropriate location / time window another image sequence - in particular with sufficiently high probability - is identifiable. This can be done, in particular, with the aid of suitable image evaluation means and image evaluation methods / programs.
  • the object to be tracked may be a workpiece, a means of transport, a tool, a mobile unit or a person.
  • the observation areas of the first image sequence and a second image sequence may have an overlap area, and a transfer of the object features from the first image sequence to the second image sequence may be based on pixel values in the overlap area of substantially simultaneous images.
  • associating the location of the object feature in the current time image with a current position in the observation area of the image sequence may include providing reference points in the observation areas, and calculating an accurate location / space time of the object to be tracked at least one reference point.
  • the method may further comprise recording and / or providing the determined position via a suitable interface and / or incorporating the determined position into a motion analysis of the object to be tracked
  • the method may further include defining zones and / or spatial barriers in the shop floor, particularly in a site plan of the manufacturing hall, and matching the particular location of the object to be tracked. visually of the zones and / or the physical barriers and control of manufacturing based on the alignment.
  • the matching of the specific position can, for. B. revealed that the object to be tracked is located in a zone or has left this or that the object to be traced has passed through a spatial barrier.
  • the zones and / or the spatial barriers can be defined in two or three dimensions.
  • including the particular position of the object to be tracked may include one or more of the following steps: outputting signals to assist in locating the object to be tracked; displaying information about the position and / or the manufacturing state of the object to be tracked, in particular on a mobile output device such as a tablet, smartphone or a surveillance monitor; setting operating parameters of a machine tool; updating a log that records the manufacturing, in particular processing steps; assigning the object to be tracked to an order for manufacturing one or more end products in a plurality of different work steps;
  • the incorporation of the specific position of the object to be tracked can include: controlling and / or monitoring a machining of the workpiece in a plurality of different work steps carried out at different locations, but in particular within the production hall; Taxes and / or
  • the method may include the steps of providing an indoor location system having a plurality of transceivers fixedly installed in the production hall, at least one mobile unit, and a location analysis unit, the transceiver units and the mobile unit for broadcasting and receiving electromagnetic signals is formed and the location analysis unit is formed, from running times of the electromagnetic signals between the transceiver units and the mobile unit, the positions of the mobile unit in to determine the production hall; an assignment of the mobile unit to at least one, in particular traceable object; determining the location of the at least one associated object by locating the associated mobile unit with the indoor location system; incorporation of the particular position in the mapping process in which an object to be tracked determines a pixel structure in the image, and / or in the manufacturing control of the industrial manufacturing facility for manufacturing the final product, in particular image capture device based tracking (also referred to herein as image based Tracking).
  • image capture device based tracking also referred to herein as image based Tracking
  • the incorporation of the imager-based tracking into a manufacturing system may be accomplished with the
  • an image capture device unit that provides image sequences (video streams) at a time sufficient frame rate and pixel resolution.
  • a position recognition system having an object recognition unit which, with the aid of suitable object recognition methods, selects the object to be tracked for a specific object
  • An image sequence analysis unit using an image sequence analysis software, the object within the image sequences provided only on the basis of the typical pixel changes (movement) tracks without uniquely identifying the object to be tracked as such.
  • an image sequence changing unit which associates the object to be tracked with a region in an image sequence of a second image pickup device.
  • the image sequence change unit can also be designed to derive at least one object feature vector from a first image sequence and, based on the object feature vector, to associate the object to be tracked with a pixel region in an image of a (second) image sequence.
  • workpiece collection units workpiece assembly.
  • workpiece collection units workpiece assembly.
  • workpiece collection units workpiece assembly.
  • workpiece collection unit workpiece assembly.
  • workpiece collection unit workpiece collection unit
  • mobile unit workpiece collection unit
  • Each of the jobs can be assigned to a workpiece collection unit.
  • imager-based tracking of objects is implemented, each job with job-related workpieces, workpiece collection units, or mobile units in the shop floor can be located at any time. This can also be combined with feedback information from workstations and / or machines in the production control system.
  • the image pickup-based tracking of objects is distinguished by the fact that the position of the objects can be determined solely by observation with the various image pickup devices provided in the production hall, ie without manual interaction.
  • Previous systems for locating workpieces or jobs in manufacturing facilities have the disadvantage that lost workpieces or jobs must be searched manually. It has been recognized that these manual searches, especially in manufacturing facilities with a high number of small and constantly changing orders, ie z. As in toll manufacturing, account for a tremendous proportion of non-productive time.
  • the need for time-consuming manual searches of workpieces, but also of tools or persons, can thus be drastically reduced, especially in the (metal and / or sheet-metal processing) industrial production.
  • the machining of the workpiece or workpieces is controlled or monitored at workplaces that are networked or integrated with the manufacturing controller.
  • Such machine workplaces include machines that receive and execute manufacturing instructions by data connection, in particular digitally. This can be done by the operator no or only a minimal intervention.
  • Such machines are commonly referred to as automated or fully automated machines.
  • Such machines can also report the status of production to a production control.
  • the machining of the work piece (s) at workplaces that are networked or not integrated with the manufacturing control to a very low degree or not at all is controlled and / or controlled.
  • so-called manual workstations as described in DE 10 2016 220 015.1, "manual workstation, work data processing device, manual workstation system, manual workstation operating method and manual workstations" method with filing date October 13, 2016. This said German patent application is incorporated herein in its entirety.
  • Jobs that are networked only to a very limited extent can be, for example, workplaces with simple machines, such as workplaces for drilling, sawing, milling and bending. Their only networking can consist in a monitoring system, as described in DE 10 2016 220 015.1. Another networking option is the monitoring of the power consumption of such machines and the networking of the information from the power consumption. So if a machine has not consumed any power, z. B. concluded that the machine may not have completed the job yet.
  • intelligent assistance systems in manufacturing halls can provide 2D or 3D position determination of workpieces (generally material) and optionally persons, (eg, operators), transport media, machines, tools, and much more to support manufacturing processes.
  • workpieces generally material
  • persons e.g, operators
  • transport media machines, tools, and much more to support manufacturing processes.
  • This makes it possible to use 2D or 3D positions as information, which may be in addition to other sensor information and determined according to the concepts disclosed herein, in the context of overall manufacturing control and digitization of factories.
  • imager-based tracking systems can be integrated into a shop floor control system (also referred to herein as MES (Manufacturing Execution System)).
  • MES Manufacturing Execution System
  • the use of the image acquisition device-based tracking system can result in complexity in the low-cost, dynamic assignment of acquired location information to physical components.
  • the concepts disclosed herein address this complexity and allow, for example, position information to be assigned to production orders with an assigned identifier without complex interaction.
  • Imaging device-based tracking systems can allow detailed mapping of material flows in manufacturing within a manufacturing shop into digital process processing.
  • the tracking systems can thereby simplify the localization of the objects / persons participating in the production in the production environment. If tools, operating resources or charge carriers are initially recorded once in the image pickup device-based tracking system, they can be integrated in the digital control system. This also applies to objects that are temporarily involved in production, such as production orders or service personnel. Temporarily required dynamic follow-ups can always arise again and are required only a few hours, days or weeks in the production hall.
  • inventions of the integration of such tracking into the processes of metal processing disclosed herein may include the following method steps, uses and advantages: - Illustration of the changing assignment of orders.
  • the concepts disclosed herein may allow for increased process reliability, optimization of cycle times, and, correspondingly, cost optimization of production.
  • the concepts disclosed herein may be e.g. T. cause significant time savings in the manufacturing process, with the manufacturing process z. From the production of a required number of parts to the correct transfer to a subsequent process (eg, a subsequent metal working step). Several orders can also be implemented at the same time process reliable.
  • the concepts disclosed herein further allow easy assignment of workpieces within the scope of the imager-based tracking system. This allows open jobs to be optimized despite the complexity of multiple jobs to be processed simultaneously.
  • a z. B. in the aforementioned DE 10 2017 120 358.8 combined indoor-location-based control with the Schmeauvomchtung-based tracking system.
  • the combinability encompasses the integration of the interior location in the identification of an object in an image (determination of a pixel structure) and the common use for a comprehensive and complementary provision of position information of objects involved in the production and people.
  • a mobile unit of an indoor location system itself may be an object to be tracked by means of the image sequences.
  • two methods / systems can be used for localization, which can align and learn from each other.
  • FIG. 1 is an exemplary schematic illustration of a production control system with an image picker based tracking system
  • FIG. 2 shows a representation of an exemplary transport carriage for workpieces
  • FIG. 3 shows an exemplary digital site plan of a production hall
  • FIG. 5 shows an exemplary representation of a machine tool that is integrated in an image acquisition device-based tracking system
  • FIG. 6 is a flowchart illustrating a manufacture supported by an image pickup device based tracking system
  • FIG. 7 shows a flow chart to illustrate process steps for the industrial production of a final product.
  • aspects described herein are based, in part, on the recognition that with the accuracy and reliability of imager-based tracking systems, For example, with an accuracy in the position determination of less than 30 cm, in particular less than 10 cm, the use of image pickup-based tracking system in the context of industrial production makes sense.
  • the image-based tracking concept disclosed herein allows for consistent object tracking during a multi-level manufacturing process within a manufacturing shop, and thus is easily deployed in intralogistics applications.
  • it is proposed to use image sequence-based object tracking which enables object tracking without optical geometry recognition with the aid of smart data applications (machine learning, artificial intelligence, etc.).
  • An exemplary implementation of the concept for object tracking comprises z. For example, the following steps:
  • the production hall at least the area relevant for object tracking, is monitored overlapping with several image acquisition devices.
  • the image capture devices provide the production control system with video streams (image sequences) at sufficiently high frame rate and pixel resolution.
  • An object is selected as part of the production control.
  • the position of the selected object is determined in the production hall and remains subsequently available in the production control system despite position changes in the production hall, which arise as a result of the manufacturing process.
  • the object to be tracked is localized at one point in time at one location.
  • This is z.
  • SW software
  • An image sequence analysis SW tracks the object within the provided image sequence exclusively on the basis of typical pixel changes (movement), without the actual object as such being uniquely identifiable. This means that no object recognition is necessary, which runs over the image sequences.
  • image analysis software and image sequence analysis software reference is made to known methods for real-time capable image analysis.
  • the exemplary implementation may further comprise the aspect of tracking with multiple image capture devices, ie, the object to be traversed leaves the observer. tion range of a first image pickup device, a transfer of tracking to a second image pickup device takes place.
  • the object to be tracked can be uniquely identified when changing to the detected area of the second image pickup device and subsequently tracked in the image sequence of the second image pickup device.
  • speed and / or direction vectors of the object to be tracked can be determined based on the first image sequence with analytical methods of the locations known in the first image sequence , These allow the object to be tracked to be assigned to an object appearing in the second picture sequence.
  • the identification can be carried out with sufficiently high probability, since the suitable image sequence features (object feature vectors such as directional and / or velocity vectors, object features such as colors, object sizes, etc.) make an appropriate assignment possible.
  • the exemplary implementation may further include the aspect that the probability of assigning objects to a subsequent image sequence is further improved with the aid of machine learning algorithms.
  • Fully or partially automated processing plan assignments connect, for example, a production order with a specific mobile unit of a z.
  • B. UWB location system You can, for example, by a combined use of an assistance system in the environment of the operator, the image pickup-based tracking system and a z.
  • B. UWB location system can be performed.
  • an assignment of the object (eg the assigned workpiece) to an associated production order (eg the production order of the workpiece) can be carried out.
  • Such fully or partially automated machining plan assignments for example, connect a production job to a specific tracked object.
  • a system that allows the above exemplary implementation of the concept includes, for. B .:
  • An initial recognition (image sequence-frame-object assignment) of an object to be tracked with the aid of suitable image recognition in a frame of an image sequence for the provision of object position, object identity, at least one object feature, which is an object feature vector can be assigned in a picture sequence (object feature vector assignment).
  • An example of an assistance system for the first detection is z.
  • An optical assistance system detected in the optical sensors used by the operator workpieces or tools and in the context of the available production data from the production orders (preferred) are clearly identified for the processing plan assignment.
  • An exemplary assistance system is disclosed in the initially cited DE 10 2016 120 131.6. Such assistance systems can also be used for the processing plan assignment, if, for example, image data relate to the workpiece and the processing plan. The machining plan assignment can then support the further tracking of the object during the subsequent manufacturing process. The close integration of the process sequence ensures process reliability in the manual environment.
  • the objects can be linked to production orders.
  • the production orders relate to machining processes at various production stations, for example on a laser cutting machine or on a punching machine and z. B. at a picking station.
  • the digital assignment can be done, for example, by placing an object in a geometrically defined zone. In this case, information about this order can be loaded with regard to the follow-up or, depending on requirements, always be loaded up-to-date.
  • the digitally assigned objects can, for. B. workpiece collection points such as carts or pallets, generally load carriers, on which the workpieces are possibly stored during production image-picking device assisted.
  • tools can be digitally assigned as an object.
  • the dynamic processing plan assignment can be done by z. B. order papers and / or a code (eg barcode, QR code, etc.) are scanned.
  • the desired geometry of the workpiece can be used. After a comparison of the geometry of the workpiece, for example with the imaging device-based assistance system, with the desired geometry, information from the central production data system can be reloaded and used during follow-up.
  • the operator may be presented with a subset of the active production orders that are eligible for the acquired geometry. The operator then makes the final selection and makes the digital assignment. This improves process reliability. Particularly similar workpieces / tools can be tracked as an object, without them being confused by the operator, for example, correspondingly assigned incorrectly and processed incorrectly.
  • image-based tracking concepts will be exemplified in connection with the figures.
  • FIG. 1 schematically shows a production control system 1 comprising an MES (Manufacturing Execution System) 3 and an image capture device-based tracking system 5 (also referred to here as a short tracking system).
  • MES Manufacturing Execution System
  • image capture device-based tracking system 5 also referred to here as a short tracking system
  • the MES 3 is connected to one or more machine tools 7 located in a production hall via wireless or wired communication links 9.
  • the MES 3 is used to control process sequences / manufacturing steps in the industrial production of workpieces with the machine tools 7. It thus serves in particular to control the machine tools 7.
  • the MES 3 receives information about the process sequences / production steps and status information of the machine tools MES 3 represents a data processing system or generally a data processing method that may be implemented in a data processing device. This can be a single electronic data processing device (server) or a combination of several data processing devices (server network / cloud).
  • the data processing device or the composite may be provided locally in the manufacturing facility or may be set up remotely.
  • a platform on which the data processing devices can be available - eg. B. on which the MES 3 can be implemented, may be a so-called cloud.
  • the cloud includes z.
  • the data processing device may include a user interface (GUI) with various application programs (APPs).
  • GUI user interface
  • APPs application programs
  • the tracking system 5 may comprise an analysis unit 11 and a plurality of image recording devices 13, which are provided for observing objects 15.
  • the image recording devices 13 may in particular be cameras.
  • the tracking system 5 may also interact with the MES 3.
  • the tracking system 5 may be formed as a part of the MES 3.
  • the object 15 may be a workpiece, a means of transport for workpieces, a tool or a person.
  • the object 15 can be located during production in one or more observation areas 17 of the image recording devices 13 and is thus imaged in recorded images 39 of the image recording devices 13 stored in the MES 3 (or the analysis unit 11), the images 39 (also referred to as frames) ) of an image pickup device 13 form an image sequence 41 (also referred to as video stream).
  • the position of the object 15 can be determined in the observation area 17 of an image recording device 13, for example via reference points 19, which are also shown and are indicated schematically in FIG. 1.
  • an image recording device 13 with the production control system 1, in particular with the MES 3, can be bidirectional.
  • an image pickup device 13 may be appropriately aligned by the MES 3 or set in the operating parameters such as frame rate, exposure, etc.
  • WLAN senders may be integrated into an image capture device 13 for data access into the shop floor control system 1, such that via this image capture device 13, digital data may be mobilized in the shop floor, e.g. B. accessible via smartphones or tablets.
  • the integration of the WLAN transmitter stations in the Image pickup device 13 can simplify the installation and operation of a data communication system in the shop floor.
  • the analysis unit 11 may serve as a central master positioning unit (also referred to herein as a "server”). It defines the follow-up process and data exchange with the MES 3.
  • a group of image capture devices 13 may be assigned to a master position determination unit and the image sequences may be transmitted to them. For capturing positions in large production halls or over several buildings or rooms, several groups of image capturing devices 13 can be provided, which are each assigned to a separate master position determination unit. These master position determination units can in turn communicate with each other. Depending on the position of the object 15 to be tracked, the tracking of different master position determination units (servers) can take place.
  • FIG. 1 further shows, by way of example, machining plans 37.
  • a machining plan 37 may comprise a geometry data record 37A and / or an encoding data record 37B identifying the workpiece. Further, the machining plan 37 may include one or more machining and workpiece parameters 37C of the corresponding workpiece 23.
  • the transporting carriage 21 shows a transporting carriage 21 with a workpiece 23 and a mobile unit 20.
  • the transporting carriage 21 comprises a storage area 24 for this or a plurality of workpieces 23, which were generated by a machine tool 7 as part of a processing plan 37.
  • the mobile unit 20 is stored by way of example on the transport vehicle 21, but can also be structurally integrated into it.
  • it may include an electronically-drivable display 20A, such as an e-ink display (also referred to as electronic paper display), and / or one or more signal dispensers 20B (LEDs) for outputting information.
  • the display 20A indicates, for example, information specific to these workpieces 23. This can be, for example: type of the current and the next processing step, for example "deburring", or "bending"; Name and / or identification of the contract; Date, for example, the date of Completion or commencement of the contract; Number of parts to be manufactured; Name or identification of the customer or client.
  • the display 20A can also be used as a signal output device for a feedback to the user.
  • a signal output device are a device for outputting sound, in particular in the audible range, in particular for outputting speech information and a lamp such as an LED, which can be recorded in the images (39) of an image recording device 13 as significant object features.
  • the LED can communicate information coded by different colors, flashing frequencies and / or flashing patterns visually via the image pickup device 13 to the MES 3.
  • a particular flashing LED can also be used for position identification, as it is easier to recognize even at long distances than z.
  • B is a specific text on the display 20A. Therefore, a signaling device such as an LED has special advantages when z.
  • a mobile unit 20 is to be tracked in an image sequence, or the mobile unit 20 is searched during the manufacturing process.
  • the LED can be remotely addressed by an operator and then make a signal.
  • Such a remote-controlled addressing can be achieved, for example, by a further mobile unit or by another, in particular, portable device, eg. As smartphone, tablet, or via the analysis unit 11. But you can also directly, for. B. via near field transmitter (eg., Bluetooth, NFC, IR) done.
  • near field transmitter eg., Bluetooth, NFC, IR
  • the mobile unit 20 may comprise a modulatable signal source for generating modulated light, sound or vibration signals as a signal output device. It can then - similar to the communication device described in the German Utility Model DE 20 2016 106 352 Ul - used as data transmitting communication device for the wireless transmission of data.
  • the communication device can have at least one sensor for receiving light, sound or vibration signals and the signal processing unit can be programmed such that it recovers the data contained therein from received, modulated signals.
  • at least one signal input device (for example a key) for inputting parameters can be integrated in the mobile unit 20.
  • the mobile unit 20 may further comprise as a signal input device a simple sensor for receiving light, sound or vibration signals, in particular a brightness sensor. It can then, as described, for example, in the aforementioned DE 20 2016 106 352 U1, be used as a data-receiving communication device for the wireless transmission of data, in particular access data, from a machine tool.
  • the mobile unit 20 may further include its own image pickup device configured to capture / scan images of workpieces and / or codes (eg, bar codes or QR codes) on the workpieces or on other documents, tools, or products , In this way, an assignment of objects (eg recorded workpieces) to orders can be made.
  • the mobile unit may have functionality to detect, process and transmit the imager data.
  • the mobile units 20 are usually assigned to workpieces.
  • the mobile units 20 may be carried by persons in the factory or attached to aids such as trolleys, machines, and tools, thereby again assigning the mobile unit 20 to a person, e.g. As a worker, or an aid can be made to assist the tracking.
  • FIG. 3 shows a schematic digital layout 25 of an exemplary production hall equipped with several machine tools 7 of different types.
  • machine tools 7 in steel, aluminum, copper processing, generally in metalworking are cutting machines, in particular laser cutting machines, punching, grinding, bending machines, etc.
  • site plan 25 is also shown in site plan 25 which is a workstation 26 which is networked to a very low degree. such as a manual workstation with simple machines, eg. As for drilling, sawing, milling, bending, no networking or only a network via a monitoring system, such as. B. in DE 10 2016 220 015.1 described, have.
  • zones 27, 27' and barriers 29 have been defined by an operator regarding the use of the machine tools 7 and associated operations.
  • the barriers 29 extend spatially (for example wise linear) in the production hall and define boundaries whose violation by a mobile unit can trigger specific actions.
  • the zones 27, 27 'and barriers 29 can generally be associated with workpiece-specific or object / operator-specific properties.
  • FIG. 3 A view as shown in Fig. 3, z. On a screen (monitor) of a data processing device (eg PC). When activating individual zones, barriers or tracked objects on the monitor (eg by means of a cursor or touchpad by means of a touch) status information can be displayed. For certain objects can be filtered, z. B. all mobile units / workpieces with assignment to orders of a particular customer.
  • a data processing device eg PC.
  • actions can be triggered using the spatial position determination in the production control system when an object to be tracked is within a specific zone or exceeds a specific barrier, these actions being dependent on the associated object, eg. B. workpiece, and its manufacturing relevance, processing / processing state, can vary.
  • the zones 27, 27 'and the barriers 29 can also be marked in the production hall on site color for better identification in the image sequences.
  • the digital layout 25 not only stationary elements (machine tools), but also movable elements (workpieces, trolleys, operators) are displayed.
  • the integration of movable elements into the floor plan is made possible by the image acquisition device-based position determination, for example, by the transport tracking 21, workpieces 23 and operator 31 as objects to be tracked by the tracking system in their movement.
  • exemplary positions of a plurality of image recording devices 13 can be seen in the digital map 25.
  • the image recording devices 13 provide machine-readable image information. mation.
  • the positions of the image pickup devices 13 are selected such that a 2D position determination or a 3D position determination can be performed in the associated observation areas 17 in the production hall.
  • image sequence recordings for two movable objects 15 are illustrated by means of double arrows 33 in FIG. 3.
  • the primary application of the imager-based tracking system 5 is locating workpieces 23, generally material, as well as mobile units used in manufacturing such as trolleys 21, stackers, tools, and other mobile devices, as well as people.
  • workpieces 23 generally material, as well as mobile units used in manufacturing such as trolleys 21, stackers, tools, and other mobile devices, as well as people.
  • the gained spatial information about the objects additionally allows an analysis of process flows and of an (exploitation) of z. B. tools.
  • FIG. 4 shows a plan view of another digital layout plan 25 'of another exemplary production hall. It can be seen several positions of image pickup devices 13 with schematically indicated observation areas 17. Furthermore, one recognizes again several zones 27 and barriers 29th
  • Image pickup devices 13 are installed, for example, stationary in the production hall or they can move along featuressstrajektorien to z. For example, it is possible to detect a zone with a pivoting movement (see observation area 17 ") or to perform a movement movement along a zone Furthermore, image recording devices can be provided on drones in order to be used flexibly in the production hall.
  • a control area 30 the position of a production control device of the production control system 1 is indicated.
  • the analysis unit 11 may be located.
  • a data processing device 30A eg a PC
  • a screen monitor
  • the assignment of an object to a pixel area in an image of a recorded image sequence can be effected by various interactions with the production control system 1 (hereinafter also briefly the production control).
  • the production control which may be on a
  • Smartphone or tablet is provided, the respective workpiece / the respective object selected and assigned to a pixel (pixel area) of a displayed image of an image pickup device by entering, for example, an associated reference number.
  • alternatively automated or semi-automated activation of the display 20A or LED 20B of the mobile unit 20 support the assignment. Furthermore, for example, by means of image processing of an image of the object, which is provided, for example, with a marking such as a bar code (see display 20A in FIG. 2), the assignment can be made. Furthermore, a graphical assignment can be made via a dialog displayed on the user interface. Furthermore, the assignment can take place with reference to location information of a UWB location system.
  • he accesses data from the production control system (MES) and opens, for example, the digital site plan 25, 25 'of the production hall.
  • MES production control system
  • a mobile unit 20 and workpieces 23 were placed on a trolley 21 as shown in FIG. 2 and tracked via the image capture devices 15 according to the procedure described above in the various image sequences. Accordingly, in the site map, the symbol trolley z. B. displayed together with a schematic shape of the workpiece.
  • FIG. 5 shows a sorting process in which an operator 31 sorts / deposits the cut material of a laser cutting machine 7 onto the transport carriage 21.
  • a mobile unit 20 has been activated in accordance with a specific order (machining plan assignment) and assigned spatially to the workpieces 23.
  • the operator 31 has activated a key of the mobile unit 20 so that the shop floor control system is informed of completion of the sorting operation.
  • an object feature for an object to be traced is now determined, for. For example, a specific shape of the workpiece 23 or a specific color of an LED on the mobile unit 20.
  • the analysis unit 11 knows at which position in the picture the object (transport carriage / workpiece) can be found. If the object moves across a plurality of observation zones, a transfer can be carried out, for example, according to the concepts disclosed herein.
  • the first assignment may be assisted by an assistance system 38 provided on an equipment tractor 7 or generally at a work station.
  • FIG. 5 shows a machine tool 7 with an optical assistance system 38, which is based on image data acquisition with an image recording device 13 and supports the assignment of a workpiece as an object to be tracked.
  • the image acquisition device 13 recognizes a rejected workpiece 23 and for this purpose generates a measurement assistance workpiece data set 38A (see also FIG. 1).
  • the measurement assist workpiece data set 38A is compared with geometry data sets 37A of the machining plans 37 in the production control system 1 to identify the machining plan 37 that belongs to the detected workpiece.
  • FIGS. 1 to 5. 6 shows by way of example method steps of a method for production control of process sequences in the industrial machining of workpieces 23, the method being assisted by an image acquisition device-based tracking system.
  • image pickup devices are provided for an imager-based tracking system (step 51).
  • Each image acquisition device is assigned to a viewing area and preferably continuously delivers image sequences to a common analysis unit.
  • a first image recording device with a first image sequence step 51A
  • a second image recording device with a second image sequence step 51 B
  • step 5 steps 51A, 51B '
  • an association process is carried out in which a pixel structure in the image is determined for an object to be tracked (step 53).
  • the object to be tracked z. B. identified in the first image based on at least one object feature that exists as a pixel structure in the pixels of the first image.
  • the object to be tracked is identified in a first image of the first image sequence whose observation region is assigned to a sorting process.
  • the choice of the object feature to be used as the pixel structure of tracking the movement of the object in the shop floor may be e.g. B. the color and / or geometric shapes, z. B. are stored in a machining plan of a workpiece, take into account.
  • the object feature may further be a light signal of an LED or an extent of a homogeneous pixel value area in the image.
  • the identification of the object to be tracked in the first image can take place with a software system which provides information about the position of the object in the first image, in particular by means of an object information area superimposed on the observation area.
  • the associated processing plan is also determined (step 55).
  • step 57 The tracking (step 57) of the pixel structure in pictures 39 of the picture sequences 41 can now be carried out by means of simple algorithms and without elaborate object recognition. In this case, firstly the positions of the object feature in pictures 39 of the first picture sequence 41, which were recorded temporally following the first picture, are determined (step 57A).
  • An object to be tracked can leave the observation area of the first image acquisition device.
  • the positions of the object feature are determined in images of the second image sequence.
  • the localization of the object feature includes z. B. determining an object feature vector describing the motion of the object feature between images of the first of the image sequences.
  • the object feature vector may be a directional or velocity vector of the pixel structure. These can affect the movement in the picture or the movement in the room, d. h., the production hall, relate.
  • the object feature vector may be projected into an image of the second of the image sequences to continue tracking the pixel structure which may be to be adjusted for the second image sequence due to the viewing direction, etc.
  • an object feature leaves an observation area associated with the image sequence 39 in the production hall, it is checked, in particular with the aid of suitable analytics tools and routines, whether an object feature corresponding to the object feature and / or object feature vector is in an appropriate one Place / time window of another image sequence, in particular with sufficiently high probability, is identifiable.
  • observation regions of image sequences 39 may overlap (overlap region 17 '), and a transfer of the object features from the first image sequence to the second image sequence may be based on pixel values in the overlap region 17' of substantially simultaneous images.
  • step 59 If an exact position of the object to be tracked is to be output (step 59), the position of the pixel structure in a current image is projected onto the associated observation area. For this purpose, for example, a comparison with reference points can be made (step 59A), or a corresponding size of the pixel structure can be taken into account (Step 59B) etc. In this case, data from the processing plan that belongs to the object can also be accessed.
  • Information from the process of determining the current position can be used in the context of self-learning machines (machine learning) in the tracking of the pixel structure (dashed arrow 61).
  • step 63 The particular position of the object is now incorporated into the control of the industrial plant for manufacturing the final product.
  • position information of a tool, a person, a means of transport, a machine tool and / or a workpiece collection unit is thus available for the control of the industrial production plant.
  • the integration into the control of the industrial production plant can, for example, define (step 63A) zones 23 and / or physical barriers 29 in the production hall, in particular in a site plan 25, 25 'of the production hall, and a comparison (step 63B) of FIG certain position with regard to the zones 27 and / or the spatial barriers 29.
  • this zone can be defined as a solid (3D zone), which extends, for example, up to a height of 1.5 m above the hall floor. If a trolley with workpieces as objects to be tracked, which belong to a job, is pushed into this zone, the production control system registers this in step 63B.
  • the support of the production control of process sequences may include the integration possibilities discussed herein.
  • signals from a mobile unit 20 signal output device - e.g. As a display unit 17, an LED or a speaker - are generated.
  • the support of the production control of process sequences via the production control system 1 can control processing parameters on the machine tools 7 or generally set manufacturing parameters (step 63C), the z. B. can also refer to the production hall or to a subsequent data analysis.
  • the production control system can register the associated processing order at the processing station (for example on the bending machine). Furthermore, additional secondary actions can be initiated automatically.
  • an associated machining program can be loaded automatically in the machine tool. This may allow the machine tool (for example, a bending machine) to be automatically prepared via a tool master.
  • information can be displayed to an operator for the pending machining process (operation). For example, an image of the original shape of the workpiece as well as the curved shape of the workpiece, the number of workpieces to be bent and / or the subsequent subsequent machining operation, etc. can be displayed.
  • An advantage of working with defined zones and barriers is that the operator has nothing more to do than to bring the tracked objects into a machine tool zone, whereby the various preparatory measures were automatically initiated.
  • the machine tool z. B. automatically be set immediately to the new job to be processed. This can save considerable time and mistakes can be avoided.
  • a mobile unit when a mobile unit interacts with the shop floor control system, or an operator operates additional functions (input keys, etc.) of a mobile unit, the operator can obtain feedback or notifications from the mobile units about output means such as RGB LED, vibration, displayed text or sound.
  • output means such as RGB LED, vibration, displayed text or sound.
  • the status of an order can be visualized, for example, by an LED glows green, as long as the order is in the state of processing.
  • feedback or a message to subsequent processing stations can be given.
  • automatically posting a completed edit can alert the subsequent process that the parts are now ready and where they are.
  • a triggering of actions such as booking over zones can be further enriched so that, for example, workpieces can be monitored over time during the various processing operations.
  • Mobile units may also be part of an indoor location system that supports image-based tracking. In FIG. 6, this is illustrated by the steps 71 to 75:
  • step 71 Providing (step 71) of the indoor location system with several fixed in the
  • Production hall installed transceiver units, at least one mobile unit and an analysis unit, wherein the transceiver units and the mobile unit is designed for transmitting and receiving electromagnetic signals and the analysis unit is formed, from running times of the electromagnetic signals between the transceiver units and the mobile unit To determine positions of the mobile unit in the production hall.
  • step 73 the mobile unit to at least one, in particular traceable object (15, 21, 23, 31).
  • step 75 the position of the at least one associated object (15, 21, 23, 31) by locating the associated mobile unit with the indoor location system.
  • step 63 the determined position into the assignment process in which an object to be tracked determines a pixel structure in the image (step 53) and / or in the manufacturing control of the industrial production facility for manufacturing the final product, in particular into the image acquisition device -based tracking.
  • UWB-based positioning system To the details of a z. B. UWB-based positioning system is referred to the patent applications mentioned above.
  • the UWB based location systems disclosed herein for integration into industrial manufacturing are based e.g. On mobile units (often referred to as "tags") and stationary transmit receivers (often referred to as “anchors” or “anchors”).
  • tags On mobile units
  • anchors often referred to as “anchors” or “anchors”
  • the mobile units In integration into industrial manufacturing, to position a workpiece, generally an asset, it may each be provided with, or functionally or spatially referenced with, at least one mobile unit (also referred to herein as physical or spatial association) ).
  • the mobile units are generally electronic components which are capable of being combined with the transceivers, in particular by means of UWB communication technology. cate. Each mobile unit can have its own time determination unit ("clock") to determine runtimes.
  • clock time determination unit
  • Spatial allocation may be performed by positioning a mobile unit near an associated workpiece or on the workpiece itself, or by placing the workpiece on a workpiece collection unit on which a mobile unit is provided, such as a trolley, sump, or pallet.
  • the mobile unit may be fixedly mounted there (or even to a person) or attached to or deposited on the workpiece / workpiece collection unit.
  • the mobile unit may, for. Example, have a holding mechanism, such as a magnet or a clamping, screw, clip, bayonet or suction device, with which it can be connected to the workpiece or on the workpiece collection unit so that they can not solve uncontrollably from this ,
  • a holding mechanism such as a magnet or a clamping, screw, clip, bayonet or suction device, with which it can be connected to the workpiece or on the workpiece collection unit so that they can not solve uncontrollably from this .
  • workpiece to the mobile unit can also be made an assignment of the mobile unit (and thus the spatially associated workpiece) to
  • UWB-based location system can be the starting point for location-dependent information processing.
  • the positioning system can optionally be equipped with further sensors, for example with acceleration and / or position sensors, and thus also serve as the basis for position-dependent information processing.
  • further sensors for example with acceleration and / or position sensors, and thus also serve as the basis for position-dependent information processing.
  • the virtual gates and zones can also be used here in order to automatically monitor and control a production process and subsequent production steps. This can be done in particular in real time.
  • the UWB-based location system may include multiple transceiver units and at least one mobile unit.
  • the location system can also be combined with the MES 3. ken.
  • a UWB analysis unit of the UWB-based location system may be formed as part of the MES 3.
  • the transceiver units may be configured to transmit to the mobile units UWB radio signals and to receive from these UWB radio signals.
  • the transceiver units can be distributed in the production hall for a sufficient coverage of the production hall, for example similar to the image capturing devices 13.
  • the distance between a locally movable mobile unit and a z. B. permanently installed transceiver unit can be determined by the time required for the signal to overcome the distance between the two units. If the distances are determined by a plurality of transceiver units whose location is known in each case, the spatial location of the mobile unit can be compared with the transceiver units z. B. be determined by triangulation.
  • the transceiver and the mobile unit may have high precision clocks that can accurately determine the time to a few or even fractions of ns. Even if the clocks in the transceiver unit and in the mobile unit are highly accurate, the clocks are not necessarily synchronized. Different methods of synchronization of clocks or the elimination of errors following from the asynchronous clock history can be used.
  • one of the transceiver units can send a signal at a first time T1 and a second signal at a second time T2.
  • the mobile unit may be aware of the time difference T2-T1 or transmitted along with the signals so that it can synchronize to the time of the transceiver units. Alternatively, the mobile unit may transmit two signals at a known time interval Ta.
  • the sender-receiver unit can determine the synchronization deviation based on its own time measurement with its own clock from the reception of the first signal to the reception of the second signal and calculate out of the distance measurement.
  • the time interval between the first signal and the second signal should be low, so that the mobile unit has not moved significantly locally during this time.
  • the time interval may be selected by the mobile unit to be a predetermined multiple or a predetermined fraction of the time is that the mobile unit requires from receiving a signal to respond to until the first signal is output.
  • UWB-based indoor location system tracking and tracking can be used in a smooth transition.
  • UWB tracking and image-based tracking camera tracking
  • an area that is difficult to access for an optical system eg due to unfavorable lighting conditions, angled buildings, etc.
  • a sensitive area eg due to person monitoring not permitted
  • the image-based tracking can be provided.
  • the production control can provide additional information that is taken into account in the image-based tracking. If z. B.
  • this image-based tracking information may be provided based on machining plan data.
  • the optical detection can be facilitated.
  • the image-based tracking can provide additional information that can be considered in the production control. This can be used in particular in quality assurance. Assuming that a resulting design of a workpiece deviates greatly from the expected shape or obviously lacking features, this can be visually recognized and communicated to the production control system.
  • it can be determined as part of image-based tracking whether a workpiece or an assembly is primed or painted or has undergone another (eg in the visible frequency range) recognizable surface treatment.
  • a specific temperature distribution or a temporal temperature profile is detected and communicated to the production control system.
  • triggering events or indicate upcoming events based on the number of tracked objects located in one or more zones. For example, picking operations or transport tasks can be triggered.
  • additional zones can migrate dynamically with one or more objects. This allows, for example, the transport of multiple carriers (transport trucks), and the entrained orders can be treated together as clusters from the manufacturing control system.
  • an object may, for example, be manipulated on a hand tool, and with the help of the frame grabber-based tracking, it may be determined when and / or how the hand tool is being used.
  • tracking tools it is also possible to detect the movement of the tool. In this way, information can be generated on how many components have been processed or whether a processing step has been forgotten etc. Furthermore, further data can be transmitted via the image capture device-based tracking system, for example, error messages by corresponding movement pattern of an object z. In a defined error zone.
  • Another usage scenario relates to the recording of process states which are characterized by the positions of workpieces, people, machines and other equipment and which can be detected by a cognitive evaluation of these measured positions.
  • the image acquisition device-based tracking data as well as the information regarding zones and barriers allow for a variety of evaluation options. It is thus possible, for example, to generate key figures such as key performance indicators (KPIs) using such raw data and to carry out detailed analyzes to optimize production processes.
  • KPIs key performance indicators
  • These analyzes can be displayed in the form of "heat maps", as a live view or aggregated, so further evaluation diagrams such as spaghetti diagrams can be called up immediately for different processing operations generate a large effort in the survey, make it available at the touch of a button, such as throughput time, value stream analysis, etc.
  • the processes in production based on the obtained location information can be improved using numerical optimization methods.
  • the use of the imaging device-based tracking system also allows people or body parts of people to be located when they are determined to be tracked. In addition to workpieces and tools, the locating of persons (as a whole or even local location of leg, arm and hand) provides valuable information about processes in production.
  • Usage scenarios for this concern for example, the monitoring of security-critical areas for the protection of persons, in particular the processor. Furthermore, motion patterns can be generated, which in turn z. B. for process or Ergonomie- improvement of jobs the operator can be evaluated. In particular, the synchronous evaluation of both hands of a person, in particular an operator or a worker, detailed information about the manufacturing process and the workpiece can be detected. So can be detected that
  • a joining process has been carried out at a specific position.
  • Different objects to follow can have specific relationships to each other. For example, within a specific manufacturing process, they can be grouped into families to define basic (behavior / movement) patterns. For example, families can be assigned to a job, an assembly, a subsequent process of workpieces or an associated load carrier (transport cart, pallet, collection container). The family affiliation can be changed dynamically in the current editing process. Objects can belong to different families at the same time. Furthermore, families of objects may relate to a specific link, for example all carriers, all means of transport, all agents, all workpieces, all machines, etc., or a family of objects may relate to a specific status of the object, for example a charge status of the mobile units.
  • the analysis may be based on the evaluation of such families.
  • the location of a workpiece collection unit can be determined and / or the movement of an operator's hand captured, for example, by infrared imaging.
  • An operator who monitors and controls the machining process in a control center can see on his monitoring monitor where a specific job is currently in the process chain and how its status is currently. Accordingly, it can also access a display unit directly in order to adapt displayed data (workpiece information) such as preferences, work steps, etc., and display it to a processor on site. Alternatively or additionally, this can also be done locally with an input device on the workpiece collection point unit (eg, push button, switch, touchpad) or via a data interface which is connected to an external z.
  • mobile input unit provides access (smartphone, ipad, smartwatch, etc.). Accordingly, the workpiece collection unit z. B. have a near field radio network (Bluetooth, NFC). For example, the workpiece collection unit is selectively controlled so that the signaling device (eg a bright LED) is activated.
  • the signaling device eg a bright LED
  • the image-based tracking can also be used for example in the sorting by z.
  • the location of a hand (especially a clearly visible in pictures glove) is traced. If the "hand" of an operator removes a component from the skeleton, the component location in the MES is posted from the skeleton to the hand If the hand moves near a workpiece collection unit, the MES posts that this part has been deposited on the associated workpiece collection unit On the one hand, the tracking system can see that the hand came close to the workpiece, and on the other hand, a higher level system (eg, the MES) can link the workpiece collection unit and the hand position.
  • a higher level system eg, the MES
  • FIG. 7 shows by way of example process steps of an industrial production of a final product which can be carried out with a production control system, in particular the MES 3, disclosed herein.
  • a production control system in particular the MES 3, disclosed herein.
  • a first step 80 the receipt of a production order (with a processing plan 37) for the production of a final product from a workpiece 23 with the MES 3, the z.
  • a data processing device 30A In a following Step 81, the selection of individual processing steps by means of the MES 3.
  • Step 82 the selection of an order from the MES 3 (or an operator), in which the processing steps are to be performed.
  • the processing steps can be one or more of the following operations: cutting, in particular laser cutting, punching, bending, drilling, tapping, grinding, joining, welding, riveting, screwing, pressing, treating the edges and surfaces.
  • a further step 83 the data assignment of each of the processing steps to a machine 7 or a workstation unit takes place.
  • the workstation unit may be a workstation 26 as described above, in particular a manual workstation.
  • step 84 the data assignment of the production order to a tracked object data record is stored in the MES 3 for a mobile unit.
  • This step 84 may correspond to step 53 shown in FIG. Step 84 can in particular also earlier, z. B. after one or more of the method steps described above, take place.
  • a workpiece 23 which is at least partially a part of the final product, in particular after a first of the processing steps at the machine 7 assigned this processing step or workstation unit.
  • part of the production order is cut from a sheet metal here. Since milling or punching may also be necessary as a subsequent processing step, this workpiece 23 can form even more material than the end product, ie only partially the end product or be part of it.
  • step 86 the spatial assignment of the manufactured workpiece 23 to a position in an observation area takes place.
  • This step 86 may correspond to step 59 shown in FIG.
  • step 87 a change is made to the status of the production order in the MES 3.
  • step 88 the position of the workpiece / tracked object is stored to the production order.
  • step 89 the transport of the workpiece 23 according to the production order to the next machine 7 or the next workstation unit in the predetermined order. This can be done as a result of an instruction of the MES 3 by a person or by an automated transport process.
  • this processing step is carried out on the machine 7 or workstation unit assigned to it.
  • step 91 the position of the workpiece / tracked object is stored for this production step in the production order.
  • the MES 3 can at any time have data such as current status data and current position data of the workpiece 23.
  • MES 3 and the imaging device-based tracking system 5 may be designed as described above. All the above-described method steps carried out by a production control, a production control system, an image acquisition device-based tracking system or by the MES 3 can also be implemented by means of one or more data processing devices having means for performing the method steps.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Factory Administration (AREA)

Abstract

Ein Verfahren zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken (23) gemäß Bearbeitungsplänen (37) in einer Fertigungshalle zur Fertigung eines Endprodukts, wobei mehrere Bildaufnahmevorrichtungen (13), z.B. Kameras, in der Fertigungshalle angeordnet werden, welche Bildsequenzen (41), z.B. Video Aufnahme, von überlappenden Beobachtungsbereichen (17) der Fertigungshalle aufnehmen, wobei ein zu verfolgendes Objekt, z.B. eine Mobileinheit (15), ein Transportmittel (21), ein Werkstück (23) oder eine Person (31), anhand mindestens eines Objekt-Merkmals, z.B. eine geometrische Form, Farbe oder ein Lichtsignal einer LED, in einem aufgenommenen Bild identifiziert und seine Position mittels eines Innenraum- Ortungssystems bestimmt wird und ermittelt wird, ob sich das zu verfolgende Objekt in einer vordefinierten räumlichen Zone (27) befindet und/oder eine räumliche Schranke (29) passiert hat, und wobei die Fertigungssteuerung Signale zur Unterstützung der Ortung des zu verfolgenden Objekts (15,21,23,31) abgibt, Informationen zu der Position und/oder dem Fertigungszustand des zu verfolgenden Objekts anzeigt, Betriebsparameter einer Werkzeugmaschine (7) einstellt, ein Fertigungsprotokoll aktualisiert oder das zu verfolgende Objekt zu einem Fertigungsauftrag zuordnet.

Description

FERTIGUNGSPROZESSEN IN DER METALLVERARBEITENDEN INDUSTRIE
MITTELS BILDAUFNAHMEVORRICHTUNGEN
Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung und Steuerung von Ferti- gungsprozessen, insbesondere von Prozessabläufen bei der industriellen Fertigung von Werkstücken in der Metall- und/oder Blechverarbeitung. Ferner betrifft die Erfindung ein System zur Werkstückpositionsüberwachung in Fertigungshallen der metallverarbeitenden Industrie, insbesondere bei der Stahl- und/oder Blechverarbeitung. Ferner betrifft die Erfindung die Zuordnung von Werkstücken zu Prozessabläufen im Rahmen der Fertigungssteuerung.
Beispielhaft für die metallverarbeitende Industrie werden in der industriellen Stahl- und/oder Blechverarbeitung oft viele Teile unterschiedlicher Größe verschiedensten Verarbeitungsschritten zugeführt. So werden beispielsweise Werkstücke an Werkzeugmaschinen, z. B. Laserschnittgut oder gestanzte Blechteile, absortiert und weiteren Verarbeitungsschritten zuge- führt. Geschnittene oder gestanzte Werkstücke werden dabei nach dem Bearbeitungsvorgang häufig in einem Verbund dem jeweiligen nachgelagerten Produktionsschritt zur Verfügung gestellt. Die verschiedenen Prozessabläufe werden üblicherweise basierend auf einem visuellen Abgleich mit Papier-basierten Unterlagen manuell durchgeführt. Werden jedoch viele unterschiedliche Teilformen geschnitten, verschiedenste Bearbeitungsschritte durchgeführt und unterschiedliche Bereiche in einer Fertigungshalle für die Metall- und/oder Blechverarbeitung angefahren, so werden derartige Überwachungs- und Steuerungsvorgänge aufwändig und fehleranfällig. So kann eine hohe Teilevielfalt Fehler bei der Teilezuordnung und den nachfolgenden Bearbeitungsschritten, z. B. beim auftragsspezifischen Ablegen in vorgesehenen Werkstücksammelstelleneinheiten oder beim Überstellen zum nachfolgenden Bearbeitungs- schritt, hervorrufen. Werden z. B. Teile falsch abgelegt, kann ein nachfolgender Verarbeitungsschritt negativ beeinträchtigt werden, z. B. fehlerhaft durchgeführt werden.
So wird ein physischer Materialfluss meist diskret an Buchungsstationen manuell mit durchzuführenden Bearbeitungsschritten synchronisiert, sodass oft keine detaillierte oder nur eine verzögerte Auswertung stattfinden kann.
Beispielsweise aus den (noch unveröffentlichten) deutschen Patentanmeldungen DE 10 2016 120 132.4 („Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken") und DE 10 2016 120 131.6 („Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine") mit Anmeldetag 21. Oktober 2016 sind Verfahren zum Unter- stützen des Absortiervorgangs von mit einer Flachbettwerkzeugmaschine erzeugten Werkstücken, allgemein Verfahren zur Unterstützung der Bearbeitung von Werkstücken, bekannt. Ferner ist aus der deutschen Patentanmeldung DE 10 2017 107 357.4
„Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine" mit Anmeldetag 5. April 2017 ein Unterstützungsverfahren beim Absortieren von z. B. Schnittgut einer Flachbettwerkzeugmaschine bekannt. Die genannten deutschen Patentanmeldungen werden hierin vollumfänglich aufgenommen.
Ferner betreffen die folgenden deutschen Patentanmeldung DE 10 2017 120 358.8„Innen- raum-Ortung-basierte Steuerung von Fertigungsprozessen in der metallverarbeitenden Industrie", DE 10 2017 120 381.8 „Assistiertes Zuordnen eines Werkstücks zu einer Mobileinheit eines Innenraum-Ortungssystems", DE 10 2017 120 382.6„Bild-gestütztes Zuordnen eines Bearbeitungsplans zu einem Mobileinheitsdatensatz einer Mobileinheit eines Innenraum- Ortungssystems" und DE 10 2017 120 383.4„Innenraum-Personenortung-basierte Fertigungs- Steuerung in der metallverarbeitenden Industrie", jeweils mit Anmeldetag 5. September 2017, die Verwendung von z. B. ultra-wideband-Technologie zur Ortung von Mobileinheiten in Fertigungshallen offenbart. Auch diese genannten deutschen Patentanmeldungen werden hierin vollumfänglich aufgenommen. Einem Aspekt dieser Offenbarung liegt die Aufgabe zugrunde, Verfahren und Systeme vorzuschlagen, die insbesondere im Umfeld der Metallverarbeitung, beispielsweise der Stahl- und/oder Blechverarbeitung, Fertigungsprozesse intelligent unterstützen können.
Zumindest eine dieser Aufgaben wird gelöst durch ein Verfahren zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken nach Anspruch 1 , durch ein Fertigungssteuerungssystem zur Steuerung von Fertigungsprozessen in einer Fertigungshalle nach Anspruch 16 und ein Verfahren zur industriellen Fertigung eines Endprodukts nach Anspruch 19. Weiterbildungen sind in den Unteransprüchen angegeben. In einem Aspekt weist ein Verfahren zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken gemäß Bearbeitungsplänen, insbesondere in der Metall- und/oder Blechverarbeitung, in einer Fertigungshalle zur Fertigung eines Endprodukts folgende Schritte auf: Bereitstellen mehrerer in der Fertigungshalle angeordneter Bildaufnahmevorrichtungen, die zum Aufnehmen von Bildsequenzen von zugeordneten Beobachtungsbereichen in der Fertigungshalle ausgebildet sind,
Identifizieren eines zu verfolgenden Objekts in einem ersten Bild einer ersten der Bild- Sequenzen anhand mindestens eines Objekt-Merkmals, das als Pixelstruktur in den Pixeln des ersten Bildes vorliegt,
Bestimmen des Bearbeitungsplans, der sich auf das zu verfolgende Objekt bezieht,
Bestimmen der Lagen des Objekt-Merkmals in Bildern der ersten der Bildsequenzen, die dem ersten Bild zeitlich nachfolgend erfasst wurden,
Bestimmen einer aktuellen Position des zu verfolgenden Objekts durch Lokalisieren des Objekt-Merkmals in einem zeitlich aktuellen Bild einer der Bildsequenzen und Zuordnen der Lage des Objekt-Merkmals im zeitlich aktuellen Bild zu einer aktuellen Position im Beobachtungsbereich der Bildsequenz, die das zeitlich aktuelle Bild umfasst, und
Einbinden der bestimmten aktuellen Position des zu verfolgenden Objekts in die Ferti- gungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts.
In einem weiteren Aspekt weist ein Verfahren zur industriellen Fertigung eines Endprodukts mittels eines Fertigungssteuerungssystems die folgenden Schritte auf:
Entgegennehmen eines Fertigungsauftrags zur Fertigung des Endprodukts aus einem Werkstück mit einem in einer Datenverarbeitungsvorrichtung implementierten MES (Maschinensteuerungssystem) des Fertigungssteuerungssystems,
Auswählen einzelner Bearbeitungsschritte mit dem MES,
Bestimmen einer Reihenfolge der Bearbeitungsschritte mit dem MES, wobei die Bearbeitungsschritte einzelne oder mehrere der folgenden Vorgänge umfassen: Schneiden, insbe- sondere Laserschneiden, Stanzen, Biegen, Bohren, Gewindeschneiden, Schleifen, Zusammenfügen, Schweißen, Nieten, Schrauben, Pressen, Behandeln der Kanten und Oberflächen;
Datentechnisches Zuordnen der Bearbeitungsschritte zu einer Maschine oder einer Arbeitsplatzeinheit,
Datentechnisches Zuordnen des Fertigungsauftrags zu einem zu verfolgenden Objekt in dem MES,
Fertigen eines Werkstücks für das Endprodukt, wobei es insbesondere zu einem Teil des Endprodukts nach einem ersten der Bearbeitungsschritte an der dem Bearbeitungsschritt zugewiesenen Maschine oder Arbeitsplatzeinheit bearbeitet wird, (optionaler Schritt des Räumlichen Zuordnens einer dem Fertigungsauftrag zugeordneten Mobileinheit zu dem gefertigten Werkstück,)
Speichern einer Statusänderung des Fertigungsauftrags im MES,
Transport des gefertigten Werkstücks (optional zusammen mit der Mobileinheit) gemäß dem Fertigungsauftrag zu der nächsten Maschine oder Arbeitsplatzeinheit in der vorbestimmten Reihenfolge,
Durchführen des Bearbeitungsschritts an dieser Maschine oder Arbeitsplatzeinheit, Speichern einer Statusänderung des Fertigungsauftrags im MES und
Durchführen der Bearbeitungsschritte des Fertigungsauftrags mit dem MES, wobei die Position des zu verfolgende Objekts durch das MES gemäß dem zuvor skizzierten Verfahren bestimmbar ist und das MES zu jeder Zeit über Daten zum aktuellen Status und zur aktuellen Position des zu verfolgenden Objekt verfügt.
In einem weiteren Aspekt weist ein Fertigungssteuerungssystem zur Steuerung von Fertigungsprozessen in einer Fertigungshalle, insbesondere einer metall- und/oder blechverarbeitenden Industriefertigungsanlage, auf:
mehreren fest in der Fertigungshalle angeordneten Bildaufnahmevorrichtungen, wobei die Beobachtungsbereiche mindestens zweier Bildaufnahmevorrichtungen sich überlappen und/oder wobei die Beobachtungsbereiche mindestens zweier Bildaufnahmevorrichtungen räumlich voneinander beabstandet sind, und
einer Analyseeinheit, die zum Bestimmen, Austausch und Bereitstellen von Daten zur Position von einem zu verfolgenden Objekt in der Fertigungshalle und zur Durchführung der zuvor skizzierten Verfahren ausgebildet ist.
Das Fertigungssteuerungssystem kann ferner eine Anzeigeeinheit, die zum Anzeigen der Position der mindestens einen Mobileinheit in einem Lageplan der Fertigungshalle ausgebildet ist, aufweisen. Mindestens eine der Bildaufnahmevorrichtungen kann ortsfest installiert und/oder beweglich, insbesondere frei um eine Schwenkachse und/oder entlang einer Verschiebeachse beweglich, installiert und/oder an einer Drohne installiert sein.
Das Fertigungssteuerungssystem kann ferner ein Innenraum-Ortungssystem aufweisen, das mehrere fest in der Fertigungshalle installierte Sende-Empfangseinheiten, mindestens eine Mobileinheit und eine (Ortungssystem-)Analyseeinheit aufweist. Die Sende-Empfangseinheiten und die Mobileinheit können zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet sein. Die Analyseeinheit ist dazu ausgebildet, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende-Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit und somit die Position eines der Mobileinheit zugeordneten nachzuverfolgenden Objekts in der Fertigungshalle zu bestimmen. In einigen Ausführungsformen können die folgenden Aspekte umgesetzt sein. Die Bildaufnahmevorrichtungen können unterschiedlich ausgebildet sein. Beispielsweise können die Bildaufnahmevorrichtungen als (Video-) Kameras ausgebildet sein. Eine Bildaufnahmevorrichtung ist einfach an der Werkzeugmaschine oder an einer Arbeitsplatzeinheit oder in ihrer Nähe installierbar und die Bildinformationen können direkt ausgewertet werden. So können auch Werkzeugmaschinen oder Arbeitsplatzeinheiten mit einer solchen Bildaufnahmevorrichtung und mit einem solchen Ortungssystem nachgerüstet werden. Die Bildaufnahmevorrichtung kann fest installiert oder beweglich sein. Sie kann auch noch für weitere Aufgaben z. B. beim Ab- und Zuladen oder zur Sicherheitszwecken verwendet werden Bildaufnahmevorrichtungen können im für den Menschen sichtbaren Bereich des Lichts arbeiten. Sie können aber alternativ oder zusätzlich auch im nichtsichtbaren Bereich, z. B IR- oder UV- Bereich arbeiten. Sie können zusätzlich mit eigenen Lichtquellen zur zusätzlichen Beleuchtung ausgestattet sein. Ferner können Bestands-Kameras, allgemein Bestands- Bildaufnahmevorrichtungen, die z. B. an, innerhalb und außerhalb von Maschinen bereits in der Fer- tigungsanlage für andere Zwecke vorgesehen sind, in das beschriebene System der Bildbasierten Nachverfolgung mit aufgenommen werden.
Die Bildaufnahmevorrichtung kann aber auch durch einen Ultraschallsensor, insbesondere mit einer zusätzlichen Schallquelle, ausgebildet sein.
Die Bildsequenzen der Bildaufnahmevorrichtungen können einen eindeutigen Zeitbezug zur Positionsbestimmung und untereinander aufweisen.
In einigen Aus führungsformen kann das zu verfolgende Objekt innerhalb der bereitgestellten Bilder ausschließlich anhand von typischen Pixeländerungen, die einem Objekt-Merkmal zugeordnet sind, verfolgt werden. Das Identifizieren des zu verfolgenden Objekts kann im ersten Bild mit einem Software-System erfolgen, das Information über die Lage des Objekts im ersten Bild bereitstellt, insbesondere mittels eines dem Beobachtungsbereich überlagerten Objekt-Informationsbereichs. Das Lokalisieren des Objekt-Merkmals kann ein Bestimmen eines Objekt-Merkmalsvektors, der die Bewegung des Objekt-Merkmals zwischen Bildern der ersten der Bildsequenzen beschreibt, und ein Projizieren des Objekt-Merkmalsvektors in ein Bild einer zweiten der Bildsequenzen umfassen. Ein Objekt-Merkmal kann eine spezifische geometrische Form, eine Farbe, ein Lichtsignal einer LED, oder eine Ausdehnung eines Bereichs im Bild sein. Ein Objekt-Merkmalsvektor kann ein Richtungs- oder Geschwindigkeitsvektor eines Objekt-Merkmals sein.
In einigen Aus führungsformen kann beim Verlassen des Objekt-Merkmals eines der Bildsequenz zugeordneten Beobachtungsbereichs in der Fertigungshalle geprüft werden, ob ein dem Objekt-Merkmal und/oder Objekt-Merkmalsvektor entsprechendes Objekt-Merkmal in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz - insbesondere mit ausreichend hoher Wahrscheinlichkeit - identifizierbar ist. Dies kann insbesondere mit Hilfe von geeigneten Bildauswertemittel und Bildauswerte- Verfahren/Programme erfolgen. Allgemein kann das zu verfolgende Objekt ein Werkstück, einem Transportmittel, ein Werkzeug, eine Mobileinheit oder eine Person sein.
In einigen Ausführungsformen können die Beobachtungsbereiche der ersten Bildsequenz und einer zweiten Bildsequenz einen Überlappungsbereich aufweisen und eine Übergabe der Ob- jekt-Merkmale von der ersten Bildsequenz in die zweiten Bildsequenz kann anhand von Pixelwerten im Überlappungsbereich im Wesentlichen zeitgleicher Bilder erfolgen.
In einigen Ausführungsformen kann das Zuordnen der Lage des Objekt-Merkmals im zeitlich aktuellen Bild zu einer aktuellen Position im Beobachtungsbereich der Bildsequenz ein Be- reitstellen von Referenzpunkten in den Beobachtungsbereichen, und ein Berechnen eines genauen Ort-/Raum-Zeitpunkts des zu verfolgenden Objektes anhand mindestens eines Referenzpunkts umfassen.
In einigen Ausführungsformen kann das Verfahren ferner ein Aufzeichnen und/oder Bereitstel- len der bestimmten Position über eine geeignete Schnittstelle und/oder ein Einbinden der bestimmten Position in eine Bewegungsanalyse des zu verfolgenden Objekts umfassen
In einigen Ausführungsformen kann das Verfahren ferner ein Definieren von Zonen und/oder räumlichen Schranken in der Fertigungshalle, insbesondere in einem Lageplan der Ferti- gungshalle, und ein Abgleichen der bestimmten Position des zu verfolgenden Objekts hin- sichtlich der Zonen und/oder der räumlichen Schranken und Steuern der Fertigung basierend auf dem Abgleich umfassen. Das Abgleichen der bestimmten Position kann z. B. ergeben, dass sich das zu verfolgende Objekt in einer Zone befindet oder diese verlassen hat oder dass das zu verfolgende Objekt eine räumliche Schranke passiert hat. Die Zonen und/oder die räumli- chen Schranken können in zwei oder drei Dimensionen definiert werden.
In einigen Ausführungsformen kann das Einbinden der bestimmten Position des zu verfolgenden Objekts einen oder mehrere der folgenden Schritte umfassten: ein Abgeben von Signalen zur Unterstützung der Ortung des zu verfolgenden Objekts; ein Anzeigen von Information zu der Position und/oder dem Fertigungszustand des zu verfolgenden Objekts, insbesondere auf einem mobilen Ausgabegerät wie einem Tablett, Smartphone oder einem Überwachungsmonitor; ein Einstellen von Betriebsparametern einer Werkzeugmaschine; ein Aktualisieren eines Protokolls, das die Fertigung, insbesondere Bearbeitungsschritte, protokolliert; ein Zuordnen des zu verfolgenden Objekts zu einem Auftrag zur Fertigung eines oder mehrerer Endprodukte in mehreren unterschiedlichen Arbeitsschritten;
Ist das zu verfolgende Objekt ein Werkstück kann das Einbinden der bestimmten Position des zu verfolgenden Objekts umfassen: Steuern und/oder Überwachen einer Bearbeitung des Werkstücks in mehreren unterschiedlichen Arbeitsschritten, die an unterschiedlichen Orten, insbesondere aber innerhalb der Fertigungshalle, durchgeführt werden; Steuern und/oder
Überwachen eines Transports des Werkstücks zwischen unterschiedlichen Arbeitsschritten, die an unterschiedlichen Orten, insbesondere aber innerhalb der Fertigungshalle, durchgeführt werden; Steuern und/oder Überwachen einer Bearbeitung des Werkstücks an Arbeitsplätzen, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind; und/oder Steuern und/oder Überwachen einet Bearbeitung des Werkstücks an Arbeitsplätzen, die mit der Fertigungssteuerung nicht vernetzt oder in diese nicht integriert sind.
Bei einer durch eine Innenraum-Ortung unterstützten Fertigungssteuerung kann das Verfahren folgende Schritte umfassen: ein Bereitstellen eines Innenraum-Ortungssystems mit mehreren fest in der Fertigungshalle installierten Sende-Empfangseinheiten, mindestens einer Mobileinheit und einer Ortungsanalyseeinheit, wobei die Sende-Empfangseinheiten und die Mobileinheit zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet ist und die Ortungsanalyseeinheit ausgebildet ist, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende-Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit in der Fertigungshalle zu bestimmen; ein Zuordnen der Mobileinheit zu mindestens einem, insbesondere nachzuverfolgendem Objekt; ein Bestimmen der Position des mindestens einen zugeordneten Objekts durch Lokalisierung der zugeordneten Mobileinheit mit dem Innenraum-Ortungssystem; ein Einbinden der bestimmten Position in den Zuordnungsvorgang, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird, und/oder in die Fertigungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts, insbesondere in die Bildaufnahmevorrichtung-basierte Nachverfolgung (hierin auch als Bild-basierte Nachverfolgung bezeichnet). Beispielsweise kann das Einbinden der Bildaufnahmevorrichtung-basierten Nachverfolgung in ein Fertigungssystem mit folgenden Einheiten erfolgen:
- einer Bildaufnahmevorrichtung-Einheit, die Bildsequenzen (Video-Streams) in zeitlich ausreichender Bildwiederholungsfrequenz und Pixel- Auflösung zur Verfügung stellt.
- einem Positionserkennungssystem mit einer Objekterkennungseinheit, die mit Hilfe von geeigneten Objekterkennungsverfahren das zu verfolgende Objekt zu einem bestimmten
Zeitpunkt und Ort in einer (ersten) Bildsequenz (Video-Stream) einer der Bildaufnahmevorrichtungen lokalisiert.
- einer Bildsequenz-Analyseeinheit, die mit Hilfe einer Bildsequenz- Analyse-Software das Objekt innerhalb der bereitgestellten Bildsequenzen ausschließlich anhand der typischen Pixeländerungen (Bewegung) verfolgt, ohne das zu verfolgende Objekt als solches eindeutig zu identifizieren.
- einer Bildsequenz- Wechseleinheit, die das zu verfolgende Objekt einem Bereich in einer Bildsequenz einer zweiten Bildaufnahmevorrichtung zuordnet. Die Bildsequenz- Wechseleinheit kann ferner dazu ausgebildet sein, mindestens einen Objekt-Merkmalsvektor aus einer ersten Bildsequenz abzuleiten und basierend auf dem Objekt-Merkmalsvektor das zu verfolgende Objekt einem Pixelbereich in einem Bild einer (zweiten) Bildsequenz zuzuordnen.
Mehrere Werkstücke, insbesondere solche, die im Endzustand die gleiche Form aufweisen und die gleichen Prozessschritte durchlaufen haben, und besonders solche, die auch zu einem gemeinsamen Auftrag gehören, werden als Werkstücksammeieinheiten oder Werkstückverbund bezeichnet. Diese werden üblicherweise an einer Werkstücksammelstelleneinheit abgelegt. Es ist vorteilhaft, jeder Werkstücksammeieinheit eine Werkstücksammelstelleneinheit und evtl. eine Mobileinheit zuzuordnen. Im Fertigungssteuerungssystem kann eine Liste aller Aufträge (inklusive Bearbeitungsplänen) abgelegt sein. Jeder der Aufträge kann einer Werkstücksammeieinheit zugeordnet werden. Wenn die Bildaufnahmevorrichtung-basierte Verfolgung von Objekten umgesetzt wird, dann ist jeder Auftrag mit den zum Auftrag gehörenden Werkstücken, Werkstücksammelstelleneinheiten oder Mobileinheiten in der Fertigungshalle jederzeit lokalisierbar. Dies kann ferner mit rückgemeldeten Informationen von Arbeitsplätzen und/oder Maschinen im Fertigungssteuerungssystem kombiniert werden.
Die Bildaufnahmevorrichtung-basierte Verfolgung von Objekten zeichnet sich dabei dadurch aus, dass die Positionsbestimmung der Objekte allein durch die Beobachtung mit den ver- schiedenen in der Fertigungshalle vorgesehenen Bildaufnahmevorrichtungen, also ohne manuelle Interaktion, erfolgen kann. Bisherige Systeme zur Ortung von Werkstücken oder Aufträgen in Fertigungsstätten haben den Nachteil, dass verloren gegangene Werkstücke oder Aufträge manuell gesucht werden müssen. Man hat erkannt, dass diese manuellen Suchvorgänge, insbesondere in Fertigungsstätten mit einer hohen Anzahl von kleinen und ständig wechselnden Aufträgen, also z. B. in Lohnfertigungsstätten, einen enorm hohen Anteil der nichtproduktiven Zeit ausmachen. Mit der erfindungsgemäßen Nachverfolgung und dem beschriebenen System können die Positionen der Werkstücke und damit der Aufträge z. B. auf einem Bildschirm aufgerufen, gefiltert oder gezielt lokalisiert werden. Die Notwendigkeit von zeitaufwändigen manuellen Suchvorgängen von Werkstücken, aber auch von Werkzeugen oder Personen, kann so insbesondere in der (metall- und/oder blechverarbeitenden) industriellen Fertigung drastisch verringert werden.
In einigen Ausführungsformen wird die Bearbeitung des oder der Werkstücke an Arbeitsplätzen gesteuert oder überwacht, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind. Derartige Maschinenarbeitsplätze umfassen Maschinen, die Fertigungsanweisungen per Datenverbindung, insbesondere digital, übermittelt bekommen und durchführen. Dabei kann kein oder nur ein minimaler Eingriff durch den Bediener erfolgen. Solche Maschinen werden üblicherweise als automatisierte oder vollautomatisierte Maschinen bezeichnet. Derartige Maschinen können auch den Status der Fertigung an eine Fertigungssteuerung melden.
In einigen Ausführungsformen wird die Bearbeitung des oder der Werkstücke an Arbeitsplätzen, die mit der Fertigungssteuerung nur zu einem sehr geringen Grad oder gar nicht vernetzt oder in diese nicht integriert sind, gesteuert und/oder kontrolliert. Das können Arbeitsplätze sein, bei denen die Arbeitsschritte manuell von Menschenhand durchgeführt werden oder sol- che, die wohl Maschinen aufweisen, die aber nur zu einem sehr geringen Grad oder gar nicht vernetzt sind oder sich auch nur sehr aufwändig vernetzen lassen, z. B. sogenannte Handarbeitsplätze, wie sie in DE 10 2016 220 015.1,„Handarbeitsplatzeinheit, Arbeits-Datenverar- beitungsvorrichtung, Handarbeitsplatzbetreibungssystem, Handarbeitsplatzbetriebsverfahren und Handarbeitsplatzbereitstellungsverfahren" mit Anmeldetag 13. Oktober 2016 beschrieben sind. Auch diese genannte deutsche Patentanmeldung wird hierin vollumfänglich aufgenommen.
Arbeitsplätze, die nur zu einem sehr geringen Grad vernetzt sind, können beispielsweise Han- darbeitsplätze mit einfachen Maschinen sein, wie Arbeitsplätze zum Bohren, Sägen, Fräsen und Biegen. Ihre einzige Vernetzung kann in einem Überwachungssystem bestehen, wie es in der DE 10 2016 220 015.1 beschrieben ist. Eine weitere Vernetzungsmöglichkeit ist die Überwachung der Leistungsaufnahme solcher Maschinen und die Vernetzung der Informationen aus der Leistungsaufnahme. So kann, wenn eine Maschine gar keine Leistung verbraucht hat, z. B. gefolgert werden, dass die Maschine den Auftrag noch nicht abgearbeitet haben kann.
Insbesondere die Kombination aus Fertigungsprozessen mit Arbeitsplätzen, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind und solchen, die es nicht oder nur zu ei- nem sehr geringen Grad sind, stellt heute noch einen wichtigen Hinderungsgrund für die effektive und effiziente Fertigungssteuerung dar, weil Aufträge nach wie vor auf Papier ausgedruckt werden, wenn sie von einem automatisierten Arbeitsplatz zu einem nicht automatisierten Arbeitsplatz kommen. Das verlangsamt die Fertigung. Das erschwert auch die Flexibilität, wenn beispielsweise ein besonders schnell zu bearbeitender Auftrag mit mehreren Prozess- schritten an mehreren Arbeitsplätzen innerhalb kurzer Zeit abgearbeitet werden soll. Ein Fertigungsbetrieb, der dies reibungslos sicherstellen kann, hat gegenüber seinen Wettbewerbern, die das nicht können, Vorteile. Mit der Bildaufnahmevorrichtung-basierten Nachverfolgung von Werkstücken und der Verknüpfung der mit der Nachverfolgung gewonnen Positionsinformation mit der Fertigungssteuerung können die hierin offenbarten Konzepte eine flexible und schnelle Fertigung von Endprodukten ermöglichen.
Basierend auf den hierin offenbarten Konzepten können intelligente Assistenzsysteme in Fertigungshallen eine 2D- oder 3D-Positionsbestimmung von Werkstücken (allgemein Material) und optional Personen, (z. B. Bearbeitern), Transportmedien, Maschinen, Werkzeugen und vielem mehr zur Unterstützung von Fertigungsprozessen nutzen. Dadurch wird es möglich, 2D- oder 3D-Positionen als Information, die zusätzlich zu weiteren Sensorinformationen vorliegen kann und gemäß den hierin offenbarten Konzepten bestimmt wurde, im Rahmen einer gesamtheitlichen Fertigungssteuerung und Digitalisierung von Fabriken zu verwenden.
Es wurde erkannt, dass der Einsatz derartiger Bildaufnahmevorrichtung-basierter Nachverfolgungssysteme gerade bei Berücksichtigung der zu erwartenden Prozessvorgänge in einer Fertigungshalle im speziellen Umfeld einer metall- und/oder blechverarbeitenden Industriefertigung möglich ist. Entsprechend können derartige Bildaufnahmevorrichtung-basierte Nachver- folgungssysteme in ein Fertigungssteuerungssystem (hierin auch als MES (Manufacturing Execution System - Maschinensteuerungssystem) bezeichnet) integriert werden.
Bezugnehmend auf die eingangs erwähnte Verbuchung von physischem Materialfluss und Bearbeitungsschritten kann beim Einsatz des Bildaufnahmevorrichtung-basierten Nachverfol- gungssystems eine Komplexität bei der aufwandsarmen, dynamischen Zuordnung von gewonnener Ortsinformation zu physischen Komponenten entstehen. Die hierin offenbarten Konzepte adressieren diese Komplexität und erlauben es beispielsweise, Produktionsaufträgen mit zugeordneter Kennung ohne aufwändige Interaktion eine Positionsinformation zuzuordnen.
Bildaufnahmevomchtung-basierte Nachverfolgungssysteme können die detaillierte Abbildung von Materialflüssen in der Fertigung innerhalb einer Fertigungshalle in die digitale Prozessverarbeitung erlauben. Die Nachverfolgungssysteme können dabei die Lokalisierung der an der Fertigung teilnehmenden Objekte/Personen im Produktionsumfeld vereinfachen. Werden Werkzeuge, Betriebsmittel oder Ladungsträger initial einmal in das Bildaufnahmevorrichtung- basierte Nachverfolgungssystem aufgenommen, können diese im digitalen Steuerungssystem eingebunden werden. Dies bezieht sich auch auf temporär an der Fertigung beteiligte Objekte wie beispielsweise Produktionsaufträge oder Servicepersonal. Temporär benötigte dynamische Nachverfolgungen können immer wieder neu entstehen und werden nur wenige Stunden, Tage oder Wochen in der Fertigungshalle benötigt.
Die hierin offenbarten Ausführungsformen der Integration einer derartigen Nachverfolgung in die Prozesse der Metallverarbeitung können u. a. folgende Verfahrensschritte, Verwendungen und Vorteile aufweisen: - Abbildung der wechselnden Zuordnung von Aufträgen.
- Abbildung einer Assistenz für eine Person, z. B. Bearbeiter, mit Hilfe des Nachverfolgungssystems und weiterer Sensorik, insbesondere bei der Lokalisierung von Werkstücken und Werkzeugen.
- Gewährleisten einer prozesssicheren und aufwandsarmen Fertigung durch automatisierte Abläufe mit geringen Freiheitsgraden für den Bearbeiter.
- Intuitiver Fertigungsablauf ohne aufwändige Informationsbeschaffung für den Bearbeiter.
Bei der Nachverfolgung von Werkstücken, Aufträgen, Personen (z. B. Bearbeitern) und/oder Werkzeug sind viele Anforderungen zu berücksichtigen. Es wurde erkannt, dass sich die industrielle Fertigung mehr und mehr auf Fertigung von Kleinserien mit vielen einzelnen Arbeitsschritten (Fertigungsprozesse wie z. B. Schneiden, Biegen, Schleifen, Oberflächenbehandlung) an unterschiedlichen Arbeitsplätzen wie Maschinenarbeitsplätze und manuelle Arbeitsplätze einrichtet. So sind oftmals mehrere hundert unterschiedliche Aufträge an einem Tag zu erledigen, die alle unterschiedliche Arbeitsschritte erfordern.
Sobald nur eine Störung auftritt, kann die Fertigungssteuerung sehr schnell sehr unübersichtlich werden. Zeitaufwändig werden halb oder noch gar nicht bearbeitete Aufträge in der Fertigungshalle durch einzelne Personen gesucht und deren Status ermittelt. Dieser wird dann an die Fertigungssteuerung übermittelt. Das kann zu einem erheblichen Zeitverlust bei der eigentlichen Fertigung führen.
Durch die immer schneller werdenden Verarbeitungsschritte bei der produktiven Bearbeitung und bei der Erhöhung der Anzahl unterschiedlicher Aufträge mit immer kleinerer Anzahl von Gleichteilen, können derartige Ausfälle immer häufiger auftreten. Die dadurch verursachten Zeitausfälle reduzieren die produktive Zeit. Sollen Aufträge, Werkstücke, Personen, z. B. Bearbeiter, und Werkzeuge schnell aufgefunden werden, ist die hierin offenbarte Ortung zumindest einzelner dieser Einheiten hilfreich, Fehlzeiten zu reduzieren. Insbesondere erfüllt sie die sehr hohen Anforderungen für eine Industriefertigung.
Bei der Industriefertigung ist eine Positionsabfrage in Echtzeit angestrebt. Sie soll örtlich so genau sein, dass Werkstücke sicher gefunden und/oder den Bearbeitungsschritten zugeordnet werden können. Die Nachverfolgung soll zudem flexibel sein, mehrere Aufträge sollten zu einem Auftrag zusammenfassbar sein, ein Auftrag sollte aufteilbar in mehrere Aufträge sein etc. Die Nachverfolgung sollte einfach zu bedienen sein und sie sollte ausfallsicher sein.
Allgemein können die hierin offenbarten Konzepte eine Erhöhung der Prozesssicherheit, eine Optimierung von Durchlaufzeiten und entsprechend eine Kostenoptimierung der Produktion ermöglichen. Im Speziellen können die hierin offenbarten Konzepte eine z. T. erhebliche Zeiteinsparung im Fertigungsprozess bewirken, wobei sich der Fertigungsprozess z. B. von der Herstellung einer erforderlichen Stückzahl von Teilen bis zur korrekten Weitergabe an einen Nachfolgeprozess (z. B. einen nachfolgenden Metallbearbeitungsschritt) erstreckt. Mehrere Aufträge können ferner quasi gleichzeitig prozesssicher umgesetzt werden. Die hierin offenbarten Konzepte erlauben ferner eine einfache Zuordnung von Werkstücken im Rahmen des Bildaufnahmevorrichtung-basierten Nachverfolgungssystems. So können offene Aufträge trotz der Komplexität von mehreren gleichzeitig zu bearbeitenden Aufträgen optimiert werden.
Ferner kann eine flexible Abarbeitung verschiedener Prozessabläufe mit der begleitenden Zeiteinsparung erfolgen, wenn Maschinen wie Laserschneidmaschinen und/oder Stanzmaschinen in den teilautomatisierten Herstellungsprozess eingebunden werden. Ferner kann die Fehlervermeidung und die automatische, korrekte Verbuchung von Werkstücken, Bearbei- tungsschritten etc. die Basis für eine datenbasierte Echtzeitsteuerung der Metallverarbeitung (z. B. der Stahl- und Blechfertigung) legen. Entsprechend werden auch Werkzeugmaschinen, die bei der Erstellung von kleinen Losgrößen von Werkstücken eingesetzt werden, in eine von einem MES im Rahmen der Industrie 4.0 gesteuerte Fertigung einbindbar. Im Vergleich zu einer Objektidentifizierung und Lokalisierung über Funktechnologien (z. B. Bluetooth LE) oder optische Verfahren (BarCodes, DotMatrixCodes) an definierten Stellen wie Passierstellen ("gates") in der Fertigungshalle kann das hierin vorgeschlagene Konzept der Nachverfolgung u. a. folgende Vorteile aufweisen:
- Zu verfolgenden Objekte müssen nicht modifiziert werden (keine Beschriftung oder Anbringung von Elektronik notwendig).
- Bei fehlender Modifikation eines Objekts muss nicht auf dessen Identifikation über einen Ladungsträger (Wagen, Palette, etc.), auf dem das Objekt abgelegt wird, zurückgegriffen werden. - Die zur Verfügung stehende Positionsinformation ist nicht nur zu bestimmten Zeitpunkten und an definierten Orten verfügbar.
- Es ist keine Energieversorgung wie bei aktiven und mobilen Funktechnologien notwendig.
Wie nachfolgend erläutert kann eine z. B. in der eingangs angegebenen DE 10 2017 120 358.8 offenbarte Innenraum-Ortung-basierte Steuerung mit dem Bildaufnahmevomchtung-basierte Verfolgungssystem kombiniert werden. Die Kombinierbarkeit umfasst dabei die Einbindung der Innenraum-Ortung in die Identifikation eines Objekts in einem Bild (Bestimmung einer Pixelstruktur) sowie die gemeinsame Verwendung für eine umfassende und sich ergänzende Bereitstellung von Positionsinformation von an der Fertigung beteiligten Objekten und Personen. Dabei kann eine Mobileinheit eines Innenraum-Ortungssystems selbst ein mittels der Bildsequenzen zu verfolgendes Objekt sein. Ferner können so zwei Verfahren / Systeme zur Lokalisierung eingesetzt werden, die sich abgleichen und voneinander lernen können.
Hierin werden Konzepte offenbart, die es erlauben, zumindest teilweise Aspekte aus dem Stand der Technik zu verbessern. Insbesondere ergeben sich weitere Merkmale und deren Zweckmäßigkeiten aus der folgenden Beschreibung von Ausführungsformen anhand der Figuren. Von den Figuren zeigen:
Fig. 1 eine beispielhafte schematische Darstellung eines Fertigungssteuerungssystems mit einem Bildaufnahmevorrichtung-basierten Nachverfolgungssystem,
Fig. 2 eine Darstellung eines beispielhaften Transportwagens für Werkstücke,
Fig. 3 einen beispielhaften digitalen Lageplan einer Fertigungshalle,
Fig. 4 einen weiteren beispielhaften digitalen Lageplan,
Fig. 5 eine beispielhafte Darstellung einer Werkzeugmaschine, die in ein Bildaufnahmevor- richtung-basiertes Nachverfolgungssystem eingebunden ist,
Fig. 6 ein Flussdiagramm zur Verdeutlichung einer mit einem Bildaufnahmevorrichtung- basierten Nachverfolgungssystem unterstützten Fertigung und
Fig. 7 ein Flussdiagramm zur Verdeutlichung von Verfahrensschritten zur industriellen Fertigung eines Endprodukts.
Hierin beschriebene Aspekte basieren zum Teil auf der Erkenntnis, dass mit der Genauigkeit und der Zuverlässigkeit Bildaufnahmevorrichtung-basierter Nachverfolgungssysteme, bei- spielsweise mit einer Genauigkeit in der Positionsbestimmung von kleiner 30 cm, insbesondere kleiner 10 cm, der Einsatz von Bildaufnahmevorrichtung-basierten Nachverfolgungssystem im Rahmen der industriellen Fertigung sinnvoll möglich wird. Das hierin offenbarte Konzept der Bild-basierten Nachverfolgung erlaubt eine durchgängige Objektverfolgung während eines mehrstufigen Fertigungsprozesses innerhalb einer Fertigungshalle und kann somit leicht in Intralogistik- Anwendungen eingesetzt werden. Dabei wird insbesondere vorgeschlagen, eine bildsequenzbasierte Objektverfolgung einzusetzen, die ohne optische Geometrie-Erkennung mit Hilfe von Smart Data- Anwendungen (Maschine - Learning, Künstliche Intelligenz, ...) eine Objektverfolgung ermöglicht.
Eine beispielhafte Umsetzung des Konzepts zur Objektverfolgung umfasst z. B. die folgenden Schritte:
- Die Fertigungshalle, zumindest der für die Objektverfolgung relevante Bereich, wird überlappend mit mehreren Bildaufnahmevorrichtungen überwacht. Die Bildaufnahmevorrichtungen stellen dem Fertigungssteuerungssystem Video-Streams (Bild-Sequenzen) in zeitlich ausreichend hoher Bildwiederholungsfrequenz und Pixel-Auflösung zur Verfügung.
- Ein Objekt wird im Rahmen der Fertigungssteuerung selektiert. Die Position des selektierten Objekts wird in der Fertigungshalle festgestellt und bleibt nachfolgend trotz Positions- änderungen in der Fertigungshalle, die sich aufgrund des Fertigungsprozesses ergeben, im Fertigungssteuerungssystem aktuell abrufbar.
- Mit Hilfe eines geeigneten Objekt-Erkennungsverfahrens wird das zu verfolgende Objekt zu einem bestimmten Zeitpunkt an einem Ort lokalisiert. Dies ist z. B. eine Entladestation einer Werkzeugmaschine, wie ein Absortiertisch. Die Lokalisierung erfolgt eindeutig über ein von überlagerten Systemen bereitgestelltes Software (SW)-System.
- Eine Bildsequenz -Analyse-SW verfolgt das Objekt innerhalb der bereitgestellten Bildsequenz ausschließlich anhand von typischen Pixeländerungen (Bewegung), ohne dass dabei das eigentliche Objekt als solches eindeutig zu identifizieren ist. D. h., es ist keine Objekterkennung notwendig, die über die Bildsequenzen läuft. Im Bereich der Bild- Analyse-SW und Bildsequenz- Analyse-SW wird auf bekannte Verfahren zur echtzeitfähigen Bildanalyse verwiesen.
Die beispielhafte Umsetzung kann ferner den Aspekt der Nachverfolgung mit mehreren Bildaufnahmevorrichtungen umfassen, d.h., verlässt das zu verfolgende Objekt den Beobach- tungsbereich einer ersten Bildaufnahmevorrichtung, erfolgt eine Übergabe der Nachverfolgung an eine zweite Bildaufnahmevorrichtung.
Wenn sich die Bilder der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevor- richtung (leicht) überlappen, kann das zu verfolgende Objekt beim Wechsel in den erfassten Bereich der zweiten Bildaufnahmevorrichtung eindeutig identifiziert werden und nachfolgend in der Bildsequenz der zweiten Bildaufnahmevorrichtung nachverfolgt werden.
Liegt keine räumliche Überlappung der Beobachtungsbereiche der ersten Bildaufnahmevor- richtung und der zweiten Bildaufnahmevorrichtung vor (nicht überlappende Bildsequenzen), können basierend auf der ersten Bildsequenz mit analytischen Verfahren der in der ersten Bildsequenz bekannten Orte Geschwindigkeits- und/oder Richtungsvektoren des zu verfolgenden Objektes bestimmt werden. Diese erlauben es, das zu verfolgende Objekt einem in der zweiten Bildsequenz auftauchenden Objekt zuzuordnen. Die Identifizierung kann in der Regel mit ausreichend hoher Wahrscheinlichkeit erfolgen, da die geeigneten Bildsequenz -Merkmale (Objekt-Merkmalsvektoren wie Richtungs- und/oder Geschwindigkeitsvektoren, Objektmerkmale wie Farben, Objektgrößen, ...) eine passende Zuordnung ermöglichen.
Die beispielhafte Umsetzung kann ferner den Aspekt umfassen, dass mit Hilfe von Maschine- Learning-Algorithmen die Wahrscheinlichkeit bei der Zuordnung von Objekten zu einer nachfolgenden Bildsequenz weiter verbessert wird.
Voll- oder teilautomatisierte Bearbeitungsplan-Zuordnungen verbinden beispielsweise einen Produktionsauftrag mit einer spezifischen Mobileinheit eines z. B. UWB-Ortungssystems. Sie können beispielsweise durch einen kombinierten Einsatz eines Assistenzsystems im Umfeld des Bedieners, des Bildaufnahmevorrichtung-basierten Nachverfolgungssystem und eines z. B. UWB-Ortungssystems durchgeführt werden.
Neben der vorzunehmenden Zuordnung z. B. eines Werkstücks zu einer ersten Bildsequenz kann ferner eine Zuordnung des Objekts (z. B. des zugeordneten Werkstücks) zu einem zugehörigen Produktionsauftrag (z. B. dem Produktionsauftrag des Werkstücks) vorgenommen werden. Derartige voll- oder teilautomatisierte Bearbeitungsplan-Zuordnungen verbinden beispielsweise einen Produktionsauftrag mit einem spezifischen nachverfolgten Objekt.
Ein System, das die obige beispielhafte Umsetzung des Konzepts erlaubt, umfasst z. B.:
- Eine Überwachung der Fertigungshalle mit mehreren Bildaufhahmevorrichtungen.
- Die Bereitstellung von Bildsequenzen mit eindeutigem Zeitbezug innerhalb einer Analyse-Umgebung in Echtzeit.
- Eine Ersterkennung (Bildsequenz-Frame-Objekt-Zuordnung) eines zu verfolgenden Objekts mit Hilfe von geeigneter Bilderkennung in einem Frame einer Bildsequenz zur Be- reitstellung von Objekt-Position, Objekt-Identität, mindestens einem Objekt-Merkmal, dem ein Objekt-Merkmalsvektor in einer Bildsequenz zugeordnet werden kann (Objekt- Merkmals vektor-Zuordnung) .
- Objektverfolgung mit geeigneten Streaming-Tools und Algorithmen innerhalb einer Bildsequenz.
- Beim Verlassen des Objektes eines der Bildsequenz zugeordneten Bereichs in der Fertigungshalle prüfen (mit Hilfe von geeigneten Bildauswertemittel und Bildauswerte- Verfahren/Programme, auch bekannt als Analytics-Tools und Routinen), ob ein dem Objekt- Merkmalsvektor entsprechendes Objekt in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz mit ausreichend hoher Wahrscheinlichkeit identifizierbar ist.
- Verbesserung der Objekterkennung mit Hilfe von Maschine-Learning- Verfahren, so dass die Objektgeometrie nicht mehr durch optische Verfahren erkannt werden muss.
- Berechnung eines genauen Ort-/Raum-Zeitpunkts des Objektes anhand von Referenzpunkten sowie Aufzeichnen und/oder Bereitstellen desselben über eine geeignete Schnittstelle. Ein Beispiel eines Assistenzsystems für die Ersterkennung ist z. B. ein optisches Assistenzsystem, bei dem mit optischen Sensoren vom Bediener ergriffene Werkstücke oder Werkzeuge erkannt und im Kontext der zur Verfügung stehenden Produktionsdaten aus den Produktionsaufträgen (bevorzugt) eindeutig für die Bearbeitungsplan-Zuordnung identifiziert werden. Ein beispielhaftes Assistenzsystem ist in der eingangs aufgeführten DE 10 2016 120 131.6 offen- bart. Derartige Assistenzsysteme können ferner für die Bearbeitungsplan-Zuordnung eingesetzt werden, wenn beispielsweise Bilddaten das Werkstück und den Bearbeitungsplan betreffen. Die Bearbeitungsplan-Zuordnung kann dann die weitere Verfolgung des Objekts während des nachfolgenden Fertigungsprozesses unterstützen. Dabei stellt die enge Verzahnung des Prozessablaufs die Prozesssicherheit im manuellen Umfeld sicher. Bei der digitalen Bearbeitungsplan-Zuordnung können die Objekte mit Produktionsaufträgen verknüpft werden. Die Produktionsaufträge betreffen Bearbeitungsprozesse an verschiedenen Fertigungsstationen, beispielsweise an einer Laserschneidmaschine oder an einer Stanzmaschine sowie z. B. an einem Kommissionierplatz. Die digitale Zuordnung kann beispielsweise dadurch erfolgen, dass ein Objekt in einer geometrisch definierten Zone abgelegt wird. Dabei können Informationen zu diesem Auftrag hinsichtlich der Nachverfolgung geladen werden oder je nach Bedarf auf diese immer aktuell geladen werden.
Die digital zugeordneten Objekte können z. B. Werkstücksammelstellen wie Wagen oder Paletten, allgemein Ladungsträger, sein, auf denen während der Fertigung die Werkstücke even- tuell Bildaufnahmevorrichtung-assistiert abgelegt werden. Ebenso können Werkzeuge als Objekt digital zugeordnet werden.
Alternativ oder zusätzlich zum Bildaufnahmevorrichtung-basierten Assistenzsystem kann die dynamische Bearbeitungsplan-Zuordnung erfolgen, indem z. B. Auftragspapiere und/oder ein Code (z. B. Barcode, QR-Code etc.) gescannt werden. Alternativ oder zusätzlich zur Verarbeitung der Information auf Auftragspapieren kann die Sollgeometrie des Werkstücks herangezogen werden. Nach einem Abgleich der beispielsweise mit dem Bildaufnahmevorrichtung- basierten Assistenzsystem erfassten Geometrie des Werkstücks mit der Sollgeometrie können Informationen aus dem zentralen Produktionsdatensystem nachgeladen und bei der Nachver- folgung eingesetzt werden.
Falls die Bildverarbeitung der Erstzuordnung keine eindeutige Identifikation zulässt, kann dem Bediener eine Teilmenge der aktiven Produktionsaufträge aufgelistet werden, welche für die erfasste Geometrie in Frage kommen. Der Bediener trifft dann die finale Auswahl und stellt die digitale Zuordnung her. So lässt sich die Prozesssicherheit verbessern. Insbesondere ähnlich wirkende Werkstücke/Werkzeuge können als Objekt nachverfolgt werden, ohne dass sie durch den Bearbeiter beispielsweise verwechselt, entsprechend falsch zugeordnet und fehlerhaft bearbeitet werden. Nachfolgend werden in Verbindung mit den Figuren Bild-basierte Nachverfolgungskonzepte beispielhaft erläutert.
Fig. 1 zeit schematisch ein Fertigungssteuerungssystem 1, das ein MES (Manufacturing Execution System) 3 und ein Bildaufhahmevorrichtung-basiertes Nachverfolgungssystem 5 (hierin auch kurz Nachverfolgungssystem) umfasst.
Das MES 3 ist mit einer oder mehreren in einer Fertigungshalle positionierten Werkzeugmaschinen 7 über kabellose oder kabelgebundene Kommunikationsverbindungen 9 verbunden. Allgemein dient das MES 3 der Steuerung von Prozessabläufen/Fertigungsschritten bei der industriellen Fertigung von Werkstücken mit den Werkzeugmaschinen 7. Es dient damit insbesondere der Steuerung der Werkzeugmaschinen 7. Dazu empfängt das MES 3 Informationen über die Prozessabläufe/Fertigungsschritte sowie Statusinformation der Werkzeugmaschinen 7. Das MES 3 stellt ein Datenverarbeitungssystem oder allgemein ein Datenverarbeitungsver- fahren dar, das in einer Datenverarbeitungsvorrichtung implementiert sein kann. Bei dieser kann es sich um eine einzelne elektronische Datenverarbeitungsvorrichtung (Server) oder um einen Verbund von mehreren Datenverarbeitungsvorrichtungen (Serververbund/Cloud) handeln. Die Datenverarbeitungsvorrichtung oder der Verbund kann örtlich in der Fertigungsstätte vorgesehen werden oder außerhalb dezentral aufgebaut werden.
Eine Plattform, auf der die Datenverarbeitungsvorrichtungen zur Verfügung stehen können - z. B., auf der das MES 3 implementiert werden kann, kann eine sogenannte Cloud sein. Die Cloud umfasst z. B. einen externen Server mit Rechen- und Speicherkapazität, den mehrere Produkthersteller gleichzeitig nutzen können. Dabei kann durch Zugangsauthentifizierungen, Passwörter etc. sicher gestellt werden, dass kein Hersteller auf die Daten eines anderen Herstellers oder des Betreibers der Fertigungsanlage zugreifen kann. Es kann sichergestellt werden, dass kein außenstehender Dritter auf die gespeicherten Daten zugreifen kann. Ein Schutz vor ungewolltem Zugriff kann dadurch gewährleistet werden, dass diejenigen Daten, die in der Cloud gespeichert sind, auch dort verarbeitet werden, und der Hersteller oder Betreiber der Fertigungsanlage, der die Daten nutzen möchte, seinerseits die Daten nur in der Cloud verarbeitet. Derartige Cloud-Nutzungen können zu einer bedeutenden Vereinfachung von Systemkonfigurationen und einer begleitenden Kostenersparnis führen. Die Datenverarbeitungsvorrichtung kann eine Benutzer-Oberfläche (GUI = Graphical User Interface) mit verschiedenen Anwendungsprogrammen (APPs) aufweisen. Mit der Bereitstellung verschiedener APPs, die ein bestimmtes Anwendungsprogramm ausfuhren können, kann die Fertigungssoftware, die ein Unternehmen benötigt, segmentiert aufgebaut werden, sodass sie je nach Bedarf - wie bei Nutzung einer spezifischen APP - nur dann abgerufen werden muss, wenn sie benutzt werden soll. Dies ermöglicht, dass eine Nutzung an den Provider, der die Fertigungssoftware bereitstellt, je nach Bedarf vergütet werden kann.
Das Nachverfolgungssystem 5 kann eine Analyseeinheit 11 und mehrere Bildaufhahmevor- richtungen 13 aufweisen, die zum Beobachten von Objekten 15 vorgesehen sind. Die Bildaufnahmevorrichtungen 13 können insbesondere Kameras sein. Das Nachverfolgungssystem 5 kann ferner mit dem MES 3 zusammenwirken. Beispielsweise kann das Nachverfolgungssystem 5 als ein Teil des MES 3 ausgebildet sein. Das Objekt 15 kann ein Werkstück, ein Transportmittel für Werkstücke, ein Werkzeug oder eine Person sein. Das Objekt 15 kann sich während der Fertigung in einem oder mehreren Beobachtungsbereichen 17 der Bildaufnahmevorrichtungen 13 befinden und wird somit in aufgenommenen, im MES 3 (oder der Analyseeinheit 11) abgelegten Bildern 39 der Bildaufnahmevorrichtungen 13 abgebildet, wobei die Bilder 39 (auch als Frames bezeichnet) einer Bildaufnahmevorrichtung 13 eine Bildsequenz 41 (auch als Video-Stream bezeichnet) bilden.
Die Position des Objekts 15 kann im Beobachtungsbereich 17 einer Bildaufnahmevorrichtung 13 beispielsweise über Referenzpunkte 19, die ebenfalls abgebildet werden und in Fig. 1 schematisch angedeutet sind, bestimmt werden.
Allgemein kann die Datenkommunikation einer Bildaufnahmevorrichtung 13 mit dem Ferti- gungssteuerungssystem 1, insbesondere mit dem MES 3, bidirektional möglich sein. Z. B. kann eine Bildaufnahmevorrichtung 13 vom MES 3 entsprechend ausgerichtet werden oder in den Betriebsparametern wie Frame-Rate, Belichtung etc. eingestellt werden.
In einigen Ausführungsformen können WLAN-Sendestationen in eine Bildaufnahmevorrichtung 13 für einen Datenzugang in das Fertigungssteuerungssystem 1 integriert werden, sodass über diese Bildaufnahmevorrichtung 13 digitale Daten in der Fertigungshalle mobil z. B. über Smartphones oder Tablets zugänglich sind. Die Integration der WLAN- Sendestationen in die Bildaufnahmevorrichtung 13 kann die Installation und das Betreiben eines Datenkommunikationssystems in der Fertigungshalle vereinfachen.
Die Analyseeinheit 11 kann beispielsweise als eine zentrale Master-Positionsbestimmungs- einheit (hierin auch als "Server" bezeichnet) dienen. Sie definiert den Nachverfolgungsprozess und den Datenaustausch mit dem MES 3.
Eine Gruppe von Bildaufnahmevorrichtungen 13 kann einer Master-Positionsbestimmungseinheit zugeordnet werden und die Bildsequenzen können an diese übermittelt werden. Zur Erfassung von Positionen in großen Fertigungshallen oder über mehrere Gebäude oder Räume hinweg können mehrere Gruppen von Bildaufnahmevorrichtungen 13 vorgesehen werden, die jeweils einer eigenen Master-Positionsbestimmungseinheit zugeordnet sind. Diese Master- Positionsbestimmungseinheiten können wiederum untereinander kommunizieren. Je nach Position des zu verfolgenden Objekts 15 kann die Nachverfolgung von unterschiedlichen Mas- ter-Positionsbestimmungseinheiten (Server) erfolgen.
Fig. 1 zeigt ferner beispielhaft Bearbeitungspläne 37. Ein Bearbeitungsplan 37 kann einen Geometriedatensatz 37A und/oder einen das Werkstück identifizierenden Codierungsdatensatz 37B umfassen. Ferner kann der Bearbeitungsplan 37 einen oder mehrere Bearbeitungs- und Werkstückparameter 37C des entsprechenden Werkstücks 23 umfassen.
Fig. 2 zeigt einen Transportwagen 21 mit einem Werkstück 23 sowie einer Mobileinheit 20. Der Transportwagen 21 umfasst einen Ablagebereich 24 für dieses oder mehrere Werkstücke 23, die im Rahmen eines Bearbeitungsplans 37 von einer Werkzeugmaschine 7 erzeugt wur- den.
Die Mobileinheit 20 ist beispielhaft auf dem Transportwagen 21 abgelegt, kann aber auch in diese strukturell integriert sein. Zur Interaktion eines Bedieners mit der Mobileinheit 20 kann sie eine elektronisch ansteuerbare Anzeige 20A, beispielsweise ein E-Ink-Display (auch als elektronische Papier-Anzeige bezeichnet), und/oder eine oder mehrere Signalabgabevorrichtungen 20B (LEDs) zur Ausgabe von Informationen aufweisen. Die Anzeige 20A zeigt beispielsweise eine für diese Werkstücke 23 spezifische Information an. Dies kann z.B. sein: Art des aktuellen und des nächsten Bearbeitungsschritts, beispielsweise„Entgraten", oder„Biegen"; Name und /oder Identifizierung des Auftrags; Datum, beispielsweise das Datum der Fertigstellung oder des Beginns des Auftrags; Anzahl der zu fertigenden Teile; Name oder Identifizierung des Kunden oder Auftraggebers.
Auf der Anzeige 20A können z. B. Informationen zum Auftrag, lesbar für Mensch und/oder Maschine, codiert und/oder in Schriftform und/oder als Figur dargestellt werden. Die Anzeige 20A kann auch als Signalabgabevorrichtung für eine Rückmeldung an den Benutzer genutzt werden. Weitere Beispiele einer Signalabgabevorrichtung sind eine Vorrichtung zur Ausgabe von Schall, insbesondere im hörbaren Bereich, insbesondere zur Ausgabe von Sprachinformationen und eine Lampe wie eine LED, die in den Bildern (39) einer Bildaufnahmevorrichtung 13 als signifikante Objektmerkmale aufgenommen werden können. Die LED kann durch unterschiedliche Farben, Blinkfrequenzen und/oder Blinkmuster codierte Informationen visuell über die Bildaufnahmevorrichtung 13 an das MES 3 mitteilen.
Eine insbesondere blinkende LED kann ferner zur Positionsidentifikation eingesetzt werden, da sie auch auf große Entfernungen leichter zu erkennen ist als z. B eine spezifischer Text auf der Anzeige 20A. Deswegen hat eine Signalvorrichtung wie eine LED besondere Vorteile, wenn z. B. eine Mobileinheit 20 in einer Bildsequenz verfolgt werden soll oder die Mobileinheit 20 während des Fertigungsprozesses gesucht wird. Die LED kann von einem Bediener ferngesteuert adressiert werden und sich dann mit einem Signal bemerkbar machen. Eine sol- che ferngesteuerte Adressierung kann beispielsweise durch eine weitere Mobileinheit oder über eine sonstige insbesondere tragbare Vorrichtung, z. B. Smartphone, Tablet, oder über die Analyseeinheit 11 erfolgen. Sie kann aber auch direkt, z. B. über Nahfeldsender (z. B. Bluetooth, NFC, IR), erfolgen. Allgemein kann die Mobileinheit 20 eine modulierbare Signalquelle zum Erzeugen von modulierten Licht-, Schall- oder Vibrationssignalen als Signalabgabevorrichtung aufweisen. Sie kann dann - ähnlich dem in der deutschen Gebrauchsmusterschrift DE 20 2016 106 352 Ul beschriebenen Kommunikationsgerät - als Daten sendendes Kommunikationsgerät zur drahtlosen Übertragung von Daten eingesetzt werden. Dabei kann das Kommunikationsgerät min- destens einen Sensor zum Empfangen von Licht-, Schall- oder Vibrationssignalen aufweisen und die Signalverarbeitungseinheit kann derart programmiert sein, dass sie aus empfangenen, modulierten Signalen die darin enthaltenen Daten zurückgewinnt. Des Weiteren kann in die Mobileinheit 20 mindestens eine Signaleingabevorrichtung (beispielsweise eine Taste) zur Eingabe von Parametern integriert werden. Die Mobileinheit 20 kann ferner als Signaleingabevorrichtung einen einfachen Sensor zum Empfangen von Licht-, Schall- oder Vibrationssignalen insbesondere einen Helligkeitssensor aufweisen. Sie kann dann, wie beispielsweise in der zuvor erwähnten DE 20 2016 106 352 Ul beschrieben, als Daten empfangendes Kommunikationsgerät zur drahtlosen Übertragung von Daten, insbesondere von Zugangsdaten, von einer Werkzeugmaschine eingesetzt werden.
Die Mobileinheit 20 kann ferner eine eigene Bildaufnahmevorrichtung aufweisen, die dazu ausgelegt ist, Bilder von Werkstücken und/oder von Codes (z. B. Barcodes oder QR-Codes) auf den Werkstücken oder auf anderen Dokumenten, Werkzeugen oder Produkten aufnehmen / scannen zu können. Auf diese Weise kann eine Zuordnung von Objekten (z. B. aufgenommenen Werkstücken) zu Aufträgen erfolgen. Zusätzlich kann die Mobileinheit eine Funktionalität zur Ermittlung, Verarbeitung und Übermittlung der Bildaufnahmevorrichtungs-Daten aufwei- sen.
Im Rahmen einer industriellen Fertigung von Werkstücken in der Metall- und/oder Blechverarbeitung werden die Mobileinheiten 20 üblicherweise Werkstücken zugeordnet. Optional können die Mobileinheiten 20 von Personen in der Fertigung getragen oder an Hilfsmittel wie Transportwagen, Maschinen und Werkzeugen angebracht werden, wodurch auch hier eine Zuordnung der Mobileinheit 20 zu einer Person, z. B. einem Arbeiter, oder einem Hilfsmittel vorgenommen werden kann, um die Nachverfolgung zu unterstützen.
Fig. 3 zeigt einen schematischen digitalen Lageplan 25 einer beispielhaften Fertigungshalle, die mit mehreren Werkzeugmaschinen 7 unterschiedlichen Typs ausgerüstet ist. Beispiele für Werkzeugmaschinen 7 in der Stahl-, Alu-, Kupferverarbeitung, allgemein in der Metallverarbeitung sind Schneid-, insbesondere Laserschneidmaschinen, Stanz-, Schleif-, Biegemaschinen etc. Gezeigt ist im Lageplan 25 auch ein zu einem sehr geringen Grad vernetzter Arbeitsplatz 26, wie beispielsweise ein Handarbeitsplatz mit einfachen Maschinen, z. B. zum Bohren, Sägen, Fräsen, Biegen, die keine Vernetzung oder nur eine Vernetzung über ein Überwachungssystem, wie es z. B. in DE 10 2016 220 015.1 beschrieben ist, aufweisen. Ferner erkennt man im Lageplan Zonen 27, 27' und Schranken 29. Die Zonen 27, 27' und Schranken 29 wurden von einem Bediener hinsichtlich der Benutzung der Werkzeugmaschinen 7 und zugehöriger Arbeitsabläufe definiert. Die Schranken 29 erstrecken sich räumlich (beispiels- weise linear) in der Fertigungshalle und definieren Grenzen, deren Übertreten durch eine Mobileinheit spezifische Aktionen auslösen kann. Den Zonen 27, 27' und Schranken 29 können allgemein Werkstück-spezifische bzw. Gegenstand/Bediener-spezifische Eigenschaften zugeordnet werden.
Eine wie in Fig. 3 dargestellte Ansicht kann z. B. auf einem Bildschirm (Monitor) einer Datenverarbeitungsvorrichtung (z. B. PC) schematisch dargestellt sein. Beim Aktivieren einzelner Zonen, Schranken oder nachverfolgter Objekte auf dem Monitor (z. B. mittels eines Cursors oder bei Touchpads mittels einer Berührung) können Statusinformationen angezeigt wer- den. Nach bestimmten Objekten kann gefiltert werden, z. B. alle Mobileinheiten/Werkstücke mit Zuordnung zu Aufträgen eines bestimmten Kunden.
So können Aktionen unter Nutzung der räumlichen Positionsbestimmung im Fertigungssteue- rungssystem ausgelöst werden, wenn ein zu verfolgendes Objekt sich innerhalb einer spezifi- sehen Zone befindet oder eine spezifische Schranke überschreitet, wobei diese Aktionen in Abhängigkeit des zugehörigen Objekts, z. B. Werkstücks, und dessen Fertigungsrelevanz, Bearbeitung/Bearbeitungszustand, variieren können. Die Zonen 27, 27' und die Schranken 29 können ferner in der Fertigungshalle vor Ort farblich zur besseren Kenntlichmachung in den Bildsequenzen markiert werden.
Ferner erkennt man im Lageplan 25 schematisch Werkstücksammelstellen, beispielsweise Transportwagen 21 oder Teilbereiche von diesem, die sich beispielsweise nahe einer Werkzeugmaschine 7 oder in einer der Zonen 27 befinden. Ferner kennt man schematisch Bediener 31 , die die Werkzeugmaschinen 7 bedienen.
Im digitalen Lageplan 25 sind somit nicht nur stationäre Elemente (Werkzeugmaschinen), sondern auch bewegliche Elemente (Werkstücke, Transportwagen, Bediener) angezeigt. Die Integration von beweglichen Elementen in den Lageplan wird durch die Bildaufnahmevorrich- tung-basierte Positionsbestimmung möglich, indem zum Beispiel die Transportwägen 21, Werkstücke 23 und Bediener 31 als nachzuverfolgende Objekte vom Nachverfolgungssystem in ihrer Bewegung festgehalten werden.
Ferner erkennt man im digitalen Lageplan 25 beispielhafte Positionen mehrerer Bildaufhah- mevorrichtungen 13. Die Bildaufnahmevorrichtungen 13 liefern maschinenlesbare Bildinfor- mationen. Die Positionen der Bildaufnahmevorrichtungen 13 sind derart gewählt, dass eine 2D-Positionsbestimmtung oder eine 3D-Positionsbestimmtung in den zugeordneten Beobachtungsbereichen 17 in der Fertigungshalle vorgenommen werden kann. Beispielhaft werden Bildsequenz- Aufnahmen für zwei bewegliche Objekte 15 (beispielhafte Transportwägen 21) über Doppelpfeile 33 in Fig. 3 verdeutlicht.
Die primäre Anwendung des Bildaufnahmevorrichtung-basierten Nachverfolgungssystems 5 liegt in der Lokalisierung von Werkstücken 23, allgemein Material, sowie von bei der Fertigung eingesetzten mobilen Einheiten wie Transportwägen 21, Stapler, Werkzeuge und sonsti- ge mobile Vorrichtungen als auch von Personen. Dass diese Objekte unter Nutzung der gewonnenen Positionsinformation einfacher während der Fertigung lokalisiert werden können, reduziert bzw. vermeidet Suchzeiten. Die gewonnene räumliche Information über die Objekte erlaubt zusätzlich eine Analyse von Prozessabläufen und von einer (Aus-) Nutzung von z. B. Werkzeugen.
Fig. 4 zeigt eine Aufsicht eines weiteren digitalen Lageplans 25' einer weiteren beispielhaften Fertigungshalle. Man erkennt mehrere Positionen von Bildaufnahmevorrichtungen 13 mit schematisch angedeuteten Beobachtungsbereichen 17. Ferner erkennt man wiederum mehrere Zonen 27 und Schranken 29.
Mit dem Nachverfolgungssystem können die Positionen von Objekten 15 im Lageplan 25' angezeigt werden und ihre Lage bezüglich der Zonen 27 und der Schranken 29 zu Steuerungszwecken bei der Fertigungssteuerung, insbesondere bei der Bearbeitung von Werkstücken genutzt werden. Dazu ist es wiederum notwendig, dass ein Objekt 15, z. B. ein Werkstück (oder eine Gruppe von Werkstücken), ein Bediener, ein Transportmittel, ein Werkzeug etc. in den Beobachtungsbereichen in seiner Position, insbesondere seine Positionsänderung, bestimmt wird.
Bildaufnahmevorrichtungen 13 sind beispielsweise ortsfest in der Fertigungshalle installiert oder sie können sich entlang Bewegungstrajektorien bewegen, um z. B. eine Zone mit einer Schwenkbewegung (siehe Beobachtungsbereich 17") zu erfassen oder eine Verfahrbewegung entlang einer Zone durchzuführen. Ferner können Bildaufnahmevorrichtungen an Drohnen vorgesehen werden, um flexibel in der Fertigungshalle eingesetzt zu werden. In einem Steuerungsbereich 30 ist die Lage einer Fertigungssteuerungseinrichtung des Ferti- gungssteuerungssystems 1 angedeutet. Hier kann sich die Analyseeinheit 11 befinden. Hier kann sich auch eine Datenverarbeitungsvorrichtung 30A (z. B. ein PC) mit einem Bildschirm (Monitor) befinden, auf dem z. B. der in Fig. 3 oder Fig. 4 dargestellte digitale Lageplan 25 oder 25 ' angezeigt wird.
Insbesondere die Zuordnung eines Objekts zu einem Pixelbereich in einem Bild einer aufgenommenen Bildsequenz kann durch verschiedene Interaktionen mit dem Fertigungssteue- rungssystem 1 (nachfolgend auch kurz der Fertigungssteuerung) erfolgen. Beispielsweise kann in einem Bediener-Interface der Fertigungssteuerung, das zum Beispiel auf einem
Smartphone oder Tablet bereitgestellt wird, das jeweilige Werkstück/der jeweilige Gegenstand ausgewählt und einem Pixel (Pixelbereich) eines angezeigten Bildes einer Bildaufnahmevorrichtung durch Eingabe beispielsweise einer zugehörigen Referenznummer zugeordnet werden.
Anstelle einer manuellen Eingabe kann beispielsweise alternativ automatisiert oder teilautomatisiert eine Aktivierung der Anzeige 20A oder LED 20B der Mobileinheit 20 die Zuordnung unterstützen. Ferner kann beispielsweise mittels Bildverarbeitung eines Bildes des Objekts, das beispielsweise mit einer Kennzeichnung wie einem Barcode versehen ist (siehe Anzeige 20A in Fig. 2), die Zuordnung vorgenommen werden. Des Weiteren kann eine grafische Zuordnung über einen am Bediener-Interface dargestellten Dialog vorgenommen werden. Des Weiteren kann die Zuordnung unter Einbezug von Ortsinformation eines UWB-Ortungssystems erfolgen.
In einem Nutzungsszenario soll eine Person, z. B. ein Bearbeiter, gemäß einem Auftrag Werkstücke 23 biegen. Hierzu greift er auf Daten aus dem Fertigungssteuerungssystem (MES; Produktionsleitsystem) zu und öffnet beispielsweise den digitalen Lageplan 25, 25' der Fertigungshalle. Unterlagen die Werkstücke der Nachverfolgung, wird dem Bediener der Ort der zu biegenden Werkstücke 23 im Lageplan 25, 25' angezeigt,. Beispielsweise wurde eine Mobileinheit 20 und Werkstücke 23 auf einem Transportwagen 21 abgelegt wie in Fig. 2 gezeigt und über die Bildaufnahmevorrichtungen 15 gemäß dem zuvor beschriebenen Vorgehen in den verschiedenen Bildsequenzen verfolgt. Entsprechend kann im Lageplan das Symbol Transportwagen z. B. zusammen mit einer schematischen Form des Werkstücks angezeigt werden. Zur Verdeutlichung des ersten Zuordnens zeigt Fig. 5 einen Absortiervorgang, bei dem ein Bediener 31 der Schnittgut einer Laserschneidmaschine 7 auf den Transportwagen 21 sortiert/ablegt. Eine Mobileinheit 20 wurde gemäß einem spezifischen Auftrag aktiviert (Bearbei- tungsplan-Zuordnung) und den Werkstücken 23 räumlich zugeordnet. Nach dem erfolgten Absortiervorgang hat der Bediener 31 beispielsweise eine Taste der Mobileinheit 20 aktiviert, sodass das Fertigungssteuerungssystem vom Abschluss des Absortiervorgangs informiert wird. In einem Bild der Bildaufnahmevorrichtung 13 wird nun ein Objekt-Merkmal für ein zu verfolgendes Objekt festgelegt, z. B. eine spezifische Form des Werkstücks 23 oder eine spe- zifische Farbe einer LED an der Mobileinheit 20.
Damit weiß die Analyseeinheit 11 , an welcher Lage im Bild das Objekt (Transportwagen/Werkstück) zu finden ist. Bewegt sich das Objekt über mehrere Beobachtungszonen hinweg, kann eine Übergabe beispielsweise gemäß den hierin offenbarten Konzepten durchge- führt werden.
Ist der Absortiervorgang abgeschlossen und werden die Werkstücke zum nächsten Bearbei- tungsprozess geschoben, kann dies mithilfe eines Passierens einer Schranke 29' erkannt und an das Fertigungssteuerungssystem weitergeleitet werden.
Das erste Zuordnen kann von einem Assistenzsystem 38, das bei einer Werkezugmaschine 7 oder allgemein an einem Arbeitsplatz vorgesehen ist, unterstützt werden.
Fig. 5 zeigt hierzu eine Werkzeugmaschine 7 mit einem optischen Assistenzsystem 38, das auf einer Bilddatenerfassung mit einer Bildaufnahmevorrichtung 13 basiert und die Zuordnung eines Werkstücks als zu verfolgendes Objekt unterstützt.
Bei der assistierten räumlichen Zuordnung erkennt die Bildaufnahmevorrichtung 13 ein absortiertes Werkstück 23 und erzeugt hierzu einen Mess-Assistenz- Werkstückdatensatz 38A (siehe auch Fig. 1). Der Mess-Assistenz- Werkstückdatensatz 38A wird mit Geometriedatensätzen 37 A der Bearbeitungspläne 37 im Fertigungssteuerungssystem 1 abgeglichen, um den Bearbeitungsplan 37 zu identifizieren, der zum erfassten Werkstück gehört. Die Einbindung der hierin beschriebenen mit einem Bildaufnahmevorrichtung-basierten Verfolgungssystem unterstützten Fertigung wird zusammenfassend in Verbindung mit Fig. 6 erläutert. Hierbei wird ergänzend auf die Figuren 1 bis 5 verwiesen. Fig. 6 zeigt beispielhaft Verfahrensschritte eines Verfahrens zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken 23, wobei das Verfahren durch ein Bildaufnahmevorrichtung-basiertes Verfolgungssystem unterstützt wird. Für das Verfahren werden Bildaufnahmevorrichtungen für ein Bildaufnahmevorrichtung-basiertes Verfolgungssystem bereitgestellt (Schritt 51). Jede Bildaufnahmevorrichtung ist einem Beo- bachtungsbereich zugeordnet und liefert bevorzugt kontinuierlich Bildsequenzen an eine gemeinsame Analyseeinheit. Beispielhaft werden eine erste Bildaufnahmevorrichtung mit einer ersten Bildsequenz (Schritt 51A) und eine zweite Bildaufnahmevorrichtung mit einer zweiten Bildsequenz (Schritt 51 B) in Fig. 6 angedeutet. Zur Verdeutlichung eines modularen Aufbaus können weitere Bildsequenzen erzeugt werden, die einer gleichen oder einer anderen Analyseeinheit zugeordnet sind (Schritt 5 mit Schritten 51A, 51B').
Basierend auf einem Bild einer der Bildsequenzen wird ein Zuordnungsvorgang vorgenom- men, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird (Schritt 53). Hierzu wird das zu verfolgende Objekt z. B. im ersten Bild anhand mindestens eines Objekt-Merkmals, das als Pixelstruktur in den Pixeln des ersten Bildes vorliegt, identifiziert. Beispielsweise erfolgt ein Identifizieren des zu verfolgenden Objekts in einem ersten Bild der ersten Bildsequenz, deren Beobachtungsbereich einem Absortiervorgang zugeordnet ist.
Die Wahl des Objekt-Merkmals, das als Pixelstruktur der Verfolgung der Bewegung des Objekts in der Fertigungshalle eingesetzt werden soll, kann z. B. die Farbe und/oder geometrische Formen, die z. B. in einem Bearbeitungsplan eines Werkstücks hinterlegt sind, berücksichtigen. Das Objekt-Merkmal kann ferner ein Lichtsignal einer LED oder eine Ausdehnung eines homogenen Pixelwert-Bereichs im Bild sein. Das Identifizieren des zu verfolgenden Objekts im ersten Bild kann mit einem Software-System erfolgen, das Information über die Lage des Objekts im ersten Bild bereitstellt, insbesondere mittels eines dem Beobachtungsbereich überlagerten Objekt-Informationsbereichs. Für das zu verfolgende Objekt wird ferner der dazugehörende Bearbeitungsplan bestimmt (Schritt 55).
Die Verfolgung (Schritt 57) der Pixelstruktur in Bildern 39 der Bildsequenzen 41 kann nun mittels einfachen Algorithmen und ohne aufwändige Objekterkennung durchgeführt werden. Dabei werden vorerst die Lagen des Objekt-Merkmals in Bildern 39 der ersten Bildsequenz 41, die dem ersten Bild zeitlich nachfolgend aufgenommen wurden, bestimmt (Schritt 57A).
Ein nachzuverfolgendes Objekt kann den Beobachtungsbereich der ersten Bildaufnahmevor- richtung verlassen. In diesem Fall werden in einem Schritt 57B die Lagen des Objekt- Merkmals in Bildern der zweiten Bildsequenz bestimmt. Das Lokalisieren des Objekt- Merkmals umfasst dabei z. B. ein Bestimmen eines Objekt-Merkmalsvektors, der die Bewegung des Objekt-Merkmals zwischen Bildern der ersten der Bildsequenzen beschreibt. Der Objekt-Merkmalsvektor kann ein Richtungs- oder Geschwindigkeitsvektor der Pixelstruktur sein. Diese können sich auf die Bewegung im Bild oder auf die Bewegung im Raum, d. h., der Fertigungshalle, beziehen. Der Objekt-Merkmalsvektor kann in ein Bild der zweiten der Bildsequenzen projiziert werden, um dort die Nachverfolgung der Pixelstruktur, die eventuell für die zweite Bildsequenz aufgrund von Beobachtungsrichtung etc. anzupassen ist, fortzusetzen. Allgemein wird, wenn ein Objekt-Merkmal einen der Bildsequenz 39 zugeordneten Beobachtungsbereich in der Fertigungshalle verlässt, insbesondere mit Hilfe von geeigneten Analytics- Tools und Routinen geprüft, ob ein dem Objekt-Merkmal und/oder Objekt-Merkmalsvektor entsprechendes Objekt-Merkmal in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz, insbesondere mit ausreichend hoher Wahrscheinlichkeit, identifizierbar ist.
Wie in Fig. 4 angedeutet können sich Beobachtungsbereiche von Bildsequenzen 39 überlappen (Überlappungsbereich 17') und eine Übergabe der Objekt-Merkmale von der ersten Bildsequenz in die zweiten Bildsequenz kann anhand von Pixelwerten im Überlappungsbereich 17' im Wesentlichen zeitgleicher Bilder erfolgen.
Soll eine genaue Position des zu verfolgenden Objekts ausgegeben werden (Schritt 59), wird die Lage der Pixelstruktur in einem aktuellen Bild auf den zugeordneten Beobachtungsbereich projiziert. Hierzu kann beispielsweise ein Vergleich mit Referenzpunkten vorgenommen werden (Schritt 59A), oder eine entsprechende Größe der Pixelstruktur berücksichtigt werden (Schritt 59B) etc. Dabei kann ferner auf Daten aus dem Bearbeitungsplan, der zu dem Objekt gehört, zugegriffen werden.
Information aus dem Prozess der Bestimmung der aktuellen Position kann im Rahmen von selbstlernenden Maschinen (maschinelles Lernen) in die Verfolgung der Pixelstruktur einfließen (gestrichelter Pfeil 61).
Die bestimmte Position des Objekts wird nun in die Steuerung der Industriefertigungsanlage zur Fertigung des Endprodukts eingebunden (Schritt 63). Je nach Objekt steht somit Positions- Information eines Werkzeugs, einer Person, eines Transportmittels, einer Werkzeugmaschine und/oder einer Werkstücksammelstelleneinheit für die Steuerung der Industriefertigungsanlage zur Verfügung.
Die Einbindung in die Steuerung der Industriefertigungsanlage kann beispielsweise ein Defi- nieren (Schritt 63 A) von Zonen 27 und/oder räumlichen Schranken 29 in der Fertigungshalle, insbesondere in einem Lageplan 25, 25' der Fertigungshalle, und ein Abgleichen (Schritt 63B) der bestimmten Position hinsichtlich der Zonen 27 und/oder der räumlichen Schranken 29 umfassen. Im Lageplan der Fertigungshalle kann im Schritt 63A z. B. eine Zone (Werkzeugmaschinen- Zone) um Werkzeugmaschinen/ Bearbeitungsplätze, beispielsweise um die Biegemaschine, erstellt werden. Dabei kann diese Zone als Volumenkörper (3D-Zone) definiert werden, der beispielsweise bis zu einer Höhe von 1,5 m über dem Hallenboden reicht. Wird ein Transportwagen mit Werkstücken als zu verfolgende Objekte, die zu einem Auftrag gehören, in die- se Zone geschoben, registriert das Fertigungssteuerungssystem im Schritt 63B dies.
Die Unterstützung der Fertigungssteuerung von Prozessabläufen kann dabei die hierin diskutierten Einbindungsmöglichkeiten umfassen. Z. B. können Signale von einer Signalabgabevorrichtung der Mobileinheit 20 - z. B. eine Anzeigeneinheit 17, eine LED oder ein Lautsprecher - erzeugt werden.
Ferner kann die Unterstützung der Fertigungssteuerung von Prozessabläufen über das Fertigungssteuerungssystem 1 Bearbeitungsparameter auf den Werkzeugmaschinen 7 ansteuern oder allgemein Fertigungsparameter einstellen (Schritt 63C), die sich z. B. auch auf die Fertigungshalle oder auf eine nachfolgende Datenanalyse beziehen können.
Als weiteres Beispiel für die Einbindung in die Fertigungssteuerung kann unter Nutzung der digitalen Zuordnung des Schritts 55 das Fertigungssteuerungssystem den zugehörigen Bearbeitungsauftrag am Bearbeitungsplatz (beispielsweise an der Biegemaschine) anmelden. Ferner können weitere Sekundäraktionen automatisch initiiert werden. So kann ein zugehöriges Bearbeitungsprogramm in der Werkzeugmaschine automatisch geladen werden. Dies kann es erlauben, dass die Werkzeugmaschine (beispielsweise eine Biegemaschine) über einen Tool- Master automatisch gerüstet wird. Auf einem zugeordneten Bildschirm können einem Bedie- ner für den nun anstehenden Bearbeitungsvorgang (Arbeitsgang) notwendige Informationen angezeigt werden. Beispielsweise können eine Abbildung der ursprünglichen Form des Werkstücks sowie die gebogene Form des Werkstücks, die Anzahl der zu biegenden Werkstücke und/oder der anschließend nachfolgende Bearbeitungsvorgang etc. angezeigt werden.
Ein Vorteil bei der Bearbeitung in Zusammenhang mit definierten Zonen und Schranken liegt darin, dass der Bearbeiter nichts weiter machen muss, als die nachverfolgten Objekte in eine Werkzeugmaschinen-Zone zu bringen, wodurch die verschiedenen vorbereitenden Maßnahmen automatisiert veranlasst wurden. Wie erwähnt kann die Werkzeugmaschine z. B. sofort automatisch auf den neu zu bearbeitenden Auftrag eingestellt werden. Dadurch kann erheblich Zeit eingespart werden und Fehler können vermieden werden.
Interagiert ferner eine Mobileinheit mit dem Fertigungssteuerungssystem oder betätigt ein Bediener Zusatzfunktionen (Eingabetasten etc.) einer Mobileinheit, kann der Bediener von den Mobileinheiten Feedback oder Mitteilungen über Ausgabemittel wie RGB-LED, Vibration, angezeigten Text oder Ton erhalten. So kann beispielsweise der Status eines Auftrags vi- sualisiert werden, beispielsweise indem eine LED grün leuchtet, solange sich der Auftrag im Zustand der Bearbeitung befindet. Ferner kann Feedback oder eine Mitteilung an nachfolgende Bearbeitungsplätze gegeben werden. So kann die automatische Buchung eines abgeschlos- senen Bearbeitungsvorgangs den nachfolgenden Prozess darauf aufmerksam machen, dass die Teile nun bereit stehen und wo sie sich befinden. Allgemein kann eine Auslösung von Aktionen wie das Buchen über Zonen noch weiter angereichert werden, sodass beispielsweise Werkstücke während der verschiedenen Bearbeitungsvorgänge zeitlich überwacht werden können. Mobileinheiten können ferner Teil eines Innenraum-Ortungssystems sein, dass die Bildbasierte Nachverfolgung unterstützt. In Figur 6 wird dies durch die Schritte 71 bis 75 verdeutlicht:
- Bereitstellen (Schritt 71) des Innenraum-Ortungssystems mit mehreren fest in der
Fertigungshalle installierten Sende-Empfangseinheiten, mindestens einer Mobileinheit und einer Analyseeinheit, wobei die Sende-Empfangseinheiten und die Mobileinheit zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet ist und die Analyseeinheit ausgebildet ist, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende- Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit in der Fertigungshalle zu bestimmen.
- Zuordnen (Schritt 73) der Mobileinheit zu mindestens einem, insbesondere nachzuverfolgendem Objekt (15, 21, 23, 31).
- Bestimmen (Schritt 75) der Position des mindestens einen zugeordneten Objekts (15, 21, 23, 31) durch Lokalisierung der zugeordneten Mobileinheit mit dem Innenraum- Ortungssystem.
- Einbinden (Schritt 63) der bestimmten Position in den Zuordnungsvorgang, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird (Schritt 53), und/oder in die Fertigungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts, ins- besondere in die Bildaufnahmevorrichtung-basierte Nachverfolgung.
Zu den Details eines z. B. UWB-basierten Ortungssystems wird auf die eingangs erwähnten Patentanmeldungen verwiesen. Die hierin offenbarten, für die Integration in die industrielle Fertigung vorgesehenen UWB- basierten Ortungssysteme basieren z. B. auf Mobileinheiten (oft auch als "Tags" bezeichnet) und stationären Sende -Empfangseinrichtungen (oft auch als "Anker" oder "Anchors" bezeichnet). Bei der Integration in die industrielle Fertigung kann zur Positionsbestimmung eines Werkstücks, allgemein eines Gegenstands ("Assets"), dieses jeweils mit mindestens einer Mobileinheit versehen werden bzw. mit dieser funktionell oder räumlich in Bezug gesetzt werden (hierin auch als physische oder räumliche Zuordnung bezeichnet). Die Mobileinheiten sind allgemein elektronische Bauteile, die dazu in der Lage sind, mit den Sende- Empfangseinrichtungen, insbesondere mittels UWB-Kommunikationstechnologie, zu kom- munizieren. Jede Mobileinheit kann zur Feststellung von Laufzeiten über eine eigene Zeitbestimmungseinheit ("Clock") verfügen.
Eine räumliche Zuordnung kann dadurch durchgeführt werden, dass eine Mobileinheit nahe eines zugeordneten Werkstücks oder am Werkstück selbst positioniert wird oder das Werkstück auf einer Werkstücksammelstelleneinheit, an der eine Mobileinheit vorgesehen ist, beispielsweise ein Transportwagen, ein Sammelbehälter oder eine Palette abgelegt wird. Die Mobileinheit kann dort (oder auch an einer Person) fest angebracht sein oder an dem Werkstück/der Werkstücksammelstelleneinheit anheftbar oder auf ihr abgelegt werden. Für ein An- heften kann die Mobileinheit z. B. über einen Haltemechanismus verfügen, beispielsweise ein Magnet oder eine Klemm-, Schraub-, Klipp-, Bajonett- oder Saugvorrichtung, mit dem sie an dem Werkstück oder an der Werkstücksammelstelleneinheit derart verbunden werden kann, dass sie sich nicht unkontrolliert von dieser lösen kann. Neben der vorzunehmenden räumlichen Zuordnung eines z. B. Werkstücks zur Mobileinheit kann ferner eine Zuordnung der Mobileinheit (und damit des räumlich zugeordneten Werkstücks) zu dem zugehörigen Produktionsauftrag des Werkstücks vorgenommen werden (hierin auch als digitale Zuordnung des Fertigungsprozesses oder kurz Bearbeitungsplan-Zuordnung bezeichnet).
Die Verwendung eines UWB-basierten Ortungssystems kann Ausgangsbasis für die ortsabhängige Informationsverarbeitung. Das Ortungssystem kann optional mit weiterer Sensorik, zum Beispiel mit Beschleunigungs- und/oder Lagesensoren, ausgestattet sein und so ferner als Ausgangsbasis für eine lageabhängige Informationsverarbeitung dienen. Dadurch wird insbe- sondere eine orts- (und gegebenenfalls läge-) abhängige Interaktion im Rahmen des UWB- basierten Ortungssystems bei der Fertigungssteuerung sowie eine Optimierung von Fertigungsvorgängen möglich. Beispielsweise können auch hier die virtuelle Schranken (Gates) und Zonen eingesetzt werden, um einen Fertigungsprozess und nachfolgende Produktionsschritte automatisiert zu überwachen und zu steuern. Dies kann insbesondere in Echtzeit er- folgen.
Das UWB-basierten Ortungssystem kann mehrere Sende-Empfangseinheiten und mindestens eine Mobileinheit aufweisen. Das Ortungssystem kann ferner mit dem MES 3 zusammenwir- ken. Beispielsweise kann eine UWB-Analyseeinheit des UWB-basierten Ortungssystems als ein Teil des MES 3 ausgebildet sein.
Die Sende-Empfangseinheiten können dazu eingerichtet sein, an die Mobileinheiten UWB- Radiosignale zu senden und von diesen UWB-Radiosignale zu empfangen. Die Sende- Empfangseinheiten können für eine ausreichende Abdeckjung der Fertigungshalle - beispielsweise ähnlich wie die Bildaufnahmevorrichtungen 13 - in der Fertigungshalle verteilt angeordnet werden. Der Abstand zwischen einer örtlich beweglichen Mobileinheit und einer z. B. fest installierten Sende-Empfangseinheit, kann durch die Zeit bestimmt werden, die das Signal zum Überwinden der Distanz zwischen den beiden Einheiten benötigt. Werden die Distanzen von mehreren Sende-Empfangseinheiten ermittelt, deren Ort jeweils bekannt ist, kann der räumliche Ort der Mobileinheit in Bezug zu den Sende-Empfangseinheiten z. B. durch Triangulation bestimmt werden.
Für eine Laufzeitbestimmung können die Sende-Empfangseinheit und die Mobileinheit(en) über hochgenaue Uhren verfügen, die die Zeit auf wenige oder sogar nur Bruchteile von ns genau bestimmen können. Auch wenn die Uhren in der Sende-Empfangseinheit und in der Mobileinheit hochgenau sind, so sind die Uhren noch nicht zwingend synchronisiert. Es können unterschiedliche Verfahren der Synchronisation von Uhren oder der Elimination von Fehlern folgend aus dem asynchronen Uhrenverlauf eingesetzt werden. So kann beispielsweise eine der Sende-Empfangseinheiten ein Signal zu einer ersten Zeit Tl versenden und ein zweites Signal zu einer zweiten Zeit T2. Der Mobileinheit kann der Zeitunterschied T2-T1 bekannt sein oder zusammen mit den Signalen übermittelt werden, so dass sie sich auf die Zeit der Sende-Empfangseinheiten synchronisieren kann. Alternativ kann die Mobileinheit zwei Signale in einem vorbekannten zeitlichen Abstand Ta senden. In diesem Fall kann die Sende- Empfangseinheit anhand ihrer eigenen Zeitmessung mit ihrer eigenen Uhr vom Empfang des ersten Signals bis zum Empfang des zweiten Signals die Synchronisationsabweichung ermit- teln und aus der Distanzmessung herausrechnen. Der zeitliche Abstand zwischen dem ersten Signal und dem zweiten Signal sollte gering sein, sodass sich die Mobileinheit in dieser Zeit nicht örtlich wesentlich bewegt hat. Der zeitliche Abstand kann von der Mobileinheit so gewählt werden, dass er ein vorgegebenes Vielfaches oder ein vorgegebener Bruchteil der Zeit ist, die die Mobileinheit benötigt vom Empfang eines Signals, auf das es antworten soll, bis zur Ausgabe des ersten Signals.
Bei der kombinierten Nutzung der hierin offenbarten Bild-basierten Nachverfolgung und eines z. B. UWB-basierten Innenraum-Ortungssystems können die Nachverfolgung und die Ortung in einem fließenden Übergang eingesetzt werden. Z. B. kann bei einem fließenden Übergang zwischen UWB-Ortung (Tracking) und Bild-basierter Nachverfolgung (Kamera-Tracking) ein für ein optisches System schwer zugänglicher Bereich (z. B. aufgrund von ungünstigen Lichtverhältnissen, verwinkeltem Bau etc.) oder ein sensibler Bereich (z. B. aufgrund von Perso- nenüberwachung unzulässig) mit UWB-Technologie erfolgen. In geeigneten Räumen der Fertigungsanlage mit guten optischen Bedingungen, beispielsweise im Bereich der Ausgangstore und Eingangstore z.B. für Wareneingang kann die Bild-basierte Nachverfolgung vorgesehen werden. Überdies kann die Fertigungssteuerung Zusatzinformationen bereitstellen, die in der Bild- basierten Nachverfolgung berücksichtigt werden. Wenn sich z. B. ein Halbzeug während eines Fertigungsprozesses verändert, z. B. von einer 2D-Form, zu einem Biegeteil und zu einer Schweißbaugruppe, kann aufgrund von Bearbeitungsplandaten diese Information der Bildbasierte Nachverfolgung bereitgestellt werden. Dadurch kann die optische Detektion erleich- tert werden. Ferner kann die Bild-basierte Nachverfolgung Zusatzinformationen bereitstellen, die in der Fertigungssteuerung berücksichtigt werden können. Dies kann insbesondere in der Qualitätssicherung eingesetzt werden. Angenommen, eine resultierende Bauform eines Werkstücks weicht stark von der erwartenden Form ab oder es fehlen offensichtlich Merkmale, kann dies optisch erkannt und der Fertigungssteuerungssystem mitgeteilt werden. Ferner kann im Rahmen der Bild-basierten Nachverfolgung ermittelt werden, ob ein Werkstück oder eine Baugruppe grundiert oder lackiert ist oder eine sonstige (z. B. im sichtbaren Frequenzbereich) erkennbare Oberflächen-Bearbeitung durchlaufen hat. Ebenso kann bei einer Bilderkennung im IR-Frequenzberiech z. B. eine spezifische Temperaturverteilung oder ein zeitlicher Temperaturverlauf erfasst und dem Fertigungssteuerungssystem mitgeteilt werden.
Ferner ist es möglich, basierend auf der Anzahl der sich in einer oder mehreren Zonen befindenden nachverfolgten Objekte Ereignisse auszulösen oder bevorstehende Ereignisse anzuzeigen. Beispielsweise können Kommissioniervorgänge oder Transportaufgaben ausgelöst werden. Neben stationären Zonen können zusätzlich Zonen dynamisch mit einem oder mehreren Objekten mitwandern. Dies erlaubt beispielsweise den Transport mehrerer Ladungsträger (Transportwägen), und die mitgeführten Aufträge können gemeinsam als Cluster vom Fertigungs- Steuerungssystem behandelt werden.
Ferner kann ein Objekt zum Beispiel an einem Handarbeitswerkzeug bearbeitet werden und mithilfe der Bildaumahmevomchtung-basierten Nachverfolgung kann ermittelt werden, wann und/oder wie das Handarbeitswerkzeug genutzt wird.
Durch die Nachverfolgung von Werkzeugen ist es ferner möglich, die Bewegung des Werkzeugs zu erkennen. Hierdurch können Informationen darüber generiert werden, wie viele Bauteile bearbeitet wurden oder ob ein Bearbeitungsschritt vergessen wurde etc. Ferner können weitere Daten über das Bildaufnahmevorrichtung-basierte Nachverfolgungssystem übermittelt werden, beispielsweise Fehlermeldungen durch entsprechende Bewegungsmuster eines Objekts z. B. in einer definierten Fehler-Zone.
Ein weiteres Nutzungsszenario betrifft die Erfassung von Prozesszuständen, die durch die Po- sitionen von Werkstücken, Menschen, Maschinen und anderen Betriebsmitteln gekennzeichnet sind und die durch eine kognitive Auswertung dieser gemessenen Positionen erfasst werden können. Allgemein lassen die Bildaufnahmevorrichtung-basierten Nachverfolgungsdaten sowie die Informationen bezüglich Zonen und Schranken eine Vielzahl an Auswertemöglichkeiten zu. So ist es beispielsweise möglich, mittels derartiger Rohdaten Kennzahlen wie Key- Performance-Indikatoren (KPIs) zu erzeugen und detaillierte Analysen zu Optimierung der Fertigungsvorgänge durchzuführen. Diese Analysen (z. B. KPIs) können beispielsweise in Form von„heat maps", als Live- Ansicht oder aggregiert dargestellt werden. Weitere Auswertungsdiagramme wie Spagetti-Diagramme sind so für verschiedene Bearbeitungsvorgänge sofort abrufbar. Dies erlaubt es, Standardkennzahlen, die oft einen großen Aufwand bei der Erhebung erzeugen, auf Knopfdruck verfügbar zu machen, wie z. B. Durchlaufzeit, Wertstromanalyse etc. Zudem können die Abläufe in der Produktion auf Basis der gewonnen Ortungsinformationen mit Hilfe von numerischen Optimierungsverfahren verbessert werden. Die Nutzung des Bildaufnahmevorrichtung-basierten Nachverfolgungssystems erlaubt es auch Personen oder Körperteile von Personen zu orten, wenn diese als nachzuverfolgendes Objekt bestimmt werden. Neben Werkstücken und Werkzeugen gibt die Ortung von Personen (als Ganzes oder auch lokale Ortungen von Bein, Arm und Hand) wertvolle Information über Ab- läufe in der Produktion. Nutzungsszenarien hierzu betreffen beispielsweise die Überwachung sicherheitskritischer Bereiche zum Schutze von Personen, insbesondere der Bearbeiter. Ferner können Bewegungsmuster generiert werden, die wiederum z. B. zur Prozess- oder Ergonomie- Verbesserung von Arbeitsplätzen der Bediener ausgewertet werden können. Insbesondere über die synchrone Auswertung beider Hände einer Person, insbesondere eines Bedieners oder Be- arbeiters, können detaillierte Informationen über den Fertigungsvorgang und das Werkstück erfasst werden. So kann erfasst werden, dass
- ein Bearbeiter an einer Position X zugegriffen hat;
- ein Bearbeiter ein spezifisches Werkstück von A nach B transportiert hat;
- ein Bearbeiter ein spezifisches Werkstück an einer Position Y abgesetzt hat;
- ein Fertigungsvorgang wie Bohren, Einpressen, ... x-Mal ausgeführt wurde;
- ein Fertigungsvorgang wie Entgraten, Schweißen, ... auf einer spezifischen Trajekto- rie an einem Werkstück ausgeführt wurde;
- ein Fügeprozess an einer spezifischen Position durchgeführt wurde. Verschiedene nachzuverfolgende Objekte können in spezifischen Beziehungsverhältnissen zueinander stehen. Beispielsweise können sie im Rahmen eines spezifischen Fertigungsprozesses in Familien gruppiert werden, um grundlegende (Verhaltens-/Bewegungs-) Muster zu definieren. Familien können beispielsweise einem Auftrag, einer Baugruppe, einem Folgepro- zess von Werkstücken oder einem zugehörigen Ladungsträger (Transportwagen, Palette, Sammelbehälter) zugeordnet sein. Die Familienzugehörigkeit kann dabei dynamisch im laufenden Bearbeitungsvorgang geändert werden. Objekte können dabei verschiedenen Familien gleichzeitig angehören. Ferner können Familien von Objekten eine spezifische Verknüpfung betreffen, beispielsweise alle Ladungsträger, alle Transportmittel, alle Bearbeiter, alle Werkstücke, alle Maschinen etc., oder eine Familie von Objekten kann einen spezifischen Status des Objekts betreffen, beispielsweise einen Ladungsstatus der Mobileinheiten.
Entsprechend kann die Analyse wie die Erfassung von Prozesszuständen auf der Auswertung von derartigen Familien basieren. Über die hierin offenbarte Erweiterung einer Fertigungsanlage mit einer Bildaufnahmevor- richtung-basierten Nachverfolgung und Schnittstellen zum Fertigungssteuerungssystem kann die Position einer Werkstücksammelstelleneinheiten festgestellt und/oder die Bewegung der Hand eines Bedieners beispielsweise mit Infrarot-Bildgebung festgehalten werden.
Ein Bediener, der in einer Schaltzentrale den Bearbeitungsvorgang überwacht und steuert, kann auf seinem Überwachungsmonitor sehen, wo ein spezifischer Auftrag gerade in der Prozesskette steht und wie sein Status gerade ist. Entsprechend kann er auch direkt auf eine Anzeigeeinheit zugreifen, um angezeigte Daten (Werkstückinformation) wie Präferenzen, Ar- beitsschritte etc. anzupassen und einem Bearbeiter vor Ort anzuzeigen. Alternativ oder ergänzend kann dies auch vor Ort mit einer Eingabevorrichtung an der Werkstücksammelstelleneinheit (z. B. Taster, Schalter, Touchpad) erfolgen oder über eine Datenschnittstelle, die einer externen z. B. mobilen Eingabeeinheit Zugang verschafft (Smartphone, Ipad, Smartwatch etc.). Entsprechend kann die Werkstücksammelstelleneinheit z. B. ein Nahfeldfunknetz (Blue- tooth, NFC) aufweisen. Beispielsweise wird die Werkstücksammelstelleneinheit gezielt angesteuert, damit die Signalvorrichtung (z. B. eine hell leuchtende LED) aktiviert wird.
Die Bild-basierte Nachverfolgung kann ferner beispielsweise beim Absortieren eingesetzt werden, indem z. B. der Ort einer Hand (insbesondere eines in Bildern deutlich sichtbaren Handschuhs) nachverfolgt wird. Entnimmt die„Hand" eines Bedieners ein Bauteil vom Restgitter, wird der Bauteilort im MES vom Restgitter auf die Hand gebucht. Bewegt sich die Hand in die Nähe einer Werkstücksammelstelleneinheit, wird im MES gebucht, dass dieses Teil an der zugehörigen Werkstücksammelstelleneinheit abgelegt wurde. Zum einen kann das Nachverfolgungssystem erkennen, dass die Hand mit dem Werkstück in die Nähe kam. Zum anderen kann ein übergeordnetes System (z. B. das MES) die Werkstücksammelstelleneinheit und die Handposition verknüpfen.
In Fig. 7 sind beispielhaft Verfahrensschritte einer industriellen Fertigung eines Endprodukts gezeigt, die mit einem hierin offenbarten Fertigungssteuerungssystem, insbesondere dem MES 3 durchgeführt werden kann.
In einem ersten Schritt 80 erfolgt die Entgegennahme eines Fertigungsauftrags (mit einem Bearbeitungsplan 37) zur Fertigung eines Endprodukts aus einem Werkstück 23 mit dem MES 3, das z. B. in einer Datenverarbeitungsvorrichtung 30A implementiert ist. In einem folgenden Schritt 81 erfolgt die Auswahl einzelner Bearbeitungsschritte mittels des MES 3. In einem weiteren Schritt 82 erfolgt die Auswahl einer Reihenfolge vom MES 3 (oder einem Bediener), in der die Bearbeitungsschritte durchgeführt werden sollen. Die Bearbeitungsschritte können dabei einzelne oder mehrere der folgenden Vorgänge sein: Schneiden, insbesondere Laser- schneiden, Stanzen, Biegen, Bohren, Gewindeschneiden, Schleifen, Zusammenfügen, Schweißen, Nieten, Schrauben, Pressen, Behandeln der Kanten und Oberflächen.
In einem weiteren Schritt 83 erfolgt die datentechnische Zuordnung jedes der Bearbeitungsschritte zu einer Maschine 7 oder einem Arbeitsplatzeinheit. Die Arbeitsplatzeinheit kann ein wie oben beschriebener Arbeitsplatz 26, insbesondere ein Handarbeitsplatz sein.
In einem weiteren Schritt 84 erfolgt die datentechnische Zuordnung des Fertigungsauftrags zu einem nachzuverfolgenden Objektdatensatz, der in der MES 3 für eine Mobileinheit abgelegt ist. Dieser Schritt 84 kann dem in Fig. 6 gezeigten Schritt 53 entsprechen. Schritt 84 kann ins- besondere auch schon früher, z. B. nach einem oder mehreren der zuvor beschriebenen Verfahrensschritte, erfolgen.
In einem weiteren Schritt 85 erfolgt die Fertigung eines Werkstücks 23, das zumindest teilweise ein Teil des Endprodukts ist, insbesondere nach einem ersten der Bearbeitungsschritte an der diesem Bearbeitungsschritt zugewiesenen Maschine 7 oder Arbeitsplatzeinheit. Z. B. wird hier ein Teil des Fertigungsauftrags aus einem Blech geschnitten. Da als nachfolgender Bearbeitungsschritt auch noch ein Fräsen oder Stanzen notwendig sein kann, kann dieses Werkstück 23 noch mehr Material als das Endprodukt, also nur teilweise das Endprodukt bilden bzw. ein Teil von diesem sein.
In einem weiteren Schritt 86 erfolgt die räumliche Zuordnung des gefertigten Werkstücks 23 einer Position in einem Beobachtungsbereich. Dieser Schritt 86 kann dem in Fig. 6 gezeigtem Schritt 59 entsprechen. In einem weiteren Schritt 87 erfolgt das Speichern einer Änderung des Status des Fertigungsauftrags in dem MES 3.
In einem optionalen Schritt 88 erfolgt das Speichern der Position des Werkstücks / nachverfolgten Objekts zu dem Fertigungsauftrag. In einem weiteren Schritt 89 erfolgt der Transport des Werkstücks 23 gemäß dem Fertigungsauftrag zu der nächsten Maschine 7 oder der nächsten Arbeitsplatzeinheit in der vorbestimmten Reihenfolge. Dies kann in Folge einer Anweisung des MES 3 durch eine Person oder durch einen automatisierten Transportprozess erfolgen.
In einem weiteren Schritt 90 wird dieser Bearbeitungsschritt an der ihm zugewiesenen Maschine 7 oder Arbeitsplatzeinheit durchgeführt.
In einem optionalen Schritt 91 erfolgt das Speichern der Position des Werk- stücks/nachverfolgten Objekts für diesen Fertigungsschritt im Fertigungsauftrag.
In einem weiteren Schritt 92 erfolgt das erneute Speichern einer Änderung des Status des Fertigungsauftrags im MES 3. In einem weiteren Schritt 93 wird entschieden, ob mit dem Verfahrensschritt 89, d. h., einem Transport zu einem weiteren Bearbeitungsschritt, fortgefahren werden soll oder ob die Fertigung beendet ist.
Während dieser Fertigungsschritte ist stets eine Positionsbestimmung von nachverfolgten Ob- jekten durch das MES 3 möglich. Damit kann das MES 3 zu jeder Zeit über Daten wie aktuelle Statusdaten und aktuelle Positionsdaten des Werkstücks 23 verfügen. MES 3 und das Bild- aufnahmevorrichtung-basierte Nachverfolgungssystem 5 können insbesondere wie zuvor beschrieben ausgebildet sein. Alle zuvor beschriebenen Verfahrensschritte, die von einer Fertigungssteuerung, einem Ferti- gungssteuerungssystem, einem Bildaufnahmevorrichtung-basierten Nachverfolgungssystem oder vom MES 3 ausgeführt werden, können auch mittels einer oder mehrerer Datenverarbeitungsvorrichtungen, die Mittel zur Durchführung der Verfahrensschritte aufweisen, realisiert sein.
Es wird explizit betont, dass alle in der Beschreibung und/oder den Ansprüchen offenbarten Merkmale als getrennt und unabhängig voneinander zum Zweck der ursprünglichen Offenbarung ebenso wie zum Zweck des Einschränkens der beanspruchten Erfindung unabhängig von den Merkmalskombinationen in den Ausführungsformen und/oder den Ansprüchen angesehen werden sollen. Es wird explizit festgehalten, dass alle Bereichsangaben oder Angaben von Gruppen von Einheiten jeden möglichen Zwischenwert oder jede mögliche Untergruppe von Einheiten zum Zweck der ursprünglichen Offenbarung ebenso wie zum Zweck des Einschränkens der beanspruchten Erfindung offenbaren, insbesondere auch als Grenze einer Bereichs- angäbe.

Claims

Patentansprüche
1. Verfahren zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken (23) gemäß Bearbeitungsplänen (37), insbesondere in der Metall- und/oder Blechverarbeitung, in einer Fertigungshalle zur Fertigung eines Endprodukts mit den Schritten:
Bereitstellen (Schritt 51) mehrerer in der Fertigungshalle angeordneter Bildaufnahmevorrichtungen (13), die zum Aufnehmen von Bildsequenzen (41) von zugeordneten Beobachtungsbereichen (17) in der Fertigungshalle ausgebildet sind,
- Identifizieren (Schritt 53) eines zu verfolgenden Objekts (15, 21, 23, 31) in einem ersten Bild einer ersten der Bildsequenzen (41) anhand mindestens eines Objekt-Merkmals, das als Pixelstruktur in den Pixeln des ersten Bildes vorliegt,
Bestimmen (Schritt 55) des Bearbeitungsplans, der sich auf das zu verfolgende Objekt (15, 21, 23, 31) bezieht,
- Bestimmen (Schritt 55A) der Lagen des Objekt-Merkmals in Bildern der ersten der Bildsequenzen (41), die dem ersten Bild zeitlich nachfolgend erfasst wurden,
Bestimmen (Schritt 57) einer aktuellen Position des zu verfolgenden Objekts (15, 21, 23, 31) durch Lokalisieren des Objekt-Merkmals in einem zeitlich aktuellen Bild einer der Bildsequenzen (41) und Zuordnen (Schritt 59) der Lage des Objekt-Merkmals im zeitlich ak- tuellen Bild zu einer aktuellen Position im Beobachtungsbereich der Bildsequenz (41), die das zeitlich aktuelle Bild umfasst, und
Einbinden (Schritt 63) der bestimmten aktuellen Position des zu verfolgenden Objekts (15, 21, 23, 31) in die Fertigungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts.
2. Verfahren nach Anspruch 1 , wobei das zu verfolgende Obj ekt (15, 21, 23, 31) innerhalb der bereitgestellten Bilder (39) ausschließlich anhand von typischen Pixeländerungen, die einem Objekt-Merkmal zugeordnet sind, verfolgt wird. 3. Verfahren nach Anspruch 1 oder 2, wobei das Identifizieren des zu verfolgenden Objekts (15, 21, 23, 31) im ersten Bild (39) mit einem Software-System erfolgt, das Information über die Lage des Objekts (15, 21, 23, 31) im ersten Bild (39) bereitstellt.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Lokalisieren des Objekt-Merkmals umfasst:
Bestimmen eines Objekt-Merkmalsvektors, der die Bewegung des Objekt-Merkmals zwischen Bildern (39) der ersten der Bildsequenzen (41) beschreibt, und
Projizieren des Objekt-Merkmalsvektors in ein Bild (39) einer zweiten der Bildsequenzen (41).
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Verlassen des Objekt-Merkmals eines der Bildsequenz (41) zugeordneten Beobachtungsbereichs (17) in der Fertigungshalle geprüft wird, insbesondere mit Hilfe von geeigneten Bildauswertemittel und Bildauswerte- Verfahren/Programme, ob ein dem Objekt-Merkmal und/oder Objekt- Merkmalsvektor entsprechendes Objekt-Merkmal in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz (41), insbesondere mit ausreichend hoher Wahrscheinlichkeit, identifizierbar ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das zu verfolgende Objekt (15, 21, 23, 31) ein Werkstück (23), einem Transportmittel (21), ein Werkzeug, eine Mobileinheit (15) oder eine Person (31) ist und/oder
wobei die Bildsequenzen (41) der Bildaufnahmevorrichtungen (13) einen eindeutigen Zeitbezug zur Positionsbestimmung und untereinander aufweisen.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt-Merkmal eine spezifische geometrische Form, eine Farbe, ein Lichtsignal einer LED, oder eine Ausdehnung eines Bereichs im Bild (39) umfasst, und/oder
wobei ein Objekt-Merkmalsvektor ein Richtungs- oder Geschwindigkeitsvektor ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Beobachtungsbereiche (17) der ersten Bildsequenz (41) und einer zweiten Bildsequenz (41) einen Überlappungsbereich (17') aufweisen und eine Übergabe der Objekt-Merkmale von der ersten Bildsequenz (41) in die zweiten Bildsequenz (41) anhand von Pixelwerten im Überlappungsbereich (17') im Wesentlichen zeitgleicher Bilder (39) erfolgt.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Zuordnen der Lage des Objekt-Merkmals im zeitlich aktuellen Bild (39) zu einer aktuellen Position im Beobachtungsbereich (17) der Bildsequenz (41) umfasst: Bereitstellen von Referenzpunkten (19) in den Beobachtungsbereichen (17), und Berechnen eines genauen Ort-/Raum-Zeitpunkts des zu verfolgenden Objektes (15, 21, 23, 31) anhand mindestens eines Referenzpunkts (19).
10. Verfahren nach einem der vorhergehenden Ansprüche, ferner mit
Aufzeichnen und/oder Bereitstellen der bestimmten Position über eine geeignete
Schnittstelle und/oder
Einbinden der bestimmten Position in eine Bewegungsanalyse des zu verfolgenden Objekts (15, 21, 23, 31).
11. Verfahren nach einem der vorhergehenden Ansprüche, ferner mit
Definieren von Zonen (27) und/oder räumlichen Schranken (29) in der Fertigungshalle, insbesondere in einem Lageplan (25) der Fertigungshalle, und
Abgleichen der bestimmten Position des zu verfolgenden Objekts (15, 21, 23, 31) hinsichtlich der Zonen (27) und/oder der räumlichen Schranken (29) und Steuern der Fertigung basierend auf dem Abgleich.
12. Verfahren nach Einspruch 11 , wobei das Abgleichen der bestimmten Position ergibt, dass sich das zu verfolgende Objekt (15, 21, 23, 31) in einer Zone (7) befindet oder diese verlassen hat oder dass das zu verfolgende Objekt (15, 21, 23, 31) eine räumliche Schranke (29) passiert hat, und/oder
wobei die Zonen (27) und/oder die räumlichen Schranken (29) in zwei oder drei Dimensionen definiert werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Einbinden der bestimmten Position des zu verfolgenden Objekts (15, 21, 23, 31) in die Steuerung zur Fertigung eines Endprodukts einen oder mehrere der folgenden Schritte umfasst:
Abgeben von Signalen zur Unterstützung der Ortung des zu verfolgenden Objekts (15, 21, 23, 31);
Anzeigen von Information zu der Position und/oder dem Fertigungszustand des zu verfolgenden Objekts (15, 21, 23, 31), insbesondere auf einem mobilen Ausgabegerät wie einem Tablett, Smartphone oder einem Überwachungsmonitor;
Einstellen von Betriebsparametern einer Werkzeugmaschine (7); Aktualisieren eines Protokolls, das die Fertigung, insbesondere Bearbeitungsschritte, protokolliert;
Zuordnen des zu verfolgenden Obj ekts (15, 21, 23, 31) zu einem Auftrag zur Fertigung eines oder mehrerer Endprodukte in mehreren unterschiedlichen Arbeitsschritten.
14. Verfahren nach einem der vorhergehenden Ansprüche, wobei, wenn das zu verfolgende Objekt (15, 21, 23, 31) ein Werkstück (23) ist, das Einbinden der bestimmten Position des zu verfolgenden Objekts (15, 21, 23, 31) in die Steuerung zur Fertigung eines Endprodukts ein Steuern und/oder Überwachen
- einer Bearbeitung des Werkstücks (23) in mehreren unterschiedlichen Arbeitsschritten, die an unterschiedlichen Orten, insbesondere aber innerhalb der Fertigungshalle, durchgeführt werden;
eines Transports des Werkstücks (23) zwischen unterschiedlichen Arbeitsschritten, die an unterschiedlichen Orten, insbesondere aber innerhalb der Fertigungshalle, durchgeführt werden;
einer Bearbeitung des Werkstücks (23) an Arbeitsplätzen, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind; und/oder
einer Bearbeitung des Werkstücks (23) an Arbeitsplätzen, die mit der Fertigungssteuerung nicht vernetzt oder in diese nicht integriert sind
umfasst.
15. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fertigungssteuerung durch eine Innenraum-Ortung unterstützt wird, mittels der folgenden Schritte:
Bereitstellen (Schritt 71) eines Innenraum-Ortungssystems mit mehreren fest in der Fertigungshalle installierten Sende-Empfangseinheiten, mindestens einer Mobileinheit (20) und einer Ortungsanalyseeinheit, wobei die Sende-Empfangseinheiten und die Mobileinheit (20) zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet ist und die Ortungsanalyseeinheit ausgebildet ist, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende-Empfangseinheiten und der Mobileinheit (20) die Positionen der Mobil- einheit (20) in der Fertigungshalle zu bestimmen,
Zuordnen (Schritt 73) der Mobileinheit (20) zu mindestens einem, insbesondere nachzuverfolgendem Objekt (15, 21, 23, 31), Bestimmen (Schritt 75) der Position des mindestens einen zugeordneten Objekts (15, 21, 23, 31) durch Lokalisierung der zugeordneten Mobileinheit (20) mit dem Innenraum- Ortungssystem und
Einbinden (Schritt 63) der bestimmten Position in den Zuordnungsvorgang, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird (Schritt 53), und/oder in die Fertigungssteuerung (Schritt 63) der Industriefertigungsanlage zur Fertigung des Endprodukts, insbesondere in die Bild-basierte Nachverfolgung.
16. Fertigungssteuerungssy stem (1) zur Steuerung von Fertigungsprozessen in einer Ferti- gungshalle, insbesondere einer metall- und/oder blechverarbeitenden Industriefertigungsanlage, mit
mehreren fest in der Fertigungshalle angeordneten Bildaufnahmevorrichtungen (13), wobei die Beobachtungsbereiche (17) mindestens zweier Bildaufnahmevorrichtungen (13) sich überlappen und/oder wobei die Beobachtungsbereiche (17) mindestens zweier Bildauf- nahmevorrichtungen (13) räumlich voneinander beabstandet sind, und
einer Analyseeinheit (11), die zum Bestimmen, Austausch und Bereitstellen von Daten zur Position von einem zu verfolgenden Objekt (15, 21, 23, 31) in der Fertigungshalle und zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist. 17. Fertigungssteuerungssystem (1) nach Anspruch 16, ferner mit
einer Anzeigeeinheit, die zum Anzeigen der Beobachtungsbereiche und/oder eine Position eines zu verfolgenden Objekt (15, 21, 23, 31) und/oder mindestens einer Mobileinheit (20) in einem Lageplan (25) der Fertigungshalle ausgebildet ist, und/oder
wobei mindestens eine der Bildaufnahmevorrichtungen (13) ortsfest installiert und/oder beweglich, insbesondere frei um eine Schwenkachse und/oder entlang einer Verschiebeachse beweglich, installiert und/oder von einer Drohne getragen wird, und/oder
wobei mindestens eine der Bildaufnahmevorrichtungen (13) im für den Menschen sichtbaren Bereich des Lichts und/oder im nichtsichtbaren Bereich wie im IR- oder UV- Bereich Bilder aufnimmt und optional zusätzlich eine eigenen Lichtquellen zur zusätzlichen Be- leuchtung aufweist.
18. Fertigungssteuerungssystem (1) nach einem der Ansprüche 16 oder 17, ferner mit einem Innenraum-Ortungssystem mit mehreren fest in der Fertigungshalle installierten Sende-Empfangseinheiten, mindestens einer Mobileinheit und einer Analyseeinheit, wobei die Sende-Empfangseinheiten und die Mobileinheit zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet ist und die Analyseeinheit ausgebildet ist, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende-Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit und somit die Position eines der Mobileinheit zugeordne- ten nachzuverfolgenden Objekts (15, 21, 23, 31) in der Fertigungshalle zu bestimmen.
19. Verfahren zur industriellen Fertigung eines Endprodukts mittels eines Fertigungssteue- rungssystems (1), mit den Schritten:
Entgegennehmen eines Fertigungsauftrags zur Fertigung des Endprodukts aus einem Werkstück (23) mit einem in einer Datenverarbeitungsvorrichtung implementierten MES (3) des Fertigungssteuerungssystems (1),
Auswählen einzelner Bearbeitungsschritte mit dem MES (3),
Bestimmen einer Reihenfolge der Bearbeitungsschritte mit dem MES (3), wobei die Bearbeitungsschritte einzelne oder mehrere der folgenden Vorgänge umfassen: Schneiden, insbesondere Laserschneiden, Stanzen, Biegen, Bohren, Gewindeschneiden, Schleifen, Zusammenfügen, Schweißen, Nieten, Schrauben, Pressen, Behandeln der Kanten und Oberflächen;
Datentechnisches Zuordnen der Bearbeitungsschritte zu einer Maschine (7) oder einer Arbeitsplatzeinheit (26),
- Datentechnisches Zuordnen des Fertigungsauftrags zu einem zu verfolgenden Objekt (15, 21, 23, 31) in dem MES (3),
Fertigen eines Werkstücks (23) für das Endprodukt, wobei es insbesondere zu einem Teil des Endprodukts nach einem ersten der Bearbeitungsschritte an der dem Bearbeitungsschritt zugewiesenen Maschine (7) oder Arbeitsplatzeinheit (26) bearbeitet wird,
- Optionales räumliches Zuordnen einer dem Fertigungsauftrag zugeordneten Mobileinheit (20) zu dem gefertigten Werkstück (23),
Speichern einer Statusänderung des Fertigungsauftrags im MES (3),
Transport des gefertigten Werkstücks (23), optional zusammen mit der Mobileinheit (20), gemäß dem Fertigungsauftrag zu der nächsten Maschine (7) oder Arbeitsplatzeinheit (26) in der vorbestimmten Reihenfolge,
Durchführen des Bearbeitungsschritts an dieser Maschine (7) oder Arbeitsplatzeinheit
(26),
Speichern einer Statusänderung des Fertigungsauftrags im MES (3) und
Durchführen der Bearbeitungsschritte des Fertigungsauftrags mit dem MES (3), wobei die Position des zu verfolgende Objekts (15, 21, 23, 31) durch das MES (3) gemäß dem Verfahren nach einem der Ansprüche 1 bis 15 bestimmbar ist und das MES (3) zu jeder Zeit über Daten zum aktuellen Status und zur aktuellen Position des zu verfolgenden Objekt (15, 21, 23, 31) verfügt.
PCT/EP2018/071161 2017-09-12 2018-08-03 Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen WO2019052742A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18752130.7A EP3682303A1 (de) 2017-09-12 2018-08-03 Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen
US16/815,456 US11460832B2 (en) 2017-09-12 2020-03-11 Object tracking-based control of manufacturing processes in the metalworking industry

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017121098.9 2017-09-12
DE102017121098.9A DE102017121098A1 (de) 2017-09-12 2017-09-12 Objektverfolgung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/815,456 Continuation US11460832B2 (en) 2017-09-12 2020-03-11 Object tracking-based control of manufacturing processes in the metalworking industry

Publications (1)

Publication Number Publication Date
WO2019052742A1 true WO2019052742A1 (de) 2019-03-21

Family

ID=63143133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/071161 WO2019052742A1 (de) 2017-09-12 2018-08-03 Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen

Country Status (4)

Country Link
US (1) US11460832B2 (de)
EP (1) EP3682303A1 (de)
DE (1) DE102017121098A1 (de)
WO (1) WO2019052742A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020212599A1 (en) 2019-04-19 2020-10-22 Bespoon Sas Ultra-wideband location systems and methods

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018127518A1 (de) * 2018-11-05 2020-05-07 Advanced Realtime Tracking Gmbh Vorrichtung und Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches mit einem Bearbeitungswerkzeug
DE102019112781B4 (de) 2019-05-15 2022-12-15 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum Koppeln von Koordinatensystemen und computergestütztes System
DE102019119989A1 (de) * 2019-07-24 2021-01-28 Aktien-Gesellschaft der Dillinger Hüttenwerke Vorrichtung und Verfahren zur Überwachung und/oder Steuerung eines industriellen Verfahrens zur Herstellung eines Stahlerzeugnisses
DE102019214853A1 (de) 2019-09-27 2021-04-01 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zur Zuordnung eines Markers eines Positionsbestimmungssystems zu einem Fertigungsauftrag mittels der Identifizierung eines Werkstücks sowie Vorrichtung zur Durchführung des Verfahrens
EP3825789A1 (de) * 2019-11-20 2021-05-26 Primetals Technologies Germany GmbH Fernsteuerung einer anlage zum herstellen und/oder behandeln eines walzguts aus metall
DE102019135755A1 (de) * 2019-12-23 2021-06-24 Airbus Operations Gmbh Unterstützungssystem für Montage und Wartung sowie Verfahren dafür
DE102021201799A1 (de) 2021-02-25 2022-08-25 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Optikbasierte Korrektur der Position einer Mobileinheit
DE102021112052A1 (de) 2021-05-07 2022-11-10 abaut GmbH System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung
DE102021130517B4 (de) * 2021-11-22 2024-05-23 Rittal Gmbh & Co. Kg Verfahren für die Herstellung einer elektrischen Schalt- oder Steuerungsanlage
EP4198662A1 (de) * 2021-12-16 2023-06-21 Maschinenfabrik Rieter AG Elektronische vorrichtung zur verfolgung von montageparametern transportierbarer textilanordnungen einer spinnerei und verfahren zur verfolgung davon
DE102022123924A1 (de) 2022-09-19 2024-03-21 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren und Vorrichtung zur intelligenten Sichtfeldwahl von Kameras an einer Werkzeugmaschine
CN117270484B (zh) * 2023-11-23 2024-02-02 山东焱鑫矿用材料加工有限公司 一种热轧细牙锚杆钢的生产设备管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19843602A1 (de) * 1997-11-13 1999-05-20 Werner Wolfrum Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich
US20110200245A1 (en) * 2010-02-17 2011-08-18 The Boeing Company Integration of manufacturing control functions using a multi-functional vision system
EP2380709A2 (de) * 2010-04-22 2011-10-26 Sick AG 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
DE102011011930A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren und System zur Bestimmung einer Anzahl von Übergangsobjekten
DE202016106352U1 (de) 2016-11-14 2016-12-08 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Datenübertragungssystem zur drahtlosen Übertragung von Daten von einer Werkzeugmaschine an ein kameraloses, mobiles Kommunikationsgerät
DE102016220015A1 (de) 2016-10-13 2018-04-19 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Handarbeitsplatzeinheit, Abseits-Datenverarbeitungsvorrichtung, Handarbeitsplatzbetreibungssystem, Handarbeitsplatzbetriebsverfahren und Handarbeitsplatzbereitstellungsverfahren
DE102016120131A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine
DE102017107357A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Absortierunterstützungsverfahren, Absortiersystem und Flachbettwerkzeugmaschine
DE102016120132A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014218096A1 (de) * 2014-09-10 2016-03-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Überwachung eines Fertigungs- und/oder Montageprozesses
DE102017120383A1 (de) 2017-09-05 2019-03-07 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Innenraum-personenortung-basierte fertigungssteuerung in der metallverarbeitenden industrie
DE102017120378A1 (de) 2017-09-05 2019-03-07 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Innenraum-ortung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
DE102017120382B3 (de) 2017-09-05 2018-10-18 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Bild-gestütztes zuordnen eines bearbeitungsplans zu einem mobileinheitsdatensatz einer mobileinheit eines innenraum-ortungssystems
DE102017120381A1 (de) 2017-09-05 2019-03-07 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Assistiertes zuordnen eines werkstücks zu einer mobileinheit eines innenraum-ortungssystems
DE102017120358A1 (de) 2017-09-05 2019-03-07 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19843602A1 (de) * 1997-11-13 1999-05-20 Werner Wolfrum Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich
US20110200245A1 (en) * 2010-02-17 2011-08-18 The Boeing Company Integration of manufacturing control functions using a multi-functional vision system
EP2380709A2 (de) * 2010-04-22 2011-10-26 Sick AG 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
DE102011011930A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren und System zur Bestimmung einer Anzahl von Übergangsobjekten
DE102016220015A1 (de) 2016-10-13 2018-04-19 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Handarbeitsplatzeinheit, Abseits-Datenverarbeitungsvorrichtung, Handarbeitsplatzbetreibungssystem, Handarbeitsplatzbetriebsverfahren und Handarbeitsplatzbereitstellungsverfahren
DE102016120131A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine
DE102017107357A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Absortierunterstützungsverfahren, Absortiersystem und Flachbettwerkzeugmaschine
DE102016120132A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken
DE202016106352U1 (de) 2016-11-14 2016-12-08 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Datenübertragungssystem zur drahtlosen Übertragung von Daten von einer Werkzeugmaschine an ein kameraloses, mobiles Kommunikationsgerät

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020212599A1 (en) 2019-04-19 2020-10-22 Bespoon Sas Ultra-wideband location systems and methods
WO2020212722A1 (en) 2019-04-19 2020-10-22 Bespoon Sas Ultra-wideband location systems and methods

Also Published As

Publication number Publication date
US11460832B2 (en) 2022-10-04
EP3682303A1 (de) 2020-07-22
US20200209836A1 (en) 2020-07-02
DE102017121098A1 (de) 2019-03-14

Similar Documents

Publication Publication Date Title
WO2019052742A1 (de) Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen
EP3529675B1 (de) Innenraum-personenortung-basierte fertigungssteuerung in der metallverarbeitenden industrie
DE102017120382B3 (de) Bild-gestütztes zuordnen eines bearbeitungsplans zu einem mobileinheitsdatensatz einer mobileinheit eines innenraum-ortungssystems
EP3529178B1 (de) Absortierunterstützungsverfahren, absortiersystem und flachbettwerkzeugmaschine
EP3529001B1 (de) Absortierunterstützungsverfahren und flachbettwerkzeugmaschine
DE102017120381A1 (de) Assistiertes zuordnen eines werkstücks zu einer mobileinheit eines innenraum-ortungssystems
DE102017120378A1 (de) Innenraum-ortung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
DE102017120383A1 (de) Innenraum-personenortung-basierte fertigungssteuerung in der metallverarbeitenden industrie
DE102017107357A1 (de) Absortierunterstützungsverfahren, Absortiersystem und Flachbettwerkzeugmaschine
WO2018073421A2 (de) Innenraum-ortung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
WO2019048149A1 (de) Produktionsanlage und produktionssteuerungsverfahren zur steuerung einer produktionsanlage
WO2019048260A1 (de) Innenraum-ortungssystem mit energieverbrauchsgesteuerten mobilen sende-empfangseinheiten
DE102018110145A1 (de) Innenraum-ortungssytem für die industrielle fertigung
DE102016206781A1 (de) Verfahren zur Steuerung einer Mehrzahl von mobilen fahrerlosen Manipulatorsystemen
DE102018110074B4 (de) Zuordnen einer mobilen ortungseinheit eines innenraum-ortungssystems zu einem bearbeitungsplan
DE102022104945A1 (de) Verfahren zur Nachverfolgung eines Gerätes, Gerät sowie Arbeitssystem
DE102018110150A1 (de) Innenraum-ortungssystem mit energieverbrauchsgesteuerten mobilen sende-empfangseinheiten
EP2703920B1 (de) Verfahren zum Einlernen der Steuerung einer Maschine
EP3058428B1 (de) Mobile anlagensteuerung
WO2022233410A1 (de) Verfahren und system zur ortsbestimmung von regalschienen-equipment
EP3839687A2 (de) Verfahren zum betreiben eines automatisierten flurförderzeugs sowie intralogistisches system und flurförderzeug zur durchführung des verfahrens
WO2023193932A1 (de) Positionsbestimmung-verfahren bzw. -system für eine positionsbestimmung von gegenständen
DE102015002095A1 (de) Bestell- und Verteilanordnung und Verfahren zu deren Betrieb
DE102015002097A1 (de) Bestell- und Verteilanordnung und Verfahren zu deren Betrieb

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18752130

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018752130

Country of ref document: EP

Effective date: 20200414