WO2020104103A1 - Überwachung eines laserarbeitungsprozesses mithilfe von tiefen faltenden neuronalen netzen - Google Patents

Überwachung eines laserarbeitungsprozesses mithilfe von tiefen faltenden neuronalen netzen

Info

Publication number
WO2020104103A1
WO2020104103A1 PCT/EP2019/077485 EP2019077485W WO2020104103A1 WO 2020104103 A1 WO2020104103 A1 WO 2020104103A1 EP 2019077485 W EP2019077485 W EP 2019077485W WO 2020104103 A1 WO2020104103 A1 WO 2020104103A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
laser
machining
tensor
laser processing
Prior art date
Application number
PCT/EP2019/077485
Other languages
English (en)
French (fr)
Inventor
Joachim Schwarz
Original Assignee
Precitec Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Precitec Gmbh & Co. Kg filed Critical Precitec Gmbh & Co. Kg
Priority to KR1020217018693A priority Critical patent/KR102611342B1/ko
Priority to EP19789615.2A priority patent/EP3883715A1/de
Priority to US17/295,904 priority patent/US12013670B2/en
Priority to CN201980089975.7A priority patent/CN113329836A/zh
Priority to JP2021528414A priority patent/JP2022509143A/ja
Publication of WO2020104103A1 publication Critical patent/WO2020104103A1/de
Priority to JP2024053110A priority patent/JP2024083389A/ja

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K1/00—Soldering, e.g. brazing, or unsoldering
    • B23K1/005—Soldering by means of radiant energy
    • B23K1/0056—Soldering by means of radiant energy soldering by means of beams, e.g. lasers, E.B.
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/36—Removing material
    • B23K26/38—Removing material by boring or cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Definitions

  • the present disclosure relates to a system for monitoring a laser machining process for machining a workpiece and a machining system for machining a workpiece using a laser beam, which system comprises such a system for monitoring a laser machining process for machining a workpiece. Furthermore, the present disclosure relates to a method for monitoring a laser machining process for machining a workpiece.
  • a processing system for processing a workpiece by means of a laser beam the laser beam emerging from a laser light source or an end of a laser guide fiber is focused or bundled onto the workpiece to be processed with the aid of beam guidance and focusing optics.
  • the processing can include laser cutting, soldering or welding, for example.
  • the laser processing system can comprise, for example, a laser processing head.
  • the in-process monitoring or monitoring of a laser processing process typically takes place in that certain signals or parameters of the laser processing process, such as temperature values, the plasma radiation, the laser power of the laser processing head, the amount and type of the backscattered laser power, etc., are recorded and assessed independently of one another will. For example, measured values of a signal or parameter are continuously measured or recorded over a certain period of time in order to obtain a signal corresponding to the parameter.
  • the geometry of the steam capillary (also called keyhole) and that of the steam capillary surround the melt pool by means of image processing and evaluation during the laser processing process. This is followed by processing and classification of the individual signals, for which a multitude of setting values for filter processes, median or average value calculations, envelopes, threshold values etc. must be set by an experienced specialist.
  • the signal is checked to determine whether the signal fulfills certain error criteria. For example, it is checked whether the signal falls below or exceeds predefined threshold values.
  • the individual signals are compared with predefined reference curves around which the so-called envelope curves have been placed.
  • Another criterion can be, for example, the integral of the signal over the envelope.
  • an error is output by the in-process monitoring. I.e. the in-process monitoring generates a notification that a processing error has occurred.
  • the classification of the signals and the monitoring of the keyhole and weld pool geometry thus describe the quality of the laser processing process. Based on the classification of the signal or parameter profiles and the monitoring of the keyhole and melting bath geometry, machining errors are recognized and classified, and depending on this, the machined workpiece is, for example, "good” (ie suitable for further processing or sales) or "bad” marked (ie as a committee) or classified.
  • the control parameters of the process can be influenced during the ongoing laser processing process by monitoring the signals or parameters or the geometry of the keyhole and weld pool geometry. The laser processing process can thus be controlled.
  • both the signal processing and the classification of the signals take place separately for each signal or parameter, ie independently of the other signals or parameters.
  • the definition of the parameters for both the signal work as well as for the classification of the signals, for example the formation of the envelope curves, etc., and the image processing must therefore be carried out by specialists.
  • the laser processing system is therefore only monitored on the basis of individual signal or parameter profiles and the monitoring of the keyhole and weld pool geometry. Monitoring taking into account all signals or parameters of the laser processing process and with simultaneous inclusion of the keyhole and weld pool geometry is therefore not carried out.
  • 3A shows an exemplary signal which represents the plasma radiation of a laser machining process, for example a welding process, and the signal of a temperature of the laser machining process within the respective envelopes. Both signals lie within the envelope so that the weld is classified as correct, since the integral of the signal over the envelope is less than a defined threshold.
  • Fig. 3B picture the signals are clearly above the respective envelopes. If the threshold value for the integral over the envelope curve is parameterized accordingly, the signal is classified as faulty and a processing error is determined.
  • 3C shows courses of three different signals. Each waveform in itself is classified as proper. In fact, there is a faulty weld. To recognize these, the courses of several signals would have to be used and, if necessary, assessed by a specialist.
  • the invention is based on the idea that the determination of the machining result of the laser machining process, in particular the detection of machining errors and the determination or characterization of the machining area, is carried out using a deep neural network which uses current sensor data, control data and / or image data as input data Laser processing process, preferably as raw data.
  • a system for monitoring a laser machining process for machining a workpiece comprises: an arithmetic unit which is set up to determine input tensor based on current data of the laser processing process and to determine an output tensor based on these tensor using a transfer function which contains information about a current processing result, the transfer function between the input tensor and the output tensor is formed by a trained neural network.
  • the machining result can include information about a machining field and / or a machining area of the workpiece.
  • the system is able to independently and directly determine the processing result of the laser processing process. For example, it can be determined whether there is a machining error in a workpiece machined by the laser machining system. In addition, it can be determined whether a machining area of the workpiece has predetermined features or a predetermined geometry, for example whether a keyhole has been formed or what extent a weld pool has. Based on this, parameters of the laser processing process can be set in order to avoid further errors.
  • the system for monitoring can thus be used to control a laser processing process or a laser processing system.
  • the use of a neural network which forms the transfer function, has the advantage that the system can independently recognize whether and which processing errors are present. Accordingly, it is no longer necessary for the acquired sensor data to be preprocessed in order to be accessible for error detection. Furthermore, it is not necessary to define error criteria that characterize the processing quality or indicate any processing errors. It is also not necessary to specify or adapt a parameterization of the error criteria. This simplifies the monitoring of a laser processing process. The steps mentioned do not have to be carried out or accompanied by experts in laser processing.
  • the system for monitoring a laser machining process in accordance with the aspects disclosed herein performs the detection of machining errors and the determination of the keyhole and weld pool geometry independently, i.e. automated, through and can be easily customized.
  • the system can therefore contain information about a current processing result of the current processing area, for example about a condition of the processing area itself, for example an expansion of the processing area, the presence of a so-called keyhole or a steam capillary, the existence of the existence of a weld pool, a position and / or depth of the keyhole within the weld pool, an extent or a shape of the weld pool, etc.
  • the system may also be able to recognize a processing error and indicate its type.
  • the output tensor can contain, for example, at least one of the following information: presence of at least one machining error, the type of machining error, probability of a machining error of a specific type, position of the machining error on a surface of a machined workpiece.
  • the type of machining error can be at least one of the following: pore, hole, missing weld through of the workpiece, wrong friend, splash or gap.
  • the computing unit can therefore be set up to determine the output tensor for the current processing area of the laser processing process while the laser processing process is still being carried out.
  • the laser processing process can be monitored in real time through the direct determination of the machining result.
  • the computing unit can be set up to form the output tensor in real time and to output control data to a laser processing system performing the laser processing process.
  • the output tensor can contain the information as to whether machining a workpiece is good or bad. Based on this information, the laser machining process can be controlled accordingly, for example by adapting process parameters. For example, a laser power can be increased or reduced, the focus position of the laser can be changed, or a distance between the processing head of a laser processing system and the workpiece can be changed.
  • the transfer function between the input tensor and the output tensor is formed by a trained or trained neural network.
  • the computing unit can comprise a neural network.
  • the neural network can have been trained by error feedback or back propagation.
  • the neural network can be a learned deep neural network, for example a learned deep folding neural network or convolution network.
  • the convolutions network can have between 10 and 40 convolutions, preferably 34 convolutions.
  • the convolutions network can have at least one so-called "fully connected" layer.
  • the neural network can be set up for transfer leaming.
  • the neural network can be adaptable to changed requirements of a changed laser processing process.
  • the computing unit can in particular be set up to adapt the neural network to a changed laser processing process by means of transfer leaming, for example based on training data.
  • the training data can include test data of the changed laser processing process for determining a corresponding input tensor and a predetermined output tensor which is assigned to the test data and which contains information about a corresponding, previously determined processing result of the changed laser processing process.
  • the processing result can contain information about e.g. machining errors identified by an expert.
  • the training data can comprise several sets of such test data and associated output sensors.
  • the test data can be based on values of a sensor parameter that were detected by at least one sensor unit during a previous laser machining process and / or on values of a control parameter that were used during a previous laser machining process.
  • the neural network that forms the transfer function can be adapted to a changed situation or a changed laser processing process.
  • the transfer function is modified for this.
  • the changed situation can consist, for example, that the workpieces to be machined have different materials, different degrees of contamination and / or thicknesses, or that the parameters of the laser machining change.
  • a training data set used for training or liming the neural network or a reduced training data set can be supplemented with new examples.
  • the input tensor can include or consist of current data from the laser processing process as raw data. Accordingly, the current data need not be processed before the input tensor is formed. A data processing step upstream of the formation of the input tensor can thus be omitted.
  • the neural network therefore determines the output tensor directly on the basis of the raw data.
  • the computing unit can be set up to collect a large number of current data of the processing process, which correspond to the same current time, in the input tensor and to map them together to the output tensor by means of the transfer function.
  • the simultaneous processing of all relevant current data of the laser processing process enables the processing result to be determined more reliably and more quickly. This enables the laser processing process to be monitored more reliably and more precisely.
  • the input tensor can include current data of the laser processing process, which include acquired sensor data and / or control data, which for example comprise 512 samples, each sample being assigned to a point in time.
  • the sensor data and control data are also referred to below as process data.
  • the input tensor is formed from the current data by placing a window over 512 samples every 256 samples. This ensures that the samples overlap between two input tensor formed in time.
  • An image can be recorded for each sample, which can be assigned to the respective sample of the sensor data and / or control data via the time of the recording.
  • Each input tensor can accordingly contain data such as sensor data, image data and / or control data of the processing process, which correspond to the respective point in time. I.e.
  • the input tensor generated in this way can include the last n recorded sensor data and / or the last n recorded image data and / or the last n used control data for a given point in time during the execution of the laser processing process.
  • n 1.
  • n 512 and a first input tensor comprises current sensor and / or control data, in other words current process data, and a second input tensor comprises current image data.
  • the first input tensor comprises the last 512 samples or values of the respective sensor data, control data and / or image data.
  • a data record of dimension mx 512 will be generated every 5.12 ms.
  • m stands for the number of m different types of data, which comprise the (recorded) sensor data and the (received or used) control data.
  • the first input tensor of dimension mx 512 is formed from these data records every 2.56 ms.
  • a second input tensor of the image data is generated. For example, an image with 512 x 512 pixels corresponding to an input tensor of the current process data is acquired. Accordingly, in this case the correspondingly generated input tensor of the image data has the dimension 512 512.
  • the current sensor data can include one or more temperatures, a plasma radiation, intensities of reflected or backscattered laser light at different wavelengths, a keyhole depth and / or a distance from a laser processing head executing the laser processing process to the workpiece.
  • the control data can include an output power of a laser on the laser processing head, a focus position, a focus diameter, a position of the laser processing head, a processing speed and / or a path signal.
  • the image data can include an image of a surface of the workpiece, for example an image of a machining area of the workpiece.
  • the processing area can include a weld pool and / or a keyhole.
  • the path signal can be a control signal of a laser processing system which carries out the laser processing process and which controls a movement of a laser processing head relative to the workpiece.
  • a machining error that has occurred for example, can be quickly and easily localized on the workpiece, since it is known at what point in time which area of the workpiece is or has been machined by the laser machining system.
  • the system can thus be able to indicate the point in time during the laser processing process at which an error occurred.
  • the system can only calculate the point in time based on the known processing speed, a known point in time as a defined starting point and the time assignment of the input tensor. The temporal assignment of the input tensor results from the generation rate of the input tensor and a number of input tensor generated since the starting point.
  • the system can further comprise at least one sensor unit for acquiring current sensor data of the laser processing process during the laser processing process.
  • the sensor data that are encompassed by the sensor unit thus represent values of a parameter detected or measured by the sensor unit, for example a physical parameter such as a temperature.
  • the at least one sensor unit can comprise a temperature sensor, a light sensor or a plasma sensor.
  • the sensor unit can also convert a distance sensor, for example a triangulation system and / or an OCT (“optical coherence tomography” or “optical coherence tomography”) system. grasp.
  • a distance to a surface of the workpiece can be determined by means of the distance sensor, for example a distance between the one laser processing head of the laser processing system and the workpiece surface.
  • the system can further comprise at least one image capture unit for capturing current image data of a machining area of the workpiece during the laser machining process.
  • the image acquisition unit can comprise a camera or a camera system, in particular a 2D and / or a 3D camera system, preferably with incident light LED lighting.
  • the image acquisition unit can comprise a stereo camera system.
  • the image data preferably correspond to a two-dimensional image or a two-dimensional image of a section of a workpiece surface which comprises the processing area of the laser processing process.
  • the processing area can include a so-called melt pool and keyhole. In other words, the image data can include an image of the weld pool and the keyhole.
  • the acquisition rates of the image acquisition unit and the sensor unit can be the same.
  • the data of the image acquisition unit and the sensor unit can be correlated per predetermined period of time.
  • the image acquisition unit and the sensor unit can always acquire the respective data at the same times.
  • the image acquisition unit can record an image of the workpiece at those times at which a temperature sensor takes a temperature measurement.
  • the current data of the laser processing process can include current sensor data and / or current image data and / or current control data of the laser processing process.
  • the sensor data and control data are also called process data below.
  • the sensor data represent values of at least one parameter detected or measured by a sensor unit.
  • the control data represent values of at least one control parameter of the laser processing process or laser processing system.
  • the computing unit preferably has at least one interface which is set up to receive this current data.
  • the at least one interface can, for example, be set up to receive training data for training or adapting the neural network, control data of a laser processing system and / or sensor data of a sensor unit and / or image data from an image acquisition unit.
  • the system can therefore be set up to obtain values from at least one control parameter, for example via an interface, from a controller of a laser processing system which carries out the laser processing process.
  • the network architecture for classifying the sensor data is different from the network architecture for classifying the image data.
  • the respective neural networks which classify process data and image data, are interconnected after the last or penultimate hidden layer.
  • the last hidden layer of the respective network is the representation of the characteristics of the input tensor of the image and process data. The classification of these related characteristics takes place in the following fully connected layers.
  • This procedure has the advantage that only a few shifts need to be trained when training the entire network, and when used, restricted to process data only, the network that was trained for the process data can be used again.
  • the networks for image and process data are trained separately. The networks have thus learned to map the input tensor consisting of the image data and the input tensor consisting of the process data on feature vectors.
  • the input tensor (s) may contain current data for x past times during an execution of the laser machining process, where x is a natural number, and for each of the x times the input tensor may contain image data corresponding to this time, and sensor or control data, i.e. Process data.
  • the times x can be spaced equally far apart, for example 256 ms or 512 or 1024 ms.
  • the input tensor (s) can be mapped from the transmission function to the output tensor, i.e. Image data and control or sensor data are processed by a common transfer function.
  • two branches of the network are run through and the features of the respective input tensor are connected in one layer.
  • One branch of the network has the image data as the input tensor, the other branch of the network has the process data. This procedure is called a “feature level fusion”. Both networks can be easily decoupled again and used individually. Because the combination of image and process data in a tensor can not be useful in some situations.
  • a laser machining system for machining a workpiece by means of a laser beam
  • the machining system comprising a laser machining head for irradiating a laser beam onto a workpiece to be machined and a system for detecting a machining error in accordance with one of the aspects described herein.
  • the acquisition entry is preferably arranged on the laser processing head.
  • a method for monitoring a laser machining process for machining a workpiece comprising the following steps: determining one or more input tensor based on current data of the laser machining process and determining an output tensor based on the one or more Input tensor by means of a transfer function, the output tensor containing information about a current processing result, the transfer function between the input tensor and the output tensor being formed by a trained neural network.
  • FIG. 1 shows a schematic illustration of a laser machining system for machining a workpiece by means of a laser beam and a system for monitoring a laser machining process according to one embodiment
  • FIG. 2 shows a block diagram of a system for monitoring a laser machining process according to one embodiment
  • 3A, 3B and 3C show representations of exemplary courses of sensor values
  • Fig. 5 shows a block diagram of a deep folding neural network according to an embodiment
  • 6 shows a block diagram of a deeply folding neural network for classifying process data according to an embodiment
  • FIG. 7 shows a block diagram of a deep folding neural network for classification of image data according to an embodiment
  • FIG. 8 shows a block diagram of a deeply folding neural network for classifying image and process data according to one embodiment.
  • FIG. 9 shows a method for monitoring a laser machining process for machining a workpiece according to one embodiment.
  • FIG. 1 shows a schematic illustration of a laser machining system 100 for machining a workpiece by means of a laser beam according to embodiments of the present disclosure.
  • the laser processing system 100 is configured to perform a laser processing process in accordance with embodiments of the present disclosure.
  • the laser processing system 100 comprises a laser processing head 101, in particular a laser cutting, laser soldering or laser welding head, and a system 300 for detecting processing errors.
  • the laser processing system 100 comprises a laser device 110 for providing a laser beam 10 (also referred to as a “processing beam” or “processing laser beam”).
  • the laser processing system 100 or parts thereof, such as the processing head 101, can be movable along a processing direction 20 according to embodiments.
  • the machining direction 20 can be a cutting, soldering or welding direction and / or a direction of movement of the laser machining system 100, such as the machining head 101, with respect to the workpiece 1.
  • the processing direction 20 can be a horizontal direction.
  • the machining direction 20 can also be referred to as the “feed direction”.
  • the laser processing system 100 is controlled by a control unit 140, which is set up to control the processing head 101 and / or the laser device 110.
  • the system 300 for monitoring a laser processing process comprises a computing unit 320.
  • the computing unit 320 is set up to determine an input tensor based on current data of the laser processing process and to determine an output tensor based on the input tensor by means of a transfer function which contains information about a current processing result of the Contains laser processing process.
  • the output tensor can be the result of one or more arithmetic operations and contain information as to whether and which errors occurred during the processing of the workpiece 1 by the laser processing system 100. Furthermore, the output tensor can contain information about the type, position and size of the defect (s) on the workpiece surface 2.
  • the output tensor can also include information about a machining area of the workpiece 1, for example a size, shape or extent of a keyhole and / or a molten pool.
  • the computing unit 320 is combined with the control unit 140 (not shown). In other words, the functionality of the computing unit 320 can be combined with that of the control unit 140 in a common processing unit.
  • the system 300 further comprises at least one sensor unit 330 and one image acquisition unit 310.
  • the at least one sensor unit 330 is set up to detect the value of a parameter of a laser machining process that is carried out by the laser machining system 100, to generate sensor data from the detected values and to transmit these to the computing unit 320.
  • the acquisition can take place continuously or in real time.
  • the sensor unit 330 can be set up to acquire values from a plurality of parameters and to forward these to the computing unit 320. The values can be recorded at the same time.
  • the image capture unit 310 is designed to capture image data of a machined surface 2 of the workpiece 1 and / or a machining area of the laser machining process.
  • the machining area can be defined as an area of the workpiece surface at which the laser beam 10 strikes the workpiece surface at a current time and the material of the workpiece surface has melted and / or where a puncture or puncture hole is present in the material.
  • the machining area can in particular be defined as an area of the workpiece surface in which a weld pool and / or a keyhole is formed.
  • the image acquisition unit 310 is arranged on the processing head 101.
  • the image acquisition unit 310 can be arranged subsequently on the processing head 101 with reference to the processing direction 20.
  • the image acquisition unit 310 can also be arranged coaxially with a laser beam 10 and / or a measurement beam 13 described later.
  • the computing unit 320 is set up to receive the image data acquired by the image acquisition unit 310 and the sensor data acquired by the sensor unit 330 and to form the input tensor on the basis of the current image data and the current sensor data.
  • the laser processing system 100 or the system 300 comprises a measuring device 120 for measuring a distance between an end section of the processing head 101 and a workpiece 1 to be processed.
  • the measuring device can comprise an optical coherence tomograph, in particular an optical short-coherence tomograph.
  • the laser device 110 can have a collimator lens 112 for collimating the laser beam 10.
  • the coherence tomograph can have collimator optics 122 that are set up to collimate an optical measurement beam 13 and focusing optics 124 that are set up to focus the optical measurement beam 13 onto the workpiece 1.
  • FIG. 2 shows a block diagram of the system 300 for monitoring a laser machining process according to one embodiment.
  • the system 300 comprises the computing unit 320, at least one sensor unit 330 and an image capturing unit 310.
  • the computing unit 320 is connected to the sensor unit 330 and the image capturing unit 310, so that the computing unit 320 the image data captured by the image capturing unit 310 and the sensor data captured by the sensor unit 320 can receive.
  • computing unit 320 contains a processor for determining the output tensor.
  • the transfer function is typically stored in a memory (not shown) of the computing unit 320 or as a circuit, for example as FPGA, realized.
  • the memory can be designed to store further data, for example the determined output tensor.
  • the computing unit 320 can comprise an input / output unit 322, which in particular can have a graphical user interface for interaction with a user.
  • the computing unit 320 can have a data interface 321, via which the computing unit transfers the output tensor to an external location, e.g. another computing unit, computer, PC, an external storage unit, such as a database, memory card or hard drive.
  • Computing unit 320 may further include a communication interface (not shown) with which the computing unit can communicate with a network.
  • the computing unit 320 can graphically display the output tensor on the output unit 322.
  • the computing unit 320 can be connected to a control unit 140 of a laser processing system 100 in order to transmit the output tensor to the control unit 140.
  • the computing unit 320 can also be set up to receive control data from the control unit 140 of the laser processing system 100 via the interface 321 and also to include the control data in the input tensor.
  • the control data can include, for example, the output power of the laser device 110, the distance of the machining head 101 from the surface of the workpiece 1, the feed direction and speed, in each case at a given time.
  • Computing unit 320 forms one or more input tensor for a transfer function from the current data. According to the one or more input tensors are formed from current raw data. I.e. A preceding processing of the current data by the computing unit 320, the sensor unit 330 or the image acquisition unit 310 does not take place.
  • the transfer function is through a learned, i.e. pre-trained neural network.
  • the computing unit contains the deep folding neural network.
  • the output tensor is formed by applying the transfer function to the one or more input tensor. Based on the transfer function, the output tensor is thus determined from the one or more input tensor.
  • the output tensor contains information or data about a current processing result of the laser processing process.
  • the processing result can be, for example, processing errors that have occurred and / or the information about a processing area of the workpiece.
  • This information about a current machining error can include: whether there is at least one machining error, the type of at least one machining error, the position of the machining error on the surface of the machined workpiece 1 and / or the size or extent of the machining error.
  • the information about the processing area can be: location and / or size of the keyhole, location and / or size and / or geometry of the weld pool.
  • the output tensor can also contain the probability with which a processing error of a certain type has occurred, or with what certainty the system has recognized a processing error of a specific type.
  • Image acquisition unit 310 may be a camera system or a stereo camera system, e.g. with incident light include led lighting.
  • the image data correspond to a two-dimensional image of a section of the workpiece surface.
  • the captured or recorded image data represent a two-dimensional image of the workpiece surface, as shown by way of example in FIG. 4 and described in detail below.
  • the computing unit 320 can be configured to graphically display the input tensor and / or the output tensor on the output unit 322.
  • the computing unit 320 can graphically display the sensor data and / or image data contained in the input tensor, as curve profiles, as shown in FIGS. 3A to 3C, or as two-dimensional images of that of the workpiece 1, as shown in FIG Overlay the information contained in the output tensor.
  • 4 shows a representation of image data according to an embodiment. 4 shows an exemplary image of the weld pool and the keyhole at 850 nm with superimposed geometry data.
  • the cross 2a shows the center of the keyhole
  • the cross 2b shows the center of the melt pool
  • the line 2c shows the outline of the melt pool
  • the line 2d shows the outline of the keyhole as determined by the computing unit 320 as information Initial tensor are included.
  • the bordering rectangle 2e (“bounding box”) shows the calculated size of the weld pool.
  • the information that the processing result of a laser processing process is classified as “bad” in the output tensor, for example.
  • the system 300 for monitoring the laser machining process can issue an error.
  • 2e target specifications or reference values would have to be specified or stored for the size of the bordered rectangle.
  • a two-stage morphological operation is carried out for the calculation (“blob analysis”).
  • the parameters required for this, such as the binary thresholds, must be specified by experts in conventional systems. Changes to the welding process with this procedure require changes to the parameters by experienced experts.
  • FIG. 5 shows a block diagram of a deep folding neural network 400 according to a first embodiment.
  • the input tensor 405, 415 contain various types or types of sensor data, control data and image data of the laser processing system.
  • the input tensor 405 for the image data has the dimensions “image height in pixels” x “image width in pixels” and the input tensor 415 for the sensor and / or control data has the dimension “number of types of sensor and / or control data” x “number Samples ”.
  • the image data thus form the input tensor 405 for the “branch” of the neural network 400, which reduces the image data to the significant features.
  • the sensor data form the input tensor 415 for the branch of the neural network 400, which calculates the significant features from the sensor data.
  • the sensor data can be, for example, temperatures measured by one or more temperature sensors, a plasma radiation measured by a corresponding sensor, an intensity of laser light reflected or reflected by a workpiece surface, a wavelength of reflected or backscattered laser light, or a measured by a distance sensor Distance between a laser processing head and the workpiece.
  • the control data may be control signals generated by a controller to cause a laser processing system to perform the laser processing process.
  • the control data can be a focus position and a focus diameter of a laser beam or a path signal, the path signal representing a position signal which specifies the relative position of a laser processing head of the laser processing system relative to the workpiece.
  • the sensor data and / or control data directly form the input tensor 415 of the deep falling neural network.
  • the image data directly form the input tensor 405 of the deep folding neural network. This means that a so-called “end-to-end” mapping or analysis takes place between the input tensor 405 415 and the output tensor. Since image data and process data are combined in one network in this deeply folding neural network, one speaks of a so-called “feature level fusion”.
  • the computing unit can be set up to summarize a set of the sensor data, control data and / or image data corresponding to the respective time in the respective input tensor 405, 415 for each of the times n and to map them as a whole onto the output tensor by means of the transfer function 420.
  • the acquisition rates of the image acquisition unit for acquiring the image data and the sensor unit for acquiring the sensor data can be the same, and the image acquisition unit and the sensor unit carry out the acquisition at the same times in each case.
  • the output tensor 430 and accordingly the output layer has a dimension corresponding to the information contained.
  • the output tensor 430 contains, for example, at least one of the following information: presence of at least one machining error, type of machining error, position of the machining error on a surface of a machined workpiece, probability of a machining error of a specific type, spatial and / or areal extent of the machining error on the surface of the machined workpiece, location and / or size of the keyhole, location and / or size and / or geometry of the weld pool.
  • the output tensor 430 can be forwarded to a control unit of the respective laser processing process (not shown).
  • the control unit can use the information contained in the output tensor 430 to adapt the laser machining process, for example by adapting various parameters of the laser machining process.
  • FIG. 6 shows a block diagram of a deeply folding neural network 600 according to a further embodiment, which is suitable for mapping an input tensor, which comprises current sensor and / or control data, onto an output tensor.
  • the input tensor 630 contains 512 measurement values or samples of 4 different types of sensor data and / or control data, i.e. Process data, the laser processing system.
  • the sensor data and control data directly form the input tensor 630 of the deep folding neural network. I.e. a so-called “end-to-end” mapping or analysis takes place between the input tensor 630 and the output tensor 640.
  • the input layer or input tensor 630 therefore has the dimension 4 ⁇ 512.
  • the transfer function which is formed by the deep neural network, is intended to contain information about a current processing error, that is to say a processing error that occurred at a time when the samples were recorded.
  • the output tensor 640 should, for example, contain the information “error yes / no”, the existence or probability of error “hole”, the presence or probability of error “splash”, the presence or probability of error “gap”, the presence of or Incorrect probability of "wrong friend / lack of penetration” error included.
  • the output tensor 640 or the output layer thus has the dimension 1 ⁇ 5.
  • the deep folding neural network 600 maps an input tensor 630 of dimension 4 x 512 onto the output tensor 640 of dimension 1 x 5: R 2048 - »-R 5 .
  • the deep folding neural network 600 (“Deep Convolutional Neural Net”), hereinafter abbreviated to “CNN”, can comprise a plurality of folding layers 610 which carry out folding with a plurality of cores. Furthermore, the CNN 600 can have a “fully connected” layer or block 620 and / or a “leaky ReLu” block or layer 650. As shown in FIG. 6, the CNN comprises, for example, 21 folding layers, at least some folding layers comprising a normalization (“batch normalization”) and residual blocks.
  • FIG. 7 shows a block diagram of a deeply folding neural network 700 according to an embodiment, which is suitable for mapping an input tensor, which comprises current image data, onto an output tensor.
  • the input tensor 730 comprises an image of the workpiece, for example the machining area of the workpiece, with the size 512 ⁇ 512 pixels. I.e. the input layer 730 has the dimension 512 x 512.
  • the input tensor 730 contains the acquired raw data of the image data. This raw image data directly forms the input tensor of the deep folding neural network. I.e. So-called “end-to-end” mapping or analysis takes place between the input tensor 730 and the output tensor 740. No characteristics of the keyhole or the melt pool are therefore calculated or parameterized in an intermediate step.
  • the transfer function is intended to provide information about whether the keyhole is present and / or information about the position of a center of gravity or center of the keyhole, about a rectangle surrounding the keyhole and / or about a rectangle surrounding the weld pool.
  • the output tensor 740 thus contains the values "Pkeyhole” (keyhole present / not available), "XKeyhole” (position of the center of gravity or center of the keyhole in the x direction), “YKeyhole” (position of the center of gravity or center of the keyhole in the Y direction), “dXKeyhole” (size of the keyhole in the x direction), “dYKeyhole” (size of the keyhole in the Y direction), “Xchmelzbad” (position of the center of gravity or center of the melt pool in the x direction) , "Y melt pool” (position of the center of gravity or center of the melt pool in the y direction), “dX melt pool” (size of the melt pool in the x direction), and “dY melt pool” (size of the melt pool in the y direction).
  • the output tensor 740 or the output layer thus comprises 9 values and thus has the dimension 1 x 9. Accordingly, according to the embodiment shown in FIG. 7, the neural network 700 maps the input tensor 730 of the dimension 512x512 onto the output tensor 740 of the dimension 1x9: R 262 144 ⁇ R 9 .
  • the CNN comprises, for example, 34 folding layers 710, at least some folding layers comprising a normalization (“batch normlization”) and so-called residual blocks.
  • the convolution network also has two so-called “fully connected” layers 720.
  • the neural network 700 is serialized in the last layer 750 and mapped onto the output tensor 740 by means of a sigmoidal activation function.
  • the normalization usually includes the mean value and the standard deviation via a "mini batch”. The impact of this is regulation.
  • these parameters are used as hyperparameters in a trained deep folding neural network: “Batch Normalization”, “Accelarating Deep Network Training by Reducing Internal Covariate Shift” (according to Sergey Ioffe, Christian Szegedy).
  • a “convolution 32 3x3” block stands for a convolution block or a convolution layer with 32 different 3x3 convolution filter masks. I.e. the "Convolution 32 3x3” block creates a tensor m x n x 32 from an input tensor 730 of dimension m x n x c, m stands for the height, n for the width, c for the number of channels.
  • the specification “/ 2” in a convolution block in FIG. 7 describes a “stride” of 2. That is, the filter core is shifted by 2 pixels, so that the dimension is reduced by half.
  • the information about the blocks, eg "512 x 512" each describe the dimension mxn of the tensor without the number of channels.
  • the indication “residual block” indicates that the result of an output layer (1 + 2) is added to the output of a previous layer (1) before the value is passed on via the activation function.
  • FIG. 8 shows a deep folding neural network for the classification of image data and process data.
  • the neural network 800 in each case comprises a neural network 845, 855 according to the embodiments of FIGS. 6 and 7.
  • the neural network 800 is created by chaining or coupling or hanging at least one fully connected layer 830 "Fully Connected Layer") and optionally further fully connected layers 820 with so-called "Leaky ReLu" activation function.
  • the last fully connected layer 830 can be mapped onto the output tensor 840 by means of a sigmoidal activation function.
  • the two input tensor 805, 815 of the respective neural networks 845, 855 are mapped onto the output tensor 840, the output tensor 840 having the following components: P (error), P (hole), P (splash), P (gap), P (wrong friend), "x_keyhole”, “y_keyhole”, “dx_keyhole”, “dy_keyhole”, “x_schmelzbad”, “y_schmelzbad”, “dx_schmelzbad” and “dy_schmelzbad”.
  • P stands for the probability of a processing error of a certain type.
  • the output tensor 840 of the neural network 800 therefore has the dimension 1 ⁇ 13.
  • the neural network used in the embodiments of FIGS. 5 to 8 is a trained deep green folding neural network.
  • the CNN used examples before delivery of the system to detect machining errors to learn which is a "good” and which is a "bad” machined workpiece surface, or which is a "good” and a “bad” weld or solder or weld or solder seam.
  • the CNN has learned to classify a machined workpiece surface as "good” or "bad”, or it has learned to identify machining errors, to localize them, classify them according to their type and determine their size.
  • the system should reliably determine whether the machined workpiece surface has machining errors or which geometric properties the machining area has. It can preferably identify which defects are present (e.g. a pore, a hole, ejection, splashes, adhesion or a lack of weld-through or "wrong friend"), and can possibly also locate the machining error and indicate its size on the workpiece surface.
  • the CNN is provided with input data sets and corresponding output tensor.
  • the default NEN input data records contain, for example, sensor, image and / or control data of the laser processing process as described above.
  • a corresponding predefined output tensor or result tensor is assigned to each predefined input data record. This output tensor contains the desired result of the CNN for the respective laser processing process for the respective input data record.
  • the corresponding predefined output tensor contains information about the classification of the machining errors present on the section of the machined workpiece surface and / or about the geometric features of the machining area.
  • This assignment of an output tensor to each specified input data record is done manually (so-called "labeling" of the recorded sensor, image and control data). I.e. There is a predetermined assignment of the sensor, image and control data to the result of the transfer function.
  • the output tensor indicates whether a machining error has occurred in a laser machining process on which the input data record is based, what type of error is present, at which location on the machined workpiece surface, for example using a two-dimensional coordinate system with x- and y- Coordinates, the machining error is present, and the size of the machining error in the x- and y-direction, whether a keyhole and / or a weld pool is present, where the keyhole and / or the weld pool are located in relation to one another or to a current machining point, and what area and / or which semiaxes have the keyhole and / or the melt pool, etc.
  • the transfer functions formed by the CNN are then determined by means of optimization methods and stored in the system 300, preferably in the memory of the computing unit 320.
  • the optimization process is carried out, for example, with the "back propagation" process with an Adam optimization.
  • the CNN provides the assignment of the input data record to the processing result.
  • these parameters are used as hyperparameters in the trained network: “batch normalization”, “accelerating deep network training by reducing internal covariate shift” (according to Sergey Ioffe, Christian Szegedy).
  • the taught deep folding neural network is configured so that it can be adapted to a changed situation or a changed laser processing process by means of so-called transfer leaming.
  • the basic training of the network is carried out in advance before the system is put into operation. If the machining process changes after commissioning, only so-called transfer leaming is carried out.
  • the changed situation can be, for example, that the workpieces to be machined change, for example when the material changes.
  • the thickness of the workpiece surface or the material composition can also change slightly.
  • other process parameters can be used to machine the workpiece. This can result in other processing errors. For example, the probability of different types of machining errors can change or the machining errors can be designed differently. This means that the neural network must be adapted to the changed situation and the processing errors that have changed as a result.
  • Transfer leaming is similar to the initial lighting of the neural network. Typically, however, only a few specific folding layers of the deep folding neural network are adapted in transfer leaming, in particular the last two to three folding layers. The number of parameters of the neural network that are changed is considerably less than when training or angling the neural network. This enables the customer's transfer leaming to be completed quickly, typically in less than an hour. I.e. With transfer leaming, the entire neural network is not re-trained or taught.
  • the system 300 can receive the training data required for transfer leaming via the interface 321.
  • the training data can include test data records of the changed laser processing process, from which the computing unit forms a corresponding input tensor during transfer leaming.
  • the training data comprise a predetermined output tensor which is assigned to the respective test data record and which contains information about a corresponding processing result of the modified laser processing process, previously determined by an expert.
  • test data sets contain sensor data that were recorded when a processing error occurred during a previous laser processing process, and the associated output tensor contains information about the error, for example the type of error, the position and the extent of the machining error on the workpiece.
  • the first step 910 includes determining an input tensor based on current data from the laser machining process.
  • a second step 920 an output tensor is determined based on the input tensor using a transfer function, the output tensor containing information about a current processing result.
  • the transfer function is predefined and formed by a learned neural network.
  • the method for monitoring a laser machining process can be carried out while the workpiece is being machined. According to one embodiment, the method is run through once for the entire machined workpiece surface.
  • the use of a neural network which forms the transfer function, has the advantage that the system can independently recognize whether and which processing errors are present. Accordingly, it is no longer necessary for the received current data, such as the image or sensor data, to be preprocessed in order to be accessible for error detection. Furthermore, it is not necessary to extract features from the recorded data that characterize the processing quality or any processing errors. In addition, it is not necessary to decide which extracted features are necessary or relevant for the evaluation of the processing quality or the classification of the processing errors. It is also not necessary to specify or adapt a parameterization of the extracted features for the classification of the processing errors. This simplifies the determination or assessment of the processing quality or processing errors by the laser processing system. The steps mentioned do not have to be carried out or accompanied by experts in laser processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Plasma & Fusion (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Laser Beam Processing (AREA)

Abstract

Ein System zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks umfasst: eine Recheneinheit, die eingerichtet ist, basierend auf aktuellen Daten des Laserbearbeitungsprozesses einen Eingangstensor zu bestimmen und basierend auf dem Eingangstensor mittels einer Übertragungsfunktion einen Ausgangstensor zu bestimmen, der Informationen über ein aktuelles Bearbeitungsergebnis enthält, wobei die Übertragungsfunktion zwischen dem Eingangstensor und dem Ausgangstensor durch ein angelerntes neuronales Netz gebildet ist.

Description

Überwachung eines Laserbearbeitungsprozesses mithilfe von tiefen faltenden neuronalen Netzen
Die vorliegende Offenbarung betrifft ein System zur Überwachung eines Laserbearbei tungsprozesses zur Bearbeitung eines Werkstücks und ein Bearbeitungssystem zur Bearbei tung eines Werkstücks mittels eines Laserstrahls, welches ein solches System zur Überwa chung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks umfasst. Ferner betrifft die vorliegende Offenbarung ein Verfahren zur Überwachung eines Laserbearbei tungsprozesses zur Bearbeitung eines Werkstücks.
Hintergrund und Stand der Technik
In einem Bearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls wird der von einer Laserlichtquelle oder einem Ende einer Laserleitfaser austretende Laserstrahl mit Hilfe einer Strahlführungs- und Fokussieroptik auf das zu bearbeitende Werkstück fokussiert oder gebündelt. Die Bearbeitung kann beispielsweise ein Laserschneiden, - löten oder -schweißen umfassen. Das Laserbearbeitungssystem kann beispielsweise einen Laserbearbeitungskopf umfassen.
Insbesondere beim Laserschweißen oder -löten eines Werkstücks ist es wichtig, den Schweiß- bzw. Lötprozess kontinuierlich zu überwachen und die Qualität der Bearbeitung zu sichern. Aktuelle Lösungen für die Überwachung derartiger Laserbearbeitungsprozesse umfassen für gewöhnlich eine sogenannte In-Prozess-Überwachung.
Die In-Prozess-Überwachung bzw. Überwachung eines Laserbearbeitungsprozesses erfolgt typischerweise dadurch, dass gewisse Signale oder Parameter des Laserbearbeitungsprozesses, wie z.B. Temperaturwerte, die Plasmastrahlung, die Laserleistung des Laserbearbeitungskopfes, die Menge und Art der zurückgestreuten Laserleistung, etc. unabhängig voneinander erfasst und beurteilt werden. Beispielsweise werden Messwerte eines Signals oder Parameters über eine gewisse Zeitdauer kontinuierlich gemessen bzw. erfasst, um ein dem Parameter entsprechendes Signal zu erhalten. Ebenso erfolgt eine Überwachung der Geometrie der Dampfkapillare (auch Keyhole genannt) und des die Dampfkapillare umgeben den Schmelzbads mittels Bildverarbeitung und -auswertung während des Laserbearbei tungsprozesses. Es folgen eine Verarbeitung und eine Klassifikation der einzelnen Signale, für die jeweils eine Vielzahl von Einstellwerten für Filterprozesse, Median- oder Mittelwertberechnungen, Hüllkurven, Schwellwerten etc. von einem erfahrenen Spezialisten eingestellt werden müs sen. Bei der Klassifikation eines Signals wird das Signal dahingehend überprüft, ob das Signal gewisse Fehlerkriterien erfüllt. Beispielsweise wird geschaut, ob das Signal vordefinierte Schwellwerte unter- bzw. überschreitet. Dazu werden die einzelnen Signale mit vordefinierten Referenzkurven verglichen, um die sogenannte Hüllkurven gelegt worden sind. Ein weiteres Kriterium kann beispielsweise das Integral des Signals über der Hüllkurve sein.
Wenn ein Signal während des Laserbearbeitungsprozesses zuvor festgelegte Fehlerkriterien erfüllt, wird durch die In-Prozess-Überwachung ein Fehler ausgegeben. D.h. die In-Prozess- Überwachung erzeugt eine Benachrichtigung, dass ein Bearbeitungsfehler aufgetreten ist.
Die Klassifikation der Signale und die Überwachung der Keyhole- und Schmelzbadgeometrie beschreiben also die Qualität des Laserbearbeitungsprozesses. Anhand der Klassifizierung der Signal- bzw. Parameterverläufe und der Überwachung der Keyhole- und Schmelz badgeometrie werden Bearbeitungsfehler erkannt und klassifiziert und das bearbeitete Werkstück wird abhängig davon beispielsweise als„gut“ (d.h. geeignet für die Weiterverar beitung oder den Verkauf) oder als„schlecht (d.h. als Ausschuss) gekennzeichnet bzw. klassifiziert. Darüber hinaus kann während des laufenden Laserbearbeitungsprozesses mittels der Überwachung der Signale bzw. Parameter bzw. der Geometrie der Keyhole- und Schmelzbadgeometrie Einfluss auf die Steuerungsparameter des Prozesses genommen werden. Somit kann der Laserbearbeitungsprozess gesteuert werden.
In herkömmlichen Systemen ist die Signalverarbeitung und -klassifikation komplex, da die Merkmale, die die Qualität beschreiben, stark von dem verwendeten Material, der einge- brachten Laserleistung, der Schweißgeschwindigkeit und vielem mehr abhängen. Das heißt, die Klassifikation der Signale muss über zahlreiche Parameter angepasst werden. Erweite rungen der Laserbearbeitung auf ein neues Material oder eine Änderung des Bearbeitungsprozesses erfordern eine Änderung der Klassifikationsparameter und der Parameter der Bildverarbeitung. Auch jede Anpassung der Laserbearbeitung, beispielsweise durch einen Produktwechsel, erfordert das erneute Ein- oder Nachstellen der Parameter.
Aufgrund dieser Komplexität erfolgen sowohl die Signalverarbeitung als auch die Klassifi kation der Signale getrennt für jedes Signal bzw. jeden Parameter, d.h. unabhängig von den anderen Signalen bzw. Parametern. Die Festlegung der Parameter sowohl für die Signalver- arbeitung als auch für die Klassifikation der Signale, beispielsweise das Bilden der Hüllkur ven, etc., und der Bildverarbeitung muss deshalb durch Spezialisten erfolgen.
Welche Merkmale der Signal- bzw. Parameterverläufe bzw. der Keyhole- und Schmelzbad geometrie überhaupt für die Überwachung des Laserbearbeitungsprozesses und die Erken nung von Bearbeitungsfehlem herangezogen werden können, kann ebenfalls nur durch Spe zialisten auf dem Gebiet entschieden und bewerkstelligt werden, da die Komplexität dieser Systeme aufgrund der Anzahl einzustellenden Parameter sehr hoch ist.
Die Schulung von Spezialisten ist entsprechend aufwendig und langwierig. Darüber hinaus erfordert das Ein- und Nachstellen der Parameter lange Produktionsunterbrechungen in der Fertigung bei den Kunden der Laserbearbeitungssysteme. Zudem ist die Gefahr einer Fehl- parametrierung hoch.
In herkömmlichen Systemen erfolgt die Überwachung des Laserbearbeitungssystems des halb lediglich basierend auf einzelnen Signal- bzw. Parameterverläufen und der Überwa chung der Keyhole- und Schmelzbadgeometrie. Die Überwachung unter Berücksichtigung aller Signale bzw. Parameter des Laserbearbeitungsprozesses und unter gleichzeitiger Ein beziehung der Keyhole- und Schmelzbadgeometrie erfolgt also nicht.
Fig. 3A zeigt ein beispielhaftes Signal, welches die Plasmastrahlung eines Laserbearbei tungsprozesses, beispielsweise eines Schweißprozesses, repräsentiert und das Signal einer Temperatur des Laserbearbeitungsprozesses innerhalb der jeweiligen Hüllkurven. Beide Signale liegen so innerhalb der Hüllkurve, dass die Schweißung als ordnungsgemäß klassi fiziert wird, da das Integral des Signals über der Hüllkurve kleiner als ein festgelegter Schwellwert ist.
In Fig. 3B Bild liegen die Signale deutlich oberhalb der jeweiligen Hüllkurven. Mit entsprechender Parametrierang des Schwellwerts für das Integral über der Hüllkurve wird das Sig nal als fehlerhaft klassifiziert und ein Bearbeitungsfehler wird festgestellt.
In Fig. 3C sind Verläufe drei verschiedener Signale gezeigt. Jeder Signalverlauf für sich wird als ordnungsgemäß klassifiziert. Tatsächlich liegt aber eine fehlerhafte Schweißung vor. Um diese zu erkennen, müssten die Verläufe mehrerer Signale herangezogen und ggf. von einem Spezialisten begutachtet werden.
Zusammenfassung der Erfindung Es ist eine Aufgabe der Erfindung, Bearbeitungsfehler zuverlässig und schnell und ohne aufwändige Parametrierungsprozesse zu erkennen. Es ist ferner eine Aufgabe der Erfindung, Bearbeitungsfehler, vorzugsweise in Echtzeit, während eines laufenden Laserbearbeitungsprozesses zu erkennen.
Darüber hinaus ist es eine Aufgabe der Erfindung, ein System anzugeben, welches die Erkennung von Bearbeitungsfehlem automatisiert und somit eine Prozessüberwachung, vorzugsweise in Echtzeit, ermöglicht.
Es ist weiter eine Aufgabe der Erfindung, ein System anzugeben, bei dem die Erkennung von Bearbeitungsfehlem schnell und einfach auf geänderte Umstände oder eine geänderte Situation, wie z.B. ein geänderter Bearbeitungsprozess oder ein anderes Werkstückmaterial, angepasst werden können.
Es ist ferner eine Aufgabe der Erfindung, ein System anzugeben, bei dem die Erkennung von Bearbeitungsfehlem unter gleichzeitiger Berücksichtigung einer Vielzahl von Parame tern erfolgt.
Es ist darüber hinaus eine Aufgabe der Erfindung, ein System anzugeben, bei dem die Er kennung von Bearbeitungsfehlem basierend auf von einem Bearbeitungsbereich auf der Werkstückoberfläche aufgenommenen Rohdaten erfolgt (sogenannte „end-to-end“- Verarbeitung bzw. -Analyse).
Diese Aufgaben werden durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen und Weiterentwicklungen sind Gegenstand der entsprechenden abhängigen Ansprüche.
Die Erfindung beruht auf dem Gedanken, dass die Bestimmung des Bearbeitungsergebnis ses des Laserbearbeitungsprozesses, insbesondere die Erkennung von Bearbeitungsfehlem und die Bestimmung bzw. Charakterisierung des Bearbeitungsbereichs, unter Verwendung eines tiefen neuronalen Netzes erfolgt, welches als Eingangsdaten aktuelle Sensordaten, Steuerdaten und/oder Bilddaten des Laserbearbeitungsprozesses, vorzugsweise als Rohdaten, erhält.
Gemäß einem Aspekt der vorliegenden Offenbarung ist ein System zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks angegeben, wobei das Sys- tem umfasst: eine Recheneinheit, die eingerichtet ist, basierend auf aktuellen Daten des La serbearbeitungsprozesses Eingangstensoren zu bestimmen und basierend auf diesen Tenso ren mittels einer Ubertragungsfunktion einen Ausgangstensor zu bestimmen, der Informati onen über ein aktuelles Bearbeitungsergebnis enthält, wobei die Übertragungsfunktion zwischen den Eingangstensoren und dem Ausgangstensor durch ein angelerntes neuronales Netz gebildet ist. Das Bearbeitungsergebnis kann Informationen über einen Bearbeitungsfelder und/oder einen Bearbeitungsbereich des Werkstücks umfassen.
Demnach ist das System in der Lage, selbstständig und unmittelbar das Bearbeitungsergebnis des Laserbearbeitungsprozesses zu bestimmen. Beispielsweise kann bestimmt werden, ob ein Bearbeitungsfehler bei einem durch das Laserbearbeitungssystem bearbeiteten Werkstück vorliegt. Darüber hinaus kann bestimmt werden, ob ein Bearbeitungsbereich des Werkstücks vorbestimmte Merkmale oder eine vorbestimmte Geometrie aufweist, beispielsweise ob ein Keyhole gebildet worden ist oder welche Ausdehnung ein Schmelzbad aufweist. Basierend darauf können Parameter des Laserbearbeitungsprozesses eingestellt werden, um weitere Fehler zu vermeiden. Mithilfe des Systems zur Überwachung kann also ein Laserbearbeitungsprozess bzw. ein Laserbearbeitungssystem gesteuert werden.
Im Allgemeinen hat die Verwendung eines neuronalen Netzes, welches die Übertragungs funktion bildet, den Vorteil, dass das System selbstständig erkennen kann, ob und welche Bearbeitungsfehler vorliegen. Demnach ist es nicht mehr notwendig, dass die erfassten Sen sordaten vorverarbeitet werden müssen, um einer Fehlererkennung zugänglich zu sein. Wei terhin ist es nicht notwendig, Fehlerkriterien zu definieren, die die Bearbeitungsqualität cha rakterisieren bzw. etwaige Bearbeitungsfehler angeben. Auch ist es nicht erforderlich, eine Parametrisierung der Fehlerkriterien anzugeben oder anzupassen. Die Überwachung eines Laserbearbeitungsprozesses wird dadurch vereinfacht. Die genannten Schritte müssen nicht durch Experten der Laserbearbeitung durchgeführt oder begleitet werden. Das System zur Überwachung eines Laserbearbeitungsprozesses gemäß den hierin offenbarten Aspekten führt die Erkennung von Bearbeitungsfehlem und die Bestimmung der Keyhole- und Schmelzbadgeometrie selbstständig, d.h. automatisiert, durch und kann einfach angepasst werden.
Das System kann also mit dem Ausgangstensor Informationen über ein aktuelles Bearbeitungsergebnis des aktuellen Bearbeitungsbereichs enthalten, etwa über eine Beschaffenheit des Bearbeitungsbereichs selbst, beispielsweise eine Ausdehnung des Bearbeitungsbereichs, das Vorhandensein eines sogenannten Keyholes bzw. einer Dampfkapillare, das Vorhan- densein eines Schmelzbads, einer Position und/oder Tiefe des Keyholes innerhalb des Schmelzbads, einer Ausdehnung bzw. einer Form des Schmelzbads, etc..
Ferner kann das System in der Lage sein, einen Bearbeitungsfehler zu erkennen und dessen Art anzugeben. Der Ausgangstensor kann beispielsweise mindestens eine der folgenden Informationen enthalten: Vorhandensein mindestens eines Bearbeitungsfehlers, die Art des Bearbeitungsfehlers, Wahrscheinlichkeit für einen Bearbeitungsfehler einer bestimmten Art, Position des Bearbeitungsfehlers auf einer Oberfläche eines bearbeiteten Werkstücks. Die Art des Bearbeitungsfehlers kann zumindest eine der folgenden sein: Pore, Loch, fehlende Durchschweißung des Werkstücks, falscher Freund, Spritzer oder Spalt.
Die Recheneinheit kann also dazu eingerichtet sein, den Ausgangstensor für den aktuellen Bearbeitungsbereich des Laserbearbeitungsprozesses zu bestimmen, während der Laserbe arbeitungsprozess noch ausgeführt wird. Durch die unmittelbare Bestimmung des Bearbei tungsergebnisses kann eine Überwachung des Laserbearbeitungsprozesses in Echtzeit möglich sein. Die Recheneinheit kann eingerichtet sein, den Ausgangstensor in Echtzeit zu bilden und Regelungsdaten an ein den Laserbearbeitungsprozess durchführendes Laserbearbeitungssystem auszugeben. Im einfachsten Fall kann der Ausgangstensor die Information enthalten, ob eine Bearbeitung eines Werkstücks gut oder schlecht ist. Basierend auf dieser Information kann der Laserbearbeitungsprozess entsprechend gesteuert werden, indem beispielsweise Prozessparameter angepasst werden. Beispielsweise kann eine Laserleistung erhöht oder reduziert werden, die Fokuslage des Lasers kann verändert werden, oder ein Abstand Bearbeitungskopf eines Laserbearbeitungssystems zum Werkstück kann verändert werden.
Die Übertragungsfunktion zwischen den Eingangstensoren und dem Ausgangstensor ist durch ein angelerntes oder trainiertes neuronales Netz gebildet. Mit anderen Worten kann die Recheneinheit ein neuronales Netz umfassen. Das neuronale Netz kann durch Fehlerrückführung bzw. Backpropagation trainiert worden sein.
Das neuronale Netz kann ein angelerntes tiefes neuronales Netz, z.B. ein angelerntes tiefes faltendes neuronales Netz oder Konvolutionsnetz sein. Das Konvolutionsnetz kann zwi schen 10 und 40 Konvolutionslagen, vorzugsweise 34 Konvolutionslagen, aufweisen. Dar über hinaus kann das Konvolutionsnetz mindestens eine sogenannte„Fully-Connected“- Schicht aufweisen. Das neuronale Netz kann zum Transfer-Leaming eingerichtet sein. Mit anderen Worten kann das neuronale Netz an geänderte Voraussetzungen eines geänderten Laserbearbeitungsprozesses anpassbar sein. Die Recheneinheit kann insbesondere dazu eingerichtet sein, das neuronale Netz mittels Transfer-Leaming, z.B. basierend auf Trainingsdaten, an einen geänderten Laserbearbeitungsprozess anzupassen.
Die Trainingsdaten können Testdaten des geänderten Laserbearbeitungsprozesses zum Be stimmen eines entsprechenden Eingangstensors und einen den Testdaten zugeordneten, vor gegebenen Ausgangstensor, der Informationen über ein entsprechendes, zuvor bestimmtes Bearbeitungsergebnis des geänderten Laserbearbeitungsprozesses enthält, umfassen. Das Bearbeitungsergebnis kann Informationen über einen z.B. von einem Experten identifizier ten Bearbeitungsfehler enthalten. Zum Anpassen bzw. Trainieren des neuronalen Netzes können die Trainingsdaten mehrere Sätze solcher Testdaten und zugehöriger Ausgangsten soren umfassen. Die Testdaten können auf Werten eines Sensorparameters basieren, die von zumindest einer Sensoreinheit während eines vorangegangen Laserbearbeitungsprozesses erfasst worden sind, und/oder auf Werten eines Steuerparameters, die während eines vorausgegangenen Laserbearbeitungsprozesses verwendet worden sind.
Dadurch kann das neuronale Netz, welches die Übertragungsfunktion bildet, an eine geänderte Situation oder einen geänderten Laserbearbeitungsprozess angepasst werden. Hierfür wird die Übertragungsfunktion modifiziert. Die geänderte Situation kann beispielsweise darin bestehen, dass die zu bearbeitenden Werkstücke andere Materialien, unterschiedliche Verschmutzungsgrade und/oder Dicken aufweisen, oder dass sich die Parameter der Laserbearbeitung ändern. Beim Transfer-Leaming kann ein für das Trainieren oder Anlemen des neuronalen Netzes verwendeter Trainingsdatensatz oder ein reduzierter Trainingsdatensatz um neue Beispiele ergänzt werden.
Die Verwendung eines trainierten neuronalen Netzes, das zum Transfer-Leaming eingerichtet ist, bei dem System zur Erkennung von Bearbeitungsfehlem gemäß den hierin beschriebenen Aspekten hat also den Vorteil, dass das System schnell an geänderte Situationen angepasst werden kann.
Die Eingangstensoren können aktuelle Daten des Laserbearbeitungsprozesses als Rohdaten umfassen oder daraus bestehen. Demnach müssen die aktuellen Daten nicht vor der Bildung des Eingangstensors verarbeitet werden. Ein der Bildung des Eingangstensors vorgeschalte ter Datenverarbeitungsschritt kann dadurch entfallen. Das neuronale Netz bestimmt also direkt auf Basis der Rohdaten den Ausgangstensor. Die Recheneinheit kann eingerichtet sein, eine Vielzahl von aktuellen Daten des Bearbei tungsprozesses, die demselben aktuellen Zeitpunkt entsprechen, in dem Eingangstensor zu sammenzufassen und zusammen durch die Übertragungsfunktion auf den Ausgangstensor abzubilden. Durch die gleichzeitige Verarbeitung aller relevanten aktuellen Daten des La serbearbeitungsprozesses kann die Bestimmung des Bearbeitungsergebnisses zuverlässiger und schneller erfolgen. Dadurch kann die Überwachung des Laserbearbeitungsprozesses zuverlässiger und genauer erfolgen.
Die Eingangstensoren können aktuelle Daten des Laserbearbeitungsprozesses umfassen, die erfasste Sensordaten und/oder Steuerdaten umfassen, welche beispielsweise 512 Samples umfassen, wobei jedes Sample einem Zeitpunkt zugeordnet ist. Die Sensordaten und Steu erdaten werden im Folgenden auch Prozessdaten genannt. Der Eingangstensor wird dabei aus den jeweiligen aktuellen Daten gebildet, indem alle 256 Samples ein Fenster über 512 Samples gelegt wird. Dadurch ist eine Überlappung der Samples zwischen zwei zeitlich nacheinander gebildeten Eingangstensoren gewährleistet. Zu jedem Sample kann ein Bild aufgenommen werden, welches über den Zeitpunkt der Aufnahme dem jeweiligen Sample der Sensordaten und/oder Steuerdaten zugeordnet werden kann. Jeder Eingangstensor kann demnach Daten wie beispielsweise Sensordaten, Bilddaten und/oder Steuerdaten des Bear beitungsprozesses enthalten, die dem jeweiligen Zeitpunkt entsprechen. D.h. die Sensorda ten bzw. Bilddaten wurden zu dem jeweiligen Zeitpunkt erfasst, und die Steuerdaten wurden zu dem jeweiligen Zeitpunkt durch eine Steuereinheit des Laserbearbeitungssystems bei dem Bearbeitungsprozess angewendet. Die so erzeugten Eingangstensoren können für einen gegebenen Zeitpunkt während der Ausführung des Laserbearbeitungsprozesses die letzten n erfassten Sensordaten und/oder die letzten n erfassten Bilddaten und/oder die letzten n verwendeten Steuerdaten umfassen. Im einfachsten Fall ist n = 1.
Gemäß einer Ausführungsform ist n = 512 und ein erster Eingangstensor umfasst aktuelle Sensor- und/oder Steuerdaten, mit anderen Worten aktuelle Prozessdaten, und ein zweiter Eingangstensor umfasst aktuelle Bilddaten. D.h. der erste Eingangstensor umfasst die letz ten 512 Samples oder Werte der jeweiligen Sensordaten, Steuerdaten und/oder Bilddaten. Bei einer typischen Samplingrate von lOOKHz wird dazu alle 5,12 ms ein Datensatz der Dimension m x 512 erzeugt werden. Hierbei steht m für die Anzahl von m verschiedenartigen Daten, die die (erfassten) Sensordaten und die (erhaltenen bzw. verwendeten) Steuerdaten umfassen. Aus diesen Datensätzen wird alle 2,56 ms der erste Eingangstensor der Dimension m x 512 gebildet. Bei einer entsprechenden Bilderfassungsrate von ca. 391 Bil- dem/s (d.h. es wird alle 2,56 ms ein Bild aufgenommen) kann mit jedem ersten Eingangs- tensor der Prozessdaten ein zweiter Eingangstensor der Bilddaten erzeugt werden. Beispielsweise wird ein Bild mit 512 x 512 Pixeln entsprechend einem Eingangstensor der aktuellen Prozessdaten erfasst. Demnach weist in diesem Fall der entsprechend erzeugte Eingangstensor der Bilddaten die Dimension 512 512 auf.
Die aktuellen Sensordaten können eine oder mehrere Temperaturen, eine Plasmastrahlung, Intensitäten von reflektiertem oder zurückgestreutem Laserlicht bei unterschiedlichen Wellenlängen, eine Keyhole-Tiefe und/oder einen Abstand eines den Laserbearbeitungsprozess ausführenden Laserbearbeitungskopfes zum Werkstück umfassen. Die Steuerdaten können eine Ausgangsleistung eines Lasers am Laserbearbeitungskopf, eine Fokuslage, einen Fokusdurchmesser, eine Position des Laserbearbeitungskopfes, eine Bearbeitungsgeschwindigkeit und/oder ein Bahnsignal umfassen. Die Bilddaten können ein Bild einer Oberfläche des Werkstücks umfassen, beispielsweise ein Bild eines Bearbeitungsbereichs des Werkstücks. Der Bearbeitungsbereich kann ein Schmelzbad und/oder ein Keyhole umfassen.
Das Bahnsignal kann ein Steuersignal eines den Laserbearbeitungsprozess durchführenden Laserbearbeitungssystems sein, welches eine Bewegung eines Laserbearbeitungskopfes relativ zum Werkstück steuert. Durch die Einbeziehung des Bahnsignals in die Bestimmung des Bearbeitungssignals kann beispielsweise ein aufgetretener Bearbeitungsfehler schnell und einfach auf dem Werkstück lokalisiert werden, da bekannt ist, zu welchem Zeitpunkt welcher Bereich des Werkstücks vom Laserbearbeitungssystem bearbeitet wird bzw. wurde. Das System kann somit in der Lage sein, den Zeitpunkt während des Laserbearbeitungspro zesses anzugeben, zu dem ein Fehler aufgetreten ist. Alternativ kann das System den Zeit punkt lediglich basierend aufgrund der bekannten Bearbeitungsgeschwindigkeit, einem be kannten Zeitpunkt als definierter Startpunkt und der zeitlichen Zuordnung der Eingangstensoren berechnen. Die zeitliche Zuordnung der Eingangstensoren ergibt sich aus der Erzeugungsrate der Eingangstensoren und einer Anzahl der seit dem Startpunkt erzeugten Eingangstensoren.
Das System kann ferner zumindest eine Sensoreinheit zum Erfassen von aktuellen Sensor daten des Laserbearbeitungsprozesses während des Laserbearbeitungsprozesses, umfassen. Die Sensordaten, die von der Sensoreinheit umfasst werden, repräsentieren also Werte eines von der Sensoreinheit erfassten oder gemessenen Parameters, beispielsweise eines physika lischen Parameters wie eine Temperatur. Die zumindest eine Sensoreinheit kann einen Temperatursensor, einen Lichtsensor oder einen Plasmasensor umfassen. Die Sensoreinheit kann ferner einen Abstandssensor, beispielsweise ein Triangulationssystem und/oder ein OCT („optical coherence tomography“ oder„optische Kohärenztomographie“)-System um- fassen. Mittels des Abstandssensors kann ein Abstand zu einer Oberfläche des Werkstücks bestimmt werden, z.B. ein Abstand zwischen dem einem Laserbearbeitungskopf des Laserbearbeitungssystems und der Werkstückoberfläche.
Das System kann ferner zumindest eine Bilderfassungseinheit zum Erfassen von aktuellen Bilddaten eines Bearbeitungsbereichs des Werkstücks während des Laserbearbeitungsprozesses umfassen. Die Bilderfassungseinheit kann eine Kamera oder ein Kamerasystem, insbesondere ein 2D- und/oder ein 3D-Kamerasystem, vorzugsweise mit einer Auflicht-LED- Beleuchtung, umfassen. Die Bilderfassungseinheit kann ein Stereo-Kamerasystem umfassen. Vorzugsweise entsprechen die Bilddaten einem zweidimensionalen Bild bzw. einer zweidimensionalen Abbildung eines Ausschnitts einer Werkstückoberfläche, welcher den Bearbeitungsbereich des Laserbearbeitungsprozesses umfasst. Der Bearbeitungsbereich kann ein sogenanntes Schmelzbad und Keyhole umfassen. Mit anderen Worten können die Bilddaten ein Bild des Schmelzbads und des Keyholes umfassen.
Die Erfassungsraten der Bilderfassungseinheit und der Sensoreinheit können gleich groß sein. Mit anderen Worten können die Daten der Bilderfassungseinheit und der Sensoreinheit pro vorgegebenen Zeitraum korreliert werden. Die Bilderfassungseinheit und die Sensoreinheit können die jeweiligen Daten stets zu denselben Zeitpunkten erfassen. Beispielsweise kann die Bilderfassungseinheit zu denjenigen Zeitpunkten ein Bild des Werkstücks aufnehmen, an denen ein Temperatursensor eine Temperaturmessung vomimmt.
Die aktuellen Daten des Laserbearbeitungsprozesses können aktuelle Sensordaten und/oder aktuelle Bilddaten und/oder aktuelle Steuerdaten des Laserbearbeitungsprozesses umfassen. Die Sensordaten und Steuerdaten werden im Folgenden auch Prozessdaten genannt. Die Sensordaten repräsentieren Werte mindestens eines von einer Sensoreinheit erfassten oder gemessenen Parameters. Die Steuerdaten repräsentieren Werte mindestens eines Steuerparameters des Laserbearbeitungsprozesses oder Laserbearbeitungssystems.
Die Recheneinheit weist vorzugsweise mindestens eine Schnittstelle auf, die dazu eingerichtet ist, um diese aktuellen Daten zu empfangen. Die mindestens eine Schnittstelle kann beispielsweise eingerichtet sein, Trainingsdaten zum Trainieren oder Anpassen des neuronalen Netzes, Steuerdaten eines Laserbearbeitungssystem und/oder Sensordaten einer Sensoreinheit und/oder Bilddaten von einer Bilderfassungseinheit zu empfangen. Das System kann also dazu eingerichtet sein, von einer Steuerung eines Laserbearbeitungssystems, welcher den Laserbearbeitungsprozess durchführt, Werte zumindest eines Steuerparameters, beispielsweise über eine Schnittstelle zu erhalten. Typischerweise ist die Netzarchitektur zur Klassifikation der Sensordaten eine andere als die Netzarchitektur zur Klassifikation der Bilddaten.
Um Bild- und Prozessdaten gleichzeitig zu verwenden, werden gemäß einer Ausführungs form die jeweiligen neuronalen Netze, welche Prozessdaten und Bilddaten klassifizieren, nach der letzten oder vorletzten versteckten Schicht zusammengeschaltet. In der letzten versteckten Schicht des jeweiligen Netzes befindet sich die Merkmalsdarstellung der Eingangstensoren der Bild- und Prozessdaten. In den folgenden voll verbundenen Schichten findet die Klassifikation dieser verbundenen Merkmale statt.
Diese Vorgehensweise hat den Vorteil, dass beim Trainieren des Gesamtnetzes nur wenige Schichten trainiert werden müssen und bei der Verwendung, eingeschränkt nur auf Prozessdaten, wieder das Netz, welches für die Prozessdaten trainiert wurde, verwendet werden kann. Zu dieser Vorgehensweise werden die Netze für Bild- und Prozessdaten getrennt trainiert. Damit haben die Netze die Abbildung des Eingangstensors, bestehend aus den Bilddaten und des Eingangstensors, bestehend aus den Prozessdaten, auf Merkmalsvektoren gelernt.
Der oder die Eingangstensoren können aktuelle Daten für x vergangene Zeitpunkte während einer Ausführung des Laserbearbeitungsprozesses enthalten, wobei x eine natürliche Zahl ist, und für jeden der x Zeitpunkte können die Eingangstensoren diesem Zeitpunkt entsprechende Bilddaten, und Sensor- bzw. Steuerdaten, d.h. Prozessdaten, umfassen. Die Zeitpunkte x können gleich weit voneinander beabstandet sein, beispielweise jeweils 256ms oder 512 oder 1024ms. Der oder die Eingangstensoren können von der Übertragungsfunkti on auf den Ausgangstensor abgebildet werden, d.h. Bilddaten und Steuer- bzw. Sensordaten werden von einer gemeinsamen Übertragungsfunktion verarbeitet.
Gemäß einer Ausführungsform werden dabei zwei Zweige des Netzwerkes durchlaufen und in einer Schicht die Merkmale der jeweiligen Eingangstensoren verbunden. Ein Zweig des Netzes hat die Bilddaten als Eingangstensor, der andere Zweig des Netzes die Prozessdaten. Bei dieser Vorgehensweise spricht man von einer sogenannten„Feature Level Fusion“. Beide Netze können wieder leicht entkoppelt werden und einzeln verwendet werden. Denn die Kombination von Bild- und Prozessdaten in einen Tensor kann in manchen Situationen nicht zielführend sein. Gemäß einem weiteren Aspekt der Offenbarung ist ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls angegeben, wobei das Bearbeitungssystem einen Laserbearbeitungskopf zum Einstrahlen eines Laserstrahls auf ein zu bearbeitendes Werkstück und ein System zur Erkennung eines Bearbeitungsfehlers gemäß einem der hierin beschriebenen Aspekte umfasst. Vorzugsweise ist die Erfassungseinbeit am Laserbearbeitungskopf angeordnet.
Gemäß einem weiteren Aspekt ist ein Verfahren zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks angegeben, wobei das Verfahren die folgenden Schritte umfasst: Bestimmen eines oder mehrerer Eingangstensoren, basierend auf aktuellen Daten des Laserbearbeitungsprozesses, und Bestimmen eines Ausgangstensors, basierend auf dem einen oder der mehreren Eingangstensoren mittels einer Übertragungs funktion, wobei der Ausgangstensor Informationen über ein aktuelles Bearbeitungsergebnis enthält, wobei die Übertragungsfunktion zwischen dem Eingangstensor und dem Ausgangs tensor durch ein angelerntes neuronales Netz gebildet ist.
Kurzbeschreibungen der Zeichnungen
Die Erfindung wird im Folgenden anhand von Figuren im Detail beschrieben. In den Figu ren:
Fig. 1 zeigt eine schematische Darstellung eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks mittels eines Laserstrahls und ein System zur Überwachung eines Laserbearbeitungsprozesses gemäß einer Ausführungsform;
Fig. 2 zeigt ein Blockschaltbild eines Systems zur Überwachung eines Laserbearbeitungs prozesses eines gemäß einer Ausführungsform;
Fig. 3A, 3B und 3C zeigen Darstellungen von beispielhaften Verläufen von Sensorwerten;
Fig. 4 zeigt einen Bearbeitungsbereich eines Werkstücks während eines Laserbearbeitungsprozesses;
Fig. 5 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes gemäß einer Aus führungsform; Fig. 6 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes zur Klassifikation von Prozessdaten gemäß einer Ausführungsform;
Fig. 7 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes zu Klassifikation von Bilddaten gemäß einer Ausführungsform;
Fig. 8 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes zur Klassifikation von Bild- und Prozessdaten gemäß einer Ausführungsform.
Fig. 9 zeigt ein Verfahren zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks gemäß einer Ausführungsform.
Detaillierte Beschreibung der Zeichnungen
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
Figur 1 zeigt eine schematische Darstellung eines Laserbearbeitungssystems 100 zur Bearbeitung eines Werkstücks mittels eines Laserstrahls gemäß Ausführungsformen der vorliegenden Offenbarung. Das Laserbearbeitungssystem 100 ist dazu eingerichtet, einen Laserbearbeitungsprozess gemäß Ausführungsformen der vorliegenden Offenbarung durchzuführen.
Das Laserbearbeitungssystem 100 umfasst einen Laserbearbeitungskopf 101, insbesondere einen Laserschneid-, Laserlöt- oder Laserschweißkopf und ein System 300 zur Erkennung von Bearbeitungsfehlem. Das Laserbearbeitungssystem 100 umfasst eine Laservorrichtung 110 zum Bereitstellen eines Laserstrahls 10 (auch als„Bearbeitungsstrahl“ oder„Bearbeitungslaserstrahl“ bezeichnet).
Das Laserbearbeitungssystem 100 oder Teile davon, wie beispielsweise der Bearbeitungs kopf 101, kann gemäß Ausführungsformen entlang einer Bearbeitungsrichtung 20 bewegbar sein. Die Bearbeitungsrichtung 20 kann eine Schneid-, Löt- oder Schweißrichtung und/oder eine Bewegungsrichtung des Laserbearbeitungssystems 100, wie beispielsweise des Bear beitungskopfes 101, bezüglich des Werkstücks 1 sein. Insbesondere kann die Bearbeitungs richtung 20 eine horizontale Richtung sein. Die Bearbeitungsrichtung 20 kann auch als „Vorschubrichtung“ bezeichnet werden. Das Laserbearbeitungssystem 100 wird von einer Steuereinheit 140 gesteuert, die dazu ein gerichtet ist, den Bearbeitungskopf 101 und/oder die Laservorrichtung 110 zu steuern.
Das System 300 zur Überwachung eines Laserbearbeitungsprozesses umfasst eine Rechen einheit 320. Die Recheneinheit 320 ist dazu eingerichtet, basierend auf aktuellen Daten des Laserbearbeitungsprozesses einen Eingangstensor zu bestimmen und basierend auf dem Eingangstensor mittels einer Übertragungsfunktion einen Ausgangstensor zu bestimmen, der Informationen über ein aktuelles Bearbeitungsergebnis des Laserbearbeitungsprozesses enthält.
Mit anderen Worten kann der Ausgangstensor das Ergebnis einer oder mehrerer Rechenoperationen sein und Informationen darüber enthalten, ob und welche/r Fehler bei der Bearbeitung des Werkstücks 1 durch das Laserbearbeitungssystem 100 aufgetreten ist/sind. Ferner kann der Ausgangstensor Informationen über die Art, Position und Größe des/der Fehler auf der Werkstückoberfläche 2 enthalten. Der Ausgangstensor kann ebenfalls Informationen über einen Bearbeitungsbereich des Werkstücks 1 umfassen, beispielsweise eine Größe, Form oder Ausdehnung eines Keyholes und/oder eines Schmelzbads.
Gemäß einer Ausführungsform ist die Recheneinheit 320 mit der Steuereinheit 140 kombi niert (nicht gezeigt). Mit anderen Worten kann die Funktionalität der Recheneinheit 320 mit derjenigen der Steuereinheit 140 in einer gemeinsamen Verarbeitungseinheit kombiniert sein.
Gemäß einer Ausführungsform umfasst das System 300 ferner zumindest eine Sensoreinheit 330 und eine Bilderfassungseinheit 310.
Die zumindest eine Sensoreinheit 330 ist dazu eingerichtet, den Wert eines Parameters eines Laserbearbeitungsprozesses, der durch das Laserbearbeitungssystem 100 ausgeführt wird, zu erfassen, aus den erfassten Werten Sensordaten zu erzeugen und diese an die Rechenein heit 320 zu übertragen. Die Erfassung kann kontinuierlich bzw. in Echtzeit erfolgen. Gemäß einer Ausführungsform kann die Sensoreinheit 330 eingerichtet sein, Werte von mehreren Parametern zu erfassen und diese an die Recheneinheit 320 weiterzuleiten. Die Werte können gleichzeitig erfasst werden.
Die Bilderfassungseinheit 310 ist dazu ausgebildet, Bilddaten einer bearbeiteten Oberfläche 2 des Werkstücks 1 und/oder eines Bearbeitungsbereichs des Laserbearbeitungsprozesses zu erfassen. Der Bearbeitungsbereich kann als ein Bereich der Werkstückoberfläche definiert sein, in dem zu einem aktuellen Zeitpunkt der Laserstrahl 10 auf die Werkstückoberfläche trifft und das Material der Werkstückoberfläche geschmolzen ist und/oder wo ein Einstichoder Durchstichloch in dem Material vorhanden ist. Der Bearbeitungsbereich kann insbesondere als ein Bereich der Werkstückoberfläche definiert sein, in dem ein Schmelzbad und/oder ein Keyhole ausgebildet ist. Die Bilderfassungseinheit 310 ist gemäß einer Ausführungsform am Bearbeitungskopf 101 angeordnet. Beispielsweise kann die Bilderfassungseinheit 310 mit Bezug zur Bearbeitungsrichtung 20 nachfolgend an dem Bearbeitungskopf 101 angeordnet sein. Die Bilderfassungseinheit 310 kann auch koaxial zu einem Laserstrahl 10 und/oder einem später beschriebenen Messstrahl 13 angeordnet sein. Die Recheneinheit 320 ist dazu eingerichtet, die von der Bilderfassungseinheit 310 erfassten Bilddaten und die von der Sensoreinheit 330 erfassten Sensordaten zu empfangen und auf Basis der aktuellen Bilddaten und der aktuellen Sensordaten den Eingangstensor zu bilden.
Optional umfasst das Laserbearbeitungssystem 100 oder das System 300 eine Messeinrich tung 120 zum Messen eines Abstands zwischen einem Endabschnitt des Bearbeitungskopfes 101 und einem zu bearbeitenden Werkstück 1. Die Messeinrichtung kann einen optischen Kohärenztomographen, insbesondere einen optischen Kurzkohärenz-Tomographen, umfassen.
Die Laservorrichtung 110 kann eine Kollimatorlinse 112 zur Kollimation des Laserstrahls 10 aufweisen. Der Kohärenztomograph kann eine Kollimator-Optik 122, die eingerichtet ist, um einen optischen Messstrahl 13 zu kollimieren, und eine Fokussier-Optik 124 aufweisen, die eingerichtet ist, um den optischen Messstrahl 13 auf das Werkstück 1 zu fokussieren.
Fig. 2 zeigt ein Blockschaltbild des Systems 300 zur Überwachung eines Laserbearbeitungsprozesses gemäß einer Ausführungsform.
Das System 300 umfasst die Recheneinheit 320, zumindest eine Sensoreinheit 330 und eine Bilderfassungseinheit 310. Die Recheneinheit 320 ist mit der Sensoreinheit 330 und der Bilderfassungseinheit 310 verbunden, sodass die Recheneinheit 320 die von der Bilderfassungseinheit 310 erfassten Bilddaten und die von der Sensoreinheit 320 erfassten Sensordaten empfangen kann.
Die Recheneinheit 320 enthält gemäß einer Ausführungsform einen Prozessor zum Ermitteln des Ausgangstensors. Die Übertragungsfunktion ist typischerweise in einem Speicher (nicht gezeigt) der Recheneinheit 320 abgelegt oder als Schaltkreis, beispielsweise als FPGA, realisiert. Der Speicher kann ausgebildet sein, weitere Daten, beispielsweise den ermittelten Ausgangstensor, zu speichern.
Die Recheneinheit 320 kann eine Ein-/Ausgabeeinheit 322, welche insbesondere eine gra phische Benutzeroberfläche zur Interaktion mit einem Benutzer aufweisen kann, umfassen. Die Recheneinheit 320 kann eine Datenschnittstelle 321 aufweisen, über die die Rechenein heit den Ausgangstensor an eine externe Stelle, wie z.B. eine weitere Recheneinheit, Com puter, PC, eine externe Speichereinheit, wie z.B. eine Datenbank, eine Speicherkarte oder Festplatte, übermitteln kann. Die Recheneinheit 320 kann ferner eine Kommunikationsschnittstelle (nicht gezeigt) aufweisen, mit der die Recheneinheit mit einem Netzwerk kommunizieren kann. Ferner kann die Recheneinheit 320 den Ausgangstensor auf der Ausgabeeinheit 322 graphisch anzeigen. Die Recheneinheit 320 kann mit einer Steuereinheit 140 eines Laserbearbeitungssystems 100 verbunden sein, um den Ausgangstensor an die Steuereinheit 140 zu übertragen.
Die Recheneinheit 320 kann ferner dazu eingerichtet sein, über die Schnittstelle 321 Steuer daten von der Steuereinheit 140 des Laserbearbeitungssystems 100 zu empfangen und die Steuerdaten ebenfalls in den Eingangstensor aufzunehmen. Die Steuerdaten können beispielsweise die Ausgangsleistung der Laservorrichtung 110, den Abstand des Bearbeitungs kopfes 101 von der Oberfläche des Werkstücks 1, die Vorschubrichtung und - geschwindigkeit, jeweils zu einem gegebenen Zeitpunkt, umfassen.
Die Recheneinheit 320 bildet aus den aktuellen Daten einen oder mehrere Eingangstensoren für eine Übertragungsfunktion. Erfindungsgemäß werden der eine oder die mehreren Ein gangstensoren aus aktuellen Rohdaten gebildet. D.h. eine vorausgehende Verarbeitung der aktuellen Daten durch die Recheneinheit 320, die Sensoreinheit 330 oder die Bilderfassungseinheit 310 findet nicht statt.
Die Übertragungsfunktion ist durch ein angelerntes, d.h. vortrainiertes neuronales Netz gebildet. Mit anderen Worten enthält die Recheneinheit das tiefe faltende neuronale Netz. Der Ausgangstensor wird durch Anwendung der Übertragungsfunktion auf den einen oder die mehreren Eingangstensoren gebildet. Anhand der Übertragungsfunktion wird somit aus dem einen oder den mehreren Eingangstensoren der Ausgangstensor ermittelt.
Der Ausgangstensor enthält Informationen oder Daten über ein aktuelles Bearbeitungsergebnis des Laserbearbeitungsprozesses. Das Bearbeitungsergebnis kann beispielsweise auf getretene Bearbeitungsfehler und/oder die Informationen über einen Bearbeitungsbereich des Werkstücks umfassen. Diese Informationen über einen aktuellen Bearbeitungsfehler können umfassen: ob zumindest ein Bearbeitungsfehler vorliegt, die Art des zumindest einen Bearbeitungsfehlers, die Position des Bearbeitungsfehlers auf der Oberfläche des bearbeiteten Werkstücks 1 und/oder die Größe bzw. Ausdehnung des Bearbeitungsfehlers. Die Informationen über den Bearbeitungsbereich können sein: Ort und/oder Größe des Keyho- les, Ort und/oder Größe und/oder Geometrie des Schmelzbades. Gemäß einer Ausführungs- form kann der Ausgangstensor auch die Wahrscheinlichkeit enthalten, mit der ein Bearbei tungsfehler einer bestimmten Art aufgetreten ist, bzw. mit welcher Sicherheit das System einen Bearbeitungsfehler einer bestimmten Art erkannt hat.
Die Bilderfassungseinheit 310 kann ein Kamerasystem oder ein Stereo-Kamerasystem, z.B. mit Auflicht Led-Beleuchtung umfassen. Erfmdungsgemäß entsprechen die Bilddaten einer zweidimensionalen Abbildung eines Ausschnitts der Werkstückoberfläche. Mit anderen Worten repräsentieren die erfassten oder aufgenommenen Bilddaten ein zweidimensionales Bild der Werkstückoberfläche, wie beispielhaft in Fig. 4 gezeigt und nachfolgend im Detail beschrieben.
Die Recheneinheit 320 kann gemäß einer Ausführungsform dazu eingerichtet sein, den Eingangstensor und/oder den Ausgangstensor grafisch an der Ausgabeeinheit 322 darzustellen. Beispielsweise kann die Recheneinheit 320 die im Eingangstensor enthaltenen Sensordaten und/oder Bilddaten, als Kurvenverläufe, wie in Fig. 3A bis 3C gezeigt, oder als zweidimensionale Bilder der des Werkstücks 1, wie in Fig. 4 gezeigt, grafisch darstellen und diese mit den im Ausgangstensor enthaltenen Informationen überlagern.
Fig. 4 zeigt eine Darstellung von Bilddaten gemäß einer Ausführungsform. Genauer gesagt zeigt Fig. 4 eine beispielhafte Aufnahme des Schmelzbades und des Keyholes bei 850 nrn mit überlagerten Geometriedaten. Das Kreuz 2a zeigt den Mittelpunkt des Keyholes an, das Kreuz 2b zeigt den Mittelpunkt des Schmelzbades an, die Linie 2c zeigt den Umriss des Schmelzbades an und die Linie 2d zeigt den Umriss des Keyholes an, wie sie als Information im durch die Recheneinheit 320 bestimmten Ausgangstensor enthalten sind. Das umran dende Rechteck 2e („Bounding Box“) zeigt die berechnete Größe des Schmelzbades.
Bei Abweichungen von vorgegeben Geometrien oder Größen des Schmelzbades kann bei spielsweise im Ausgangstensor die Information enthalten sein, dass das Bearbeitungsergebnis eines Laserbearbeitungsprozesses, beispielsweise eine Schweißung, als„schlecht“ klassifiziert ist. In diesem Fall kann das System 300 zur Überwachung des Laserbearbeitungsprozesses einen Fehler ausgeben. In herkömmlichen Systemen müssten für die Größe des umrandeten Rechtecks 2e Soll- Vorgaben oder Referenzwerte vorgegeben bzw. hinterlegt werden. Zur Berechnung wird eine zweistufige morphologische Operation durchgeführt („Blob Analyse“). Die dazu notwendigen Parameter, wie beispielsweise die Binärschwellen, müssen in herkömmlichen Systemen von Experten vorgegeben werden. Änderungen des Schweißprozesses erfordern bei dieser Vorgehensweise Änderungen an den Parametern durch erfahrene Experten. Diese Nachteile werden gemäß dem hierin beschriebenen System zur Überwachung vermieden.
Fig. 5 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes 400 gemäß einer ersten Ausführungsform.
Gemäß der in Fig. 5 gezeigten Ausführungsform enthalten die Eingangstensoren 405, 415 verschiedene Typen oder Arten von Sensordaten, Steuerdaten und Bilddaten des Laserbear beitungssystems. Beispielsweise weist der Eingangstensor 405 für die Bilddaten die Dimen sion„Bildhöhe in Pixel“ x„Bildbreite in Pixel“ und der Eingangstensor 415 für die Sensor- und/oder Steuerdaten die Dimension„Anzahl Typen von Sensor- und/oder Steuerdaten“ x „Anzahl Samples“ auf. Die Bilddaten bilden also den Eingangstensor 405 für den„Zweig“ des neuronalen Netzes 400, welcher die Bilddaten auf die signifikanten Merkmale reduziert. Die Sensordaten bilden den Eingangstensor 415 für den Zweig des neuronalen Netzes 400, welcher die signifikanten Merkmale aus den Sensordaten berechnet.
Die Sensordaten können beispielsweise von einem oder mehreren Temperatursensoren ge messene Temperaturen, eine von einem entsprechenden Sensor gemessene Plasmastrahlung, eine von einem Photosensor gemessene Intensität von an einer Werkstückoberfläche reflektierten oder zurückgestrahlten Laserlicht, eine Wellenlänge von reflektiertem oder zurückgestreutem Laserlicht, oder ein von einem Abstandssensor gemessener Abstand zwischen einem Laserbearbeitungskopf und dem Werkstück sein.
Die Steuerdaten können Steuersignale sein, die von einer Steuerung erzeugt werden, um ein Laserbearbeitungssystem dazu zu veranlassen, den Laserbearbeitungsprozess auszuführen. Zu den Steuerdaten können eine Fokuslage und ein Fokusdurchmesser eines Laserstrahls oder ein Bahnsignal sein, wobei das Bahnsignal ein Positionssignal darstellt, welches die relative Position eines Laserbearbeitungskopfes des Laserbearbeitungssystems relativ zum Werkstück vorgibt. Die Sensordaten und/oder Steuerdaten bilden direkt den Eingangstensor 415 des tiefen fal tenden neuronalen Netzes. Genauso bilden die Bilddaten direkt den Eingangstensor 405 des tiefen faltenden neuronalen Netzes. D.h. es findet zwischen den Eingangstensoren 405 415 und dem Ausgangstensor eine sogenannte„end-to-end“-Abbildung oder -Analyse statt. Da in diesem tiefen faltenden neuronalen Netz Bilddaten und Prozessdaten kombiniert in einem Netz klassifiziert werden, spricht man auch von einer sogenannten„Feature Level Fusion“.
Die Recheneinheit kann dazu eingerichtet sein, für jeden der Zeitpunkte n einen Satz der Sensordaten, Steuerdaten und/oder Bilddaten, die dem jeweiligen Zeitpunkt entsprechen, in den jeweiligen Eingangstensoren 405, 415 zusammenzufassen und als Ganzes mittels der Übertragungsfunktion 420 auf den Ausgangstensor abzubilden.
Gemäß einer Ausführungsform können die Erfassungsraten der Bilderfassungseinheit zum Erfassen der Bilddaten und der Sensoreinheit zum Erfassen der Sensordaten gleich groß sein, und die Bilderfassungseinheit und die Sensoreinheit führen die Erfassung jeweils zu denselben Zeitpunkten durch.
Der Ausgangstensor 430 und entsprechend die Ausgangsschicht weist eine Dimension ent sprechend der enthaltenen Informationen auf. Der Ausgangstensor 430 enthält beispielswei se mindestens eine der folgenden Informationen: Vorhandensein mindestens eines Bearbei tungsfehlers, Art des Bearbeitungsfehlers, Position des Bearbeitungsfehlers auf einer Ober fläche eines bearbeiteten Werkstücks, Wahrscheinlichkeit für einen Bearbeitungsfehler ei ner bestimmten Art, räumliche und/oder flächige Ausdehnung des Bearbeitungsfehlers auf der Oberfläche des bearbeiteten Werkstücks, Ort und/oder Größe des Keyholes, Ort und/oder Größe und/oder Geometrie des Schmelzbades.
Der Ausgangstensor 430 kann an eine Steuereinheit des jeweiligen Laserbearbeitungsprozesses (nicht gezeigt) weitergeleitet werden. Mithilfe der im Ausgangstensor 430 enthaltenen Informationen kann die Steuereinheit den Laserbearbeitungsprozess anpassen, beispielsweise durch Anpassung verschiedener Parameter des Laserbearbeitungsprozesses.
Die Recheneinheit kann dazu eingerichtet sein, den Ausgangstensor 430 in Echtzeit zu bil den. Somit kann der Laserbearbeitungsprozess unter Verwendung des hierin beschriebenen Systems zur Überwachung eines Laserbearbeitungsprozesses unmittelbar gesteuert werden. Fig. 6 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes 600 gemäß einer weiteren Ausführungsform, das geeignet ist, um einen Eingangstensor, der aktuelle Sensor- und/oder Steuerdaten umfasst, auf einen Ausgangstensor abzubilden.
Gemäß der in Fig. 6 gezeigten Ausführungsform enthält der Eingangstensor 630 512 Mess werte oder Samples von 4 verschiedenen Typen von Sensordaten und/oder Steuerdaten, d.h. Prozessdaten, des Laserbearbeitungssystems. Die Sensordaten und Steuerdaten bilden direkt den Eingangstensor 630 des tiefen faltenden neuronalen Netzes. D.h. es findet zwischen dem Eingangstensor 630 und dem Ausgangstensor 640 eine sogenannte„end-to-end“- Abbildung oder -Analyse statt.
Die Eingangsschicht bzw. der Eingangstensor 630 besitzt also die Dimension 4 x 512.
Die Übertragungsfunktion, die durch das tiefe neuronale Netz gebildet ist, soll Informationen über einen aktuellen Bearbeitungsfehler enthalten, also einen Bearbeitungsfehler, der zu einem Zeitpunkt, der Aufnahme der Samples aufgetreten ist. Der Ausgangstensor 640 soll beispielsweise die Information„Fehler ja/nein“, Vorliegen von bzw. Wahrscheinlichkeit für Fehler„Loch“, Vorliegen von bzw. Wahrscheinlichkeit für Fehler„Spritzer“, Vorliegen von bzw. Wahrscheinlichkeit für Fehler„Spalt“, Vorliegen von bzw. Wahrscheinlichkeit für Fehler„Falscher Freund/Fehlende Durchschweißung“ enthalten. Damit besitzt der Ausgangstensor 640 bzw. die Ausgangsschicht die Dimension 1 x 5.
Demnach bildet das tiefe faltende neuronale Netz 600 gemäß der in Fig. 6 gezeigten Aus führungsform einen Eingangstensor 630 der Dimension 4 x 512 auf den Ausgangstensor 640 der Dimension 1 x 5 ab: R2048— »-R5.
Aus der Betrachtung des Ausgangstensors 640 bzw. dessen enthaltenen Werte kann wiederum anhand eines vorgegebenen Klassifikationsalgorithmus das bearbeitete Werkstück als „gut“ oder als„schlecht“ klassifiziert werden. D.h. das Werkstück kann je nach Situation als zum Verkauf oder zur Weiterverarbeitung geeignet („gut“) oder als Ausschuss bzw. dahin gehend klassifiziert werden, dass noch eine Nachbearbeitung erforderlich ist („schlecht“). Das tiefe faltende neuronale Netz 600 („Deep Convolutional Neural Net“), im Folgenden abgekürzt mit„CNN“, kann mehrere Faltungsschichten 610 umfassen, welche Faltungen mit mehreren Kernen durchfuhren. Ferner kann das CNN 600 eine„Fully-Connected“- Schicht oder -Block 620 und/oder einen„Leaky ReLu“-Block oder Schicht 650 aufweisen. Wie in Fig. 6 gezeigt umfasst das CNN beispielsweise 21 Faltungsschichten, wobei zumindest einige Faltungsschichten eine Normierung („Batch Normlization“) und Residual- Blöcke umfassen.
Fig. 7 zeigt ein Blockschaltbild eines tiefen faltenden neuronalen Netzes 700 gemäß einer Ausführungsform, das geeignet ist, um einen Eingangstensor, der aktuelle Bilddaten umfasst, auf einen Ausgangstensor abzubilden.
Beim tiefen faltenden neuronalen Netz 700 gemäß der in Fig. 7 gezeigten Ausführungsform umfasst der Eingangstensor 730 ein Bild des Werkstücks, beispielsweise des Bearbeitungsbereichs des Werkstücks, mit der Größe 512 x 512 Pixeln. D.h. die Eingangsschicht 730 weist die Dimension 512 x 512 auf.
Der Eingangstensor 730 enthält die erfassten Rohdaten der Bilddaten. Diese Rohbilddaten bilden direkt den Eingangstensor des tiefen faltenden neuronalen Netzes. D.h. es findet zwi schen dem Eingangstensor 730 und dem Ausgangstensor 740 eine sogenannte„end-to-end“- Abbildung oder -Analyse statt. Es werden also keine Merkmale des Keyholes oder des Schmelzbades in einem Zwischenschritt berechnet oder parametrisiert.
Die Übertragungsfunktion soll Informationen darüber liefern, ob das Keyhole vorhanden ist, und/oder Informationen über die Lage eines Schwerpunkts oder Mittelpunkts des Keyholes, über ein das Keyhole umrandendes Rechteck und/oder über ein das Schmelzbad umranden des Rechteck.
Damit enthält der Ausgangstensor 740 die Werte„Pkeyhole“ (Keyhole vorhanden/nicht vorhanden), „XKeyhole“ (Position des Schwer- bzw. Mittelpunkts des Keyholes in x- Richtung), „YKeyhole“ (Position des Schwer- bzw. Mittelpunkts des Keyholes in Y- Richtung),„dXKeyhole“ (Größe des Keyholes in x-Richtung),„dYKeyhole“ (Größe des Keyhole in Y-Richtung),„XSchmelzbad“ (Position des Schwer- bzw. Mittelpunkts des Schmelzbades in x-Richtung),„YSchmelzbad“ (Position des Schwer- bzw. Mittelpunkts des Schmelzbades in y-Richtung),„dXSchmelzbad“ (Größe des Schmelzbades in x-Richtung), und„dYSchmelzbad“ (Größe des Schmelzbades in y-Richtung). Der Ausgangstensor 740 bzw. die Ausgangsschicht umfasst damit 9 Werte und weist somit die Dimension 1 x 9 auf. Demnach bildet das neuronale Netz 700 gemäß der in Fig. 7 gezeigten Ausfuhrungsfonn den Eingangstensor 730 der Dimension 512x512 auf den Ausgangstensor 740 der Dimensi on 1x9 ab: R262l44^R9.
Wie in Fig. 7 gezeigt umfasst das CNN beispielsweise 34 Faltungsschichten 710, wobei zumindest einige Faltungsschichten eine Normierung („batch normlization“) und sogenann te Residual-Blöcke umfassen. Weiter weist das Konvolutionsnetz zwei sogenannte„Fully- Connected“-Schichten 720 auf. Das neuronale Netz 700 wird in der letzten Schicht 750 se- rialisiert und mittels sigmoidaler Aktivierungsfünktion auf den Ausgangstensor 740 abgebildet.
Indem die Ausgänge einer Schicht normiert werden, kann das Problem„explodierender“ oder„verschwindender“ Gradienten vermieden werden. Das Verhalten im Inferenz- Ablauf ist weniger anfällig auf Daten anderer Distributionen.
Üblicherweise beinhaltet die Normierung den Mittelwert und die Standardabweichung über einen„Minibatch“. Die Auswirkung davon ist eine Regulierung.
In einem trainierten tiefen faltenden neuronalen Netz werden gemäß einer Ausführungsform diese Parameter als Hyperparameter verwendet: „Batch Normalization“, „Accelarating Deep Network Training by Reducing Internal Covariate Shift“ (nach Sergey Ioffe, Christian Szegedy).
In Fig. 7 steht ein Block„Konvolution 32 3x3“ für einen Faltungsblock oder eine Faltungsschicht mit 32 verschiedenen 3x3 Faltungsfiltermasken. D.h. der Block„Konvolution 32 3x3“ erzeugt aus einem Eingangstensor 730 der Dimension m x n x c einen Tensor m x n x 32, m steht für die Höhe, n für die Breite, c für die Anzahl der Kanäle. Im Fall eines einka- naligen (c=l) Eingangstensors mit der Höhe m=512 und der Breite n=512 entsteht ein Ausgangstensor 740 der Dimension 512 x 512 x 32, der Ausgangstensor enthält also 32 Bilder der Dimension 512 x 512. Entsprechendes gilt für die anderen Faltungsblöcke.
Die Angabe ,,/2“ in einem Faltungsblock in Fig. 7 beschreibt einen„Stride“ von 2. D.h. der Filterkem wird um 2 Pixel weitergeschoben, damit wird die Dimension um die Hälfte reduziert. Die Angaben über den Blöcken, z.B.„512 x 512“ beschreiben jeweils die Dimension m x n des Tensors ohne die Kanalanzahl. Die Angabe„Residual-Block“ gibt an, dass auf das Ergebnis einer Ausgangsschicht (1+2) der Ausgang einer vorhergehenden Schicht (1) addiert wird, bevor der Wert über die Akti vierungsfunktion weitergegeben wird.
In Fig. 8 ist ein tiefes faltendes neuronales Netz zur Klassifikation Bilddaten und Prozessda ten dargestellt. Das neuronale Netz 800 umfasst gemäß einer Ausführungsform jeweils ein neuronales Netz 845, 855 gemäß den Ausführungsformen der Fig. 6 und 7. Das neuronale Netz 800 entsteht in diesem Fall durch eine Verkettung bzw. Kopplung bzw. Aneinander hängen mindestens einer voll verbundenen Schicht 830 („Fully Connected Layer“) und optional weiterer voll verbundenen Schichten 820 mit sogenannter mit „Leaky ReLu“- Aktivierungsfunktion. Die Abbildung der letzten voll verbundenen Schicht 830 auf den Ausgangstensor 840 kann durch eine sigmoidale Aktivierungsfunktion erfolgen. Die beiden Eingangstensoren 805, 815 der jeweiligen neuronalen Netze 845, 855 werden auf den Ausgangstensor 840 abgebildet, wobei der Ausgangstensor 840 die folgenden Komponenten aufweist : P(Fehler), P(Loch), P(Spritzer), P(Spalt), P(falscher Freund), „x_keyhole“, „y_keyhole“, „dx_keyhole“, „dy_keyhole“, „x_schmelzbad“, „y_schmelzbad“, „dx_schmelzbad“ und„dy_schmelzbad“. P steht dabei für die Wahrscheinlichkeit eines Bearbeitungsfehlers einer bestimmten Art. Der Ausgangstensor 840 des neuronalen Netzes 800 weist damit die Dimension 1 x 13 auf.
Das in den Ausführungsformen der Fig. 5 bis 8 verwendete neuronale Netz ist ein trainiertes bzw. angelerntes tiefes faltendes neuronales Netz. Mit anderen Worten hat das CNN anhand von Beispielen vor Auslieferung des Systems zur Erkennung von Bearbeitungsfehlem ge lernt, welches eine„gute“ und welches eine„schlechte“ bearbeitete Werkstückoberfläche ist, bzw. welches eine„gute“ und eine„schlechte“ Schweißung oder Lötung bzw. Schweißoder Lötnaht ist. Mit anderen Worten hat das CNN gelernt, eine bearbeitete Werkstückoberfläche als„gut“ oder als„schlecht“ zu klassifizieren, bzw. es hat gelernt, Bearbeitungsfehler zu erkennen, zu lokalisieren, ihrer Art nach zu klassifizieren und ihre Größe zu bestimmen.
Im Falle der In-Prozess-Überwachung soll das System zuverlässig bestimmen, ob die bear beitete Werkstückoberfläche Bearbeitungsfehler aufweist, oder welche geometrischen Ei genschaften der Bearbeitungsbereich aufweist. Es kann vorzugsweise erkennen, welche Fehler vorliegen (z.B. eine Pore, ein Loch, Auswurf, Spritzer, eine Anhaftung oder eine fehlende Durchschweißung bzw.„falscher Freund“), und kann möglicherweise auch den Bearbeitungsfehler lokalisieren und seine Größe auf der Werkstückoberfläche angeben. Um das CNN zu trainieren und die Hyperparameter einzustellen, werden dem CNN vorgegebe ne Eingangsdatensätze und entsprechende Ausgangstensoren bereitgestellt. Die vorgegebe- nen Eingangsdatensätze enthalten beispielsweise Sensor-, Bild- und/oder Steuerdaten des Laserbearbeitungsprozesses wie vorstehend beschrieben. Jedem vorgegebenen Eingangsdatensatz ist ein entsprechender vorgegebener Ausgangstensor oder Ergebnistensor zugeord net. Dieser Ausgangstensor enthält für den jeweiligen Eingangsdatensatz das gewünschte Ergebnis des CNN für den jeweiligen Laserbearbeitungsprozess.
Zum Trainieren des Netzes für Bild- und Prozessdaten gemäß der in Fig. 8 beschriebenen Ausführungsform werden Einzelnetze für Bilddaten und Prozessdaten verwendet. Nach dem Trainieren enthalten die letzten voll verbundenen Schichten die Darstellung der signifikanten Merkmale. Mit den so ermittelten Parametern der jeweiligen Einzelnetze werden diese wie beschrieben verkettet und nur noch die Schichten nach der Verkettung trainiert.
Mit anderen Worten, der entsprechende vorgegebene Ausgangstensor enthält Informationen über die Klassifikation der auf dem Ausschnitt der bearbeiteten Werkstückoberfläche vorhandenen Bearbeitungsfehler und/oder über die geometrischen Merkmale des Bearbeitungsbereichs. Diese Zuordnung von einem Ausgangstensor zu jedem vorgegebenen Eingangsdatensatz erfolgt manuell (sogenanntes„Labeling“ der erfassten Sensor-, Bild- und Steuerdaten). D.h. es erfolgt eine vorgegebene Zuordnung der Sensor-, Bild- und Steuerdaten auf das Ergebnis der Übertragungsfunktion. Beispielsweise wird in dem Ausgangstensor angegeben, ob in einem Laserbearbeitungsprozess, auf dem der Eingangsdatensatz basiert, ein Be arbeitungsfehler aufgetreten ist, welche Art von Fehler vorliegt, an welchem Ort auf der bearbeiteten Werkstückoberfläche, beispielsweise anhand eines zweidimensionalen Koordi natensystems mit x- und y-Koordinaten, der Bearbeitungsfehler vorliegt, und welche Größe in x- und y-Richtung der Bearbeitungsfehler, ob ein Keyhole und/oder ein Schmelzbad vorhanden ist, wo das Keyhole und/oder das Schmelzbad in Bezug zueinander oder zu einem aktuellen Bearbeitungspunkt liegen, welche Fläche und/oder welche Halbachsen das Keyhole und/oder das Schmelzbad aufweisen, etc..
Mittels Optimierungsverfahren wird anschließend die durch das CNN gebildete Übertragungsfunktionen ermittelt und in dem System 300, vorzugweise im Speicher der Rechen einheit 320, gespeichert. Das Optimierungsverfahren wird beispielsweise mit dem„Backpropagation“- Verfahren mit einer Adam Optimierung durchgeführt. Bei der Inferenz liefert das CNN die Zuordnung des Eingangsdatensatzes auf das Bearbeitungsergebnis.
Im trainierten Netz werden gemäß einer Ausführungsform diese Parameter als Hyperparameter verwendet:„Batch Normalization“,„Accelarating Deep Network Training by Redu- cing Internal Covariate Shift“ (nach Sergey Ioffe, Christian Szegedy). Das angelernte tiefe faltende neuronale Netz ist so konfiguriert, dass es mittels sogenanntem Transfer-Leaming an eine geänderte Situation oder an einen geänderten Laserbearbeitungs prozess angepasst werden kann. Das grundlegende Training des Netzes wird im Vorfeld vor der Inbetriebnahme des Systems durchgeführt. Bei Änderungen des Bearbeitungsprozesses nach Inbetriebnahme wird lediglich ein sogenanntes Transfer-Leaming durchgeführt. Die geänderte Situation kann beispielsweise darin liegen, dass sich die zu bearbeitenden Werk stücke verändern, z.B. bei einer Änderung des Werkstoffes. Auch kann sich die Dicke der Werkstückoberfläche oder die Materialzusammensetzung leicht verändern. Darüber hinaus können für die Bearbeitung des Werkstücks andere Prozessparameter verwendet werden. Dadurch können andere Bearbeitungsfehler auftreten. Beispielsweise kann sich die Wahrscheinlichkeit für die unterschiedlichen Arten von Bearbeitungsfehlem verändern oder die Bearbeitungsfehler können anders ausgebildet sein. D.h. das neuronale Netz muss an die veränderte Situation und die sich dadurch veränderten Bearbeitungsfehler angepasst werden.
Das Transfer-Leaming verläuft ähnlich wie das initiale Anlemen des neuronalen Netzes. Typischerweise werden bei Transfer-Leaming jedoch nur einige bestimmte Faltungsschichten des tiefen faltenden neuronalen Netzes angepasst, insbesondere die letzten zwei bis drei Faltungsschichten. Die Anzahl der Parameter des neuronalen Netzes, die verändert werden, ist hierbei wesentlich geringer als beim Trainieren bzw. Anlemen des neuronalen Netzes. Dadurch wird es ermöglicht, dass das Transfer-Leaming beim Kunden rasch abgeschlossen werden kann, typischerweise in weniger als einer Stunde. D.h. beim Transfer-Leaming wird nicht das gesamte neuronale Netz neu trainiert bzw. angelernt.
Die zum Transfer-Leaming nötigen Trainingsdaten kann das System 300 über die Schnittstelle 321 empfangen.
Die Trainingsdaten können Testdatensätze des geänderten Laserbearbeitungsprozesses umfassen, woraus die Recheneinheit beim Transfer-Leaming einen entsprechenden Eingangstensor bildet. Darüber hinaus umfassen die Trainingsdaten einen dem jeweiligen Testdaten satz zugeordneten, vorgegebenen Ausgangstensor, der Informationen über ein entsprechen des, zuvor von einem Experten bestimmtes Bearbeitungsergebnis des geänderten Laserbearbeitungsprozesses enthält.
Beispielsweise enthalten die Testdatensätze Sensordaten, die erfasst wurden, als während eines vorangegangenen Laserbearbeitungsprozesses ein Bearbeitungsfehler aufgetreten ist, und der zugeordnete Ausgangstensor enthält Informationen über den Fehler, beispielsweise die Fehlerart, die Position und die Ausdehnung des Bearbeitungsfehlers auf dem Werkstück.
Fig. 9 zeigt ein Verfahren zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks. Der erste Schritt 910 umfasst das Bestimmen eines Eingangstensors basierend auf aktuellen Daten des Laserbearbeitungsprozesses. In einem zweiten Schritt 920 wird basierend auf dem Eingangstensor mittels einer Übertragungsfunktion ein Ausgangstensor bestimmt, wobei der Ausgangstensor Informationen über ein aktuelles Bearbeitungsergebnis enthält. Die Übertragungsfunktion ist dabei vorgegeben und durch ein angelerntes neuronales Netz gebildet.
Das Verfahren zur Überwachung eines Laserbearbeitungsprozesses kann während einer laufenden Bearbeitung des Werkstücks durchgeführt werden. Gemäß einer Ausführungsform wird das Verfahren für die gesamte bearbeitete Werkstückoberfläche einmal durchlaufen.
Die Verwendung eines neuronalen Netzes, welches die Übertragungsfunktion bildet, hat den Vorteil, dass das System selbstständig erkennen kann, ob und welche Bearbeitungsfehler vorliegen. Demnach ist es nicht mehr notwendig, dass die empfangenen aktuellen Daten, wie beispielsweise die Bild- oder Sensordaten, vorverarbeitet werden müssen, um einer Fehlererkennung zugänglich zu sein. Weiterhin ist es nicht notwendig, aus den erfassten Daten Merkmale zu extrahieren, die die Bearbeitungsqualität bzw. etwaige Bearbeitungs fehler charakterisieren. Darüber hinaus ist es nicht erforderlich, zu entscheiden, welche extrahierten Merkmale für die Beurteilung der Bearbeitungsqualität bzw. die Klassifikation der Bearbeitungsfehler notwendig bzw. relevant sind. Auch ist es nicht erforderlich, eine Parametrisierung der extrahierten Merkmale zur Klassifikation der Bearbeitungsfehler anzugeben bzw. anzupassen. Die Bestimmung bzw. Beurteilung der Bearbeitungsqualität bzw. der Bearbeitungsfehler durch das Laserbearbeitungssystem wird dadurch vereinfacht. Die genannten Schritte müssen nicht durch Experten der Laserbearbeitung durchgeführt oder begleitet werden.

Claims

Patentansprüche
1. System (300) zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks (1), umfassend:
eine Recheneinheit (320), die eingerichtet ist, basierend auf aktuellen Daten des La serbearbeitungsprozesses einen Eingangstensor zu bestimmen und basierend auf dem Eingangstensor mittels einer Übertragungsfunktion einen Ausgangstensor zu bestimmen, der Informationen über ein aktuelles Bearbeitungsergebnis enthält,
wobei die Übertragungsfunktion zwischen dem Eingangstensor und dem Ausgangstensor durch ein angelerntes neuronales Netz gebildet ist.
2. System (300) gemäß Anspruch 1, wobei die aktuellen Daten des Laserbearbeitungsprozesses aktuelle Bilddaten und/oder aktuelle Prozessdaten des Laserbearbeitungsprozesses umfassen,
wobei die aktuellen Prozessdaten aktuelle Sensordaten und/oder aktuelle Steuerdaten umfassen.
3. System (300) gemäß einem der vorstehenden Ansprüche, wobei der Eingangstensor aktuelle Daten des Laserbearbeitungsprozesses als Rohdaten umfasst oder daraus besteht.
4. System (300) gemäß einem der vorhergehenden Ansprüche, wobei die aktuellen Daten des Laserbearbeitungsprozesses zumindest eines der folgenden umfassen: eine Tem peratur, eine Plasmastrahlung, eine Laserleistung, eine Intensität von reflektiertem oder zu rückgestreutem Laserlicht, eine Wellenlänge von reflektiertem oder zurückgestreutem Laserlicht, einem Abstand eines den Laserbearbeitungsprozess ausfuhrenden Laserbearbeitungskopfes zum Werkstück, eine Keyhole-Tiefe, eine Fokuslage, ein Fokusdurchmesser, ein Bahnsignal, und/oder ein Bild einer Oberfläche des Werkstücks.
5. System (300) gemäß einem der vorhergehenden Ansprüche, ferner umfassend
zumindest eine Sensoreinheit (330) zum Erfassen von aktuellen Sensordaten des
Laserbearbeitungsprozesses während des Laserbearbeitungsprozesses, und/oder
eine Bilderfassungseinheit (310) zum Erfassen von aktuellen Bilddaten eines Bearbeitungsbereichs des Werkstücks (1) während des Laserbearbeitungsprozesses.
6. System (300) gemäß einem der vorstehenden Ansprüche, wobei das angelernte neu ronale Netz ein Einzelnetz für Prozessdaten und ein Einzelnetz für Bilddaten umfasst, die zumindest über eine gemeinsame Ausgangsschicht gekoppelt sind, wobei das angelernte neuronale Netz eingerichtet ist, einen Eingangstensor für Pro zessdaten und einen Eingangstensor für Bilddaten auf einen gemeinsamen Ausgangstensor abzubilden.
7. System (300) gemäß Anspruch 6, wobei die mindestens eine Ausgangsschicht mindestens eine voll verbundene Schicht umfasst.
8. System (300) gemäß Anspruch 6 oder 7, wobei der Eingangstensor für Prozessdaten auf einer Vielzahl von Samples basiert, und der Eingangstensor für Bilddaten ein Bild um fasst, wobei das Bild den Samples des Eingangstensors für Prozessdaten zeitlich entspricht.
9. System (300) gemäß einem der vorstehenden Ansprüche, wobei das Bearbeitungser gebnis Informationen über einen Bearbeitungsfehler und/oder einen Bearbeitungsbereich des Werkstücks (1) umfasst.
10. System (300) gemäß einem der vorstehenden Ansprüche, wobei der Ausgangstensor eine der folgenden Informationen enthält: Vorhandensein mindestens eines Bearbeitungsfehlers, Art des Bearbeitungsfehlers, Position des Bearbeitungsfehlers auf einer Oberfläche eines bearbeiteten Werkstücks, Wahrscheinlichkeit für einen Bearbeitungsfehler einer bestimmten Art, und räumliche und/oder flächige Ausdehnung des Bearbeitungsfehlers auf der Oberfläche des bearbeiteten Werkstücks.
11. System (300) gemäß einem der vorhergehenden Ansprüche, wobei die Recheneinheit (320) eingerichtet ist, den Ausgangstensor in Echtzeit zu bilden und Regelungsdaten an ein den Laserbearbeitungsprozess durchführendes Laserbearbeitungssystem (100) auszuge ben.
12. System (300) gemäß einem der vorhergehenden Ansprüche, wobei das angelernte neuronale Netz mittels Transfer-Leaming basierend auf Trainingsdaten an einen geänderten Laserbearbeitungsprozess anpassbar ist.
13. System (300) gemäß Anspruch 12, wobei die Trainingsdaten umfassen:
Testdaten des geänderten Laserbearbeitungsprozesses zum Bestimmen eines ent sprechenden Eingangstensors, und
einen den jeweiligen Testdaten zugeordneten, vorgegebenen Ausgangstensor, der Informationen über ein entsprechendes, zuvor bestimmtes Bearbeitungsergebnis des geän derten Laserbearbeitungsprozesses enthält.
14 Laserbearbeitungssystem (100) zur Bearbeitung eines Werkstücks (1) mittels eines Laserstrahls, wobei das Laserbearbeitungssystem (100) umfasst:
einen Laserbearbeitungskopf (101) zum Einstrahlen eines Laserstrahls (10) auf ein zu bearbeitendes Werkstück (1); und
ein System (300) gemäß den vorstehenden Ansprüchen.
15. Verfahren (800) zur Überwachung eines Laserbearbeitungsprozesses zur Bearbeitung eines Werkstücks, das Verfahren umfassend die Schritte:
Bestimmen (810) eines Eingangstensors, basierend auf aktuellen Daten des Laserbearbeitungsprozesses, und
Bestimmen (820) eines Ausgangstensors, basierend auf dem Eingangstensor mittels einer Übertragungsfunktion, wobei der Ausgangstensor Informationen über ein aktuelles Bearbeitungsergebnis enthält,
wobei die Übertragungsfunktion zwischen dem Eingangstensor und dem Ausgangstensor durch ein angelerntes neuronales Netz gebildet ist.
PCT/EP2019/077485 2018-11-22 2019-10-10 Überwachung eines laserarbeitungsprozesses mithilfe von tiefen faltenden neuronalen netzen WO2020104103A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020217018693A KR102611342B1 (ko) 2018-11-22 2019-10-10 심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법
EP19789615.2A EP3883715A1 (de) 2018-11-22 2019-10-10 Überwachung eines laserarbeitungsprozesses mithilfe von tiefen faltenden neuronalen netzen
US17/295,904 US12013670B2 (en) 2018-11-22 2019-10-10 Monitoring a laser machining process using deep folding neural networks
CN201980089975.7A CN113329836A (zh) 2018-11-22 2019-10-10 借助深度卷积神经网络监测激光加工过程
JP2021528414A JP2022509143A (ja) 2018-11-22 2019-10-10 ディープ畳込みニューラルネットワークを使用するレーザ加工プロセスの監視
JP2024053110A JP2024083389A (ja) 2018-11-22 2024-03-28 ディープ畳込みニューラルネットワークを使用するレーザ加工プロセスの監視

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018129441.7A DE102018129441B4 (de) 2018-11-22 2018-11-22 System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses
DE102018129441.7 2018-11-22

Publications (1)

Publication Number Publication Date
WO2020104103A1 true WO2020104103A1 (de) 2020-05-28

Family

ID=68281408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/077485 WO2020104103A1 (de) 2018-11-22 2019-10-10 Überwachung eines laserarbeitungsprozesses mithilfe von tiefen faltenden neuronalen netzen

Country Status (7)

Country Link
US (1) US12013670B2 (de)
EP (1) EP3883715A1 (de)
JP (2) JP2022509143A (de)
KR (1) KR102611342B1 (de)
CN (1) CN113329836A (de)
DE (1) DE102018129441B4 (de)
WO (1) WO2020104103A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3885069A1 (de) * 2020-03-25 2021-09-29 Bystronic Laser AG Qualitätskontrolle eines laserbearbeitungsprozesses mittels maschinellem lernen
KR20230015234A (ko) * 2021-07-22 2023-01-31 울산과학기술원 금속 3d 프린터 모니터링 방법, 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
WO2023031353A1 (de) * 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche intelligenz bei der laserbearbeitung
CN116133785A (zh) * 2020-09-18 2023-05-16 百超激光有限公司 用于通过优化工具改进激光切割工艺参数的计算机实现的方法和优化工具
RU2802922C2 (ru) * 2021-12-09 2023-09-05 Общество с ограниченной ответственностью "Завод технологических источников" Способ контроля качества электродуговой сварки в режиме реального времени и устройство для его осуществления

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537111B2 (en) * 2020-04-01 2022-12-27 General Electric Company Methods and apparatus for 2-D and 3-D scanning path visualization
DE102020112116A1 (de) 2020-05-05 2021-11-11 Precitec Gmbh & Co. Kg Verfahren zum Analysieren eines Laserbearbeitungsprozesses, System zum Analysieren eines Laserbearbeitungsprozesses und Laserbearbeitungssystem mit einem solchen System
DE102020123479A1 (de) * 2020-09-09 2022-03-10 Precitec Gmbh & Co. Kg Verfahren zur Zustandsüberwachung eines Laserbearbeitungskopfes und Laserbearbeitungssystem zum Durchführen desselben
DE102020211343A1 (de) 2020-09-10 2022-03-10 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum Laserschweißen mittels eines in einer Doppelkernfaser geführten Laserstrahls sowie zugehörige Laserschweißmaschine und Computerprogrammprodukt
DE102021107544B4 (de) 2021-03-25 2023-01-05 Precitec Gmbh & Co. Kg Verfahren zur Normierung von Sensorsignalen für die Überwachung eines Laserbearbeitungsprozesses, Verfahren zum Überwachen eines Laserbeitungsprozesses und Laserbearbeitungssystem
DE102021111349A1 (de) 2021-05-03 2022-11-03 Precitec Gmbh & Co. Kg Verfahren zum Überwachen eines Laserschweißprozesses und dazugehöriges Laserschweißsystem
DE102021121112A1 (de) * 2021-08-13 2023-02-16 Precitec Gmbh & Co. Kg Analysieren eines Laserbearbeitungsprozesses basierend auf einem Spektrogramm
DE102021127016A1 (de) 2021-10-19 2023-04-20 Precitec Gmbh & Co. Kg Prozesssignalrekonstruktion und Anomalie-Detektion bei Laserbearbeitungsprozessen
CN114453733B (zh) * 2022-01-29 2024-05-31 苏州富润泽激光科技有限公司 一种振镜焊接控制方法及系统
US20230302539A1 (en) * 2022-03-25 2023-09-28 General Electric Company Tool for scan path visualization and defect distribution prediction
KR20240109515A (ko) * 2023-01-04 2024-07-11 에스케이온 주식회사 용접 품질을 예측하는 장치 및 방법
DE102023103439A1 (de) * 2023-02-13 2024-08-14 TRUMPF Laser- und Systemtechnik SE Computergestütztes Verfahren
CN117884786B (zh) * 2024-03-15 2024-05-28 哈尔滨工业大学（威海） 一种锡球激光焊接缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19957163C1 (de) * 1999-11-27 2001-08-09 Thyssenkrupp Stahl Ag Verfahren und Vorrichtung zur Qualitätskontrolle der Naht an mit einem Laser stumpf geschweißten Blechen oder Bändern
WO2010057661A1 (de) * 2008-11-21 2010-05-27 Precitec Kg Verfahren und vorrichtung zur überwachung eines an einem werkstück durchzuführenden laserbearbeitungsvorgangs sowie laserbearbeitungskopf mit einer derartigen vorrichtung
WO2011009594A1 (de) * 2009-07-20 2011-01-27 Precitec Kg Laserbearbeitungskopf und verfahren zur kompensation der fokuslagenänderung bei einem laserbearbeitungskopf
US20150001196A1 (en) * 2013-07-01 2015-01-01 Electronics And Telecommunications Research Institute Apparatus and method for monitoring laser welding bead
DE102017101223A1 (de) * 2016-01-28 2017-08-03 Fanuc Corporation Maschinenlernvorrichtung zum lernen von Bedinungen zum Starten von Laser-Bearbeitung, Laservorrichtung und Maschinenlernverfahren

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05233585A (ja) * 1992-02-24 1993-09-10 Hitachi Ltd 設備異常診断方法
JP2001276980A (ja) 2000-03-30 2001-10-09 Matsushita Electric Ind Co Ltd 接合装置
US9355441B2 (en) 2010-06-28 2016-05-31 Precitec Kg Method for closed-loop controlling a laser processing operation and laser material processing head using the same
EP3329433A1 (de) * 2015-07-29 2018-06-06 Illinois Tool Works Inc. System und verfahren zur ermöglichung einer schweisssoftware als dienstleistung
JP6404893B2 (ja) 2016-12-22 2018-10-17 ファナック株式会社 工具寿命推定装置
JP6487475B2 (ja) 2017-02-24 2019-03-20 ファナック株式会社 工具状態推定装置及び工作機械
JP6490124B2 (ja) 2017-03-07 2019-03-27 ファナック株式会社 レーザ加工装置および機械学習装置
CN108346151A (zh) 2018-03-12 2018-07-31 湖南大学 一种判断激光焊接熔透性的方法
DE102018129425B4 (de) * 2018-11-22 2020-07-30 Precitec Gmbh & Co. Kg System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19957163C1 (de) * 1999-11-27 2001-08-09 Thyssenkrupp Stahl Ag Verfahren und Vorrichtung zur Qualitätskontrolle der Naht an mit einem Laser stumpf geschweißten Blechen oder Bändern
WO2010057661A1 (de) * 2008-11-21 2010-05-27 Precitec Kg Verfahren und vorrichtung zur überwachung eines an einem werkstück durchzuführenden laserbearbeitungsvorgangs sowie laserbearbeitungskopf mit einer derartigen vorrichtung
WO2011009594A1 (de) * 2009-07-20 2011-01-27 Precitec Kg Laserbearbeitungskopf und verfahren zur kompensation der fokuslagenänderung bei einem laserbearbeitungskopf
US20150001196A1 (en) * 2013-07-01 2015-01-01 Electronics And Telecommunications Research Institute Apparatus and method for monitoring laser welding bead
DE102017101223A1 (de) * 2016-01-28 2017-08-03 Fanuc Corporation Maschinenlernvorrichtung zum lernen von Bedinungen zum Starten von Laser-Bearbeitung, Laservorrichtung und Maschinenlernverfahren

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3885069A1 (de) * 2020-03-25 2021-09-29 Bystronic Laser AG Qualitätskontrolle eines laserbearbeitungsprozesses mittels maschinellem lernen
WO2021190889A1 (en) * 2020-03-25 2021-09-30 Bystronic Laser Ag Quality control of a laser machining process using machine learning
US11651484B2 (en) 2020-03-25 2023-05-16 Bystronic Laser Ag Quality control of a laser machining process using machine learning
CN116133785A (zh) * 2020-09-18 2023-05-16 百超激光有限公司 用于通过优化工具改进激光切割工艺参数的计算机实现的方法和优化工具
KR20230015234A (ko) * 2021-07-22 2023-01-31 울산과학기술원 금속 3d 프린터 모니터링 방법, 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
KR102532753B1 (ko) * 2021-07-22 2023-05-16 울산과학기술원 금속 3d 프린터 모니터링 방법, 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
WO2023031353A1 (de) * 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche intelligenz bei der laserbearbeitung
RU2802922C2 (ru) * 2021-12-09 2023-09-05 Общество с ограниченной ответственностью "Завод технологических источников" Способ контроля качества электродуговой сварки в режиме реального времени и устройство для его осуществления

Also Published As

Publication number Publication date
KR20210091789A (ko) 2021-07-22
US20220011726A1 (en) 2022-01-13
JP2024083389A (ja) 2024-06-21
DE102018129441B4 (de) 2023-11-16
CN113329836A (zh) 2021-08-31
EP3883715A1 (de) 2021-09-29
DE102018129441A1 (de) 2020-05-28
US12013670B2 (en) 2024-06-18
JP2022509143A (ja) 2022-01-20
KR102611342B1 (ko) 2023-12-06

Similar Documents

Publication Publication Date Title
DE102018129441B4 (de) System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
EP2365890B1 (de) Verfahren und vorrichtung zur überwachung eines an einem werkstück durchzuführenden laserbearbeitungsvorgangs sowie laserbearbeitungskopf mit einer derartigen vorrichtung
DE102014208768B4 (de) Verfahren und Vorrichtung zur Qualitätssicherung
DE102012219187B4 (de) System zur binären Klassifikation von interessierenden Elementen in einem reproduzierbaren Prozess
WO2021224255A1 (de) Verfahren zum analysieren eines laserbearbeitungsprozesses, system zum analysieren eines laserbearbeitungsprozesses und laserbearbeitungssystem mit einem solchen system
EP2886239B1 (de) Verfahren und vorrichtung zur überwachung und regelung der bearbeitungsbahn bei einem laser-fügeprozess
DE102019114012A1 (de) Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse
EP3768454B1 (de) Verfahren zur automatischen ermittlung optimaler schweissparameter für die durchführung einer schweissung an einem werkstück
DE102013109915A1 (de) Verfahren und Vorrichtung zur Überprüfung eines Inspektionssystems zur Erkennung von Oberflächendefekten
DE202014010601U1 (de) Systeme zum Erzeugen oder Modifizieren einer Schweisssequenz
DE102019209088A1 (de) Verfahren zum Bewerten einer Laserschnittkante, mobiles Endgerät und System
DE102014207095A1 (de) Kantenmessungs-Videowerkzeug mit robustem Kantenunterscheidungs-Spielraum
EP3885069A1 (de) Qualitätskontrolle eines laserbearbeitungsprozesses mittels maschinellem lernen
WO2021069346A1 (de) Laserbearbeitungssystem zum durchführen eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls und verfahren zur überwachung eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls
DE102019209376A1 (de) Vorrichtung und Verfahren zur Überwachung eines Laserbearbeitungsprozesses, Verwendung einer ereignisbasierten Kamera, Computerprogramm und Speichermedium
EP4119284A1 (de) Kalibrierung eines qualitätsschätzers für ein laserschneidverfahren
EP3961559B1 (de) Verfahren und vorrichtung zum ermitteln von defekten während eines oberflächenmodifizierungsverfahrens
DE102011085677A1 (de) Verfahren und Vorrichtung zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs
WO2023017178A1 (de) Verfahren und system zum analysieren eines laserbearbeitungsprozesses basierend auf einem spektrogramm
DE102021120435A1 (de) Verfahren und Vorrichtung zum Ermitteln der Größe von Defekten während eines Oberflächenmodifizierungsverfahrens
DE102020100345B4 (de) System und Verfahren zum Überwachen eines Laserbearbeitungsprozesses sowie dazugehöriges Laserbearbeitungssystem
DE102018220342A1 (de) Verfahren zur Überwachung eines Laserbearbeitungsprozesses an einem oder mehreren Werkstücken
DE102023103439A1 (de) Computergestütztes Verfahren
EP4368330A1 (de) Steuerung einer laserschneidmaschine mittels luftschallsignalen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19789615

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528414

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217018693

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019789615

Country of ref document: EP

Effective date: 20210622