WO2021069346A1 - Laserbearbeitungssystem zum durchführen eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls und verfahren zur überwachung eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls - Google Patents

Laserbearbeitungssystem zum durchführen eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls und verfahren zur überwachung eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls Download PDF

Info

Publication number
WO2021069346A1
WO2021069346A1 PCT/EP2020/077780 EP2020077780W WO2021069346A1 WO 2021069346 A1 WO2021069346 A1 WO 2021069346A1 EP 2020077780 W EP2020077780 W EP 2020077780W WO 2021069346 A1 WO2021069346 A1 WO 2021069346A1
Authority
WO
WIPO (PCT)
Prior art keywords
hyperspectral
sensor
workpiece
laser
radiation
Prior art date
Application number
PCT/EP2020/077780
Other languages
English (en)
French (fr)
Inventor
Joachim Schwarz
Original Assignee
Precitec Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Precitec Gmbh & Co. Kg filed Critical Precitec Gmbh & Co. Kg
Priority to CN202080070835.8A priority Critical patent/CN114502313A/zh
Priority to US17/767,642 priority patent/US20240100626A1/en
Publication of WO2021069346A1 publication Critical patent/WO2021069346A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/36—Removing material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2813—2D-array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • Laser machining system for performing a machining process on a workpiece by means of a laser beam and method for monitoring a machining process on a workpiece by means of a laser beam
  • the present disclosure relates to a laser machining system for performing a machining process on a workpiece, in particular on a metallic workpiece, by means of a laser beam and a method for monitoring a machining process on a workpiece, in particular on a metallic workpiece, by means of a laser beam.
  • the present disclosure relates in particular to a laser processing system with a sensor unit which is set up to acquire a hyperspectral image from an area of the workpiece, and to a method in which a hyperspectral image is acquired from an area of a workpiece.
  • a laser processing system for processing a workpiece by means of a laser beam
  • the laser beam emerging from a laser light source or one end of a laser guide fiber is focused or bundled onto the workpiece to be processed with the aid of beam guidance and focusing optics.
  • the processing can include, for example, laser cutting, soldering or welding.
  • the laser processing system can comprise a laser processing device, for example a laser processing head, for example a laser cutting head or a laser welding head. Particularly when laser welding or soldering a workpiece, it is important to monitor the welding or soldering process in order to be able to assess and ensure the quality of the processing. This includes the detection and classification of machining errors.
  • Current solutions for process monitoring and quality assessment include so-called “pre-process”, “in-process” and “post-process” inspection or monitoring.
  • the pre-process monitoring has the task of detecting a joint gap between two joint partners or workpieces in order to guide the laser beam to the appropriate position and to determine the offset of the joint partners. In most cases, triangulation systems are used for this.
  • the post-process inspection is used in particular for process monitoring and quality assessment, for example to detect processing errors.
  • the aim of the post-process inspection is to reliably locate and identify all defects or processing errors.
  • the post-process inspection of welded and soldered seams takes place typically by means of image processing, in which 2D images showing the welds or solder seams on the surface of a machined workpiece are analyzed. For example, in the case of laser welding, the resulting weld seam can be inspected and measured or analyzed in accordance with applicable standards (eg SEL100). On the basis of the captured images, features are then extracted and classified which represent or describe the processing quality, in particular the quality of the welded and soldered seams.
  • applicable standards eg SEL100
  • machining errors such as holes or pores in the workpiece surface
  • the machined workpiece is rated as “good” (ie suitable for further processing or sale) or as “bad” (ie as Scrap) marked or classified.
  • good ie suitable for further processing or sale
  • bad ie as Scrap
  • Which significant features can be used to evaluate the quality of the laser processing and what influence these features then have on the evaluation of the quality can only be decided and implemented by experts in the field, since the complexity of these systems is very high due to the number of parameters to be set is high. In current systems, up to 300 parameters are set for this purpose (so-called "parameterization").
  • Parameterization the use of post-process inspection for quality assessment and classification increases the costs, the integration effort and the effort for the maintenance of the laser processing systems.
  • the in-process inspection or monitoring is typically used for the continuous monitoring of a laser machining process and takes place while the laser machining process is being carried out.
  • measurement signals of various measured variables of the laser machining process are recorded and assessed, in particular radiation that is emitted or reflected by the workpiece while the machining process is being carried out, for example plasma radiation, backscattered laser power and temperature radiation.
  • radiation is emitted or reflected in a wide range between 400 nm and 1800 nm.
  • the signals are not recorded or processed in a spatially resolved manner and / or not in a wavelength-resolved manner.
  • Existing solutions for in-process monitoring use diodes that detect the emitted or reflected radiation in narrow-band wavelength ranges and output them as a measurement signal. For example, a Si diode for detection in the range between 400 nm and 800 nm, an InGaAs diode for detection in the range between 800 nm and 1200 nm and another InGaAs or Ger diode for detection in the Range between 1200 nm and 2000 nm used.
  • Process-dependent areas with appropriate optical filters can also be selected from these wavelength ranges. For example, depending on the type of laser used, the wavelength range between 1020 nm and 1090 nm is filtered or attenuated. Wavelength ranges outside the detection ranges of the diodes and the optical filters are not detected. A location-dependent representation of the intensities is also not possible with diodes.
  • the intensity curves recorded with the diodes are filtered and checked for exceeding threshold values.
  • the filter parameters and threshold values are set separately for each wavelength range. The detection and evaluation of individual wavelength ranges is therefore independent of the other wavelength ranges. Conclusions about certain types of defects, such as a gap between the components to be connected, a missing weld, a defective weld, the formation of pores or an offset of the weld to the joining edge cannot be made with a separate assessment or classification of the intensity curves in defined wavelength ranges be pulled reliably.
  • a regulation of the laser machining process based on the individually recorded and evaluated wavelength ranges cannot usually be implemented either, since the relationships between the individual measurement signals and the manipulated variables or machining parameters of the laser machining process are not sufficiently known. In particular, the dependencies of the manipulated variables on the recorded signals are not clear. In other words, the relationship between the manipulated variables of the laser machining process, for example the focus position, the distance and position of the laser machining head to the joint, the feed speed, the laser power and amount of gas supply, possibly also the wire feed speed and the measurement signals, is not clearly known or recognizable. Also, the complete information about the state of the laser machining process may not be contained in the measurement signals. It is therefore not possible to regulate the laser welding process.
  • the invention is based on the idea of monitoring a laser machining process, in particular a laser welding or laser cutting process, using a hyperspectral sensor, in particular a hyperspectral camera.
  • a hyperspectral sensor in particular a hyperspectral camera.
  • at least one hyper-spectral sensor captures, preferably continuously, hyperspectral images of a region of a workpiece.
  • the acquired hyperspectral images cover a spectrum in each pixel a wide range of wavelengths of radiation emitted or reflected by the workpiece while it is being carried out, which can be briefly referred to as "outgoing radiation".
  • the outgoing radiation can in particular comprise emitted process radiation, for example temperature radiation and plasma radiation, as well as reflected light from the laser beam.
  • the captured hyperspectral images describe or fully characterize the laser machining process.
  • the hyperspectral images can serve as input data for image processing by a deep neural network, which based on this continuously, preferably in real time, calculates an output vector that contains information about the machining process, for example information about a state of the laser machining process or about a machining result or about a machining error in the workpiece.
  • the output vector can be used to assess the quality of the machining process, in particular to assess laser weld seams and solder seams.
  • the output vector can also be used to control the laser machining process.
  • a hyperspectral sensor such as a hyperspectral camera
  • the use of a hyperspectral sensor thus simplifies the acquisition of images of a region of the workpiece in different wavelength bands or spectral bands.
  • the spatially resolved and spectrally resolved or wavelength-resolved acquisition of radiation from a region of the workpiece thus enables precise data acquisition for monitoring and regulating the machining process.
  • the use of a large number of diodes, beam splitters and / or filters or complex filter cascades can thus be avoided.
  • the hyper spectral images can be used as so-called snapshot recordings, with all data of a hyperspectral image being recorded simultaneously.
  • the hyperspectral images can be recorded in what is known as a push-broom method, in which, for example, all pixel lines of the hyperspectral sensor are recorded simultaneously in a different wavelength band and then the hyperspectral sensor and the workpiece area relative to one another in the y-direction or Row direction of the sensor pixels are shifted so that the pixel rows are successively recorded in all wavelength bands.
  • the pixels of a pixel row are arranged along a first direction, also referred to as the x direction or column direction.
  • a laser machining system for performing a machining process on a workpiece by means of a laser beam
  • the laser machining system comprising: a laser machining head for irradiating the laser beam into a machining area on the workpiece; and a sensor unit for monitoring the machining process with at least one Hyperspectral sensor, the sensor unit being set up to capture a hyperspectral image with N by M pixels of an area of the workpiece, each of which includes L different values in one spectral dimension, the hyperspectral image having two spatial dimensions x and y as well as the spectral dimension l and where N a number of pixels in the first spatial dimension x, M a number of pixels in the second spatial dimension y, and L the number of spectral bands in the spectral dimension l of the hyperspectral image, where M, N and L indicate are natural numbers.
  • a method for monitoring a machining process on a workpiece by means of a laser beam comprising the following steps: irradiating the laser beam into a machining area on the workpiece, acquiring a hyperspectral image with N by M pixels of a region of the workpiece, each pixel L comprising different values in a spectral dimension l, the hyperspectral image having two spatial dimensions x and y and the spectral dimension l, and where N is a number of pixels in the first spatial dimension x, M a number of pixels in the second spatial dimension y, and L the number of spectral bands in the spectral dimension l of the hyperspectral image, where M, N and L are natural numbers.
  • the area of the workpiece captured in the hyperspectral image can include at least one of the following areas on the workpiece: the current machining area of the laser machining process, an area in the lead of the laser beam, an area in the wake of the laser beam, an area still to be machined and a machined area .
  • the current machining area refers to an area of the workpiece into which the laser beam is irradiated.
  • the area of the workpiece detected can include at least one of the following areas: a vapor capillary, a molten bath, a solidified melt, a joining edge between two workpieces to be welded together, and a seam bead.
  • the hyperspectral sensor can accordingly be aligned with the area of the workpiece to be recorded in the hyperspectral image.
  • the hyperspectral image can be used for pre-process, in-process and / or post-process monitoring.
  • the laser processing system thus comprises a sensor unit which is set up to acquire and output a hyperspectral image of a region of a workpiece.
  • the sensor unit can be set up to detect radiation emanating from the area of the workpiece, for example emitted process radiation and / or reflected or returned radiation. to detect scattered radiation, in particular reflected or backscattered laser radiation, and output it as a hyperspectral image.
  • the sensor unit can in particular be set up to detect at least one of the following types of radiation: temperature radiation, radiation in the infrared range of light, radiation in the near infrared range of light, radiation in the visible range of light, plasma radiation, reflected or backscattered light from (processing -) Laser beam, and light irradiated and reflected by an illumination source, such as irradiated and reflected measuring light from a coherence tomograph.
  • the hyperspectral image includes a plurality of pixels.
  • the hyper spectral image comprises N by M pixels, the hyperspectral image having two spatial dimensions x and y and a spectral dimension l, and where N is a number of pixels in the first spatial dimension x and M is a number of pixels in the second spatial dimension y indicates.
  • Each of the pixels comprises L values in the spectral dimension l, where L indicates a number of spectral bands in the spectral dimension l of the hyperspectral image.
  • the first spatial dimension x and the second spatial dimension y can correspond to two Cartesian directions of the area of the workpiece. Accordingly, each of the N by M pixels can correspond to a point in the detected area of the workpiece.
  • Each of the L values of a pixel corresponds to a recorded radiation intensity, or “intensity” for short, the radiation emanating from the corresponding point of the recorded area of the workpiece in the respective spectral band.
  • the hyperspectral image can thus indicate a spectral distribution within the wavelength range covered by the spectral bands of the radiation emanating from the recorded region of the workpiece.
  • the acquired hyperspectral image accordingly preferably corresponds to a spatially resolved as well as wavelength resolved image of the workpiece area.
  • the sensor unit can thus replace several individual sensors or an arrangement of individual sensors, in particular several diodes, according to the prior art.
  • the hyperspectral image can also be referred to as a hyperspectral cube or cube.
  • the hyperspectral image can also be viewed as L individual images, each of the individual images having a resolution of N by M pixels and corresponding to a detected intensity of the radiation emanating from the area of the workpiece in one of the L spectral bands. This can be the case in particular for a so-called mosaic sensor.
  • the hyperspectral image can, however, be viewed as M individual images, with each of the individual images having a resolution of N times L and each of the L lines of an individual image corresponds to a detected intensity of the radiation emanating from the corresponding line of the area of the workpiece in the respective one of the L spectral bands.
  • the hyperspectral image can also be referred to as a hyperspectral cube, the hyperspectral cube having N by M by L or N by L by M elements or values.
  • the data output of the sensor unit can take place in the form of a 3D data cube with two spatial dimensions and one spectral dimension.
  • the hyperspectral cube can also be referred to as a hyperspectral data cube or, analogous to a 3-channel RGB image, an L-channel hyperspectral image.
  • the number of spectral bands L can be equal to or greater than 16, preferably equal to or greater than 20, preferably equal to or greater than 25, particularly preferably equal to or greater than 100.
  • the spectral bands in the spectral dimension l can be of the same size and / or evenly distributed over a wavelength range of the detected radiation and / or adjacent to one another and / or consecutive.
  • the spectral bands preferably do not overlap.
  • the sensor unit can be set up to acquire hyperspectral images continuously or to acquire one hyperspectral image per predefined time interval.
  • the sensor unit can be designed to detect all L values for all of the N by M pixels of the hyperspectral image essentially simultaneously.
  • the hyperspectral image can be recorded as a snapshot or snap-shot, the intensities being recorded simultaneously in all spectral bands for all pixels.
  • the acquired hyper-spectral image accordingly preferably corresponds to a spatially resolved as well as wavelength-resolved image of the workpiece area at a specific point in time.
  • the intensity of the radiation can be recorded simultaneously in all spectral bands and for the entire recorded area of the workpiece. This means that the laser processing process can be precisely monitored.
  • the hyperspectral sensor can comprise a mosaic filter with L different optical bandpass filters.
  • Each optical bandpass filter can have a passband corresponding to one of the spectral bands in the spectral dimension l.
  • 4x4 or 5x5 optical mosaic filters can be arranged on the pixels of the hy perspectral sensor, the individual bandpass filter of the mosaic filter being arranged on a corresponding pixel.
  • Each pixel of the hyperspectral sensor therefore records a pass filter filtered intensity of the outgoing radiation.
  • the hyperspectral sensor with a 4x4 mosaic filter 16 bandpass-filtered images are created
  • 25 bandpass-filtered images of the hyperspectral image are created.
  • the hyperspectral sensor can have a line-based filter with L different optical bandpass filters.
  • Each optical band pass filter can have a pass region corresponding to one of the spectral bands in the spectral dimension l.
  • the L different optical bandpass filters can be arranged on the pixel lines of the hyperspectral sensor.
  • the pixels of a pixel row are arranged in a first direction, also referred to as the x direction or column direction.
  • each bandpass filter can be arranged over at least one line and the L different optical bandpass filters are arranged one after the other in a second direction, also referred to as the y-direction or the line direction.
  • the first direction is perpendicular to the second direction.
  • Each of the L optical bandpass filters can correspond to one line or also n lines of the pixels (n> l).
  • the L different optical bandpass filters are therefore preferably arranged in such a way that the transmission or the pass band changes after each line or after n lines.
  • Each line or n lines of the hyperspectral sensor therefore records or record an intensity of the outgoing radiation filtered by the respective bandpass filter. A discrete spectrum of the outgoing radiation can thus be recorded.
  • This process is also known as the “push broom” process and can be used in laser processing systems with high-precision material conveyance.
  • the synchronization of the line reading can be coordinated with the material conveying speed, so that each area of the surface of the workpiece is recorded several times, i.e. with each of the different bandpass filters at different times. This method allows the number of bandpass filters to be increased.
  • the at least one hyperspectral sensor can comprise a hyperspectral camera.
  • the at least one hyperspectral sensor can include a CMOS camera, an infrared-amplified CMOS sensor, a near-infrared (NIR) -enhanced CMOS sensor, an InGaAs-based sensor, a sensor array and / or a diode array.
  • the at least one hyperspectral sensor can have a spectral sensitivity range from 400 nm to 1800 nm and / or from 400 nm to 950 nm and / or from 400 nm to 1000 nm and / or from 1000 nm to 1700 nm and / or from 950 to 1800 nm and / or from 1200 nm to 2000 nm.
  • the sensor unit can in particular have at least two hyperspectral sensors with different sensitivity ranges.
  • the sensor unit can be set up to convert and output the data acquired by the respective hyperspectral sensors to form a hyperspectral image with N by M pixels, each of the pixels comprising L values in the spectral dimension.
  • the sensor unit can comprise at least one beam splitter which is set up to split the radiation emanating from the region of the workpiece to the at least two hyper-spectral sensors.
  • the sensor unit can be coupled to the laser processing head, in particular it can be detachably coupled.
  • the sensor unit can be arranged on an outer side, in particular on a side surface, of the laser processing head.
  • An optical axis of the sensor unit can run at least partially parallel and / or coaxial with the direction of propagation of the laser beam.
  • the laser processing system can further comprise a computing unit which is set up to determine an input tensor based on the hyperspectral image and to determine an output tensor based on the input tensor by means of a transfer function, the transfer function between the input tensor and the Output tensor is formed by a deep neural network, in particular by a deep folding neural network.
  • the computing unit can be set up to form the output tensor in real time and / or to output control data based on the output tensor to a control unit of the laser processing system.
  • the method can further comprise the following steps: determining, based on the hyperspectral image, an input tensor, and determining, based on the input tensor and by means of a transfer function, an output tensor that contains information about the machining process, the transfer function between the input tensor and the output tensor is formed by a learned neural network, such as a deep neural network or a deep folding neural network.
  • a learned neural network such as a deep neural network or a deep folding neural network.
  • the formation of the output tensor can take place in real time.
  • the information about the machining process can include information about a machining error and / or a machining area of the workpiece.
  • the output tensor can in particular contain one of the following information: Information about a joint gap, information about an offset between joining partners, information about a weld pool, information about a steam capillary, information about a weld bead, information about a state of the machining process, information about a machining error, the presence of at least one machining error, type of machining error, position of the machining error the workpiece, the probability of a machining error of a certain type and the spatial and / or two-dimensional extent of the machining error.
  • the acquired hyperspectral images can serve as a basis for the detection and classification of processing errors.
  • the processing errors can in particular be classified as follows: gap, offset, missing weld, missing weld, ejections, pore formation.
  • the hyperspectral images can also be used to detect a deviation or an anomaly in the laser machining process. An anomaly is, for example, a deviation from a weld that was previously marked or classified as “good”.
  • both a large number of error-free machining processes, e.g. welds, and a large number of faulty machining processes are carried out and hyperspectral images are recorded in each case.
  • the training data can be used for an anomaly detection, especially if few defective welds can be generated.
  • the training of the neural networks can be carried out with standard procedures.
  • the regulation or optimization of machining processes can be made possible by means of so-called "reinforcement learning" of the neural network.
  • reinforcement learning control actions in the machining process, for example changing the laser power or changing the welding speed, are evaluated to determine whether they lead to a process or process sequence that is considered to be optimal, for example a process without machining errors.
  • the actions that lead to an optimal process are rated highly.
  • a large number of machining processes are carried out with a corresponding acquisition of hyperspectral images, the hyperspectral images representing the status of the machining process.
  • a neural network in particular a deep neural network or a deep folding neural network, can be trained to link every possible control action to a state of the machining process and to classify the control actions to what extent they lead to an optimal state of the machining process to lead. After completing the process, the neural network is able to optimize the machining process in every state by means of a corresponding control action and to keep it in the optimized state.
  • the neural network can be adapted to a changed laser machining process by means of so-called transfer learning based on training data.
  • the training data can include: a plurality of hyperspectral images of the changed laser machining process to determine corresponding input tensors, and predetermined output tensors assigned to the respective hyper spectral images that contain corresponding, predetermined information about the changed laser machining process.
  • significant spectral bands in the form of individual images can be selected from the hyperspectral image and their intensity distribution can then be evaluated.
  • the geometric dimensions of a keyhole and / or a melt pool can be evaluated.
  • the evaluated geometric dimensions can be compared with those of “good” or “bad” machining processes, in particular of good or bad welding processes.
  • the deviations in the geometric dimensions can be used for recognition and classification.
  • the laser processing system can further comprise at least one imaging optics for imaging a radiation emanating from the area of the workpiece onto the at least one hyperspectral sensor.
  • the at least one imaging optics can be arranged in a beam path of the laser beam and / or in the direction of propagation of the radiation emanating from the area of the workpiece in front of the hyperspectral sensor, for example between a beam splitter and the at least one hyperspectral sensor.
  • the processing result can be a current processing result.
  • the processing result can be determined in real time, or the method can be carried out after the laser processing process has been completed.
  • the output tensor can contain information about a processing error.
  • pre-process, in-process and / or post-process monitoring can be carried out with the described method.
  • FIG. 1A shows a schematic illustration of a hyperspectral sensor according to embodiments of the present disclosure
  • FIG. 1B shows a schematic representation of a hyperspectral image which has been acquired by a hyperspectral sensor in accordance with embodiments of the present disclosure
  • FIG. IC shows a schematic representation of a region of a workpiece and a hy perspective image in accordance with embodiments of the present disclosure
  • FIG. 2 shows a schematic illustration of a laser machining system according to a first embodiment of the present disclosure
  • FIG. 3 shows a schematic illustration of a laser processing system according to a second embodiment of the present disclosure
  • FIG. 4 shows a schematic illustration of a laser processing system according to a third embodiment of the present disclosure.
  • FIG. 5 shows a schematic illustration of a laser processing system according to a fourth embodiment of the present disclosure.
  • FIG. 6 shows a method for monitoring a machining process on a workpiece by means of a laser beam according to an embodiment of the present disclosure.
  • FIG. 1A shows a schematic illustration of a hyperspectral sensor according to embodiments of the present disclosure.
  • 1B shows a schematic illustration of a hyperspectral image which has been acquired by a hyperspectral sensor according to embodiments of the present disclosure.
  • the hyper-spectral sensor shown in FIG. 1A can be combined with other embodiments of the present disclosure.
  • the hyperspectral sensor 100 has a plurality of pixels 1001 which are arranged along a first direction (x direction or column direction) and a second direction (y direction or row direction) which is perpendicular to the first direction.
  • the two directions correspond to two spatial dimensions of a hyperspectral image captured by the hyperspectral sensor 100. All pixels 1001 of the hyperspectral sensor can detect or capture radiation within a certain wavelength range.
  • a 5 ⁇ 5 optical mosaic filter 1002 is applied to the pixels 1001.
  • the 5 ⁇ 5 mosaic filter 1002 comprises 25 different individual filters 1003 which are arranged to form a unit cell, such as here, for example, to form a square.
  • the unit cells are repeated in both directions, so that an individual filter 1003 of the mosaic filter 1002 is assigned to each pixel 1001 of the hyperspectral sensor.
  • the mosaic filter 1002 is only shown on a single area of 5 ⁇ 5 contiguous pixels 1001. However, a single filter 1003 of the mosaic filter 1002 is arranged on each pixel 1001.
  • Each individual filter 1003 of the mosaic filter 1002 represents an optical bandpass filter and has a passband which corresponds to a spectral band within the wavelength range.
  • the 25 individual filters 1003 of the mosaic filter 1002 each have different transmission ranges or corresponding spectral bands. The spectral bands can be contiguous and not overlapping, so that they completely cover the wavelength range.
  • the hyperspectral sensor 100 With the help of the hyperspectral sensor 100, radiation over a large wavelength range can be captured or detected in a spectrally resolved manner.
  • the radiation is filtered according to the respective spectral bands prior to detection by the respective pixels 1001.
  • Each pixel 1001 of the hyperspectral sensor 100 can accordingly detect or capture the intensity value of the radiation in the spectral band corresponding to the pass range of the individual filter 1003.
  • a band-pass filtered intensity value can thus be assigned to each pixel. This results in 25 individual images 301 with the intensity values in the spectral bands defined by the individual filters 1003.
  • FIG. IC shows a schematic illustration of a region of a workpiece and a hy perspective image according to embodiments of the present disclosure.
  • a line-oriented hyperspectral sensor ie a hyperspectral sensor with line-based bandpass filters, according to embodiments of the present disclosure has a plurality of pixels which are oriented along a first direction (ie in the x-direction or column direction) and a second direction (ie in y- Direction or line direction) are arranged. All pixels of the hyperspectral sensor can emit radiation within a certain wavelength range detect or capture.
  • the hyperspectral sensor has a line-based filter with L different, individual optical band-pass filters.
  • the L different optical bandpass filters are each arranged on at least one line of pixels of the hyperspectral sensor, ie in a line-oriented manner.
  • the L different optical bandpass filters extend in the first direction over at least one row of the sensor pixels.
  • the optical bandpass filters can change in the second direction per line or every n lines.
  • a single optical band pass filter covers one or more rows of pixels.
  • Each band pass filter has a pass band that corresponds to a spectral band within the wavelength range.
  • Each line of the hyper-spectral sensor accordingly records an intensity of the outgoing radiation filtered by the respective bandpass filter.
  • the different bandpass filters of the filter each have different pass ranges or corresponding spectral bands.
  • the spectral bands can be contiguous and not overlapping, so that they completely cover the wavelength range.
  • the hyperspectral sensor With the help of the hyperspectral sensor, radiation can be recorded or detected in a spectrally resolved manner over a large wavelength range.
  • the bandpass filter filters the radiation before it is captured by the respective pixels in accordance with the respective spectral bands.
  • Each pixel of the hyperspectral sensor can accordingly detect or record the intensity value of the radiation in the spectral band corresponding to the pass range of the bandpass filter.
  • a band-pass filtered intensity value can be assigned to each pixel.
  • the lines 21 of the workpiece area are scanned by the hyperspectral sensor in the second direction, that is to say in the y-direction or line direction.
  • each line 21 of the area of the workpiece 2 is recorded several times, ie with each of the bandpass filters of the hyperspectral sensor.
  • L bandpass-filtered individual images 301 are created with the intensity values in the spectral bands defined by the respective bandpass filters, which form the hyperspectral image.
  • This process is also known as the “push broom” process.
  • the method can be used in particular in laser processing systems with high-precision material conveyance.
  • the scanning or the synchronization of the line readout can take place in the direction of the relative movement between the laser processing head and the workpiece or in the direction of the material conveying and can be coordinated with the material conveying speed.
  • a single image of the hyperspectral image is recorded at a point in time, which corresponds to a different wavelength range in each pixel line.
  • the lines are then scanned by the scanning movement or the relative movement of each line in a different wavelength range.
  • This method allows the number of bandpass filters to be increased.
  • the scanning movement or the relative movement is preferably perpendicular to the pixel lines of the hyper-spectral sensor, ie the scanning movement or the relative movement can take place in the y-direction or the line direction. Depending on the resolution of the hyperspectral sensor, more wavelength bands can be implemented.
  • the hyperspectral sensor 100 is thus set up to detect radiation and to output it as 25 bandpass-filtered individual images 301.
  • the total of the 25 images are referred to as hyperspectral image 300, hyperspectral cube or hyperspectral data cube.
  • the hyperspectral sensor has pixels with a spectral sensitivity between 400 and 1800 nm.
  • a hyperspectral image or a hyperspectral cube can be recorded, which has 25 individual images.
  • Each of the 25 individual images therefore covers a spectral band with a width of 56 nm.
  • each individual image corresponds to the intensity distribution in a spectral band of 56 nm.
  • the individual images are spaced apart by 56 nm in the spectral dimension.
  • the hyperspectral sensor can have a 4x4 mosaic filter with 16 individual filters.
  • the hyperspectral sensor is thus set up to output 16 individual images as a hyperspectral image.
  • the hyperspectral sensor can have 2048x1088 pixels and be designed as a CMOS sensor.
  • the hyperspectral sensor has a 4x4 mosaic filter. This reduces the local or spatial resolution by a factor of 4.
  • a hyperspectral image captured by such a hyperspectral sensor has 16 individual images, each of which has 512 ⁇ 272 pixels.
  • the hyperspectral sensor can considerably simplify image recordings in different spectral bands and enable snapshot recordings to be separated into successive spectral bands.
  • the hyperspectral sensor 100 can be based on graphs or InGaAs, and for example have a sensitivity between 400 nm to 1800 nm. According to other embodiments, the hyperspectral sensor 100 can be based on InGaAs with a spectral sensitivity between 900 and 1800 nm. According to still other embodiments, the hyperspectral sensor can be a near-infrared-enhanced CMOS sensor. Graph based hyperspectral sensors show a high and constant sensitivity between 400 and 1800nm.
  • FIG. 2 shows a schematic illustration of a laser processing system for performing a processing process, such as welding or cutting, on a metallic workpiece by means of a laser beam according to a first embodiment of the present disclosure
  • the laser processing system 1 comprises a laser processing head 20 and a sensor unit 10 for monitoring the processing process.
  • the laser processing head 20 can be a laser cutting, laser soldering or laser welding head.
  • the laser processing system 1 comprises a laser device (not shown) for generating a laser beam 201 (also referred to as “processing beam” or “processing laser beam”).
  • the laser processing system 1 or parts thereof, such as, for example, the processing head 20, can, according to embodiments, be movable along a processing direction.
  • the machining direction can be a cutting, soldering or welding direction and / or a movement direction of the laser machining system 1, such as the machining head 20, with respect to the workpiece 2.
  • the machining direction can be a horizontal direction.
  • the machining direction can also be referred to as the "feed direction".
  • the laser processing system 1 is controlled by a control unit (not shown) which is set up to control the processing head 20, the sensor unit 10 and / or the laser device.
  • the laser processing system 1 can furthermore comprise a computing unit (not shown) which is set up to determine information about the processing process.
  • the computing unit is combined with the control unit (not shown). In other words, the functionality of the computing unit can be combined with that of the control unit in a common processing unit.
  • the laser device 1 can have collimator optics 202 for collimation of the laser beam 201 and focusing optics 203 which are set up to focus the laser beam 201 on the workpiece 2.
  • the laser device 1 can furthermore include a beam splitter 204 which is set up to direct the laser beam 201 onto the workpiece 2.
  • radiation 205 is produced which emanates from the workpiece 2.
  • the radiation 205 can be light of the laser beam 201 reflected or backscattered from a surface of the workpiece 2, plasma radiation, thermal radiation, or visible light.
  • the radiation 205 can also comprise light radiated onto the workpiece 2 from an illumination source (not shown) and reflected back.
  • the sensor unit 10 comprises a hyperspectral sensor 100 and imaging optics 101.
  • the imaging optics 101 can also be omitted according to embodiments.
  • the imaging optics 101 are set up to image or focus the radiation 205 on the hyperspectral sensor 100.
  • the sensor unit 10 comprises a hyper-spectral sensor 100 with a spectral sensitivity of 400 nm to 1800 nm.
  • the sensor unit 10 comprises a hyperspectral sensor with a spectral sensitivity of 400 to 950 nm or up to 1000 nm
  • the hyperspectral sensor 100 can be a graph or InGaAs-based hyperspectral sensor with a mosaic filter, as is described in connection with FIGS. 1A and 1B.
  • the hyperspectral sensor 100 can be a near-infrared amplifying hyperspectral sensor with a mosaic filter, as is described in connection with FIGS. 1A and 1B.
  • the sensor unit 10 or the hyperspectral sensor 100 is set up to detect the radiation 205 emanating from the workpiece 2 and to output it as a hyperspectral image.
  • the computing unit is set up to determine information about the machining process, in particular information about a machining result, for example a machining error, based on the hyperspectral image. The determination can take place by means of deep neural networks, in particular deeper folding neural networks.
  • the sensor unit 10 is attached to or coupled to the laser processing head 20.
  • the sensor unit 10 is arranged in such a way that the radiation 205 emanating from the workpiece is guided coaxially to the laser beam 201 in the laser processing head 20 to the sensor unit 10.
  • the radiation 205 emanating from the workpiece thus enters the laser processing head 20 against the direction of propagation of the laser beam 201 arrives and strikes the sensor unit 10.
  • the radiation 205 passes through the focusing optics 203 and the beam splitter 204 before it strikes the sensor unit 10.
  • the radiation 205 and the laser beam 201 overlap in the laser processing head 20.
  • the laser processing system can further include a computing unit which, based on the hyperspectral image captured by the sensor unit, determines a multi-channel input tensor and, based on the input tensor, uses a transfer function to determine an output tensor that contains information about the machining process.
  • the transfer function can be formed by a neural network, preferably by a deep neural network or a deep folding neural network.
  • the computing unit outputs regulation data or control data to the control unit of the laser processing system based on the output tensor.
  • An anomaly detection can be carried out based on the hyperspectral images or cubes, in that the hyperspectral images of error-free processes serve as a database. The anomaly detection can be carried out with standard methods, the formation of a model from the training data and the calculation of the deviation of the features from the model in the inference.
  • the classification into typical error classes requires the generation of a large number of training data which contain these typical errors. This means that welds must be created for each type of defect.
  • the training data generated in this way consist of the hyperspectral images and the added error descriptions. These training data sets can be used to use a monitored machine learning method for classification.
  • the generated hyperspectral images can be used as multi-channel input tensors for a deep neural network, typically a convolutional neural network.
  • the generalized transfer function created after the training process maps the hyperspectral images in the inference to the output vector, which supplies the prediction of the error classification.
  • the learned generalized transfer function formed from the model of the deep folding neural network, contains feature vectors in the last fully connected layers, which describe the process.
  • the consideration of the hyperspectral cube as a multi-channel input tensor of a deep neural network, in particular a deep folding neural network, allows the training of such networks and the associated creation of a generalized mapping function that maps the input tensor to a classification result.
  • the use Fertilizing the hyperspectral image to map the process can be used in a "Reinforcement Deep Q Leaming" method:
  • the hyperspectral image viewed as the status of the process, allows learning of the benefits of an action on the process by means of a deep folding neural network. After completing the learning, the program is able to carry out the optimal change in the process for each state.
  • the optimization of the laser welding process by means of a reinforcement learning process is made possible by evaluating the actions on the process, e.g. a change in the laser power or the change in the welding speed.
  • the actions that lead to an optimal process are rated highly. Since there is expert knowledge of the laser process, the number of actions on the process can be limited. Over a large number of welding attempts, a deep neural network, typically a folding neural network, can be used to train the assignment of the status, which is represented by the hyperspectral cube, to the evaluation for every possible or permitted action .
  • the trained network then allows the optimal action to be carried out on the process from every state in order to optimize the process and keep it in an optimal state.
  • FIG. 3 shows a schematic illustration of a laser processing system according to a second embodiment of the present disclosure.
  • the Laserbear processing system shown in Fig. 3 corresponds to the laser processing system shown in Fig. 2 except for the differences described below.
  • the beam path of the radiation 205 guided to the sensor unit 10 and emanating from the workpiece area runs outside the laser processing head 20.
  • the radiation 205 does not enter the laser processing head 20 before it strikes the sensor unit 10.
  • the radiation 205 and the laser beam 201 do not overlap in the laser processing head 20. Any filter effects of the focusing optics of the laser processing head 20 are eliminated.
  • the sensor unit 10 can be attached to a mallli chen surface of the laser processing head.
  • This arrangement of the sensor unit is also referred to as an “off-axis arrangement”.
  • FIG. 4 shows a schematic illustration of a laser processing system according to a third embodiment of the present disclosure.
  • the Laserbear shown in Fig. 4 processing system corresponds to the laser processing system shown in Fig. 2 except for the differences described below.
  • the sensor device 10 comprises a first hyperspectral sensor 100a, a second hyperspectral sensor 100b and a beam splitter 102.
  • a sensor with a broadband sensitivity instead of a sensor with a broadband sensitivity, as in the embodiments of FIGS Hyperspectral sensors 100a and 100b and a beam splitter 102 covered.
  • the hyper-spectral cubes of the individual hyperspectral sensors for example an InGaAs image sensor and an NIR-enhanced CMOS image sensor, can be combined to form a hyperspectral cube.
  • the beam splitter 102 is set up to divide the radiation 205 emanating from the workpiece and to direct it onto the first hyperspectral sensor 100a and the second hyperspectral sensor 100b.
  • the sensor device 10 can further comprise first imaging optics 101a and second imaging optics 101b, which are respectively arranged in front of the first and second hyper-spectral sensors 100a and 100b, in order to image the part of the radiation 205 thereon.
  • the first hyperspectral sensor 100a has a spectral sensitivity of 400 nm to 950 nm or from 400 nm to 1000 nm and the second hyperspectral sensor 100b has a spectral sensitivity of 1000 nm to 1700 nm or 900 up to 1800 nm.
  • the first hy perspectral sensor 100a can be a near-infrared-amplified CMOS sensor with a mosaic filter, as is described in connection with FIGS. 1A and 1B.
  • the second hyperspectral sensor 100b can likewise be an InGaAs-based hyperspectral sensor with a mosaic filter, as is described in connection with FIGS. 1A and 1B.
  • the sensor unit 10 according to FIG. 4 is set up to combine and output the hyperspectral images acquired by the first hyperspectral sensor 100a and the second hyperspectral sensor 100b to form a single hyperspectral image.
  • the combined hyperspectral image can in this case comprise 50 individual images.
  • the first hyperspectral sensor 100a and the second hyperspectral sensor 100b can have different resolutions, ie a different number of pixels.
  • the sensor unit 10 can therefore be set up to match the resolutions of the respective hyperspectral images obtained from the two hyperspectral sensors so that the individual images in the hyperspectral cube have the same spatial dimension.
  • 5 shows a schematic illustration of a laser processing system according to a fourth embodiment of the present disclosure.
  • the Laserbear processing system shown in Fig. 5 corresponds to the laser processing system shown in Fig. 4 except for the differences described below.
  • the beam path of the radiation 205 guided to the sensor unit 10 and emanating from the workpiece area runs outside the laser processing head 20.
  • the radiation 205 does not enter the laser processing head 20 before it strikes the sensor unit 10.
  • the radiation 205 and the laser beam 201 do not overlap in the laser processing head 20.
  • the sensor unit 10 can be attached to a mallli chen surface of the laser processing head.
  • This arrangement of the sensor unit is also referred to as an “off-axis arrangement”.
  • Fig. 6 shows a method for monitoring a machining process on a workpiece by means of a laser beam.
  • the method can be performed by a laser processing system in accordance with embodiments of the present disclosure.
  • the first step 601 comprises irradiating a laser beam into a machining area on a workpiece.
  • a hyperspectral image with N by M pixels is acquired from a region of the workpiece.
  • Each pixel comprises L values, where the hyperspectral image has two spatial dimensions x and y as well as a spectral dimension l and where N is a number of pixels in the first spatial dimension x, M is a number of pixels in the second spatial dimension y, and L denotes the number of spectral bands in the spectral dimension l of the hyperspectral image, where M, N and L are natural numbers.
  • the method can further comprise a third step 603, in which an input tensor is determined based on the hyperspectral image, and the method can comprise a fourth step 604 in which, based on the input tensor and by means of a transfer function, an output tensor is determined which contains information about contains a machining result of a laser machining process.
  • the transfer function between See the input tensor and the output tensor can be formed by a learned neural network.
  • steps 602 to 604 take place in parallel or at the same time as step 601. According to another embodiment, steps 602 to 604 take place after step 601 has ended.
  • a hyperspectral image of a region of the workpiece is acquired in order to monitor the laser machining process.
  • the captured area can include the processing area and / or areas in the lead or in the trailing edge of the laser beam.
  • the hyperspectral image has N by M pixels in two spatial dimensions. Each pixel has L values in a spectral dimension. In other words, the hyperspectral image has L individual images with N by M pixels. L gives up the number of spectral bands in a detected wavelength range. The L spectral bands can border one another.
  • a hyperspectral image or cube over the entire wavelength range of the radiation emitted by the machining process completely depicts the process, since all wavelengths are available with spatial resolution.
  • the hyperspectral image contains comprehensive information about a state of the laser machining process and can therefore be used as a basis for monitoring and regulating the laser machining process.
  • information about a machining result of the laser machining process can be obtained with the help of the hyperspectral image, which includes information about a machining error.
  • the state of the laser machining process or the information about a machining result can be determined using a (deep) neural network, where the captured hyperspectral image is used as the basis for the input tensor of the deep neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Plasma & Fusion (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Vascular Medicine (AREA)
  • Laser Beam Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Es ist ein Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls angegeben, das Laserbearbeitungssystem umfassend: einen Laserbearbeitungskopf zum Einstrahlen eines Laserstrahls in einen Bearbeitungsbereich auf dem Werkstück; und eine Sensoreinheit zur Überwachung des Bearbeitungsprozesses mit zumindest einem Hyperspektralsensor, wobei die Sensoreinheit eingerichtet ist, ein Hyperspektralbild mit N mal M Pixeln von einem Bereich des Werkstücks zu erfassen, wobei das Hyperspektralbild zwei räumliche Dimensionen x und y sowie eine spektrale Dimension λ aufweist und wobei N eine Anzahl von Pixeln in der ersten räumlichen Dimension x, M eine Anzahl von Pixeln in der zweiten räumlichen Dimension y, und L die Anzahl von Spektralbändern in der spektralen Dimension λ des Hyperspektralbildes angeben, wobei M, N und L natürliche Zahlen sind. Ferner ist ein Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls angegeben.

Description

Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls und Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls
Die vorliegende Offenbarung betrifft ein Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück, insbesondere an einem metallischen Werk stück, mittels eines Laserstrahls und ein Verfahren zur Überwachung eines Bearbeitungs prozesses an einem Werkstück, insbesondere an einem metallischen Werkstück, mittels ei nes Laserstrahls. Die vorliegende Offenbarung betrifft insbesondere ein Laserbearbeitungs system mit einer Sensoreinheit, die eingerichtet ist, ein Hyperspektralbild von einem Be reich des Werkstücks zu erfassen, und ein Verfahren, bei dem ein Hyperspektralbild von einem Bereich eines Werkstücks erfasst wird.
Hintergrund
In einem Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laser strahls wird der von einer Laserlichtquelle oder einem Ende einer Laserleitfaser austretende Laserstrahl mit Hilfe einer Strahlführungs- und Fokussieroptik auf das zu bearbeitende Werkstück fokussiert oder gebündelt. Die Bearbeitung kann beispielsweise ein Laserschnei den, -löten oder -schweißen umfassen. Das Laserbearbeitungssystem kann eine Laserbear beitungsvorrichtung, beispielsweise einen Laserbearbeitungskopf, etwa einen Laserschneid kopf oder einen Laserschweißkopf, umfassen. Insbesondere beim Laserschweißen oder - löten eines Werkstücks ist es wichtig, den Schweiß- bzw. Lötprozess zu überwachen, um die Qualität der Bearbeitung beurteilen und sichern zu können. Dies schließt die Erkennung und Klassifizierung von Bearbeitungsfehlem ein. Aktuelle Lösungen für die Prozessüber wachung und Qualitätsbeurteilung umfassen eine sogenannte „Pre-Prozess“-, „In-Prozess“- und „Post-Prozess“ -Inspektion oder -Überwachung.
Die Pre-Prozess Überwachung hat die Aufgabe, einen Fügespalt zwischen zwei Fügepart nern bzw. Werkstücken zu detektieren, um den Laserstrahl auf die geeignete Position zu führen und den Versatz der Fügepartner zu ermitteln. In den meisten Fälle werden Triangu lationssysteme dafür eingesetzt.
Die Post-Prozess-Inspektion wird insbesondere zur Prozessüberwachung und Qualitätsbeur teilung, etwa zur Erkennung von Bearbeitungsfehlern, eingesetzt. Das Ziel der Post- Prozess-Inspektion besteht darin, alle Defekte oder Bearbeitungsfehler zuverlässig zu loka lisieren und zu erkennen. Die Post-Prozess-Inspektion von Schweiß- bzw. Lötnähten erfolgt typischerweise mittels Bildverarbeitung, bei der 2D-Bilder, die die Schweiß- bzw. Lötnähte auf der Oberfläche eines bearbeiteten Werkstücks zeigen, analysiert werden. Beispielsweise kann im Fall des Laserschweißens die entstandene Schweißnaht inspiziert und gemäß gel tenden Normen (z.B. SEL100) vermessen bzw. analysiert werden. Auf Basis der erfassten Bilder erfolgt dann eine Extraktion und Klassifizierung von Merkmalen, die die Bearbei tungsqualität, insbesondere die Qualität der Schweiß- und Lötnähte repräsentieren bzw. be schreiben. Anhand der extrahierten und klassifizierten Merkmale werden Bearbeitungsfeh ler, wie Löcher oder Poren in der Werkstückoberfläche, erkannt und klassifiziert und das bearbeitete Werkstück wird abhängig davon beispielsweise als „gut“ (d.h. geeignet für die Weiterverarbeitung oder den Verkauf) oder als „schlecht (d.h. als Ausschuss) gekennzeich net bzw. klassifiziert. Welche signifikanten Merkmale überhaupt für die Bewertung der Qualität der Laserbearbeitung herangezogen werden können und welchen Einfluss diese Merkmale dann auf die Bewertung der Qualität haben, kann nur durch Experten auf dem Gebiet entschieden und bewerkstelligt werden, da die Komplexität dieser Systeme aufgrund der Anzahl einzustellenden Parameter sehr hoch ist. In aktuellen Systemen werden dazu bis zu 300 Parameter eingestellt (sogenannte „Parametrisierung“). Die Verwendung von Post- Prozess-Inspektion zur Qualitätsbeurteilung und Klassifikation erhöht die Kosten, den In tegrationsaufwand und den Aufwand für den Unterhalt der Laserbearbeitungssysteme.
Die In-Prozess-Inspektion oder -Überwachung dient typischerweise zur kontinuierlichen Überwachung eines Laserbearbeitungsprozesses und erfolgt während der Durchführung des Laserbearbeitungsprozesses. Bei der Überwachung werden Messsignale verschiedener Messgrößen des Laserbearbeitungsprozesses erfasst und beurteilt, insbesondere Strahlung, die während der Durchführung des Bearbeitungsprozesses vom Werkstück emittiert oder reflektiert wird, beispielsweise Plasmastrahlung, zurückgestreute Laserleistung und Tempe raturstrahlung. Typischerweise wird bei der Laserbearbeitung Strahlung im sichtbaren Be reich zwischen 400 nm und 850 nm vom Schmelzbad, im Bereich zwischen 400 nm und 1100 nm vom entstehenden Plasma, im Bereich von 900 nm bis 1100 nm zurückgestreutes Licht vom Laser und im Bereich größer als 1000 nm Temperaturstrahlung emittiert bzw. reflektiert. Somit wird Strahlung in einem weiten Bereich zwischen 400 nm und 1800 nm emittiert bzw. reflektiert. Normalerweise werden bei der In-Prozess-Überwachung die Sig nale nicht ortsaufgelöst und/oder nicht wellenlängenaufgelöst erfasst bzw. verarbeitet. Vor handene Lösungen für die In-Prozess-Überwachung setzen Dioden ein, die die emittierte bzw. reflektierte Strahlung jeweils in schmalbandigen Wellenlängenbereichen detektieren und als Messsignal ausgeben. Beispielsweise wird eine Si-Diode für die Detektion im Be reich zwischen 400 nm und 800 nm, eine InGaAs-Diode für die Detektion im Bereich zwi schen 800 nm und 1200 nm und eine weitere InGaAs- oder Ger-Diode für die Detektion im Bereich zwischen 1200 nm und 2000 nm eingesetzt. Aus diesen Wellenlängenbereichen können ferner prozessabhängig Bereiche mit entsprechenden optischen Filtern selektiert werden. Beispielsweise wird abhängig von der Art des verwendeten Lasers der Wellenlän genbereich zwischen 1020 nm und 1090 nm gefiltert oder gedämpft. Wellenlängenbereiche außerhalb der Detektionsbereiche der Dioden und der optischen Filter werden nicht detek- tiert. Eine ortsabhängige Darstellung der Intensitäten ist mit Dioden ebenfalls nicht möglich.
Die mit den Dioden so aufgezeichneten Intensitätsverläufe werden gefiltert und auf eine Überschreitung von Schwellwerten hin geprüft. Die Filterparameter und Schwellwerte wer den für jeden Wellenlängenbereich separat eingestellt. Die Erfassung und Auswertung ein zelner Wellenlängenbereiche erfolgt somit unabhängig von den anderen Wellenlängenberei chen. Rückschlüsse auf bestimmte Fehlerarten, wie beispielsweise ein Spalt zwischen den zu verbindenden Bauteilen, eine fehlende Durchschweißung, eine mangelhafte Einschwei ßung, die Entstehung von Poren oder ein Versatz der Schweißung zur Fügekante können mit einer separaten Beurteilung bzw. Klassifikation der Intensitätsverläufe in festgelegten Wel lenlängenbereichen nicht zuverlässig gezogen werden.
Eine Regelung des Laserbearbeitungsprozesses basierend auf den einzeln erfassten und aus gewerteten Wellenlängenbereichen kann in der Regel ebenfalls nicht realisiert werden, da die Zusammenhänge zwischen den einzelnen Messsignalen und den Stellgrößen bzw. Bear beitungsparameter des Laserbearbeitungsprozesses nicht ausreichend bekannt sind. Insbe sondere sind die Abhängigkeiten der Stellgrößen von den erfassten Signalen nicht eindeutig. Mit anderen Worten ist der Zusammenhang zwischen den Stellgrößen des Laserbearbei tungsprozesses, beispielsweise Fokuslage, der Abstand und die Position des Laserbearbei tungskopfes zur Fügestelle, die Vorschubgeschwindigkeit, die Laserleistung und Menge Gaszufuhr, ggf. auch die Drahtzufuhrgeschwindigkeit und den Messsignalen nicht eindeutig bekannt oder erkennbar. Auch ist die vollständige Information über den Zustand des Laser bearbeitungsprozesses unter Umständen nicht in den Messsignalen enthalten. Eine Regelung des Laserschweißprozesses ist daher nicht möglich.
Andere Lösungen setzen ortsauflösende Sensoren und Bildverarbeitung zur Vermessung der Schmelzbad- und Keyhole-Geometrie ein, um dadurch eine Qualitätsbeurteilung zu ermög lichen. DE10 2011 078 276 B3 beschreibt ein Verfahren, bei dem Helligkeitsprofile von der Werkstückoberfläche mit CMOS-Sensoren im Bereich zwischen 450 nm und 800 nm auf genommen werden. Diese Profile werden mit Modellen verglichen, um daraus auf die Bear beitungsqualität zu schließen. Weitere Systeme liefern mithilfe von Bildsensoren ortsaufgelöste Aufnahmen von einem Fügespalt, dem Bearbeitungsbereich selbst und der Schweißnahtraupe. Allerdings integrie ren die verwendeten CMOS-Sensoren die detektierte Beleuchtungsintensität über einen gro ßen Wellenlängenbereich, wodurch die Aussagefähigkeit über den Bearbeitungsprozess eingeschränkt wird und eine Regelung des Bearbeitungsprozesses somit ebenfalls nicht möglich ist. Hinzu kommt die aufwendige Parametrierung dieser Systeme.
Zusammenfassung der Erfindung
Es ist somit eine Aufgabe der Erfindung, eine Überwachung und Regelung eines Laserbear beitungsprozesses und die Erkennung und Klassifizierung von Bearbeitungsfehlern zu ver einfachen.
Es ist ferner eine Aufgabe der Erfindung, die Erkennung und Klassifizierung von Bearbei tungsfehlern sowie die Überwachung und Regelung eines Laserbearbeitungsprozesses ba sierend auf erfasster emittierter Prozessstrahlung und/oder reflektierter Laserstrahlung zu ermöglichen.
Es ist ferner eine Aufgabe der Erfindung, die Erfassung emittierter Prozessstrahlung und/oder reflektierter Laserstrahlung des Laserbearbeitungsprozesses ortsaufgelöst und wel lenlängenaufgelöst zu ermöglichen.
Es ist ferner eine Aufgabe der Erfindung, Bearbeitungsfehler zuverlässig und schnell und ohne aufwändige Parametrisierungsprozesse zu erkennen und zu klassifizieren. Es ist ferner eine Aufgabe der Erfindung, Bearbeitungsfehler während eines laufenden Laserbearbei tungsprozesses, vorzugsweise in Echtzeit und automatisiert, zu erkennen.
Diese Aufgaben werden durch den Gegenstand der unabhängigen Ansprüche gelöst. Vor teilhafte Ausführungsformen und Weiterentwicklungen sind Gegenstand der entsprechen den abhängigen Ansprüche.
Die Erfindung basiert auf dem Gedanken, die Überwachung eines Laserbearbeitungsprozes ses, insbesondere eines Laserschweiß- oder Laserschneidprozesses, unter Verwendung von einem Hyperspektralsensor, insbesondere einer Hyperspektralkamera, durchzuführen. Mit anderen Worten erfasst während eines Laserbearbeitungsprozesses zumindest ein Hyper spektralsensor, vorzugsweise kontinuierlich, Hyperspektralbilder von einem Bereich eines Werkstücks. Die erfassten Hyperspektralbilder umfassen in jedem Pixel ein Spektrum über einen breiten Wellenlängenbereich von einer während der Durchführung vom Werkstück emittierten oder reflektierten Strahlung, die kurz als „ausgehende Strahlung“ bezeichnet werden kann. Die ausgehende Strahlung kann insbesondere emittierte Prozessstrahlung, beispielweise Temperaturstrahlung und Plasmastrahlung, sowie reflektiertes Licht des La serstrahls umfassen. Die erfassten Hyperspektralbilder beschreiben oder charakterisieren den Laserbearbeitungsprozess vollständig. Die Hyperspektralbilder können als Eingangsda ten für eine Bildverarbeitung durch ein tiefes neuronales Netz dienen, welches darauf basie rend kontinuierlich, vorzugsweise in Echtzeit, einen Ausgangsvektor berechnet, der Infor mationen über den Bearbeitungsprozess enthält, beispielsweise Informationen über einen Zustand des Laserbearbeitungsprozesses bzw. über ein Bearbeitungsergebnis oder über ei nen Bearbeitungsfehler bei dem Werkstück. Beispielsweise kann der Ausgangsvektor zur Qualitätsbeurteilung des Bearbeitungsprozesses, insbesondere zur Beurteilung von Laser scheißnähten und Lötnähten, verwendet werden. Der Ausgangsvektor kann ferner zur Rege lung des Laserbearbeitungsprozesses verwendet werden.
Die Verwendung eines Hyperspektral sensors, etwa einer Hyperspektralkamera, vereinfacht somit die Erfassung von Bildern eines Bereichs des Werkstücks in verschiedenen Wellen längenbändern bzw. Spektralbändern. Durch die ortsaufgelöste und spektralaufgelöste bzw. wellenlängenaufgelöste Erfassung von Strahlung eines Bereichs des Werkstücks wird somit eine genaue Datenerfassung für die Überwachung und Regelung des Bearbeitungsprozesses ermöglicht. Die Verwendung einer Vielzahl von Dioden, Strahlteilern und/oder Filtern bzw. aufwendige Filterkaskaden können somit vermieden werden. Hierbei können die Hyper spektralbilder als sogenannte Snapshot-Aufnahmen, wobei alle Daten eines Hyperspektral bildes gleichzeitig aufgenommen werden. Alternativ können die Hyperspektralbilder in ei nem sogenannten Push-Broom Verfahren erfasst werden, bei dem beispielsweise gleichzei tig alle Pixelzeilen des Hyperspektral sensors in je einem anderen Wellenlängenband aufge nommen werden und anschließend der Hyperspektral sensor und der Werkstückbereich rela tiv zueinander in y-Richtung bzw. Zeilenrichtung der Sensorpixel verschoben werden, so- dass die Pixelzeilen sukzessive in allen Wellenlängenbändern erfasst werden. Hierbei sind die Pixel einer Pixelzeile entlang einer ersten Richtung, auch als x-Richtung oder Spalten richtung bezeichnet, angeordnet.
Gemäß einem ersten Aspekt der vorliegenden Offenbarung ist ein Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück mittels eines Laser strahls angegeben, wobei das Laserbearbeitungssystem umfasst: einen Laserbearbeitungs kopf zum Einstrahlen des Laserstrahls in einen Bearbeitungsbereich auf dem Werkstück; und eine Sensoreinheit zur Überwachung des Bearbeitungsprozesses mit zumindest einem Hyperspektral sensor, wobei die Sensoreinheit eingerichtet ist, von einem Bereich des Werk stücks ein Hyperspektralbild mit N mal M Pixeln zu erfassen, die jeweils L verschiedene Werte in einer spektralen Dimension umfassen, wobei das Hyperspektralbild zwei räumli che Dimensionen x und y sowie die spektrale Dimension l aufweist und wobei N eine An zahl von Pixeln in der ersten räumlichen Dimension x, M eine Anzahl von Pixeln in der zweiten räumlichen Dimension y, und L die Anzahl von Spektralbändern in der spektralen Dimension l des Hyperspektralbildes angeben, wobei M, N und L natürliche Zahlen sind.
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung ist ein Verfahren zur Überwa chung eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls angege ben, wobei das Verfahren die folgenden Schritte umfasst: Einstrahlen des Laserstrahls in einen Bearbeitungsbereich auf dem Werkstück, Erfassen eines Hyperspektralbildes mit N mal M Pixeln von einem Bereich des Werkstücks, wobei jedes Pixel L verschiedene Werte in einer spektralen Dimension l umfasst, wobei das Hyperspektralbild zwei räumliche Di mensionen x und y sowie die spektrale Dimension l aufweist und wobei N eine Anzahl von Pixeln in der ersten räumlichen Dimension x, M eine Anzahl von Pixeln in der zweiten räumlichen Dimension y, und L die Anzahl von Spektralbändern in der spektralen Dimensi on l des Hyperspektralbildes angeben, wobei M, N und L natürliche Zahlen sind.
Der im Hyperspektralbild erfasste Bereich des Werkstücks kann zumindest einen der fol genden Bereiche auf dem Werkstück umfassen: den aktuellen Bearbeitungsbereich des La serbearbeitungsprozesses, einen Bereich im Vorlauf des Laserstrahls, einen Bereich im Nachlauf des Laserstrahls, einen noch zu bearbeitenden Bereich und einen bearbeiteten Be reich. Der aktuelle Bearbeitungsbereich bezeichnet einen Bereich des Werkstücks, in den der Laserstrahl eingestrahlt wird. Insbesondere beim Laserschweißen kann der erfasste Be reich des Werkstücks zumindest einen der folgenden Bereiche umfassen: eine Dampfkapil lare, ein Schmelzbad, eine erstarrte Schmelze, eine Fügekante zwischen zwei miteinander zu verschweißenden Werkstücken, und eine Nahtraupe. Der Hyperspektral sensor kann ent sprechend auf den im Hyperspektralbild zu erfassenden Bereich des Werkstücks ausgerich tet sein. Je nachdem, welche Bereiche in dem erfassten Werkstückbereich enthalten sind, kann das Hyperspektralbild zur Pre-Prozess, In-Prozess und/oder Post-Prozess Überwa chung dienen.
Das Laserbearbeitungssystem umfasst also eine Sensoreinheit, die eingerichtet ist, um ein Hyperspektralbild von einem Bereich eines Werkstücks zu erfassen und auszugeben. Die Sensoreinheit kann eingerichtet sein, um von dem Bereich des Werkstücks ausgehende Strahlung, beispielsweise emittierte Prozessstrahlung und/oder reflektierte bzw. zurückge- streute Strahlung, insbesondere reflektierte oder zurückgestreute Laserstrahlung, zu erfassen und als Hyperspektralbild auszugeben. Die Sensoreinheit kann insbesondere eingerichtet sein, um zumindest eine der folgenden Strahlungsarten zu erfassen: Temperaturstrahlung, Strahlung im infraroten Bereich des Lichts, Strahlung im nahen infraroten Bereich des Lichts, Strahlung im sichtbaren Bereich des Lichts, Plasmastrahlung, reflektiertes oder zu rückgestreutes Licht des (Bearbeitungs-)Laserstrahls, und von einer Beleuchtungsquelle eingestrahltes und reflektiertes Licht, etwa eingestrahltes und reflektiertes Messlicht eines Kohärenztomographen.
Das Hyperspektralbild umfasst eine Mehrzahl von Pixeln. Insbesondere umfasst das Hyper spektralbild N mal M Pixel, wobei das Hyperspektralbild zwei räumliche Dimensionen x und y sowie eine spektrale Dimension l aufweist und wobei N eine Anzahl von Pixeln in der ersten räumlichen Dimension x und M eine Anzahl von Pixeln in der zweiten räumli chen Dimension y angibt. Jeder der Pixel umfasst L Werte in der spektralen Dimension l, wobei L eine Anzahl von Spektralbändern in der spektralen Dimension l des Hyperspekt ralbildes angibt. Die erste räumliche Dimension x und die zweite räumliche Dimension y können zwei kartesischen Richtungen des Bereichs des Werkstücks entsprechen. Demnach kann jedes der N mal M Pixel einem Punkt in dem erfassten Bereich des Werkstücks ent sprechen. Jeder der L Werte eines Pixels entspricht einer erfassten Strahlungsintensität, kurz „Intensität“, der von dem entsprechenden Punkt des erfassten Bereich des Werkstücks aus gehenden Strahlung im jeweiligen Spektralband. Damit kann das Hyperspektralbild eine spektrale Verteilung innerhalb des durch die Spektralbänder abgedeckten Wellenlängenbe reichs der von dem erfassten Bereich des Werkstücks ausgehenden Strahlung angeben. Das erfasste Hyperspektralbild entspricht demnach vorzugsweise einem sowohl ortsaufgelösten als auch wellenlängenaufgelösten Bild des Werkstückbereichs. Damit kann die Sensorein heit mehrere Einzel Sensoren oder eine Anordnung von Einzel Sensoren, insbesondere mehre re Dioden, gemäß dem Stand der Technik ersetzen.
Das Hyperspektralbild kann auch als Hyperspektralwürfel oder -cube bezeichnet werden. Das Hyperspektralbild kann auch als L Einzelbilder betrachtet werden, wobei jedes der Ein zelbilder eine Auflösung von N mal M Pixeln aufweist und einer erfassten Intensität der von dem Bereich des Werkstücks ausgehenden Strahlung in einem der L Spektralbänder ent spricht. Dies kann insbesondere für ein sogenannten Mosaik-Sensor der Fall sein. Bei Ver wendung des Push-Broom Verfahrens mit einem Hyperspektral sensor, bei dem auf den Pi xelzeilen des Hyperspektral sensors L verschiedene Filter für die L verschiedenen Wellen längenbänder angeordnet sind, kann das Hyperspektralbild hingegen als M Einzelbilder betrachtet werden, wobei jedes der Einzelbilder eine Auflösung von N mal L aufweist und jede der L Zeilen eines Einzelbildes einer erfassten Intensität der von der entsprechenden Zeile des Bereichs des Werkstücks ausgehenden Strahlung in dem jeweiligen der L Spekt ralbänder entspricht. Das Hyperspektralbild kann auch als Hyperspektralwürfel bezeichnet werden, wobei der Hyperspektralwürfel N mal M mal L bzw. N mal L mal M Elemente oder Werte aufweist. Die Datenausgabe der Sensoreinheit kann in Form eines 3D- Datenwürfels mit zwei räumlichen Dimensionen und einer spektralen Dimension erfolgen. Der Hyperspektralwürfel kann auch hyperspektraler Datenwürfel, oder analog zu einem 3- kanaligen RGB-Bild als L-kanaliges Hyperspektralbild bezeichnet werden.
Die Anzahl der Spektralbänder L kann gleich oder größer 16, bevorzugt gleich oder größer 20, bevorzugt gleich oder größer 25, besonders bevorzugt gleich oder größer 100 sein.
Die Spektralbänder in der spektralen Dimension l können gleich groß und/oder über einen Wellenlängenbereich der erfassten Strahlung gleichmäßig verteilt und/oder aneinander an grenzend und/oder aufeinanderfolgend sein. Vorzugsweise überlappen sich die Spektral bänder nicht.
Um eine kontinuierliche Überwachung des Laserbearbeitungsprozesses zu ermöglichen, kann die Sensoreinheit eingerichtet sein, um Hyperspektralbilder kontinuierlich oder um ein Hyperspektralbild pro vorgebebenem Zeitintervall zu erfassen.
Die Sensoreinheit kann ausgebildet sein, um alle L Werte für alle der N mal M Pixel des Hyperspektralbildes im Wesentlichen gleichzeitig zu erfassen. In diesem Fall kann das Hy perspektralbild als Schnappschuss oder Snap-Shot aufgenommen werden, wobei die Intensi täten in allen Spektralbändern für alle Pixel gleichzeitig erfasst werden. Das erfasste Hyper spektralbild entspricht demnach vorzugsweise einem sowohl ortsaufgelösten als auch wel lenlängenaufgelösten Bild des Werkstückbereichs zu einem bestimmten Zeitpunkt. Mit an deren Worten kann die Intensität der Strahlung in allen Spektralbändern und für den gesam ten erfassten Bereich des Werkstücks gleichzeitig erfasst werden. Dadurch kann der Laser bearbeitungsprozess präzise überwacht werden.
Der Hyperspektral sensor kann einen Mosaikfilter mit L verschiedenen optischen Bandpass filtern umfassen. Jeder optische Bandpassfilter kann einen Durchlassbereich entsprechend einem der Spektralbänder in der spektralen Dimension l aufweisen. Auf den Pixeln des Hy perspektralsensors können 4x4 oder 5x5 optische Mosaik-Filter angeordnet sein, wobei je der einzelne Bandpassfilter des Mosaikfilters auf einem entsprechenden Pixel angeordnet ist. Jeder Pixel des Hyperspektral sensors erfasst demnach eine durch den jeweiligen Band- passfilter gefilterte Intensität der ausgehenden Strahlung. Somit entstehen im Fall des Hy perspektralsensors mit einem 4x4-Mosaik-Filter 16 Bandpass-gefilterte Bilder, im Fall des Hyperspektral sensors mit einem 5x5 -Mosaik-Sensors 25 Bandpass-gefilterte Bilder des Hy perspektralbildes.
Alternativ kann der Hyperspektral sensor einen zeilenbasierten Filter mit L verschiedenen optischen Bandpassfiltern aufweisen. Jeder optische Bandpassfilter kann einen Durchlassbe reich entsprechend einem der Spektralbänder in der spektralen Dimension l aufweisen. Auf den Pixelzeilen des Hyperspektral sensors können die L verschiedenen optischen Bandpass filter angeordnet sein. Die Pixel einer Pixelzeile sind in einer ersten Richtung, auch als x- Richtung oder Spaltenrichtung bezeichnet, angeordnet. Beispielsweise kann jeder Bandpass filter über mindestens einer Zeile angeordnet sein und die L verschiedenen optischen Band passfilter sind in einer zweiten Richtung, auch als y-Richtung oder Zeilenrichtung bezeich net, nacheinander angeordnet. Die erste Richtung steht senkrecht auf der zweiten Richtung. Jeder der L optischen Bandpassfilter können einer Zeile oder auch n Zeilen der Pixel (n>l) entsprechen. Die L verschiedenen optischen Bandpassfilter sind also vorzugsweise so ange ordnet, dass sich die Transmission bzw. der Durchlassbereich nach jeder Zeile oder nach n Zeilen verändert. Jede Zeile oder n Zeilen des Hyperspektral sensors erfasst bzw. erfassen demnach eine durch den jeweiligen Bandpassfilter gefilterte Intensität der ausgehenden Strahlung. Somit kann ein diskretes Spektrum der ausgehenden Strahlung aufgenommen werden. Dieses Verfahren wird auch als „Push Broom“-Verfahren bezeichnet und kann in Laserbearbeitungssystemen mit hochgenauer Materialförderung verwendet werden. Die Synchronisation der Zeilenauslese kann mit der Materialfördergeschwindigkeit abgestimmt sein, so dass jeder Bereich der Oberfläche des Werkstücks mehrfach, d.h. mit jedem der verschiedenen Bandpassfilter zu verschiedenen Zeitpunkten, aufgenommen wird. Dieses Verfahren erlaubt die Anzahl der Bandpassfilter zu erhöhen.
Der zumindest eine Hyperspektral sensor kann eine Hyperspektralkamera umfassen. Insbe sondere kann der zumindest eine Hyperspektral sensor eine CMOS-Kamera, einen Infrarot- verstärkten CMOS-Sensor, einen Nahinfrarot (NIR)-verstärkten CMOS-Sensor, einen InGaAs-basierten Sensor, ein Sensorarray und/oder ein Diodenarray umfassen.
Der zumindest eine Hyperspektral sensor kann einen spektralen Empfmdlichkeitsbereich von 400 nm bis 1800 nm und/oder von 400 nm bis 950 nm und/oder von 400 nm bis 1000 nm und/oder von 1000 nm bis 1700 nm und/oder von 950 bis 1800 nm und/oder von 1200 nm bis 2000 aufweisen. Die Sensoreinheit kann insbesondere zumindest zwei Hyperspektral Sensoren mit unter schiedlichen Empfindlichkeitsbereichen aufweisen. Die Sensoreinheit kann eingerichtet sein, die von den jeweiligen Hyperspektralsensoren erfassten Daten zu einem Hyperspekt ralbild mit N mal M Pixeln umzurechnen und auszugeben, wobei jedes der Pixel L Werte in der spektralen Dimension umfasst.
Die Sensoreinheit kann zumindest einen Strahlteiler umfassen, der eingerichtet ist, um die von dem Bereich des Werkstücks ausgehende Strahlung auf die mindestens zwei Hyper spektralsensoren aufzuteilen.
Die Sensoreinheit kann mit dem Laserbearbeitungskopf gekoppelt, insbesondere abnehmbar gekoppelt sein. Die Sensoreinheit kann an einer Außenseite, insbesondere an einer Seiten fläche, des Laserbearbeitungskopfs angeordnet sein. Eine optische Achse der Sensoreinheit kann zumindest streckenweise parallel und/oder koaxial mit der Ausbreitungsrichtung des Laserstrahls verlaufen.
Das Laserbearbeitungssystem kann ferner eine Recheneinheit umfassen, die eingerichtet ist, basierend auf dem Hyperspektralbild einen Eingangstensor zu bestimmen und basierend auf dem Eingangstensor mittels einer Übertragungsfunktion einen Ausgangstensor zu bestim men, der Informationen über den Bearbeitungsprozess enthält, wobei die Übertragungsfunk tion zwischen dem Eingangstensor und dem Ausgangstensor durch ein tiefes neuronales Netz, insbesondere durch ein tiefes faltendes neuronales Netz, gebildet ist. Die Rechenein heit kann eingerichtet sein, um den Ausgangstensor in Echtzeit zu bilden und/oder um ba sierend auf dem Ausgangstensor Regelungsdaten an eine Steuereinheit des Laserbearbei tungssystems auszugegeben.
Das Verfahren kann ferner die folgenden Schritte umfassen: Bestimmen, basierend auf dem Hyperspektralbild, eines Eingangstensors, und Bestimmen, basierend auf dem Eingangsten sor und mittels einer Übertragungsfunktion, eines Ausgangstensors, der Informationen über den Bearbeitungsprozess enthält, wobei die Übertragungsfunktion zwischen dem Eingangs tensor und dem Ausgangstensor durch ein angelerntes neuronales Netz, etwa durch ein tie fes neuronales Netz oder durch ein tiefes faltendes neuronales Netz, gebildet ist. Das Bilden des Ausgangstensors kann in Echtzeit erfolgen.
Die Informationen über den Bearbeitungsprozess können Informationen über einen Bearbei tungsfehler und/oder einen Bearbeitungsbereich des Werkstücks umfassen. Der Ausgangs tensor kann insbesondere eine der folgenden Informationen enthalten: Informationen über einen Fügespalt, Informationen über einen Versatz zwischen Fügepartnern, Informationen über ein Schmelzbad, Informationen über eine Dampfkapillare, Informationen über eine Schweißraupe, Informationen über einen Zustand des Bearbeitungsprozesses, Informationen über einen Bearbeitungsfehler, Vorhandensein mindestens eines Bearbeitungsfehlers, Art des Bearbeitungsfehlers, Position des Bearbeitungsfehlers auf dem Werkstück, Wahrschein lichkeit für einen Bearbeitungsfehler einer bestimmten Art und räumliche und/oder flächige Ausdehnung des Bearbeitungsfehlers.
Demnach können die erfassten Hyperspektralbilder als Grundlage für die Erkennung und Klassifizierung von Bearbeitungsfehlern dienen. Die Bearbeitungsfehler können insbeson dere wie folgt klassifiziert werden: Spalt, Versatz, fehlende Durchschweißung, fehlende Einschweißung, Auswürfe, Porenbildung. Die Hyperspektralbilder können auch zur Erken nung einer Abweichung oder einer Anomalie des Laserbearbeitungsprozesses verwendet werden. Dabei ist eine Anomalie beispielsweise eine Abweichung von einer Schweißung, die vorab als „gut“ gekennzeichnet oder klassifiziert wurde.
Zum Anlernen eines überwachten Machine Learning Verfahrens, z.B. eines neuronalen Netzes, wird sowohl eine große Anzahl von fehlerfreien Bearbeitungsprozessen, beispiels weise Schweißungen, als auch eine große Anzahl von fehlerbehafteten Bearbeitungsprozes sen durchgeführt und jeweils Hyperspektralbilder aufgenommen. Die Trainingsdaten kön nen für eine Anomalieerkennung verwendet werden, insbesondere wenn wenig fehlerhafte Schweißungen erzeugt werden können. Das Trainieren der neuronalen Netze kann mit Stan dardverfahren durchgeführt werden.
Die Regelung oder eine Optimierung von Bearbeitungsprozessen kann mittels sogenanntem „Reinforcement Learning“ des neuronalen Netzes ermöglicht werden. Beim Reinforcement Learning Verfahren werden Steueraktionen des Bearbeitungsprozesses, beispielsweise die Änderung der Laserleistung oder die Änderung der Schweißgeschwindigkeit, dahingehend bewertet, ob sie zu einem als optimal betrachteten Prozess oder Prozessverlauf, beispiels weise einen Prozess ohne Bearbeitungsfehler, führen. Die Aktionen, welche zu einem opti malen Prozess führen, werden hoch bewertet. Dabei wird eine große Anzahl von Bearbei tungsprozessen mit einer entsprechenden Erfassung von Hyperspektralbildern durchgeführt, wobei die Hyperspektralbilder den Zustand des Bearbeitungsprozesses darstellen. Darauf basierend kann ein neuronales Netz, insbesondere ein tiefes neuronales Netz oder ein tiefes faltendes neuronales Netz, dahingehend trainiert werden, jede mögliche Steueraktion mit einem Zustand des Bearbeitungsprozesses zu verknüpfen und die Steueraktionen dahinge hend zu klassifizieren, inwiefern sie zu einem optimalen Zustand des Bearbeitungsprozesses führen. Nach Abschluss des Verfahrens ist das neuronale Netz in der Lage, den Bearbei tungsprozess in jedem Zustand durch eine entsprechende Steueraktion zu optimieren und in dem optimierten Zustand zu halten.
Das neuronale Netz kann durch sogenanntes Transfer-Learning basierend auf Trainingsda ten an einen geänderten Laserbearbeitungsprozess anpassbar sein. Die Trainingsdaten kön nen umfassen: eine Mehrzahl von Hyperspektralbildern des geänderten Laserbearbeitungs prozesses zum Bestimmen entsprechender Eingangstensoren, und den jeweiligen Hyper spektralbildern zugeordnete, vorgegebene Ausgangstensoren, die entsprechende, vorbe stimmte Informationen über den geänderten Laserbearbeitungsprozess enthalten.
Alternativ zur Verwendung eines neuronalen Netzes können signifikante Spektralbänder in Form einzelner Bilder aus dem Hyperspektralbild ausgewählt werden und anschließend kann deren Intensitätsverteilung ausgewertet werden. Dadurch können beispielsweise die geometrischen Abmessungen eines Keyholes und/oder eines Schmelzbades ausgewertet werden. Die ausgewerteten geometrischen Abmessungen können mit jenen von „guten“ bzw. „schlechten“ Bearbeitungsprozessen, insbesondere von guten bzw. schlechten Schweißprozessen verglichen werden. Die Abweichungen der geometrischen Abmessungen können zur Erkennung und Klassifizierung herangezogen werden.
Das Laserbearbeitungssystem kann ferner zumindest eine Abbildungsoptik zum Abbilden einer von dem Bereich des Werkstücks ausgehenden Strahlung auf den zumindest einen Hyperspektral sensor umfassen. Die zumindest eine Abbildungsoptik kann in einem Strah lengang des Laserstrahls und/oder in Ausbreitungsrichtung der vom Bereich des Werkstücks ausgehenden Strahlung vor dem Hyperspektralsensor, beispielsweise zwischen einem Strahlteiler und dem zumindest einen Hyperspektral sensor angeordnet sein.
Das oben beschriebene Verfahren kann während des Laserbearbeitungsprozesses durchge führt werden. In diesem Fall kann das Bearbeitungsergebnis ein aktuelles Bearbeitungser gebnis sein. Insbesondere kann das Bearbeitungsergebnis in Echtzeit ermittelt werden, oder das Verfahren kann nach Abschluss des Laserbearbeitungsprozesses durchgeführt werden. In diesem Fall kann der Ausgangstensor Informationen über einen Bearbeitungsfehler ent halten. Je nachdem, ob das erfasste Hyperspektralbild einen Werkstückbereich im Vorlauf des Laserstrahls, im aktuellen Bearbeitungsbereich und/oder im Nachlauf des Laserstrahls enthält, kann mit dem beschriebenen Verfahren eine Pre-Prozess, In-Prozess, und/oder Post- Prozess Überwachung durchgeführt werden. Kurzbeschreibung der Zeichnungen
Die Erfindung wird im Folgenden anhand von Figuren im Detail beschrieben. In den Figu ren:
Fig. 1A zeigt eine schematische Darstellung eines Hyperspektral sensors gemäß Ausfüh rungsformen der vorliegenden Offenbarung;
Fig. 1B zeigt eine schematische Darstellung eines Hyperspektralbildes, welches von einem Hyperspektral sensor gemäß Ausführungsformen der vorliegenden Offenbarung erfasst wor den ist;
Fig. IC zeigt eine schematische Darstellung eines Bereichs eines Werkstücks und eines Hy perspektralbildes gemäß Ausführungsformen der vorliegenden Offenbarung;
Fig. 2 zeigt eine schematische Darstellung eines Laserbearb ei tungs Systems gemäß einer ersten Ausführungsform der vorliegenden Offenbarung;
Fig. 3 zeigt eine schematische Darstellung eines Laserbearbeitungssystems gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung;
Fig. 4 zeigt eine schematische Darstellung eines Laserbearbeitungssystems gemäß einer dritten Ausführungsform der vorliegenden Offenbarung; und
Fig. 5 zeigt eine schematische Darstellung eines Laserbearbeitungssystems gemäß einer vierten Ausführungsform der vorliegenden Offenbarung.
Fig. 6 zeigt ein Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werk stück mittels eines Laserstrahls gemäß einer Ausführungsform der vorliegenden Offenba rung.
Ausführliche Beschreibung der Zeichnungen
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche bzw. gleichwirkende Ele mente dieselben Bezugszeichen verwendet.
Fig. 1A zeigt eine schematische Darstellung eines Hyperspektral sensors gemäß Ausfüh rungsformen der vorliegenden Offenbarung. Fig. 1B zeigt eine schematische Darstellung eines Hyperspektralbildes, welches von einem Hyperspektral sensor gemäß Ausführungs formen der vorliegenden Offenbarung erfasst worden ist. Der in Fig. 1A gezeigte Hyper spektralsensor kann mit anderen Ausführungsformen der vorliegenden Offenbarung kombi niert werden. Der Hyperspektral sensor 100 weist eine Mehrzahl von Pixeln 1001 auf, die entlang einer ersten Richtung (x-Richtung oder Spaltenrichtung) und einer auf der ersten Richtung senk recht stehenden zweiten Richtung (y-Richtung oder Zeilenrichtung) angeordnet sind. Die beiden Richtungen entsprechen zwei räumlichen Dimensionen eines vom Hyperspektral sensor 100 erfassten Hyperspektralbildes. Alle Pixel 1001 des Hyperspektral sensors können Strahlung innerhalb eines gewissen Wellenlängenbereichs detektieren bzw. erfassen. Auf den Pixeln 1001 ist ein 5x5 optischer Mosaik-Filter 1002 aufgebracht. Der 5x5 Mosaik- Filter 1002 umfasst 25 verschiedene Einzelfilter 1003, die zu einer Einheitszelle, wie hier beispielsweise zu einem Quadrat angeordnet sind. Die Einheitszellen wiederholen sich in beiden Richtungen, so dass jedem Pixel 1001 des Hyperspektral sensors ein Einzelfilter 1003 des Mosaik-Filters 1002 zugeordnet ist. In Fig. 1A ist der Mosaik-Filter 1002 lediglich auf einer einzelnen Fläche von 5x5 zusammenhängenden Pixeln 1001 gezeigt. Jedoch ist auf jedem Pixel 1001 ein Einzelfilter 1003 des Mosaik-Filters 1002 angeordnet. Jeder Einzelfil ter 1003 des Mosaik-Filters 1002 stellt einen optischen Bandpassfilter dar und weist einen Durchlassbereich auf, der einem Spektralband innerhalb des Wellenlängenbereichs ent spricht. Die 25 Einzelfilter 1003 des Mosaik-Filters 1002 weisen jeweils unterschiedliche Durchlassbereiche bzw. entsprechende Spektralbänder auf. Die Spektralbänder können zu sammenhängend und nicht überlappend sein, sodass sie den Wellenlängenbereich vollstän dig abdecken.
Mithilfe des Hyperspektral sensors 100 kann Strahlung über einen großen Wellenlängenbe reich spektral aufgelöst erfasst bzw. detektiert werden. Durch die Einzelfilter 1003 des Mo saik-Filters 1002 wird die Strahlung vor der Erfassung durch die jeweiligen Pixel 1001 ent sprechend der jeweiligen Spektralbänder gefiltert. Jedes Pixel 1001 des Hyperspektral sensors 100 kann demnach den Intensitätswert der Strahlung in dem Spektralband entspre chend dem Durchlassbereich des Einzelfilters 1003 detektieren bzw. erfassen. Jedem Pixel kann so ein bandpassgefilterter Intensitätswert zugeordnet werden. Dadurch entstehen 25 Einzelbilder 301 mit den Intensitätswerten in den durch die Einzelfilter 1003 festgelegten Spektralbändern.
Fig. IC zeigt eine schematische Darstellung eines Bereichs eines Werkstücks und eines Hy perspektralbildes gemäß Ausführungsformen der vorliegenden Offenbarung. Ein zeilenori entierter Hyperspektral sensor, d.h. ein Hyperspektral sensor mit zeilenbasierten Bandpassfil tern, gemäß Ausführungsformen der vorliegenden Offenbarung weist eine Mehrzahl von Pixeln auf, die entlang einer ersten Richtung (d.h. in x-Richtung oder Spaltenrichtung) und einer zweiten Richtung (d.h. in y-Richtung oder Zeilenrichtung) angeordnet sind. Alle Pixel des Hyperspektral sensors können Strahlung innerhalb eines gewissen Wellenlängenbereichs detektieren bzw. erfassen. Der Hyperspektral sensor weist einen zeilenbasierten Filter mit L verschiedenen, einzelnen optischen Bandpassfiltern auf. Die L verschiedenen optischen Bandpassfilter sind jeweils auf mindestens einer Zeile von Pixeln des Hyperspektral sensor, d.h. zeilenorientiert, angeordnet. Mit anderen Worten erstrecken sich die L verschiedenen optischen Bandpassfilter in der ersten Richtung über mindestens eine Zeile der Sensorpixel. Die optischen Bandpassfilter können sich in der zweiten Richtung pro Zeile oder alle n Zei len ändern. Mit anderen Worten überdeckt ein einzelner optischer Bandpassfilter eine oder mehrere Zeilen von Pixeln. Jeder Bandpassfilter weist einen Durchlassbereich auf, der ei nem Spektralband innerhalb des Wellenlängenbereichs entspricht. Jede Zeile des Hyper spektralsensors erfasst demnach eine durch den jeweiligen Bandpassfilter gefilterte Intensi tät der ausgehenden Strahlung. Die verschiedenen Bandpassfilter des Filters weisen jeweils unterschiedliche Durchlassbereiche bzw. entsprechende Spektralbänder auf. Die Spektral bänder können zusammenhängend und nicht überlappend sein, sodass sie den Wellenlän genbereich vollständig abdecken.
Mithilfe des Hyperspektral sensors kann Strahlung über einen großen Wellenlängenbereich spektral aufgelöst erfasst bzw. detektiert werden. Durch die Bandpassfilter wird die Strah lung vor der Erfassung durch die jeweiligen Pixel entsprechend der jeweiligen Spektralbän der gefiltert. Jeder Pixel des Hyperspektral sensors kann demnach den Intensitätswert der Strahlung in dem Spektralband entsprechend dem Durchlassbereich des Bandpassfilters detektieren bzw. erfassen. Jedem Pixel kann so ein bandpassgefilterter Intensitätswert zuge ordnet werden. Um ein Hyperspektralbild eines Bereichs des Werkstücks 2 zu erhalten, werden die Zeilen 21 des Werkstückbereichs von dem Hyperspektral sensor in der zweiten Richtung, d.h. in y-Richtung oder Zeilenrichtung, gescannt. Somit wird jede Zeile 21 des Bereichs des Werkstücks 2 mehrfach, d.h. mit jedem der Bandpassfilter des Hyperspektral sensors aufgenommen. Es entstehen im Fall des Hyperspektral sensors mit einem zeilenba sierten Filter mit L verschiedenen Bandpassfiltern L Bandpass-gefilterte Einzelbilder 301 mit den Intensitätswerten in den durch die jeweiligen Bandpassfilter festgelegten Spektral bändern, die das Hyperspektralbild bilden. Dieses Verfahren wird auch als „Push Broom“- Verfahren bezeichnet. Das Verfahren kann insbesondere in Laserbearbeitungssystemen mit hochgenauer Materialförderung verwendet werden. Das Scannen bzw. die Synchronisation der Zeilenauslese kann in Richtung der Relativbewegung zwischen Laserbearbeitungskopf und Werkstück bzw. in Richtung der Materialförderung erfolgen und mit der Materialför dergeschwindigkeit abgestimmt sein. Mit anderen Worten wird zu einem Zeitpunkt ein Ein zelbild des Hyperspektralbilds aufgenommen, das in jeder Pixelzeile einem anderen Wellen längenbereich entspricht. Anschließend werden die Zeilen durch die Scanbewegung bzw. die Relativbewegung jede Zeile jeweils in einem anderen Wellenlängenbereich gescannt. Dieses Verfahren erlaubt die Anzahl der Bandpassfilter zu erhöhen. Die Scanbewegung bzw. die Relativbewegung steht vorzugsweise senkrecht auf den Pixelzeilen des Hyper spektralsensors, d.h. die Scanbewegung bzw. die Relativbewegung kann in y-Richtung bzw. Zeilenrichtung erfolgen. Abhängig von der Auflösung des Hyperspektral sensors lassen sich so mehr Wellenlängenbänder realisieren.
Der Hyperspektral sensor 100 ist also dazu eingerichtet, Strahlung zu erfassen und als 25 bandpassgefilterte Einzelbilder 301 auszugeben. Die Gesamtheit der 25 Bilder werden als Hyperspektralbild 300, Hyperspektralwürfel oder hyperspektraler Datenwürfel bezeichnet.
Der Hyperspektral sensor gemäß Ausführungsformen der vorliegenden Offenbarung weist Pixel mit einer spektralen Empfindlichkeit zwischen 400 und 1800 nm auf. Bei der Ver wendung von 5x5 Mosaik-Filtern kann ein Hyperspektralbild bzw. ein Hyperspektralwürfel erfasst werden, welcher 25 Einzelbilder aufweist. Jedes der 25 Einzelbilder deckt demnach ein Spektralband mit 56nm Breite ab. Mit anderen Worten entspricht jedes Einzelbild der Intensitätsverteilung in einem Spektralband von 56 nm. Mit noch anderen Worten haben die Einzelbilder einen Abstand von 56 nm in der spektralen Dimension.
Gemäß anderen Ausführungsformen der vorliegenden Offenbarung des Hyperspektral sensors (nicht gezeigt) kann der Hyperspektral sensor einen 4x4 Mosaik-Filter mit 16 Ein zelfiltern aufweisen. Somit ist der Hyperspektral sensor eingerichtet, 16 Einzelbilder als Hy perspektralbild auszugeben. Beispielsweise kann der Hyperspektral sensor 2048x1088 Pixel aufweisen und als CMOS-Sensor ausgebildet sein. Der Hyperspektral sensor weist einen 4x4 Mosaik-Filter auf. Dadurch wird die örtliche oder räumliche Auflösung um den Faktor 4 reduziert. Mit anderen Worten weist ein von einem solchen Hyperspektral sensor erfasstes Hyperspektralbild 16 Einzelbilder auf, die jeweils 512x272 Pixel aufweisen.
Somit kann der Hyperspektral sensor Bildaufnahmen in verschiedenen Spektralbändern we sentlich vereinfachen und Snapshot-Aufnahmen separiert in aufeinander folgende Spektral bänder ermöglichen.
Der Hyperspektral sensor 100 kann auf Graphen oder InGaAs basieren, und beispielsweise eine Empfindlichkeit zwischen 400nm bis 1800 nm aufweisen. Gemäß anderen Ausfüh rungsformen kann der Hyperspektral sensor 100 auf InGaAs mit einer spektralen Empfind lichkeit zwischen 900 und 1800nm basieren. Gemäß noch anderen Ausführungsformen kann der Hyperspektral sensor ein nahinfrarot-verstärkter CMOS-Sensor sein. Graphen- basierte Hyperspektral sensoren weisen eine hohe gleichbleibende Empfindlichkeit zwischen 400 und 1800nm auf.
Fig. 2 zeigt eine schematische Darstellung eines Laserbearbeitungssystems zum Durchfüh ren eines Bearbeitungsprozesses, etwa Schweißen oder Schneiden, an einem metallischen Werkstück mittels eines Laserstrahls gemäß einer ersten Ausführungsform der vorliegenden Offenbarung;
Das Laserbearbeitungssystem 1 umfasst einen Laserbearbeitungskopf 20, und eine Sen soreinheit 10 zur Überwachung des Bearbeitungsprozesses. Der Laserbearbeitungskopf 20 kann ein Laserschneid-, Laserlöt- oder Laserschweißkopf sein.
Das Laserbearbeitungssystem 1 umfasst eine Laservorrichtung (nicht gezeigt) zum Erzeu gen eines Laserstrahls 201 (auch als „Bearbeitungsstrahl“ oder „Bearbeitungslaserstrahl“ bezeichnet).
Das Laserbearbeitungssystem 1 oder Teile davon, wie beispielsweise der Bearbeitungskopf 20, kann gemäß Ausführungsformen entlang einer Bearbeitungsrichtung bewegbar sein. Die Bearbeitungsrichtung kann eine Schneid-, Löt- oder Schweißrichtung und/oder eine Bewe gungsrichtung des Laserbearbeitungssystems 1, wie beispielsweise des Bearbeitungskopfes 20, bezüglich des Werkstücks 2 sein. Insbesondere kann die Bearbeitungsrichtung eine ho rizontale Richtung sein. Die Bearbeitungsrichtung kann auch als „Vorschubrichtung“ be zeichnet werden.
Das Laserbearbeitungssystem 1 wird von einer Steuereinheit (nicht gezeigt) gesteuert, die dazu eingerichtet ist, den Bearbeitungskopf 20, die Sensoreinheit 10 und/oder die Laservor richtung zu steuern. Das Laserbearbeitungssystem 1 kann ferner eine Recheneinheit (nicht gezeigt) umfassen, die dazu eingerichtet ist, Informationen über den Bearbeitungsprozesses zu bestimmen. Gemäß einer Ausführungsform ist die Recheneinheit mit der Steuereinheit kombiniert (nicht gezeigt). Mit anderen Worten kann die Funktionalität der Recheneinheit mit derjenigen der Steuereinheit in einer gemeinsamen Verarbeitungseinheit kombiniert sein.
Die Laservorrichtung 1 kann eine Kollimatoroptik 202 zur Kollimation des Laserstrahls 201 und eine Fokussieroptik 203 aufweisen, die eingerichtet ist, um den Laserstrahl 201 auf das Werkstück 2 zu fokussieren. Die Laservorrichtung 1 kann ferner einen Strahlteiler 204 um fassen, der eingerichtet ist, den Laserstrahl 201 auf das Werkstück 2 zu lenken. Während des Bearbeitungsprozesses bzw. bei der Bearbeitung des Werkstücks 2 mittels des Laserstrahls 201 entsteht Strahlung 205, die vom Werkstück 2 ausgeht. Bei der Strahlung 205 kann von einer Oberfläche des Werkstücks 2 reflektiertes oder zurückgestreutes Licht des Laserstrahls 201, Plasmastrahlung, Temperaturstrahlung, oder sichtbares Licht handeln. Die Strahlung 205 kann auch von einer Beleuchtungsquelle (nicht gezeigt) auf das Werk stück 2 eingestrahltes und zurück reflektiertes Licht umfassen.
Die Sensoreinheit 10 umfasst einen Hyperspektral sensor 100 und eine Abbildungsoptik 101. Die Abbildungsoptik 101 kann gemäß Ausführungsformen auch weggelassen sein. Die Ab bildungsoptik 101 ist dazu eingerichtet, die Strahlung 205 auf den Hyperspektral sensor 100 abzubilden bzw. zu fokussieren.
Gemäß der in Fig. 2 gezeigten Ausführungsform umfasst die Sensoreinheit 10 einen Hyper spektralsensor 100 mit einer spektralen Empfindlichkeit von 400 nm bis 1800 nm. Gemäß anderen Ausführungsformen umfasst die Sensoreinheit 10 einen Hyperspektral sensor mit einer spektralen Empfindlichkeit von 400 bis 950 nm oder bis 1000 nm. Gemäß Ausfüh rungsformen kann der Hyperspektral sensor 100 ein Graphen oder InGaAs-basierten Hyper spektralsensor mit Mosaikfilter sein, wie er in Verbindung mit Fig. 1 A und 1B beschrieben ist. Gemäß anderen Ausführungsformen kann der Hyperspektral sensor 100 ein nahinfrarot verstärken Hyperspektral sensor mit Mosaikfilter sein, wie er in Verbindung mit Fig. 1 A und 1B beschrieben ist.
Die Sensoreinheit 10 bzw. der Hyperspektral sensor 100 ist eingerichtet, die vom Werkstück 2 ausgehende Strahlung 205 zu erfassen und als Hyperspektralbild auszugeben. Die Re cheneinheit ist eingerichtet, basierend auf dem Hyperspektralbild Informationen über den Bearbeitungsprozess, insbesondere Informationen über ein Bearbeitungsergebnis, bei spielsweise einen Bearbeitungsfehler, zu bestimmen. Die Bestimmung kann mittels tiefer neuronaler Netze, insbesondere tiefer faltender neuronaler Netze, erfolgen.
Die Sensoreinheit 10 ist gemäß der in Fig. 2 gezeigten Ausführungsform am Laserbearbei tungskopf 20 angebracht oder damit gekoppelt.
Gemäß der in Fig. 2 gezeigten Ausführungsform ist die Sensoreinheit 10 so angeordnet, dass die vom Werkstück ausgehende Strahlung 205 koaxial zum Laserstrahl 201 im Laser bearbeitungskopf 20 zur Sensoreinheit 10 geführt wird. Somit tritt die vom Werkstück aus gehende Strahlung 205 in den Laserbearbeitungskopf 20 entgegen der Ausbreitungsrichtung des Laserstrahls 201 ein und trifft auf die Sensoreinheit 10. Hierbei durchläuft die Strahlung 205 die Fokussieroptik 203 und den Strahlteiler 204, bevor sie auf die Sensoreinheit 10 trifft. Mit anderen Worten überlappen sich Strahlung 205 und der Laserstrahl 201 im Laser bearbeitungskopf 20.
Das Laserbearbeitungssystem kann ferner eine Recheneinheit umfassen, die basierend auf dem von der Sensoreinheit erfassten Hyperspektralbild einen vielkanaligen Eingangstensor und basierend auf dem Eingangstensor mittels einer Übertragungsfunktion einen Ausgangs tensor bestimmt, der Informationen über den Bearbeitungsprozess enthält. Die Übertra gungsfunktion kann durch ein neuronales Netz, bevorzugt durch ein tiefes neuronales Netz oder ein tiefes faltendes neuronales Netz gebildet sein. Die Recheneinheit gibt basierend auf dem Ausgangstensor Regelungsdaten oder Steuerdaten an die Steuereinheit des Laserbear beitungssystems aus. Basierend auf den Hyperspektralbildern bzw. -würfeln kann eine Anomalieerkennung durchgeführt werden, indem die Hyperspektralbilder von fehlerfreien Prozessen als Datenbasis dienen. Die Anomalierkennung kann mit Standardverfahren, dem Bilden eines Modells aus den Trainingsdaten und dem Berechnen der Abweichung der Merkmale vom Modell in der Inferenz durchgeführt werden.
Die Klassifikation in typische Fehlerklassen, wie Spalt, Versatz, fehlende Durch- und Ein schweißung, Auswürfe und die Porenbildung, erfordert die Erzeugung einer großen Anzahl von Trainingsdaten welche diese typischen Fehler enthalten. Das bedeutet es müssen Schweißungen für jeden Fehlertyp erzeugt werden. Die so erzeugten Trainingsdaten beste hen aus den Hyperspektralbildern und den hinzugefügten Fehlerbeschreibungen. Diese Trainingsdatensätze können verwendet werden, um ein überwachtes Machine Learning Ver fahren zur Klassifikation zu verwenden. Beispielsweise können die erzeugten Hyperspekt ralbilder als mehrkanalige Eingangstensoren für ein tiefes neuronales Netz, typischerweise eines faltenden neuronalen Netzes, verwendet werden. Die nach dem Trainingsvorgang ent standene generalisierte Übertragungsfunktion bildet in der Inferenz die Hyperspektralbilder auf den Ausgangsvektor ab, welcher die Vorhersage über die Fehlerklassifikation liefert. Die gelernte generalisierte Übertragungsfunktion, gebildet aus dem Modell des tiefen fal tenden neuronalen Netzes, beinhaltet in den letzten voll verbundenen Schichten Merkmals vektoren, welche den Prozess beschreiben.
Die Betrachtung des Hyperspektral Würfels als vielkanaligen Eingangstensor eines tiefen neuronalen Netzes, insbesondere eines tiefen faltenden neuronalen Netzes, erlaubt das Trai nieren solcher Netze und das damit verbundene Bilden einer generalisierten Abbildungs funktion, welche den Eingangstensor auf ein Klassifikationsergebnis abbildet. Die Verwen- düng des Hyperspektralbilds zur Abbildung des Prozesses kann in einem „Reinforcement Deep Q Leaming“ Verfahren angewendet werden: Das Hyperspektralbild, betrachtet als Status des Prozesses, erlaubt ein Lernen des Nutzens einer Aktion auf den Prozess mittels eines tiefen faltenden neuronalen Netzes. Nach Abschluss des Lernens ist das Programm in der Lage, für jeden Zustand die optimale Änderung des Prozesses durchzuführen.
Die Optimierung des Laserschweißprozesses mittels eines Reinforcement Learning Verfah rens wird dadurch ermöglicht, dass die Aktionen auf den Prozess, z.B. eine Änderung der Laserleistung oder die Änderung der Schweißgeschwindigkeit bewertet werden. Die Aktio nen, welche zu einem optimalen Prozess führen, werden hoch bewertet. Da Expertenwissen über den Laserprozess vorhanden ist, können die Anzahl der Aktionen am Prozess einge schränkt werden. Über eine große Anzahl von Schweißversuchen kann so ein tiefes neuro nales Netz, typischerweise ein faltendes neuronales Netz, verwendet werden, um die Zuord nung des Status, welcher durch den Hyperspektralwürfel dargestellt wird, auf die Be wertung für jede mögliche bzw. erlaubte Aktion zu trainieren. Das trainierte Netz erlaubt dann aus jedem Zustand heraus die optimale Aktion auf den Prozess auszuführen, um den Prozess zu optimieren und in einem optimalen Zustand zu halten.
Fig. 3 zeigt eine schematische Darstellung eines Laserbearbeitungssystems gemäß einer zweiten Ausführungsform der vorliegenden Offenbarung. Das in Fig. 3 gezeigte Laserbear beitungssystem entspricht dem in Fig. 2 gezeigten Laserbearbeitungssystem bis auf die nachfolgend beschriebenen Unterschiede.
Gemäß der in Fig. 3 gezeigten Ausführungsform verläuft der Strahlengang der zur Sen soreinheit 10 geführten, vom Werkstückbereich ausgehenden Strahlung 205 außerhalb des Laserbearbeitungskopfs 20. Somit tritt die Strahlung 205 nicht in den Laserbearbeitungs kopf 20 ein, bevor sie auf die Sensoreinheit 10 trifft. Mit anderen Worten überlappen sich Strahlung 205 und der Laserstrahl 201 nicht im Laserbearbeitungskopf 20. Etwaige Filteref fekte der Fokussieroptik des Laserbearbeitungskopfes 20 fallen weg.
Gemäß der in Fig. 3 gezeigten Ausführungsform kann die Sensoreinheit 10 an einer seitli chen Oberfläche des Laserbearbeitungskopfes angebracht sein. Diese Anordnung der Sen soreinheit wird auch als „off-axiale Anordnung“ bezeichnet.
Fig. 4 zeigt eine schematische Darstellung eines Laserbearbeitungssystems gemäß einer dritten Ausführungsform der vorliegenden Offenbarung. Das in Fig. 4 gezeigte Laserbear- beitungssystem entspricht dem in Fig. 2 gezeigten Laserbearbeitungssystem bis auf die nachfolgend beschriebenen Unterschiede.
Die Sensorvorrichtung 10 umfasst einen ersten Hyperspektral sensor 100a, einen zweiten Hyperspektral sensor 100b und einen Strahlteiler 102. Anstelle eines Sensors mit einer breit bandigen Empfindlichkeit, wie in den Ausführungsbeispielen von Figuren 2 und 3, wird in diesem Ausführungsbeispiel ein entsprechender Wellenlängenbereich mit Hilfe von zwei Hyperspektral Sensoren 100a und 100b und einem Strahlteiler 102 abgedeckt. Die Hyper spektralwürfel der einzelnen Hyperspektral sensoren, beispielsweise eines InGaAs Bildsensors und eines NIR verstärkten CMOS Bildsensors, können zu einem Hyperspekt ralwürfel zusammengesetzt werden.
Der Strahlteiler 102 ist eingerichtet, die vom Werkstück ausgehende Strahlung 205 aufzutei len und auf den ersten Hyperspektral sensor 100a und den zweiten Hyperspektral sensor 100b zu lenken. Die Sensorvorrichtung 10 kann ferner eine erste Abbildungsoptik 101a und eine zweite Abbildungsoptik 101b umfassen, die jeweils vor dem ersten und zweiten Hyper spektralsensor 100a und 100b angeordnet sind, um den Teil der Strahlung 205 darauf abzu bilden.
Gemäß der in Fig. 4 gezeigten Ausführungsform weist der erste Hyperspektral sensor 100a eine spektrale Empfindlichkeit von 400 nm bis 950 nm oder von 400 nm bis 1000 nm auf und der zweite Hyperspektral sensor 100b weist eine spektrale Empfindlichkeit von 1000 nm bis 1700 nm oder von 900 bis 1800 nm auf. Gemäß Ausführungsformen kann der erste Hy perspektralsensor 100a ein nahinfrarot-verstärkter CMOS-Sensor mit Mosaikfilter sein, wie er in Verbindung mit Fig. 1 A und 1B beschrieben ist. Ebenso kann der zweite Hyperspekt ralsensor 100b ein InGaAs-basierter Hyperspektral sensor mit Mosaikfilter sein, wie er in Verbindung mit Fig. 1 A und 1B beschrieben ist.
Die Sensoreinheit 10 gemäß Fig. 4 ist eingerichtet, die vom ersten Hyperspektral sensor 100a und vom zweiten Hyperspektral sensor 100b erfassten Hyperspektralbilder zu einem einzelnen Hyperspektralbild zu kombinieren und auszugeben. Das kombinierte Hyperspekt ralbild kann in diesem Fall 50 Einzelbilder umfassen. Der erste Hyperspektral sensor 100a und der zweite Hyperspektral sensor 100b können unterschiedliche Auflösungen, d.h. eine unterschiedliche Anzahl von Pixeln, aufweisen. Die Sensoreinheit 10 kann deshalb einge richtet sein, die Auflösungen der von den beiden Hyperspektral sensoren erhaltenen jeweili gen Hyperspektralbilder aneinander anzupassen, sodass die Einzelbilder im Hyperspektral würfel dieselbe räumliche Dimension besitzen. Fig. 5 zeigt eine schematische Darstellung eines Laserbearbeitungssystems gemäß einer vierten Ausführungsform der vorliegenden Offenbarung. Das in Fig. 5 gezeigte Laserbear beitungssystem entspricht dem in Fig. 4 gezeigten Laserbearbeitungssystem bis auf die nachfolgend beschriebenen Unterschiede.
Gemäß der in Fig. 5 gezeigten Ausführungsform verläuft der Strahlengang der zur Sen soreinheit 10 geführten, vom Werkstückbereich ausgehenden Strahlung 205 außerhalb des Laserbearbeitungskopfs 20. Somit tritt die Strahlung 205 nicht in den Laserbearbeitungs kopf 20 ein, bevor sie auf die Sensoreinheit 10 trifft. Mit anderen Worten überlappen sich Strahlung 205 und der Laserstrahl 201 nicht im Laserbearbeitungskopf 20.
Gemäß der in Fig. 5 gezeigten Ausführungsform kann die Sensoreinheit 10 an einer seitli chen Oberfläche des Laserbearbeitungskopfes angebracht sein. Diese Anordnung der Sen soreinheit wird auch als „off-axiale Anordnung“ bezeichnet.
Fig. 6 zeigt ein Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werk stück mittels eines Laserstrahls.
Das Verfahren kann von einem Laserbearbeitungssystem gemäß Ausführungsformen der vorliegenden Offenbarung ausgeführt werden.
Der erste Schritt 601 umfasst das Einstrahlen eines Laserstrahls in einen Bearbeitungsbe reich auf einem Werkstück. In einem zweiten Schritt 602 wird ein Hyperspektralbild mit N mal M Pixeln von einem Bereich des Werkstücks erfasst. Jedes Pixel umfasst L Werte, wo bei das Hyperspektralbild zwei räumliche Dimensionen x und y sowie eine spektrale Di mension l aufweist und wobei N eine Anzahl von Pixeln in der ersten räumlichen Dimensi on x, M eine Anzahl von Pixeln in der zweiten räumlichen Dimension y, und L die Anzahl von Spektralbändern in der spektralen Dimension l des Hyperspektralbildes angeben, wobei M, N und L natürliche Zahlen sind.
Das Verfahren kann ferner einen dritten Schritt 603 umfassen, bei dem basierend auf dem Hyperspektralbild ein Eingangstensor bestimmt wird, und das Verfahren kann einen vierten Schritt 604 umfassen, bei dem basierend auf dem Eingangstensor und mittels einer Übertra gungsfunktion ein Ausgangstensor bestimmt wird, der Informationen über ein Bearbei tungsergebnis eines Laserbearbeitungsprozesses enthält. Die Übertragungsfunktion zwi- sehen dem Eingangstensor und dem Ausgangstensor kann durch ein angelerntes neuronales Netz gebildet sein.
Gemäß einer Ausführungsform erfolgen die Schritte 602 bis 604 parallel bzw. zeitgleich zum Schritt 601. Gemäß einer anderen Ausführungsform erfolgen die Schritte 602 bis 604 nach Beendigung des Schritt 601.
Gemäß Ausführungsformen der Offenbarung wird bei einem Laserbearbeitungsprozess, bei dem ein Laserstrahl auf einen Bearbeitungsbereich des Werkstücks eingestrahlt wird, zur Überwachung des Laserbearbeitungsprozesses ein Hyperspektralbild von einem Bereich des Werkstücks erfasst. Der erfasste Bereich kann den Bearbeitungsbereich und/oder Bereiche im Vor- bzw. im Nachlauf des Laserstrahls umfassen. Das Hyperspektralbild weist N mal M Pixel in zwei räumlichen Dimensionen auf. Jeder Pixel weist L Werte in einer spektralen Dimension auf. Mit anderen Worten weist das Hyperspektralbild L Einzelbilder mit N mal M Pixeln auf. L gibt die Anzahl von Spektralbändern in einem erfassten Wellenlängenbe reich auf. Die L Spektralbänder können aneinander angrenzen. Ein Hyperspektralbild bzw. - Würfel über den gesamten Wellenlängenbereich der Strahlung, die vom Bearbeitungsprozess emittiert wird, bildet den Prozess vollständig ab, da alle Wellenlängen ortsaufgelöst zur Verfügung stehen. Das Hyperspektralbild enthält umfassende Informationen über einen Zu stand des Laserbearbeitungsprozesses und kann deshalb als Grundlage für die Überwachung und Regelung des Laserbearbeitungsprozesses verwendet werden. Zudem können mithilfe des Hyperspektralbildes Informationen über ein Bearbeitungsergebnis des Laserbearbei tungsprozesses erhalten werden, was Informationen über einen Bearbeitungsfehler ein schließt. Der Zustand des Laserbearbeitungsprozesses bzw. die Informationen über ein Be arbeitungsergebnis können mithilfe eines (tiefen) neuronalen Netzes bestimmt werden, wo bei das erfasste Hyperspektralbild als Grundlage für den Eingangstensor des tiefen neurona len Netzes verwendet wird.

Claims

Patentansprüche
1. Laserbearbeitungssystem (1) zum Durchführen eines Bearbeitungsprozesses an ei nem Werkstück (2) mittels eines Laserstrahls (201), das Laserbearbeitungssystem (1) um fassend: einen Laserbearbeitungskopf (20) zum Einstrahlen eines Laserstrahls (201) in einen Bearbeitungsbereich auf dem Werkstück (2); und eine Sensoreinheit (10) zum Überwachen des Bearbeitungsprozesses mit zumindest einem Hyperspektral sensor (100, 100a, 100b), wobei die Sensoreinheit (10) eingerichtet ist, ein Hyperspektralbild (300) mit N mal M Pixeln von einem Bereich des Werkstücks (2) zu erfassen, wobei jedes Pixel L Werte umfasst, wobei das Hyperspektralbild (300) zwei räumliche Dimensionen x und y sowie eine spektrale Dimension l aufweist und wobei N eine Anzahl von Pixeln in der ersten räumli chen Dimension x, M eine Anzahl von Pixeln in der zweiten räumlichen Dimension y, und L die Anzahl von Spektralbändern in der spektralen Dimension l des Hyperspektralbildes angeben, wobei M, N und L natürliche Zahlen größer Null sind.
2. Laserbearbeitungssystem (1) gemäß Anspruch 1, wobei die Sensoreinheit (10) einge richtet ist, um von dem erfassten Bereich des Werkstücks (20) emittierte Strahlung (205) und/oder reflektierte Laserstrahlung zu erfassen und als Hyperspektralbild (300) auszuge ben.
3. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei die Sensoreinheit (10) eingerichtet ist, um zumindest eine der folgenden Strahlungsarten zu erfassen: Temperaturstrahlung, Strahlung im infraroten Bereich des Lichts, Strahlung im nahen infraroten Bereich des Lichts, Strahlung im sichtbaren Bereich des Lichts, Plasma strahlung, reflektiertes Licht des Laserstrahls, zurückgestreutes Licht des Laserstrahls, und von einer Beleuchtungsquelle eingestrahltes und reflektiertes Licht.
4. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei der im Hyperspektralbild (300) erfasste Bereich des Werkstücks (2) zumindest einen der fol genden Bereiche auf dem Werkstück umfasst: den Bearbeitungsbereich, einen Bereich im Vorlauf des Laserstrahls (201), einen Bereich im Nachlauf des Laserstrahls (201), einen noch zu bearbeitenden Bereich und einen bearbeiteten Bereich.
5. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei L gleich oder größer 16, bevorzugt gleich oder größer 20, bevorzugt gleich oder größer 25, oder bevorzugt gleich oder größer 100 ist.
6. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei die Spektralbänder gleich groß und/oder aneinander angrenzend und/oder aufeinanderfolgend sind.
7. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei die Sensoreinheit (10) ausgebildet ist, um Hyperspektralbilder (300) kontinuierlich und/oder um ein Hyperspektralbild (300) pro vorgebebenem Zeitintervall zu erfassen.
8. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei die Sensoreinheit (10) ausgebildet ist, um alle L Werte für alle der N mal M Pixel des Hyper spektralbildes (300) gleichzeitig zu erfassen, oder wobei die Sensoreinheit (10) ausgebildet ist, um alle Pixelzeilen des Hyperspektralbildes (300) gleichzeitig, aber in verschiedenen Spektralbändern und die L Werte der verschiedenen Spektralbänder für jede Pixelzeile oder für alle n Pixelzeilen sequentiell zu erfassen.
9. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei der Hyperspektral sensor (100, 100a, 100b) einen Mosaikfilter (1002) umfasst, der N mal M Einzelfilter (1003) mit L verschiedenen Durchlassbereichen aufweist, oder wobei der Hyperspektral sensor (100, 100a, 100b) eine Vielzahl von Pixelzeilen aufweist und die Pixel in einer Pixelzeile in einer ersten Richtung (x) angeordnet sind, und der Hy perspektralsensor (100, 100a, 100b) einen Zeilenfilter umfasst, bei dem sich je ein Einzelfil ter von einer Vielzahl von Einzelfiltern (1003) über mindestens eine Pixelzeile des Hyper spektralsensors (100, 100a, 100b) erstreckt und die Vielzahl der Einzelfilter (1003) mit L verschiedenen Durchlassbereichen in einer zweiten Richtung (y) senkrecht zu der ersten Richtung (x) angeordnet ist.
10. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei der zumindest eine Hyperspektral sensor (100, 100a, 100b) einen spektralen Empfindlichkeitsbe reich von 400 nm bis 1800 nm, und/oder von 400 nm bis 950 nm, und/oder von 400 nm bis 1000 nm, und/oder von 1000 nm bis 1700 nm, und/oder von 950 bis 1800 nm, und/oder von 1200 nm bis 2000 aufweist.
11. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei der zumindest eine Hyperspektral sensor (100, 100a, 100b) eine CMOS-Kamera, einen Infrarot- verstärkten CMOS-Sensor, einen Nahinfrarot (NIR)-verstärkten CMOS- Sensor, einen InGaAs-basierten Sensor, einen Graphen basierten Sensor, ein Sensorarray und/oder ein Diodenarray umfasst.
12. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, ferner um fassend eine Recheneinheit, die eingerichtet ist, basierend auf dem Hyperspektralbild (300) einen Eingangstensor zu bestimmen und basierend auf dem Eingangstensor mittels einer Übertragungsfunktion einen Ausgangstensor zu bestimmen, der Informationen über den Bearbeitungsprozess enthält, wobei die Übertragungsfunktion zwischen dem Eingangstensor und dem Ausgangs tensor durch ein tiefes neuronales Netz, insbesondere durch ein tiefes faltendes neuronales Netz, gebildet ist.
13. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei die Recheneinheit eingerichtet ist, den Ausgangstensor in Echtzeit zu bilden und darauf basie rend Steuerdaten an eine Steuereinheit des Laserbearbeitungssystems (1) auszugeben.
14. Laserbearbeitungssystem (1) gemäß einem der vorstehenden Ansprüche, wobei der Ausgangstensor eine der folgenden Informationen enthält: Informationen über einen Zu stand des Bearbeitungsprozesses, Informationen über einen Bearbeitungsfehler, Vorhanden sein mindestens eines Bearbeitungsfehlers, Art des Bearbeitungsfehlers, Position des Bear beitungsfehlers auf dem Werkstück, Wahrscheinlichkeit für einen Bearbeitungsfehler einer bestimmten Art und räumliche und/oder flächige Ausdehnung des Bearbeitungsfehlers.
15. Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werkstück (2) mittels eines Laserstrahls (201), das Verfahren umfassend die Schritte:
Einstrahlen eines Laserstrahls (201) in einen Bearbeitungsbereich auf einem Werk stück (2); und
Erfassen eines Hyperspektralbildes (300) mit N mal M Pixeln von einem Bereich des Werkstücks (2), wobei jedes Pixel L Werte umfasst, wobei das Hyperspektralbild (300) zwei räumliche Dimensionen x und y sowie eine spektrale Dimension l aufweist und wobei N eine Anzahl von Pixeln in der ersten räumli chen Dimension x, M eine Anzahl von Pixeln in der zweiten räumlichen Dimension y, und L die Anzahl von Spektralbändern in der spektralen Dimension l des Hyperspektralbildes (300) angeben, wobei M, N und L natürliche Zahlen sind.
16. Verfahren nach Anspruch 15, ferner umfassend die Schritte:
Bestimmen, basierend auf dem Hyperspektralbild (300), eines Eingangstensors, und Bestimmen, basierend auf dem Eingangstensor und mittels einer Übertragungsfunk tion, eines Ausgangstensors, der Informationen über den Bearbeitungsprozess enthält, wobei die Übertragungsfunktion zwischen dem Eingangstensor und dem Ausgangs tensor durch ein tiefes neuronales Netz, insbesondere durch ein tiefes faltendes neuronales Netz, gebildet ist.
PCT/EP2020/077780 2019-10-10 2020-10-05 Laserbearbeitungssystem zum durchführen eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls und verfahren zur überwachung eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls WO2021069346A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080070835.8A CN114502313A (zh) 2019-10-10 2020-10-05 用于借助激光束在工件上执行加工工序的激光加工系统和用于监控工件上的借助激光束的加工工序的方法
US17/767,642 US20240100626A1 (en) 2019-10-10 2020-10-05 Laser working system for performing a working process on a workpiece by means of a laser beam and method for monitoring a working process on a workpiece by means of a laser beam

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019127323.4A DE102019127323B4 (de) 2019-10-10 2019-10-10 Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls und Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls
DE102019127323.4 2019-10-10

Publications (1)

Publication Number Publication Date
WO2021069346A1 true WO2021069346A1 (de) 2021-04-15

Family

ID=72840506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/077780 WO2021069346A1 (de) 2019-10-10 2020-10-05 Laserbearbeitungssystem zum durchführen eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls und verfahren zur überwachung eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls

Country Status (4)

Country Link
US (1) US20240100626A1 (de)
CN (1) CN114502313A (de)
DE (1) DE102019127323B4 (de)
WO (1) WO2021069346A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020134416B4 (de) 2020-12-21 2024-02-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren zur Einstellung und/oder dynamischen Anpassung der Leistungsdichteverteilung von Laserstrahlung
EP4292749A1 (de) * 2022-06-15 2023-12-20 Fritz Stepper GmbH & Co. KG Laser-schweissvorrichtung und verfahren zur überwachung, mit einem laser-schweisskopf und einer überwachungseinrichtung
EP4321291A1 (de) * 2022-07-27 2024-02-14 Fritz Stepper GmbH & Co. KG Laser-schweissvorrichtung und verfahren zur überwachung, mit einem laser-schweisskopf und einer überwachungseinrichtung
DE102022127449A1 (de) * 2022-10-19 2024-04-25 Precitec Gmbh & Co. Kg Laserbearbeitungskopf mit Lidar-Sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011078276B3 (de) 2011-06-29 2012-12-06 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum Erkennen von Fehlern während eines Laser-Bearbeitungsprozesses sowie Laser-Bearbeitungsvorrichtung
DE102011085677A1 (de) * 2011-11-03 2013-05-08 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs
US20190118300A1 (en) * 2017-08-25 2019-04-25 Massachusetts Institute Of Technology Sensing and Control of Additive Manufacturing Processes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
EP2094429B9 (de) * 2006-11-04 2017-08-16 TRUMPF Werkzeugmaschinen GmbH + Co. KG Verfahren und vorrichtung zur prozessüberwachung bei der materialbearbeitung
CN102749139A (zh) * 2012-06-06 2012-10-24 广州中国科学院先进技术研究所 一种多光谱图像捕捉系统
DE102014212682A1 (de) * 2014-07-01 2016-01-07 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren und Vorrichtung zum Bestimmen einer Werkstoffart und/oder einer Oberflächenbeschaffenheit eines Werkstücks
GB201510220D0 (en) * 2015-06-11 2015-07-29 Renishaw Plc Additive manufacturing apparatus and method
JP6353145B2 (ja) * 2016-09-15 2018-07-04 ハイパーメツド・イメージング・インコーポレイテツド 組織酸素付与測定システム及び方法
DE102016120523A1 (de) * 2016-10-27 2018-05-03 Raylase Gmbh Ablenkeinheit
DE102017117413B4 (de) * 2017-08-01 2019-11-28 Precitec Gmbh & Co. Kg Verfahren zur optischen Messung der Einschweißtiefe

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011078276B3 (de) 2011-06-29 2012-12-06 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum Erkennen von Fehlern während eines Laser-Bearbeitungsprozesses sowie Laser-Bearbeitungsvorrichtung
DE102011085677A1 (de) * 2011-11-03 2013-05-08 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Überwachung eines an einem Werkstück vorzunehmenden Laserbearbeitungsvorgangs
US20190118300A1 (en) * 2017-08-25 2019-04-25 Massachusetts Institute Of Technology Sensing and Control of Additive Manufacturing Processes

Also Published As

Publication number Publication date
DE102019127323B4 (de) 2021-05-12
DE102019127323A1 (de) 2021-04-15
US20240100626A1 (en) 2024-03-28
CN114502313A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
WO2021069346A1 (de) Laserbearbeitungssystem zum durchführen eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls und verfahren zur überwachung eines bearbeitungsprozesses an einem werkstück mittels eines laserstrahls
DE102018129441B4 (de) System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses
DE102011104550B4 (de) Optische Messvorrichtung zur Überwachung einer Fügenaht, Fügekopf und Laserschweißkopf mit der selben
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
EP2567773B1 (de) Verfahren zum überprüfen der nahtqualität während eines laserschweissprozesses
EP1949026B1 (de) Verfahren und vorrichtung zur bewertung von fügestellen von werkstücken
EP1904260B1 (de) Verfahren und vorrichtung zur bestimmung einer lateralen relativbewegung zwischen einem bearbeitungskopf und einem werkstück
EP2886239B1 (de) Verfahren und vorrichtung zur überwachung und regelung der bearbeitungsbahn bei einem laser-fügeprozess
DE102020112116A1 (de) Verfahren zum Analysieren eines Laserbearbeitungsprozesses, System zum Analysieren eines Laserbearbeitungsprozesses und Laserbearbeitungssystem mit einem solchen System
EP4106945A1 (de) VERFAHREN ZUM ANALYSIEREN EINER SCHWEIßVERBINDUNG BEIM LASERSCHWEIßEN VON WERKSTÜCKEN
DE19822924A1 (de) Verfahren und Vorrichtung zur Messung der Verteilung der Energiefeldichte eines Laserstrahls
EP4010145B1 (de) Verfahren zum analysieren einer werkstückoberfläche für einen laserbearbeitungsprozess und eine analysevorrichtung zum analysieren einer werkstückoberfläche
EP3961559B1 (de) Verfahren und vorrichtung zum ermitteln von defekten während eines oberflächenmodifizierungsverfahrens
EP4334073A1 (de) VERFAHREN ZUM ÜBERWACHEN EINES LASERSCHWEIßPROZESSES UND DAZUGEHÖRIGES LASERSCHWEIßSYSTEM
DE102021121112A1 (de) Analysieren eines Laserbearbeitungsprozesses basierend auf einem Spektrogramm
DE102021107544B4 (de) Verfahren zur Normierung von Sensorsignalen für die Überwachung eines Laserbearbeitungsprozesses, Verfahren zum Überwachen eines Laserbeitungsprozesses und Laserbearbeitungssystem
EP4170448A1 (de) Prozesssignalrekonstruktion und anomalie-detektion bei laserbearbeitungsprozessen
DE102021212292A1 (de) Vorrichtung und Verfahren zur Umgebungsüberwachung
DE102018220342A1 (de) Verfahren zur Überwachung eines Laserbearbeitungsprozesses an einem oder mehreren Werkstücken
DE202008007666U1 (de) Optische Überwachungseinrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20789894

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 17767642

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20789894

Country of ref document: EP

Kind code of ref document: A1