WO2023198603A1 - Lage-detektion von fügepartnern - Google Patents

Lage-detektion von fügepartnern Download PDF

Info

Publication number
WO2023198603A1
WO2023198603A1 PCT/EP2023/059179 EP2023059179W WO2023198603A1 WO 2023198603 A1 WO2023198603 A1 WO 2023198603A1 EP 2023059179 W EP2023059179 W EP 2023059179W WO 2023198603 A1 WO2023198603 A1 WO 2023198603A1
Authority
WO
WIPO (PCT)
Prior art keywords
joining
joining partners
image
partners
laser welding
Prior art date
Application number
PCT/EP2023/059179
Other languages
English (en)
French (fr)
Inventor
Julia HARTUNG
Andreas Jahn
Andreas Fehlner
Original Assignee
Trumpf Laser Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Laser Gmbh filed Critical Trumpf Laser Gmbh
Publication of WO2023198603A1 publication Critical patent/WO2023198603A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Definitions

  • the present invention relates to the field of joining.
  • the invention relates to a method for determining the position of joining partners for a joining process.
  • the welding path (in particular the position of the welding path) can be precisely adjusted in order to create the best possible welded connection.
  • Clamping devices are usually used for rough positioning of the joining partners.
  • reliable, precisely reproducible positioning of joining partners is often not possible, even with the available clamping devices.
  • computer programs with position detection algorithms are used for precise position detection, which are intended to use a camera image to detect the exact position or positioning of the joining partners relative to one another.
  • the detection only works accurately if the image areas of the camera image relevant for position detection stand out in high contrast from the surrounding image areas.
  • the ends of two adjacent hairpins are welded together to produce plug-in coils.
  • the ends are roughly positioned in a joining position using a positioning device.
  • the position of the flat end surfaces of the hairpins can be reliably detected due to sufficient contrast using known position detection algorithms, as shown in FIG. 2a. Creating flat joining surfaces is However, in many cases this involves additional effort and therefore increased costs.
  • the present invention is based on the object of improving the possibilities for automated position detection of joining partners using known position detection algorithms.
  • a method for determining the position of joining partners for a joining process can preferably precede a joining process for joining the joining partners and serve to prepare the joining process.
  • the joining partners are provided in a joining position.
  • the joining partners can be fixed in the joining position using a positioning device.
  • the positioning device generally allows the joining partners to move, which is why the joining partners can, for example, have a small offset (eg a few millimeters) or a small distance (eg a gap of a few millimeters or a few tenths of a millimeter) from one another.
  • a real image of the joining partners positioned in the joining position is recorded.
  • a camera in particular can be used for this purpose.
  • the real image is a raster graphic that depicts the camera's field of view.
  • the real image becomes a False color image generated.
  • a false color image is to be understood as meaning a digital raster graphic (also referred to as pixel graphic), the pixels of which can only assume one of at least two predetermined colors, in particular black or white and/or a shade of gray in between.
  • care is usually taken to ensure that each gray tone has a clearly visible contrast to every other color used.
  • the false color image can be a binary image.
  • the false color image can visually highlight information, in particular regarding the position and/or the geometry of the joining partners, which is relevant for joining the joining partners.
  • at least one piece of information about the position of at least one of the joining partners is then determined (in a fourth method step).
  • the position of at least one of the joining partners can be determined with respect to the position and/or orientation of a joining optics, in particular a laser welding head.
  • the reference point for the position of the joining optics can in particular be a tool center point (TCP) of the joining optics.
  • TCP tool center point
  • a respective shape and/or size of the joining partners can be determined.
  • the false-color image can be generated from the real image using a deep convolutional neural network (also referred to as a convolutional neural network or “CNN” for short), in particular a modified U-Net.
  • a deep convolutional neural network also referred to as a convolutional neural network or “CNN” for short
  • U-Net modified U-Net
  • an intelligent filter is installed upstream of an image evaluation (in particular position detection), which generates the false-color image.
  • the features relevant to the joining process are shown in one color (e.g. white) and the features that are not relevant to the joining process (e.g. the clamping device or sections of the joining partners that are not relevant for joining) are shown in the other color (e.g. black).
  • the other color e.g. black
  • more than just two Feature classes can be represented by means of the false color image, with a separate color preferably being used to represent each feature class, each of which has a sufficiently clear contrast to every other color used.
  • the proposed method allows a particularly robust detection of the location or positioning of joining partners for optimized preparation of a joining process.
  • computer programs with known component position detection algorithms can be used to easily and automatically identify information about the position of the joining partners based on the false color image and to derive specific joining settings from this for a downstream joining process.
  • a relative position of the joining partners to one another can be checked in a fifth method step.
  • process steps four and five can run essentially parallel to one another.
  • a warning is issued if, when checking the position information and/or information regarding the geometry of at least one of the joining partners, a position and/or geometry of at least one of the joining partners that is inadmissible for joining the joining partners is determined. For example, a warning can be issued if at least one of the joining partners has a shape or a size that lies outside predetermined limits for the shape or size of the joining partner in question. Furthermore, for example, a warning can be issued if the joining partners have an impermissible offset from one another or are positioned too far apart. In addition or as an alternative to issuing a warning in the event of a critical geometry or position of the joining partners, it can be provided that a downstream joining process cannot be carried out without an additional, manual release.
  • the checking step can further include specifying processing settings for joining the joining partners.
  • a movement path or the position of a predetermined movement path can be determined, along which movement path a laser beam is moved over the surface of the joining partners for local melting of the joining partners.
  • the method can include joining the joining partners using the specified processing settings in a laser welding process.
  • the claimed method can be implemented as part of a laser welding process.
  • the real image can be recorded from a direction perpendicular to a processing plane.
  • the real image can represent a top view of the processing point of the joining partners.
  • the processing plane typically lies in the area of the surface of the joining partners and, in a laser welding process, extends approximately transversely to the direction of propagation of the processing laser beam in the area of a beam focus of the processing laser beam.
  • the real image can be recorded using a camera through the beam path of the processing laser beam. By aligning the camera used in a direction concentric to the beam path of the processing laser beam, the real image always shows the field of view of the processing optics. In this way, the method described can also be used to easily determine the relative position of the joining partners to the position of the processing optics or to the position of a tool center point of the joining device used.
  • the false color image generated from the real image can preferably have a resolution that corresponds to a resolution of the real image.
  • one of the at least two predetermined colors can be assigned to each pixel of the real image.
  • the color assignment can preferably be based on the assignment of the respective pixel to one predetermined feature class.
  • At least two feature classes can therefore be specified for generating the false-color image.
  • a feature class can be defined as the surface of at least one of the joining partners, while a second feature class is defined as the background.
  • AI artificial intelligence
  • the AI can preferably be implemented as a deep convolutional neural network, preferably as a U-Net/U-Net derivative, which has been optimized/trained for the given question and runtime. It goes without saying that more than two feature classes can also be specified for generating the false-color image. For example, different joining partners or additionally the components of a positioning device can each be assigned to different feature classes and thus to different colors of the false-color image.
  • the joining partners can, for example, be workpieces to be welded together.
  • the joining partners can be metallic, rod-shaped conductor elements, so-called hairpins (essentially U-shaped wires), which are to be welded together to form an electrical connection.
  • the hairpins can in particular be made of copper or a copper-containing material, or, for example, aluminum or an aluminum-containing material.
  • a laser welding device for joining two joining partners.
  • the laser welding device includes a positioning device for positioning the joining partners in a joining position.
  • the positioning device can be, for example, a holder that fixes the joining partners in a certain position (with some play) relative to one another.
  • the laser welding device further includes a laser beam source for providing a processing laser beam and a Laser welding head with laser welding optics for aligning and focusing the processing laser beam in the direction of the joining partners.
  • the laser beam source can be, for example, a solid-state laser, in particular a fiber laser or a disk laser.
  • the laser beam can be guided at least partially from the laser beam source to the laser welding head by means of an optical fiber.
  • the laser welding device further comprises an image capture device for capturing a real image of the joining partners in the joining position.
  • the image capture device can in particular be a camera, for example a grayscale camera with a resolution in the megapixel range.
  • the laser welding device further comprises an image processing device for generating a false-color image based on the real image, and a measuring device for determining at least one piece of information about the position of at least one of the joining partners based on the false-color image.
  • the laser welding device can further comprise a checking device for checking, based on the at least one piece of position information, the position and/or a geometry of at least one of the joining partners.
  • the image processing device, the measuring device and the checking device can each be implemented as a computer program (product) on a common computer, which can also be used, for example, to control the camera.
  • the checking device can also be designed to issue a warning.
  • a warning can be issued, for example, if, when checking the position and/or the geometry, an inadmissible position for joining the joining partners and/or an inadmissible geometry of at least one of the joining partners is detected.
  • the checking device can be designed to send a signal to a control device of the laser welding device, which prohibits a welding process due to inadmissible position or geometry information from the joining partners until the welding process has been manually released.
  • the checking device can further be designed to determine processing settings for laser welding of the joining partners using the laser welding device based on the at least one piece of position information.
  • the checking device can send instructions for positioning and moving the laser processing beam to the control device of the laser welding device based on a detected relative position of the joining partners to the laser welding head.
  • a computer program product which contains computer-readable instructions for carrying out a method according to one of the variants described above on a joining device, in particular on a laser welding device according to one of the variants described above.
  • Fig. 1 shows schematically the sequence of a method according to the invention
  • Fig. 2 A real image of two hairpins in a welding position, the ends of the hairpins to be welded having flat end surfaces;
  • Fig. 3a A real image of two hairpins in a welding position, the ends of the hairpins to be welded having uneven end surfaces;
  • Fig. 3b A false color image based on the real image according to Figure 3a (here a binary image).
  • FIG. 4 Schematic of a laser welding device according to the invention. Identical or functionally identical elements are provided with the same reference numerals in the figures.
  • the method includes providing S10 of the joining partners 20a, 20b in a joining position.
  • a real image of the positioned joining partners is recorded (see also real image 22, FIG. 3a).
  • a false-color image is generated based on the real image 22 (see also binary image 24, FIG. 3b).
  • at least one piece of information about the position of at least one of the joining partners 20a, 20b is determined on the basis of the false color image 24.
  • step S50 the position and/or geometry of at least one of the joining partners 20a, 20b can be checked based on the information obtained in step S40.
  • a warning message can be issued if, when checking S50 the position and/or the geometry, an inadmissible position for joining the joining partners 20a, 20b and/or an inadmissible geometry of at least one of the joining partners 20a, 20b is detected .
  • settings for a joining process can be determined automatically and the joining partners 20a, 20b can be welded together in a seventh step S70, in particular in a laser welding process, using the specified settings become.
  • Determining settings for the joining process can in particular include determining the positioning (or location) of a predetermined welding path and/or determining coordinates for the starting point of the welding path.
  • Figure 2 shows a top view of the joining surfaces of two hairpins 20a, 20b to be welded together.
  • “Hairpin” technology is a winding technology for stators in electric motors and generators in which several essentially U-shaped conductor elements - the so-called “hairpins” - are welded together in pairs at their ends to create a coil winding.
  • the term “hairpin” comes from the U-shape of the curved conductor elements, which is pronounced of the shape of a hairpin.
  • a focused processing laser beam L is used along a processing path (e.g. circular pendulum movement) over the joining surfaces at the ends of the hairpins 20a, 20b.
  • the energy introduced by means of the processing laser beam L puts the material of the hairpins 20a, 20b into a molten state, so that a common melt bead is formed, which forms the two hairpins 20a , 20b connects together. Since over 200 hairpin pairs may have to be welded for an electric motor - depending on the design - it is necessary that the process is quick and robust. For a good welding result, it is important that the welding process, and in particular the position of the welding track is coordinated with the position of the hairpin ends to be connected.
  • image processing programs are therefore used which, based on a recorded image, determine a position of the hairpins 20a, 20b, in particular relative to the position or orientation of the hairpins 20a, 20b determine the welding optics used. Based on the detected position of the joining partners 20a, 20b, the position and/or the starting point of the welding path is then adjusted for the welding process.
  • a high-contrast image of the hairpin ends is required, in which the contour of the hairpin ends relevant to welding stands out from the background (e.g. remaining hairpin areas, clamping device, etc.).
  • FIG. 3a shows a real image 22 of the ends of two hairpins 20a, 20b which are positioned in a positioning device 12 for laser welding.
  • the ends of the hairpins 20a, 20b have a roof-shaped structure, which results from a previous processing step of the hairpins 20a, 20b. Due to the surface nature of the hairpin ends, the real image 22 according to FIG. 3a does not have a sufficiently strong contrast between those image areas 222 that show hairpin ends and the adjacent image areas 224, which is why the position of the hairpin ends relative to one another cannot be reliably determined using conventional position detection algorithms.
  • the real image 22 is captured by means of a camera 18 (for example a monochrome industrial camera with a resolution of 1.5 MPx) of a laser welding system 10 that is aligned coaxially with the processing laser beam L (see FIG. 4).
  • the optical axis of the camera 18 is coupled into the welding optics 162 in the laser welding head 16 of the laser welding device 10, in particular via a partially transparent mirror. In this way, the camera image shows the processing area of the processing laser beam L at all times.
  • the processing laser beam L is in turn fed from a laser beam source 14 via a light guide cable to the laser welding head 16 and via the welding optics 162, which can be designed, for example, as a scanner optics with movable scanner mirrors or lenses , focused on the ends of the hairpins 20a, 20b.
  • the laser welding device 10 can be controlled by means of a central control device 19.
  • the real image 22 recorded by the camera 18 (see FIG. 3a) is transferred to a deep convolutional neural network (convolutional neural network) of an image processing device 182, which processes the real image 22 and outputs a false-color image 24, here in the form of a binary image 24. with the same resolution as the real image 22.
  • a U-Net/U-Net derivative is preferably used as the neural network for image transformation, which has been optimized for the question to be carried out and the running time.
  • the features relevant to the welding process are highlighted in the generated binary image 22. This means that those pixels of the real image 22 that are assigned to a surface of one of the hairpins 20a, 20b as a feature class (with sufficient probability) are colored white and those pixels of the real image 22 that are assigned to the feature class “background” are colored black As a result, the image areas 242 recognized as the surface of the hairpins 20a, 20b are shown in white and stand out clearly from the black colored background 244.
  • the binary image 24 is now transferred instead of the real image 22 according to the conventional procedure to a measuring device 182, which determines information about the position and / or the geometry of the hairpins 20a, 20b.
  • a checking device 182 the information obtained can then be checked for its suitability for the welding process and, based on the position information, welding settings (in particular the shape and/or position of the welding path to be traversed by the laser beam L) can be determined for the laser welding process.
  • welding settings in particular the shape and/or position of the welding path to be traversed by the laser beam L
  • the checked information about the position of the hairpin ends can be transferred from the checking device to the central control device 19, which controls the laser welding device 10 according to the predetermined welding settings.
  • the checking device 182 can issue a warning signal and/or stop an ongoing joining process in interaction with the control device 19.
  • the image processing device, the measuring device and the monitoring device can be implemented in a common computing unit 182.
  • the computing unit 182 can be a PanelPC for image monitoring.
  • the neural network that the image processing device 182 uses can be viewed in the system described here as an intelligent filter, which highlights the features of the recorded real image 22 that are relevant to the welding process for automated image processing and in this way simplifies position detection.
  • the detection is not limited to one feature or one feature class, but can detect any number of feature classes in an image and highlight them with two or more colors in a single false-color image in order to reduce the process time.
  • downstream algorithms can carry out plausibility checks and compare the calculated/detected area with an expected area. This is difficult to achieve with classic intensity-based algorithms and can also have a positive effect on the robustness of the process.
  • the position detection of joining partners 20a, 20b according to the invention enables process-reliable joining of the joining partners 20a, 20b.
  • the effort (costs) in pre-processing the joining partners 20a, 20b for example the accurate cutting of the hairpin ends

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Bereitgestellt wird ein Verfahren zum Ermitteln der Lage von Fügepartnern für einen Fügeprozess, das Verfahren umfassend die Schritte: • Bereitstellen (S10) der Fügepartner in einer Fügeposition; • Aufnehmen (S20) eines Realbilds der positionierten Fügepartner; • Erzeugen (S30) eines Falschfarbenbildes basierend auf dem Realbild; und • Ermitteln (S40), basierend auf dem Falschfarbenbild, wenigstens einer Information zur Lage wenigstens eines der Fügepartner. Ferner werden eine Vorrichtung und ein Computerprogrammprodukt zur Implementierung des Verfahrens bereitgestellt.

Description

Lage-Detektion von Fügepartnern
Gebiet der Erfindung
Die vorliegende Erfindung betrifft das Gebiet des Fügens. Insbesondere betrifft die Erfindung ein Verfahren zum Ermitteln der Lage von Fügepartnern für einen Fügeprozess.
Stand der Technik
Beim Schweißen von Bauteilverbindungen ist es wichtig, die genaue Lage der zu verschweißenden Fügepartner zu kennen. Auf Basis der Lage-Informationen kann die Schweißbahn (insbesondere die Lage der Schweißbahn) präzise eingestellt werden, um eine bestmögliche Schweißverbindung zu erzeugen. Für eine Grob- Positionierung der Fügepartner werden in der Regel Spannvorrichtungen verwendet. Eine zuverlässige, exakt reproduzierbare Positionierung von Fügepartnern ist aber auch mit den verfügbaren Spannvorrichtungen häufig nicht möglich. Beim Laserschweißen werden daher zur genauen Lage- Detektion Computerprogramme mit Lage-Detektionsalgorithmen verwendet, die anhand eines Kamerabildes die exakte Lage bzw. Positionierung der Fügepartner zueinander erkennen sollen. Die Erkennung funktioniert jedoch nur dann genau, wenn sich die für die Lage-Detektion relevanten Bildbereiche des Kamerabildes kontrastreich von den umgebenden Bildbereichen abheben.
Bei der sogenannten Hairpin-Technologie, die bei der Herstellung von Statoren für elektrische Motoren oder Generatoren zum Einsatz kommt, werden beispielsweise zur Erzeugung von Steckspulen jeweils die Enden zweier benachbarter Hairpins zusammengeschweißt. Die Enden werden dazu mittels einer Positionierungseinrichtung in einer Fügeposition grob positioniert. Um die exakte Lage der Hairpinenden zueinander besser bestimmen zu können, ist es bekannt, Hairpins mit eben geschnittenen Endflächen zu verwenden. Die Lage der ebenen Endflächen der Hairpins kann aufgrund eines ausreichenden Kontrasts mittels bekannter Lage-Detektionsalgorithmen zuverlässig erkannt werden, wie in Figur 2a dargestellt wird. Das Erzeugen ebener Fügeflächen ist jedoch in vielen Fällen mit zusätzlichem Aufwand und damit erhöhten Kosten verbunden.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Möglichkeiten zur automatisierten Lage- Detektion von Fügepartnern unter Verwendung bekannter Lage-Detektionsalgorithmen zu verbessern.
Die Erfindung
Die der Erfindung zugrundeliegende Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Zeichnungen angegeben. Merkmale, Vorteile und mögliche Ausgestaltungen, die im Rahmen der Beschreibung für einen der Gegenstände der unabhängigen Ansprüche dargelegt sind, sind zumindest analog als Merkmale, Vorteile und mögliche Ausgestaltungen des jeweiligen Gegenstands der anderen unabhängigen Ansprüche sowie jeder möglichen Kombination der Gegenstände der unabhängigen Ansprüche, gegebenenfalls in Verbindung mit einem oder mehreren der Unteransprüche, anzusehen.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum Ermitteln der Lage von Fügepartnern für einen Fügeprozess bereitgestellt. Das Verfahren kann vorzugsweise einem Fügeprozess zum Fügen der Fügepartner vorgelagert sein und zur Vorbereitung des Fügeprozesses dienen. In einem ersten Schritt des Verfahrens werden die Fügepartner in einer Fügeposition bereitgestellt. Zur Grobausrichtung der Fügepartner können die Fügepartner mittels einer Positioniereinrichtung in der Fügeposition fixiert werden. Dabei lässt die Positioniereinrichtung in der Regel ein Bewegungsspiel der Fügepartner zu, weshalb die Fügepartner z.B. einen kleinen Versatz (z.B. wenige Millimeter) oder einen kleinen Abstand (z.B. Spalt von wenigen Millimetern oder wenigen 10-tel Millimetern) zueinander aufweisen können. In einem zweiten Verfahrensschritt wird ein Realbild der in der Fügeposition positionierten Fügepartner aufgenommen. Dazu kann insbesondere eine Kamera verwendet werden. Das Realbild ist eine Rastergrafik, die das Sichtfeld der Kamera abbildet. Aus dem Realbild wird in einem nachfolgenden, dritten Verfahrensschritt ein Falschfarbenbild erzeugt. Unter einem Falschfarbenbild ist im Rahmen der vorliegenden Offenbarung eine digitale Rastergrafik (auch als Pixelgrafik bezeichnet) zu verstehen, deren Pixel nur jeweils eine von wenigstens zwei vorgegebenen Farben, insbesondere schwarz oder weiß und/oder einen dazwischenliegenden Grauton, annehmen können. Bei der Verwendung von Grautönen als Farben in einem Falschfarbenbild ist in der Regel darauf zu achten, dass jeder Grauton einen klar erkennbaren Kontrast zu jeder anderen verwendeten Farbe aufweist. Bei der Verwendung von nur zwei Farben kann das Falschfarbenbild ein Binärbild sein. Das Falschfarbenbild kann Informationen, insbesondere betreffend die Lage und/oder die Geometrie der Fügepartner, die für das Fügen der Fügepartner relevant sind, visuell hervorheben. Basierend auf dem Falschfarbenbild wird anschließend (in einem vierten Verfahrensschritt) wenigstens eine Information zur Lage wenigstens eines der Fügepartner ermittelt. Insbesondere kann die Lage wenigstens eines der Fügepartner bezüglich der Lage und/oder Ausrichtung einer Fügeoptik, insbesondere eines Laserschweißkopfes, ermittelt werden. Bezugspunkt für die Lage der Fügeoptik kann insbesondere ein Tool Center Point (TCP) der Fügeoptik sein. Zur Ermittlung der Lageinformation oder zusätzlich zur Ermittlung der Lageinformation kann beispielsweise eine jeweilige Form und/oder Größe der Fügepartner ermittelt werden.
Gemäß einer bevorzugten Variante kann das Falschfarbenbild unter Verwendung eines tiefen faltenden neuronalen Netzes (auch als Convolutional Neural Network oder kurz „CNN" bezeichnet), insbesondere eines modifizierten U-Nets, aus dem Realbild erzeugt werden.
Zur zuverlässigeren Verarbeitung von Bilddaten auch bei unregelmäßigen Kontrastverhältnissen wird also einer Bildauswertung (insb. einer Lage- Erkennung) erfindungsgemäß ein intelligenter Filter vorgeschaltet, der das Falschfarbenbild erzeugt. In diesem Falschfarbenbild sind die für den Fügeprozess relevanten Merkmale in der einen Farbe (z.B. weiß) dargestellt und die für den Fügeprozess nicht relevanten Merkmale (z.B. die Spannvorrichtung oder für das Fügen nicht relevante Abschnitte der Fügepartner) in der anderen Farbe (z.B. schwarz). Es versteht sich, dass auch mehr als nur zwei Merkmalsklassen mittels des Falschfarbenbildes darstellbar sind, wobei vorzugsweise für die Darstellung jeder Merkmalsklasse eine separate Farbe verwendet wird, die jeweils einen ausreichend klaren Kontrast zu jeder anderen verwendeten Farbe aufweist. Durch den optimalen Kontrast zwischen relevanten und irrelevanten Merkmalen erlaubt das vorgeschlagene Verfahren also eine besonders robuste Detektion der Lage bzw. Positionierung von Fügepartnern zur optimierten Vorbereitung eines Fügeprozesses. Insbesondere können Computerprogramme mit bekannten Bauteil-Lage-Detektionsalgorithmen verwendet werden, um auf Basis des Falschfarbenbildes einfach und automatisiert Informationen zur Lage der Fügepartner zu identifizieren und daraus bestimmte Fügeeinstellungen für einen nachgelagerten Fügeprozess abzuleiten.
Vorzugsweise kann, basierend auf der ermittelten Lageinformation, in einem fünften Verfahrensschritt eine relative Lage der Fügepartner zueinander überprüft werden. Die Verfahrensschritte vier und fünf können in diesem Fall im Wesentlichen parallel zueinander ablaufen.
Ferner kann es vorgesehen sein, dass ein Warnhinweis ausgegeben wird, wenn beim Überprüfen der Lageinformation und/oder einer Information betreffend die Geometrie wenigstens eines der Fügepartner eine für das Fügen der Fügepartner unzulässige Lage und/oder Geometrie wenigstens eines der Fügepartner festgestellt wird. Beispielsweise kann ein Warnhinweis ausgegeben werden, wenn wenigstens einer der Fügepartner eine Form oder eine Größe aufweist, die außerhalb vorgegebener Grenzen für die Form oder Größe des betreffenden Fügepartners liegt. Ferner kann beispielsweise ein Warnhinweis ausgegeben werden, wenn die Fügepartner einen unzulässigen Versatz zueinander aufweisen, oder zu weit voneinander entfernt positioniert sind. Zusätzlich oder alternativ zu der Ausgabe eines Warnhinweises im Falle einer kritischen Geometrie oder Lage der Fügepartner kann es vorgesehen sein, dass ein nachgelagertes Fügeverfahren nicht ohne eine zusätzliche, manuelle Freigabe durchgeführt werden kann. Der Schritt des Überprüfens kann ferner ein Festlegen von Bearbeitungseinstellungen für das Fügen der Fügepartner umfassen. Insbesondere kann, basierend auf der Lageinformation, eine Bewegungsbahn oder die Lage einer vorbestimmten Bewegungsbahn festgelegt werden, entlang welcher Bewegungsbahn ein Laserstrahl zum lokalen Aufschmelzen der Fügepartner über die Oberfläche der Fügepartner bewegt wird.
Das Verfahren kann in einem weiteren Verfahrensschritt ein Fügen der Fügepartner unter Verwendung der festgelegten Bearbeitungseinstellungen in einem Laserschweißverfahren umfassen. In diesem Fall kann das beanspruchte Verfahren als Teil eines Laserschweißverfahrens implementiert sein.
Insbesondere, wenn das beanspruchte Verfahren im Rahmen eines Laserschweißverfahrens implementiert ist, kann das Realbild aus einer Richtung senkrecht zu einer Bearbeitungsebene aufgenommen werden. Mit anderen Worten kann das Realbild eine Draufsicht auf die Bearbeitungsstelle der Fügepartner darstellen. Die Bearbeitungsebene liegt typischerweise im Bereich der Oberfläche der Fügepartner und erstreckt sich bei einem Laserschweißverfahren näherungsweise quer zur Ausbreitungsrichtung des Bearbeitungslaserstrahls im Bereich eines Strahlfokus des Bearbeitungslaserstrahls. Bei einem Laserschweißverfahren kann das Realbild mittels einer Kamera durch den Strahlengang des Bearbeitungslaserstrahls hindurch aufgenommen werden. Durch die Ausrichtung der verwendeten Kamera in Richtung konzentrisch zum Strahlengang des Bearbeitungslaserstrahls, zeigt das Realbild entsprechend stets das Sichtfeld der Bearbeitungsoptik. Auf diese Weise lässt sich mit dem beschriebenen Verfahren auch einfach die relative Lage der Fügepartner zur Lage der Bearbeitungsoptik bzw. zur Lage eines Tool Center Points der verwendeten Fügevorrichtung bestimmen.
Das aus dem Realbild erzeugte Falschfarbenbild kann vorzugsweise eine Auflösung aufweisen, die einer Auflösung des Realbilds entspricht. Dabei kann zum Erzeugen des Falschfarbenbilds jedem Pixel des Realbilds eine der wenigstens zwei vorgegebenen Farben zugeordnet werden. Die Farb-Zuordnung kann vorzugsweise anhand der Zuweisung des jeweiligen Pixels zu einer vorbestimmten Merkmalsklasse erfolgen. Für die Erzeugung des Falschfarbenbildes können somit wenigstens zwei Merkmalsklassen vorgegeben werden. Beispielsweise kann eine Merkmalsklasse als Oberfläche wenigstens eines der Fügepartner definiert sein, während eine zweite Merkmalsklasse als Hintergrund definiert ist. Mittels einer künstlichen Intelligenz (KI), die auf eine Zuordnung von Pixeln zu einer der definierten Klassen trainiert wurde, kann für jeden Pixel eine Wahrscheinlichkeit für seine Zugehörigkeit zu einer der vorgegebenen Merkmalskassen bestimmt werden. Wenn die Wahrscheinlichkeit größer ist als ein vorgegebener Schwellenwert, dann kann der entsprechende Pixel der betreffenden Merkmalsklasse zugewiesen werden. Wie bereits weiter oben beschrieben, kann die KI vorzugsweise als tiefes faltendes neuronales Netz, vorzugsweise als U-Net/U-Net Derivat, implementiert sein, welches auf die vorgegebene Fragestellung und Laufzeit optimiert / trainiert wurde. Es versteht sich, dass auch mehr als zwei Merkmalsklassen für die Erzeugung des Falschfarbenbildes vorgegeben werden können. Beispielsweise können verschiedene Fügepartner oder zusätzlich die Komponenten einer Positioniereinrichtung jeweils unterschiedlichen Merkmalsklassen und somit unterschiedlichen Farben des Falschfarbenbildes zugeordnet werden.
Bei den Fügepartnern kann es sich beispielsweise um miteinander zu verschweißende Werkstücke handeln. Beispielsweise kann es sich bei den Fügepartnern um metallische, stabförmige Leiterelemente, sogenannte Hairpins (im Wesentlichen U-förmig gebogene Drähte), handeln, die zur Ausbildung einer elektrischen Verbindung miteinander zu verschweißen sind. Die Hairpins können insbesondere aus Kupfer oder einem kupferhaltigen Werkstoff, oder z.B. aus Aluminium oder einem aluminiumhaltigen Werkstoff bestehen.
Gemäß einem weiteren Aspekt der Erfindung wird eine Laserschweißvorrichtung zum Fügen zweier Fügepartner bereitgestellt. Die Laserschweißvorrichtung umfasst eine Positioniereinrichtung zum Positionieren der Fügepartner in einer Fügeposition. Bei der Positioniereinrichtung kann es sich beispielsweise um eine Halterung handeln, welche die Fügepartner in einer bestimmten Position (mit etwas Spiel) zueinander fixiert. Die Laserschweißvorrichtung umfasst ferner eine Laserstrahlquelle zur Bereitstellung eines Bearbeitungslaserstrahls und einen Laserschweißkopf mit einer Laserschweißoptik zum Ausrichten und Fokussieren des Bearbeitungslaserstrahls in Richtung der Fügepartner. Bei der Laserstrahlquelle kann es sich beispielsweise um einen Festkörperlaser, insbesondere einen Faserlaser oder einen Scheibenlaser handeln. Der Laserstrahl kann von der Laserstrahlquelle zumindest streckenweise mittels einer Lichtleitfaser zum Laserschweißkopf geführt werden. Als Laserschweißoptik kann beispielsweise eine Scanneroptik oder auch eine Festoptik verwendet werden. Die Laserschweißvorrichtung umfasst weiter eine Bilderfassungseinrichtung zum Erfassen eines Realbilds der Fügepartner in der Fügeposition. Die Bilderfassungseinrichtung kann insbesondere eine Kamera, zum Beispiel eine Grauwert-Kamera mit einer Auflösung im Megapixel-Bereich sein. Die Laserschweißvorrichtung umfasst ferner eine Bildverarbeitungseinrichtung zum Erzeugen eines Falschfarbenbildes basierend auf dem Realbild, sowie eine Vermessungseinrichtung zum Ermitteln wenigstens einer Information zur Lage wenigstens eines der Fügepartner basierend auf dem Falschfarbenbild.
Die Laserschweißvorrichtung kann ferner eine Überprüfungseinrichtung zum Überprüfen, basierend auf der wenigstens einen Lageinformation, der Lage und/oder einer Geometrie wenigstens eines der Fügepartner umfassen. Die Bildverarbeitungseinrichtung, die Vermessungseinrichtung und die Überprüfungseinrichtung können jeweils als Computerprogramm(produkt) auf einem gemeinsamen Computer implementiert sein, der beispielsweise auch zur Steuerung der Kamera eingesetzt werden kann.
Die Überprüfungseinrichtung kann ferner zur Ausgabe eines Warnhinweises ausgebildet sein. Ein Warnhinweis kann beispielsweise ausgegeben werden, wenn beim Überprüfen der Lage und/oder der Geometrie eine für das Fügen der Fügepartner unzulässige Lage und/oder eine unzulässige Geometrie wenigstens eines der Fügepartner festgestellt wird. Zusätzlich oder alternativ zu dem Warnhinweis kann die Überprüfungseinrichtung dazu ausgebildet sein, ein Signal an eine Steuereinrichtung der Laserschweißvorrichtung zu senden, das einen Schweißvorgang aufgrund unzulässiger Lage- oder Geometrie-Informationen der Fügepartner verbietet, bevor nicht eine manuelle Freigabe des Schweißprozesses erfolgt ist. Die Überprüfungseinrichtung kann ferner dazu ausgebildet sein, basierend auf der wenigstens einen Lageinformation, Bearbeitungseinstellungen zum Laserschweißen der Fügepartner mittels der Laserschweißvorrichtung festzulegen. Insbesondere kann die Überprüfungseinrichtung basierend auf einer detektierten relativen Lage der Fügepartner zum Laserschweißkopf instruktionen zur Positionierung und Bewegung des Laserbearbeitungsstrahls an die Steuereinrichtung der Laserschweißvorrichtung senden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt bereitgestellt, das computerlesbare Instruktionen zur Durchführung eines Verfahrens nach einem der oben beschriebenen Varianten auf einer Fügevorrichtung, insbesondere auf einer Laserschweißvorrichtung nach einer der oben beschriebenen Varianten, enthält.
Ausführungsbeispiele
Die nachfolgende Beschreibung bevorzugter Ausführungsbeispiele dient im Zusammenhang mit den Zeichnungen der näheren Erläuterung der Erfindung.
Es zeigen:
Fig. 1 Schematisch den Ablauf eines erfindungsgemäßen Verfahrens;
Fig. 2 Ein Realbild zweier Hairpins in einer Schweißposition, wobei die zu verschweißenden Enden der Hairpins ebene Endflächen aufweisen;
Fig. 3a Ein Realbild zweier Hairpins in einer Schweißposition, wobei die zu verschweißenden Enden der Hairpins unebene Endflächen aufweisen;
Fig. 3b Ein auf dem Real bild gemäß Figur 3a basierendes Falschfarbenbild (hier ein Binärbild); und
Fig. 4 Schematisch eine erfindungsgemäße Laserschweißvorrichtung. Gleiche oder funktionsgleiche Elemente sind in den Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 ist schematisch der Ablauf eines erfindungsgemäßen Verfahrens zum Ermitteln der Lage von Fügepartnern 20a, 20b (vgl. z.B. Fig. 4) für ein Fügeverfahren dargestellt. Das Verfahren umfasst in einem ersten Schritt ein Bereitstellen S10 der Fügepartner 20a, 20b in einer Fügeposition. In einem zweiten Schritt S20 wird ein Realbild der positionierten Fügepartner aufgenommen (vgl. auch Realbild 22 gern. Fig. 3a). In einem dritten Schritt S30 wird auf Basis des Realbilds 22 ein Falschfarbenbild erzeugt (vgl. auch Binärbild 24 gern. Fig. 3b). In einem vierten Schritt S40 wird auf Basis des Falschfarbenbildes 24 wenigstens eine Information zur Lage wenigstens eines der Fügepartner 20a, 20b ermittelt.
In einem optionalen, fünften Schritt S50 kann die Lage und/oder Geometrie wenigstens eines der Fügepartner 20a, 20b basierend auf der in Schritt S40 gewonnenen Information überprüft werden.
In einem optionalen, sechsten Verfahrensschritt S60 kann ein Warnhinweis ausgegeben werden, wenn beim Überprüfen S50 der Lage und/oder der Geometrie eine für das Fügen der Fügepartner 20a, 20b unzulässige Lage und/oder eine unzulässige Geometrie wenigstens eines der Fügepartner 20a, 20b festgestellt wird.
Vorzugsweise können, basierend auf den überprüften Lage- und/oder Geometrie- Informationen der Fügepartner 20a, 20b Einstellungen für ein Fügeverfahren automatisiert festgelegt und die Fügepartner 20a, 20b in einem siebten Schritt S70, insbesondere in einem Laserschweißverfahren, unter Verwendung der festgelegten Einstellungen miteinander verschweißt werden. Das Festlegen von Einstellungen für das Fügeverfahren kann dabei insbesondere ein Festlegen der Positionierung (bzw. Lage) einer an sich vorgegebenen Schweißbahn und/oder das Festlegen von Koordinaten für den Startpunkt der Schweißbahn umfassen. Figur 2 zeigt eine Draufsicht auf die Fügeflächen zweier miteinander zu verschweißender Hairpins 20a, 20b. Unter der „Hairpin"-Technologie wird eine Wickeltechnologie für Statoren in elektrischen Motoren und Generatoren verstanden, bei der zur Erzeugung einer Spulenwicklung mehrere, im Wesentlichen U-förmige Leiterelemente - die sog. „Hairpins" -, paarweise an ihren Enden miteinander verschweißt werden. Die Bezeichnung „Hairpin" kommt von der U-Form der gebogenen Leiterelemente, welche an die Form einer Haarnadel (engl. Hairpin) erinnert. Zum Verschweißen zweier Hairpins 20a, 20b wird ein fokussierter Bearbeitungslaserstrahl L (vgl. Fig. 4) entlang einer Bearbeitungsbahn (z.B. kreisförmige Pendelbewegung) über die Fügeflächen an den Enden der Hairpins 20a, 20b bewegt. Die mittels des Bearbeitungslaserstrahls L eingebrachte Energie versetzt das Material der Hairpins 20a, 20b in einen schmelzflüssigen Zustand, sodass sich eine gemeinsame Schmelzperle ausbildet, welche die beiden Hairpins 20a, 20b miteinander verbindet. Da für einen Elektromotor - je nach Bauart - gegebenenfalls über 200 Hairpin-Paare geschweißt werden müssen, ist es erforderlich, dass der Prozess schnell und robust abläuft. Für ein gutes Schweißergebnis ist es wichtig, dass der Schweißprozess, und insbesondere die Lage der Schweißbahn, auf die Lage der zu verbindenden Hairpinenden abgestimmt ist. Für eine genaue Lagedetektion der Hairpins 20a, 20b werden deshalb Bildverarbeitungsprogramme verwendet, die anhand eines aufgenommenen Bildes eine Position der Hairpins 20a, 20b, insbesondere relativ zur Position bzw. Ausrichtung der verwendeten Schweißoptik, bestimmen. Auf Basis der detektierten Lage der Fügepartner 20a, 20b wird dann die Lage und/oder der Startpunkt der Schweißbahn für den Schweißprozess angepasst. Für eine automatisierte Bildverarbeitung wird eine möglichst kontrastreiche Aufnahme der Hairpinenden benötigt, in der sich die Kontur der für das Schweißen relevanten Hairpinenden von dem Hintergrund (z.B. restliche Hairpinbereiche, Spannvorrichtung, etc.) abheben. Aus dem Stand der Technik ist es daher bekannt, die Enden der Hairpins glatt abzuschneiden, sodass sie eine möglichst blanke, ebene Oberfläche aufweisen. Diese Oberfläche reflektiert das Licht einer Kamerabeleuchtung und hebt sich im Real bild 22 der Kamera deutlich von der Umgebung ab, sodass das erzeugte Real bild 22 zur automatisierten Lageerkennung mittels eines herkömmlichen Lage-Detektionsalgorithmus verwendet werden kann.
Da die Herstellung von Hairpins 20a, 20b mit blanken, ebnen Endflächen aufwendige zusätzliche Bearbeitungsschritte erfordert (z.B. Abschneiden der Hairpin-Enden mit einer teuren Schneidanlage) wird mit der vorliegenden Erfindung eine Lösung vorgeschlagen, mittels welcher auch unebene oder verschmutzte Fügepartner (z.B. die Hairpinenden gern. Fig. 3a) unter Nutzung bekannter Lage-Detektions-Algorithmen prozesssicher und genau miteinander verschweißt werden können. Die erfindungsgemäße Lösung wird im Folgenden anhand der Figuren 3a, 3b und 4 an dem Hairpin-Beispiel näher erläutert. Figur 3a zeigt ein Realbild 22 der Enden zweier Hairpins 20a, 20b die zum Laserschweißen in einer Positioniereinrichtung 12 positioniert sind. Die Enden der Hairpins 20a, 20b weisen in diesem Fall eine dachförmige Struktur auf, welche sich aus einem vorhergehenden Bearbeitungsschritt der Hairpins 20a, 20b ergibt. Aufgrund der Oberflächenbeschaffenheit der Hairpinenden weist das Realbild 22 gemäß Figur 3a keinen ausreichend starken Kontrast zwischen denjenigen Bildbereichen 222, die Hairpinenden zeigen, und den angrenzenden Bildbereichen 224 auf, weshalb die Lage der Hairpinenden zueinander mittels herkömmlicher Lage-Detektionsalgorithmen nicht zuverlässig bestimmbar ist.
Das Realbild 22 wird, wie auch aus dem Stand der Technik bekannt, mittels einer koaxial zum Bearbeitungslaserstrahl L ausgerichteten Kamera 18 (beispielsweise einer monochromen Industriekamera mit einer Auflösung von 1,5 MPx) einer Laserschweißanlage 10 erfasst (vgl. Fig. 4). Die optische Achse der Kamera 18 wird dabei insbesondere über einen teildurchlässigen Spiegel in die Schweißoptik 162 im Laserschweißkopf 16 der Laserschweißvorrichtung 10 eingekoppelt. Auf diese Weise zeigt das Kamerabild zu jeder Zeit den Bearbeitungsbereich des Bearbeitungslaserstrahls L. Der Bearbeitungslaserstrahl L wird seinerseits von einer Laserstrahlquelle 14 über ein Lichtleitkabel dem Laserschweißkopf 16 zugeführt und über die Schweißoptik 162, die beispielsweise als Scanneroptik mit beweglichen Scannerspiegeln oder -linsen ausgeführt sein kann, auf die Enden der Hairpins 20a, 20b fokussiert. Die Laserschweißvorrichtung 10 kann mittels einer zentralen Steuereinrichtung 19 gesteuert werden. Das von der Kamera 18 aufgenommene Realbild 22 (vgl. Fig. 3a) wird einem tiefen faltenden neuronalen Netz (Convolutional Neural Network) einer Bildverarbeitungseinrichtung 182 übergeben, welche das Realbild 22 prozessiert und als Ausgabe ein Falschfarbenbild 24, hier in Form eines Binärbilds 24, mit der gleichen Auflösung wie das Real bild 22 erzeugt. Als neuronales Netz wird für die Bildtransformation vorzugsweise ein U-Net/U-Net Derivat verwendet, welches auf die durchzuführende Fragestellung und Laufzeit optimiert wurde. In dem erzeugten Binärbild 22 sind die für den Schweißprozess relevanten Merkmale hervorgehoben. Das heißt, diejenigen Pixel des Realbilds 22, die einer Oberfläche eines der Hairpins 20a, 20b als Merkmalsklasse (mit hinreichender Wahrscheinlichkeit) zuzuordnen sind, werden weiß eingefärbt und diejenigen Pixel des Realbilds 22, die der Merkmalsklasse „Hintergrund" zugeordnet werden, werden schwarz eingefärbt. Im Ergebnis sind die als Oberfläche der Hairpins 20a, 20b erkannten Bildbereiche 242 weiß dargestellt und heben sich von dem schwarz eingefärbten Hintergrund 244 deutlich ab.
Das Binärbild 24 wird nun anstatt des Realbilds 22 gemäß dem herkömmlichen Vorgehen an eine Vermessungseinrichtung 182 übergeben, welche Informationen zur Lage und/oder zur Geometrie der Hairpins 20a, 20b bestimmt. Mittels einer Überprüfungseinrichtung 182 können die gewonnenen Informationen dann auf ihre Eignung für den Schweißprozess überprüft werden und es können, basierend auf den Lageinformationen, Schweißeinstellungen (insbesondere die Form und/oder Lage der vom Laserstrahl L abzufahrenden Schweißbahn) für den Laserschweißprozess festgelegt werden. Dazu können die überprüften Informationen zur Lage der Hairpinenden von der Überprüfungseinrichtung an die zentrale Steuereinrichtung 19 übergeben werden, die die Laserschweißvorrichtung 10 gemäß den vorgegebenen Schweißeinstellungen steuert. Bei der Überprüfung der Lage und/oder der Geometrie der Hairpinenden kann insbesondere überprüft werden, ob vorbestimmte Lagegrenzen der Hairpinenden eingehalten werden, ob ein Spalt zwischen den Hairpins 20a, 20b in einem vorgegebenen Toleranzbereich liegt, oder etwa, ob der Querschnitt eines Hairpins 20a, 20b einen vorgegebenen Größenbereich über- oder unterschreitet. Wenn dabei festgestellt wird, dass eine vorgegebene Toleranzgrenze nicht eingehalten wird, kann die Überprüfungseinrichtung 182 ein Warnsignal ausgeben und/oder einen laufenden Fügeprozess im Zusammenspiel mit der Steuereinrichtung 19 stoppen.
Gemäß dem in Figur 4 dargestellten Aufbau der Laserschweißvorrichtung 10, können die Bildverarbeitungseinrichtung, die Vermessungseinrichtung und die Überwachungseinrichtung in einer gemeinsamen Recheneinheit 182 implementiert sein. Bei der Recheneinheit 182 kann es sich um einen PanelPC für die Bildüberwachung handeln. Bei der Anmelderin wird ein für die Implementierung der vorliegenden Erfindung verwendbares Bildüberwachungssystem unter der Bezeichnung VisionLine vertrieben.
Das neuronale Netz, auf das die Bildverarbeitungseinrichtung 182 zurückgreift, kann in dem hier beschriebenen System als intelligenter Filter angesehen werden, welcher die für den Schweißprozess relevanten Merkmale des aufgenommenen Realbilds 22 für die automatisierte Bildverarbeitung hervorhebt und auf diese Weise die Lage- Detektion vereinfacht. Die Detektion ist dabei nicht auf ein Merkmal bzw. eine Merkmalsklasse beschränkt, sondern kann beliebig viele Merkmalsklassen in einem Bild detektieren und in einem einzigen Falschfarbenbild mit zwei oder mehr Farben hervorheben, um die Prozesszeit zu reduzieren. Durch eine pixelgenaue Bestimmung der Merkmalsfläche (hier die Oberfläche der Hairpinenden) können nachgelagerte Algorithmen noch Plausibilitätsprüfungen durchführen und die berechnete/detektierte Fläche mit einer zu erwartenden Fläche abgleichen. Dies ist mit klassischen intensitätsbasierten Algorithmen nur schwer realisierbar und kann sich zusätzlich positiv auf die Robustheit des Prozesses auswirken.
Die erfindungsgemäße Lage- Detektion von Fügepartnern 20a, 20b ermöglicht ein prozesssicheres Fügen der Fügepartner 20a, 20b. Darüber hinaus kann bei manchen Prozessen der Aufwand (Kosten) beim Vorverarbeiten der Fügepartner 20a, 20b (beispielsweise das akkurate Schneiden der Hairpinenden) reduziert werden.

Claims

Patentansprüche
1. Verfahren zum Ermitteln der Lage von Fügepartnern (20a, 20b) für einen Fügeprozess, das Verfahren umfassend die Schritte:
Bereitstellen (S10) der Fügepartner (20a, 20b) in einer Fügeposition;
Aufnehmen (S20) eines Realbilds (22) der positionierten Fügepartner (20a, 20b);
Erzeugen (S30) eines Falschfarbenbildes (24) basierend auf dem Realbild (22); und
Ermitteln (S40), basierend auf dem Falschfarbenbild (24), wenigstens einer Information zur Lage wenigstens eines der Fügepartner (20a, 20b).
2. Verfahren nach Anspruch 1, wobei das Falschfarbenbild (24) unter Verwendung eines tiefen faltenden neuronalen Netzes, insbesondere eines modifizierten U-Nets, aus dem Realbild (22) erzeugt wird.
3. Verfahren nach Anspruch 1 oder 2, ferner umfassend:
Überprüfen (S50), basierend auf der wenigstens einen Lageinformation, einer relativen Lage der Fügepartner (20a, 20b) zueinander.
4. Verfahren nach Anspruch 3, ferner umfassend:
Ausgeben (S60) eines Warnhinweises, wenn beim Überprüfen (S50) der Lageinformation oder einer Information betreffend die Geometrie wenigstens eines der Fügepartner (20a, 20b) eine für das Fügen der Fügepartner (20a, 20b) unzulässige Lage und/oder eine unzulässige Geometrie wenigstens eines der Fügepartner (20a, 20b) festgestellt wird.
5. Verfahren nach Anspruch 3 oder 4, wobei der Schritt des Überprüfens (S50) ein Festlegen von Bearbeitungseinstellungen zum Fügen der Fügepartner (20a, 20b) umfasst.
6. Verfahren nach Anspruch 5, ferner umfassend: Fügen (S70) der Fügepartner (20a, 20b) unter Verwendung der festgelegten Bearbeitungseinstellungen in einem Laserschweißverfahren.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Real bild (22) aus einer Richtung senkrecht zu einer Bearbeitungsebene aufgenommen wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Falschfarbenbild (24) eine Auflösung aufweist, die einer Auflösung des Realbilds (22) entspricht.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Erzeugen des Falschfarbenbildes (24) jedem Pixel des Realbilds (22) eine aus wenigstens zwei vorgegebenen Farben, insbesondere Schwarz oder Weiß und/oder wenigstens ein dazwischenliegender Grauton, zugeordnet wird.
10. Verfahren nach Anspruch 9, wobei die Farb-Zuordnung anhand der Zuweisung des jeweiligen Pixels zu einer vorbestimmten Merkmalsklasse erfolgt.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei es sich bei den Fügepartnern (20a, 20b) um metallische, stabförmige Leiterelemente, sogenannte Hairpins, handelt, die zur Ausbildung einer elektrischen Verbindung miteinander zu verschweißen sind.
12. Laserschweißvorrichtung (10) zum Fügen zweier Fügepartner (20a, 20b), die Laserschweißvorrichtung (10) umfassend:
Eine Positioniereinrichtung zur Positionierung der Fügepartner in einer Fügeposition;
Eine Laserstrahlquelle (14) zur Bereitstellung eines Bearbeitungslaserstrahls (L);
Einen Laserschweißkopf (16) mit einer Laserschweißoptik (162) zum
Ausrichten und Fokussieren des Bearbeitungslaserstrahls (L) in Richtung der Fügepartner (20a, 20b); Eine Bilderfassungseinrichtung (18) zum Erfassen eines Realbilds (22) der Fügepartner (20a, 20b) in der Fügeposition;
Eine Bildverarbeitungseinrichtung (182) zum Erzeugen eines Falschfarbenbildes (24) basierend auf dem Realbild (22); und Eine Vermessungseinrichtung (182) zum Ermitteln wenigstens einer Information zur Lage wenigstens eines der Fügepartner (20a, 20b), basierend auf dem Falschfarbenbild (24).
13. Laserschweißvorrichtung (10) nach Anspruch 12, ferner umfassend:
Eine Überprüfungseinrichtung (182) zum Überprüfen, basierend auf der wenigstens einen Lageinformation, der Lage und/oder einer Geometrie wenigstens eines der Fügepartner (20a, 20b), wobei die Überprüfungseinrichtung (182) ferner zur Ausgabe eines Warnhinweises ausgebildet ist, wenn beim Überprüfen der Lage und/oder der Geometrie eine für das Fügen der Fügepartner (20a, 20b) unzulässige Lage und/oder eine unzulässige Geometrie wenigstens eines der Fügepartner (20a, 20b) festgestellt wird.
14. Laserschweißvorrichtung (10) nach Anspruch 13, wobei die Überprüfungseinrichtung (182) ferner dazu ausgebildet ist, basierend auf der wenigstens einen Lageinformation, Bearbeitungseinstellungen zum Laserschweißen der Fügepartner (20a, 20b) mittels der Laserschweißvorrichtung (10) festzulegen.
15. Computerprogrammprodukt, das computerlesbare Instruktionen zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 auf einer Fügevorrichtung enthält.
PCT/EP2023/059179 2022-04-14 2023-04-06 Lage-detektion von fügepartnern WO2023198603A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022109221 2022-04-14
DE102022109221.6 2022-04-14

Publications (1)

Publication Number Publication Date
WO2023198603A1 true WO2023198603A1 (de) 2023-10-19

Family

ID=86051909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/059179 WO2023198603A1 (de) 2022-04-14 2023-04-06 Lage-detektion von fügepartnern

Country Status (1)

Country Link
WO (1) WO2023198603A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0959654A2 (de) * 1998-05-19 1999-11-24 FUJI MACHINE Mfg. Co., Ltd. Verfahren und Vorrichtung zur Montage von electrischen Bauteilen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0959654A2 (de) * 1998-05-19 1999-11-24 FUJI MACHINE Mfg. Co., Ltd. Verfahren und Vorrichtung zur Montage von electrischen Bauteilen

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HARTUNG JULIA ET AL: "Camera-Based In-Process Quality Measurement of Hairpin Welding", APPLIED SCIENCES, vol. 11, no. 21, 4 November 2021 (2021-11-04), pages 10375, XP055934446, DOI: 10.3390/app112110375 *
TRUMPF INC.: "TRUMPF Hairpin Welding", 24 March 2021 (2021-03-24), XP093059382, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=ynNSuUj3pbE> [retrieved on 20230629] *

Similar Documents

Publication Publication Date Title
DE69206928T2 (de) Apparat zum Bestimmen der Schweissnahtgüte
EP2886239B1 (de) Verfahren und vorrichtung zur überwachung und regelung der bearbeitungsbahn bei einem laser-fügeprozess
EP1640101B1 (de) Verfahren zur Regelung eines automatischen Bearbeitungsprozesses
EP3140644A1 (de) Thermographie zur qualitätssicherung in einem generativen fertigungsverfahren
EP3768454B1 (de) Verfahren zur automatischen ermittlung optimaler schweissparameter für die durchführung einer schweissung an einem werkstück
EP3483617B1 (de) Verfahren zur latenzmessung
DE102020112116A1 (de) Verfahren zum Analysieren eines Laserbearbeitungsprozesses, System zum Analysieren eines Laserbearbeitungsprozesses und Laserbearbeitungssystem mit einem solchen System
EP3102361A1 (de) Verfahren zum identifizieren einer randkontur einer an einem bearbeitungskopf gebildeten öffnung und bearbeitungsmaschine
DE10103255B4 (de) Verfahren zur automatischen Beurteilung von Laserbearbeitungsprozessen
EP3900131A1 (de) Verfahren zur robotergestützten verdrahtung von elektrischen komponenten einer auf einer montageplatte angeordneten elektrischen schaltanlage
WO2023131522A1 (de) VERFAHREN ZUM LASERSTRAHLSCHWEIßEN VON MEHREREN KOMPONENTEN AN UNTERSCHIEDLICHEN BEARBEITUNGSSTELLEN EINES BAUTEILS SOWIE LASERSCHWEIßVORRICHTUNG
WO2021023368A1 (de) Verfahren zum anzeigen eines oct-abgetasteten bereichs einer werkstückoberfläche und/oder zum vermessen von oberflächenmerkmalen sowie zugehöriges oct-system
WO2023198603A1 (de) Lage-detektion von fügepartnern
DE19946520A1 (de) Vorrichtung und Verfahren zur Oberflächeninspektion eines kontinuierlich zulaufenden Bandmaterials
WO2022029073A1 (de) Verfahren zum bestimmen einer position eines werkstücks für einen laserbearbeitungsprozess und laserbearbeitungssystem
DE10222786A1 (de) Verfahren zur Positionierung von Werkstücken bei Laserbearbeitungsprozessen
DE102020205641A1 (de) Überwachungseinrichtung für eine Fügevorrichtung, Fügevorrichtung und Verfahren
EP4010145B1 (de) Verfahren zum analysieren einer werkstückoberfläche für einen laserbearbeitungsprozess und eine analysevorrichtung zum analysieren einer werkstückoberfläche
DE102010002255A1 (de) Laserstrahlschweißeinrichtung und Verfahren zum Betreiben einer Laserstrahlschweißeinrichtung
EP3961559B1 (de) Verfahren und vorrichtung zum ermitteln von defekten während eines oberflächenmodifizierungsverfahrens
DE102008038332A1 (de) Verfahren und Vorrichtung zur Regelung eines Schweißprozesses
DE102021121112A1 (de) Analysieren eines Laserbearbeitungsprozesses basierend auf einem Spektrogramm
DE4139152B4 (de) Verfahren zum Spleißen von Lichtwellenleitern
DE102012104131A1 (de) Automatische anpassung der ansteuerung eines insbesondere für fahrerassistenzsysteme vorgesehenen imagers an äussere einflüsse
DE102019208037A1 (de) Verfahren und Vorrichtung zum Verbessern eines Laserstrahlschweißprozesses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23717530

Country of ref document: EP

Kind code of ref document: A1