WO2024117262A1 - 外観検査装置、溶接システム及び溶接箇所の外観検査方法 - Google Patents

外観検査装置、溶接システム及び溶接箇所の外観検査方法 Download PDF

Info

Publication number
WO2024117262A1
WO2024117262A1 PCT/JP2023/043168 JP2023043168W WO2024117262A1 WO 2024117262 A1 WO2024117262 A1 WO 2024117262A1 JP 2023043168 W JP2023043168 W JP 2023043168W WO 2024117262 A1 WO2024117262 A1 WO 2024117262A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
shape data
data
welding
unit
Prior art date
Application number
PCT/JP2023/043168
Other languages
English (en)
French (fr)
Inventor
大智 東
通雄 櫻井
徹 酒井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024117262A1 publication Critical patent/WO2024117262A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • This disclosure relates to an appearance inspection device, a welding system, and a method for visually inspecting welded parts.
  • Patent Document 2 proposes an appearance inspection device for welded parts that includes a shape measurement unit, an image processing unit, a learning data set generation unit, a judgment model generation unit, and a first judgment unit.
  • the shape measurement unit measures the shape of the welded area, and the image processing unit generates image data of the welded area based on the measured shape data.
  • the learning dataset generation unit classifies the multiple image data according to the material and shape of the workpiece, and expands the data to generate multiple learning datasets.
  • the judgment model generation unit uses the multiple learning datasets to generate a judgment model of the shape of the welded area for each material and shape of the workpiece.
  • the first judgment unit judges whether the shape of the welded area is good or bad based on the image data read out from the image processing unit and the judgment model.
  • the learning data prepared is based on a small number of types, typically, data on the shape of a weld obtained under one type of inspection condition for each workpiece material and shape. This is because preparing learning data for each shape of a weld requires a large amount of labor and cost.
  • the shape of a weld bead formed in a straight line is measured, and training data is prepared using the obtained shape data. Furthermore, when measuring the shape of a weld bead, the shape measurement is usually performed while moving a sensor at a constant speed along the length of the weld bead. For this reason, in the training data, the measurement resolution along the length of the weld bead is often the same regardless of the position in the width direction of the weld bead.
  • the shapes of the weld beads which are the welded parts, vary.
  • a straight weld bead may be formed, or a curved weld bead may be formed.
  • the movement distance of the sensor at each specified time interval varies depending on the widthwise position of the weld bead.
  • the measurement resolution along the length of the weld bead changes depending on the widthwise position of the weld bead.
  • This disclosure has been made in consideration of these points, and its purpose is to provide an appearance inspection device, welding system, and appearance inspection method for welded areas that can accurately evaluate the three-dimensional shape of welded areas even when the welded areas include curved portions.
  • the appearance inspection device disclosed herein is an appearance inspection device that inspects the appearance of a welded portion of a workpiece, and is equipped with at least a shape measurement unit that is attached to a robot and measures the three-dimensional shape of the welded portion along a weld line, and a data processing unit that processes the shape data acquired by the shape measurement unit, and the data processing unit is equipped with at least a shape data processing unit that reconstructs the shape data acquired by the shape measurement unit, and a first judgment unit that judges whether the shape of the welded portion is good or bad based on the shape data reconstructed by the shape data processing unit and one or more judgment models prepared in advance, and is the X direction, the direction along the weld line is the Y direction, and the direction perpendicular to the X and Y directions is the Z direction.
  • the shape measurement unit measures the shape of the welded area at multiple points along the X direction and at multiple points along the Y direction. If the welded area includes a curved portion, the shape data processing unit corrects the coordinate points of the shape data at different positions along the X direction so that the Y direction resolution is the same, and reconstructs the shape data by correcting the Z direction coordinate position of the shape data based on the X direction coordinate position and the Y direction coordinate position after resolution correction.
  • the welding system disclosed herein comprises the visual inspection device and a welding device that welds the workpiece, and the welding device is characterized by having at least a welding head for inputting heat to the workpiece and an output control unit that controls the welding output of the welding head.
  • the method for visual inspection of welded parts is a method for visual inspection of welded parts using the visual inspection device, and includes at least a first step in which the shape measurement unit measures the three-dimensional shape of the welded part while moving together with the robot to obtain the shape data, a second step in which the shape data processing unit reconstructs the shape data, and a third step in which the first judgment unit judges whether the shape of the welded part is good or bad based on the shape data reconstructed by the shape data processing unit and one or more judgment models prepared in advance.
  • the shape data processing unit corrects the coordinate points of the shape data that are at different positions along the X direction so that the Y direction resolution is the same, and reconstructs the shape data by correcting the Z direction coordinate position of the shape data based on the X direction coordinate position and the Y direction coordinate position after resolution correction.
  • the three-dimensional shape of a welded portion can be evaluated with high accuracy, regardless of the shape of the welded portion.
  • the quality of the shape of the welded portion can be accurately determined.
  • FIG. 1 is a schematic diagram showing a configuration of a welding system according to a first embodiment.
  • FIG. 2 is a schematic diagram showing the hardware configuration of the robot control unit.
  • FIG. 3 is a functional block diagram of the appearance inspection device.
  • FIG. 4 is a schematic diagram showing how the shape of a weld bead is measured by the shape measuring unit.
  • FIG. 5A is a schematic diagram showing a hardware configuration of the sensor control unit.
  • FIG. 5B is a schematic diagram showing the hardware configuration of the data processing unit.
  • FIG. 6A is a schematic plan view showing an example of a shape defect mode of a welded portion.
  • FIG. 6B is a schematic cross-sectional view taken along line VIB-VIB in FIG. 6A.
  • FIG. 6C is a schematic cross-sectional view taken along line VIC-VIC in FIG. 6A.
  • FIG. 6D is a schematic cross-sectional view taken along line VID-VID in FIG. 6A.
  • FIG. 6E is a schematic cross-sectional view taken along line VIE-VIE in FIG. 6A.
  • FIG. 7 is a flow chart of a procedure for visually inspecting a welded portion.
  • FIG. 8A is a schematic diagram showing measurement point positions of shape data before reconstruction.
  • FIG. 8B is a schematic diagram showing measurement point positions of the reconstructed shape data.
  • FIG. 9 is a flowchart showing a procedure for reconstructing shape data.
  • FIG. 8A is a schematic diagram showing measurement point positions of shape data before reconstruction.
  • FIG. 8B is a schematic diagram showing measurement point positions of the reconstructed shape data.
  • FIG. 9 is a flowchart showing a procedure for reconstructing shape data.
  • FIG. 10 is a schematic diagram showing the relationship between the Y-direction resolution and circumferential direction speed in a curved portion of a welded spot, and the distance along the X direction from the center of the curved portion to a measurement point.
  • FIG. 11 is a schematic diagram showing the relationship between the measurement point positions on the curved portion of the welded portion and various parameters.
  • FIG. 12A is a schematic diagram showing the three-dimensional coordinate positions of measurement points before and after reconstructing shape data.
  • FIG. 12B is a view of FIG. 12A seen from the Z direction.
  • FIG. 13 is a conceptual diagram showing a procedure for deriving coordinate points of shape data by the bilinear interpolation method.
  • FIG. 14A is a perspective view of a workpiece according to the first embodiment.
  • FIG. 14A is a perspective view of a workpiece according to the first embodiment.
  • FIG. 14B is a view of FIG. 14A seen from the Z direction.
  • FIG. 15A is a schematic diagram showing measurement point positions of shape data before reconstruction.
  • FIG. 15B is a schematic diagram showing measurement point positions of the reconstructed shape data.
  • FIG. 16 is a perspective view of a workpiece according to the second embodiment.
  • FIG. 17 is a schematic diagram showing a procedure for measuring a welded portion in a conventional method.
  • FIG. 18 is a schematic diagram showing a measurement procedure of a welded portion in the second embodiment.
  • FIG. 19 is a perspective view of a workpiece according to the third embodiment.
  • FIG. 20 is a functional block diagram of the appearance inspection apparatus according to the second embodiment.
  • FIG. 21 is a flowchart of a procedure for visually inspecting a welded portion according to the second embodiment.
  • FIG. 22A is a schematic diagram showing an example of a procedure for creating a learning dataset.
  • FIG. 22B is a schematic diagram showing another example of a procedure for creating a learning dataset.
  • FIG. 22C is a schematic diagram showing yet another example of a procedure for creating a learning dataset.
  • FIG. 1 is a schematic diagram of a configuration of a welding system according to the first embodiment.
  • a welding system 100 includes a welding device 10 and an appearance inspection device 20.
  • the welding device 10 has a welding torch 11, a wire feeder 13, a power source 14, an output control unit 15, a robot 16, and a robot control unit 17.
  • a welding torch 11 When power is supplied from the power source 14 to the welding wire 12 held by the welding torch 11, an arc is generated between the tip of the welding wire 12 and the workpiece 200, and the workpiece 200 is heated to perform arc welding.
  • the welding device 10 also has other components and equipment such as piping and gas cylinders for supplying shielding gas to the welding torch 11, but for ease of explanation, these are not shown and will not be described.
  • the power source 14 is also called a welding power source.
  • the output control unit 15 is connected to the power source 14 and the wire feeder 13, and controls the welding output of the welding torch 11, in other words, the power supplied to the welding wire 12 and the power supply time, according to specified welding conditions.
  • the output control unit 15 also controls the feed speed and feed amount of the welding wire 12 fed from the wire feeder 13 to the welding torch 11.
  • the welding conditions may be input directly to the output control unit 15 via an input unit (not shown), or may be selected from a welding program read out separately from a recording medium or the like.
  • the robot 16 is a known multi-jointed axis robot that holds the welding torch 11 at its tip and is connected to a robot control unit 17.
  • the robot control unit 17 controls the operation of the robot 16 so that the tip of the welding torch 11, in other words, the tip of the welding wire 12 held by the welding torch 11, traces a predetermined welding trajectory and moves to the desired position.
  • FIG. 2 shows a schematic diagram of the hardware configuration of the robot control unit.
  • the robot control unit 17 includes at least a CPU (Central Processing Unit) 17a, a driver IC (Driver Integrated Circuit) 17b, a RAM (Random Access Memory) 17c, and an IC (Integrated Circuit) 17d.
  • CPU Central Processing Unit
  • driver IC Driver Integrated Circuit
  • RAM Random Access Memory
  • IC Integrated Circuit
  • IC 17d receives output signals from rotation detectors (not shown) provided on each of the multiple joint axes of robot 16. The output signals are processed by IC 17d and then input to CPU 17a.
  • CPU 17a transmits control signals to driver IC 17b based on the signals input from IC 17d and the number of rotations of the joint axis set in a specific program stored in RAM 17c.
  • Driver IC 17b controls the rotation of servo motors (not shown) connected to the joint axes based on the control signals from CPU 17a.
  • the CPU 17a of the robot control unit 17 that receives the judgment result stops the operation of the robot 16 or operates the robot 16 so that the welding torch 11 is in a predetermined initial position.
  • the output control unit 15 also has a similar configuration to the robot control unit 17. That is, the output control unit 15 has at least a CPU 15a, a driver IC 15b, a RAM 15c, and an IC 15d.
  • IC 15d receives a signal corresponding to the output of power supply 14. This signal is processed by IC 15d and then input to CPU 15a.
  • CPU 15a sends a control signal to driver IC 15b based on the signal input from IC 15d and the output of power supply 14 set in a specific program stored in RAM 15c.
  • Driver IC 15b controls the output of power supply 14, and ultimately the welding output of welding torch 11, based on the control signal from CPU 15a.
  • the CPU 15a of the output control unit 15 that receives the judgment result stops the output of the power source 14. This stops the welding output of the welding torch 11.
  • both the output control unit 15 and the robot control unit 17 may have components other than those shown in FIG. 2.
  • they may have a ROM (Read Only Memory) or a HDD (Hard Disk Drive) as a storage device.
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • the appearance inspection device 20 has a shape measurement unit 21, a sensor control unit 22, and a data processing unit 23.
  • the shape measurement unit 21 is attached to the robot 16 or the welding torch 11 to measure the shape of the welded portion 201 of the workpiece 200.
  • the configuration of the appearance inspection device 20 will be described in detail later.
  • FIG. 1 illustrates an arc welding device that performs arc welding as the welding device 10, the present invention is not limited to this.
  • the welding device 10 may be a laser welding device that performs laser welding.
  • a laser head (not shown) connected to a laser oscillator (not shown) via an optical fiber (not shown) is attached to and held by the robot 16. This causes a high-power laser for processing to be irradiated from the laser head onto the workpiece 200, which is heated and laser welding is performed.
  • the welding torch 11 and the laser head may be collectively referred to as the welding head 11.
  • FIG. 3 is a functional block diagram of the appearance inspection device
  • Fig. 4 is a schematic diagram showing how the shape of the weld bead is measured by the shape measurement unit
  • Fig. 5A is a schematic diagram of the hardware configuration of the sensor control unit
  • Fig. 5B is a schematic diagram of the hardware configuration of the data processing unit.
  • the shape measurement unit 21 is a three-dimensional shape measurement sensor that is composed of, for example, a laser light source 21a that is configured to irradiate the surface of the workpiece 200 with laser light, which is an emitted light for measurement, and is capable of scanning the surface of the workpiece 200, and a light receiving sensor array 21b that captures an image of the reflection trajectory (hereinafter sometimes referred to as a shape line) of the laser light irradiated onto the surface of the workpiece 200.
  • a laser light source 21a that is configured to irradiate the surface of the workpiece 200 with laser light, which is an emitted light for measurement, and is capable of scanning the surface of the workpiece 200
  • a light receiving sensor array 21b that captures an image of the reflection trajectory (hereinafter sometimes referred to as a shape line) of the laser light irradiated onto the surface of the workpiece 200.
  • the shape measuring unit 21 scans a predetermined area including the welded portion 201 and its surroundings with a laser beam (emitted beam), and the light reflected by the surface of the workpiece 200 is captured by the light receiving sensor array 21b, thereby measuring the three-dimensional shape of the welded portion 201.
  • the welded portion 201 is a so-called weld bead formed along a direction along a weld line preset by a welding program or the like.
  • the weld bead refers to a weld mark such as a bulge or a deformed portion that occurs in the welded portion of the workpiece 200 when the workpiece 200 is welded by a welding method such as arc welding or laser welding, and more specifically, refers to a metal portion that melts and solidifies during welding.
  • the weld line is a virtual line when the weld bead or the welded portion is represented as a single line.
  • the direction along the weld line may be referred to as the Y direction.
  • the direction perpendicular to the Y direction on the surface of the workpiece 200 on which the welded portion 201 is formed may be referred to as the X direction.
  • the height direction of the welding point 201 with respect to the surface of the workpiece 200 as a reference may be called the Z direction.
  • the Z direction is perpendicular to the X direction and the Y direction.
  • orthogonal means orthogonal, parallel, or the same, taking into account the manufacturing tolerances and assembly tolerances of the components constituting the welding system 100, the processing tolerances of the workpiece 200, and even the variation in the moving speed of the robot 16. It does not mean that the objects being compared are orthogonal, parallel, or the same in the strict sense.
  • the emitted light from the laser light source 21a is irradiated to a plurality of points along the width direction of the welding point 201, in this case along the X direction.
  • Each of the laser lights irradiated to the plurality of points is reflected, and the reflected light is imaged by the light receiving sensor array 21b.
  • the shape measurement unit 21 held by the robot 16 moves at a predetermined speed along the Y direction, and the emitted light is irradiated to the welding point 201 and its surroundings at predetermined time intervals during the movement, and each time the reflected light is imaged by the light receiving sensor array 21b.
  • the shape measuring unit 21 is configured to measure the shape of not only the welded portion 201 but also a predetermined area around the welded portion 201. This is to evaluate the presence or absence of spatters 204 and smut 206 (see FIG. 6A), which will be described later.
  • measurement resolution refers to the distance between adjacent measurement points in the shape data measured by the shape measurement unit 21.
  • the measurement resolution in the X direction is the distance along the X direction between adjacent measurement points.
  • the measurement resolution in the X direction is set according to the performance of the shape measurement unit 21, mainly the performance of the light receiving sensor array 21b, specifically, the size in the X direction of each sensor included in the light receiving sensor array 21b, and the distance between the sensors.
  • the measurement resolution is set for each of the X, Y, and Z directions. As will be described later, the measurement resolution in the Y direction changes according to the moving speed of the robot 16 or the sampling frequency of the light receiving sensor array 21b.
  • the resolution refers to the distance between adjacent coordinate points among the multiple point cloud data of the welded area 201 acquired by the shape measurement unit 21.
  • the shape data is reconstructed according to the shape of the welded area 201.
  • the resolution of the shape data before reconstruction is the same as the measurement resolution described above.
  • the resolution of the shape data after reconstruction may differ from the measurement resolution.
  • the X-direction resolution of the shape data is the same as the measurement resolution in the X direction.
  • the Y-direction resolution of the shape data may differ from the measurement resolution in the Y direction.
  • the resolution is set for each of the X direction, Y direction, and Z direction.
  • the sensor control unit 22 includes at least a CPU 22a and a RAM 22b.
  • the CPU 22a transmits control commands to the shape measurement unit 21 and controls the operation of the shape measurement unit 21.
  • the control commands transmitted from the CPU 22a to the shape measurement unit 21 include, for example, the inspection conditions for the shape measurement unit 21, a measurement start command, and a measurement stop command.
  • the RAM 22b stores the inspection conditions that have been set in advance. Note that other data may also be stored.
  • the sensor control unit 22 may also include components other than those shown in FIG. 5A. For example, it may include a ROM or a HDD as a storage device.
  • the data processing unit 23 receives the point cloud data of the shape lines acquired by the shape measurement unit 21 as shape data and processes it.
  • the data processing unit 23 is composed of multiple functional blocks. Specifically, it has a shape data processing unit 24, a first storage unit 25, a first determination unit 28, and a notification unit 29.
  • the data processing unit 23 includes, as hardware, at least a CPU 23a, a GPU (Graphics Processing Unit) 23b, a RAM/ROM 23c, an IC 23d, an input port 23e, an output port 23f, and a data bus 23h.
  • the data processing unit 23 also includes a display 23g.
  • the hardware configuration of the data processing unit 23 shown in FIG. 5B is similar to that of a known personal computer (PC).
  • the multiple functional blocks in the data processing unit 23 shown in FIG. 3 are realized by executing predetermined software in the various devices shown in FIG. 5B, particularly the CPU 23a and GPU 23b. Note that while FIG. 5B shows an example in which various devices are connected to one data bus 23h, multiple data buses may be provided according to the purpose, as in a normal PC.
  • the shape data processing unit 24 has a function of removing noise from the shape data acquired by the shape measurement unit 21. Since the reflectance of the light emitted from the shape measurement unit 21 varies depending on the material of the workpiece 200, if the reflectance is too high, halation or the like may occur, resulting in noise and affecting the shape data. For this reason, the shape data processing unit 24 is configured to perform noise filtering processing on software. Note that noise can also be removed in a similar manner by providing an optical filter (not shown) in the shape measurement unit 21 itself. By using the optical filter in combination with the filtering processing on the software, high-quality shape data can be obtained. This also improves the quality of the judgment model of the learning data set described later, and enables the quality of the shape of the welded area 201 to be judged with high accuracy.
  • the noise removal function of the shape data processing unit 24 is mainly realized by the IC 23d of the data processing unit 23. However, this is not particularly limited, and for example, noise removal of the shape data may be performed by the GPU 23b of the data processing unit 23.
  • the shape data processing unit 24 corrects the inclination and distortion of the base of the welding point 201 relative to a predetermined reference plane, for example, the installation surface of the workpiece 200, by statistically processing the point cloud data.
  • edge emphasis correction may be performed to emphasize the periphery of the welding point 201 in order to emphasize the shape and position of the welding point 201.
  • the shape data processing unit 24 also extracts feature amounts from the shape data according to the shape of the workpiece 200 and according to the inspection items for the shape of the welded area 201.
  • one or more feature amounts corresponding to one or more inspection items are extracted for one piece of shape data.
  • the extracted feature amounts are linked to the shape data and used in subsequent data processing.
  • feature amounts are specific properties extracted from the shape data, and typical examples include the length, width, and height from the reference plane of the welded area 201, as well as the differences in length, width, and height between multiple points within the welded area 201. However, they are not limited to these, and feature amounts are set appropriately according to the content determined for each inspection item.
  • the shape data processing unit 24 is also configured to be able to reconstruct the acquired shape data. Specifically, the shape data processing unit 24 is configured to be able to perform resolution conversion correction on the acquired shape data. The reconstruction of the shape data and the resolution conversion correction will be described in detail later.
  • the edge emphasis correction processing function, feature extraction function, and reconstruction/resolution conversion correction function of the shape data processing unit 24 are mainly realized by the CPU 23a of the data processing unit 23.
  • this is not particularly limited, and for example, the IC 23d or GPU 23b may perform part or all of the edge emphasis correction processing.
  • the first storage unit 25 stores shape data of the welded portion 201 of another workpiece 200 that has been processed before welding the workpiece 200 to be evaluated.
  • the first storage unit 25 may also store shape data that has been experimentally acquired in advance before welding the actual workpiece 200. In the following description, this previously acquired shape data may be referred to as sample shape data.
  • the sample shape data includes good product data in which the shape of the welded portion 201 to be evaluated is good, and defective product data in which there is some defect in the shape. More specifically, the good product data is sample shape data that does not include a shape defect in the welded portion 201. The defective product data is sample shape data that includes a shape defect in the welded portion 201.
  • the shape data of the welded spot 201 in another workpiece 200 and the shape data of the welded spot 201 in the workpiece 200 to be evaluated are obtained for similar welded spots 201 in workpieces 200 that have similar shapes and materials.
  • the inspection conditions by the shape measurement unit 21 are fixed. However, the inspection conditions may be changed for each material of the workpiece 200 or for each shape of the workpiece 200.
  • the shape measurement results of a linear weld bead are acquired as sample shape data.
  • the Y-direction resolution of the sample shape data is constant regardless of the position in the X-direction, which is the width direction of the weld bead. Therefore, the Y-direction resolution is also constant for the learning data described later, regardless of the position in the X-direction, which is the width direction of the weld bead.
  • the first storage unit 25 also stores a judgment model for evaluating the shape of the welded portion.
  • a judgment model is prepared for each material and shape of the workpiece 200.
  • a judgment model may also be prepared for each inspection item of the welded portion 201. The judgment model will be described later.
  • the first judgment unit 28 judges whether the shape of the welded area 201 is good or not based on the shape data of the welded area 201 that has been processed by the shape data processing unit 24, such as noise removal and edge emphasis, and further reconstructed as necessary, and on the judgment model corresponding to the selected inspection item. In other words, the first judgment unit 28 judges whether the shape data of the welded area 201 acquired by the shape measurement unit 21 satisfies a predetermined judgment criterion.
  • the judgment model is expressed as a combination of multiple weighted classifiers, etc.
  • the judgment model is a known object detection algorithm expressed by a CNN (Convolutional Neural Network), etc.
  • the quality of the welded area 201 is judged roughly as follows: First, the shape data of the welded area 201 is acquired by the shape measurement unit 21 and preprocessed by the data processing unit 23 and the shape data processing unit 24, and the shape data is input to the first judgment unit 28.
  • the judgment model read from the first storage unit 25 is set in the first judgment unit 28. Note that the judgment model has already undergone learning reinforcement using a previously prepared learning data set.
  • the learning dataset is generated based on the sample shape data described above. Specifically, the learning dataset is generated using good product data and defective product data.
  • the defective product data is processed so that multiple types of shape defects are labeled with different numbers and positions of shape defects, and the processed results are used as multiple learning data.
  • the labeled learning data and good product data are combined to form the learning dataset. Note that, as described later, the learning dataset may be generated inside the data processing unit 23.
  • annotation refers to the process of observing the actual welded area 201 with the human eye and tagging the presence or absence and type of shape defect identified to the corresponding location in the shape data. This annotation is also performed manually.
  • the training data is reviewed for the presence or absence of shape defects and the type of shape defects. Based on the results of this, the training dataset is recreated or created anew, and the annotated training dataset is used to retrain the judgment model. By performing these steps once or multiple times, the learning of the judgment model is strengthened.
  • the judgment result is output as to whether or not there is a shape defect in the shape data of the welded area 201, and if there is a shape defect, the type of shape defect is indicated.
  • the type of defect mode of the shape defect contained in the shape data is calculated as a probability, and if the probability is equal to or greater than a predetermined value, it is judged that there is a shape defect and the type is identified. This will be described in more detail later.
  • the degree of match between the type of shape defect annotated in the learning data and the type of shape defect included in the shape data of the welded area 201 is determined by probability, and if the probability exceeds a predetermined threshold value, the type of shape defect included in the shape data of the welded area 201 is identified.
  • the first determination unit 28 outputs the following information. That is, the presence or absence of a shape defect, and if a shape defect is present, the type, number, size, and position at the welded portion 201 are output. Furthermore, if the shape defect exceeds a threshold based on a predetermined determination criterion, a result is output indicating whether the shape of the welded portion 201 is good or bad.
  • the threshold differs depending on the type and size of the shape defect. For example, with regard to spatters (see FIG. 6A) described later, if there are five or more spatters with a diameter of 5 ⁇ m or more, the shape of the welded portion 201 is determined to be bad. With regard to holes (see FIGS. 6A and 6C), if there is one or more holes, the shape of the welded portion 201 is determined to be bad. Note that these are merely examples, and can be changed as appropriate according to the determination criterion and threshold value described above.
  • the notification unit 29 is configured to notify the output control unit 15, the robot control unit 17, the welding operator, or the system administrator of the judgment result in the first judgment unit 28.
  • the display 23g of the data processing unit 23 corresponds to the notification unit 29.
  • the judgment result may be displayed on the display 23g or a display unit (not shown) of the welding system 100, or may be output from a printer (not shown), or may be notified through both.
  • the welding system 100 is configured to continuously weld the next welded portion 201 in the same workpiece 200, or to weld a similar welded portion 201 in the next workpiece 200.
  • the output control unit 15 stops the welding output of the welding torch 11, and the robot control unit 17 stops the operation of the robot 16 or operates the robot 16 so that the welding torch 11 comes to a predetermined initial position.
  • FIG. 6A to 6E show examples of the shape defects of the welded portion, respectively.
  • Fig. 6A to 6E show the shape of the welded portion 201 during butt welding
  • Fig. 6A shows the planar shape
  • Fig. 6B to 6E show the cross-sectional views taken along lines VIB-VIB and VIE-VIE in Fig. 6A, respectively.
  • a part of the welded area 201 may melt off (hereinafter, a through hole formed in the workpiece 200 when a part of the welded area 201 melts off the workpiece 200 may be referred to as a hole 202), or an undercut 203 may occur.
  • the undercut 203 refers to a defective area where the edge of the weld bead is recessed below the surface of the workpiece 200.
  • the length, width, and height from the reference plane of the welded portion 201 may vary beyond the allowable ranges ⁇ L, ⁇ W, and ⁇ H from the respective design values L, W, and H. Such cases are also counted as shape defects.
  • a droplet (not shown) formed at the tip of the welding wire 12 is transferred to the workpiece 200, part of the droplet or fine particles of molten metal from the workpiece 200 may fly off, causing spatter 204; if the workpiece 200 is a zinc-plated steel sheet, part of the welded area 201 may evaporate, causing pits 205; or, if the workpiece 200 or the welding wire 12 is an aluminum-based material, smut 206 may occur near the welded area 201.
  • Pits 205 are openings on the surface of the weld bead, and smut 206 is a black, soot-like deposit that occurs near the weld bead. These, along with the holes 202, undercuts 203, and spatters 204 mentioned above, are each a mode (type) of shape defect.
  • the criteria for determining whether or not there is a shape defect from the shape data differ depending on the material and shape of the workpiece 200.
  • the reflectance of the laser light (emitted light) differs depending on the material of the workpiece 200, so for example, the brightness level and contrast of the shape data also change.
  • the bead shape of the welded area 201 may change due to the influence of gravity, etc., even when welding straight sections of the same length.
  • FIG. 7 shows a flow chart of the procedure for visually inspecting welded portions.
  • the shape of the welded area 201 is measured using the visual inspection device 20 (step S1), and the shape data processing unit 24 extracts shape data of the welded area 201, i.e., the area where the weld bead is to be formed (step S2). Note that the area where the shape data is extracted is slightly wider than the area where the weld bead is to be formed, in order to check for the presence or absence of spatter 204 and smut 206.
  • the shape data processing unit 24 reconstructs the extracted shape data (step S3).
  • the specific reconstruction procedure will be described in detail later. Note that if the weld bead is linear, this step may be omitted.
  • the reconstructed shape data is input to the judgment model set in the first judgment unit 28 (step S4), and the first judgment unit 28 judges whether the shape of the welded portion 201 is good or bad. In making this judgment, as described above, the first judgment unit 28 judges whether the shape data contains any shape defects (step S5). The first judgment unit 28 also identifies the size and number of the shape defects and the position of the shape defects in the welded portion 201 (step S6). Furthermore, the first judgment unit 28 identifies the type of shape defect (step S7).
  • the type of shape defect is identified taking into consideration the shape and size of the shape defect, as well as its position in the welded portion 201.
  • the probability that the shape defect is spatter 204 is calculated, and if this probability is equal to or greater than a predetermined value (e.g., 70%), the shape defect is identified as spatter 204.
  • the final result of the pass/fail judgment of the shape of the welded portion 201 is displayed on the display 23g (step S8).
  • the position, size, and number of shape defects in the welded portion 201 are also displayed on the display 23g.
  • spatters 204 may be displayed in red, and holes 202 may be displayed in yellow, as the type of shape defect.
  • the part recognized as spatters 204 may be displayed in a different color from the background, and the probability of being spatters 204 may be displayed in a different color. This allows the welding operator or system administrator to easily recognize the presence or absence and distribution degree of the shape defect at a glance.
  • step S8 the shape of the welded area 201 is displayed on the display 23g as point cloud data.
  • the notification unit 29 notifies the output control unit 15 and the robot control unit 17 of the result of the pass/fail judgment of the shape of the welded area 201 (step S9).
  • the notification unit 29 may also notify the welding operator or the system administrator of the result of the pass/fail judgment of the shape of the welded area 201.
  • the welding output of the welding torch 11 and the operation of the robot 16 are controlled according to the judgment result of the first judgment unit 28.
  • FIG. 8A is a schematic diagram showing measurement point positions of shape data before reconstruction
  • FIG. 8B is a schematic diagram showing measurement point positions of shape data after reconstruction.
  • the shape of the welded area 201 varies depending on the shape of the workpiece 200, and is not necessarily limited to a straight line. For example, as shown in Figures 8A and 8B, if the welded area 201 includes an arc-shaped curved portion, the scanning trajectory of the shape measuring unit 21 along the weld line will naturally be a curve. On the other hand, since the time interval for shape measurement is constant, the travel distance of the shape measuring unit 21, in other words, the interval between measurement points along the Y direction, differs between the inner and outer sides of the weld bead, as shown in Figure 8A.
  • the measurement point interval along the Y direction i.e., the Y direction resolution, is larger on the outer circumference side and smaller on the inner circumference side.
  • FIG. 9 is a flowchart showing the procedure for reconstructing shape data, which corresponds to the processing in step S3 shown in FIG. 7.
  • the X-direction resolution of the shape data extracted in step S2 shown in FIG. 7 is stored in the first storage unit 25 (step S10).
  • This X-direction resolution is equal to the measurement resolution in the X-direction of the light receiving sensor array 21b.
  • the X-direction position Xi (i is an integer, 1 ⁇ i ⁇ N; N is the number of sensors) of each sensor included in the light receiving sensor array 21b is calculated for each measurement point, and the calculation results are stored in the first storage unit 25 (step S11).
  • the position Xc of the sensor virtually placed at the center is calculated for each measurement point, and the calculation results are stored in the first storage unit 25 (step S12).
  • step S13 determines whether Xi>Xc.
  • step S15 If the determination in step S15 is positive, i.e., Xi>Xc, proceed to step S16, calculate the Y-direction resolution at position Xi (i>c), and store it in the first storage unit 25.
  • step S15 If the determination in step S15 is negative, that is, Xi ⁇ Xc, proceed to step S17, calculate the Y-direction resolution at position Xi (i ⁇ c), and store it in the first storage unit 25.
  • the reason why the Y-direction resolution P i differs depending on the position Xi of the sensor in the X direction is because the Y-direction measurement resolution P of the light receiving sensor array 21b differs depending on the position Xi of the sensor in the X direction.
  • Figure 10 is a schematic diagram showing the relationship between the Y-direction resolution and circumferential speed in the curved portion of the weld and the distance along the X-direction from the center of the curved portion to the measurement point.
  • a center O is virtually set for the arc-shaped curved portion of welding point 201.
  • a trajectory passing through center position Xc of welding point 201 in the X direction corresponds to the movement trajectory of the tip of welding torch 11 moved by robot 16.
  • the distance l c between adjacent measurement points measured by a sensor placed at a central position X c (hereinafter, sometimes referred to as the measurement point interval l c in the Y direction) is expressed by equation (1).
  • ⁇ is the angle between adjacent measurement points of the sensor placed at the central position Xc and the center O (hereinafter, sometimes referred to as the central angle ⁇ ).
  • r c is the distance along the X direction from the center O to the movement trajectory of the sensor placed at the central position Xc .
  • r c is the radius of the movement trajectory of the sensor placed at the central position Xc in the X direction when the center of the arc-shaped curved portion of the welding point 201 is O.
  • ⁇ R is the distance along the X direction from the movement trajectory of the sensor placed at position X1 on the side closest to the center O to the movement trajectory of the sensor placed at position XN on the side farthest from the center O (see FIG. 11 ).
  • the movement speed v (mm/s) along the Y direction for each movement trajectory (hereinafter sometimes referred to as the circumferential speed v) is expressed by equations (4) to (6).
  • the circumferential velocity v depends on the radius r from the center O to the sensor's movement trajectory (hereinafter sometimes simply referred to as the radius r).
  • the radius and circumferential velocity of the movement trajectory of the sensor located at the center position Xc are respectively rc and vc .
  • the radius and circumferential velocity of the movement trajectory closest to the center O are respectively rnear and vnear .
  • the radius and circumferential velocity of the movement trajectory farthest from the center O are respectively rfar and vfar .
  • the measurement resolution of the sensor placed at the central position Xc is denoted as Pc
  • the measurement resolution of the sensor placed closest to the center O is denoted as Pnear
  • the measurement resolution of the sensor placed farthest from the center O is denoted as Pfar .
  • the ratios of Pc to Pnear and Pc to Pfar are respectively expressed by equations (9) and (10).
  • equation (13) holds for the measurement resolution P in the Y direction.
  • the measurement resolution P in the Y direction also changes depending on the radius r described above. Furthermore, the Y-direction resolution P i corresponds to the measurement resolution P in the Y direction. Therefore, the Y-direction resolution P i also changes depending on the radius r.
  • Figure 11 is a schematic diagram showing the relationship between the measurement point positions on the curved portion of the weld and various parameters.
  • the subscript i is smaller than c. In other words, this is the case when the position Xi is closer to the center O side with respect to the center position Xc of the sensor array. In this case, the Y-direction resolution P i is expressed by equation (14).
  • ⁇ R is the distance from the movement trajectory of the first sensor, i.e., the sensor located at position X1 closest to the center O, to the movement trajectory of the Nth sensor, i.e., the sensor located at position XN farthest from the center O.
  • ⁇ s is the X-directional interval between the movement trajectories of two sensors adjacent in the X direction.
  • Pc is the Y-directional resolution at the center position Xc
  • rc is the X-directional distance from the center O to the movement trajectory of the sensor located at position XC .
  • the subscript i is the same as c.
  • the position Xi is at the same position relative to the center position Xc of the sensor array.
  • the Y-direction resolution P i is expressed by equation (15).
  • the subscript i is greater than c. In other words, this is the case when the position Xi is on the far side from the center O with respect to the center position Xc of the sensor array.
  • the Y-direction resolution P i is expressed by equation (16).
  • step S18 If the result of the determination in step S18 is negative, the process returns to step S13 and repeats the series of processes from step S13 to S17 until the result of the determination in step S18 becomes positive.
  • the shape data processing unit 24 sequentially executes steps S13 to S17 for each point of the shape data, and determines whether the calculation process for calculating and storing the Y-direction resolution has been executed for all measurement positions in the welded area 201 (step S18).
  • step S18 If the result of the determination in step S18 is positive, the shape data processing unit 24 corrects the resolution of the shape data based on the calculation results of steps S12, S15, S16, and S17 (step S19).
  • the Y-direction resolution of the measured shape data is corrected so that it is the same as the Y-direction resolution of the learning data used to strengthen the learning of the judgment model, and in turn, the Y-direction resolution of the shape data that is acquired in advance to generate the learning data.
  • the coordinate position in the Z direction is also corrected at the same time.
  • FIG. 12A shows the three-dimensional coordinate positions of the measurement points before and after reconstructing the shape data
  • FIG. 12B shows a view of FIG. 12A from the Z direction
  • FIG. 13 is a conceptual diagram showing the procedure for deriving the coordinate points of the shape data by bilinear interpolation.
  • the position of a measurement point after reconstruction is derived based on the positions of the actual measurement points adjacent to it, as shown in Figures 12A and 12B.
  • the Y-direction positions of the coordinate points are corrected so that the Y-direction resolution becomes Pc as described above. Furthermore, the Z-direction coordinate positions are corrected based on the X-direction coordinate positions of each coordinate point and the corrected Y-direction coordinate positions, thereby reconstructing the shape data. The procedure for reconstructing the Z-direction coordinate positions of the measurement points will be described below.
  • x1 and x2 are the X-coordinate positions of the surrounding measurement points before reconstruction
  • y1 and y2 are the Y-coordinate positions of the surrounding measurement points before reconstruction
  • P xmeas and P ymeas are the X-direction resolution and Y-direction resolution of the shape data, respectively.
  • P xai and P yai are the X-direction resolution and Y-direction resolution of the shape data after reconstruction, respectively.
  • the Z coordinate position of the measurement point after reconstruction is corrected using the interpolation parameters t and s.
  • the correction is performed using bilinear interpolation.
  • the Z coordinate position of the measurement point after correction is expressed by equation (19). Note that the Z coordinate positions of the surrounding measurement points before reconstruction are expressed by f(x1, y1), f(x1, y2), f(x2, y1), and f(x2, y2), respectively.
  • step S4 shown in FIG. 7, where subsequent processing is carried out.
  • the appearance inspection device 20 inspects the appearance of the welded portion 201 of the workpiece 200 .
  • the appearance inspection device 20 is attached to the robot 16 and includes at least a shape measurement unit 21 that measures the three-dimensional shape of the welded portion 201 along the weld line, and a data processing unit 23 that processes the shape data acquired by the shape measurement unit 21.
  • the data processing unit 23 further includes a shape data processing unit 24 that reconstructs the shape data, and a first judgment unit 28 that judges whether the shape of the welded portion 201 is good or bad based on the shape data reconstructed by the shape data processing unit 24 and one or more judgment models prepared in advance.
  • the shape measurement unit 21 measures the shape of the welded area 201 at multiple points along the X direction, and also measures the shape of the welded area 201 at multiple points along the Y direction, which is the direction along the weld line.
  • the shape data processing unit 24 corrects the coordinate points of the shape data at different positions along the X direction so that the Y direction resolution is the same. Furthermore, the shape data processing unit 24 reconstructs the shape data by correcting the Z direction coordinate position of the shape data based on the X direction coordinate position and the Y direction coordinate position after the resolution correction.
  • the visual inspection device 20 By configuring the visual inspection device 20 in this manner, when the welded area 201 includes curved portions, there is no need to prepare a separate judgment model to be used for evaluating the shape of the welded area 201. In other words, the three-dimensional shape of the welded area 201 can be accurately evaluated even if only a judgment model that has been trained and enhanced using sample shape data including a simple shape, for example, a linear weld bead, and learning data obtained based on this is used. As a result, even when the welded area 201 includes curved portions, the quality of the shape of the welded area 201 can be correctly determined.
  • the shape data processing unit 24 corrects the Y direction resolution of the shape data so that it becomes the same as the Y direction resolution of a locus passing through the center position Xc of the welding point 201 in the X direction.
  • the Y-direction resolution of the shape data can be easily corrected, and the effect of deformation of the shape data due to the correction can be reduced.
  • This allows the three-dimensional shape of the welded area 201 to be evaluated with high accuracy, and the quality of the shape of the welded area 201 can be correctly determined.
  • the Z-direction coordinate position of the shape data can be easily corrected.
  • the first judgment unit 28 judges whether the input shape data has a shape defect.
  • a learning dataset is generated using sample shape data consisting of good product data that does not contain any shape defects and defective product data that contains some shape defects.
  • the defective product data is processed so that the type of shape defect is identified and the identified type is labeled for each shape defect. This learning dataset is used to strengthen the learning of the judgment model in advance.
  • the first determination unit 28 identifies the number and size of the shape defects, as well as the location of the shape defects at the welded portion 201 and a specified area around it.
  • the first judgment unit 28 identifies the type of shape defect.
  • the number and size of the shape defects, as well as the position of the shape defects in the welded portion 201 are referenced.
  • the type of shape defect is calculated as a probability, and the type of shape defect is determined when the probability is equal to or exceeds a predetermined threshold value.
  • the types of shape defects are not limited to the defects shown in Figures 6A to 6E.
  • Shape defects are also included when the dimensions of the welded portion 201 do not satisfy predetermined quality standards.
  • the quality standards for the dimensions can be set in any of the X, Y, and Z directions.
  • the first judgment unit 28 judges or identifies multiple items regarding the shape of the welded area 201, and based on those results, makes a final judgment on whether the shape of the welded area 201 is good or bad. In this way, the shape of the welded area 201 can be correctly evaluated.
  • the judgment model used to judge the presence or absence of a shape defect is the same as the judgment model that identifies the type of shape defect, etc. However, each judgment model may be provided separately.
  • the welding system 100 includes a welding device 10 that welds the workpiece 200, and an appearance inspection device 20.
  • the shape of the welded portion 201 can be inspected with high accuracy and with few labor hours. This reduces the cost of the welding process.
  • the welding device 10 also includes at least a welding head 11 (welding torch 11) for inputting heat to the workpiece 200, a robot 16 that holds the welding head 11 (welding torch 11) and moves it to a desired position, an output control unit 15 that controls the welding output of the welding head 11 (welding torch 11), and a robot control unit 17 that controls the operation of the robot 16.
  • a welding head 11 welding torch 11
  • a robot 16 that holds the welding head 11 (welding torch 11) and moves it to a desired position
  • an output control unit 15 that controls the welding output of the welding head 11 (welding torch 11)
  • a robot control unit 17 that controls the operation of the robot 16.
  • the output control unit 15 stops the welding output of the welding head 11 (welding torch 11), and the robot control unit 17 stops the operation of the robot 16 or operates the robot 16 so that the welding head 11 (welding torch 11) comes to a predetermined initial position.
  • the welding system 100 By configuring the welding system 100 in this manner, if the shape of the welded portion 201 is defective, the next welding can be stopped to prevent the production of multiple defective products. Furthermore, by obtaining the judgment results from the first judgment unit 28 for each inspection item, it is possible to estimate the defective portion in the welding system 100, and the cause of the defect can be quickly removed, thereby shortening the downtime of the welding system 100.
  • the method for visually inspecting a welded area includes at least a first step (step S1 in FIG. 7) in which the shape measurement unit 21 measures the three-dimensional shape of the welded area 201 while moving together with the robot 16 to obtain shape data, a second step (step S3 in FIG. 7) in which the shape data processing unit 24 reconstructs the shape data, and a third step (steps S5 to S7 in FIG. 7) in which the first judgment unit 28 judges whether the shape of the welded area 201 is good or bad based on the shape data reconstructed by the shape data processing unit 24 and one or more judgment models prepared in advance.
  • the shape data processing unit 24 corrects the coordinate points of the shape data at different positions along the X direction so that the Y direction resolution is the same. Furthermore, the shape data processing unit 24 reconstructs the shape data by correcting the Z direction coordinate position of the shape data based on the X direction coordinate position and the Y direction coordinate position after the resolution correction.
  • the three-dimensional shape of the welded area 201 can be evaluated with high accuracy, and the quality of the shape of the welded area 201 can be correctly determined.
  • the shape features of the defective shape parts contained in the learning data and the reconstructed shape data can be matched. Therefore, when the reconstructed shape data is input to the trained determination model, the quality of the shape of the welded area 201 can be determined reliably and accurately.
  • the shape data processing unit 24 corrects the Y direction resolution of the shape data so that it becomes the same as the Y direction resolution of a locus passing through the central position Xc of the welding point 201 in the X direction.
  • the Y-direction resolution of the shape data can be easily corrected, and the effect of deformation of the shape data due to the correction can be reduced.
  • This allows the three-dimensional shape of the welded area 201 to be evaluated with high accuracy, and the quality of the shape of the welded area 201 can be correctly determined.
  • the Z-direction coordinate position of the shape data can be easily corrected.
  • the third step includes a step in which the first determination unit 28 determines whether or not there is a shape defect in the input shape data, and if there is a shape defect in the shape data, a step in which the first determination unit 28 identifies the number and size of the shape defects, as well as the position of the shape defects in the welded portion 201 and a specified area around it, and a step in which the type of shape defect is identified.
  • the judgment model is trained and strengthened in advance using a separately prepared learning dataset.
  • the learning dataset is generated based on sample shape data.
  • the sample shape data includes good product data that does not contain any shape defects and defective product data that contains some shape defects.
  • the type of shape defect is identified and the type is labeled.
  • the number and size of the shape defects, as well as the position of the shape defect at the welded portion 201, are referenced.
  • FIG. 14A shows an oblique view of the workpiece according to Example 1
  • FIG. 14B shows a view of FIG. 14A from the Z direction
  • FIG. 15A is a schematic diagram showing the measurement point positions of the shape data before reconstruction
  • FIG. 15B is a schematic diagram showing the measurement point positions of the shape data after reconstruction.
  • the same reference numerals are used for the same parts as in Example 1, and detailed explanations will be omitted.
  • the workpiece 200 is made up of a cover 210 and a roller 220.
  • the roller 220 is a cylindrical member having a rotation shaft 221 at its axis.
  • the cover 210 is a cylindrical member.
  • the roller 220 is inserted into the cover 210 so that the side (outer circumferential surface) of the roller 220 is in contact with the inner surface of the cover 210.
  • the outer circumferential end of the roller 220 and the inner circumferential end of the cover 210 are welded to form a welded portion (weld bead) 201.
  • the shape of the welded area 201 is circular, and the welded area 201 includes curved portions.
  • the scanning direction of the shape measurement unit 21, i.e., the Y direction, is along the circular welded area 201.
  • the X direction is the radial direction of the cover 210 and the roller 220.
  • the shape data acquired by the shape measurement unit 21 has smaller Y-direction resolution on the side closer to the axis (center O) of the roller 220 along the X direction, while the Y-direction resolution is larger on the side farther from the axis of the roller 220. Therefore, when the shape is evaluated using a judgment model with enhanced learning based on a linear weld bead, the shape of the welded point 201 cannot be evaluated with high accuracy, and as a result, the quality of the shape of the welded point 201 cannot be correctly determined.
  • the shape data was reconstructed using a method similar to that shown in embodiment 1. That is, as shown in FIG. 15B, the shape data was corrected so that the Y-direction resolution of the shape data is the same regardless of the X-direction position of the original measurement point. Furthermore, this correction also corrects the X-direction coordinate position of the original measurement point. Although not shown, as described above, the Z-direction coordinate position of the measurement point is also corrected.
  • FIG. 16 shows an oblique view of a workpiece according to Example 2.
  • FIG. 17 is a schematic diagram showing the procedure for measuring a welded portion in a conventional method
  • FIG. 18 is a schematic diagram showing the procedure for measuring a welded portion in Example 2.
  • the workpiece 200 is made up of a member 230 and a plate material 240.
  • the member 230 is a cylindrical member with a radius r from the center O to the outer periphery.
  • the member 230 is placed on the upper surface of the plate material 240 so that the bottom surface of the member 230 is in contact with the upper surface of the plate material 240.
  • the outer periphery of the member 230 and the upper surface of the plate material 240 are welded together to form a welded portion (weld bead) 201.
  • the shape of the welded area 201 is circular.
  • the scanning direction of the shape measuring unit 21 in this embodiment that is, the Y direction, is along the circular welded area 201, as shown in Figure 18. In other words, it is along the weld line direction.
  • the shape data is reconstructed in a manner similar to that shown in embodiment 1. Therefore, when measuring the shape of the welded area 201, it is sufficient to move the shape measuring unit 21 so as to trace the center of the welded area 201 in the width direction, which corresponds to the weld line, and the movement trajectory CP1 becomes a circle. In this case, the movement distance of the shape measuring unit 21 required to measure the shape of the welded area 201 is 2 ⁇ r.
  • the distance traveled by the shape measuring unit 21, i.e., the inspection trajectory, is shorter than in the conventional method.
  • the moving speed of the tip of the robot 16 to which the shape measuring unit 21 is attached is usually constant. Therefore, the ratio of the inspection trajectory of this embodiment to the conventional method and the ratio of the time required for inspection (takt) are expressed by formula (20).
  • FIG. 19 is a perspective view of the workpiece according to Example 3.
  • the workpiece 200 shown in FIG. 19 is a semispherical member, and a welded portion 201 is formed on its surface.
  • a method similar to that shown in embodiment 1 can also be applied to shape evaluation of a weld 201 formed on a workpiece 200 having the shape shown in FIG. 19.
  • FIG. 20 is a functional block diagram of the visual inspection device according to the second embodiment
  • FIG. 22 is a flowchart of a visual inspection procedure for welded portions.
  • the appearance inspection device 20 of this embodiment shown in FIG. 20 differs from the appearance inspection device 20 of embodiment 1 shown in FIG. 3 in that it includes a learning data set generation unit 26 and a judgment model generation unit 27.
  • the learning data set generation unit 26 reads out the above-mentioned sample shape data stored in the first storage unit 25, and classifies it according to the material and shape of the workpiece 200. It may also be classified according to the inspection item of the welded portion 201. In this case, the same shape data may be included in each of the different inspection items.
  • the learning data set generation unit 26 also generates a learning data set, that is, a group of learning data, for each material and shape of the workpiece 200 based on the feature values linked to the sample shape data. For example, the material and shape of the workpiece 200 are organized in a matrix to determine a classification category, and the learning data set is classified according to this category (see FIG. 20). Examples of the shape of the workpiece 200 include butt joints, lap joints, T-joints, and cross joints of plate materials.
  • the learning dataset generation unit 26 also performs data expansion processing on the sample shape data read from the first storage unit 25 to generate a learning dataset. Specifically, the data expansion processing is performed by changing one or more feature amounts linked to the sample shape data, or by changing the position, number, or size of shape defects in the sample shape data of the welded area 201, or by performing both. The procedure for generating the learning dataset will be described in detail later.
  • the functions of the learning dataset generation unit 26 are mainly realized by the CPU 23a of the data processing unit 23.
  • this is not particularly limited, and for example, the GPU 23b may realize part of the functions.
  • the judgment model generation unit 27 generates a judgment model for each inspection item of the welded portion 201, which is set for each material and shape of the workpiece 200, based on the judgment criteria set for each item.
  • these judgment models are the publicly known object detection algorithms described above.
  • the judgment model generation unit 27 also inputs a learning data set corresponding to each material and shape of the workpiece 200 from among the multiple learning data sets for each judgment model generated for each material and shape of the workpiece 200, and repeats learning to improve the judgment accuracy of each judgment model.
  • a judgment model is generated according to the classification category shown in FIG. 20. Note that learning is repeated until the accuracy rate, recall rate, and accuracy of the judgment model satisfy preset values.
  • the generation time of the judgment model can be shortened and the accuracy can be improved by appropriately selecting and using the good product data and the defective product data in the sample shape data according to the material and shape of the workpiece 200.
  • the generation time of the judgment model can be shortened and the accuracy can be improved by appropriately selecting and using the good product data and the defective product data in the sample shape data according to the inspection item.
  • steps S22 and onwards are the same as the procedure for visual inspection of welded parts of embodiment 1 shown in FIG. 7.
  • the processes from steps S22 to S30 shown in FIG. 21 are the same as the processes from steps S1 to S9 shown in FIG. 7, respectively. Therefore, the processes of steps S20 and S21 will be explained here. Note that steps S20 and S21 only need to be completed before executing step S25, and do not need to be executed consecutively with the processes from step S22 onwards.
  • the learning data set generation unit 26 reads out the sample shape data previously acquired and stored in the first storage unit 25, and generates a learning data set for each material and shape of the workpiece 200 (step S20). At this time, as described above, data expansion processing is performed on the sample shape data. Examples of multiple data generation with varying feature amounts are shown in Figures 22A to 22C.
  • FIG. 22A shows an example of a procedure for creating a learning dataset
  • FIG. 22B shows another example of a procedure for creating a learning dataset
  • FIG. 22C shows yet another example of a procedure for creating a learning dataset.
  • a plurality of pieces of data are generated as a learning data set by varying the length and position of the welded portion 201, which is one of the feature quantities, in the original sample shape data.
  • FIG. 22A shows an example in which a plurality of pieces of learning data are generated in which the length of the welded portion 201 is shorter than the reference value L by exceeding the allowable range ⁇ L, but this is not particularly limited, and learning data in which the length is longer than the reference value L by exceeding the allowable range ⁇ L may also be generated separately.
  • multiple data are generated as a learning data set by varying the size and position of the hole 202 in the original sample shape data.
  • the height from the reference plane and the difference in height between multiple points within the welded area 201 are extracted as feature quantities, and these are varied.
  • similar feature quantities are extracted around the welded area 201, and a learning data set is generated based on the feature quantities, making it possible to determine whether spatter 204 and smut 206 are present beyond the allowable range.
  • the judgment model generation unit 27 generates a judgment model for each material and shape of the workpiece 200 (step S21). At this time, each of the generated judgment models undergoes learning reinforcement based on the learning data set generated in step S20 and the shape data on which the types of shape defects, etc. have been annotated. The judgment models after reinforcement are used for the processing from step S25 onwards.
  • shape data is reconstructed and resolution is corrected according to the shape of the welded area 201, just like in embodiment 1.
  • the learning data set generation unit 26 may classify the multiple sample shape data acquired by the shape measurement unit 21 at least according to the material of the workpiece 200, and perform data expansion processing on the classified sample shape data to generate multiple learning data sets.
  • the judgment model generation unit 27 may also use multiple learning data sets to generate a judgment model for at least each material of the workpiece 200.
  • the configuration shown in embodiment 1 it is possible to achieve the same effect as the configuration shown in embodiment 1.
  • the three-dimensional shape of the welded area 201 can be evaluated with high accuracy.
  • the welded area 201 includes curved portions, it is possible to correctly determine whether the shape of the welded area 201 is good or bad.
  • a necessary amount of learning data set can be generated based on a small amount of sample shape data, and the judgment model can be made highly accurate, so that the quality of the shape of the welded area 201 can be judged with high accuracy.
  • the labor required for judging the quality of the shape can be significantly reduced.
  • the sample shape data is classified in advance for each material of the workpiece 200, or for each material and shape of the workpiece 200, the learning data set can be generated efficiently.
  • the learning dataset generation unit 26 also generates a learning dataset based on one or more feature amounts extracted from the sample shape data.
  • the process of generating the training dataset can be simplified without reducing the accuracy of the judgment model.
  • the learning dataset generation unit 26 performs data expansion processing by changing one or more feature quantities extracted from the sample shape data, or by changing the positions of shape defects in the sample shape data, or by performing both.
  • a learning dataset By generating a learning dataset based on one or more features extracted from sample shape data, the efficiency of creating learning data can be improved and the amount of work can be further reduced.
  • a learning dataset can be generated efficiently by the simple process of changing the features and the position, size, number, etc. of shape defects.
  • Embodiments 1 shows an example in which both the welding torch 11 (welding head 11) and the shape measuring unit 21 are attached to the robot 16, but another robot (not shown) to which the shape measuring unit 21 is attached may be provided in addition to the robot 16 to which the welding torch 11 (welding head 11) is attached. In that case, various data are transmitted to the data processing unit 23 from another robot control unit (not shown) that controls the operation of the other robot.
  • the learning data set generation unit 26 shown in the second embodiment classifies the sample shape data according to the material and shape of the workpiece 200, and performs data expansion processing on the classified sample shape data to generate multiple learning data sets.
  • the learning data set generation unit 26 does not need to have this classification function.
  • the judgment model generation unit 27 does not need to have the function of generating a judgment model for each material and shape of the workpiece 200.
  • the visual inspection device disclosed herein is particularly useful for visual inspection of workpieces that include various types of welds, since it can accurately evaluate the three-dimensional shape of the welds even when the welds include curved sections.
  • Welding device 11 Welding head (welding torch) REFERENCE SIGNS LIST 12 welding wire 13 wire feeder 14 power source 15 output control unit 16 robot 17 robot control unit 20 appearance inspection device 21 shape measurement unit 22 sensor control unit 23 data processing unit 24 shape data processing unit 25 first storage unit 26 learning data set generation unit 27 judgment model generation unit 28 first judgment unit 29 notification unit 100 welding system 200 workpiece 201 welding point

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

外観検査装置２０は、Ｙ方向に沿って溶接箇所２０１の三次元形状を計測する形状計測部２１と、形状データの再構築を行う形状データ処理部２４と、再構築後の形状データと判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２８と、を備えている。溶接箇所２０１に曲線部分が含まれる場合、形状データ処理部２４は、Ｘ方向に沿って異なる位置にある形状データの座標点に対し、Ｙ方向分解能が同じになるように補正し、さらに、Ｘ方向の座標位置と分解能補正後のＹ方向の座標位置とに基づいて、形状データのＺ方向の座標位置を補正することで、形状データを再構築する。

Description

外観検査装置、溶接システム及び溶接箇所の外観検査方法
　本開示は、外観検査装置、溶接システム及び溶接箇所の外観検査方法に関する。
　近年、機械学習で強化された検出モデルを用いて、画像データから特定の物体を検出する画像認識技術が広まりつつある。この場合、予め準備された学習データを用いて、検出モデルの学習を行うが、学習データの中には検出モデルの学習に不適切なデータが含まれる場合もある。よって、不適切なデータを適切に除外して検出モデルの判定精度を高める技術が提案されている（例えば、特許文献１参照）。
　また、機械学習で強化された判定モデルを用いて、溶接箇所等の外観検査を行い、形状の良否を判定する技術も提案されている。
　例えば、特許文献２には、形状計測部と画像処理部と学習データセット生成部と判定モデル生成部と第１判定部とを備えた溶接箇所の外観検査装置が提案されている。
　形状計測部は溶接箇所の形状を計測し、画像処理部は、計測された形状データに基づいて溶接箇所の画像データを生成する。学習データセット生成部は、複数の画像データをワークの材質及び形状毎に分類するとともに、データ拡張して複数の学習データセットを生成する。判定モデル生成部は、複数の学習データセットを用いて溶接箇所の形状の判定モデルをワークの材質及び形状毎に生成する。第１判定部は、画像処理部から読み出された画像データと判定モデルとに基づいて溶接箇所の形状の良否を判定する。
国際公開第２０１９／１８７５９４号 国際公開第２０２０／１２９６１７号
　一般に、溶接箇所の形状良否を判定する判定モデルを学習強化する場合、準備される学習データは、少ない種類、代表的には、ワークの材質や形状毎に、１種類の検査条件で取得した溶接箇所の形状データに基づいている。溶接箇所の形状毎に学習データを準備することは多大な工数とコストを要するからである。
　例えば、直線状に形成された溶接ビードの形状を計測し、得られた形状データを用いて学習データが準備される。また、通常、溶接ビードの形状を計測する際、溶接ビードの長さ方向に沿って、等速度でセンサを移動させながら形状計測を行う。このため、学習データにおいて、溶接ビードの長さ方向に沿った計測分解能は、溶接ビードの幅方向の位置によらず、同じであることが多い。
　しかし、実際のワークにおいて、溶接箇所である溶接ビードの形状は様々である。例えば、直線状の溶接ビードが形成される場合もあれば、曲線状の溶接ビードが形成される場合もある。曲線状の溶接ビードでは、溶接ビードの幅方向の位置によって、所定の時間間隔毎にセンサの移動距離が異なってくる。このような場合、溶接ビードの幅方向の位置によって、溶接ビードの長さ方向に沿った計測分解能が変化してしまう。
　したがって、曲線状の溶接ビードの形状データを判定モデルに入力した場合、学習データで特定された形状の特徴と、実際の溶接ビードにおける形状の特徴とが一致しないことが多い。この場合、学習強化済の判定モデルを用いても、溶接箇所の形状の良否を正しく判定できないおそれがあった。
　本開示はかかる点に鑑みてなされたもので、その目的は、溶接箇所に曲線部分が含まれる場合にも、溶接箇所の三次元形状を精度良く評価できる外観検査装置、溶接システム及び溶接箇所の外観検査方法を提供することにある。
　上記目的を達成するため、本開示に係る外観検査装置は、ワークの溶接箇所の外観を検査する外観検査装置であって、ロボットに取り付けられ、溶接線に沿って前記溶接箇所の三次元形状を計測する形状計測部と、前記形状計測部で取得された形状データを処理するデータ処理部と、を少なくとも備え、前記データ処理部は、前記形状計測部で取得された形状データの再構築を行う形状データ処理部と、前記形状データ処理部で再構築された前記形状データと予め準備された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を少なくとも備え、前記溶接箇所が形成された面内で前記溶接線と直交する方向をＸ方向とし、前記溶接線に沿った方向をＹ方向とし、Ｘ方向及びＹ方向とそれぞれ直交する方向をＺ方向とするとき、前記形状計測部は、前記Ｘ方向に沿って前記溶接箇所の形状を複数点計測するとともに、前記Ｙ方向に沿って、前記溶接箇所の形状を複数点計測し、前記溶接箇所に曲線部分が含まれる場合、前記形状データ処理部は、前記Ｘ方向に沿って異なる位置にある前記形状データの座標点に対し、Ｙ方向分解能が同じになるように補正するとともに、前記Ｘ方向の座標位置と分解能補正後の前記Ｙ方向の座標位置とに基づいて、前記形状データの前記Ｚ方向の座標位置を補正することで、前記形状データを再構築することを特徴とする。
　本開示に係る溶接システムは、前記外観検査装置と、前記ワークを溶接する溶接装置と、を備え、前記溶接装置は、前記ワークに入熱するための溶接ヘッドと、前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする。
　本開示に係る溶接箇所の外観検査方法は、前記外観検査装置を用いた溶接箇所の外観検査方法であって、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得する第１ステップと、前記形状データ処理部が前記形状データの再構築を行う第２ステップと、前記第１判定部が、前記形状データ処理部で再構築された前記形状データと予め準備された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第３ステップと、を少なくとも備え、前記第２ステップにおいて、前記溶接箇所に曲線部分が含まれる場合、前記形状データ処理部は、前記Ｘ方向に沿って異なる位置にある前記形状データの座標点に対し、Ｙ方向分解能が同じになるように補正するとともに、前記Ｘ方向の座標位置と分解能補正後の前記Ｙ方向の座標位置とに基づいて、前記形状データの前記Ｚ方向の座標位置を補正することで、前記形状データを再構築することを特徴とする。
　本開示によれば、溶接箇所の形状に依存せずに、溶接箇所の三次元形状を精度良く評価できる。また、溶接箇所の形状の良否を正しく判定できる。
図１は、実施形態１に係る溶接システムの構成を示す模式図である。 図２は、ロボット制御部のハードウェア構成を示す模式図である。 図３は、外観検査装置の機能ブロック図である。 図４は、形状計測部による溶接ビードの形状計測の様子を示す模式図である。 図５Ａは、センサ制御部のハードウェア構成を示す模式図である。 図５Ｂは、データ処理部のハードウェア構成を示す模式図である。 図６Ａは、溶接箇所の形状不良モードの一例を示す平面模式図である。 図６Ｂは、図６ＡのＶＩＢ－ＶＩＢ線での断面模式図である。 図６Ｃは、図６ＡのＶＩＣ－ＶＩＣ線での断面模式図である。 図６Ｄは、図６ＡのＶＩＤ－ＶＩＤ線での断面模式図である。 図６Ｅは、図６ＡのＶＩＥ－ＶＩＥ線での断面模式図である。 図７は、溶接箇所の外観検査手順のフローチャートである。 図８Ａは、再構築前の形状データの計測点位置を示す模式図である。 図８Ｂは、再構築後の形状データの計測点位置を示す模式図である。 図９は、形状データの再構築手順を示すフローチャートである。 図１０は、溶接箇所の曲線部分におけるＹ方向分解能及び周方向速度と、曲線部分の中心から計測点までのＸ方向に沿った距離との関係を示す模式図である。 図１１は、溶接箇所の曲線部分における計測点位置と各種パラメータとの関係を示す模式図である。 図１２Ａは、形状データを再構築する前後の計測点の三次元座標位置を示す模式図である。 図１２Ｂは、図１２ＡをＺ方向から見た図である。 図１３は、双線形補間法による形状データの座標点の導出手順を示す概念図である。 図１４Ａは、実施例１に係るワークの斜視図である。 図１４Ｂは、図１４ＡをＺ方向から見た図である。 図１５Ａは、再構築前の形状データの計測点位置を示す模式図である。 図１５Ｂは、再構築後の形状データの計測点位置を示す模式図である。 図１６は、実施例２に係るワークの斜視図である。 図１７は、従来の方法における溶接箇所の計測手順を示す模式図である。 図１８は、実施例２における溶接箇所の計測手順を示す模式図である。 図１９は、実施例３に係るワークの斜視図である。 図２０は、実施形態２に係る外観検査装置の機能ブロック図である。 図２１は、実施形態２に係る溶接箇所の外観検査手順のフローチャートである。 図２２Ａは、学習データセットの作成手順の一例を示す模式図である。 図２２Ｂは、学習データセットの作成手順の別の一例を示す模式図である。 図２２Ｃは、学習データセットの作成手順のさらなる別の一例を示す模式図である。
　以下、本開示の実施形態を図面に基づいて説明する。なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものではない。
　（実施形態１）
　［溶接システムの構成］
　図１は、実施形態１に係る溶接システムの構成の模式図を示し、溶接システム１００は、溶接装置１０と外観検査装置２０とを有している。
　溶接装置１０は、溶接トーチ１１とワイヤ送給装置１３と電源１４と出力制御部１５とロボット１６とロボット制御部１７とを有している。溶接トーチ１１に保持された溶接ワイヤ１２に電源１４から電力が供給されることで、溶接ワイヤ１２の先端とワーク２００との間にアークが発生し、ワーク２００が入熱されてアーク溶接が行われる。なお、溶接装置１０は、溶接トーチ１１にシールドガスを供給するための配管やガスボンベ等の別の構成部品や設備を有しているが、説明の便宜上、これらの図示及び説明を省略する。なお、電源１４は溶接電源とも言う。
　出力制御部１５は電源１４及びワイヤ送給装置１３に接続されて、所定の溶接条件に従って、溶接トーチ１１の溶接出力、言い換えると、溶接ワイヤ１２に供給される電力及び電力供給時間を制御している。また、出力制御部１５は、ワイヤ送給装置１３から溶接トーチ１１に送給される溶接ワイヤ１２の送給速度及び送給量を制御している。なお、溶接条件は図示しない入力部を介して直接、出力制御部１５に入力されてもよいし、別途、記録媒体等から読み出された溶接プログラムから選択されるようにしてもよい。
　ロボット１６は公知の多関節軸ロボットであり、先端に溶接トーチ１１を保持するとともに、ロボット制御部１７に接続されている。ロボット制御部１７は、溶接トーチ１１の先端、言い換えると、溶接トーチ１１に保持された溶接ワイヤ１２の先端が所定の溶接軌跡を描いて、所望の位置に移動するようにロボット１６の動作を制御している。
　図２は、ロボット制御部のハードウェア構成の模式図を示し、ロボット制御部１７は、ＣＰＵ（Central Processing Unit）１７ａとドライバＩＣ（Driver Integrated Circuit）１７ｂとＲＡＭ（Random Access Memory）１７ｃとＩＣ（Integrated Circuit）１７ｄとを少なくとも備えている。
　通常の動作では、ロボット１６に設けられた複数の関節軸にそれぞれ設けられた回転検出器（図示せず）の出力信号をＩＣ１７ｄが受信する。当該出力信号は、ＩＣ１７ｄで信号処理された後、ＣＰＵ１７ａに入力される。ＣＰＵ１７ａは、ＩＣ１７ｄから入力された信号と、ＲＡＭ１７ｃに保存された所定のプログラムに設定された関節軸の回転数とに基づいて、ドライバＩＣ１７ｂに制御信号を送信する。ドライバＩＣ１７ｂは、ＣＰＵ１７ａからの制御信号に基づいて、関節軸に接続されたサーボモータ（図示せず）の回転を制御する。
　また、後で述べるように、外観検査装置２０において、データ処理部２３の第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、その判定結果を受け取ったロボット制御部１７のＣＰＵ１７ａはロボット１６の動作を停止させるか、また溶接トーチ１１が所定の初期位置に来るようにロボット１６を動作させる。
　また、出力制御部１５もロボット制御部１７と同様の構成を備えている。すなわち、出力制御部１５は、ＣＰＵ１５ａとドライバＩＣ１５ｂとＲＡＭ１５ｃとＩＣ１５ｄとを少なくとも備えている。
　通常の動作では、電源１４の出力に対応する信号をＩＣ１５ｄが受信する。当該信号は、ＩＣ１５ｄで信号処理された後、ＣＰＵ１５ａに入力される。ＣＰＵ１５ａは、ＩＣ１５ｄから入力された信号と、ＲＡＭ１５ｃに保存された所定のプログラムに設定された電源１４の出力とに基づいて、ドライバＩＣ１５ｂに制御信号を送信する。ドライバＩＣ１５ｂは、ＣＰＵ１５ａからの制御信号に基づいて、電源１４の出力、ひいては溶接トーチ１１の溶接出力を制御する。
　また、後で述べるように、外観検査装置２０において、第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、その判定結果を受け取った出力制御部１５のＣＰＵ１５ａは電源１４の出力を停止させる。これにより、溶接トーチ１１の溶接出力が停止される。
　なお、出力制御部１５及びロボット制御部１７ともに、図２に示す以外の構成部品を備えていてもよい。例えば、記憶デバイスとして、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）を備えていてもよい。
　外観検査装置２０は、形状計測部２１とセンサ制御部２２とデータ処理部２３とを有しており、形状計測部２１がロボット１６または溶接トーチ１１に取り付けられて、ワーク２００の溶接箇所２０１の形状を計測する。外観検査装置２０の構成については後で詳述する。
　なお、図１では、溶接装置１０としてアーク溶接を行うアーク溶接装置を例示しているが、特にこれに限定されるものではない。例えば、溶接装置１０がレーザ溶接を行うレーザ溶接装置であってもよい。その場合、溶接トーチ１１に代わって、光ファイバ（図示せず）を介してレーザ発振器（図示せず）に接続されたレーザヘッド（図示せず）がロボット１６に取り付けられ保持される。これによりレーザヘッドから加工用の高出力のレーザがワーク２００に照射され、ワーク２００が入熱されてレーザ溶接が行われる。また、以降の説明において、溶接トーチ１１とレーザヘッドとを総称して溶接ヘッド１１と呼ぶことがある。
　［外観検査装置の構成］
　図３は、外観検査装置の機能ブロック図を示し、図４は、形状計測部による溶接ビードの形状計測の様子を示す模式図である。図５Ａは、センサ制御部のハードウェア構成の模式図を示し、図５Ｂは、データ処理部のハードウェア構成の模式図を示す。
　形状計測部２１は、例えば、計測用の出射光であるレーザ光をワーク２００に表面に照射し、ワーク２００の表面を走査可能に構成されたレーザ光源２１ａと、ワーク２００の表面に照射されたレーザ光の反射軌跡（以下、形状線と呼ぶことがある。）を撮像する受光センサアレイ２１ｂとで構成された三次元形状計測センサである。
　図４に示すように、形状計測部２１によって、溶接箇所２０１及びその周囲を含む所定の領域をレーザ光（出射光）でスキャンし、出射光がワーク２００の表面で反射された反射光を受光センサアレイ２１ｂで撮像することにより、溶接箇所２０１の三次元形状が計測される。なお、溶接箇所２０１は、溶接プログラム等により予め設定された溶接線に沿った方向に沿って形成される、いわゆる溶接ビードである。言い換えると、溶接ビードは、アーク溶接やレーザ溶接などの溶接方法でワーク２００を溶接したときに、溶接によりワーク２００の溶接部分に発生する盛り上がりや変形部分等の溶接痕のことを示す、より具体的には、溶接中に溶融凝固した金属部分のことを示す。また、溶接線は、溶接ビードあるいは溶接部を一つの線として表すときの仮想線である。以降の説明において、当該溶接線に沿った方向をＹ方向と呼ぶことがある。一方、溶接箇所２０１が形成されるワーク２００の表面においてＹ方向と直交する方向をＸ方向と呼ぶことがある。また、ワーク２００の表面を基準とした溶接箇所２０１の高さ方向をＺ方向と呼ぶことがある。Ｚ方向は、Ｘ方向及びＹ方向とそれぞれ直交している。
　なお、本願明細書において、「直交」または「平行」あるいは「同じ」とは、溶接システム１００を構成する各部品の製造公差や組立公差やワーク２００の加工公差、さらにロボット１６の移動速度のばらつき等を含んで、直交または平行あるいは同じと言う意味である。比較対象同士が厳密な意味で直交または平行あるいは同じであることまでを意味するものではない。
　図４に示す例で言えば、レーザ光源２１ａから出射された出射光は、溶接箇所２０１の幅方向、この場合はＸ方向に沿って、複数点に照射される。複数点に照射されたレーザ光のそれぞれが反射されて、反射光が受光センサアレイ２１ｂで撮像される。また、ロボット１６に保持された形状計測部２１は、Ｙ方向に沿って、所定の速度で移動する、移動中に所定の時間間隔で出射光が溶接箇所２０１及びその周囲に照射され、その都度、反射光が受光センサアレイ２１ｂで撮像される。
なお、前述したように、形状計測部２１は溶接箇所２０１だけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、後述するスパッタ２０４やスマット２０６（図６Ａ参照）の有無を評価するためである。
　ここで、「計測分解能」とは、形状計測部２１で計測された形状データにおいて、互いに隣り合う計測点間の距離を言う。例えば、Ｘ方向の計測分解能は、互いに隣り合う計測点間のＸ方向に沿った距離である。Ｘ方向の計測分解能は、形状計測部２１の性能、主には、受光センサアレイ２１ｂの性能、具体的には、受光センサアレイ２１ｂに含まれる個々のセンサのＸ方向のサイズと、センサ間距離に応じて設定される。
　計測分解能は、Ｘ方向、Ｙ方向及びＺ方向のそれぞれに設定される。後で述べるように、Ｙ方向の計測分解能はロボット１６の移動速度に応じて、または、受光センサアレイ２１ｂのサンプリング周波数に応じて変化する。
　また、単に「分解能」と言う場合、当該分解能は、形状計測部２１で取得された溶接箇所２０１の複数の点群データのうち、互いに隣り合う座標点間の間隔を言う。後で述べるように、溶接箇所２０１の形状に応じて、形状データは再構築される。再構築前の形状データの分解能は、前述した計測分解能と同じである。一方、再構築後の形状データの分解能は、計測分解能と異なることがある。本願明細書に示す例では、形状データのＸ方向分解能は、Ｘ方向の計測分解能と同じである。一方、形状データのＹ方向分解能は、Ｙ方向の計測分解能と異なる場合がある。分解能は、Ｘ方向、Ｙ方向及びＺ方向のそれぞれに設定される。
　図５Ａに示すように、センサ制御部２２は、ＣＰＵ２２ａとＲＡＭ２２ｂとを少なくとも備えている。センサ制御部２２において、ＣＰＵ２２ａは、形状計測部２１に制御命令を送信し、形状計測部２１の動作を制御する。ＣＰＵ２２ａから形状計測部２１に送信される制御命令には、例えば、形状計測部２１による検査条件や計測開始命令や計測停止命令等がある。ＲＡＭ２２ｂには、予め設定された検査条件が保存されている。なお、他のデータが保存されていてもよい。また、センサ制御部２２は、図５Ａに示す以外の構成部品を備えていてもよい。例えば、記憶デバイスとして、ＲＯＭやＨＤＤを備えていてもよい。
　データ処理部２３は、形状計測部２１で取得された形状線の点群データを形状データとして受信し、これを処理する。
　また、図３に示すように、データ処理部２３は複数の機能ブロックで構成される。具体的には、形状データ処理部２４と第１記憶部２５と第１判定部２８と通知部２９とを有している。
　また、図５Ｂに示すように、データ処理部２３は、ハードウェアとして、ＣＰＵ２３ａとＧＰＵ（Graphics Processing Unit）２３ｂとＲＡＭ／ＲＯＭ２３ｃとＩＣ２３ｄと入力ポート２３ｅと出力ポート２３ｆとデータバス２３ｈとを少なくとも備えている。また、データ処理部２３は、ディスプレイ２３ｇを備えている。
　図５Ｂに示すデータ処理部２３のハードウェア構成は、公知のパーソナルコンピュータ（ＰＣ）の構成と同様である。また、図３に示すデータ処理部２３内の複数の機能ブロックは、図５Ｂに示す各種デバイス、特にＣＰＵ２３ａやＧＰＵ２３ｂにおいて所定のソフトウェアを実行することで実現される。なお、図５Ｂでは、１本のデータバス２３ｈに各種デバイスが接続された例を示しているが、通常のＰＣと同様に、複数のデータバスが用途に応じて設けられていてもよい。
　データ処理部２３において、形状データ処理部２４は、形状計測部２１で取得された形状データのノイズ除去機能を有している。ワーク２００の材質によって形状計測部２１から出射された出射光の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、形状データに影響を与える場合がある。このため、形状データ処理部２４では、ノイズのフィルタリング処理をソフトウェア上で行うように構成されている。なお、形状計測部２１自体に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の形状データを得ることができる。また、このことにより、後で述べる学習データセットの判定モデルの品質が高められ、溶接箇所２０１の形状良否を高精度で判定できる。
　形状データ処理部２４のノイズ除去機能は、主にデータ処理部２３のＩＣ２３ｄで実現される。ただし、特にこれに限定されず、例えば、データ処理部２３のＧＰＵ２３ｂで形状データのノイズ除去を行ってもよい。
　形状データ処理部２４は、所定の基準面、例えば、ワーク２００の設置面に対する溶接箇所２０１のベース部分の傾斜や歪み等を、点群データを統計処理することで補正する。これ以外に、例えば、溶接箇所２０１の形状や位置を強調するために、溶接箇所２０１の周縁を強調するエッジ強調補正を行うこともある。
　また、形状データ処理部２４は、ワーク２００の形状に応じて、また、溶接箇所２０１の形状の検査項目に応じて、形状データの特徴量を抽出する。この場合、１つの形状データに対して、１つまたは複数の検査項目に対応する１つまたは複数の特徴量が抽出される。また、抽出された特徴量は形状データに紐付けされて、以降のデータ処理で利用される。ここで、特徴量とは、形状データから抽出される特定の諸元であり、代表的なものとして、溶接箇所２０１の長さや幅や基準面からの高さ、また、溶接箇所２０１内の複数の点間での長さや幅や高さの差分等がある。ただし、これらに特に限定されず、各検査項目で判定される内容に応じて、適宜、特徴量が設定される。
　また、形状データ処理部２４は、取得された形状データの再構築を実行可能に構成されている。具体的には、形状データ処理部２４は、取得された形状データに対して分解能の変換補正が行えるように構成されている。形状データの再構築及び分解能変換補正については後で詳述する。
　形状データ処理部２４のエッジ強調補正処理機能や特徴量抽出機能や再構築・分解能変換補正機能は、主にデータ処理部２３のＣＰＵ２３ａで実現される。ただし、特にこれに限定されず、例えば、ＩＣ２３ｄまたはＧＰＵ２３ｂがエッジ強調補正処理の一部または全部を行ってもよい。
　第１記憶部２５は、評価対象となるワーク２００の溶接前までに処理された別のワーク２００における溶接箇所２０１の形状データを保存している。また、第１記憶部２５は、実際のワーク２００を溶接する前に実験的に予め取得された形状データを保存していてもよい。以降の説明において、これらの予め取得した形状データをサンプル形状データと呼ぶことがある。
　サンプル形状データは、評価対象となる溶接箇所２０１の形状が良好である良品データと、形状に何らかの不具合がある不良品データとを含んでいる。さらに言うと、良品データは、溶接箇所２０１において形状不良を含まないサンプル形状データである。不良品データは、溶接箇所２０１において形状不良を含んだサンプル形状データである。
　なお、別のワーク２００における溶接箇所２０１の形状データと評価対象となるワーク２００での溶接箇所２０１の形状データとが、同様の形状及び材質を有するワーク２００内の同様の溶接箇所２０１に対して取得されていることは言うまでもない。
　また、サンプル形状データを取得するにあたって、形状計測部２１による検査条件は固定されている。ただし、ワーク２００の材質毎あるいはワーク２００の形状毎に検査条件が変更されてもよい。また、通常、直線状の溶接ビードの形状計測結果を、サンプル形状データとして取得する。つまり、サンプル形状データのＹ方向分解能は、溶接ビードの幅方向であるＸ方向の位置によらず、一定である。したがって、後で述べる学習データにおいても、Ｙ方向分解能は、溶接ビードの幅方向であるＸ方向の位置によらず、一定である。
　また、第１記憶部２５は、溶接箇所の形状を評価する判定モデルを保存している。判定モデルは、ワーク２００の材質や形状毎に、それぞれ準備されている。判定モデルは、溶接箇所２０１の検査項目毎に準備されていてもよい。判定モデルについては後で述べる。
　第１判定部２８は、形状データ処理部２４でノイズ除去やエッジ強調等の処理がなされ、さらに、必要に応じて再構築された溶接箇所２０１の形状データと、選択された検査項目に対応する判定モデルと基づいて、溶接箇所２０１の形状が良好であるか否かを判定する。言い換えると、第１判定部２８は、形状計測部２１で取得された溶接箇所２０１の形状データが、所定の判定基準を満たすか否かを判定する。判定モデルは、それぞれ重み付けがなされた複数の識別器の組み合わせ等で表現される。例えば、判定モデルは、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等で表現された公知の物体検出用のアルゴリズムである。
　溶接箇所２０１の良否判定は、大まかには以下の手順で実行される。まず、形状計測部２１で取得され、データ処理部２３と形状データ処理部２４とで前処理が実行された溶接箇所２０１の形状データが第１判定部２８に対する入力データとなる。
　第１判定部２８では、第１記憶部２５から読み出された判定モデルが第１判定部２８にセットされる。なお、判定モデルは、予め準備された学習データセットにより学習強化が既に行われている。
　学習データセットは、前述したサンプル形状データに基づいて生成される。具体的には、良品データと不良品データとを用いて学習データセットが生成される。不良品データは、形状不良の個数や位置を変えた状態で複数種類の形状不良がラベル付けされた状態に加工され、加工結果が複数の学習データとして利用される。ラベル付けがなされた学習データと良品データとをまとめて、学習データセットとする。なお、後で述べるように、データ処理部２３の内部で学習データセットが生成されてもよい。
　このようにして準備された学習データセットを判定モデルに入力する、判定結果を溶接作業者等の人手で確認し、溶接不良の種類が学習データと合致してしない場合は、アノテーションを実行する、なお、アノテーションとは、実際の溶接箇所２０１を人の目で観察して特定した形状不良の有無及び種類を形状データの対応箇所にタグ付けする工程を言う。このアノテーションも人の手で行われる。
　アノテーションを実行することで、学習データにおいて、形状不良の有無や形状不良の種類が再度見直される。この実行結果に基づいて、学習データセットの再作成あるいは新規作成が行われ、さらに、アノテーション済の学習データセットを用いて判定モデルの再学習が実行される。これらの作業を１回または複数回繰り返し実行することで、判定モデルが学習強化される。
　第１判定部２８にセットされた判定モデルに、溶接箇所２０１の形状データが入力されると、溶接箇所２０１の形状データに形状不良が存在しているか否か、また、形状不良が存在する場合は、その種類が判定結果として出力される。ただし、後述するように、形状不良のモードは多岐に亘るため、実際には、形状データに含まれる形状不良が、どのような不良モードであるのかが確率で算出され、所定以上の確率であれば、形状不良が存在すると判定され、かつその種類が特定される。これについては後で詳述する。
　例えば、学習データにアノテーションされた形状不良の種類と、溶接箇所２０１の形状データに含まれる形状不良の種類との一致度が、確率で判定された上で、当該確率が所定のしきい値を超えた場合に、溶接箇所２０１の形状データに含まれる形状不良の種類が特定される。
　第１判定部２８からは以下の情報が出力される。つまり、形状不良の有無と形状不良がある場合は、その種類と個数とサイズ、さらに溶接箇所２０１における位置が出力される。さらに、予め定めた判定基準に基づく、しきい値を超えて形状不良が存在する場合に、溶接箇所２０１の形状が良好であるか、または不良であるかの結果が出力される。なお、当該しきい値は、形状不良の種類やサイズによって異なる。例えば、後で述べるスパッタ（図６Ａ参照）に関しては、直径５μｍ以上のスパッタが５個以上存在した場合、溶接箇所２０１の形状が不良であると判定される。穴あき（図６Ａ，６Ｃ参照）に関しては、１個以上存在した場合、溶接箇所２０１の形状が不良であると判定される。なお、これらはあくまで一例であり、前述した判定基準としきい値に応じて適宜変更されうる。
　なお、溶接箇所２０１の形状の検査項目は多岐に亘るため、検査項目毎に所定の判定基準を満足するか否かについて判定がなされ、判定が必要なすべての検査項目をクリアした場合にのみ、最終的に溶接箇所２０１の形状が良好であると判定される。
　通知部２９は、第１判定部２８での判定結果を出力制御部１５やロボット制御部１７や溶接作業者またはシステム管理者に通知するように構成されている。例えば、データ処理部２３のディスプレイ２３ｇが通知部２９に相当する。判定結果は、ディスプレイ２３ｇか、または溶接システム１００の図示しない表示部に表示されるか、あるいは、図示しないプリンターから出力されるか、あるいはその両方を通じて通知されてもよい。この場合、最終的な判定結果だけでなく、検査項目毎の判定結果、例えば、形状不良の有無や、形状不良がある場合は、その種類やサイズや個数、さらに、溶接箇所２０１における形状不良の位置等がディスプレイ２３ｇか、または溶接システム１００の図示しない表示部に表示される。そのようにすることで、溶接作業者またはシステム管理者が、溶接箇所２０１においてどのような不具合が生じたのかを具体的に知ることができる。
　なお、単に、最終的な判定結果を通知するのみであれば、図示しない音声出力部から音声として出力されるようにしてもよい。
　なお、第１判定部２８での最終的な判定結果が肯定的、つまり、溶接箇所２０１の形状が良好であると判定された場合、溶接システム１００は、連続して同じワーク２００内の次の溶接箇所２０１を溶接するか、あるいは、次のワーク２００における同様の溶接箇所２０１を溶接するように構成されている。
　一方、第１判定部２８での最終的な判定結果が否定的、つまり、溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接トーチ１１の溶接出力を停止し、ロボット制御部１７はロボット１６の動作を停止させるか、または溶接トーチ１１が所定の初期位置に来るようにロボット１６を動作させる。
　［溶接箇所の形状不良について］
　図６Ａ～６Ｅは、溶接箇所の形状不良モードの一例をそれぞれ示す。なお、図６Ａ～６Ｅは、突き合わせ溶接時の溶接箇所２０１の形状を示しており、図６Ａは平面形状を、図６Ｂ～６Ｅは図６ＡのＶＩＢ－ＶＩＢ線ないしＶＩＥ－ＶＩＥ線での断面図をそれぞれ示している。
　図６Ａ～６Ｅに示すように、ワーク２００にアーク溶接やレーザ溶接を行った場合、その溶接箇所２０１には、溶接条件の設定の不具合や低品質のワーク２００を用いる等によって種々の形状不良が生じうる。例えば、溶接箇所２０１の一部が溶け落ちたり（以下、溶接箇所２０１の一部がワーク２００より溶け落ちてワーク２００に形成された貫通穴を、穴あき２０２と呼ぶことがある）、アンダーカット２０３が生じたりする場合がある。なお、アンダーカット２０３とは、溶接ビードの際の部分がワーク２００の表面よりもへこんでいる状態の不具合部分のことを言う。
　また、溶接箇所２０１の長さや幅や基準面からの高さが、それぞれの設計値Ｌ，Ｗ，Ｈから許容範囲ΔＬ，ΔＷ，ΔＨを超えて変動する場合がある。このような場合も形状不良としてカウントされる。
　また、溶接ワイヤ１２の先端に形成された溶滴（図示せず）がワーク２００に移行する際に溶滴の一部やワーク２００の溶融金属の微粒子が飛び散ってスパッタ２０４が生じたり、ワーク２００が亜鉛めっき鋼板である場合には、溶接箇所２０１から一部が蒸発してピット２０５が生じたり、あるいは、ワーク２００や溶接ワイヤ１２がアルミ系材料である場合には、溶接箇所２０１の近傍にスマット２０６が生じたりする場合がある。
　なお、ピット２０５は、溶接ビードの表面に開口しているものであり、スマット２０６は、溶接ビードの近傍に発生する黒いスス状の付着物であり、上述の穴あき２０２、アンダーカット２０３、スパッタ２０４、等も含めて、それぞれ形状不良のモード（種類）の一つである。
　このように、溶接箇所２０１の形状不良には様々なモードがあり、それぞれに対して判定基準を設けて検査する必要がある。例えば、穴あき２０２やアンダーカット２０３に関しては、それらの有無だけではなく、穴あき２０２等であると同定するための、例えば、溶接箇所２０１の周囲とのコントラスト比または高さの差分等を設定して良否判定を行う必要がある。また、例えば、スパッタ２０４でいえば、その平均径を設定し、平均径が所定値以上のスパッタ２０４が単位面積当たりに存在する個数で良否判定を行う必要がある。しかも、ワーク２００の材質や溶接部位、さらに顧客の要求仕様等に応じて、溶接箇所２０１の検査項目数や形状の良否判定基準は変更または追加される。
　さらに、ワーク２００の材質や形状によって、形状データから形状不良の有無を判定する判定基準が異なってくる。前述したように、ワーク２００の材質によって、レーザ光（出射光）の反射率が異なるため、例えば、形状データの輝度レベルやコントラストも変わってくる。また、ワーク２００の形状によっては、同じ長さの直線部を溶接する場合にも、重力等の影響で溶接箇所２０１のビード形状が変化することがある。
　［溶接箇所の外観検査手順］
　図７は、溶接箇所の外観検査手順のフローチャートを示す。
　まず、外観検査装置２０を用いて溶接箇所２０１の形状を計測し（ステップＳ１）、形状データ処理部２４は、溶接箇所２０１，つまり、溶接ビードが形成される予定の範囲の形状データを抽出する（ステップＳ２）。なお、スパッタ２０４やスマット２０６の有無を確認するため、形状データの抽出範囲は、溶接ビードの形成範囲よりも少し広い範囲となっている。
　さらに、形状データ処理部２４は、抽出された形状データを再構築する（ステップＳ３）。再構築の具体的な手順については後で詳述する。なお、溶接ビードが直線状の場合、このステップを省略することがある。
　再構築後の形状データが、第１判定部２８にセットされた判定モデルに入力され（ステップＳ４）、第１判定部２８は、溶接箇所２０１の形状の良否を判定する。この判定にあたって、前述したように、第１判定部２８は、形状データに形状不良が含まれているか否かを判定する（ステップＳ５）。また、第１判定部２８は、形状不良のサイズや個数や溶接箇所２０１における形状不良の位置を特定する（ステップＳ６）。さらに、第１判定部２８は、形状不良の種類を特定する（ステップＳ７）。
　なお、ステップＳ７では、前述したように、形状不良の形状やサイズ、さらに溶接箇所２０１における位置等を考慮して、形状不良の種類が特定される。この場合、例えば、形状不良がスパッタ２０４である確率が算出され、当該確率が所定値（例えば、７０％）以上であれば、形状不良がスパッタ２０４であると特定される。
　最終的な溶接箇所２０１の形状の良否判定結果は、ディスプレイ２３ｇに表示される（ステップＳ８）。また、これだけでなく、溶接箇所２０１における形状不良の位置やサイズや個数もディスプレイ２３ｇに表示される。また、形状不良の種類に関しては、例えば、スパッタ２０４であれば赤色に、穴あき２０２であれば黄色に表示してもよい。また、検査項目としてスパッタ２０４の有無及び上限個数が設定されている場合に、スパッタ２０４であると認識された部分を背景と別色で表示するとともに、スパッタ２０４である確率を色分けして表示させてもよい。これにより、溶接作業者またはシステム管理者は一目で該形状不良箇所の有無や分布度合いを容易に認識することができる。例えば、３０％以下の確率であれば緑色で表示し、７０％以上の確率であれば赤色で表示させてもよい。なお、この場合の確率範囲の区分けや対応する色の設定等も任意に設定できることは言うまでもない。また、スパッタ２０４のサイズも形状良否の判定基準に含まれる場合は、形状データに基づいて算出されたスパッタ２０４のサイズと判定基準とを比較して、形状良否の判定がなされることは言うまでもない。
　また、ステップＳ８では、溶接箇所２０１の形状が点群データとしてディスプレイ２３ｇに表示される。
　通知部２９は、溶接箇所２０１の形状の良否判定結果を出力制御部１５やロボット制御部１７に通知する（ステップＳ９）。また、通知部２９は、溶接箇所２０１の形状の良否判定結果を溶接作業者またはシステム管理者に通知してもよい。前述したように、第１判定部２８の判定結果に応じて、溶接トーチ１１の溶接出力やロボット１６の動作が制御される。
　［形状データの再構築手順］
　図８Ａは、再構築前の形状データの計測点位置を示す模式図であり、図８Ｂは、再構築後の形状データの計測点位置を示す模式図である。
　溶接箇所２０１の形状はワーク２００の形状等に応じて様々であり、必ずしも直線状の形状だけではない。例えば、図８Ａ，８Ｂに示すように、溶接箇所２０１が円弧状の曲線部分を含む場合、溶接線に沿った形状計測部２１のスキャン軌跡も当然に曲線となる。一方、形状計測の時間間隔は一定であるから、形状計測部２１の移動距離、言い換えると、Ｙ方向に沿った計測点の間隔が、図８Ａに示すように、溶接ビードの内周側と外周側とで異なってくる。
　つまり、溶接箇所２０１が曲線状である場合、Ｙ方向に沿った計測点間隔、つまり、Ｙ方向分解能が、外周側で大きくなり、内周側で小さくなる。
　このように、溶接箇所２０１のＹ方向分解能が、溶接箇所２０１の場所によって異なると、学習データのＹ方向分解能と一致しない部分が生じてしまう。その結果、判定モデルによる溶接箇所２０１の形状の良否判定精度が低下してしまうおそれがあった。
　そこで、本実施形態では、以下に示す手順に則って、形状データを再構築する。その結果、図８Ｂに示すように、溶接箇所２０１が曲線部分を含む場合においても、形状データのＹ方向分解能を一定にすることができ、学習データのＹ方向分解能との一致度を高められる。このことにより、判定モデルによる溶接箇所２０１の形状の良否判定精度を高めることができる。
　図９は、形状データの再構築手順を示すフローチャートであり、図７に示すステップＳ３での処理に対応している。
　まず、図７に示すステップＳ２で抽出された形状データのＸ方向分解能を第１記憶部２５に保存する（ステップＳ１０）。このＸ方向分解能は、受光センサアレイ２１ｂのＸ方向の計測分解能に等しい。
　次に、受光センサアレイ２１ｂに含まれる各センサのＸ方向の位置Ｘｉ（ｉは整数で、１≦ｉ≦Ｎ；Ｎはセンサの個数）を計測点毎に算出し、算出結果を第１記憶部２５に保存する（ステップＳ１１）。
　受光センサアレイ２１ｂにおいて、仮想的に中心に配置されたセンサの位置Ｘｃを計測点毎に算出し、算出結果を第１記憶部２５に保存する（ステップＳ１２）。
　形状データ処理部２４は、第１記憶部２５に保存された値に基づいて、Ｘｉ＝Ｘｃであるか否かを判定する（ステップＳ１３）。
　ステップＳ１３の判断が肯定的、つまり、Ｘｉ＝Ｘｃである場合は、ステップＳ１４に進み、位置ＸｃにおけるＹ方向分解能を算出し、第１記憶部２５に保存する。
　一方、ステップＳ１３の判断が否定的である場合は、ステップＳ１５に進み、形状データ処理部２４は、Ｘｉ＞Ｘｃであるか否かを判定する。
　ステップＳ１５の判断が肯定的、つまり、Ｘｉ＞Ｘｃである場合は、ステップＳ１６に進み、位置Ｘｉ（ｉ＞ｃ）におけるＹ方向分解能を算出し、第１記憶部２５に保存する。
　ステップＳ１５の判断が否定的、つまり、Ｘｉ＜Ｘｃである場合は、ステップＳ１７に進み、位置Ｘｉ（ｉ＜ｃ）におけるＹ方向分解能を算出し、第１記憶部２５に保存する。
　なお、溶接箇所２０１が曲線部分を含む場合において、Ｙ方向分解能Ｐｉは、センサのＸ方向の位置Ｘｉによって異なっている。例えば、ｉ＜ｃの場合、Ｐｉ＜Ｐｃであり、ｉ＝ｃの場合、Ｐｉ＝Ｐｃであり、ｉ＞ｃの場合、Ｐｉ＞Ｐｃである。
　Ｙ方向分解能Ｐｉが、センサのＸ方向の位置Ｘｉによって異なるのは、受光センサアレイ２１ｂのＹ方向の計測分解能Ｐが、センサのＸ方向の位置Ｘｉによって異なるからである。このことについてさらに説明する。
　図１０は、溶接箇所の曲線部分におけるＹ方向分解能及び周方向速度と、曲線部分の中心から計測点までのＸ方向に沿った距離との関係を示す模式図である。
　図１０に示すように、溶接箇所２０１における円弧状の曲線部分に対し、仮想的に中心Ｏを設定する。溶接箇所２０１のＸ方向の中心位置Ｘｃを通る軌跡は、ロボット１６による溶接トーチ１１の先端の移動軌跡に対応している。
　図１０に示すように、中心位置Ｘｃに配置されたセンサで計測された互いに隣り合う計測点間の距離ｌｃ（以下、Ｙ方向の計測点間隔ｌｃと呼ぶことがある。）は、式（１）で表される。
　ここで、θは、中心位置Ｘｃに配置されたセンサの計測点のうち、互いに隣り合う点と中心Ｏとの間の角度（以下、中心角θと呼ぶことがある。）である。また、ｒｃは、中心Ｏから中心位置Ｘｃに配置されたセンサの移動軌跡までのＸ方向に沿った距離である。言い換えると、ｒｃは、溶接箇所２０１の円弧状の曲線部分の中心をＯとした場合に、Ｘ方向の中心位置Ｘｃに配置されたセンサの移動軌跡の半径である。
　一方、中心位置Ｘｃのセンサの移動軌跡を基準として、中心Ｏに近い側に配置されたセンサのＹ方向の計測点間隔ｌｎｅａｒは、式（２）で表され、中心Ｏに遠い側に配置されたセンサのＹ方向の計測点間隔ｌｆａｒは、式（３）で表される。
　ここで、ΔＲは、中心Ｏに最も近い側の位置Ｘ１に配置されたセンサの移動軌跡から、中心Ｏに最も遠い側の位置ＸＮに配置されたセンサの移動軌跡までのＸ方向に沿った距離である（図１１参照）。
　ここで、形状計測部２１の受光センサアレイ２１ｂが各計測点間を移動する時間をｔ（ｓｅｃ）とすると、各移動軌跡におけるＹ方向に沿った移動速度ｖ（ｍｍ／ｓ）（以下、周方向速度ｖと呼ぶことがある。）は、式（４）～（６）で表される。
　式（４）～（６）から明らかなように、周方向速度ｖは、中心Ｏからセンサの移動軌跡までの半径ｒ（以下、単に半径ｒと呼ぶことがある。）に依存している。
　ここで、中心位置Ｘｃに位置するセンサの移動軌跡における半径と周方向速度をそれぞれｒｃ、ｖｃとしている。中心Ｏに最も近い移動軌跡における半径と周方向速度をそれぞれｒｎｅａｒ、ｖｎｅａｒとしている。中心Ｏに最も遠い移動軌跡における半径と周方向速度をそれぞれｒｆａｒ、ｖｆａｒとしてる。
　式（４）～（６）から明らかなように、周方向速度ｖに関し、式（７）に示す関係が成立する。
　ここで、形状計測時のサンプリング周波数をｆｓ（Ｈｚ）とすると、Ｙ方向の計測分解能Ｐは、式（８）で表される。
　また、中心位置Ｘｃに配置されたセンサの計測分解能をＰｃとし、中心Ｏに最も近い側に配置されたセンサの計測分解能をＰｎｅａｒとし、中心Ｏに最も遠い側に配置されたセンサの計測分解能をＰｆａｒとする。ＰｃとＰｎｅａｒとの比、また、ＰｃとＰｆａｒとの比は、それぞれ式（９）、（１０）で表される。
　さらに、ＰｃとＰｎｅａｒとの関係、また、ＰｃとＰｆａｒとの関係は、それぞれ式（１１）、（１２）で表される。
　式（１１）、（１２）から明らかなように、Ｙ方向の計測分解能Ｐに関し、式（１３）に示す関係が成立する。
　式（１１）～（１３）から明らかなように、Ｙ方向の計測分解能Ｐも、前述の半径ｒによって変化する。また、Ｙ方向分解能Ｐｉは、Ｙ方向の計測分解能Ｐに対応している。このため、Ｙ方向分解能Ｐｉも、半径ｒによって変化する。
　以上のことを図１１にまとめて図示する。図１１は、溶接箇所の曲線部分における計測点位置と各種パラメータとの関係を示す模式図である。
　次に、ステップＳ１４，Ｓ１６，Ｓ１７でそれぞれ算出されるＹ方向分解能Ｐｉについて具体的に説明する。
　ステップＳ１７における処理では、添字ｉはｃよりも小さい。言い換えると、センサアレイの中心位置Ｘｃに対して、位置Ｘｉが中心Ｏ側に近い側にある場合である。この場合、Ｙ方向分解能Ｐｉは、式（１４）で表される。
　ΔＲは、１番目、つまり、中心Ｏに最も近い側の位置Ｘ１に配置されたセンサの移動軌跡から、Ｎ番目、つまり、中心Ｏに最も遠い側の位置ＸＮに配置されたセンサの移動軌跡までの距離である。Δｓは、Ｘ方向に隣り合う２つのセンサの移動軌跡のＸ方向の間隔である。Ｐｃは中心位置ＸｃにおけるＹ方向分解能であり、ｒｃは、中心Ｏから位置ＸＣに配置されたセンサの移動軌跡までのＸ方向の距離である。
　ステップＳ１４における処理では、添字ｉはｃと同じである。言い換えると、センサアレイの中心位置Ｘｃに対して、位置Ｘｉが同じ位置にある場合である。この場合、Ｙ方向分解能Ｐｉは、式（１５）で表される。
　この場合のＹ方向分解能Ｐｉ（＝Ｐｃ）は、中心位置Ｘｃにおけるセンサの周方向速度ｖｃをサンプリング周波数ｆｓで除した値に等しい。
　ステップＳ１６における処理では、添字ｉはｃよりも大きい。言い換えると、センサアレイの中心位置Ｘｃに対して、位置Ｘｉが中心Ｏより遠い側にある場合である。この場合、Ｙ方向分解能Ｐｉは、式（１６）で表される。
　なお、式（１４）～（１６）で表されるＹ方向分解能Ｐｉの表現は、溶接箇所２０１が直線状である場合にも適用できる。この場合、ｒｃが無限大とみなせるため、式（１４）及び式（１６）において、ｒｃを含む項は、ゼロに収束し、式（１４）～（１６）のいずれも、式（１５）、つまり、Ｙ方向分解能Ｐｉ＝Ｐｃとして表される。
　ステップＳ１８の判断結果が否定的である場合、ステップＳ１３に戻って、ステップＳ１８の判断結果が肯定的になるまで、ステップＳ１３～Ｓ１７までの一連の処理を繰り返し実行する。
　形状データ処理部２４は、形状データの各点において、ステップＳ１３～Ｓ１７までの処理を順次実行し、溶接箇所２０１における全計測位置で、Ｙ方向分解能の算出・保存の演算処理が実行されたか否かを判断する（ステップＳ１８）。
　ステップＳ１８の判断結果が肯定的である場合、形状データ処理部２４は、ステップＳ１２，Ｓ１５、Ｓ１６及びＳ１７の演算結果に基づいて、形状データの分解能補正を行う（ステップＳ１９）。
　具体的には、形状計測部２１のＹ方向計測分解能に着目し、計測される形状データのＹ方向分解能を、判定モデルの学習強化に用いられる学習データ、ひいては、学習データを生成するために予め取得されるサンプル形状データのＹ方向分解能と同じ値になるように形状データのＹ方向分解能を補正する。この場合、Ｚ方向の座標位置も同時に補正される。このように、分解能を補正し、形状データを再構築することで、溶接箇所２０１に曲線部分を含む場合にも、第１判定部２８によって溶接箇所２０１の形状の良否判定を正しく行うことができる。以下、このことについてさらに説明する。
　図１２Ａは、形状データを再構築する前後の計測点の三次元座標位置を示し、図１２Ｂは、図１２ＡをＺ方向から見た図を示す。図１３は、双線形補間による形状データの座標点の導出手順を示す概念図である。
　形状データを再構築するにあたって、図１２Ａ，１２Ｂに示すように、再構築後の計測点の位置は、その周囲に隣接する実際の計測点の位置に基づいて導出される。
　具体的には、Ｙ方向分解能が前述したＰｃとなるように座標点のＹ方向の位置を補正する。さらに、各座標点のＸ方向の座標位置と、補正後のＹ方向の座標位置とに基づいて、Ｚ方向の座標位置を補正することで、形状データを再構築する。以下、計測点のＺ方向の座標位置の再構築手順について説明する。
　ます、式（１７）（１８）に示すように、補間パラメータｔ，ｓをそれぞれ導出する。
　ここで、ｘ１，ｘ２は、再構築前の周囲の計測点のＸ座標位置であり、ｙ１，ｙ２は、再構築前の周囲の計測点のＹ座標位置である。Ｐｘｍｅａｓ、Ｐｙｍｅａｓは、それぞれ、形状データのＸ方向分解能とＹ方向分解能である。Ｐｘａｉ、Ｐｙａｉは、それぞれ、再構築後の形状データのＸ方向分解能とＹ方向分解能である。
　次に、補間パラメータｔ，ｓを用いて、再構築後の計測点のＺ座標位置を補正する。本実施形態では、双線形補間法を用いて当該補正を行う。補正後の計測点のＺ座標位置は、式（１９）で表される。なお、再構築前の周囲の計測点のＺ座標位置は、それぞれ、ｆ（ｘ１，ｙ１）、ｆ（ｘ１，ｙ２）、ｆ（ｘ２，ｙ１）、ｆ（ｘ２，ｙ２）で表される。
　以上のように形状データの分解能補正が完了すると、図７に示すステップＳ４に進んで、以降の処理が実行される。
　なお、本実施形態では、双線形補間法を用いた形状データの分解能補正について説明したが、他の手法を用いても構わない。例えば、スプライン補間法やバイキュービック補間法を用いてもよい。
　［効果等］
　以上説明したように、本実施形態に係る外観検査装置２０は、ワーク２００の溶接箇所２０１の外観を検査する。
　外観検査装置２０は、ロボット１６に取り付けられ、溶接線に沿って溶接箇所２０１の三次元形状を計測する形状計測部２１と、形状計測部２１で取得された形状データを処理するデータ処理部２３と、を少なくとも備えている。
　データ処理部２３は、形状データの再構築を行う形状データ処理部２４と、形状データ処理部２４で再構築された形状データと予め準備された１または複数の判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２８をさらに備えている。
　形状計測部２１は、Ｘ方向に沿って溶接箇所２０１の形状を複数点計測するとともに、溶接線に沿う方向であるＹ方向に沿って、溶接箇所２０１の形状を複数点計測する。
　溶接箇所２０１に曲線部分が含まれる場合、形状データ処理部２４は、Ｘ方向に沿って異なる位置にある形状データの座標点に対し、Ｙ方向分解能が同じになるように補正する。さらに、形状データ処理部２４は、Ｘ方向の座標位置と分解能補正後のＹ方向の座標位置とに基づいて、形状データのＺ方向の座標位置を補正することで、形状データを再構築する。
　外観検査装置２０をこのように構成することで、溶接箇所２０１に曲線部分が含まれる場合に、溶接箇所２０１の形状評価に用いられる判定モデルを別途準備する必要が無い。つまり、単純な形状、例えば、直線状の溶接ビードを含むサンプル形状データ及びこれに基づいて得られる学習データを用いて学習強化された判定モデルのみを使用しても、溶接箇所２０１の三次元形状を精度良く評価できる。このことにより、溶接箇所２０１に曲線部分が含まれる場合にも、溶接箇所２０１の形状の良否を正しく判定できる。
　また、本実施形態によれば、サンプル形状データ、ひいては学習データと再構築後の形状データのそれぞれに含まれる形状不良、例えば、穴あき２０２やスパッタ２０４等の形状の特徴を合わせることができる。よって、再構築後の形状データを学習済の判定モデルに入力した場合、溶接箇所２０１の形状の良否判定を確実にかつ精度良く行ことができる。
　溶接箇所２０１がＸ方向に所定の幅を有する場合、形状データ処理部２４は、溶接箇所２０１のＸ方向の中心位置Ｘｃを通る軌跡におけるＹ方向分解能と同じになるように、形状データのＹ方向分解能を補正する。
　このようにすることで、形状データのＹ方向分解能を簡便に補正できるとともに、補正による形状データの変形の影響を小さくできる。このことにより、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。さらに、形状データのＺ方向の座標位置を簡便に補正できる。
　溶接箇所２０１の形状良否を判定するにあたって、第１判定部２８は、入力された形状データに形状不良があるか否かを判定する。この判定にあたって、形状不良が含まれていない良品データと何らかの形状不良を含む不良品データとで構成されるサンプル形状データとを用いて、学習データセットを生成する。学習データセットでは、不良品データは、形状不良の種類が特定され、かつ形状不良に対して特定された種類がラベル付けされる加工がなされている。この学習データセットを用いて、判定モデルを予め学習強化しておく。
　また、形状データに形状不良がある場合、第１判定部２８は、形状不良の個数やサイズ、さらに溶接箇所２０１及びその周囲の所定の領域における形状不良の位置を特定する。
　さらに、第１判定部２８は、形状不良の種類を特定する。この特定にあたって、形状不良の個数やサイズ、また溶接箇所２０１における形状不良の位置が参照される。また、形状不良の種類は、確率で算出され、当該確率が所定のしきい値以上になった場合に、形状不良の種類が確定する。なお、形状不良の種類は、図６Ａ～６Ｅに示す不良に限られない。溶接箇所２０１の寸法が所定の良品基準を満足しない場合も、形状不良に含まれる。当該寸法の良品基準は、Ｘ方向、Ｙ方向、Ｚ方向のいずれにも設定されうる。
　前述したように、第１判定部２８は、溶接箇所２０１の形状に関し、複数の項目をそれぞれ判定または特定し、それらの結果に基づいて、溶接箇所２０１の形状良否を最終的に判定する。このようにすることで、溶接箇所２０１の形状良否を正しく評価することができる。
　なお、本実施形態において、形状不良の有無を判定するのに用いられる判定モデルと、形状不良の種類等を特定する判定モデルとは、同じである。ただし、それぞれの判定モデルが、別個に設けられていてもよい。
　本実施形態に係る溶接システム１００は、ワーク２００を溶接する溶接装置１０と、外観検査装置２０と、を備えている。
　溶接システム１００をこのように構成することで、溶接箇所２０１の形状を精度良くかつ少ない工数で検査できる。このことにより、溶接工程のコストを低減できる。
　また、溶接装置１０は、ワーク２００に入熱するための溶接ヘッド１１（溶接トーチ１１）と、溶接ヘッド１１（溶接トーチ１１）を保持するとともに所望の位置に移動させるロボット１６と、溶接ヘッド１１（溶接トーチ１１）の溶接出力を制御する出力制御部１５と、ロボット１６の動作を制御するロボット制御部１７と、を少なくとも備えている。
　外観検査装置２０の第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接ヘッド１１（溶接トーチ１１）の溶接出力を停止し、ロボット制御部１７はロボット１６の動作を停止させるか、また溶接ヘッド１１（溶接トーチ１１）が所定の初期位置に来るようにロボット１６を動作させる。
　溶接システム１００をこのように構成することで、溶接箇所２０１の形状が不良である場合、次の溶接を停止して、不良品が多発するのを防止できる。なお、第１判定部２８での判定結果を検査項目毎に入手することで、溶接システム１００における不具合箇所を推定でき、不良原因を速やかに取り除いて、溶接システム１００のダウンタイムを短縮できる。
　本実施形態に係る溶接箇所の外観検査方法は、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、形状データを取得する第１ステップ（図７のステップＳ１）と、形状データ処理部２４が形状データの再構築を行う第２ステップ（図７のステップＳ３）と、第１判定部２８が、形状データ処理部２４で再構築された形状データと予め準備された１または複数の判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第３ステップ（図７のステップＳ５～Ｓ７）と、を少なくとも備えている。
　第２ステップにおいて、溶接箇所２０１に曲線部分が含まれる場合、形状データ処理部２４は、Ｘ方向に沿って異なる位置にある形状データの座標点に対し、Ｙ方向分解能が同じになるように補正する。さらに、形状データ処理部２４は、Ｘ方向の座標位置と分解能補正後のＹ方向の座標位置とに基づいて、形状データのＺ方向の座標位置を補正することで、形状データを再構築する。
　本実施形態によれば、溶接箇所２０１に曲線部分が含まれる場合にも、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。また、学習データと再構築後の形状データのそれぞれに含まれる形状不良箇所の形状の特徴を合わせることができる。よって、再構築後の形状データを学習済の判定モデルに入力した場合、溶接箇所２０１の形状の良否判定を確実にかつ精度良く行ことができる。
　第２ステップにおいて、溶接箇所２０１がＸ方向に所定の幅を有する場合、形状データ処理部２４は、溶接箇所２０１のＸ方向の中心位置Ｘｃを通る軌跡におけるＹ方向分解能と同じになるように、形状データのＹ方向分解能を補正する。
　このようにすることで、形状データのＹ方向分解能を簡便に補正できるとともに、補正による形状データの変形の影響を小さくできる。このことにより、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。さらに、形状データのＺ方向の座標位置を簡便に補正できる。
　第３ステップは、第１判定部２８が、入力された形状データに形状不良があるか否かを判定するステップと、形状データに形状不良がある場合、形状不良の個数やサイズ、さらに溶接箇所２０１及びその周囲の所定の領域における形状不良の位置を特定するステップと、形状不良の種類を特定するステップとを含む。
　形状不良の有無の判定にあたって、判定モデルは、別途準備された学習データセットを用いて予め学習強化されている。学習データセットは、サンプル形状データに基づいて生成されている。サンプル形状データは、形状不良が含まれていない良品データと何らかの形状不良を含む不良品データとを含む。また、不良品データを学習データに用いるにあたって、形状不良の種類が特定され、かつその種類がラベル付けされる。また、形状不良の種類の特定にあたって、形状不良の個数やサイズ、また溶接箇所２０１における形状不良の位置が参照される。
　このように、溶接箇所２０１の形状に関し、複数の項目をそれぞれ判定または特定し、それらの判定結果及び特定結果に基づいて、溶接箇所２０１の形状良否を最終的に判定することで、溶接箇所２０１の形状良否を正しく評価することができる。
　図１４Ａは、実施例１に係るワークの斜視図を示し、図１４Ｂは、図１４ＡをＺ方向から見た図を示す。図１５Ａは、再構築前の形状データの計測点位置を示す模式図であり、図１５Ｂは、再構築後の形状データの計測点位置を示す模式図である。なお、説明の便宜上、図１４Ａ及び以降に示す各図面において、実施形態１と同様の箇所については同一の符号を付して詳細な説明を省略する。
　本実施例では、ワーク２００は、カバー２１０とローラー２２０とからなる。ローラー２２０は、軸心に回転軸２２１を有する円柱形の部材である。カバー２１０は、円筒形の部材である。ローラー２２０の側面（外周面）にカバー２１０の内面が接するように、ローラー２２０がカバー２１０に挿入される。ローラー２２０の上面と下面のそれぞれにおいて、ローラー２２０の外周端とカバー２１０の内周端との間が溶接され、溶接箇所（溶接ビード）２０１が形成される。
　したがって、図１４Ｂに示すように、溶接箇所２０１の形状は円形であり、溶接箇所２０１に曲線部分が含まれるものである。形状計測部２１のスキャン方向、つまり、Ｙ方向は、円形の溶接箇所２０１に沿っている。また、Ｘ方向は、カバー２１０及びローラー２２０の半径方向である。
　この場合、形状計測部２１で取得された形状データは、図１５Ａに示すように、Ｘ方向に沿って、ローラー２２０の軸心（中心Ｏ）に近い側で、Ｙ方向分解能が小さくなる一方、ローラー２２０の軸心から遠い側で、Ｙ方向分解能が大きくなる。よって、直線状の溶接ビードに基づいて学習強化された判定モデルで形状評価した場合、溶接箇所２０１の形状を精度良く評価できず、その結果、溶接箇所２０１の形状良否を正しく判定できない。
　よって、本実施例では、実施形態１に示したのと同様の手法で形状データを再構築した。つまり、図１５Ｂに示すように、もとの計測点のＸ方向の位置によらず、形状データのＹ方向分解能が同じになるように形状データを補正した。また、この補正に伴い、もとの計測点のＸ方向の座標位置も補正される。また、図示しないが、前述したように、計測点のＺ方向の座標位置も補正される。
　このように形状データを再構築することで、再構築後の形状データと前述の判定モデルとに基づいて、溶接箇所２０１の形状良否を正しく判定することができる。
　図１６は、実施例２に係るワークの斜視図を示す。図１７は、従来の方法における溶接箇所の計測手順を示す模式図であり、図１８は、実施例２における溶接箇所の計測手順を示す模式図である。
　本実施例では、ワーク２００は、部材２３０と板材２４０とからなる。部材２３０は、中心Ｏから外周までの半径ｒの円筒状の部材である。部材２３０の底面が板材２４０の上面に接するように、部材２３０が板材２４０の上面に載置される。部材２３０と板材２４０との接触面において、部材２３０の外周と板材２４０の上面との間が溶接され、溶接箇所（溶接ビード）２０１が形成される。
　したがって、図１７，１８に示すように、溶接箇所２０１の形状は円形である。本実施例での形状計測部２１のスキャン方向、つまり、Ｙ方向は、図１８に示すように、円形の溶接箇所２０１に沿っている。言い換えると溶接線方向に沿っている。
　図１６に示す溶接箇所２０１の形状を従来の方法で計測する場合、形状データの分解能を判定モデルの学習強化に用いた学習データの分解能に合わせるために、図１７に示すように、複数回に分けて計測が実行される。つまり、形状計測部２１を溶接箇所２０１の接線方向にスキャンして、溶接箇所２０１の形状を計測する。１回目のスキャン方向と９０度異なる方向に形状計測部２１を再度スキャンして、溶接箇所２０１の形状を計測する。同じ工程をさらに２回繰り返し、合計４回に分けて溶接箇所２０１の形状を計測する。形状計測部２１の移動軌跡ＬＰ１～ＬＰ４は、溶接箇所２０１を囲む四角形の各辺に対応している。よって、従来の方法で計測する場合では、溶接箇所２０１の形状計測に要する形状計測部２１の移動距離は、２ｒ×４＝８ｒとなる。
　一方、本実施例では、実施形態１に示したのと同様の方法で形状データを再構築する。したがって、溶接箇所２０１の形状を計測するにあたって、溶接線上に相当する溶接箇所２０１の幅方向の中心上をトレースするように形状計測部２１を移動させればよく、その移動軌跡ＣＰ１は円形となる。この場合、溶接箇所２０１の形状計測に要する形状計測部２１の移動距離は、２πｒとなる。
　よって、従来の方法に対して、形状計測部２１の移動距離、つまり、検査軌道は短くなる。また、形状計測部２１が取り付けられたロボット１６の先端の移動速度は通常一定である。したがって、従来の方法に対する本実施例の検査軌道の比率と、検査に要する時間（タクト）の比率は、式（２０）で表される。
　また、式（２０）から明らかなように、従来の方法に対する本実施例のタクト削減率は式（２１）で表される。
　以上説明したように、本実施例では、実施形態１に示したのと同様の方法を採用することで、従来の方法に比べて検査に要するタクトを２１．５％削減できた。
　なお、従来の方法における溶接箇所の計測手順を示す図１７から明らかなように、各移動軌跡の切り替わり部分では、移動軌跡と溶接箇所２０１との距離が遠くなってしまう。このため、溶接箇所２０１の形状を確実に計測できないおそれがある。このような場合は、例えば、移動軌跡ＬＰ１とＬＰ２との切り替わり部分で、ＬＰ１から４５度傾けて、形状計測部２１によりスキャンすることが考えられる。この場合、その他の移動軌跡の切り替わり部分でも同様に、直前の移動軌跡から４５度傾けて形状計測部２１をスキャンする。
　しかし、この場合、移動軌跡の切り替えに時間を要するため、検査全体のタクトはさらに長くなってしまう。
　一方、実施形態１に示したのと同様の方法で溶接箇所２０１の形状を計測することで、このようなタクト増大は回避できる。
　図１９は、実施例３に係るワークの斜視図である。
　図１９に示すワーク２００は、半球面状の部材であり、その表面に溶接箇所２０１が形成されている。
　実施形態１に示したのと同様の方法は、図１９に示す形状のワーク２００に形成された溶接箇所２０１の形状評価にも適用できる。
　つまり、実施形態１に示したのと同様に形状データを再構築することで、再構築後の形状データと直線状の溶接ビードから生成される学習データで学習強化された判定モデルとに基づいて、溶接箇所２０１の形状良否を正しく判定することができる。
　（実施形態２）
　図２０は、実施形態２に係る外観検査装置の機能ブロック図を示し、図２２は、溶接箇所の外観検査手順のフローチャートを示す。
　図２０に示す本実施形態の外観検査装置２０は、学習データセット生成部２６と判定モデル生成部２７とを備えている点で、図３に示す実施形態１の外観検査装置２０と異なる。
　学習データセット生成部２６は、第１記憶部２５に保存された前述のサンプル形状データを読み出して、ワーク２００の材質や形状毎に分類する。また、溶接箇所２０１の検査項目毎に分類してもよい。この場合、同じ形状データが異なる検査項目にそれぞれ含まれていてもよい。また、学習データセット生成部２６は、サンプル形状データに紐付けされた特徴量に基づいて、ワーク２００の材質や形状毎に学習データセット、つまり、学習データの群を生成する。例えば、ワーク２００の材質と形状とをマトリックスで整理して分類のカテゴリーを決定し、このカテゴリーに対応させて学習データセットを分類する（図２０参照）。なお、ワーク２００の形状の例として、板材の突き合わせ継手や重ね合わせ継手、Ｔ字継手や十字継手等が挙げられる。
　また、学習データセット生成部２６は、第１記憶部２５から読み出されたサンプル形状データに対してデータ拡張処理を行って学習データセットを生成する。具体的には、サンプル形状データに紐付けされた１つまたは複数の特徴量を変化させるか、または、溶接箇所２０１のサンプル形状データにおける形状不良の位置や個数やサイズを変更するか、あるいはその両方を実行することで、データ拡張処理が実行される。学習データセットの生成手順については後で詳述する。
　学習データセット生成部２６の機能は、主にデータ処理部２３のＣＰＵ２３ａで実現される。ただし、特にこれに限定されず、例えば、ＧＰＵ２３ｂが当該機能の一部を実現するようにしてもよい。
　判定モデル生成部２７は、ワーク２００の材質や形状毎に設定された溶接箇所２０１の検査項目に関し、それぞれの項目で設定された判定基準に基づいて、判定モデルを検査項目毎に生成する。例えば、これらの判定モデルは、前述した公知の物体検出用のアルゴリズムである。
　また、判定モデル生成部２７は、ワーク２００の材質や形状毎に生成された各判定モデルに対して、複数の学習データセットのうち、ワーク２００の材質や形状毎に対応した学習データセットを入力し、学習を繰り返すことで、各判定モデルの判定精度を向上させている。この場合、例えば、図２０に示す分類のカテゴリーに応じて判定モデルが生成される。なお、判定モデルの正解率や再現率や精度が予め設定された値を満足するまで、学習が繰り返し行われる。
　また、判定モデルを生成するにあたって、ワーク２００の材質や形状に応じて、サンプル形状データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。同様に、溶接箇所２０１の検査項目毎に判定モデルを生成する場合、検査項目に応じて、サンプル形状データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。
　また、図２１に示す本実施形態の溶接箇所の外観検査手順において、ステップＳ２２以降は、図７に示す実施形態１の溶接箇所の外観検査手順と同じである。つまり、図２１に示すステップＳ２２～Ｓ３０までの処理は、図７に示すステップＳ１～Ｓ９までの処理とそれぞれ同じである。したがって、ここでは、ステップＳ２０とＳ２１の処理について説明する。なお、ステップＳ２０とＳ２１は、ステップＳ２５を実行する前までに完了していればよく、ステップＳ２２以降の処理と連続して実行する必要は無い。
　学習データセット生成部２６は、予め取得され、第１記憶部２５に保存されたサンプル形状データを読み出して、ワーク２００の材質や形状毎に学習データセットを生成する（ステップＳ２０）。この際、前述したように、サンプル形状データに対してデータ拡張処理を行う。特徴量を変化させた複数のデータ生成の例を図２２Ａから図２２Ｃに示す。
　図２２Ａは、学習データセットの作成手順の一例を示し、図２２Ｂは、学習データセットの作成手順の別の一例を示し、図２２Ｃは、学習データセットの作成手順のさらなる別の一例を示す。
　例えば、図２２Ａに示すように、学習データセットとして、もとのサンプル形状データにおいて、特徴量の一つである溶接箇所２０１の長さや位置を変化させた複数のデータを生成している。なお、図２２Ａでは、溶接箇所２０１の長さの基準値Ｌから許容範囲ΔＬを超えて短くなっている複数の学習データを生成した例を示しているが、特にこれに限定されず、長さの基準値Ｌから許容範囲ΔＬを超えて長くなっている学習データも別途生成してもよい。
　あるいは、図２２Ｂに示すように、学習データセットとして、もとのサンプル形状データにおいて、穴あき２０２のサイズや位置を変化させた複数のデータを生成している。この場合、特徴量として、基準面からの高さ及び溶接箇所２０１内の複数の点間での当該高さの差分を抽出し、これらを変動させている。また、図２２Ｃに示すように、溶接箇所２０１の周囲において同様の特徴量を抽出し、当該特徴量に基づいて学習データセットを生成することで、スパッタ２０４やスマット２０６が許容範囲を超えて存在しているかどうかを判定することができる。
　次に、判定モデル生成部２７は、ワーク２００の材質や形状毎に判定モデルを生成する（ステップＳ２１）。この際、生成された判定モデルのそれぞれは、ステップＳ２０で生成された学習データセットと形状不良の種類等がアノテーション済の形状データとに基づいて学習強化される。学習強化済の判定モデルが、ステップＳ２５以降の処理に利用される。
　なお、本実施形態においても、溶接箇所２０１の形状に応じた形状データの再構築及び分解能補正が行われることは、実施形態１と同様である。
　したがって、溶接箇所２０１の形状に曲線部分を含むと言う理由だけで、別途、学習データセットを生成したり、判定モデルを生成したりする必要は無い。
　このことに鑑みれば、学習データセット生成部２６は、形状計測部２１で取得された複数のサンプル形状データを少なくともワーク２００の材質毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成してもよい。
　また、判定モデル生成部２７は、複数の学習データセットを用いて、判定モデルを少なくともワーク２００の材質毎に生成してもよい。
　本実施形態によれば、実施形態１に示す構成が奏するのと同様の効果を奏することができる。つまり、直線状の溶接ビードを含むサンプル形状データ及びこれに基づいて得られる学習データセットを用いて学習強化された判定モデルのみを使用しても、溶接箇所２０１の三次元形状を精度良く評価できる。つまり、溶接箇所２０１に曲線部分が含まれる場合にも、溶接箇所２０１の形状の良否を正しく判定できる。
　また、学習データセットと再構築後の形状データのそれぞれに含まれる形状不良、例えば、穴あき２０２やスパッタ２０４等の形状の特徴を合わせることができる。よって、再構築後の形状データを学習済の判定モデルに入力した場合、溶接箇所２０１の形状の良否判定を確実にかつ精度良く行ことができる。
　また、本実施形態によれば、少ない量のサンプル形状データに基づいて、必要な量の学習データセットを生成し、判定モデルを高精度化できるため、溶接箇所２０１の形状良否を精度良く判定することができる。また、学習用のサンプル形状データを大量に取得する必要がなくなり、形状良否を判定するための工数を大幅に削減できる。さらに、ワーク２００の材質毎、またはワーク２００の材質及び形状毎に予めサンプル形状データを分類してから学習データセットを生成するため、効率良く学習データセットを生成できる。
　また、学習データセット生成部２６は、サンプル形状データから抽出された１または複数の特徴量に基づいて学習データセットを生成する。
　サンプル形状データから抽出された特徴量を用いて学習データセットを生成することで、判定モデルの精度を低下させることなく学習データセットの生成処理を簡素化できる。
　学習データセット生成部２６は、サンプル形状データから抽出された１つまたは複数の特徴量を変化させるか、または、サンプル形状データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、データ拡張処理を行っている。
　サンプル形状データから抽出された１または複数の特徴量に基づいて学習データセットを生成することで、学習データの作成効率を向上でき、工数をさらに削減できる。また、特徴量や形状不良の位置やサイズや個数等を変化させると言う簡単な処理で、効率良く学習データセットを生成できる。
　（その他の実施形態）
　図１に示す例では、ロボット１６に溶接トーチ１１（溶接ヘッド１１）と形状計測部２１の両方が取り付けられた例を示しているが、溶接トーチ１１（溶接ヘッド１１）が取り付けられるロボット１６とは別に、形状計測部２１が取り付けられる別のロボット（図示せず）を設けるようにしてもよい。その場合、別のロボットの動作を制御する別のロボット制御部（図示せず）からデータ処理部２３に各種データが送信される。
　また、実施形態２に示す学習データセット生成部２６は、サンプル形状データをワーク２００の材質及び形状毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成していた。
　しかし、学習データセット生成部２６は、当該分類機能を有していなくてもよい。その場合、判定モデル生成部２７は、判定モデルをワーク２００の材質及び形状毎に生成する機能を有していなくてもよい。
　本開示の外観検査装置は、溶接箇所が曲線部分を含む場合にも、溶接箇所の三次元形状を精度良く評価できるため、様々な種類の溶接箇所を含むワークの外観検査に適用する上で特に有用である。
１０　　溶接装置
１１　　溶接ヘッド（溶接トーチ）
１２　　溶接ワイヤ
１３　　ワイヤ送給装置
１４　　電源
１５　　出力制御部
１６　　ロボット
１７　　ロボット制御部
２０　　外観検査装置
２１　　形状計測部
２２　　センサ制御部
２３　　データ処理部
２４　　形状データ処理部
２５　　第１記憶部
２６　　学習データセット生成部
２７　　判定モデル生成部
２８　　第１判定部
２９　　通知部
１００　溶接システム
２００　ワーク
２０１　溶接箇所

Claims (11)

  1. 　ワークの溶接箇所の外観を検査する外観検査装置であって、
    　ロボットに取り付けられ、溶接線に沿って前記溶接箇所の三次元形状を計測する形状計測部と、
    　前記形状計測部で取得された形状データを処理するデータ処理部と、を少なくとも備え、
    　前記データ処理部は、
    　　前記形状計測部で取得された形状データの再構築を行う形状データ処理部と、
    　　前記形状データ処理部で再構築された前記形状データと予め準備された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を少なくとも備え、
    　前記溶接箇所が形成された面内で前記溶接線と直交する方向をＸ方向とし、前記溶接線に沿った方向をＹ方向とし、Ｘ方向及びＹ方向とそれぞれ直交する方向をＺ方向とするとき、
    　前記形状計測部は、前記Ｘ方向に沿って前記溶接箇所の形状を複数点計測するとともに、前記Ｙ方向に沿って、前記溶接箇所の形状を複数点計測し、
    　前記溶接箇所に曲線部分が含まれる場合、前記形状データ処理部は、前記Ｘ方向に沿って異なる位置にある前記形状データの座標点に対し、Ｙ方向分解能が同じになるように補正するとともに、前記Ｘ方向の座標位置と分解能補正後の前記Ｙ方向の座標位置とに基づいて、前記形状データの前記Ｚ方向の座標位置を補正することで、前記形状データを再構築することを特徴とする外観検査装置。
  2. 　請求項１に記載の外観検査装置において、
    　前記溶接箇所が前記Ｘ方向に所定の幅を有する場合、前記形状データ処理部は、前記溶接箇所の前記Ｘ方向の中心位置を通る軌跡における前記Ｙ方向分解能と同じになるように、前記形状データの前記Ｙ方向分解能を補正することを特徴とする外観検査装置。
  3. 　請求項１に記載の外観検査装置において、
    　前記判定モデルは、予め準備された学習データセットを用いて学習強化されており、
    　前記学習データセットは、
    　　前記溶接箇所において形状不良を含まない前記形状データである良品データと、
    　　前記溶接箇所において前記形状不良を含んだ前記形状データである不良品データに対し、前記形状不良の種類が特定され、かつ当該種類がラベル付けされた学習データと、を含み、
    　前記第１判定部は、前記形状データ処理部から入力された前記形状データを前記判定モデルに入力し、
    　前記判定モデルは、前記形状不良の有無を判定するとともに、前記形状不良の前記種類、個数、サイズ及び前記溶接箇所に対する前記形状不良の位置を特定し、それぞれの判定結果及び特定結果に基づいて、前記溶接箇所の形状の良否を判定することを特徴とする外観検査装置。
  4. 　請求項３に記載の外観検査装置において、
    　前記形状計測部で予め取得された複数のサンプル形状データにデータ拡張処理を行って複数の前記学習データセットを生成する学習データセット生成部と、
    　複数の前記学習データセットを用いて、前記判定モデルを生成する判定モデル生成部と、をさらに備えたことを特徴とする外観検査装置。
  5. 　請求項４に記載の外観検査装置において、
    　前記学習データセット生成部は、前記形状計測部で取得された複数の前記サンプル形状データを少なくとも前記ワークの材質毎に分類するとともに、分類された前記サンプル形状データにデータ拡張処理を行って複数の前記学習データセットを生成し、
    　前記判定モデル生成部は、複数の前記学習データセットを用いて、前記判定モデルを少なくとも前記ワークの材質毎に生成することを特徴とする外観検査装置。
  6. 　請求項１に記載の外観検査装置において、
    　前記データ処理部は、前記第１判定部での判定結果を通知する通知部をさらに備えたことを特徴とする外観検査装置。
  7. 　請求項１に記載の外観検査装置と、
    　前記ワークを溶接する溶接装置と、
    　を備え、
    　前記溶接装置は、
    　前記ワークに入熱するための溶接ヘッドと、
    　前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする溶接システム。
  8. 　請求項７に記載の溶接システムにおいて、
    　前記溶接装置は、
    　前記溶接ヘッドを保持するとともに所望の位置に移動させる前記ロボットと、
    　前記ロボットの動作を制御するロボット制御部と、をさらに備え、
    　前記第１判定部で前記溶接箇所の形状が不良であると判定された場合、前記出力制御部は前記溶接ヘッドの溶接出力を停止し、前記ロボット制御部は前記ロボットの動作を停止させるか、または前記溶接ヘッドが所定の初期位置に来るように前記ロボットを動作させることを特徴とする溶接システム。
  9. 　請求項１ないし６のいずれか１項に記載の外観検査装置を用いた溶接箇所の外観検査方法であって、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得する第１ステップと、
    　前記形状データ処理部が前記形状データの再構築を行う第２ステップと、
    　前記第１判定部が、前記形状データ処理部で再構築された前記形状データと予め準備された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第３ステップと、を少なくとも備え、
    　前記第２ステップにおいて、前記溶接箇所に曲線部分が含まれる場合、前記形状データ処理部は、前記Ｘ方向に沿って異なる位置にある前記形状データの座標点に対し、Ｙ方向分解能が同じになるように補正するとともに、前記Ｘ方向の座標位置と分解能補正後の前記Ｙ方向の座標位置とに基づいて、前記形状データの前記Ｚ方向の座標位置を補正することで、前記形状データを再構築することを特徴とする溶接箇所の外観検査方法。
  10. 　請求項９に記載の溶接箇所の外観検査方法において、
    　前記溶接箇所が前記Ｘ方向に所定の幅を有する場合、前記第２ステップにおいて、前記形状データ処理部は、前記溶接箇所の前記Ｘ方向の中心位置を通る軌跡における前記Ｙ方向分解能と同じになるように、前記形状データの前記Ｙ方向分解能を補正することを特徴とする溶接箇所の外観検査方法。
  11. 　請求項９に記載の溶接箇所の外観検査方法において、
    　前記第３ステップは、
    　　前記第１判定部が、入力された前記形状データに形状不良があるか否かを判定するステップと、
    　　前記形状データに前記形状不良がある場合、前記形状不良の個数やサイズ、さらに前記溶接箇所及びその周囲の所定の領域における前記形状不良の位置を特定するステップと、
    　　前記形状不良の種類を特定するステップと、を含むことを特徴とする溶接箇所の外観検査方法。
PCT/JP2023/043168 2022-12-02 2023-12-01 外観検査装置、溶接システム及び溶接箇所の外観検査方法 WO2024117262A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-193350 2022-12-02
JP2022193350 2022-12-02

Publications (1)

Publication Number Publication Date
WO2024117262A1 true WO2024117262A1 (ja) 2024-06-06

Family

ID=91324075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/043168 WO2024117262A1 (ja) 2022-12-02 2023-12-01 外観検査装置、溶接システム及び溶接箇所の外観検査方法

Country Status (1)

Country Link
WO (1) WO2024117262A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10296481A (ja) * 1997-02-25 1998-11-10 Sanyo Mach Works Ltd 溶接状態の検査方法
WO2021111759A1 (ja) * 2019-12-06 2021-06-10 パナソニックＩｐマネジメント株式会社 リペア溶接装置およびリペア溶接方法
JP2021139771A (ja) * 2020-03-05 2021-09-16 パナソニックＩｐマネジメント株式会社 制御装置、表示装置の制御方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10296481A (ja) * 1997-02-25 1998-11-10 Sanyo Mach Works Ltd 溶接状態の検査方法
WO2021111759A1 (ja) * 2019-12-06 2021-06-10 パナソニックＩｐマネジメント株式会社 リペア溶接装置およびリペア溶接方法
JP2021139771A (ja) * 2020-03-05 2021-09-16 パナソニックＩｐマネジメント株式会社 制御装置、表示装置の制御方法およびプログラム

Similar Documents

Publication Publication Date Title
JP7308461B2 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP7316573B2 (ja) 溶接システム及びそれを用いたワークの溶接方法
Sudhagar et al. Monitoring of friction stir welding based on vision system coupled with Machine learning algorithm
JP2000167666A (ja) 自動溶接及び欠陥補修方法並びに自動溶接装置
WO2020205998A1 (en) Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
JP7068950B2 (ja) 溶接設計支援方法、及びプログラム
Wang Unsupervised recognition and characterization of the reflected laser lines for robotic gas metal arc welding
US20200406392A1 (en) Evaluation apparatus, evaluation method, evaluation system, and non-transitory computer-readable storage medium
EP4234158A1 (en) System and method for analyzing weld quality
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
CN115401220A (zh) 监视系统以及附加制造系统
JP2024056076A (ja) 制御装置、表示装置の制御方法およびプログラム
Cai et al. Weld beads and defects automatic identification, localization, and size calculation based on a lightweight fully convolutional neural network
Soares et al. A robotic passive vision system for texture analysis in weld beads
WO2023068055A1 (ja) 溶接監視方法及び溶接監視装置、並びに積層造形方法及び積層造形装置
JP2005014026A (ja) 溶接部の検査方法及び溶接支援システム
WO2023120111A1 (ja) 外見検査装置、溶接システム及び溶接箇所の外観検査方法
WO2023120110A1 (ja) 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
Soares et al. Computer vision system for weld bead geometric analysis
WO2004109268A1 (en) Weld quality evaluation
CN115210036A (zh) 焊道外观检查设备、焊道外观检查方法、程序以及焊道外观检查系统
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
JP2000015474A (ja) 溶接管の溶接部検査方法
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム