WO2023120111A1 - 外見検査装置、溶接システム及び溶接箇所の外観検査方法 - Google Patents

外見検査装置、溶接システム及び溶接箇所の外観検査方法 Download PDF

Info

Publication number
WO2023120111A1
WO2023120111A1 PCT/JP2022/044533 JP2022044533W WO2023120111A1 WO 2023120111 A1 WO2023120111 A1 WO 2023120111A1 JP 2022044533 W JP2022044533 W JP 2022044533W WO 2023120111 A1 WO2023120111 A1 WO 2023120111A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
data
learning data
unit
resolution
Prior art date
Application number
PCT/JP2022/044533
Other languages
English (en)
French (fr)
Inventor
徹 酒井
通雄 櫻井
大智 東
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023120111A1 publication Critical patent/WO2023120111A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to a visual inspection device, a welding system, and a visual inspection method for welded portions.
  • Patent Literature 1 proposes a visual inspection apparatus for welded portions that includes a shape measuring unit, an image processing unit, a learning data set generating unit, a judgment model generating unit, and a first judging unit.
  • the shape measurement unit measures the shape of the welded portion, and the image processing unit generates image data of the welded portion based on the measured shape data.
  • the learning data set generation unit classifies the plurality of image data for each work material and shape, and expands the data to generate a plurality of learning data sets.
  • the determination model generation unit generates a determination model of the shape of the welding location for each work material and shape using a plurality of learning data sets.
  • the first determination unit determines whether the shape of the welded portion is good or bad based on the image data read from the image processing unit and the determination model.
  • the inspection conditions of the appearance inspection device are changed as appropriate.
  • the inspection speed, measurement frequency of the sensor, and measurement resolution of the sensor when inspecting the welded part along the weld line are sequentially changed so that the conditions are optimal according to the purpose of the user of the processing equipment. .
  • the reason why the inspection conditions are changed in this way is that the workpiece production takt time and inspection accuracy change greatly depending on the inspection conditions. For example, when the production tact time is important, inspection can be performed in a short production tact time by increasing the inspection speed. On the other hand, since the measurement resolution of the sensor becomes coarser, the three-dimensional shape of the welded portion acquired by the sensor also becomes coarser. For this reason, fine welding defects cannot be detected, and the inspection accuracy is lowered.
  • the measurement resolution is finer by slowing down the inspection speed.
  • the production tact time is lengthened.
  • the inspection conditions are also changed depending on the work to be inspected and the conditions of the welding points.
  • the inspection speed may be changed depending on whether the shape of the workpiece is curved or linear.
  • high-precision inspection is required for processed products that do not allow even minute defects. In this case, the measurement resolution is increased even if the production tact time is sacrificed.
  • the measurement resolution of the sensor changes, the measurement results will differ even if the three-dimensional shape of the same welded portion is measured. For this reason, the feature of the shape data of the welded portion input to the judgment model does not match the feature of the shape data machine-learned in advance, and highly accurate visual inspection cannot be performed.
  • machine learning for detecting shape features requires thousands to tens of thousands of units of huge shape data for each resolution. It is practically difficult to acquire shape data for machine learning in correspondence with multiple types of resolutions.
  • the present disclosure has been made in view of this point, and the purpose thereof is to provide a visual inspection apparatus, a welding system, and a welding point that can accurately evaluate the three-dimensional shape of the welded point even when the inspection conditions are changed. To provide an appearance inspection method.
  • a visual inspection apparatus for inspecting the appearance of a welded portion of a work, which is attached to a robot and measures the three-dimensional shape of the welded portion along a welding line. At least a shape measuring unit that performs measurement and a data processing unit that processes shape data obtained by the shape measuring unit, wherein the data processing unit removes noise from sample shape data obtained in advance by the shape measuring unit.
  • a shape data processing unit that performs at least processing, a first learning data set generation unit that generates a plurality of first learning data sets based on the sample shape data, and based on each of the plurality of first learning data sets, A second learning data set generation unit that generates a plurality of second learning data sets; and a plurality of types of determination models for determining whether the shape of the welded portion is good or bad using the plurality of second learning data sets.
  • a determination model generation unit and a first determination unit that determines whether the shape of the welded portion is good or bad based on the shape data processed by the shape data processing unit and the determination model generated by the determination model generation unit.
  • a welding system includes a welding device that welds the work and the appearance inspection device, and the welding device includes a welding head for inputting heat to the work and a welding output of the welding head. and an output control unit for controlling.
  • a visual inspection method for a welded portion is a visual inspection method for a welded portion using the visual inspection apparatus, wherein the shape measuring unit measures the three-dimensional shape of the welded portion while moving with the robot. a step of acquiring the sample shape data, a step of the first learning data set generation unit generating a plurality of the first learning data sets based on the sample shape data, and a step of generating the second learning data set a step of generating a plurality of the second learning data sets based on the plurality of the first learning data sets; a step of generating a plurality of types of the judgment models for judging whether the shape is good or bad; and a step of measuring the three-dimensional shape of the welded portion while the shape measuring unit moves with the robot to obtain the shape data.
  • the first determination unit determines whether the shape of the welded portion is good or bad based on the shape data processed by the shape data processing unit and the determination model generated by the determination model generation unit.
  • the determination model used in the first determination unit is based on the second learning data set having a data density closest to the data density of the shape data processed by the shape data processing unit It is characterized in that it is generated based on the second learning data set having a resolution closest to the resolution of the shape data generated or corrected by the shape data processing unit.
  • the three-dimensional shape of the welded portion can be evaluated with high accuracy.
  • FIG. 1 is a schematic diagram showing the configuration of a welding system according to an embodiment.
  • FIG. 2 is a schematic diagram showing the hardware configuration of the robot processing unit.
  • FIG. 3 is a functional block diagram of the appearance inspection device.
  • FIG. 4 is a schematic diagram showing how the shape measurement unit measures the shape of a weld bead.
  • FIG. 5A is a schematic diagram showing the hardware configuration of the sensor control unit.
  • FIG. 5B is a schematic diagram showing the hardware configuration of the data processing unit.
  • FIG. 6A is a schematic plan view showing an example of a failure mode of a welded portion.
  • FIG. 6B is a schematic cross-sectional view along line VIB-VIB in FIG. 6A.
  • FIG. 6C is a schematic cross-sectional view along line VIC-VIC in FIG. 6A.
  • FIG. 6D is a schematic cross-sectional view along the VID-VID line in FIG. 6A.
  • FIG. 6E is a schematic cross-sectional view along line VIE-VIE in FIG. 6A.
  • FIG. 7A is a schematic diagram showing a first example of the procedure for creating the first learning data set.
  • FIG. 7B is a schematic diagram showing a second example of the procedure for creating the first learning data set.
  • FIG. 7C is a schematic diagram showing a third example of the procedure for creating the first learning data set.
  • FIG. 8A is a schematic diagram showing a first example of the procedure for creating the second learning data set.
  • FIG. 8B is a schematic diagram showing a second example of the procedure for creating the second learning data set.
  • FIG. 8C is a schematic diagram showing a third example of the procedure for creating the second learning data set.
  • FIG. 8B is a schematic diagram showing a fourth example of the procedure for creating the second learning data set.
  • FIG. 9 is a flow chart of the decision model generation procedure.
  • FIG. 10A is a flow chart of a visual inspection procedure for a welded portion.
  • FIG. 10B is a flow chart of a procedure for judging the quality of the weld bead shape.
  • FIG. 11 is a conceptual diagram showing a procedure for deriving coordinate points of shape data in resolution conversion correction.
  • FIG. 12 is a conceptual diagram showing changes in coordinate point positions of shape data before and after resolution conversion correction in an acceleration/deceleration interval.
  • FIG. 4 is a schematic diagram showing an example of a robot speed control function in an acceleration/deceleration interval;
  • FIG. 1 shows a schematic diagram of the configuration of a welding system according to this embodiment.
  • a welding system 100 has a welding device 10 and a visual inspection device 20 .
  • the welding device 10 has a welding torch 11 , a wire feeding device 13 , a power source 14 , an output control section 15 , a robot 16 and a robot control section 17 .
  • a welding torch 11 When power is supplied from the power supply 14 to the welding wire 12 held by the welding torch 11, an arc is generated between the tip of the welding wire 12 and the workpiece 200, heat is input to the workpiece 200, and arc welding is performed.
  • the welding apparatus 10 has other component parts and equipment such as a pipe and a gas cylinder for supplying shielding gas to the welding torch 11, illustration and description of these are omitted for convenience of explanation.
  • the power source 14 is also called a welding power source.
  • the output control unit 15 is connected to the power supply 14 and the wire feeder 13, and controls the welding output of the welding torch 11, in other words, the power supplied to the welding wire 12 and the power supply time, according to predetermined welding conditions. there is The output control unit 15 also controls the feeding speed and feeding amount of the welding wire 12 fed from the wire feeding device 13 to the welding torch 11 .
  • the welding conditions may be input directly to the output control unit 15 via an input unit (not shown), or may be separately selected from a welding program read out from a recording medium or the like.
  • the robot 16 is a known articulated robot, holds the welding torch 11 at its tip, and is connected to the robot controller 17 .
  • the robot control unit 17 controls the operation of the robot 16 so that the tip of the welding torch 11, in other words, the tip of the welding wire 12 held by the welding torch 11, draws a predetermined welding trajectory and moves to a desired position. are doing.
  • FIG. 2 shows a schematic diagram of the hardware configuration of the robot processing unit.
  • the robot control unit 17 includes a CPU (Central Processing Unit) 17a, a driver IC (Driver Integrated Circuit) 17b, a RAM (Random Access Memory) 17c, and an IC ( Integrated Circuit) 17d.
  • CPU Central Processing Unit
  • driver IC Driver Integrated Circuit
  • RAM Random Access Memory
  • IC Integrated Circuit
  • the IC 17d receives output signals from rotation detectors (not shown) respectively provided on a plurality of joint shafts provided on the robot 16.
  • the output signal is input to the CPU 17a after signal processing by the IC 17d.
  • the CPU 17a transmits a control signal to the driver IC 17b based on the signal input from the IC 17d and the rotation speed of the joint shaft set in the predetermined program stored in the RAM 17c.
  • the driver IC 17b controls rotation of a servomotor (not shown) connected to the joint shaft based on control signals from the CPU 17a.
  • the robot control unit 17 receives the determination result.
  • the CPU 17a stops the operation of the robot 16 or operates the robot 16 so that the welding torch 11 comes to a predetermined initial position.
  • the output control unit 15 also has the same configuration as the robot control unit 17. That is, the output control unit 15 includes at least a CPU 15a, a driver IC 15b, a RAM 15c, and an IC 15d.
  • the IC 15d receives a signal corresponding to the output of the power supply 14.
  • the signal is input to the CPU 15a after signal processing by the IC 15d.
  • the CPU 15a transmits a control signal to the driver IC 15b based on the signal input from the IC 15d and the output of the power supply 14 set in the predetermined program stored in the RAM 15c.
  • the driver IC 15b controls the output of the power supply 14 and the welding output of the welding torch 11 based on the control signal from the CPU 15a.
  • the CPU 15a of the output control unit 15 that has received the determination result stop the output of As a result, the welding output of the welding torch 11 is stopped.
  • Both the output control unit 15 and the robot control unit 17 may have components other than those shown in FIG.
  • a ROM (Read Only Memory) or HDD (Hard Disk Drive) may be provided as a storage device.
  • the visual inspection apparatus 20 has a shape measuring unit 21, a sensor control unit 22, and a data processing unit 23.
  • the shape measuring unit 21 is attached to the robot 16 or the welding torch 11 to measure the welding point 201 of the workpiece 200. Measure the shape.
  • the configuration of the appearance inspection device 20 will be detailed later.
  • FIG. 1 illustrates an arc welding apparatus that performs arc welding as the welding apparatus 10, the welding apparatus 10 is not particularly limited to this.
  • the welding device 10 may be a laser welding device that performs laser welding.
  • a laser head (not shown) connected to a laser oscillator (not shown) via an optical fiber (not shown) is attached to the robot 16 and held.
  • the welding torch 11 and the laser head may be collectively referred to as the welding head 11 .
  • FIG. 3 is a functional block diagram of the visual inspection apparatus
  • FIG. 4 is a schematic diagram showing how the shape measurement unit measures the shape of a weld bead.
  • FIG. 5A shows a schematic diagram of the hardware configuration of the sensor control section
  • FIG. 5B shows a schematic diagram of the hardware configuration of the data processing section.
  • the shape measuring unit 21 includes, for example, a laser light source 21a (see FIG. 4) configured to scan the surface of the workpiece 200, and a reflection locus of a laser beam projected onto the surface of the workpiece 200 (hereinafter referred to as a shape line). ) or a light receiving sensor array 21b (see FIG. 4).
  • the shape measuring unit 21 scans a predetermined area including the welding point 201 and its surroundings with a laser beam (emitted light), and receives the reflected light that is reflected by the surface of the workpiece 200.
  • the three-dimensional shape of the welding point 201 is measured by imaging with the sensor array 21b.
  • the weld location 201 is a so-called weld bead that is formed along a direction along a weld line preset by a welding program or the like.
  • the direction along the weld line is sometimes called the Y direction (see FIG. 6A).
  • the direction perpendicular to the Y direction on the surface of the workpiece 200 where the welding point 201 is formed is sometimes called the X direction.
  • the height direction of the welding point 201 with respect to the surface of the workpiece 200 is sometimes called the Z direction.
  • the Z-direction is orthogonal to the X-direction and the Y-direction, respectively.
  • perpendicular refers to manufacturing tolerances and assembly tolerances of the parts that make up the welding system 100, processing tolerances of the workpiece 200, and variations in the movement speed of the robot 16. It means perpendicular or parallel or the same, including and the like. It does not mean that the objects of comparison are orthogonal or parallel or the same in a strict sense.
  • the emitted light emitted from the laser light source 21a is irradiated to a plurality of points along the width direction of the welding point 201, in this case along the X direction.
  • Each of the laser beams irradiated to a plurality of points is reflected, and the reflected light is picked up by the light receiving sensor array 21b.
  • the shape measuring unit 21 held by the robot 16 moves along the Y direction at a predetermined speed. , reflected light is imaged by the light receiving sensor array 21b.
  • the shape measurement unit 21 is configured to measure the shape not only of the welded portion 201 but also of its surroundings within a predetermined range. This is for evaluating the presence or absence of spatter 204 and smut 206 (see FIG. 6A), which will be described later.
  • the “measurement resolution” refers to the distance between adjacent measurement points in the shape data measured by the shape measurement unit 21.
  • the measurement resolution in the X direction is the distance along the X direction between adjacent measurement points.
  • the measurement resolution in the X direction depends on the performance of the shape measuring unit 21, mainly the performance of the light receiving sensor array 21b, specifically the size of each sensor included in the light receiving sensor array 21b in the X direction, and the distance between the sensors. is set according to
  • the measurement resolution is set in each of the X, Y and Z directions. As will be described later, the measurement resolution in the Y direction changes according to the moving speed of the robot 16 or the sampling frequency of the light receiving sensor array 21b.
  • the resolution refers to the interval between adjacent coordinate points among the plurality of point cloud data of the welding point 201 acquired by the shape measurement unit 21.
  • the shape data are reconstructed according to the shape of the welding point 201.
  • FIG. The resolution of shape data before reconstruction is the same as the measurement resolution described above.
  • the resolution of shape data after reconstruction may differ from the measurement resolution.
  • the X-direction resolution of the shape data is the same as the X-direction measurement resolution.
  • the Y-direction resolution of the shape data may differ from the Y-direction measurement resolution.
  • the resolution is set in each of the X, Y and Z directions.
  • the sensor control section 22 includes at least a CPU 22a and a RAM 22b.
  • the CPU 22a transmits a control command to the shape measuring section 21 and controls the operation of the shape measuring section 21.
  • FIG. The control commands transmitted from the CPU 22a to the shape measuring unit 21 include, for example, inspection conditions, a measurement start command, a measurement stop command, etc. by the shape measuring unit 21.
  • FIG. Preset inspection conditions are stored in the RAM 22b. Note that other data may be stored.
  • the sensor control unit 22 may include components other than those shown in FIG. 5A.
  • a ROM or HDD may be provided as a storage device.
  • the data processing unit 23 receives the point cloud data of the shape line acquired by the shape measurement unit 21 as shape data and processes it.
  • the data processing unit 23 is composed of a plurality of functional blocks. Specifically, the shape data processing unit 24, the first storage unit 25, the first learning data set generation unit 26A, the second learning data set generation unit 26B, the judgment model generation unit 27, the first judgment unit 28, and the notification unit 29 and
  • the data processing unit 23 includes at least a CPU 23a, a GPU (Graphics Processing Unit) 23b, a RAM/ROM 23c, an IC 23d, an input port 23e, an output port 23f, and a data bus 23h as hardware. ing.
  • the data processing section 23 also has a display 23g.
  • the hardware configuration of the data processing unit 23 shown in FIG. 5B is the same as that of a known personal computer (PC).
  • a plurality of functional blocks in the data processing unit 23 shown in FIG. 3 are realized by executing predetermined software in various devices shown in FIG. 5B, particularly the CPU 23a and the GPU 23b.
  • FIG. 5B shows an example in which various devices are connected to one data bus 23h, a plurality of data buses may be provided according to the application, as in a normal PC.
  • the shape data processing unit 24 has a noise removal function for the shape data acquired by the shape measuring unit 21. Since the reflectance of the laser beam emitted from the shape measuring unit 21 differs depending on the material of the workpiece 200, if the reflectance is too high, halation or the like may occur, resulting in noise, which may affect the shape data. For this reason, the shape data processing unit 24 is configured to perform noise filtering processing on software. Noise can also be similarly removed by providing an optical filter (not shown) in the shape measuring unit 21 itself. High-quality shape data can be obtained by using both an optical filter and filtering processing on software. In addition, as a result, the quality of the judgment model of the learning data set, which will be described later, is improved, and the shape quality of the welded portion 201 can be judged with high accuracy.
  • the noise removal function of the shape data processing unit 24 is mainly realized by the IC 23d of the data processing unit 23.
  • the GPU 23b of the data processing unit 23 may remove noise from the shape data.
  • the shape data processing unit 24 corrects the inclination, distortion, etc. of the base portion of the welding point 201 with respect to a predetermined reference plane, for example, the installation plane of the workpiece 200, by statistically processing the point cloud data.
  • edge enhancement correction may be performed to emphasize the periphery of the welded portion 201.
  • the shape data processing unit 24 extracts the feature amount of the shape data according to the shape of the work 200 and according to the inspection items of the shape of the welded part 201 .
  • one or more feature amounts corresponding to one or more inspection items are extracted for one piece of shape data.
  • the extracted feature amount is linked to the shape data and used in subsequent data processing.
  • the feature amount is a specific item extracted from the shape data, and typical examples are the length and width of the welded portion 201, the height from the reference plane, and the multiple dimensions within the welded portion 201. There are differences in length, width, and height between points. However, it is not particularly limited to these, and the feature amount is appropriately set according to the content determined by each inspection item.
  • the shape data processing unit 24 is configured to perform resolution conversion correction for the acquired shape data.
  • the resolution conversion correction of shape data will be described in detail later.
  • the edge enhancement correction processing function, feature quantity extraction function, and resolution conversion correction function of the shape data processing unit 24 are mainly realized by the CPU 23 a of the data processing unit 23 .
  • the IC 23d or the GPU 23b may perform part or all of the edge enhancement correction processing.
  • the first storage unit 25 stores the shape data of the welding point 201 in another work 200 processed before the welding of the work 200 to be evaluated.
  • the first storage unit 25 stores shape data experimentally obtained in advance before welding the actual workpiece 200 .
  • these pre-acquired shape data may be referred to as sample shape data.
  • the sample shape data includes non-defective product data in which the shape of the welded portion 201 to be evaluated is good, and defective product data in which the shape has some defects.
  • the defective product data is processed into a state in which a plurality of types of shape defects are labeled with the number and position of shape defects changed, and the processing results are used as a plurality of learning data.
  • the labeled defective product data and non-defective product data are collectively used as a learning data set before data augmentation processing. It should be noted that the shape data of the welding point 201 in another workpiece 200 and the shape data of the welding point 201 in the workpiece 200 to be evaluated are the same for the similar welding point 201 in the workpiece 200 having the same shape and material. It goes without saying that it has been acquired.
  • the first storage unit 25 also stores a first learning data set, a second learning data set, and a judgment model, which will be described later.
  • the first learning data set generation unit 26A reads the sample shape data generated by the shape data processing unit 24 and stored in the first storage unit 25, and classifies the work 200 according to material and shape. Alternatively, the welding locations 201 may be classified for each inspection item. In this case, the same learning data may be included in different inspection items. Also, the first learning data set generator 26A generates the first learning data set based on the classified sample shape data. Specifically, the first learning data set generation unit 26A generates the first learning data set based on the feature amount linked to the sample shape data. A first learning data set is generated for each material and shape of the workpiece 200 . For example, the material and shape of the work 200 are arranged in a matrix to determine classification categories, and the first learning data set is classified according to these categories. Examples of the shape of the workpiece 200 include butting and overlapping of plate materials, a T-shaped joint, a cross joint, and the like.
  • the first learning data set generation unit 26A performs data extension processing on the sample shape data to generate a first learning data set. Specifically, one or a plurality of feature values linked to the sample shape data are changed, or the position of the shape defect location in the sample shape data is changed. Alternatively, the data expansion process is executed by executing both of the processes described above. That is, a plurality of types of first learning data sets are generated from one sample shape data.
  • the second learning data set generation unit 26B reads the first learning data set generated by the first learning data set generation unit 26A and stored in the first storage unit 25 to generate the second learning data set.
  • the second learning data set is a group of learning data that is input to a judgment model, which will be described later, to improve the judgment accuracy of the judgment model.
  • the second learning data set is generated by varying the data density of the first learning data set by several different ratios.
  • the second training data set is generated by varying the resolution of the first training data set by some different ratio.
  • the second learning data set generation unit 26B generates a plurality of sets of second learning data sets corresponding to the types and the number of the first learning data sets stored in the first storage unit 25 .
  • the “data density” refers to the density of a plurality of point cloud data in the welding point 201 acquired by the shape measuring unit 21, the first learning data set, and the second learning data set.
  • the density of point cloud data in the XY plane including the X direction and the Y direction is mainly dealt with. In the example shown in FIG.
  • the second learning data set is generated by changing the resolution in the X direction, the Y direction, and the Z direction of the first learning data set, and each of these is assigned a number, and the first storage unit 25.
  • the procedure for generating the first learning data set and the second learning data set will be detailed later.
  • the functions of the first learning data set generation unit 26A and the second learning data set generation unit 26B are mainly realized by the CPU 23a of the data processing unit 23. However, it is not particularly limited to this, and for example, the GPU 23b may implement a part of the function.
  • the judgment model generation unit 27 generates a judgment model based on the judgment criteria set for each item regarding the inspection items of the welding points 201 set for each material and shape of the workpiece 200 .
  • the generated decision model is represented by a combination of a plurality of weighted discriminators or the like.
  • the judgment model is, for example, a known object detection algorithm represented by a CNN (Convolutional Neural Network) or the like.
  • the judgment model generation unit 27 selects each judgment model generated for each material and shape of the workpiece 200 from among a plurality of second learning data sets having the same data density or the same resolution.
  • a second learning data set is input for each of the 200 materials and shapes.
  • the judgment accuracy of each judgment model is improved.
  • a judgment model is generated according to the classification categories shown in FIG. The learning is repeated until the accuracy rate, recall rate, and accuracy of the judgment model satisfy preset values.
  • a plurality of sets of second learning data sets with different resolutions are prepared for each material and shape of the workpiece 200 .
  • a determination model is generated corresponding to each of these, and each determination model is assigned a number and stored in the first storage unit 25 .
  • the generation time of the judgment model when generating the judgment model, by appropriately selecting and using the non-defective product data and the defective product data in the sample shape data according to the material and shape of the work 200, the generation time of the judgment model can be shortened and the accuracy can be improved. can be achieved.
  • the generation time of the judgment model when generating a judgment model for each inspection item of the weld location 201, by appropriately selecting and using non-defective product data and defective product data in the sample shape data according to the inspection item, the generation time of the judgment model can be shortened. Shortening and high accuracy can be achieved.
  • the first determination unit 28 selects an inspection model selected from the shape data of the welding point 201 subjected to processing such as noise removal and edge enhancement by the shape data processing unit 24 and the determination model generated by the determination model generation unit 27. Based on the determination model corresponding to the item, it is determined whether or not the shape of the welded portion 201 is good, in other words, whether or not it satisfies a predetermined criterion. Also, the second learning data set used to generate the judgment model has the same data density or the same resolution as the shape data of the welding point 201 acquired by the shape data processing unit 24 .
  • the first learning data set used to generate the second learning data set is selected so that the data density is the same as that of the shape data of the welding point 201 acquired by the shape data processing unit 24. ing.
  • the first learning data set used to generate the second learning data set is selected so that the shape data of the welding point 201 acquired by the shape data processing unit 24 and the resolution are the same value. .
  • learning enhancement of the judgment model using the second learning data set is performed before judging whether the shape of the welded portion 201 is good or bad. Specifically, regarding the selected inspection item, the second learning data set generated by the second learning data set generation section 26B is input to the judgment model generated by the judgment model generation section 27 .
  • the judgment result is manually checked by a welding operator or the like, and if the type of welding defect does not match the learning data, annotation is executed. This is the step of tagging the corresponding portions of the shape data with the presence or absence and type of the shape defect specified by the process. This annotation is basically done manually.
  • the second learning data set is recreated or newly created, and further, the decision model is re-learned using the annotated second learning data set. By repeating these operations once or more, the decision model is learned and strengthened.
  • the probability of the defect mode of the shape defect contained in the shape data is calculated. For example, it is determined that a shape defect exists and its type is specified. This will be detailed later.
  • the degree of matching between the type of shape defect annotated in the learning data and the type of shape defect included in the shape data of the welded portion 201 is determined by probability, and the probability exceeds a predetermined threshold. If it exceeds, the type of shape defect included in the shape data of the welded portion 201 is specified.
  • the following information is output from the first determination unit 28.
  • the presence or absence of a shape defect and, if there is a shape defect, the type, number, size, and position at the welding point 201 are output.
  • a result is output as to whether the shape of the weld 201 is good or bad when there is a shape defect that exceeds a threshold value based on a predetermined criterion.
  • the threshold varies depending on the type and size of the shape defect. For example, with respect to spatter (see FIG. 6A), which will be described later, if there are five or more spatters with a diameter of 5 ⁇ m or more, it is determined that the shape of the welded portion 201 is defective.
  • perforations see FIGS. 6A and 6C
  • it is determined that the shape of the welded portion 201 is defective it should be noted that these are merely examples, and may be changed as appropriate according to the above-described criteria and thresholds.
  • the threshold value and display format for determining shape defects can be set arbitrarily.
  • spatters 204 may be displayed in red, and perforations 202 (see FIG. 6A) may be displayed in yellow.
  • the part recognized as spatter 204 is displayed in a different color from the background, and the probability of being spatter 204 is displayed in different colors.
  • the welding operator or the system administrator can easily recognize the presence or absence of the defective shape portion and the degree of distribution at a glance. For example, if the probability of matching is 30% or less, it may be displayed in green, and if it is 70% or more, it may be displayed in red.
  • the division of the probability range, the setting of the corresponding color, and the like can be arbitrarily set.
  • the size of the spatter 204 is also included in the criteria for determining whether the shape is good or bad, it goes without saying that the size of the spatter 204 calculated based on the shape data is compared with the criterion to determine whether the shape is good or bad.
  • the inspection items for the shape of the welded portion 201 are diverse, the quality of the shape is determined for each inspection item, and only when all the inspection items that require determination are cleared, the final product is determined to be non-defective. .
  • the notification unit 29 is configured to notify the determination result of the first determination unit 28 to the output control unit 15, the robot control unit 17, the welding operator, or the system administrator.
  • the display 23 g of the data processing section 23 corresponds to the notification section 29 .
  • the determination result may be displayed on the display 23g or a display unit (not shown) of the welding system 100, output from a printer (not shown), or notified through both. If it is merely to notify the final determination result, it may be output as sound from a sound output unit (not shown). It is preferable that not only the final determination but also the determination result for each inspection item be notified from the notification unit 29 . By doing so, the welding operator or the system administrator can know specifically what kind of trouble has occurred at the welding point 201 .
  • the welding system 100 continuously performs the next welding point 201 in the same workpiece 200. or weld a similar weld location 201 on the next workpiece 200 .
  • the output control unit 15 stops the welding output of the welding torch 11, and the robot control unit 17 stops the operation of the robot 16 or operates the robot 16 so that the welding torch 11 comes to a predetermined initial position.
  • FIGS. 6A to 6E show an example of a shape defect occurring in a welded part
  • FIGS. 7A to 7C are schematic diagrams showing first to third examples of the procedure for generating the first learning data set
  • FIG. 8A. 8D to 8D are schematic diagrams showing first to fourth examples of the procedure for creating the second learning data set.
  • FIGS. 6A to 6E show the shape of the welded portion 201 at the time of butt welding, FIG. 6A showing the planar shape, and FIGS. are shown respectively.
  • FIGS. 8A to 8D for convenience of explanation, coordinate points are indicated by white circles only at the welded portion 201 and the peripheral edge portion of the spatter 204 .
  • FIG. 9 shows a flowchart of the determination model generation procedure, and the determination model generation procedure will be described below in accordance with this flowchart.
  • the shape measurement unit 21 measures the shape of the welding point 201 (step S1) to acquire sample shape data.
  • the data processing unit 23 acquires the moving speed of the robot 16 , that is, the scanning speed of the welding point 201 in the Y direction by the shape measuring unit 21 from the robot control unit 17 .
  • the data processing unit 23 further divides the Y-direction scanning section of the shape measuring unit 21 into constant-velocity sections of a predetermined length based on the moving speed of the robot 16 .
  • the scanning section in the Y direction of the shape measuring unit 21 is divided into a constant speed section and an acceleration/deceleration section (step S2 in FIG. 7).
  • the "constant-velocity section” refers to a section in which the shape measuring unit 21 attached to the robot 16 moves at a constant speed along the Y direction.
  • the “acceleration/deceleration section” refers to a section in which the shape measuring unit 21 attached to the robot 16 moves along the Y direction by accelerating, decelerating, or accelerating and decelerating. .
  • the shape data processing unit 24 performs processing such as edge enhancement correction and noise removal as described above on the sample shape data of the constant speed section among the sections divided in step S2 (step S3). Furthermore, the sample shape data after the process of step S3 is executed is stored in the first storage unit 25 (step S4).
  • the shape data processing unit 24 determines whether or not there are unmeasured portions remaining among the welded portions 201 formed on the workpiece 200 (step S5). If the determination result in step S5 is negative, the process returns to step S1 to measure the shape of the unmeasured portion. If the determination result of step S5 is affirmative, the process proceeds to step S6. By measuring all necessary points and converting them into data, the necessary number of sample shape data used to generate the first learning data set and the second learning data set are collected. Also, the sample shape data after processing such as measurement and noise removal is completed is stored in the first storage unit 25 .
  • the first learning data set generation unit 26A reads out the sample shape data stored in the first storage unit 25 and classifies them according to the material and shape of the workpiece 200 . Further, data extension processing is performed on each of the classified sample shape data to generate a first learning data set (step S6). A procedure for generating the first learning data set will be further described.
  • various shape defects may occur at the welded portion 201 due to improper setting of welding conditions, use of a low-quality workpiece 200, or the like. can occur.
  • a part of the welding point 201 may burn down (hereinafter, a through hole formed in the workpiece 200 by a part of the welding point 201 burning down from the workpiece 200 may be referred to as a hole 202), or an undercut. 203 may occur.
  • the undercut 203 refers to a defective portion in which the portion at the weld bead is recessed from the surface of the workpiece 200 .
  • the length, width, and height from the reference plane of the welded portion 201 may vary from the design values L, W, and H beyond the allowable ranges ⁇ L, ⁇ W, and ⁇ H.
  • a droplet (not shown) formed at the tip of the welding wire 12 moves to the work 200, part of the droplet and fine particles of the molten metal of the work 200 scatter to generate spatter 204, is a galvanized steel sheet, a part of it evaporates from the welding point 201 to form a pit 205; Smut 206 may occur.
  • the pits 205 are open on the surface of the weld bead, and the smut 206 is black soot-like deposits generated in the vicinity of the weld bead. 204, etc., are each one of the modes (types) of shape defects.
  • the welded portion 201 there are various modes of shape defects in the welded portion 201, and it is necessary to set judgment criteria for each mode and inspect them. For example, with respect to the perforation 202 and the undercut 203, not only the presence or absence of them but also the contrast ratio with the surroundings of the welding point 201 or the difference in height for identifying the perforation 202 etc. is set. It is necessary to make pass/fail judgments. For example, in the case of the spatters 204, it is necessary to set the average diameter of the spatters 204 and determine the quality based on the number of spatters 204 having an average diameter equal to or greater than a predetermined value per unit area. Moreover, the number of inspection items for the welded portion 201 and the criteria for judging the shape of the welded portion 201 are changed or added according to the material of the workpiece 200, the welded portion, and the specifications required by the customer.
  • the criteria for determining the presence or absence of shape defects from the shape data differ depending on the material and shape of the workpiece 200 .
  • the reflectance of the laser beam differs depending on the material of the work 200, so that the brightness level and contrast of the shape data, for example, also change.
  • the bead shape of the welded portion 201 may change due to the influence of gravity or the like even when welding straight portions of the same length.
  • the judgment model generation unit 27 needs to generate a judgment model using a large amount of learning data for each material and shape of the workpiece 200 .
  • obtaining in advance sample shape data required for each material and shape of the work 200 requires a huge number of man-hours and is inefficient.
  • the sample shape data read out from the first storage unit 25 are classified according to the material and shape of the workpiece 200, and the classified sample shape data are subjected to data augmentation processing to generate a plurality of first learning data sets.
  • FIG. 6A shows an example of generating a plurality of first learning data sets that are shorter than the reference value L of the length of the welded portion 201 by exceeding the allowable range ⁇ L, but is not particularly limited to this. , a first learning data set whose length exceeds the allowable range ⁇ L from the reference value L of length is also generated separately.
  • a plurality of data are generated by changing the size and position of the perforations 202 in the original sample shape data.
  • the height from the reference plane and the difference in height between a plurality of points in the welded portion 201 are extracted as feature amounts, and these are varied.
  • a plurality of data are generated as the first learning data set by changing the number and position of the spatters 204 in the original sample shape data.
  • the second learning data set generation unit 26B changes the resolution at several different ratios for the first learning data set generated by the first learning data set generation unit 26A. By doing so, a plurality of sets of second learning data sets are generated from one set of first learning data sets (step S7). A procedure for generating the second learning data set will be further described.
  • the inspection speed that is, the scanning speed of the shape measuring unit 21 is increased, the resolution in the direction along the weld line is increased, shape data is acquired, and the production tact time is reduced. You may want to reduce it. Alternatively, it may be desired to obtain shape data by keeping the scanning speed of the shape measuring unit 21 low and reducing the resolution in the direction along the weld line, thereby detecting minute shape defects with high accuracy.
  • the inspection conditions are fixed to predetermined conditions.
  • the measurement resolution, measurement frequency, and scanning speed in the X and Y directions of the shape measuring unit 21 are fixed at predetermined values.
  • the data density and resolution of the first learning data set generated based on the sample shape data reflect each value of the sample shape data. That is, basically, the sample shape data and the first learning data set have the same data density and resolution. Also in the second learning data set obtained by performing the data augmentation process on the first learning data set, the values of data density and resolution are the same as those of the sample shape data.
  • the shape of the welded portion 201 may not be evaluated correctly, as described above. .
  • data obtained by changing the data density or resolution of the first learning data set in a plurality of ways is generated as the second learning data set, which is a group of learning data necessary for generating a new judgment model. ing. By doing so, a desired judgment model can be generated without acquiring a large amount of sample shape data by changing the inspection conditions.
  • the second learning data set is generated by changing the resolution in the Y direction.
  • the outer shape of the second learning data set after changing the resolution is 1 does not change much from the outer shape of the learning data set.
  • FIG. 8B when the shape of the first learning data set reflects the substantially elliptical spatter 204, the outer shape of the second learning data set after changing the resolution is the same as that of the first learning data set. It changes greatly from the outline of the set. Incidentally, in actually changing the resolution of the first learning data set, a technique similar to the resolution conversion correction described later is used.
  • the second learning data set may be generated by changing the data density.
  • the first learning data set is thinned out at predetermined intervals to reduce the data density, thereby generating the second learning data set.
  • the resolution is changed as described above, the amount of calculation for converting the coordinate points will increase, and the processing load on the CPU 23a and the like will increase. In addition, it takes a long time to calculate, and it may be unsuitable for generating a large amount of second learning data sets. Therefore, instead of changing the resolution, the data density is also reduced to generate the second training data set.
  • the data thinning interval is not particularly limited to this.
  • the shape of the first learning data set before the resolution change shown in FIG. 8C corresponds to the shape of the first learning data set shown in FIG. 8A.
  • the shape of the first learning data set before the resolution change shown in FIG. 8D corresponds to the shape of the first learning data set shown in FIG. 8B.
  • the shape of the second learning data set after changing the data density does not change significantly from the shape of the first learning data set, which is the same as shown in FIG. 8A.
  • the shape of the second learning data set after changing the data density greatly changes from the shape of the first learning data set, which is the same as shown in FIG. 8B.
  • the outer shape of the spatter 204 changes from a substantially elliptical shape to a diamond shape. In this way, by changing the resolution or changing the data density, the shape of the second learning data set may differ from the original sample shape data or the shape of the first learning data set. .
  • FIG. 10A shows a flow chart of a visual inspection procedure for a welded portion
  • FIG. 10B shows a flow chart of a weld bead shape quality determination procedure.
  • Steps S11 to S13 are the same procedures as steps S1 to S3 in FIG. 9, so a description thereof will be omitted.
  • the shape data in the selected section (hereinafter referred to as the selected section) is subjected to the above-described processing such as edge enhancement correction and noise removal.
  • step S14 the data processing unit 23 determines whether the selected section for which step S3 was executed is a constant speed section. This determination is made based on whether or not the speed control function of the robot 16 in the selected section is constant speed, that is, whether or not the speed is constant over time (step S14).
  • the speed control function of the robot 16 is transmitted from the robot control section 17 to the data processing section 23 in response to a request from the data processing section 23 . If the determination result of step S14 is negative, the process proceeds to step S20.
  • step S14 determines whether or not the determined judgment model is stored in the first storage unit 25 (step S15). Note that step S ⁇ b>15 may be executed by a functional block other than the shape data processing section 24 in the data processing section 23 .
  • step S15 If the determination result in step S15 is affirmative, proceed to step S18. On the other hand, if the determination result in step S15 is negative, that is, if there is no determination model generated based on the second learning data set with the same resolution or data density as the shape data of the selected section, the process proceeds to step S16.
  • step S16 the shape data processing unit 24 calculates the X-direction resolution (hereinafter referred to as X-direction resolution) and Y-direction resolution (hereinafter referred to as Y-direction resolution) of the shape data acquired in Step S1, Save in the first storage unit 25 .
  • X-direction resolution X-direction resolution
  • Y-direction resolution Y-direction resolution
  • the X-direction resolution corresponds to the distance along the X-direction between adjacent measurement points.
  • the scanning width of the laser beam by the shape measuring unit 21 is usually constant.
  • the Y-direction resolution in the constant-velocity section is expressed by the following equation (1).
  • Ry (mm) is the Y-direction resolution of the shape data in the selected section
  • V (m/min) is the moving speed of the robot 16
  • F (Hz) is the measurement frequency of the shape measuring section 21.
  • the shape is measured for each period of 1/F.
  • a plurality of measurement points are measured at once every period of 1/F over the scanning width of the laser beam.
  • the X-direction resolution of the shape data is usually determined according to the pixel size and spacing of the camera (not shown) or the light receiving sensor array 21b in the shape measurement unit 21. FIG. This is the same when the selection section is a constant speed section or an acceleration/deceleration section.
  • the X-direction measurement resolution and measurement frequency F of the shape measurement unit 21 are transmitted from the sensor control unit 22 to the data processing unit 23 in response to a request from the data processing unit 23 .
  • the shape data processing unit 24 After executing step S16, the shape data processing unit 24 performs resolution conversion correction or data density conversion correction on the shape data in the selected section (step S17). As described above, most data density corrections are corrections for thinning data at a predetermined ratio in the sample shape data or the first learning data set. Therefore, in the following description, resolution conversion correction will be described.
  • FIG. 10 shows a conceptual diagram of the procedure for deriving the coordinate points of the shape data in the resolution conversion correction. of coordinate points (x+Rx, y), (x, y+Ry), and (x+Rx, y+Ry) in the Z direction.
  • Rx (mm) is the X-direction resolution of the shape data in the selected section.
  • the height in the Z direction (Z coordinate) at the coordinate point (x, y) is Z(x, y).
  • the origin of the coordinate point (x, y) is set, for example, at the starting end of the welding point 201 .
  • the origin of the Z coordinate Z(x, y) is set with reference to the surface of the workpiece 200 near the starting end.
  • the resolution conversion correction is performed according to the following procedure. First, as shown in equations (2) and (3), an X-direction resolution coefficient Cx and a Y-direction resolution coefficient Cy are calculated.
  • Rx 0 is the X direction resolution of the sample shape data
  • Ry 0 is the Y direction resolution of the sample shape data.
  • the X-direction resolution Rx 0 and the Y-direction resolution Ry 0 are stored in advance in the first storage unit 25 .
  • Z (Xn/Cx, Ym/Cy) is calculated as the Z coordinate for each point of the XY coordinates reconstructed at the resolution at the time of acquisition of the sample shape data so as to satisfy Expression (4).
  • n is a variable corresponding to each point of the point cloud data in the X direction.
  • n is an integer and satisfies the relationship 1 ⁇ n ⁇ N (N is the number of points in the X direction).
  • m is a variable corresponding to each point of the point cloud data in the Y direction.
  • m is an integer and satisfies 1 ⁇ m ⁇ M (M is the number of point groups in the Y direction).
  • dx is the distance in the X direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy) between the coordinate point (x, y) and the coordinate point (x+Rx, y).
  • dy is the distance in the Y direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy). It is a value divided by the distance in the Y direction between.
  • the ratio between dx and (1-dx) shown in FIG. 11 is the distance in the X direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy), and the coordinate point ( x+Rx, y) and the distance in the X direction between the coordinate point (Xn/Cx, Ym/Cy).
  • the ratio of dy and (1-dy) is the distance in the Y direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy) and the coordinate point (x, y+Ry ) and the distance in the Y direction between the coordinate point (Xn/Cx, Ym/Cy).
  • the height in the Z direction at the coordinate point (Xn/Cx, Ym/Cy) is the four points around the coordinate point (Xn/Cx, Ym/Cy), that is, the coordinate point (x, y) before reconstruction, It is derived based on the height in the Z direction of (x+Rx, y), (x, y+Ry), and (x+Rx, y+Ry).
  • the resolution of the shape data becomes the same value as the sample shape data stored in the first storage unit 25 .
  • the first storage unit 25 stores the determination model generated based on the sample shape data having the same value as the resolution of the corrected shape data.
  • step S17 After step S17 is executed, the process proceeds to step S18, and the first determination unit 28 determines whether the shape of the welding point 201 in the selected section is good or bad using the shape data after the resolution conversion correction. Details of step S18 will be described later.
  • step S18 the data processing unit 23 determines whether or not there is a section for which the process of step S13 has not been executed among the divided sections of the shape data (step S19).
  • step S19 If the determination result of step S19 is negative, the process returns to step S13, selects a section in which the process of step S13 has not been performed, and executes the process of step S13 until the determination result of step S19 is affirmative. Repeat a series of steps until
  • step S19 When the determination result in step S19 becomes affirmative, there are no sections that have not undergone preprocessing such as noise removal processing in the measured shape data of the weld bead, and there are no divided sections that have not undergone shape evaluation. The visual inspection of the point 201 is terminated.
  • step S14 determines whether the selected section is an acceleration/deceleration section is an acceleration/deceleration section. If the determination result in step S14 is negative, that is, if the selected section is the acceleration/deceleration section, the data processing unit 23 acquires the X-direction resolution of the shape data acquired in step S11 from the sensor control unit 22, It saves in the storage unit 25 (step S20).
  • the shape data processing unit 24 calculates the Y-direction resolution of the shape data acquired in step S11 based on the speed control function of the robot 16 (step S21).
  • the speed control function of the robot 16 is transmitted from the robot control section 17 to the shape data processing section 24 of the data processing section 23 in response to a request from the data processing section 23 .
  • the speed control function of the robot 16 may be sent to the first storage unit 25 once, stored, and then sent to the shape data processing unit 24 .
  • the shape data processing unit 24 performs resolution conversion correction on the shape data in the selected section (step S22).
  • FIG. 12 is a conceptual diagram showing changes in coordinate point positions of shape data before and after resolution conversion correction in an acceleration/deceleration interval.
  • FIG. 13 is a schematic diagram showing an example of a robot speed control function in an acceleration/deceleration interval.
  • the scanning frequency and scanning width of the laser beam are rarely changed.
  • the Y direction is the direction along the weld line
  • the X direction is the direction that intersects the direction along the weld line.
  • the laser beam of the shape measuring unit 21 for measuring the shape is scanned along the Y direction at the moving speed of the tip of the robot 16 (hereinafter simply referred to as the moving speed of the robot 16), while crossing the welding line in the X direction. is cyclically scanned. Therefore, the X-direction resolution Rx of the shape data can often be regarded as constant in each of the constant velocity section and the acceleration/deceleration section.
  • the Y-direction resolution Ry changes according to the moving speed V of the robot 16. If the selected section is a constant-velocity section, the measurement frequency F and the moving speed V are constants, so the Y-direction resolution Ry is also a constant, as is apparent from Equation (1).
  • the selected section is an acceleration/deceleration section
  • the Y-direction interval between adjacent measurement points increases over time.
  • the robot 16 is decelerating and moving, the interval in the Y direction between adjacent measurement points becomes narrower over time.
  • the Y-direction resolution changes between measurement points along the Y-direction. If shape evaluation of the welded portion 201 is performed based on such point cloud data (shape data), accurate results cannot be obtained.
  • the selected section is an acceleration/deceleration section
  • the Y-direction resolution Ry(t) (mm) is expressed as shown in Equation (5).
  • V(t) (m/min) is the speed control function of the robot 16 and F(Hz) is the measurement frequency of the shape measuring section 21 .
  • V(t) is described by a kth-order function (k is an integer equal to or greater than 1) of time t (sec).
  • Tm is the travel time from the origin to the m-th coordinate point.
  • the Z coordinates are calculated as the coordinates after the correction process so as to satisfy Equation (7).
  • Equation (7) is similar to Equation (4), except that the reconstructed Y coordinate Ym/Cy m (t) is written as a function of time t.
  • Equation (7) Z(Xn/Cx, Ym/Cy m (t)) shown in Equation (7) is calculated for all point groups included in the selected section, and the resolution conversion correction of the shape data is completed.
  • the resolution of the shape data becomes the same value as the sample shape data stored in the first storage unit 25.
  • the first storage unit 25 stores the determination model generated based on the sample shape data having the same value as the resolution of the corrected shape data.
  • step S22 After step S22 is executed, the process proceeds to step S23, and the shape data after the resolution conversion correction is performed is used by the first determination unit 28 to determine whether the shape of the welding point 201 in the selected section is good or bad. Details of step S23 will be described later.
  • step S23 the data processing unit 23 determines whether or not there is a section in which the process of step S3 has not been executed among the divided sections of the shape data (step S19).
  • step S19 If the determination result of step S19 is negative, the process returns to step S13, selects a section in which the process of step S13 has not been performed, and executes the process of step S13 until the determination result of step S19 is affirmative. Repeat a series of steps until
  • step S19 When the determination result in step S19 is affirmative, the appearance inspection of the welded portion 201 is terminated because there are no divided sections for which shape evaluation has not yet been performed.
  • section 1 and section 3 are constant speed sections. Therefore, steps S11 to S18 in FIG. 10A are each executed to inspect the appearance of the welded portion 201. As shown in FIG. 13, section 1 and section 3 are constant speed sections. Therefore, steps S11 to S18 in FIG. 10A are each executed to inspect the appearance of the welded portion 201. As shown in FIG. 13, section 1 and section 3 are constant speed sections. Therefore, steps S11 to S18 in FIG. 10A are each executed to inspect the appearance of the welded portion 201. As shown in FIG.
  • Section 2 is a deceleration section. Specifically, the moving speed V (m/min) of the robot 16 monotonically decreases from V1 to V2 ( ⁇ V1) during the period T (sec). Therefore, the velocity control function V(t) of the robot 16 in section 2 is expressed in the form shown in Equation (8).
  • the data processing unit 23 acquires various information characterizing the speed control function V(t) from the robot control unit 17 .
  • the speed control function V(t) is a k-th order function of time t (k is an integer equal to or greater than 1)
  • each coefficient value from t to tk and the value of the constant B are obtained.
  • steps S1 to S4 and S20 to S23 of FIG. 10A are executed, respectively, to inspect the appearance of welded portion 201.
  • steps S18 and S23 in FIG. 10A is further divided into sub-steps SA to SC shown in FIG. 10B.
  • the first determination unit 28 determines whether or not the shape data in the selected section contains a shape defect (substep SA).
  • the decision model used in this case is learned and reinforced in advance using the second learning data set, as described above.
  • the first determination unit 28 identifies the size and number of shape defects and the position of shape defects in the welded portion 201 (substep SB). Further, the first determination unit 28 identifies the type of shape defect (substep SC).
  • the type of shape defect is specified in consideration of the shape and size of the shape defect, the position of the welded portion 201, and the like.
  • the probability that the shape defect is the spatter 204 is calculated, and if the probability is a predetermined value (eg, 70%) or more, the shape defect is identified as the spatter 204 .
  • the final quality determination result of the shape of the welded portion 201 is transmitted to the notification unit 29 and the display 23g.
  • the shape data acquired by the shape measuring unit 21, specifically the shape of the welded portion 201 is displayed on the display 23g as point cloud data.
  • the work 200 is judged to be non-defective and either sent to subsequent processing steps or shipped as a non-defective product.
  • the storage destination of the inspection result is, for example, the first storage unit 25 of the data processing unit 23 .
  • the workpiece 200 may be discarded as a defective product.
  • the inspection results may be saved and the work 200 may be advanced to the repair process.
  • the welding location 201 determined to be defective is welded again.
  • the inspection results are saved, and the welded points 201 determined to be defective are visually confirmed again by the welding operator. good too.
  • visual confirmation it is determined whether or not the welded portion 201 can be repaired. If it is determined that the work 200 can be repaired, the work 200 is advanced to the repair process, and the welded portion 201 determined to be defective is welded again.
  • the appearance inspection apparatus 20 inspects the appearance of the welded portion 201 of the workpiece 200 .
  • the visual inspection apparatus 20 is attached to the robot 16 and has a shape measuring section 21 that measures the three-dimensional shape of the welded portion 201 along the weld line, and a data processing section 23 that processes the shape data acquired by the shape measuring section 21. and at least.
  • the data processing unit 23 includes at least a shape data processing unit 24 that performs noise removal processing on the sample shape data obtained in advance by the shape measurement unit 21 .
  • the data processing unit 23 also includes a first learning data set generation unit 26A that generates a plurality of first learning data sets based on the sample shape data, and a plurality of first learning data sets based on each of the plurality of first learning data sets. and a second learning data set generation unit 26B that generates two learning data sets.
  • the data processing unit 23 also includes a judgment model generation unit 27 that generates a plurality of types of judgment models for judging the quality of the shape of the welded part 201 using a plurality of second learning data sets.
  • the data processing unit 23 includes a first determination unit 28 that determines whether the shape of the welded part 201 is good or bad based on the shape data processed by the shape data processing unit 24 and the determination model generated by the determination model generation unit 27. ing.
  • the first learning data set generator 26A performs data extension processing on the sample shape data to generate a plurality of first learning data sets.
  • the second learning data set generator 26B generates a plurality of second learning data sets by changing the conversion ratio of data density or resolution for each of the plurality of first learning data sets.
  • the appearance inspection device 20 By configuring the appearance inspection device 20 in this way, even when the inspection conditions are changed according to the production takt time, the required inspection accuracy, etc., the three-dimensional shape of the welded portion 201 can be evaluated with high accuracy. The quality of the shape of the part 201 can be determined correctly.
  • one workpiece 200 usually includes a large number of welding points 201.
  • a plurality of types of welding points 201 having different shapes are often included, and the inspection conditions are appropriately changed according to the shape of the welding points 201 .
  • the three-dimensional shape of each welding point 201 can be evaluated with high accuracy, and the shape of the welding point 201 can be evaluated. Good or bad can be judged correctly.
  • a plurality of sets of second learning data sets are generated by changing a plurality of data density or resolution conversion ratios for a set of first learning data sets. Furthermore, a judgment model is generated for each of the generated second learning data sets.
  • the data generated based on the second learning data set with an appropriate data density or resolution can be obtained. You can choose the judgment model. Moreover, a desired judgment model can be generated without obtaining a large amount of sample shape data by changing inspection conditions.
  • the welded portion 201 formed on the workpiece 200 is not limited to one type, and is often formed as a plurality of types of weld beads having different shapes. In such a case, inspection conditions are set for each of the plurality of types of welded points 201 according to their respective shapes.
  • the judgment model generated based on the second learning data set with appropriate data density or resolution can be selected. Moreover, a desired judgment model can be generated without obtaining a large amount of sample shape data by changing inspection conditions.
  • the determination model used by the first determination unit 28 is generated based on the second learning data set having the resolution closest to the resolution of the shape data acquired by the shape measurement unit 21. Alternatively, the determination model used by the first determination unit 28 is generated based on the second learning data set having the data density closest to the data density of the shape data acquired by the shape measurement unit 21 .
  • the three-dimensional shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape of the welded portion 201 can be correctly determined.
  • the visual inspection apparatus 20 further includes a sensor control section 22 that stores inspection conditions for the welded portion 201 by the shape measurement section 21 and transmits the stored inspection conditions to the data processing section 23 .
  • the sensor control unit 22 performs data processing on the measurement resolution and the measurement frequency in the X direction that intersects the Y direction and the Z direction that is the height direction of the welded portion 201. 23.
  • the data processing unit 23 also receives the movement speed V of the robot 16 or the speed control function V(t) of the robot 16 from the robot control unit 17 that controls the motion of the robot 16 .
  • the data processing unit 23 further includes a first storage unit 25 that stores at least the sample shape data, the first learning data set, the second learning data set, and the judgment model.
  • a first storage unit 25 that stores at least the sample shape data, the first learning data set, the second learning data set, and the judgment model.
  • the shape data processing unit 24 corrects the resolution of the shape data. Note that when the shape data includes the acceleration/deceleration interval described above, the resolution of the shape data in the acceleration/deceleration interval is also considered to be different from that of the plurality of second learning data sets stored in the first storage unit 25 .
  • the shape data processing unit 24 causes the shape measuring unit 21 to perform Correct the resolution of the acquired shape data.
  • the inspection conditions are, for example, the measurement resolution, measurement frequency, and scanning speed of the shape measurement unit 21 .
  • the scanning speed of the shape measuring unit 21 corresponds to the scanning speed of the laser beam in the X direction, the moving speed V of the robot 16, or the speed control function V(t) of the robot 16.
  • the sample shape data is obtained under conditions in which the measurement resolution, measurement frequency, and scanning speed of the shape measuring unit 21 are respectively predetermined.
  • the decision model is enhanced for learning based on each of the plurality of second training data sets.
  • a plurality of second learning data sets are generated based on the first learning data set and, in turn, sample shape data as shape data obtained experimentally in advance before welding the actual workpiece 200 .
  • the resolution of the shape data is corrected so as to have the same value as the resolution of the second learning data set. By doing so, it is possible to match the shape features of the defective shape portions, such as the holes 202 and the spatters 204, included in the second learning data set, and in turn, the sample shape data and the shape data. As a result, it is possible to reliably and accurately determine the quality of the shape of the welded portion 201 using the learned determination model.
  • the shape data processing unit 24 calculates the X direction of the shape data.
  • the Z-direction value of the shape data is corrected based on the resolution and the Y-direction resolution.
  • the Y-direction resolution is determined by the measurement frequency of the shape measuring unit 21 and the moving speed of the robot 16. is determined based on V.
  • Y-direction resolution is determined based on the measurement frequency F of the shape measuring unit 21 and the speed control function V(t) of the robot 16 .
  • the speed control function V(t) is described by a kth order function of time t.
  • the speed control function V(t) is not limited to this, and may be a sine wave function or a cosine wave function, for example. That is, the speed control function V(t) is a function dependent on time t.
  • the resolution conversion correction of the shape data can be performed easily and accurately.
  • the first learning data set generation unit 26A classifies a plurality of sample shape data obtained in advance by the shape measurement unit 21 for each material and shape of the workpiece 200, and performs data extension processing on the classified sample shape data. A plurality of first training data sets are generated.
  • the judgment model generation unit 27 generates a judgment model for each material and shape of the work 200 using a plurality of second learning data sets.
  • the visual inspection apparatus 20 By configuring the visual inspection apparatus 20 in this way, even when the number of sample shape data is small, the necessary amount of first learning data set and second learning data set can be generated, and the accuracy of the judgment model can be improved. Therefore, it is possible to accurately determine whether the shape of the welded portion 201 is good or bad. In addition, it is no longer necessary to acquire a large amount of sample shape data, and the number of man-hours for determining whether the shape is good or bad can be greatly reduced. In addition, it is possible to automatically detect the shape defect of the welded portion 201 without manually setting complicated criteria. Furthermore, since the first learning data set is generated after classifying the sample shape data in advance for each material and shape of the workpiece 200, the first learning data set can be efficiently generated. Furthermore, the second learning data set can be efficiently generated based on the first learning data set.
  • the data processing unit 23 further includes a notification unit 29 that notifies the determination result of the first determination unit 28.
  • the welding operator or the system administrator can know in real time whether or not a problem has occurred in the welding location 201 during the welding of the workpiece 200 . Also, if necessary, measures can be taken to determine whether or not to continue welding the workpiece 200 . As a result, welding costs in the welding process can be reduced.
  • the first learning data set generation unit 26A generates a first learning data set based on one or more feature amounts extracted from the sample shape data. Note that the feature amount is extracted by the shape data processing unit 24 .
  • the processing for generating the first learning data set can be simplified without reducing the accuracy of the judgment model.
  • the first learning data set generator 26A changes one or more feature values extracted from the sample shape data, or changes the positions of shape defect points in the sample shape data, or both. By doing so, data expansion processing is performed.
  • the efficiency of creating the first learning data set and thus the second learning data set can be improved, further reducing man-hours. can.
  • the first learning data set can be efficiently generated by a simple process of changing the feature amount and the position of the defective shape portion.
  • the first learning data set generation unit 26A classifies the plurality of sample shape data for each inspection item of the welding point 201, and performs data extension processing on the classified sample shape data to generate a plurality of first learning data sets. may be generated.
  • the judgment model generation unit 27 may generate a judgment model for each inspection item of the welded portion 201 for judging the quality of the shape of the welded portion 201 using a plurality of second learning data sets.
  • the first learning data set generation unit 26A divides the plurality of sample shape data into a specific portion for which determination of a shape defect of the welded portion 201 is more difficult than other portions and other portions, and divides each sample into A data augmentation process may be performed separately on the shape data to generate a plurality of first learning data sets.
  • the first determination unit 28 determines whether or not the input shape data has a shape defect. For this determination, a first learning data set and a second learning data set are generated using sample shape data composed of non-defective product data containing no shape defects and defective product data containing some shape defects. . In the first training data set and the second training data set, the defective product data is processed such that the type of shape defect is identified and the shape defect is labeled with the identified type. Using this second learning data set, the decision model is previously learned and reinforced.
  • the first determination unit 28 identifies the number and size of the shape defect, and further specifies the position of the shape defect in the welding point 201 and a predetermined area around it.
  • the first determination unit 28 identifies the type of shape defect.
  • the number and size of shape defects, and the positions of shape defects in welded portions 201 are referred to.
  • the type of shape defect is calculated by probability, and when the probability is equal to or greater than a predetermined threshold value, the type of shape defect is determined.
  • the types of shape defects are not limited to those shown in FIGS. 6A to 6E.
  • a shape defect also includes a case where the dimensions of the welded portion 201 do not satisfy a predetermined non-defective standard.
  • the non-defective product standard for the dimensions can be set in any of the X direction, Y direction, and Z direction.
  • the first determination unit 28 determines or specifies a plurality of items regarding the shape of the welded portion 201, and finally determines whether the shape of the welded portion 201 is good or bad based on those results. By doing so, it is possible to accurately and reliably evaluate the shape quality of the welded portion 201 .
  • the judgment model generation unit 27 divides the judgment model corresponding to the specific portion of the welding point 201 and the other portions into the judgment model.
  • a corresponding judgment model may be generated separately.
  • a welding system 100 includes a welding device 10 that welds a workpiece 200 and a visual inspection device 20 .
  • the shape of the welded portion 201 can be inspected with high accuracy and a small number of man-hours. This can reduce the cost of the welding process.
  • the welding apparatus 10 also includes a welding head 11 (welding torch 11) for inputting heat to the workpiece 200, a robot 16 that holds and moves the welding head 11 (welding torch 11) to a desired position, and a robot 16 that moves the welding head 11 to a desired position. It has at least an output control section 15 that controls the welding output of (the welding torch 11 ) and a robot control section 17 that controls the operation of the robot 16 .
  • the output control unit 15 stops the welding output of the welding head 11 (welding torch 11), and the robot control unit 17 stops the operation of the robot 16 or operates the robot 16 so that the welding head 11 (welding torch 11) comes to a predetermined initial position.
  • the welding system 100 By configuring the welding system 100 in this way, if the shape of the welded portion 201 is defective, the next welding can be stopped to prevent the frequent occurrence of defective products.
  • the determination result of the first determination unit 28 for each inspection item it is possible to estimate the defect location in the welding system 100, quickly eliminate the cause of the defect, and shorten the downtime of the welding system 100.
  • the visual inspection method of the welded part 201 includes a step of measuring the three-dimensional shape of the welded part 201 while the shape measuring unit 21 moves together with the robot 16 to obtain sample shape data, and a first learning data set generation unit 26A. and generating a plurality of first training data sets based on the sample shape data.
  • the visual inspection method for the welded portion 201 further includes a step in which the second learning data set generation unit 26B generates a plurality of second learning data sets based on the plurality of first learning data sets; and generating a plurality of types of judgment models for judging whether the shape of the welded portion 201 is good or bad, using the plurality of second learning data sets.
  • the visual inspection method for the welded portion 201 further includes a step of measuring the three-dimensional shape of the welded portion 201 while the shape measurement unit 21 moves together with the robot 16 to acquire shape data; and determining whether the shape of the welded portion is good or bad based on the shape data processed by the data processing unit 24 and the determination model generated by the determination model generation unit 27 .
  • the determination model used by the first determination unit 28 is generated based on the second learning data set having the data density closest to the data density of the shape data processed by the shape data processing unit 24.
  • the judgment model used by the first judgment section 28 is generated based on the second learning data set having the resolution closest to the resolution of the shape data processed by the shape data processing section 24 .
  • the three-dimensional shape of the welded portion 201 can be accurately evaluated even when the inspection conditions are changed according to the production takt time, the required inspection accuracy, etc., and the shape of the welded portion 201 can be evaluated. Good or bad can be judged correctly.
  • one workpiece 200 usually includes a large number of welding points 201.
  • a plurality of types of welding points 201 having different shapes are often included, and the inspection conditions are appropriately changed according to the shape of the welding points 201 .
  • the three-dimensional shape of each welding point 201 can be evaluated with high accuracy, and the shape of the welding point 201 can be evaluated. Good or bad can be judged correctly.
  • the judgment model is obtained by the shape measuring unit 21 and processed by the shape data processing unit 24 based on the second learning data set having the data density closest to the data density of the shape data. generated.
  • the judgment model is generated based on the second learning data set having the resolution closest to the resolution of the shape data acquired by the shape measurement unit 21 and processed by the shape data processing unit 24 .
  • the data generated based on the second learning data set with an appropriate data density or resolution can be obtained. You can choose the judgment model. By doing so, the three-dimensional shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape of the welded portion 201 can be determined correctly.
  • step (steps S18 and S23 in FIG. 10A) in which the first determination unit 28 determines whether the shape of the welded portion 201 is good or bad further includes the following substeps.
  • a substep (substep SA in FIG. A sub-step (sub-step SB in FIG. 10B) of identifying the number and size of defects and the location of the shape defect with respect to the weld location 201, and a sub-step (sub-step SC in FIG. 10B) of identifying the type of shape defect. .
  • the first determination unit 28 determines whether the shape of the welded portion 201 is good or bad based on the determination results and identification results of the respective substeps SA to SC.
  • FIG. 1 shows an example in which both the welding torch 11 (welding head 11) and the shape measuring unit 21 are attached to the robot 16, the robot 16 to which the welding torch 11 (welding head 11) is attached Alternatively, another robot (not shown) to which the shape measuring unit 21 is attached may be provided. In that case, various data are transmitted to the data processing unit 23 from another robot control unit (not shown) that controls the operation of another robot.
  • the first learning data set generation unit 26A shown in the embodiment classifies the sample shape data for each material and shape of the workpiece 200, and performs data extension processing on the classified sample shape data to generate a plurality of first learning data sets. Generating a dataset.
  • the first learning data set generation unit 26A does not have to have the classification function.
  • the judgment model generating section 27 may not have the function of generating a judgment model for each material and shape of the workpiece 200 .
  • the function of the first learning data set generation unit 26A and the function of the second learning data set generation unit 26B may be interchanged. That is, the first learning data set generator 26A may generate a plurality of types of first learning data sets with different data density or resolution conversion ratios based on the sample shape data.
  • the second learning data set generation unit 26B classifies the first learning data sets according to the material and shape of the workpiece 200, and generates a plurality of second learning data sets based on the classified second learning data sets. good too.
  • the processing executed by the first learning data set generation unit 26A and the second learning data set generation unit 26B can be roughly classified into the following three. That is, classifying the data according to the material and shape of the workpiece 200, extending the original data, changing the data density of the original data, or changing the resolution. These three processes may be implemented by different functional blocks, or may be implemented by the same functional block. In either case, it goes without saying that each function is realized by executing predetermined software on the hardware of the data processing unit 23, particularly on the CPU 23a and the GPU 23b.
  • the appearance inspection apparatus of the present disclosure can accurately evaluate the three-dimensional shape of the welded part even when the inspection conditions are changed, it is suitable for the appearance inspection of works including various types of welded parts. Especially useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

外観検査装置２０は、溶接箇所２０１の三次元形状を計測する形状計測部２１と、形状計測部２１で取得されたサンプル形状データ及び形状データを処理するデータ処理部２３と、を備えている。データ処理部２３は、サンプル形状データに基づいて複数の第１学習データセットを生成する第１学習データセット生成部２６Ａと、複数の第１学習データセットに基づいて複数の第２学習データセットを生成する第２学習データセット生成部２６Ｂと、複数の第２学習データセットを用いて複数の判定モデルを生成する判定モデル生成部２７と、形状データと一の判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２８を備えている。

Description

外見検査装置、溶接システム及び溶接箇所の外観検査方法
　本開示は、外見検査装置、溶接システム及び溶接箇所の外観検査方法に関する。
　近年、機械学習で強化された判定モデルを用いて、溶接箇所等の外観検査を行い、形状の良否を判定することが広まりつつある。
　例えば、特許文献１には、形状計測部と画像処理部と学習データセット生成部と判定モデル生成部と第１判定部とを備えた溶接箇所の外観検査装置が提案されている。
　形状計測部は溶接箇所の形状を計測し、画像処理部は、計測された形状データに基づいて溶接箇所の画像データを生成する。学習データセット生成部は、複数の画像データをワークの材質及び形状毎に分類するとともに、データ拡張して複数の学習データセットを生成する。判定モデル生成部は、複数の学習データセットを用いて溶接箇所の形状の判定モデルをワークの材質及び形状毎に生成する。第１判定部は、画像処理部から読み出された画像データと判定モデルとに基づいて溶接箇所の形状の良否を判定する。
国際公開第２０２０／１２９６１７号
　ところで、実際のワークの生産加工現場では、外観検査装置の検査条件が適宜変更される。例えば、溶接線に沿って溶接箇所を検査する際の検査速度やセンサの計測周波数、また、センサの計測分解能等が加工設備の使用者の目的に合わせ最適な条件となるように逐次変更される。
　このように検査条件が変更されるのは、ワークの生産タクトタイムや検査精度が検査条件によって大きく変化するからである。例えば、生産タクトタイムを重視する場合、検査速度を高めることにより短い生産タクトタイムで検査できる。一方で、センサの計測分解能が粗くなるため、センサで取得した溶接箇所の三次元形状も粗くなる。このため、細かな溶接不良を検出することができず、検査精度が低下する。
　また、検査精度を重視する場合、検査速度を遅くすることで計測分解能を細かくする。一方で、検査速度を遅くなるため、生産タクトタイムが長くなる。
　また、検査条件は検査するワークや溶接箇所の状況によっても変更される。例えばワークの形状が湾曲しているか直線状かによって、検査速度を変化させることがある。また、細かな欠陥も許されない加工品では、精度の高い検査が要求される。この場合、生産タクトタイムを犠牲にしても計測分解能を高くすることが行われる。
　また、検査対象となるワークの材質や溶接箇所の形状には多数の種類があり、各々の溶接箇所の形状等に適合させるように検査条件が調整される。
　しかし、例えば、センサの計測分解能が変化した場合、同じ溶接箇所の三次元形状を計測しても、計測結果が異なる。このため、判定モデルに入力される溶接箇所の形状データの特徴と、事前に機械学習した形状データの特徴が一致せず、高精度の外観検査が行えない。
　さらに、形状の特徴を検出するための機械学習には、分解能毎に数千～数万単位の膨大な形状データが必要である。複数種類の分解能に対応させて、機械学習のための形状データを取得することは、実用上困難である。
　本開示はかかる点に鑑みてなされたもので、その目的は、検査条件が変更された場合であっても、溶接箇所の三次元形状を精度良く評価できる外観検査装置、溶接システム及び溶接箇所の外観検査方法を提供することにある。
　上記目的を達成するため、本開示に係る外観検査装置は、ワークの溶接箇所の外観を検査する外観検査装置であって、ロボットに取り付けられ、溶接線に沿って前記溶接箇所の三次元形状を計測する形状計測部と、前記形状計測部で取得された形状データを処理するデータ処理部と、を少なくとも備え、前記データ処理部は、前記形状計測部で予め取得されたサンプル形状データのノイズ除去処理を少なくとも行う形状データ処理部と、前記サンプル形状データに基づいて複数の第１学習データセットを生成する第１学習データセット生成部と、複数の前記第１学習データセットのそれぞれに基づいて、複数の第２学習データセットを生成する第２学習データセット生成部と、複数の前記第２学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを複数種類生成する判定モデル生成部と、前記形状データ処理部で処理された前記形状データと前記判定モデル生成部で生成された前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を少なくとも備えたことを特徴とする。
　本開示に係る溶接システムは、前記ワークを溶接する溶接装置と、前記外観検査装置と、を備え、前記溶接装置は、前記ワークに入熱するための溶接ヘッドと、前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする。
　本開示に係る溶接箇所の外観検査方法は、前記外観検査装置を用いた溶接箇所の外観検査方法であって、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記サンプル形状データを取得するステップと、前記第１学習データセット生成部が、前記サンプル形状データに基づいて複数の前記第１学習データセットを生成するステップと、前記第２学習データセット生成部が、複数の前記第１学習データセットに基づいて複数の前記第２学習データセットを生成するステップと、前記判定モデル生成部が、複数の前記第２学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための前記判定モデルを複数種類生成するステップと、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得するステップと、前記第１判定部が、前記形状データ処理部で処理された前記形状データと前記判定モデル生成部で生成された前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定するステップと、を少なくとも備え、前記第１判定部で使用される前記判定モデルは、前記形状データ処理部で処理された前記形状データのデータ密度に最も近いデータ密度を有する前記第２学習データセットに基づいて生成されるか、または前記形状データ処理部で補正された前記形状データの分解能に最も近い分解能を有する前記第２学習データセットに基づいて生成されていることを特徴とする。
　本開示によれば、検査条件が変更された場合であっても、溶接箇所の三次元形状を精度良く評価できる。
図１は、実施形態に係る溶接システムの構成を示す模式図である。 図２は、ロボット処理部のハードウェア構成を示す模式図である。 図３は、外観検査装置の機能ブロック図である。 図４は、形状計測部による溶接ビードの形状計測の様子を示す模式図である。 図５Ａは、センサ制御部のハードウェア構成を示す模式図である。 図５Ｂは、データ処理部のハードウェア構成を示す模式図である。 図６Ａは、溶接箇所の不良モードの一例を示す平面模式図である。 図６Ｂは、図６ＡのＶＩＢ－ＶＩＢ線での断面模式図である。 図６Ｃは、図６ＡのＶＩＣ－ＶＩＣ線での断面模式図である。 図６Ｄは、図６ＡのＶＩＤ－ＶＩＤ線での断面模式図である。 図６Ｅは、図６ＡのＶＩＥ－ＶＩＥ線での断面模式図である。 図７Ａは、第１学習データセットの作成手順の第１例を示す模式図である。 図７Ｂは、第１学習データセットの作成手順の第２例を示す模式図である。 図７Ｃは、第１学習データセットの作成手順の第３例を示す模式図である。 図８Ａは、第２学習データセットの作成手順の第１例を示す模式図である。 図８Ｂは、第２学習データセットの作成手順の第２例を示す模式図である。 図８Ｃは、第２学習データセットの作成手順の第３例を示す模式図である。 図８Ｂは、第２学習データセットの作成手順の第４例を示す模式図である。 図９は、判定モデルの生成手順のフローチャートである。 図１０Ａは、溶接箇所の外観検査手順のフローチャートである。 図１０Ｂは、溶接ビードの形状の良否判定手順のフローチャートである。 図１１は、分解能変換補正における形状データの座標点の導出手順を示す概念図である。 図１２は、加減速区間における分解能変換補正前後の形状データの座標点位置の変化を示す概念図である。 加減速区間におけるロボットの速度制御関数の一例を示す模式図である。
　以下、本開示の実施形態を図面に基づいて説明する。なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものではない。
　（実施形態）
　［溶接システムの構成］
　図１は、本実施形態に係る溶接システムの構成の模式図を示し、溶接システム１００は、溶接装置１０と外観検査装置２０とを有している。
　溶接装置１０は、溶接トーチ１１とワイヤ送給装置１３と電源１４と出力制御部１５とロボット１６とロボット制御部１７とを有している。溶接トーチ１１に保持された溶接ワイヤ１２に電源１４から電力が供給されることで、溶接ワイヤ１２の先端とワーク２００との間にアークが発生し、ワーク２００が入熱されてアーク溶接が行われる。なお、溶接装置１０は、溶接トーチ１１にシールドガスを供給するための配管やガスボンベ等の別の構成部品や設備を有しているが、説明の便宜上、これらの図示及び説明を省略する。なお、電源１４は溶接電源とも言う。
　出力制御部１５は電源１４及びワイヤ送給装置１３に接続されて、所定の溶接条件に従って、溶接トーチ１１の溶接出力、言い換えると、溶接ワイヤ１２に供給される電力及び電力供給時間を制御している。また、出力制御部１５は、ワイヤ送給装置１３から溶接トーチ１１に送給される溶接ワイヤ１２の送給速度及び送給量を制御している。なお、溶接条件は図示しない入力部を介して直接、出力制御部１５に入力されてもよいし、別途、記録媒体等から読み出された溶接プログラムから選択されるようにしてもよい。
　ロボット１６は公知の多関節軸ロボットであり、先端に溶接トーチ１１を保持するとともに、ロボット制御部１７に接続されている。ロボット制御部１７は、溶接トーチ１１の先端、言い換えると、溶接トーチ１１に保持された溶接ワイヤ１２の先端が所定の溶接軌跡を描いて、所望の位置に移動するようにロボット１６の動作を制御している。
　図２は、ロボット処理部のハードウェア構成の模式図を示し、ロボット制御部１７は、ＣＰＵ（Central Processing Unit）１７ａとドライバＩＣ（Driver Integrated Circuit）１７ｂとＲＡＭ（Random Access Memory）１７ｃとＩＣ（Integrated Circuit）１７ｄとを少なくとも備えている。
　通常の動作では、ロボット１６に設けられた複数の関節軸にそれぞれ設けられた回転検出器（図示せず）の出力信号をＩＣ１７ｄが受信する。当該出力信号は、ＩＣ１７ｄで信号処理された後、ＣＰＵ１７ａに入力される。ＣＰＵ１７ａは、ＩＣ１７ｄから入力された信号と、ＲＡＭ１７ｃに保存された所定のプログラムに設定された関節軸の回転数とに基づいて、ドライバＩＣ１７ｂに制御信号を送信する。ドライバＩＣ１７ｂは、ＣＰＵ１７ａからの制御信号に基づいて、関節軸に接続されたサーボモータ（図示せず）の回転を制御する。
　また、後で述べるように、外観検査装置２０において、データ処理部２３の第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、その判定結果を受け取ったロボット制御部１７のＣＰＵ１７ａはロボット１６の動作を停止させるか、また溶接トーチ１１が所定の初期位置に来るようにロボット１６を動作させる。
　また、出力制御部１５もロボット制御部１７と同様の構成を備えている。すなわち、出力制御部１５は、ＣＰＵ１５ａとドライバＩＣ１５ｂとＲＡＭ１５ｃとＩＣ１５ｄとを少なくとも備えている。
　通常の動作では、電源１４の出力に対応する信号をＩＣ１５ｄが受信する。当該信号は、ＩＣ１５ｄで信号処理された後、ＣＰＵ１５ａに入力される。ＣＰＵ１５ａは、ＩＣ１５ｄから入力された信号と、ＲＡＭ１５ｃに保存された所定のプログラムに設定された電源１４の出力とに基づいて、ドライバＩＣ１５ｂに制御信号を送信する。ドライバＩＣ１５ｂは、ＣＰＵ１５ａからの制御信号に基づいて、電源１４の出力、ひいては溶接トーチ１１の溶接出力を制御する。
　また、後で述べるように、外観検査装置２０において、第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、その判定結果を受け取った出力制御部１５のＣＰＵ１５ａは電源１４の出力を停止させる。これにより、溶接トーチ１１の溶接出力が停止される。
　なお、出力制御部１５及びロボット制御部１７ともに、図２に示す以外の構成部品を備えていてもよい。例えば、記憶デバイスとして、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）を備えていてもよい。
　外観検査装置２０は、形状計測部２１とセンサ制御部２２とデータ処理部２３とを有しており、形状計測部２１がロボット１６または溶接トーチ１１に取り付けられて、ワーク２００の溶接箇所２０１の形状を計測する。外観検査装置２０の構成については後で詳述する。
　なお、図１では、溶接装置１０としてアーク溶接を行うアーク溶接装置を例示しているが、特にこれに限定されるものではない。例えば、溶接装置１０がレーザ溶接を行うレーザ溶接装置であってもよい。その場合、溶接トーチ１１に代わって、光ファイバ（図示せず）を介してレーザ発振器（図示せず）に接続されたレーザヘッド（図示せず）がロボット１６に取り付けられ保持される。また、以降の説明において、溶接トーチ１１とレーザヘッドとを総称して溶接ヘッド１１と呼ぶことがある。
　［外観検査装置の構成］
　図３は、外観検査装置の機能ブロック図であり、図４は、形状計測部による溶接ビードの形状計測の様子を示す模式図である。図５Ａは、センサ制御部のハードウェア構成の模式図を示し、図５Ｂは、データ処理部のハードウェア構成の模式図を示す。
　形状計測部２１は、例えば、ワーク２００の表面を走査可能に構成されたレーザ光源２１ａ（図４参照）と、ワーク２００の表面に投影されたレーザ光線の反射軌跡（以下、形状線と呼ぶことがある。）を撮像するカメラ（図示せず）または受光センサアレイ２１ｂ（図４参照）とで構成された三次元形状計測センサである。
　図４に示すように、形状計測部２１によって、溶接箇所２０１及びその周囲を含む所定の領域をレーザ光（出射光）でスキャンし、出射光がワーク２００の表面で反射された反射光を受光センサアレイ２１ｂで撮像することにより、溶接箇所２０１の三次元形状が計測される。なお、溶接箇所２０１は、溶接プログラム等により予め設定された溶接線に沿った方向に沿って形成される、いわゆる溶接ビードである。　なお、以降の説明において、当該溶接線に沿った方向をＹ方向と呼ぶことがある（図６Ａ参照）。一方、溶接箇所２０１が形成されるワーク２００の表面においてＹ方向と直交する方向をＸ方向と呼ぶことがある。また、ワーク２００の表面を基準とした溶接箇所２０１の高さ方向をＺ方向と呼ぶことがある。Ｚ方向は、Ｘ方向及びＹ方向とそれぞれ直交している。
　なお、本願明細書において、「直交」または「平行」あるいは「同じ」とは、溶接システム１００を構成する各部品の製造公差や組立公差やワーク２００の加工公差、さらにロボット１６の移動速度のばらつき等を含んで、直交または平行あるいは同じと言う意味である。比較対象同士が厳密な意味で直交または平行あるいは同じであることまでを意味するものではない。
　図４に示す例で言えば、レーザ光源２１ａから出射された出射光は、溶接箇所２０１の幅方向、この場合はＸ方向に沿って、複数点に照射される。複数点に照射されたレーザ光のそれぞれが反射されて、反射光が受光センサアレイ２１ｂで撮像される。また、ロボット１６に保持された形状計測部２１は、Ｙ方向に沿って、所定の速度で移動する、移動中に所定の時間間隔で出射光が溶接箇所２０１及びその周囲に照射され、その都度、反射光が受光センサアレイ２１ｂで撮像される。
　なお、前述したように、形状計測部２１は溶接箇所２０１だけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、後述するスパッタ２０４やスマット２０６（図６Ａ参照）の有無を評価するためである。
　ここで、「計測分解能」とは、形状計測部２１で計測された形状データにおいて、互いに隣り合う計測点間の距離を言う。例えば、Ｘ方向の計測分解能は、互いに隣り合う計測点間のＸ方向に沿った距離である。Ｘ方向の計測分解能は、形状計測部２１の性能、主には、受光センサアレイ２１ｂの性能、具体的には、受光センサアレイ２１ｂに含まれる個々のセンサのＸ方向のサイズと、センサ間距離に応じて設定される。
　計測分解能は、Ｘ方向、Ｙ方向及びＺ方向のそれぞれに設定される。後で述べるように、Ｙ方向の計測分解能はロボット１６の移動速度に応じて、または、受光センサアレイ２１ｂのサンプリング周波数に応じて変化する。
　また、単に「分解能」と言う場合、当該分解能は、形状計測部２１で取得された溶接箇所２０１の複数の点群データのうち、互いに隣り合う座標点間の間隔を言う。後で述べるように、溶接箇所２０１の形状に応じて、形状データは再構築される。再構築前の形状データの分解能は、前述した計測分解能と同じである。一方、再構築後の形状データの分解能は、計測分解能と異なることがある。本願明細書に示す例では、形状データのＸ方向分解能は、Ｘ方向の計測分解能と同じである。一方、形状データのＹ方向分解能は、Ｙ方向の計測分解能と異なる場合がある。分解能は、Ｘ方向、Ｙ方向及びＺ方向のそれぞれに設定される。
　図５Ａに示すように、センサ制御部２２は、ＣＰＵ２２ａとＲＡＭ２２ｂとを少なくとも備えている。センサ制御部２２において、ＣＰＵ２２ａは、形状計測部２１に制御命令を送信し、形状計測部２１の動作を制御する。ＣＰＵ２２ａから形状計測部２１に送信される制御命令には、例えば、形状計測部２１による検査条件や計測開始命令や計測停止命令等がある。ＲＡＭ２２ｂには、予め設定された検査条件が保存されている。なお、他のデータが保存されていてもよい。また、センサ制御部２２は、図５Ａに示す以外の構成部品を備えていてもよい。例えば、記憶デバイスとして、ＲＯＭやＨＤＤを備えていてもよい。
　データ処理部２３は、形状計測部２１で取得された形状線の点群データを形状データとして受信し、これを処理する。
　また、図３に示すように、データ処理部２３は複数の機能ブロックで構成される。具体的には、形状データ処理部２４と第１記憶部２５と第１学習データセット生成部２６Ａと第２学習データセット生成部２６Ｂと判定モデル生成部２７と第１判定部２８と通知部２９とを有している。
　また、図５Ｂに示すように、データ処理部２３は、ハードウェアとして、ＣＰＵ２３ａとＧＰＵ（Graphics Processing Unit）２３ｂとＲＡＭ／ＲＯＭ２３ｃとＩＣ２３ｄと入力ポート２３ｅと出力ポート２３ｆとデータバス２３ｈとを少なくとも備えている。また、データ処理部２３は、ディスプレイ２３ｇを備えている。
　図５Ｂに示すデータ処理部２３のハードウェア構成は、公知のパーソナルコンピュータ（ＰＣ）の構成と同様である。また、図３に示すデータ処理部２３内の複数の機能ブロックは、図５Ｂに示す各種デバイス、特にＣＰＵ２３ａやＧＰＵ２３ｂにおいて所定のソフトウェアを実行することで実現される。なお、図５Ｂでは、１本のデータバス２３ｈに各種デバイスが接続された例を示しているが、通常のＰＣと同様に、複数のデータバスが用途に応じて設けられていてもよい。
　データ処理部２３において、形状データ処理部２４は、形状計測部２１で取得された形状データのノイズ除去機能を有している。ワーク２００の材質によって形状計測部２１から出射されたレーザ光線の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、形状データに影響を与える場合がある。このため、形状データ処理部２４では、ノイズのフィルタリング処理をソフトウェア上で行うように構成されている。なお、形状計測部２１自体に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の形状データを得ることができる。また、このことにより、後で述べる学習データセットの判定モデルの品質が高められ、溶接箇所２０１の形状良否を高精度で判定できる。
　形状データ処理部２４のノイズ除去機能は、主にデータ処理部２３のＩＣ２３ｄで実現される。ただし、特にこれに限定されず、例えば、データ処理部２３のＧＰＵ２３ｂで形状データのノイズ除去を行ってもよい。
　形状データ処理部２４は、所定の基準面、例えば、ワーク２００の設置面に対する溶接箇所２０１のベース部分の傾斜や歪み等を、点群データを統計処理することで補正する。これ以外に、例えば、溶接箇所２０１の形状や位置を強調するために、溶接箇所２０１の周縁を強調するエッジ強調補正を行うこともある。
　また、形状データ処理部２４は、ワーク２００の形状に応じて、また、溶接箇所２０１の形状の検査項目に応じて、形状データの特徴量を抽出する。この場合、１つの形状データに対して、１つまたは複数の検査項目に対応する１つまたは複数の特徴量が抽出される。また、抽出された特徴量は形状データに紐付けされて、以降のデータ処理で利用される。ここで、特徴量とは、形状データから抽出される特定の諸元であり、代表的なものとして、溶接箇所２０１の長さや幅や基準面からの高さ、また、溶接箇所２０１内の複数の点間での長さや幅や高さの差分等がある。ただし、これらに特に限定されず、各検査項目で判定される内容に応じて、適宜、特徴量が設定される。
　また、形状データ処理部２４は、取得された形状データに対して分解能の変換補正が行えるように構成されている。形状データの分解能変換補正については後で詳述する。
　形状データ処理部２４のエッジ強調補正処理機能や特徴量抽出機能や分解能変換補正機能は、主にデータ処理部２３のＣＰＵ２３ａで実現される。ただし、特にこれに限定されず、例えば、ＩＣ２３ｄまたはＧＰＵ２３ｂがエッジ強調補正処理の一部または全部を行ってもよい。
　第１記憶部２５は、評価対象となるワーク２００の溶接前までに処理された別のワーク２００における溶接箇所２０１の形状データを保存している。また、第１記憶部２５は、実際のワーク２００を溶接する前に実験的に予め取得された形状データを保存している。以降の説明において、これらの予め取得した形状データをサンプル形状データと呼ぶことがある。
　サンプル形状データは、評価対象となる溶接箇所２０１の形状が良好である良品データと、形状に何らかの不具合がある不良品データとを含んでいる。不良品データは、形状不良の個数や位置を変えた状態で複数種類の形状不良がラベル付けされた状態に加工され、加工結果が複数の学習データとして利用される。ラベル付けがなされた不良品データと良品データとをまとめて、データ拡張処理前の学習データセットとする。なお、別のワーク２００における溶接箇所２０１の形状データと評価対象となるワーク２００での溶接箇所２０１の形状データとが、同様の形状及び材質を有するワーク２００内の同様の溶接箇所２０１に対して取得されていることは言うまでもない。
　また、サンプル形状データを取得するにあたって、形状計測部２１による検査条件は固定されている。ただし、ワーク２００の材質毎あるいはワーク２００の形状毎に検査条件が変更されてもよい。また、第１記憶部２５には、後で述べる第１学習データセットや第２学習データセットや判定モデルも保存されている。
　第１学習データセット生成部２６Ａは、形状データ処理部２４で生成され、第１記憶部２５に保存されたサンプル形状データを読み出して、ワーク２００の材質や形状毎に分類する。また、溶接箇所２０１の検査項目毎に分類してもよい。この場合、同じ学習データが異なる検査項目にそれぞれ含まれていてもよい。また、第１学習データセット生成部２６Ａは、分類されたサンプル形状データに基づいて、第１学習データセットを生成する。具体的には、第１学習データセット生成部２６Ａは、サンプル形状データに紐付けされた特徴量に基づいて、第１学習データセットを生成する。第１学習データセットは、ワーク２００の材質や形状毎に生成される。例えば、ワーク２００の材質と形状とをマトリックスで整理して分類のカテゴリーを決定し、このカテゴリーに対応させて第１学習データセットを分類する。なお、ワーク２００の形状の例として、板材の突き合わせや重ね合わせ、Ｔ字継手や十字継手等が挙げられる。
　また、第１学習データセット生成部２６Ａは、サンプル形状データに対してデータ拡張処理を行って第１学習データセットを生成する。具体的には、サンプル形状データに紐付けされた１つまたは複数の特徴量を変化させるか、または、サンプル形状データにおける形状不良箇所の位置を変更する。あるいは前述した両方の処理を実行することで、データ拡張処理が実行される。つまり、１つのサンプル形状データから複数種類の第１学習データセットが生成される。
　第２学習データセット生成部２６Ｂは、第１学習データセット生成部２６Ａで生成され、第１記憶部２５に保存された第１学習データセットを読み出して、第２学習データセットを生成する。第２学習データセットは、後述する判定モデルに入力され、判定モデルの判定精度を向上させるための学習データの群である。
　第２学習データセットは、第１学習データセットのデータ密度をいくつかの異なる比率で変化させて生成される。あるいは、第２学習データセットは、第１学習データセットの分解能をいくつかの異なる比率で変化させて生成される。つまり、第１記憶部２５に保存された第１学習データセットの種類や個数に応じた複数組の第２学習データセットが、第２学習データセット生成部２６Ｂで生成される。なお、「データ密度」とは、形状計測部２１で取得された溶接箇所２０１や第１学習データセットや第２学習データセットにおける複数の点群データの密度をいう。本願明細書では、主にＸ方向とＹ方向とを面内に含むＸＹ平面内の点群データの密度を扱う。図３に示す例では、第１学習データセットのＸ方向、Ｙ方向及びＺ方向の分解能をそれぞれ変化させた第２学習データセットを生成し、これらのそれぞれに番号が付与されて第１記憶部２５に保存される。なお、第１学習データセット及び第２学習データセットの生成手順については後で詳述する。
　第１学習データセット生成部２６Ａ及び第２学習データセット生成部２６Ｂの機能は、主にデータ処理部２３のＣＰＵ２３ａで実現される。ただし、特にこれに限定されず、例えば、ＧＰＵ２３ｂが当該機能の一部を実現するようにしてもよい。
　判定モデル生成部２７は、ワーク２００の材質や形状毎に設定された溶接箇所２０１の検査項目に関し、それぞれの項目で設定された判定基準に基づいて、判定モデルを生成する。生成された判定モデルは、それぞれ重み付けがなされた複数の識別器の組み合わせ等で表現される。判定モデルは、例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等で表現された公知の物体検出用のアルゴリズムである。
　また、判定モデル生成部２７は、ワーク２００の材質や形状毎に生成された各判定モデルに対して、同じデータ密度を有するか、または同じ分解能を有する複数の第２学習データセットのうち、ワーク２００の材質や形状毎に第２学習データセットを入力する。さらに、学習を繰り返すことで、各判定モデルの判定精度を向上させている。この場合、例えば、図３に示す分類のカテゴリーに応じて判定モデルが生成される。なお、判定モデルの正解率や再現率や精度が予め設定された値を満足するまで、学習が繰り返し行われる。図３に示す例では、ワーク２００の材質及び形状毎に分解能を変化させた第２学習データセットを複数組準備する。これらのそれぞれに対応して判定モデルが生成され、判定モデルのそれぞれに番号が付与されて第１記憶部２５に保存される。
　また、判定モデルを生成するにあたって、ワーク２００の材質や形状に応じて、サンプル形状データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。同様に、溶接箇所２０１の検査項目毎に判定モデルを生成する場合、検査項目に応じて、サンプル形状データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。
　第１判定部２８は、形状データ処理部２４でノイズ除去やエッジ強調等の処理がなされた溶接箇所２０１の形状データと、判定モデル生成部２７で生成された判定モデルのうち、選択された検査項目に対応する判定モデルと基づいて、溶接箇所２０１の形状が良好であるか否か、言い換えると、所定の判定基準を満たすか否かが判定される。また、当該判定モデルを生成するのに用いられる第２学習データセットは、形状データ処理部２４で取得された溶接箇所２０１の形状データとデータ密度が同じであるかまたは分解能が同じである。言い換えると、当該第２学習データセットを生成するのに用いられる第１学習データセットは、形状データ処理部２４で取得された溶接箇所２０１の形状データとデータ密度が同じ値になるように選択されている。あるいは、当該第２学習データセットを生成するのに用いられる第１学習データセットは、形状データ処理部２４で取得された溶接箇所２０１の形状データと分解能が同じ値になるように選択されている。
　なお、溶接箇所２０１の形状の良否判定を行う前に、第２学習データセットを用いた判定モデルの学習強化が行われる。具体的には、選択された検査項目に関し、第２学習データセット生成部２６Ｂで生成された第２学習データセットを、判定モデル生成部２７で生成された判定モデルに入力する。
　判定結果を溶接作業者等の人手で確認し、溶接不良の種類が学習データと合致してしない場合は、アノテーションを実行する、なお、アノテーションとは、実際の溶接箇所２０１を人の目で観察して特定した形状不良の有無及び種類を形状データの対応箇所にタグ付けする工程を言う。このアノテーションは基本的に人の手で行われる。
　アノテーションを実行することで、学習データにおいて、形状不良の有無や形状不良の種類が再度見直される。この実行結果に基づいて、第２学習データセットの再作成あるいは新規作成が行われ、さらに、アノテーション済の第２学習データセットを用いて判定モデルの再学習が実行される。これらの作業を１回または複数回繰り返し実行することで、判定モデルが学習強化される。
 
　ただし、後述するように、形状不良のモードは多岐に亘るため、実際には、形状データに含まれる形状不良が、どのような不良モードであるのかが確率で算出され、所定以上の確率であれば、形状不良が存在すると判定され、かつその種類が特定される。これについては後で詳述する。
　例えば、学習データにアノテーションされた形状不良の種類と、溶接箇所２０１の形状データに含まれる形状不良の種類との一致度が、確率で判定された上で、当該確率が所定のしきい値を超えた場合に、溶接箇所２０１の形状データに含まれる形状不良の種類が特定される。
　第１判定部２８からは以下の情報が出力される。つまり、形状不良の有無と形状不良がある場合は、その種類と個数とサイズ、さらに溶接箇所２０１における位置が出力される。さらに、予め定めた判定基準に基づくしきい値を超えて形状不良が存在する場合に、溶接箇所２０１の形状が良好であるか、または不良であるかの結果が出力される。なお、当該しきい値は、形状不良の種類やサイズによって異なる。例えば、後で述べるスパッタ（図６Ａ参照）に関しては、直径５μｍ以上のスパッタが５個以上存在した場合、溶接箇所２０１の形状が不良であると判定される。穴あき（図６Ａ，６Ｃ参照）に関しては、１個以上存在した場合、溶接箇所２０１の形状が不良であると判定される。なお、これらはあくまで一例であり、前述した判定基準としきい値に応じて適宜変更されうる。
　なお、形状不良の判定のしきい値や表示形式は任意に設定できる。例えば、スパッタ２０４であれば赤色に、穴あき２０２（図６Ａ参照）であれば黄色に表示してもよい。また、検査項目としてスパッタ２０４の有無及び上限個数が設定されている場合に、スパッタ２０４であると認識された部分を背景と別色で表示するとともに、スパッタ２０４である確率を色分けして表示させてもよい。これにより、溶接作業者またはシステム管理者は一目で該形状不良箇所の有無や分布度合いを容易に認識することができる。例えば、前述した一致度が３０％以下の確率であれば緑色で表示し、７０％以上の確率であれば赤色で表示させてもよい。なお、この場合の確率範囲の区分けや対応する色の設定等も任意に設定できることは言うまでもない。また、スパッタ２０４のサイズも形状良否の判定基準に含まれる場合は、形状データに基づいて算出されたスパッタ２０４のサイズと判定基準とを比較して、形状良否の判定がなされることは言うまでもない。　なお、溶接箇所２０１の形状の検査項目は多岐に亘るため、検査項目毎に形状の良否判定がなされ、判定が必要なすべての検査項目をクリアした場合にのみ、最終的な良品判定がなされる。
　通知部２９は、第１判定部２８での判定結果を出力制御部１５やロボット制御部１７や溶接作業者またはシステム管理者に通知するように構成されている。例えば、データ処理部２３のディスプレイ２３ｇが通知部２９に相当する。判定結果は、ディスプレイ２３ｇか、または溶接システム１００の図示しない表示部に表示されるか、あるいは、図示しないプリンターから出力されるか、あるいはその両方を通じて通知されてもよい。単に、最終的な判定結果を通知するのみであれば、図示しない音声出力部から音声として出力されるようにしてもよい。なお、通知部２９から通知される判定結果は、最終的な判定だけでなく、検査項目毎の判定結果が通知されるのが好ましい。そのようにすることで、溶接作業者またはシステム管理者が、溶接箇所２０１においてどのような不具合が生じたのかを具体的に知ることができる。
　なお、第１判定部２８での判定結果が肯定的、つまり、溶接箇所２０１の形状が良好であると判定された場合、溶接システム１００は、連続して同じワーク２００内の次の溶接箇所２０１を溶接するか、あるいは、次のワーク２００における同様の溶接箇所２０１を溶接するように構成されている。
　一方、第１判定部２８での判定結果が否定的、つまり、溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接トーチ１１の溶接出力を停止し、ロボット制御部１７はロボット１６の動作を停止させるか、または溶接トーチ１１が所定の初期位置に来るようにロボット１６を動作させる。
　［判定モデルの生成手順］
　図６Ａ～６Ｅは、溶接箇所に生じた形状不良箇所の一例を示し、図７Ａ～７Ｃは、第１学習データセットの生成手順の第１例～第３例を示す模式図であり、図８Ａ～８Ｄは、第２学習データセットの作成手順の第１例～第４例を示す模式図である。
　なお、図６Ａ～６Ｅは、突き合わせ溶接時の溶接箇所２０１の形状を示しており、図６Ａは平面形状を、図６Ｂ～６Ｅは図６ＡのＶＩＢ－ＶＩＢ線ないしＶＩＥ－ＶＩＥ線での断面図をそれぞれ示している。また、図８Ａ～８Ｄでは、説明の便宜上、溶接箇所２０１やスパッタ２０４の周縁部のみに座標点を白丸で付している。
　図９は、判定モデルの生成手順のフローチャートを示し、以下、このフローチャートに則って判定モデルの生成手順を説明する。
　まず、形状計測部２１により、溶接箇所２０１の形状を計測し（ステップＳ１）、サンプル形状データを取得する。
　次に、データ処理部２３は、ロボット１６の移動速度、つまり、形状計測部２１による溶接箇所２０１のＹ方向の走査速度をロボット制御部１７から取得する。データ処理部２３は、さらに、ロボット１６の移動速度に基づいて、形状計測部２１のＹ方向の走査区間を所定の長さの等速区間に分割する。あるいは、形状計測部２１のＹ方向の走査区間を等速区間と加減速区間とに分割する（図７のステップＳ２）。ここで、「等速区間」とは、ロボット１６に取り付けられた形状計測部２１が、Ｙ方向に沿って等速で移動している区間をいう。「加減速区間」とは、ロボット１６に取り付けられた形状計測部２１が、Ｙ方向に沿って加速して、または減速して、あるいは加速と減速の両方を行って移動している区間をいう。
　形状データ処理部２４は、ステップＳ２で分割された区間のうち等速区間のサンプル形状データに対し、前述したエッジ強調補正やノイズ除去等の処理を行う（ステップＳ３）。さらに、ステップＳ３の処理が実行された後のサンプル形状データは、第１記憶部２５に保存される（ステップＳ４）。
　次に、形状データ処理部２４は、ワーク２００に形成された溶接箇所２０１のうち、未計測箇所が残っているか否かを判断する（ステップＳ５）。ステップＳ５の判断結果が否定的であれば、ステップＳ１に戻って、未計測箇所の形状計測を行う。ステップＳ５の判断結果が肯定的であれば、ステップＳ６に進む。必要な箇所をすべて計測し、データ化することで、第１学習データセットや第２学習データセットを生成するのに用いられるサンプル形状データが、必要な数だけ収集される。また、計測、ノイズ除去等の処理が終了した後のサンプル形状データは、第１記憶部２５に保存される。
　第１学習データセット生成部２６Ａは、第１記憶部２５に保存されたサンプル形状データを読み出して、これらをワーク２００の材質や形状毎に分類する。また、分類されたサンプル形状データのそれぞれに対してデータ拡張処理を行い、第１学習データセットを生成する（ステップＳ６）。第１学習データセットの生成手順についてさらに説明する。
　図６Ａ～６Ｅに示すように、ワーク２００にアーク溶接やレーザ溶接を行った場合、その溶接箇所２０１には、溶接条件の設定の不具合や低品質のワーク２００を用いる等によって種々の形状不良が生じうる。例えば、溶接箇所２０１の一部が溶け落ちたり（以下、溶接箇所２０１の一部がワーク２００より溶け落ちてワーク２００に形成された貫通穴を、穴あき２０２と呼ぶことがある）、アンダーカット２０３が生じたりする場合がある。なお、アンダーカット２０３とは、溶接ビードの際の部分がワーク２００の表面よりもへこんでいる状態の不具合部分のことをいう。また、溶接箇所２０１の長さや幅や基準面からの高さが、それぞれの設計値Ｌ，Ｗ，Ｈから許容範囲ΔＬ，ΔＷ，ΔＨを超えて変動する場合がある。また、溶接ワイヤ１２の先端に形成された溶滴（図示せず）がワーク２００に移行する際に溶滴の一部やワーク２００の溶融金属の微粒子が飛び散ってスパッタ２０４が生じたり、ワーク２００が亜鉛めっき鋼板である場合には、溶接箇所２０１から一部が蒸発してピット２０５が生じたり、あるいは、ワーク２００や溶接ワイヤ１２がアルミ系材料である場合には、溶接箇所２０１の近傍にスマット２０６が生じたりする場合がある。
　なお、ピット２０５は、溶接ビードの表面に開口しているものであり、スマット２０６は、溶接ビードの近傍に発生する黒いスス状の付着物であり、上述の穴あき２０２、アンダーカット２０３、スパッタ２０４、等も含めて、それぞれ形状不良のモード（種類）の一つである。
　このように、溶接箇所２０１の形状不良には様々なモードがあり、それぞれに対して判定基準を設けて検査する必要がある。例えば、穴あき２０２やアンダーカット２０３に関しては、それらの有無だけではなく、穴あき２０２等であると同定するための、例えば、溶接箇所２０１の周囲とのコントラスト比または高さの差分等を設定して良否判定を行う必要がある。また、例えば、スパッタ２０４でいえば、その平均径を設定し、平均径が所定値以上のスパッタ２０４が単位面積当たりに存在する個数で良否判定を行う必要がある。しかも、ワーク２００の材質や溶接部位、さらに顧客の要求仕様等に応じて、溶接箇所２０１の検査項目数や形状の良否判定基準は変更または追加される。
　さらに、ワーク２００の材質や形状によって、形状データから形状不良の有無を判定する判定基準が異なってくる。前述したように、ワーク２００の材質によって、レーザ光線の反射率が異なるため、例えば、形状データの輝度レベルやコントラストも変わってくる。また、ワーク２００の形状によっては、同じ長さの直線部を溶接する場合にも、重力等の影響で溶接箇所２０１のビード形状が変化することがある。
　このため、判定モデル生成部２７は、ワーク２００の材質や形状毎にそれぞれ大量の学習データを用いて判定モデルを生成する必要がある。つまり、学習データとして適した溶接箇所２０１の形状データをワーク２００の材質や形状毎に大量に取得する必要がある。しかし、ワーク２００の材質や形状毎に必要なサンプル形状データを予め取得することは、膨大な工数を要し、非効率である。
　そこで、本実施形態では、まず、第１学習データセット生成部２６Ａにおいて、第１記憶部２５から読み出されたサンプル形状データをワーク２００の材質や形状毎に分類し、分類されたサンプル形状データのそれぞれにデータ拡張処理を行って、第１学習データセットを複数生成している。
　例えば、図６Ａに示すように、第１学習データセットとして、元となるサンプル形状データにおいて、特徴量の一つである溶接箇所２０１の長さや位置を変化させた複数のデータを生成している。なお、図６Ａでは、溶接箇所２０１の長さの基準値Ｌから許容範囲ΔＬを超えて短くなっている複数の第１学習データセットを生成した例を示しているが、特にこれに限定されず、長さの基準値Ｌから許容範囲ΔＬを超えて長くなっている第１学習データセットも別途生成している。
　あるいは、図６Ｂに示すように、第１学習データセットとして、元となるサンプル形状データにおいて、穴あき２０２のサイズや位置を変化させた複数のデータを生成している。この場合、特徴量として、基準面からの高さ及び溶接箇所２０１内の複数の点間での当該高さの差分を抽出し、これらを変動させている。また、図６Ｃに示すように、第１学習データセットとして、元となるサンプル形状データにおいて、スパッタ２０４の個数や位置を変化させた複数のデータを生成している。溶接箇所２０１の周囲において同様の特徴量を抽出し、当該特徴量に基づいて第１学習データセットを生成することで、以降で生成される判定モデルを用いて、スパッタ２０４やスマット２０６が所定の許容範囲を超えて存在しているかどうかを判定することができる。
　次に、第２学習データセット生成部２６Ｂは、第１学習データセット生成部２６Ａで生成された第１学習データセットに対して、分解能をいくつかの異なる比率で変化させる。このようにすることで、１組の第１学習データセットから複数組の第２学習データセットが生成される（ステップＳ７）。第２学習データセットの生成手順についてさらに説明する。
　前述したように、溶接箇所２０１の形状によっては、検査速度、つまり、形状計測部２１の走査速度を早め、溶接線に沿った方向の分解能を大きくして形状データを取得し、生産タクトタイムを低減したい場合がある。あるいは、形状計測部２１の走査速度を低く抑え、溶接線に沿った方向の分解能を小さくして形状データを取得し、細かな形状不良を精度良く検出したい場合もある。
　一方、サンプル形状データを取得する際に、検査条件は予め決まった条件に固定されている。つまり、形状計測部２１の計測分解能や計測周波数やＸ方向及びＹ方向への走査速度は、予め決まった値に固定されている。このような場合、サンプル形状データに基づいて生成される第１学習データセットのデータ密度や分解能は、サンプル形状データのそれぞれの値が反映される。つまり、基本的には、サンプル形状データと第１学習データセットとの間でデータ密度や分解能は同じ値となる。また、第１学習データセットにデータ拡張処理を行って得られる第２学習データセットにおいても、データ密度や分解能の値は、サンプル形状データのそれと同じ値となる。
　この場合、第２学習データセットに基づいて生成される判定モデルに、データ密度や分解能が大きく異なる形状データを入力すると、溶接箇所２０１の形状を正しく評価できないおそれがあることは前述した通りである。
　そこで、本実施形態では、第１学習データセットのデータ密度または分解能を複数通り変化させたデータを新たに判定モデルを生成するのに必要な学習データの群である第２学習データセットとして生成している。このようにすることで、検査条件を変えて大量のサンプル形状データを取得せずとも、所望の判定モデルを生成することができる。
　例えば、Ｙ方向の分解能を変化させることで第２学習データセットを生成する。図８Ａに示すように、第１学習データセットの形状が一部湾曲しながらＹ方向に延びる溶接ビードを反映している場合、分解能を変化させた後の第２学習データセットの外形は、第１学習データセットの外形と大きく変化しない。一方、図８Ｂに示すように、第１学習データセットの形状が略楕円形のスパッタ２０４を反映している場合、分解能を変化させた後の第２学習データセットの外形は、第１学習データセットの外形から大きく変化する。なお、実際に第１学習データセットの分解能を変化させるにあたっては、後で述べる分解能変換補正と同様の手法が用いられる。
　また、データ密度を変化させることで第２学習データセットを生成してもよい。多くの場合、第１学習データセットにおいて、所定の間隔でデータを間引いてデータ密度を低下させ、第２学習データセットを生成する。
　通常、サンプル形状データを取得するにあたって、その形状や特徴量を確実に取得する必要がある。このため、計測周波数を高くするか走査速度を低くして形状計測を行うことが多い。一方、このような場合、検査時間がかかるため、実際の加工現場では、走査速度を高めて検査時間を短縮し、生産タクトタイムを低減することが多く行われる。
　このような場合、前述したように分解能を変化させると、座標点を変換させるための演算量が多くなり、ＣＰＵ２３ａ等の処理負荷が大きくなる。また、演算時間がかかり、大量に第２学習データセットを生成するには不向きな場合もある。そこで、分解能を変化させる代わりに、データ密度を低下させて第２学習データセットを生成することも行われる。
　図８Ｃ、８Ｄに示す例では、Ｙ方向に沿って３つおきにデータを抽出し、残りのデータは間引いて第２学習データセットを生成している。ただし、データを間引く間隔は特にこれに限定されない。なお、図８Ｃに示す分解能変化前の第１学習データセットの形状は、図８Ａに示す第１学習データセットの形状に対応している。また、図８Ｄに示す分解能変化前の第１学習データセットの形状は、図８Ｂに示す第１学習データセットの形状に対応している。
　図８Ｃにおいて、データ密度を変化させた後の第２学習データセットの外形が、第１学習データセットの外形と大きく変化しないことは、図８Ａに示すのと同様である。また、図８Ｄにおいて、データ密度を変化させた後の第２学習データセットの外形が、第１学習データセットの外形から大きく変化することは、図８Ｂに示すのと同様である。特に、図８Ｄに示す例では。データ密度を変化させることで、スパッタ２０４の外形が略楕円形から菱形に変化している。このように、分解能を変化させたり、データ密度を変化させたりすることで、第２学習データセットの形状が、もとのサンプル形状データや第１学習データセットの形状と異なってしまうことがある。これは、サンプル形状データの取得時と実際の外観検査時とで、走査速度等が変化することに対応している。言い換えると、第１学習データセットの分解能やデータ密度を変化させることで、第２学習データセットの形状を、実際の検査時に取得される溶接箇所２０１の形状に合わせるように補正している。
　［溶接箇所の外観検査手順］
　図１０Ａは、溶接箇所の外観検査手順のフローチャートを示し、図１０Ｂは、溶接ビードの形状の良否判定手順のフローチャートを示す。
　ステップＳ１１～Ｓ１３までは、図９のステップＳ１～Ｓ３までと同様の手順であるため、説明を省略する、なお、ステップＳ１３において、形状データ処理部２４は、ステップＳ１２で分割された区間のうち選択された区間（以下、選択区間という）における形状データに対し、前述したエッジ強調補正やノイズ除去等の処理を行う。
　次に、データ処理部２３は、ステップＳ３が実行された選択区間が等速区間であるか否かを判断する。この判断は、選択区間におけるロボット１６の速度制御関数が等速、つまり、時間に対して一定の速度であるか否かで判断される（ステップＳ１４）。ロボット１６の速度制御関数は、データ処理部２３の要求に応じて、ロボット制御部１７からデータ処理部２３に送信される。ステップＳ１４の判断結果が否定的である場合はステップＳ２０に進む。
　一方、ステップＳ１４の判断結果が肯定的、つまり、選択区間が等速区間の場合、形状データ処理部２４は、選択区間の形状データと同じ分解能またはデータ密度の第２学習データセットに基づいて生成された判定モデルが第１記憶部２５に保存されているか否かを判断する（ステップＳ１５）。なお、ステップＳ１５は、データ処理部２３における形状データ処理部２４以外の機能ブロックで実行されてもよい。
　ステップＳ１５の判断結果が肯定的であれば、ステップＳ１８に進む。一方、ステップＳ１５の判断結果が否定的、つまり、選択区間の形状データと同じ分解能またはデータ密度の第２学習データセットに基づいて生成された判定モデルが存在しない場合、ステップＳ１６に進む。
　＜選択区間が等速区間の場合＞
　ステップＳ１６において、形状データ処理部２４は、ステップＳ１で取得された形状データのＸ方向の分解能（以下、Ｘ方向分解能という）とＹ方向の分解能（以下、Ｙ方向分解能という）とを算出し、第１記憶部２５に保存する。
　前述したように、Ｘ方向分解能は、互いに隣り合う計測点間のＸ方向に沿った距離に相当する。なお、通常、形状計測部２１によるレーザ光線の走査幅は一定である。また、等速区間におけるＹ方向分解能は、以下に示す式（１）で表現される。
　Ｒｙ＝１０００Ｖ／６０Ｆ＝５０Ｖ／３Ｆ　・・・（１）
　ここで、Ｒｙ（ｍｍ）が選択区間における形状データのＹ方向分解能であり、Ｖ（ｍ／ｍｉｎ）がロボット１６の移動速度であり、Ｆ（Ｈｚ）が形状計測部２１の計測周波数である。
　つまり、Ｙ方向においては、１／Ｆの周期毎に形状が計測される。一方、Ｘ方向においては、レーザ光線の走査幅にわたって、１／Ｆの周期毎に複数の計測点が一度に計測される。なお、通常、形状データのＸ方向分解能は、形状計測部２１における、図示しないカメラまたは受光センサアレイ２１ｂの画素サイズや間隔に応じて決定される。これは、選択区間が等速区間や加減速区間の場合も同様である。
　形状計測部２１のＸ方向の計測分解能と計測周波数Ｆは、データ処理部２３の要求に応じて、センサ制御部２２からデータ処理部２３に送信される。
　ステップＳ１６の実行後、形状データ処理部２４は、選択区間における形状データに対し、分解能変換補正またはデータ密度変換補正を行う（ステップＳ１７）。前述したように、データ密度補正は、サンプル形状データまたは第１学習データセットおいて、所定の比率でデータを間引く補正が大半である。よって、以降の説明では、分解能変換補正について説明する。
　図１０は、分解能変換補正における形状データの座標点の導出手順の概念図を示し、分解能変換補正は、所定の座標点（ｘ，ｙ）のＺ方向の高さに対し、これに隣接する他の座標点（ｘ＋Ｒｘ，ｙ）、（ｘ，ｙ＋Ｒｙ）、（ｘ＋Ｒｘ，ｙ＋Ｒｙ）のそれぞれのＺ方向の高さを用いて行われる。ここで、Ｒｘ（ｍｍ）は、選択区間における形状データのＸ方向分解能である。
　なお、以降の説明において、座標点（ｘ，ｙ）におけるＺ方向の高さ（Ｚ座標）をＺ（ｘ，ｙ）とする。なお、座標点（ｘ，ｙ）における原点は、例えば、溶接箇所２０１の始端部に設定される。この場合、当該始端部近傍のワーク２００の表面を基準として、Ｚ座標Ｚ（ｘ，ｙ）の原点が設定される。
　分解能変換補正は以下の手順により行われる。まず、式（２）、（３）に示すように、Ｘ方向分解能係数ＣｘとＹ方向分解能係数Ｃｙをそれぞれ算出する。
　Ｃｘ＝Ｒｘ／Ｒｘ０　・・・（２）
　Ｃｙ＝Ｒｙ／Ｒｙ０　・・・（３）
　ここで、Ｒｘ０は、サンプル形状データのＸ方向分解能であり、Ｒｙ０は、サンプル形状データのＹ方向分解能である。Ｘ方向分解能Ｒｘ０及びＹ方向分解能Ｒｙ０は、予め第１記憶部２５に保存されている。
　次に、サンプル形状データ取得時の分解能で再構成したＸＹ座標の各点に対し、Ｚ座標としてＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）がそれぞれ式（４）を満たすように算出される。
　Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）＝（１－ｄｘ）×（１－ｄｙ）×Ｚ（ｘ，ｙ）
　　　　　　　　　　　　　　　　＋ｄｘ×（１－ｄｙ）×Ｚ（ｘ＋Ｒｘ，ｙ）
　　　　　　　　　　　　　　　　＋（１－ｄｘ）×ｄｙ×Ｚ（ｘ，ｙ＋Ｒｙ）
　　　　　　　　　　　　　　　　＋ｄｘ×ｄｙ×Ｚ（ｘ＋Ｒｘ，ｙ＋Ｒｙ）　・・・（４）
　ここで、ｎはＸ方向における点群データの各点に対応した変数である。ｎは整数であり、１≦ｎ≦Ｎ（ＮはＸ方向における点群の個数）の関係を満たす。ｍはＹ方向における点群データの各点に対応した変数である。ｍは整数であり、１≦ｍ≦Ｍ（ＭはＹ方向における点群の個数）を満たす。
　ここで、ｄｘは、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＸ方向の距離を座標点（ｘ，ｙ）と座標点（ｘ＋Ｒｘ，ｙ）との間のＸ方向の距離で割った値である。また、ｄｙは、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＹ方向の距離を座標点（ｘ，ｙ）と座標点（ｘ，ｙ＋Ｒｙ）との間のＹ方向の距離で割った値である。
　つまり、図１１に示すｄｘと（１－ｄｘ）との比は、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＸ方向の距離と、座標点（ｘ＋Ｒｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＸ方向の距離との比である。同様に、ｄｙと（１－ｄｙ）との比は、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＹ方向の距離と、座標点（ｘ，ｙ＋Ｒｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＹ方向の距離との比である。
　座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）におけるＺ方向の高さは、座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）の周囲の４点、つまり、再構成前の座標点（ｘ，ｙ）、（ｘ＋Ｒｘ，ｙ）、（ｘ，ｙ＋Ｒｙ）、（ｘ＋Ｒｘ，ｙ＋Ｒｙ）のそれぞれのＺ方向の高さに基づいて導出される。
　選択区間に含まれるすべての点群に対して、式（４）に示す補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）がそれぞれ算出され、形状データの分解能変換補正が完了する。
　ステップＳ１７を実行することで、形状データの分解能は、第１記憶部２５に保存されたサンプル形状データと同じ値になる。つまり、第１記憶部２５には、補正後の形状データの分解能と同じ値のサンプル形状データに基づいて生成された判定モデルが保存されている。
　ステップＳ１７の実行後、ステップＳ１８に進み、分解能変換補正が行われた後の形状データを用いて、第１判定部２８により、選択区間における溶接箇所２０１の形状の良否判定が行われる。ステップＳ１８の詳細については後で説明する。
　ステップＳ１８の実行後、データ処理部２３は、形状データの分割区間のうちで、ステップＳ１３の処理が実行されていない区間があるか否かを判断する（ステップＳ１９）。
　ステップＳ１９の判断結果が否定的な場合は、ステップＳ１３に戻って、ステップＳ１３の処理が実行されていない区間を選択するとともに、ステップＳ１３の処理を実行し、ステップＳ１９の判断結果が肯定的になるまで一連のステップを繰り返し実行する。
　ステップＳ１９の判断結果が肯定的になると、計測された溶接ビードの形状データにノイズ除去処理等の前処理の未実施区間は残っておらず、形状評価が未実施の分割区間が無くなるため、溶接箇所２０１の外観検査を終了する。
　＜選択区間が加減速区間の場合＞
　ステップＳ１４の判断結果が否定的、つまり、選択区間が加減速区間である場合、データ処理部２３は、ステップＳ１１で取得された形状データのＸ方向分解能をセンサ制御部２２から取得し、第１記憶部２５に保存する（ステップＳ２０）。
　次に、形状データ処理部２４は、ステップＳ１１で取得された形状データのＹ方向分解能をロボット１６の速度制御関数に基づいて算出する（ステップＳ２１）。ロボット１６の速度制御関数は、データ処理部２３の要求に応じて、ロボット制御部１７からデータ処理部２３の形状データ処理部２４に送信される。なお、ロボット１６の速度制御関数は、一旦、第１記憶部２５に送られ、保存された後に、形状データ処理部２４に送られてもよい。
　さらに、形状データ処理部２４は、選択区間における形状データに対し、分解能変換補正を行う（ステップＳ２２）。
　ここで、加減速時の形状データの分解能、特にＹ方向分解能について、図１２，１３を参照しながら説明する。図１２は、加減速区間における分解能変換補正前後の形状データの座標点位置の変化を示す概念図である。図１３は、加減速区間におけるロボットの速度制御関数の一例を示す模式図である。
　通常、１つの溶接箇所２０１の外観検査を行う場合、レーザ光線の走査周波数や走査幅を変更することは少ない。前述のように、Ｙ方向は溶接線に沿った方向とした場合、Ｘ方向は、溶接線に沿った方向と交差する方向である。形状を計測するための形状計測部２１のレーザ光線はＹ方向に沿ってロボット１６の先端の移動速度（以下、単にロボット１６の移動速度という）で走査されながら、溶接線を跨ぐようにＸ方向に周期的に走査される。したがって、等速区間及び加減速区間のそれぞれにおいて、形状データのＸ方向分解能Ｒｘは一定とみなせることが多い。
　一方、Ｙ方向分解能Ｒｙは、ロボット１６の移動速度Ｖに応じて変化する。選択区間が等速区間の場合、計測周波数Ｆ及び移動速度Ｖが定数となるため、式（１）から明らかなように、Ｙ方向分解能Ｒｙも定数となる。
　一方、選択区間が加減速区間の場合、例えば、ロボット１６が加速して移動している場合、互いに隣り合う計測点間のＹ方向の間隔は時間の経過とともに広くなる。一方、ロボット１６が減速して移動している場合、互いに隣り合う計測点間のＹ方向の間隔は時間の経過とともに狭くなる。その結果、例えば、図１２の左側に示すように、Ｙ方向分解能は、Ｙ方向に沿った計測点間で変化してしまう。このような点群データ（形状データ）に基づいて、溶接箇所２０１の形状評価を行った場合、正確な結果が得られない。
　したがって、選択区間が加減速区間の場合、Ｙ方向分解能をロボット１６の速度制御関数に応じた形に修正する必要がある。具体的には、Ｙ方向分解能Ｒｙ（ｔ）（ｍｍ）は、式（５）に示すように表現される。
　Ｒｙ（ｔ）＝１０００Ｖ（ｔ）／６０Ｆ＝（５０／３Ｆ）×Ｖ（ｔ）　・・・（５）
　ここで、Ｖ（ｔ）（ｍ／ｍｉｎ）は、ロボット１６の速度制御関数であり、Ｆ（Ｈｚ）が形状計測部２１の計測周波数である。後で述べるように、Ｖ（ｔ）は、時間ｔ（ｓｅｃ）のｋ次関数（ｋは１以上の整数）で記述される。
　また、原点からＹ方向に沿ったｍ番目の座標点における分解能係数Ｃｙｍ（ｔ）は、式（６）に示すように表現される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｔｍは、原点からｍ番目の座標点までの移動時間である。
　次に、サンプル形状データ取得時の分解能で再構成したＸＹ座標の各点に対し、それぞれ式（７）を満たすように、補正処理後の座標としてのＺ座標が算出される。
　Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））＝（１－ｄｘ）×（１－ｄｙ）×Ｚ（ｘ，ｙ）
　　　　　　　　　　　　　　　　　　　＋ｄｘ×（１－ｄｙ）×Ｚ（ｘ＋Ｒｘ，ｙ）
　　　　　　　　　　　　　　　　　　　＋（１－ｄｘ）×ｄｙ×Ｚ（ｘ，ｙ＋Ｒｙ）
　　　　　　　　　　　　　　　　　　　＋ｄｘ×ｄｙ×Ｚ（ｘ＋Ｒｘ，ｙ＋Ｒｙ）　・・・（７）
　式（７）は、再構成後のＹ座標Ｙｍ／Ｃｙｍ（ｔ）が、時間ｔの関数として記述される以外は、式（４）と同様である。
　選択区間に含まれるすべての点群に対して、式（７）に示すＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））がそれぞれ算出され、形状データの分解能変換補正が完了する。
　ステップＳ２２を実行することで、形状データの分解能は、第１記憶部２５に保存されたサンプル形状データと同じ値になる。つまり、第１記憶部２５には、補正後の形状データの分解能と同じ値のサンプル形状データに基づいて生成された判定モデルが保存されている。
　ステップＳ２２の実行後、ステップＳ２３に進み、分解能変換補正が行われた後の形状データを用いて、第１判定部２８により、選択区間における溶接箇所２０１の形状の良否判定が行われる。ステップＳ２３の詳細については後で説明する。
　ステップＳ２３の実行後、データ処理部２３は、形状データの分割区間のうちで、ステップＳ３の処理が実行されていない区間があるか否かを判断する（ステップＳ１９）。
　ステップＳ１９の判断結果が否定的な場合は、ステップＳ１３に戻って、ステップＳ１３の処理が実行されていない区間を選択するとともに、ステップＳ１３の処理を実行し、ステップＳ１９の判断結果が肯定的になるまで一連のステップを繰り返し実行する。
　ステップＳ１９の判断結果が肯定的になると、形状評価が未実施の分割区間が無くなるため、溶接箇所２０１の外観検査を終了する。
　ここで、図１３に示すように、形状データが３つの区間（区間１～区間３）に分割される場合を例に取って考える。
　図１３から明らかなように、区間１及び区間３は等速区間である。よって、図１０ＡのステップＳ１１～Ｓ１８のそれぞれを実行して溶接箇所２０１の外観検査が行われる。
　一方、区間２は減速区間になっている。具体的には、期間Ｔ（ｓｅｃ）で、ロボット１６の移動速度Ｖ（ｍ／ｍｉｎ）がＶ１からＶ２（＜Ｖ１）に単調に減少している。したがって、区間２におけるロボット１６の速度制御関数Ｖ（ｔ）は、式（８）に示す形で表現される。
　Ｖ（ｔ）＝Ａ×ｔ＋Ｂ＝（（Ｖ２－Ｖ１）／Ｔ）×ｔ＋Ｖ１　・・・（８）
　つまり、速度制御関数Ｖ（ｔ）は時間ｔの一次関数であり、時間ｔの一次係数Ａが（Ｖ２－Ｖ１）／Ｔであり、定数ＢがＶ１である。
　この場合、データ処理部２３は、ロボット制御部１７から速度制御関数Ｖ（ｔ）を特徴付ける各種情報を取得する。例えば、速度制御関数Ｖ（ｔ）が時間ｔのｋ次関数（ｋは１以上の整数）である場合、ｔ～ｔｋの各係数値及び定数Ｂの値を取得する。また、区間２では、図１０ＡのステップＳ１～Ｓ４及びＳ２０～Ｓ２３のそれぞれを実行して溶接箇所２０１の外観検査が行われる。
　＜溶接ビードの形状の良否判定手順＞
　図１０Ｂに示す溶接ビード（溶接箇所２０１）の形状の良否判定手順は、図１０ＡのステップＳ１８及びステップＳ２３において共通するため、あわせて説明する。
　図１０ＡのステップＳ１８及びステップＳ２３のそれぞれは、図１０Ｂに示すサブステップＳＡ～ＳＣにさらに分かれている。まず、第１判定部２８は、選択区間における形状データに形状不良が含まれているか否かを判定する（サブステップＳＡ）。この場合に用いられる判定モデルは、前述したように、第２学習データセットを用いて予め学習強化されている。
　また、第１判定部２８は、形状不良のサイズや個数や溶接箇所２０１における形状不良の位置を特定する（サブステップＳＢ）。さらに、第１判定部２８は、形状不良の種類を特定する（サブステップＳＣ）。
　なお、サブステップＳＣでは、前述したように、形状不良の形状やサイズ、さらに溶接箇所２０１における位置等を考慮して、形状不良の種類が特定される。この場合、例えば、形状不良がスパッタ２０４である確率が算出され、当該確率が所定値（例えば、７０％）以上であれば、形状不良がスパッタ２０４であると特定される。
　なお、溶接箇所２０１の形状の最終的な良否判定結果は、通知部２９やディスプレイ２３ｇに送信される。また判定結果が不良である場合は、形状計測部２１で取得された形状データ、具体的には、溶接箇所２０１の形状が点群データとしてディスプレイ２３ｇに表示される。
　また、１つのワーク２００に含まれるすべての溶接箇所２０１の良否判定結果が良好である場合、ワーク２００は良品であると判定され、以降の加工工程に送られるか、または良品として出荷される。
　一方、１つのワーク２００に含まれる１または複数の溶接箇所２０１に不良が発見された場合は、いくつかの方策を取りうる。例えば、ワーク２００に含まれるすべての溶接箇所２０１の外観検査を行った後に、検査結果を保存し、当該ワーク２００は不良品として廃棄する。この場合、検査結果の保存先は、例えば、データ処理部２３の第１記憶部２５である。ただし、特にこれに限定されない。また、溶接箇所２０１の不良が発見された時点で、当該ワーク２００を不良品として廃棄してもよい。
　また、例えば、ワーク２００に含まれるすべての溶接箇所２０１の外観検査を行った後に、検査結果を保存し、当該ワーク２００をリペア工程に進めてもよい。リペア工程では、不良と判定された溶接箇所２０１に関し再溶接が実施される。
　また、例えば、ワーク２００に含まれるすべての溶接箇所２０１の外観検査を行った後に、検査結果を保存するとともに、不良と判定された溶接箇所２０１を溶接作業者が再度、目視確認するようにしてもよい。目視確認により、当該溶接箇所２０１が、リペア可能か否かが判断される。リペア可能と判断されれば、当該ワーク２００をリペア工程に進め、不良と判定された溶接箇所２０１に関し再溶接が実施される。
　［効果等］
　以上説明したように、本実施形態に係る外観検査装置２０は、ワーク２００の溶接箇所２０１の外観を検査する。
　外観検査装置２０は、ロボット１６に取り付けられ、溶接線に沿って溶接箇所２０１の三次元形状を計測する形状計測部２１と、形状計測部２１で取得された形状データを処理するデータ処理部２３と、を少なくとも備えている。
　データ処理部２３は、形状計測部２１で予め取得されたサンプル形状データのノイズ除去処理を少なくとも行う形状データ処理部２４を少なくとも備えている。また、データ処理部２３は、サンプル形状データに基づいて複数の第１学習データセットを生成する第１学習データセット生成部２６Ａと、複数の第１学習データセットのそれぞれに基づいて、複数の第２学習データセットを生成する第２学習データセット生成部２６Ｂと、を備えている。また、データ処理部２３は、複数の第２学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルを複数種類生成する判定モデル生成部２７を備えている。データ処理部２３は、形状データ処理部２４で処理された形状データと判定モデル生成部２７で生成された判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２８を備えている。
 第１学習データセット生成部２６Ａは、サンプル形状データにデータ拡張処理を行って複数の第１学習データセットを生成する。第２学習データセット生成部２６Ｂは、複数の第１学習データセットのそれぞれに対して、データ密度または分解能の変換比率を変化させて複数の第２学習データセットを生成する。
　外観検査装置２０をこのように構成することで、生産タクトタイムや要求される検査精度等に応じて検査条件が変更された場合にも、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　また、通常、１つのワーク２００には多数の溶接箇所２０１が含まれる。この場合、互いに形状の異なる複数種類の溶接箇所２０１が含まれることが多く、溶接箇所２０１の形状に応じて、検査条件も適宜変更される。
　本実施形態によれば、１つのワーク２００に互いに検査条件の異なる複数の溶接箇所２０１が含まれる場合にも、それぞれの溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　特に、本実施形態によれば、１組の第１学習データセットに対し、データ密度または分解能の変換比率を複数変化させて、複数組の第２学習データセットを生成している。さらに、生成された第２学習データセットのそれぞれに対して、判定モデルを生成している。
　このようにすることで、実際の溶接箇所２０１の検査条件が、サンプル形状データ取得時の検査条件と異なっている場合でも、適切なデータ密度または分解能の第２学習データセットに基づいて生成された判定モデルを選択できる。また、検査条件を変えて大量のサンプル形状データを取得せずとも、所望の判定モデルを生成することができる。
　また、ワーク２００に形成される溶接箇所２０１は１種類とは限らず、それぞれ異なる形状を有する複数種類の溶接ビードとして形成されることが多い。このような場合、複数種類の溶接箇所２０１のそれぞれに対して、それぞれの形状に応じて検査条件が設定される。
　本実施形態によれば、複数の溶接箇所２０１の外観検査において、異なる検査条件が複数設定されている場合にも、適切なデータ密度または分解能の第２学習データセットに基づいて生成された判定モデルを選択できる。また、検査条件を変えて大量のサンプル形状データを取得せずとも、所望の判定モデルを生成することができる。
　第１判定部２８で使用される判定モデルは、形状計測部２１で取得された形状データの分解能に最も近い分解能を有する第２学習データセットに基づいて生成されている。または、第１判定部２８で使用される判定モデルは、形状計測部２１で取得された形状データのデータ密度に最も近いデータ密度を有する第２学習データセットに基づいて生成されている。
　このようにすることで、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　外観検査装置２０は、形状計測部２１による溶接箇所２０１の検査条件を保存するとともに、保存された検査条件をデータ処理部２３に送信するセンサ制御部２２をさらに備えている。センサ制御部２２は、溶接線に沿った方向をＹ方向とした場合、Ｙ方向及び溶接箇所２０１の高さ方向であるＺ方向のそれぞれと交差するＸ方向の計測分解能と計測周波数とをデータ処理部２３に送信する。
　また、データ処理部２３は、ロボット１６の動作を制御するロボット制御部１７からロボット１６の移動速度Ｖまたはロボット１６の速度制御関数Ｖ（ｔ）を受信する。
　このようにすることで、形状データの分解能を変換補正する場合に、当該補正を簡便かつ精度良く行うことができる。
　データ処理部２３は、サンプル形状データと第１学習データセットと第２学習データセットと判定モデルとを少なくとも保存する第１記憶部２５をさらに備えている。第１記憶部２５を設けることで、　このようにすることで、第１学習データセット及び第２学習データセットの生成及びそれに続く判定モデルの生成処理をスムーズに行うことができる。
　形状計測部２１で取得された形状データが、第１記憶部２５に保存された複数の第２学習データセットのいずれとも分解能が異なる場合、形状データ処理部２４は形状データの分解能を補正する。なお、形状データが前述の加減速区間を含む場合、当該加減速区間における形状データの分解能も、第１記憶部２５に保存された複数の第２学習データセットと分解能が異なるものと考える。
　具体的には、形状データ処理部２４は、第２学習データセットのいずれかの分解能と同じ値になるように、形状計測部２１による溶接箇所２０１の検査条件に基づいて、形状計測部２１で取得された形状データの分解能を補正する。検査条件は、例えば、形状計測部２１の計測分解能及び計測周波数並びに走査速度である。なお、前述したように、形状計測部２１の走査速度は、レーザ光線のＸ方向の走査速度やロボット１６の移動速度Ｖあるいはロボット１６の速度制御関数Ｖ（ｔ）に対応している。
　前述したように、サンプル形状データは、形状計測部２１の計測分解能と計測周波数と走査速度とがそれぞれ予め定められた条件で取得されている。また、判定モデルは、複数の第２学習データセットのそれぞれに基づいて学習が強化される。複数の第２学習データセットは、第１学習データセット、ひいては、実際のワーク２００を溶接する前に実験的に予め取得された形状データとしてのサンプル形状データに基づいて生成される。第２学習データセットの分解能と同じ値になるように、形状データの分解能を補正する。このようにすることで、第２学習データセット、ひいてはサンプル形状データと形状データのそれぞれに含まれる形状不良箇所、例えば、穴あき２０２やスパッタ２０４等の形状の特徴を合わせることができる。このことにより、学習済の判定モデルを用いた溶接箇所２０１の形状の良否判定を確実にかつ精度良く行うことができる。
　また、形状計測部２１で取得された形状データが、第１記憶部２５に保存された複数の第２学習データセットのいずれとも分解能が異なる場合、形状データ処理部２４は、形状データのＸ方向分解能とＹ方向分解能とに基づいて、形状データのＺ方向の値を補正する。
　ロボット１６が溶接線に沿って等速で移動しながら、形状計測部２１が溶接箇所２０１の三次元形状を計測する場合、Ｙ方向分解能は、形状計測部２１の計測周波数とロボット１６の移動速度Ｖとに基づいて決定される。
　ロボット１６が溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、形状計測部２１が溶接箇所２０１の三次元形状を計測する場合、Ｙ方向分解能は、形状計測部２１の計測周波数Ｆとロボット１６の速度制御関数Ｖ（ｔ）とに基づいて決定される。速度制御関数Ｖ（ｔ）は、時間ｔのｋ次関数で記述される。ただし、これに限られず、例えば、速度制御関数Ｖ（ｔ）が正弦波関数や余弦波関数であってもよい。つまり、速度制御関数Ｖ（ｔ）は時間ｔに依存した関数である。
　このようにすることで、形状計測部２１の走査速度を種々に変化させた場合にも、形状データの分解能変換補正を簡便かつ精度良く行うことができる。
　第１学習データセット生成部２６Ａは、形状計測部２１で予め取得された複数のサンプル形状データをワーク２００の材質及び形状毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の第１学習データセットを生成する。
　判定モデル生成部２７は、複数の第２学習データセットを用いて、判定モデルをワーク２００の材質及び形状毎に生成する。
　外観検査装置２０をこのように構成することで、サンプル形状データの数が少ない場合でも、必要な量の第１学習データセット及び第２学習データセットを生成し、判定モデルを高精度化できる。よって、溶接箇所２０１の形状良否を精度良く判定することができる。また、サンプル形状データを大量に取得する必要が無くなり、形状良否を判定するための工数を大幅に削減できる。また、複雑な判定基準を手動で設定すること無く、溶接箇所２０１の形状不良を自動で検出することができる。さらに、ワーク２００の材質及び形状毎に予めサンプル形状データを分類してから第１学習データセットを生成するため、効率良く第１学習データセットを生成できる。さらに第１学習データセットに基づいて、効率良く第２学習データセットを生成できる。
　また、データ処理部２３は、第１判定部２８での判定結果を通知する通知部２９をさらに備えている。
　このようにすることで、ワーク２００の溶接中に、溶接作業者またはシステム管理者が、溶接箇所２０１に不具合が生じたか否かをリアルタイムで知ることができる。また、必要に応じて、ワーク２００の溶接を継続するか否かの処置を講じることができる。このことにより、溶接工程における溶接コストを低減できる。
　第１学習データセット生成部２６Ａは、サンプル形状データから抽出された１または複数の特徴量に基づいて第１学習データセットを生成する。なお、特徴量は形状データ処理部２４で抽出される。
　サンプル形状データから抽出された特徴量を用いて第１学習データセットを生成することで、判定モデルの精度を低下させること無く、第１学習データセットの生成処理を簡素化できる。
　第１学習データセット生成部２６Ａは、サンプル形状データから抽出された１つまたは複数の特徴量を変化させるか、または、サンプル形状データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、データ拡張処理を行っている。
　サンプル形状データから抽出された１または複数の特徴量に基づいて第１学習データセットを生成することで、第１学習データセット、ひいては第２学習データセットの作成効率を向上でき、工数をさらに削減できる。また、特徴量や形状不良箇所の位置を変化させるという簡単な処理で、効率良く第１学習データセットを生成できる。
　なお、第１学習データセット生成部２６Ａは、複数のサンプル形状データを溶接箇所２０１の検査項目毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の第１学習データセットを生成してもよい。
　また、判定モデル生成部２７は、複数の第２学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルを溶接箇所２０１の検査項目毎に生成してもよい。
　さらに、第１学習データセット生成部２６Ａは、複数のサンプル形状データを溶接箇所２０１の形状不良の判定が他の部分に比べて困難な特定部分とそれ以外の部分とに分けて、それぞれのサンプル形状データに対して、別個にデータ拡張処理を行って複数の第１学習データセットを生成してもよい。
　溶接箇所２０１の形状良否を判定するにあたって、第１判定部２８は、入力された形状データに形状不良があるか否かを判定する。この判定にあたって、形状不良が含まれていない良品データと何らかの形状不良を含む不良品データとで構成されるサンプル形状データとを用いて、第１学習データセット、さらに第２学習データセットを生成する。第１学習データセット及び第２学習データセットでは、不良品データは、形状不良の種類が特定され、かつ形状不良に対して特定された種類がラベル付けされる加工がなされている。この第２学習データセットを用いて、判定モデルを予め学習強化しておく。
　また、形状データに形状不良がある場合、第１判定部２８は、形状不良の個数やサイズ、さらに溶接箇所２０１及びその周囲の所定の領域における形状不良の位置を特定する。
　さらに、第１判定部２８は、形状不良の種類を特定する。この特定にあたって、形状不良の個数やサイズ、また溶接箇所２０１における形状不良の位置が参照される。また、形状不良の種類は、確率で算出され、当該確率が所定のしきい値以上になった場合に、形状不良の種類が確定する。なお、形状不良の種類は、図６Ａ～６Ｅに示す不良に限られない。溶接箇所２０１の寸法が所定の良品基準を満足しない場合も、形状不良に含まれる。当該寸法の良品基準は、Ｘ方向、Ｙ方向、Ｚ方向のいずれにも設定されうる。
　前述したように、第１判定部２８は、溶接箇所２０１の形状に関し、複数の項目をそれぞれ判定または特定し、それらの結果に基づいて、溶接箇所２０１の形状良否を最終的に判定する。このようにすることで、溶接箇所２０１の形状良否を正確にかつ確実に評価することができる。
　また、判定モデル生成部２７は、複数の学習データセットを用いて、判定モデルをワーク２００の材質及び形状毎に生成するにあたって、溶接箇所２０１の特定部分に対応した判定モデルとそれ以外の部分に対応した判定モデルとを別個に生成するようにしてもよい。
　このようにすることで、形状不良の有無や形状不良の種類の判定が他の部分に比べて困難な溶接箇所２０１の特定部分においても、所定以上の精度で形状不良の有無やその種類を判定できる。その結果、外観検査における溶接箇所２０１の形状良否を精度良く判定することができる。
　本実施形態に係る溶接システム１００は、ワーク２００を溶接する溶接装置１０と、外観検査装置２０と、を備えている。
　溶接システム１００をこのように構成することで、溶接箇所２０１の形状を精度良くかつ少ない工数で検査できる。このことにより、溶接工程のコストを低減できる。
　また、溶接装置１０は、ワーク２００に入熱するための溶接ヘッド１１（溶接トーチ１１）と、溶接ヘッド１１（溶接トーチ１１）を保持するとともに所望の位置に移動させるロボット１６と、溶接ヘッド１１（溶接トーチ１１）の溶接出力を制御する出力制御部１５と、ロボット１６の動作を制御するロボット制御部１７と、を少なくとも備えている。
　外観検査装置２０の第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接ヘッド１１（溶接トーチ１１）の溶接出力を停止し、ロボット制御部１７はロボット１６の動作を停止させるか、また溶接ヘッド１１（溶接トーチ１１）が所定の初期位置に来るようにロボット１６を動作させる。
　溶接システム１００をこのように構成することで、溶接箇所２０１の形状が不良である場合、次の溶接を停止して、不良品が多発するのを防止できる。なお、第１判定部２８での判定結果を検査項目毎に入手することで、溶接システム１００における不具合箇所を推定でき、不良原因を速やかに取り除いて、溶接システム１００のダウンタイムを短縮できる。
　溶接箇所２０１の外観検査方法は、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、サンプル形状データを取得するステップと、第１学習データセット生成部２６Ａが、サンプル形状データに基づいて複数の第１学習データセットを生成するステップと、を少なくとも備えている。
　溶接箇所２０１の外観検査方法は、さらに、第２学習データセット生成部２６Ｂが、複数の第１学習データセットに基づいて複数の第２学習データセットを生成するステップと、判定モデル生成部２７が、複数の第２学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルを複数種類生成するステップと、を備えている。
　溶接箇所２０１の外観検査方法は、さらに、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、形状データを取得するステップと、第１判定部２８が、形状データ処理部２４で処理された形状データと判定モデル生成部２７で生成された判定モデルとに基づいて溶接箇所の形状の良否を判定するステップと、を備えている。
　第１判定部２８で使用される判定モデルは、形状データ処理部２４で処理された形状データのデータ密度に最も近いデータ密度を有する第２学習データセットに基づいて生成される。または、第１判定部２８で使用される判定モデルは、形状データ処理部２４で処理された形状データの分解能に最も近い分解能を有する第２学習データセットに基づいて生成されている。
　この外観検査方法によれば、生産タクトタイムや要求される検査精度等に応じて検査条件が変更された場合にも、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　また、通常、１つのワーク２００には多数の溶接箇所２０１が含まれる。この場合、互いに形状の異なる複数種類の溶接箇所２０１が含まれることが多く、溶接箇所２０１の形状に応じて、検査条件も適宜変更される。
　本実施形態によれば、１つのワーク２００に互いに検査条件の異なる複数の溶接箇所２０１が含まれる場合にも、それぞれの溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　特に、本実施形態によれば、判定モデルは、形状計測部２１で取得され、形状データ処理部２４で処理された形状データのデータ密度に最も近いデータ密度を有する第２学習データセットに基づいて生成されている。または、判定モデルは、形状計測部２１で取得され、形状データ処理部２４で処理された形状データの分解能に最も近い分解能を有する第２学習データセットに基づいて生成されている。
　このようにすることで、実際の溶接箇所２０１の検査条件が、サンプル形状データ取得時の検査条件と異なっている場合でも、適切なデータ密度または分解能の第２学習データセットに基づいて生成された判定モデルを選択できる。このようにすることで、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　また、第１判定部２８が溶接箇所２０１の形状の良否を判定するステップ（図１０ＡのステップＳ１８，Ｓ２３）は、以下のサブステップをさらに含んでいる。
　つまり、形状データ処理部２４から入力された形状データと予め学習強化された判定モデルとに基づいて、溶接箇所２０１における形状不良の有無を判定するサブステップ（図１０ＢのサブステップＳＡ）と、形状不良の個数、サイズ及び溶接箇所２０１に対する形状不良の位置を特定するサブステップ（図１０ＢのサブステップＳＢ）と、形状不良の種類を特定するサブステップ（図１０ＢのサブステップＳＣ）と、である。
　第１判定部２８は、それぞれのサブステップＳＡ～ＳＣの判定結果及び特定結果に基づいて、溶接箇所２０１の形状の良否を判定する。
　このようにすることで、溶接箇所２０１の形状良否を正確にかつ確実に評価することができる。
　（その他の実施形態）
　図１に示す例では、ロボット１６に溶接トーチ１１（溶接ヘッド１１）と形状計測部２１の両方が取り付けられた例を示しているが、溶接トーチ１１（溶接ヘッド１１）が取り付けられるロボット１６とは別に、形状計測部２１が取り付けられる別のロボット（図示せず）を設けるようにしてもよい。その場合、別のロボットの動作を制御する別のロボット制御部（図示せず）からデータ処理部２３に各種データが送信される。
　また、実施形態に示す第１学習データセット生成部２６Ａは、サンプル形状データをワーク２００の材質及び形状毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の第１学習データセットを生成している。
　しかし、第１学習データセット生成部２６Ａは、当該分類機能を有していなくてもよい。その場合、判定モデル生成部２７は、判定モデルをワーク２００の材質及び形状毎に生成する機能を有していなくてもよい。
　また、第１学習データセット生成部２６Ａの機能と第２学習データセット生成部２６Ｂの機能が入れ替わっていてもよい。つまり、第１学習データセット生成部２６Ａは、サンプル形状データに基づいて、データ密度または分解能の変換比率を変えた第１学習データセットを複数種類生成してもよい。第２学習データセット生成部２６Ｂは、第１学習データセットをワーク２００の材質及び形状毎に分類し、分類された第２学習データセットに基づいて、複数の第２学習データセットを生成してもよい。
　また、第１学習データセット生成部２６Ａと第２学習データセット生成部２６Ｂとで実行される処理は、大別すると、以下の３つである。すなわち、データをワーク２００の材質及び形状毎に分類すること、もとのデータをデータ拡張すること、もとのデータのデータ密度を変化させるか、または分解能を変化させることである。これら３つの処理をそれぞれ異なる機能ブロックで実現してもよいし、同一の機能ブロックで実現してもよい。いずれの場合も、データ処理部２３のハードウェア、特にＣＰＵ２３ａやＧＰＵ２３ｂ上で所定のソフトウェアを実行することで各機能が実現されることは言うまでもない。
　本開示の外観検査装置は、検査条件が変更された場合であっても、溶接箇所の三次元形状を精度良く評価できるため、様々な種類の溶接箇所を含むワークの外観検査に適用する上で特に有用である。
１０　　溶接装置
１１　　溶接ヘッド（溶接トーチ）
１２　　溶接ワイヤ
１３　　ワイヤ送給装置
１４　　電源
１５　　出力制御部
１６　　ロボット
１７　　ロボット制御部
２０　　外観検査装置
２１　　形状計測部
２２　　センサ制御部
２３　　データ処理部
２４　　形状データ処理部
２５　　第１記憶部
２６Ａ　第１学習データセット生成部
２６Ｂ　第２学習データセット生成部
２７　　判定モデル生成部
２８　　第１判定部
２９　　通知部
１００　溶接システム
２００　ワーク
２０１　溶接箇所

Claims (17)

  1. 　ワークの溶接箇所の外観を検査する外観検査装置であって、
    　ロボットに取り付けられ、溶接線に沿って前記溶接箇所の三次元形状を計測する形状計測部と、
    　前記形状計測部で取得された形状データを処理するデータ処理部と、を少なくとも備え、
    　前記データ処理部は、
    　　前記形状計測部で予め取得されたサンプル形状データのノイズ除去処理を少なくとも行う形状データ処理部と、
    　　前記サンプル形状データに基づいて複数の第１学習データセットを生成する第１学習データセット生成部と、
    　　複数の前記第１学習データセットのそれぞれに基づいて、複数の第２学習データセットを生成する第２学習データセット生成部と、
    　　複数の前記第２学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを複数種類生成する判定モデル生成部と、
    　　前記形状データ処理部で処理された前記形状データと前記判定モデル生成部で生成された前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を少なくとも備えたことを特徴とする外観検査装置。
  2. 　請求項１に記載の外観検査装置において、
    　前記第１学習データセット生成部は、前記サンプル形状データにデータ拡張処理を行って複数の前記第１学習データセットを生成し、
    　前記第２学習データセット生成部は、複数の前記第１学習データセットのそれぞれに対して、データ密度または分解能の変換比率を変化させて複数の前記第２学習データセットを生成することを特徴とする外観検査装置。
  3. 　請求項１または２に記載の外観検査装置において、
    　前記第１判定部で使用される前記判定モデルは、前記形状計測部で取得された前記形状データのデータ密度に最も近いデータ密度を有する前記第２学習データセットに基づいて生成されるか、または前記形状計測部で取得された前記形状データの分解能に最も近い分解能を有する前記第２学習データセットに基づいて生成されていることを特徴とする外観検査装置。
  4. 　請求項１ないし３のいずれか１項に記載の外観検査装置において、
    　前記データ処理部は、前記サンプル形状データと前記第１学習データセットと前記第２学習データセットと前記判定モデルとを少なくとも保存する第１記憶部をさらに備えたことを特徴とする外観検査装置。
  5. 　請求項４に記載の外観検査装置において、
    　前記形状計測部による前記溶接箇所の検査条件を保存するとともに、保存された前記検査条件を前記データ処理部に送信するセンサ制御部をさらに備え、
    　前記センサ制御部は、前記形状計測部の計測周波数と前記形状計測部の計測分解能であって、前記溶接線に沿った方向であるＹ方向及び前記溶接箇所の高さ方向であるＺ方向のそれぞれと交差するＸ方向の前記計測分解能を前記データ処理部に送信し、
    　前記データ処理部は、前記ロボットの動作を制御するロボット制御部から前記ロボットの移動速度または前記ロボットの速度制御関数を受信することを特徴とする外観検査装置。
  6. 　請求項５に記載の外観検査装置において、
    　前記形状計測部で取得された前記形状データが、前記第１記憶部に保存された複数の前記第２学習データセットのいずれとも分解能が異なる場合、
    　前記形状データ処理部は、前記形状計測部の前記計測分解能及び前記計測周波数並びに走査速度に基づいて、前記第２学習データセットのいずれかの分解能と同じ値になるように、前記形状データの分解能を補正することを特徴とする外観検査装置。
  7. 　請求項６に記載の外観検査装置において、
    　前記形状データ処理部は、前記形状データのＸ方向分解能とＹ方向分解能とに基づいて、前記形状データの前記Ｚ方向の値を補正し、
    　前記ロボットが前記溶接線に沿って等速で移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの移動速度とに基づいて決定され、
    　前記ロボットが前記溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの速度制御関数とに基づいて決定され、
    　前記ロボットの速度制御関数は、時間に依存した関数であることを特徴とする外観検査装置。
  8. 　請求項１ないし７のいずれか１項に記載の外観検査装置において、
    　前記第１学習データセット生成部は、前記形状計測部で取得された複数の前記サンプル形状データを前記ワークの材質及び形状毎に分類するとともに、分類された前記サンプル形状データに基づいて複数の前記第１学習データセットを生成し、
    　前記判定モデル生成部は、複数の前記第２学習データセットを用いて、前記判定モデルを前記ワークの材質及び形状毎に生成することを特徴とする外観検査装置。
  9. 　請求項１ないし８のいずれか１項に記載の外観検査装置において、
    　前記データ処理部は、前記第１判定部での判定結果を通知する通知部をさらに備えたことを特徴とする外観検査装置。
  10. 　請求項１ないし９のいずれか１項に記載の外観検査装置において、
    　前記判定モデルは、前記第２学習データセットを用いて予め学習強化されており、
    　前記第１学習データセット及び前記第２学習データセットは、それぞれ、
    　　前記溶接箇所において形状不良を含まない形状データである良品データと、
    　　前記溶接箇所において前記形状不良を含んだ形状データである不良品データに対し、前記形状不良の種類が特定され、かつ当該種類がラベル付けされた学習データと、を含み、
    　前記第１判定部は、前記形状データ処理部から入力された前記形状データを前記判定モデルに入力し、
    　前記判定モデルは、前記形状不良の有無を判定するとともに、前記形状不良の種類、個数、サイズ及び前記溶接箇所に対する前記形状不良の位置を特定し、それぞれの判定結果及び特定結果に基づいて、前記溶接箇所の形状の良否を判定することを特徴とする外観検査装置。
  11. 　請求項１ないし１０のいずれか１項に記載の外観検査装置と、
    　前記ワークを溶接する溶接装置と、を備え、
    　前記溶接装置は、
    　前記ワークに入熱するための溶接ヘッドと、
    　前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする溶接システム。
  12. 　請求項１１に記載の溶接システムにおいて、
    　前記溶接装置は、
    　前記溶接ヘッドを保持するとともに所望の位置に移動させる前記ロボットと、
    　前記ロボットの動作を制御するロボット制御部と、をさらに備え、
    　前記第１判定部で前記溶接箇所の形状が不良であると判定された場合、前記出力制御部は前記溶接ヘッドの溶接出力を停止し、前記ロボット制御部は前記ロボットの動作を停止させるか、または前記溶接ヘッドが所定の初期位置に来るように前記ロボットを動作させることを特徴とする溶接システム。
  13. 　請求項１ないし１０のいずれか１項に記載の外観検査装置を用いた溶接箇所の外観検査方法であって、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記サンプル形状データを取得するステップと、
    　前記第１学習データセット生成部が、前記サンプル形状データに基づいて複数の前記第１学習データセットを生成するステップと、
    　前記第２学習データセット生成部が、複数の前記第１学習データセットに基づいて複数の前記第２学習データセットを生成するステップと、
    　前記判定モデル生成部が、複数の前記第２学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための前記判定モデルを複数種類生成するステップと、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得するステップと、
    　前記第１判定部が、前記形状データ処理部で処理された前記形状データと前記判定モデル生成部で生成された前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定するステップと、を少なくとも備え、
    　前記第１判定部で使用される前記判定モデルは、前記形状データ処理部で処理された前記形状データのデータ密度に最も近いデータ密度を有する前記第２学習データセットに基づいて生成されるか、または前記形状データ処理部で補正された前記形状データの分解能に最も近い分解能を有する前記第２学習データセットに基づいて生成されていることを特徴とする溶接箇所の外観検査方法。
  14. 　請求項１３に記載の溶接箇所の外観検査方法において、
    　前記第１学習データセット生成部は、前記サンプル形状データにデータ拡張処理を行って複数の前記第１学習データセットを生成し、
    　前記第２学習データセット生成部は、複数の前記第１学習データセットのそれぞれに対して、データ密度または分解能の変換比率を変化させて複数の前記第２学習データセットを生成することを特徴とする溶接箇所の外観検査方法。
  15. 　請求項１３または１４に記載の溶接箇所の外観検査方法において、
    　前記形状計測部で取得された前記形状データが、複数の前記第２学習データセットのいずれとも分解能が異なる場合、
    　複数の前記第２学習データセットのいずれかの分解能と同じ値になるように、前記形状データ処理部が、前記形状計測部で取得された前記形状データの分解能を補正するステップをさらに備えたことを特徴とする溶接箇所の外観検査方法。
  16. 　請求項１５に記載の溶接箇所の外観検査方法において、
    　前記形状データ処理部は、前記形状データのＸ方向分解能及びＹ方向分解能とに基づいて、前記形状データにおいて前記溶接箇所の高さ方向であるＺ方向の値を補正し、
    　前記ロボットが前記溶接線に沿って等速で移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記ロボットの移動速度と前記形状計測部の計測周波数とに基づいて決定され、
    　前記ロボットが前記溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの速度制御関数とに基づいて決定され、
    　前記ロボットの速度制御関数は、時間に依存した関数であることを特徴とする溶接箇所の外観検査方法。
  17. 　請求項１３ないし１６のいずれか１項に記載の溶接箇所の外観検査方法において、
    　前記判定モデルは、前記第２学習データセットを用いて予め学習強化されており、
    　前記第１学習データセット及び前記第２学習データセットは、それぞれ、
    　　前記溶接箇所において形状不良を含まない形状データである良品データと、
    　　前記溶接箇所において前記形状不良を含んだ形状データである不良品データに対し、前記形状不良の種類が特定され、かつ当該種類がラベル付けされた学習データと、を含み、
    　前記第１判定部が前記溶接箇所の形状の良否を判定するステップは、
    　　前記形状データ処理部から入力された前記形状データと前記判定モデルとに基づいて、前記形状不良の有無を判定するサブステップと、
    　　前記形状不良の個数、サイズ及び前記溶接箇所に対する前記形状不良の位置を特定するサブステップと、
    　　前記形状不良の種類を特定するサブステップと、を含み、
    　前記第１判定部は、それぞれのサブステップの判定結果及び特定結果に基づいて、前記溶接箇所の形状の良否を判定することを特徴とする溶接箇所の外観検査方法。
PCT/JP2022/044533 2021-12-24 2022-12-02 外見検査装置、溶接システム及び溶接箇所の外観検査方法 WO2023120111A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-210114 2021-12-24
JP2021210114 2021-12-24

Publications (1)

Publication Number Publication Date
WO2023120111A1 true WO2023120111A1 (ja) 2023-06-29

Family

ID=86902130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044533 WO2023120111A1 (ja) 2021-12-24 2022-12-02 外見検査装置、溶接システム及び溶接箇所の外観検査方法

Country Status (1)

Country Link
WO (1) WO2023120111A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08327559A (ja) * 1995-03-30 1996-12-13 Nec Corp パターン検査装置およびその検査方法
JP2015094675A (ja) * 2013-11-12 2015-05-18 株式会社リコー 検査装置、検査システムおよび検査方法、ならびに、印刷システム
JP2018205024A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2019065578A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像解析装置、印刷装置、画像解析方法、及びプログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08327559A (ja) * 1995-03-30 1996-12-13 Nec Corp パターン検査装置およびその検査方法
JP2015094675A (ja) * 2013-11-12 2015-05-18 株式会社リコー 検査装置、検査システムおよび検査方法、ならびに、印刷システム
JP2018205024A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2019065578A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像解析装置、印刷装置、画像解析方法、及びプログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Similar Documents

Publication Publication Date Title
JP7308461B2 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP7316573B2 (ja) 溶接システム及びそれを用いたワークの溶接方法
JPH0571932A (ja) 溶接ビードの品質検査装置
WO2020205998A1 (en) Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
JP7068950B2 (ja) 溶接設計支援方法、及びプログラム
KR20200136686A (ko) 포터블형 용접 결함 검사장치 및 검사방법
US20230274407A1 (en) Systems and methods for analyzing weld quality
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
WO2023120111A1 (ja) 外見検査装置、溶接システム及び溶接箇所の外観検査方法
JP7289087B2 (ja) リペア溶接装置およびリペア溶接方法
WO2023120110A1 (ja) 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法
WO2021177365A1 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
JP7369981B2 (ja) リペア溶接システム、リペア溶接方法、検査装置およびロボット制御装置
WO2021111759A1 (ja) リペア溶接装置およびリペア溶接方法
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
Zou et al. Laser-based precise measurement of tailor welded blanks: a case study
JP7496540B2 (ja) ロボット制御装置およびオフライン教示システム
WO2023199620A1 (ja) ロボット制御装置およびオフライン教示システム
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム
JP7365623B1 (ja) オフライン教示装置およびオフライン教示システム
US20240123537A1 (en) Offline teaching device and offline teaching method
WO2021177435A1 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
US12005532B2 (en) Systems, methods, and apparatuses, of an arc welding (AW) process and quality monitoring
WO2022091543A1 (ja) リペア溶接区間検出方法およびリペア溶接区間検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910828

Country of ref document: EP

Kind code of ref document: A1