WO2023120110A1 - 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法 - Google Patents

外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法 Download PDF

Info

Publication number
WO2023120110A1
WO2023120110A1 PCT/JP2022/044531 JP2022044531W WO2023120110A1 WO 2023120110 A1 WO2023120110 A1 WO 2023120110A1 JP 2022044531 W JP2022044531 W JP 2022044531W WO 2023120110 A1 WO2023120110 A1 WO 2023120110A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
data
shape data
resolution
unit
Prior art date
Application number
PCT/JP2022/044531
Other languages
English (en)
French (fr)
Inventor
徹 酒井
成志 吉田
通雄 櫻井
大智 東
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023120110A1 publication Critical patent/WO2023120110A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to a visual inspection device, a welding system, a shape data correction method, and a visual inspection method of a welded portion.
  • Patent Literature 1 proposes a visual inspection apparatus for welded portions that includes a shape measuring unit, an image processing unit, a learning data set generating unit, a judgment model generating unit, and a first judging unit.
  • the shape measurement unit measures the shape of the welded portion, and the image processing unit generates image data of the welded portion based on the measured shape data.
  • the learning data set generation unit classifies the plurality of image data for each work material and shape, and expands the data to generate a plurality of learning data sets.
  • the determination model generation unit generates a determination model of the shape of the welding location for each work material and shape using a plurality of learning data sets.
  • the first determination unit determines whether the shape of the welded portion is good or bad based on the image data read from the image processing unit and the determination model.
  • the inspection conditions of the appearance inspection device are changed as appropriate.
  • the inspection speed, measurement frequency of the sensor, and measurement resolution of the sensor when inspecting the welded part along the weld line are sequentially changed so that the conditions are optimal according to the purpose of the user of the processing equipment. .
  • the reason why the inspection conditions are changed in this way is that the workpiece production takt time and inspection accuracy change greatly depending on the inspection conditions. For example, when the production tact time is important, inspection can be performed in a short production tact time by increasing the inspection speed. On the other hand, since the measurement resolution of the sensor becomes coarser, the three-dimensional shape of the welded portion acquired by the sensor also becomes coarser. For this reason, fine welding defects cannot be detected, and the inspection accuracy is lowered.
  • the measurement resolution is finer by slowing down the inspection speed.
  • the production tact time is lengthened.
  • the inspection conditions are also changed depending on the work to be inspected and the conditions of the welding points.
  • the inspection speed may be changed depending on whether the shape of the workpiece is curved or linear.
  • high-precision inspection is required for processed products that do not allow even minute defects. In this case, the measurement resolution is increased even if the production tact time is sacrificed.
  • the measurement resolution of the sensor changes, the measurement results will differ even if the three-dimensional shape of the same welded portion is measured. For this reason, the feature of the shape data of the welded portion input to the judgment model does not match the feature of the shape data machine-learned in advance, and highly accurate visual inspection cannot be performed.
  • the present disclosure has been made in view of this point, and its purpose is to provide an appearance inspection device, a welding system, and a shape data that can accurately evaluate the three-dimensional shape of a welded portion even when the inspection conditions are changed.
  • An object of the present invention is to provide a correction method and a visual inspection method for welding locations.
  • a visual inspection apparatus for inspecting the appearance of a welded portion of a work, which is attached to a robot and measures the three-dimensional shape of the welded portion along a welding line. At least a shape measuring unit that performs measurement and a data processing unit that processes the shape data obtained by the shape measuring unit, the data processing unit performing resolution correction processing of the shape data obtained by the shape measuring unit.
  • a shape data processing unit that performs at least; a learning data set generation unit that performs data extension processing on a plurality of sample shape data obtained in advance by the shape measurement unit to generate a plurality of learning data sets; and a plurality of the learning data sets , the shape data corrected by the shape data processing unit and the shape data generated by the determination model generation unit or a first determination unit that determines whether the shape of the welded portion is good or bad based on a plurality of determination models.
  • a welding system includes the visual inspection device and a welding device that welds the work, and the welding device includes a welding head for inputting heat to the work and a welding output of the welding head. and an output control unit for controlling.
  • a method for correcting shape data according to the present disclosure is a method for correcting shape data acquired by a visual inspection apparatus, wherein the shape measurement unit measures the three-dimensional shape of the welded portion while moving with the robot, and measures a plurality of obtaining sample shape data for generating the learning data set of; and measuring the three-dimensional shape of the welded portion while the shape measuring unit moves with the robot to obtain the shape data.
  • the shape data processing unit determines that the resolution of the shape data obtained by the shape measuring unit is the same as the sample shape data; and a step of correcting the shape data so as to have the same value as the resolution of .
  • a visual inspection method for a welded portion is a visual inspection method for a welded portion using a visual inspection apparatus, wherein the shape measuring unit measures the three-dimensional shape of the welded portion while moving with the robot. a step of obtaining sample shape data for generating a plurality of said learning data sets; a step of generating one or a plurality of the judgment models; a step of measuring the three-dimensional shape of the welded portion while the shape measuring unit moves with the robot to acquire the shape data; When the resolution of the acquired shape data is different from the resolution of the sample shape data, the shape data processing unit sets the resolution of the shape data acquired by the shape measurement unit to the same value as the resolution of the sample shape data.
  • the three-dimensional shape of the welded portion can be evaluated with high accuracy.
  • FIG. 1 is a schematic diagram showing the configuration of a welding system according to an embodiment.
  • FIG. 2 is a schematic diagram showing the hardware configuration of the robot processing unit.
  • FIG. 3 is a functional block diagram of the appearance inspection device.
  • FIG. 4 is a schematic diagram showing how the shape measurement unit measures the shape of a weld bead.
  • FIG. 5A is a schematic diagram showing the hardware configuration of the sensor control unit.
  • FIG. 5B is a schematic diagram showing the hardware configuration of the data processing unit.
  • FIG. 6A is a schematic plan view showing an example of a failure mode of a welded portion.
  • FIG. 6B is a schematic cross-sectional view along line VIB-VIB in FIG. 6A.
  • FIG. 6C is a schematic cross-sectional view along line VIC-VIC in FIG. 6A.
  • FIG. 6D is a schematic cross-sectional view along the VID-VID line in FIG. 6A.
  • FIG. 6E is a schematic cross-sectional view along line VIE-VIE in FIG. 6A.
  • FIG. 7A is a schematic diagram showing an example of a procedure for creating a learning data set.
  • FIG. 7B is a schematic diagram showing another example of the procedure for creating a learning data set.
  • FIG. 7C is a schematic diagram showing still another example of the procedure for creating the learning data set.
  • FIG. 8A is a flow chart of a visual inspection procedure for welded portions.
  • FIG. 8A is a flow chart of a visual inspection procedure for welded portions.
  • FIG. 8B is a flow chart of a procedure for judging the quality of the weld bead shape.
  • FIG. 9 is a conceptual diagram showing a procedure for deriving coordinate points of shape data in resolution conversion correction.
  • FIG. 10 is a conceptual diagram showing changes in coordinate point positions of shape data before and after resolution conversion correction in an acceleration/deceleration interval.
  • FIG. 11 is a schematic diagram showing an example of a robot speed control function in an acceleration/deceleration interval.
  • 12A and 12B are schematic diagrams showing appearance inspection of a welded portion according to Example 1.
  • FIG. 13 is a schematic diagram showing a planar shape of a welded portion according to Examples 2 and 3.
  • FIG. 14A and 14B are schematic diagrams showing appearance inspection of a welded portion according to Example 4.
  • FIG. 15 is a schematic diagram showing a Z-direction profile of a welded portion according to Example 5.
  • FIG. 16A is a schematic diagram showing the arrangement of the shape measuring units in section A.
  • FIG. 16B is a schematic diagram showing the arrangement of shape measuring units in section B.
  • FIG. 16C is a schematic diagram showing the arrangement of the shape measuring units in section C.
  • FIG. 17A is a schematic diagram showing an arrangement of shape measuring units according to a conventional method, which is an arrangement for inspecting section A.
  • FIG. FIG. 17B is a schematic diagram showing the arrangement of the shape measuring units according to the conventional method when inspecting the section B.
  • FIG. 1 shows a schematic diagram of the configuration of a welding system according to this embodiment.
  • a welding system 100 has a welding device 10 and a visual inspection device 20 .
  • the welding device 10 has a welding torch 11 , a wire feeding device 13 , a power source 14 , an output control section 15 , a robot 16 and a robot control section 17 .
  • a welding torch 11 When power is supplied from the power supply 14 to the welding wire 12 held by the welding torch 11, an arc is generated between the tip of the welding wire 12 and the workpiece 200, heat is input to the workpiece 200, and arc welding is performed.
  • the welding apparatus 10 has other component parts and equipment such as a pipe and a gas cylinder for supplying shielding gas to the welding torch 11, illustration and description of these are omitted for convenience of explanation.
  • the power source 14 is also called a welding power source.
  • the output control unit 15 is connected to the power supply 14 and the wire feeder 13, and controls the welding output of the welding torch 11, in other words, the power supplied to the welding wire 12 and the power supply time, according to predetermined welding conditions. there is The output control unit 15 also controls the feeding speed and feeding amount of the welding wire 12 fed from the wire feeding device 13 to the welding torch 11 .
  • the welding conditions may be input directly to the output control unit 15 via an input unit (not shown), or may be separately selected from a welding program read out from a recording medium or the like.
  • the robot 16 is a known articulated robot, holds the welding torch 11 at its tip, and is connected to the robot controller 17 .
  • the robot control unit 17 controls the operation of the robot 16 so that the tip of the welding torch 11, in other words, the tip of the welding wire 12 held by the welding torch 11, draws a predetermined welding trajectory and moves to a desired position. are doing.
  • FIG. 2 shows a schematic diagram of the hardware configuration of the robot processing unit.
  • the robot control unit 17 includes a CPU (Central Processing Unit) 17a, a driver IC (Driver Integrated Circuit) 17b, a RAM (Random Access Memory) 17c, and an IC ( Integrated Circuit) 17d.
  • CPU Central Processing Unit
  • driver IC Driver Integrated Circuit
  • RAM Random Access Memory
  • IC Integrated Circuit
  • the IC 17d receives output signals from rotation detectors (not shown) respectively provided on a plurality of joint shafts provided on the robot 16.
  • the output signal is input to the CPU 17a after signal processing by the IC 17d.
  • the CPU 17a transmits a control signal to the driver IC 17b based on the signal input from the IC 17d and the rotation speed of the joint shaft set in the predetermined program stored in the RAM 17c.
  • the driver IC 17b controls rotation of a servomotor (not shown) connected to the joint shaft based on control signals from the CPU 17a.
  • the robot control unit 17 receives the determination result.
  • the CPU 17a stops the operation of the robot 16 or operates the robot 16 so that the welding torch 11 comes to a predetermined initial position.
  • the output control unit 15 also has the same configuration as the robot control unit 17. That is, the output control unit 15 includes at least a CPU 15a, a driver IC 15b, a RAM 15c, and an IC 15d.
  • the IC 15d receives a signal corresponding to the output of the power supply 14.
  • the signal is input to the CPU 15a after signal processing by the IC 15d.
  • the CPU 15a transmits a control signal to the driver IC 15b based on the signal input from the IC 15d and the output of the power supply 14 set in the predetermined program stored in the RAM 15c.
  • the driver IC 15b controls the output of the power supply 14 and the welding output of the welding torch 11 based on the control signal from the CPU 15a.
  • the CPU 15a of the output control unit 15 that has received the determination result stop the output of As a result, the welding output of the welding torch 11 is stopped.
  • Both the output control unit 15 and the robot control unit 17 may have components other than those shown in FIG.
  • a ROM (Read Only Memory) or HDD (Hard Disk Drive) may be provided as a storage device.
  • the visual inspection apparatus 20 has a shape measuring unit 21, a sensor control unit 22, and a data processing unit 23.
  • the shape measuring unit 21 is attached to the robot 16 or the welding torch 11 to measure the welding point 201 of the workpiece 200. Measure the shape.
  • the configuration of the appearance inspection device 20 will be detailed later.
  • FIG. 1 illustrates an arc welding apparatus that performs arc welding as the welding apparatus 10, the welding apparatus 10 is not particularly limited to this.
  • the welding device 10 may be a laser welding device that performs laser welding.
  • a laser head (not shown) connected to a laser oscillator (not shown) via an optical fiber (not shown) is attached to the robot 16 and held.
  • the welding torch 11 and the laser head may be collectively referred to as the welding head 11 .
  • FIG. 3 is a functional block diagram of the visual inspection apparatus
  • FIG. 4 is a schematic diagram showing how the shape measurement unit measures the shape of a weld bead.
  • FIG. 5A shows a schematic diagram of the hardware configuration of the sensor control section
  • FIG. 5B shows a schematic diagram of the hardware configuration of the data processing section.
  • the shape measuring unit 21 includes, for example, a laser light source 21a (see FIG. 4) configured to scan the surface of the workpiece 200, and a reflection locus of a laser beam projected onto the surface of the workpiece 200 (hereinafter referred to as a shape line). ) or a light receiving sensor array 21b (see FIG. 4).
  • the shape measuring unit 21 scans a predetermined area including the welding point 201 and its surroundings with a laser beam (emitted light), and receives the reflected light that is reflected by the surface of the workpiece 200.
  • the three-dimensional shape of the welding point 201 is measured by imaging with the sensor array 21b.
  • the weld location 201 is a so-called weld bead that is formed along a direction along a weld line preset by a welding program or the like.
  • the direction along the weld line is sometimes called the Y direction (see FIG. 6A).
  • the direction perpendicular to the Y direction on the surface of the workpiece 200 where the welding point 201 is formed is sometimes called the X direction.
  • the height direction of the welding point 201 with respect to the surface of the workpiece 200 is sometimes called the Z direction.
  • the Z-direction is orthogonal to the X-direction and the Y-direction, respectively.
  • perpendicular refers to manufacturing tolerances and assembly tolerances of the parts that make up the welding system 100, processing tolerances of the workpiece 200, and variations in the movement speed of the robot 16. It means perpendicular or parallel or the same, including and the like. It does not mean that the objects of comparison are orthogonal or parallel or the same in a strict sense.
  • the emitted light emitted from the laser light source 21a is irradiated to a plurality of points along the width direction of the welding point 201, in this case along the X direction.
  • Each of the laser beams irradiated to a plurality of points is reflected, and the reflected light is picked up by the light receiving sensor array 21b.
  • the shape measuring unit 21 held by the robot 16 moves along the Y direction at a predetermined speed. , reflected light is imaged by the light receiving sensor array 21b.
  • the shape measurement unit 21 is configured to measure the shape not only of the welded portion 201 but also of its surroundings within a predetermined range. This is for evaluating the presence or absence of spatter 204 and smut 206 (see FIG. 6A), which will be described later.
  • the “measurement resolution” refers to the distance between adjacent measurement points in the shape data measured by the shape measurement unit 21.
  • the measurement resolution in the X direction is the distance along the X direction between adjacent measurement points.
  • the measurement resolution in the X direction depends on the performance of the shape measuring unit 21, mainly the performance of the light receiving sensor array 21b, specifically the size of each sensor included in the light receiving sensor array 21b in the X direction, and the distance between the sensors. is set according to
  • the measurement resolution is set in each of the X, Y and Z directions. As will be described later, the measurement resolution in the Y direction changes according to the moving speed of the robot 16 or the sampling frequency of the light receiving sensor array 21b.
  • the resolution refers to the interval between adjacent coordinate points among the plurality of point cloud data of the welding point 201 acquired by the shape measurement unit 21.
  • the shape data are reconstructed according to the shape of the welding point 201.
  • FIG. The resolution of shape data before reconstruction is the same as the measurement resolution described above.
  • the resolution of shape data after reconstruction may differ from the measurement resolution.
  • the X-direction resolution of the shape data is the same as the X-direction measurement resolution.
  • the Y-direction resolution of the shape data may differ from the Y-direction measurement resolution.
  • the resolution is set in each of the X, Y and Z directions.
  • the sensor control section 22 includes at least a CPU 22a and a RAM 22b.
  • the CPU 22a transmits a control command to the shape measuring section 21 and controls the operation of the shape measuring section 21.
  • FIG. The control commands transmitted from the CPU 22a to the shape measuring unit 21 include, for example, inspection conditions, a measurement start command, a measurement stop command, etc. by the shape measuring unit 21.
  • FIG. Preset inspection conditions are stored in the RAM 22b. Note that other data may be stored.
  • the sensor control unit 22 may include components other than those shown in FIG. 5A.
  • a ROM or HDD may be provided as a storage device.
  • the data processing unit 23 receives the point cloud data of the shape line acquired by the shape measurement unit 21 as shape data and processes it.
  • the data processing unit 23 is composed of a plurality of functional blocks. Specifically, it has a shape data processing unit 24 , a first storage unit 25 , a learning data set generation unit 26 , a judgment model generation unit 27 , a first judgment unit 28 and a notification unit 29 .
  • the data processing unit 23 includes at least a CPU 23a, a GPU (Graphics Processing Unit) 23b, a RAM/ROM 23c, an IC 23d, an input port 23e, an output port 23f, and a data bus 23h as hardware. ing.
  • the data processing section 23 also has a display 23g.
  • the hardware configuration of the data processing unit 23 shown in FIG. 5B is the same as that of a known personal computer (PC).
  • a plurality of functional blocks in the data processing unit 23 shown in FIG. 3 are realized by executing predetermined software in various devices shown in FIG. 5B, particularly the CPU 23a and the GPU 23b.
  • FIG. 5B shows an example in which various devices are connected to one data bus 23h, a plurality of data buses may be provided according to the application, as in a normal PC.
  • the shape data processing unit 24 has a noise removal function for the shape data acquired by the shape measuring unit 21. Since the reflectance of the laser beam emitted from the shape measuring unit 21 differs depending on the material of the workpiece 200, if the reflectance is too high, halation or the like may occur, resulting in noise, which may affect the shape data. For this reason, the shape data processing unit 24 is configured to perform noise filtering processing on software. Noise can also be similarly removed by providing an optical filter (not shown) in the shape measuring unit 21 itself. High-quality shape data can be obtained by using both an optical filter and filtering processing on software. In addition, as a result, the quality of the judgment model of the learning data set, which will be described later, is improved, and the shape quality of the welded portion 201 can be judged with high accuracy.
  • the noise removal function of the shape data processing unit 24 is mainly realized by the IC 23d of the data processing unit 23.
  • the GPU 23b of the data processing unit 23 may remove noise from the shape data.
  • the shape data processing unit 24 corrects the inclination, distortion, etc. of the base portion of the welding point 201 with respect to a predetermined reference plane, for example, the installation plane of the workpiece 200, by statistically processing the point cloud data.
  • edge enhancement correction may be performed to emphasize the periphery of the welded portion 201.
  • the shape data processing unit 24 extracts the feature amount of the shape data according to the shape of the work 200 and according to the inspection items of the shape of the welded part 201 .
  • one or more feature amounts corresponding to one or more inspection items are extracted for one piece of shape data.
  • the extracted feature amount is linked to the shape data and used in subsequent data processing.
  • the feature amount is a specific item extracted from the shape data, and typical examples are the length and width of the welded portion 201, the height from the reference plane, and the multiple dimensions within the welded portion 201. There are differences in length, width, and height between points. However, it is not particularly limited to these, and the feature amount is appropriately set according to the content determined by each inspection item.
  • the shape data processing unit 24 is configured to perform resolution conversion correction for the acquired shape data.
  • the resolution conversion correction of shape data will be described in detail later.
  • the edge enhancement correction processing function, feature quantity extraction function, and resolution conversion correction function of the shape data processing unit 24 are mainly realized by the CPU 23 a of the data processing unit 23 .
  • the IC 23d or the GPU 23b may perform part or all of the edge enhancement correction processing.
  • the first storage unit 25 stores the shape data of the welding point 201 in another work 200 processed before the welding of the work 200 to be evaluated.
  • the first storage unit 25 stores shape data experimentally obtained in advance before welding the actual workpiece 200 .
  • these pre-acquired shape data may be referred to as sample shape data.
  • the sample shape data includes non-defective product data in which the shape of the welded portion 201 to be evaluated is good, and defective product data in which the shape has some defects.
  • the defective product data is processed into a state in which a plurality of types of shape defects are labeled with the number and position of shape defects changed, and the processing results are used as a plurality of learning data.
  • the labeled defective product data and non-defective product data are collectively used as a learning data set before data augmentation processing. It should be noted that the shape data of the welding point 201 in another workpiece 200 and the shape data of the welding point 201 in the workpiece 200 to be evaluated are the same for the similar welding point 201 in the workpiece 200 having the same shape and material. It goes without saying that it has been acquired.
  • the inspection conditions by the shape measuring unit 21 are fixed. However, the inspection conditions may be changed for each material of the work 200 or for each shape of the work 200 .
  • the learning data set generation unit 26 reads the sample shape data generated by the shape data processing unit 24 and stored in the first storage unit 25, and classifies the work 200 according to material and shape. Alternatively, the welding locations 201 may be classified for each inspection item. In this case, the same shape data may be included in different inspection items.
  • the learning data set generation unit 26 inputs a learning data set for each material and shape of the workpiece 200, that is, a determination model described later, based on the feature amount linked to the sample shape data, and determines the determination model. Generate a set of training data to improve accuracy. For example, the material and shape of the workpiece 200 are arranged in a matrix to determine classification categories, and the learning data sets are classified corresponding to these categories (see FIG. 3). Examples of the shape of the workpiece 200 include butting and overlapping of plate materials, a T-shaped joint, a cross joint, and the like.
  • the learning data set generation unit 26 performs data extension processing on the sample shape data read from the first storage unit 25 to generate a learning data set. Specifically, one or more feature values linked to the sample shape data are changed, or the position of the defective shape portion in the sample shape data of the welded portion 201 is changed, or both are executed. By doing so, data extension processing is executed. The procedure for generating the learning data set will be detailed later.
  • the function of the learning data set generation unit 26 is mainly realized by the CPU 23a of the data processing unit 23. However, it is not particularly limited to this, and for example, the GPU 23b may implement a part of the function.
  • the judgment model generation unit 27 generates a judgment model based on the judgment criteria set for each item regarding the inspection items of the welding points 201 set for each material and shape of the workpiece 200 .
  • the generated decision model is represented by a combination of a plurality of weighted discriminators or the like.
  • the judgment model is, for example, a known object detection algorithm represented by a CNN (Convolutional Neural Network) or the like.
  • the determination model generation unit 27 inputs a learning data set corresponding to each material and shape of the work 200 among the plurality of learning data sets for each determination model generated for each material and shape of the work 200. By repeating learning, the judgment accuracy of each judgment model is improved. In this case, for example, a judgment model is generated according to the classification categories shown in FIG. The learning is repeated until the accuracy rate, recall rate, and accuracy of the judgment model satisfy preset values.
  • the generation time of the judgment model when generating the judgment model, by appropriately selecting and using the non-defective product data and the defective product data in the sample shape data according to the material and shape of the work 200, the generation time of the judgment model can be shortened and the accuracy can be improved. can be achieved.
  • the generation time of the judgment model when generating a judgment model for each inspection item of the weld location 201, by appropriately selecting and using non-defective product data and defective product data in the sample shape data according to the inspection item, the generation time of the judgment model can be shortened. Shortening and high accuracy can be achieved.
  • the first determination unit 28 selects an inspection model selected from the shape data of the welding point 201 subjected to processing such as noise removal and edge enhancement by the shape data processing unit 24 and the determination model generated by the determination model generation unit 27. Based on the determination model corresponding to the item, it is determined whether or not the shape of the welded portion 201 is good, in other words, whether or not it satisfies a predetermined criterion.
  • learning reinforcement of the determination model using the learning data set is performed before determining whether the shape of the welded portion 201 is good or bad.
  • the learning data set generated by the learning data set generation unit 26 is input to the judgment model generated by the judgment model generation unit 27, and the judgment result is sent to the welding operator or the like. It is checked manually, and if the type of welding defect does not match the learning data, annotation is executed. And the process of tagging the type to the corresponding part of the shape data. This annotation is basically done manually.
  • the presence or absence of shape defects and the types of shape defects are reviewed again in the learning data. Based on this execution result, the learning data set is recreated or newly created, and furthermore, the decision model is re-learned using the annotated learning data set. By repeating these operations once or more, the decision model is learned and strengthened.
  • resolution correction is performed in advance on the learning data set as necessary.
  • the training data set can be used to strengthen the learning of the decision model.
  • the probability of the defect mode of the shape defect contained in the shape data is calculated. For example, it is determined that a shape defect exists and its type is specified. This will be detailed later.
  • the degree of matching between the type of shape defect annotated in the learning data and the type of shape defect included in the shape data of the welded portion 201 is determined by probability, and the probability exceeds a predetermined threshold. If it exceeds, the type of shape defect included in the shape data of the welded portion 201 is identified.
  • the following information is output from the first determination unit 28.
  • the presence or absence of a shape defect and, if there is a shape defect, the type, number, size, and position at the welding point 201 are output.
  • a result is output as to whether the shape of the weld 201 is good or bad when there is a shape defect that exceeds a threshold value based on a predetermined criterion.
  • the threshold varies depending on the type and size of the shape defect. For example, with respect to spatter (see FIG. 6A), which will be described later, if there are five or more spatters with a diameter of 5 ⁇ m or more, it is determined that the shape of the welded portion 201 is defective.
  • perforations see FIGS. 6A and 6C
  • it is determined that the shape of the welded portion 201 is defective it should be noted that these are merely examples, and may be changed as appropriate according to the above-described criteria and thresholds.
  • the threshold value and display format for determining shape defects can be set arbitrarily.
  • spatters 204 may be displayed in red, and perforations 202 (see FIG. 6A) may be displayed in yellow.
  • the part recognized as spatter 204 is displayed in a different color from the background, and the probability of being spatter 204 is displayed in different colors.
  • the welding operator or the system administrator can easily recognize the presence or absence of the defective shape portion and the degree of distribution at a glance. For example, if the probability of matching is 30% or less, it may be displayed in green, and if it is 70% or more, it may be displayed in red. In this case, it is needless to say that the division of the probability range, the setting of the corresponding color, and the like can be arbitrarily set.
  • the quality of the shape is determined for each inspection item. .
  • the notification unit 29 is configured to notify the determination result of the first determination unit 28 to the output control unit 15, the robot control unit 17, the welding operator, or the system administrator.
  • the display 23 g of the data processing section 23 corresponds to the notification section 29 .
  • the determination result may be displayed on the display 23g or a display unit (not shown) of the welding system 100, output from a printer (not shown), or notified through both. If it is merely to notify the final determination result, it may be output as sound from a sound output unit (not shown). It is preferable that not only the final determination but also the determination result for each inspection item be notified from the notification unit 29 . By doing so, the welding operator or the system administrator can know specifically what kind of trouble has occurred at the welding point 201 .
  • the welding system 100 continuously performs the next welding point 201 in the same workpiece 200. or weld a similar weld location 201 on the next workpiece 200 .
  • the output control unit 15 stops the welding output of the welding torch 11, and the robot control unit 17 stops the operation of the robot 16 or operates the robot 16 so that the welding torch 11 comes to a predetermined initial position.
  • FIGS. 6A to 6E show an example of shape defects that occur in welded parts
  • FIGS. 7A to 7C show an example of a learning data set generation procedure.
  • 6A to 6E show the shape of the welded portion 201 at the time of butt welding, FIG. 6A showing the planar shape, and FIGS. are shown respectively.
  • various shape defects may occur at the welded portion 201 due to improper setting of welding conditions, use of a low-quality workpiece 200, or the like. can occur.
  • a part of the welding point 201 may burn down (hereinafter, a through hole formed in the workpiece 200 by a part of the welding point 201 burning down from the workpiece 200 may be referred to as a hole 202), or an undercut. 203 may occur.
  • the undercut 203 refers to a defective portion in which the portion at the weld bead is recessed from the surface of the workpiece 200 .
  • the length, width, and height from the reference plane of the welded portion 201 may vary from the design values L, W, and H beyond the allowable ranges ⁇ L, ⁇ W, and ⁇ H.
  • a droplet (not shown) formed at the tip of the welding wire 12 moves to the work 200, part of the droplet and fine particles of the molten metal of the work 200 scatter to generate spatter 204, is a galvanized steel sheet, a part of it evaporates from the welding point 201 to form a pit 205; Smut 206 may occur.
  • the pits 205 are open on the surface of the weld bead, and the smut 206 is black soot-like deposits generated in the vicinity of the weld bead. 204, etc., are each one of the modes (types) of shape defects.
  • the welded portion 201 there are various modes of shape defects in the welded portion 201, and it is necessary to set judgment criteria for each mode and inspect them. For example, with respect to the perforation 202 and the undercut 203, not only the presence or absence of them but also the contrast ratio with the surroundings of the welding point 201 or the difference in height for identifying the perforation 202 etc. is set. It is necessary to make pass/fail judgments. For example, in the case of the spatters 204, it is necessary to set the average diameter of the spatters 204 and determine the quality based on the number of spatters 204 having an average diameter equal to or greater than a predetermined value per unit area. Moreover, the number of inspection items for the welded portion 201 and the criteria for judging the shape of the welded portion 201 are changed or added according to the material of the workpiece 200, the welded portion, and the specifications required by the customer.
  • the criteria for determining the presence or absence of shape defects from the shape data differ depending on the material and shape of the workpiece 200 .
  • the reflectance of the laser beam differs depending on the material of the work 200, so that the brightness level and contrast of the shape data, for example, also change.
  • the bead shape of the welded portion 201 may change due to the influence of gravity or the like even when welding straight portions of the same length.
  • the judgment model generation unit 27 needs to generate a judgment model using a large amount of learning data for each material and shape of the workpiece 200 .
  • obtaining in advance sample shape data required for each material and shape of the work 200 requires a huge number of man-hours and is inefficient.
  • the learning data set generation unit 26 classifies the sample shape data read out from the first storage unit 25 according to the material and shape of the work 200, and stores data in each of the classified sample shape data.
  • a plurality of learning data sets which are groups of learning data necessary for generating a judgment model, are generated by performing expansion processing.
  • FIG. 7A a plurality of pieces of data are generated as a learning data set by changing the length and position of the welding point 201, which is one of the feature amounts, in the original sample shape data.
  • FIG. 7A shows an example in which a plurality of shape data are generated that are shorter than the reference value L of the length of the welded portion 201 by exceeding the allowable range ⁇ L. Shape data that is longer than the reference value L of , exceeding the allowable range ⁇ L, is also generated separately.
  • a plurality of data are generated as a learning data set by changing the size and position of the perforations 202 in the original sample shape data.
  • the height from the reference plane and the difference in height between a plurality of points in the welded portion 201 are extracted as feature amounts, and these are varied.
  • a plurality of data are generated as a learning data set by changing the number and position of the spatters 204 in the original sample shape data.
  • FIG. 8A shows a flow chart of a visual inspection procedure for a welded portion
  • FIG. 8B shows a flow chart of a welding bead shape quality determination procedure.
  • FIG. 9 is a conceptual diagram showing a procedure for deriving coordinate points of shape data in resolution conversion correction.
  • FIG. 10 is a conceptual diagram showing changes in coordinate point positions of shape data before and after resolution conversion correction in an acceleration/deceleration interval.
  • FIG. 11 is a schematic diagram showing an example of a robot speed control function in an acceleration/deceleration interval.
  • the inspection conditions by the shape measurement unit 21 are the shape data used to generate the learning data, that is, the sample shape data when the sample shape data is obtained. It is necessary to meet the same conditions as the inspection conditions.
  • the inspection conditions are often changed depending on the production takt time of the workpiece 200 and the inspection accuracy.
  • the shape data of the welded portion 201 and the feature amount extracted therefrom vary depending on the inspection conditions, and there is a risk that the first determination unit 28 cannot correctly determine whether the shape of the welded portion 201 is good or bad.
  • the resolution of the shape data to be measured is corrected instead of making the inspection conditions when acquiring the sample shape data acquired in advance and the inspection conditions when acquiring the shape data to be measured the same.
  • the shape data is corrected so that the resolution of the shape data to be measured is the same as the resolution of the sample shape data obtained in advance.
  • This correction is the resolution conversion correction described above.
  • the shape measurement unit 21 measures the shape of the welding point 201 (step S1 in FIG. 8A) to acquire shape data.
  • the data processing unit 23 acquires the moving speed of the robot 16 , that is, the scanning speed of the welding point 201 in the Y direction by the shape measuring unit 21 from the robot control unit 17 .
  • the data processing unit 23 further divides the scanning section in the Y direction of the shape measuring unit 21 into a constant speed section and an acceleration/deceleration section based on the moving speed of the robot 16 (step S2 in FIG. 8A).
  • the "constant-velocity section” refers to a section in which the shape measuring unit 21 attached to the robot 16 moves at a constant speed along the Y direction.
  • the “acceleration/deceleration section” refers to a section in which the shape measuring unit 21 attached to the robot 16 moves along the Y direction by accelerating, decelerating, or accelerating and decelerating. .
  • the shape data processing unit 24 performs processing such as edge enhancement correction and noise removal described above on the shape data in the section selected from among the sections divided in step S2 (hereinafter referred to as the selected section) (see FIG. 8A). step S3).
  • the data processing unit 23 determines whether the selected section for which step S3 was executed is a constant speed section. This determination is based on whether or not the speed control function of the robot 16 in the selected section is constant speed, that is, whether or not the speed is constant over time (step S4 in FIG. 8A).
  • the speed control function of the robot 16 is transmitted from the robot control section 17 to the data processing section 23 in response to a request from the data processing section 23 .
  • step S4 determines the X-direction resolution (hereinafter referred to as the X-direction resolution) of the shape data acquired in step S1.
  • Y-direction resolution (hereinafter referred to as Y-direction resolution) is calculated and stored in the first storage unit 25 (step S5 in FIG. 8A).
  • the X-direction resolution corresponds to the distance along the X-direction between adjacent measurement points.
  • the scanning width of the laser beam by the shape measuring unit 21 is usually constant.
  • the Y-direction resolution in the constant-velocity section is expressed by the following equation (1).
  • Ry (mm) is the Y-direction resolution of the shape data in the selected section
  • V (m/min) is the moving speed of the robot 16
  • F (Hz) is the measurement frequency of the shape measuring section 21.
  • the shape is measured for each period of 1/F.
  • a plurality of measurement points are measured at once every period of 1/F over the scanning width of the laser beam.
  • the X-direction resolution of the shape data is usually determined according to the pixel size and spacing of the camera (not shown) or the light receiving sensor array 21b in the shape measurement unit 21. FIG. This is the same when the selection section is a constant speed section or an acceleration/deceleration section.
  • the X-direction resolution and measurement frequency F of the shape measurement unit 21 are transmitted from the sensor control unit 22 to the data processing unit 23 in response to a request from the data processing unit 23 .
  • step S5 the shape data processing unit 24 acquires in advance the X-direction resolution and Y-direction resolution of the shape data in the selected section, and obtains the X-direction resolution and Y-direction resolution of the sample shape data stored in advance in the first storage unit It is determined whether or not each value is the same as the Y-direction resolution (step S6 in FIG. 8A).
  • step S6 determines whether the shape of the welded portion 201 in the selected section is good or bad. Details of step S8 will be described later.
  • step S6 determines whether the shape data in the selected section is a shape data in the selected section. If the determination result in step S6 is negative, the shape data processing unit 24 performs resolution conversion correction on the shape data in the selected section (step S7 in FIG. 8A).
  • the resolution conversion correction is performed by adjusting the height of a predetermined coordinate point (x, y) in the Z direction to other coordinate points (x+Rx, y), (x, y+Ry), (x, y+Ry), This is done using the respective Z-direction heights of (x+Rx, y+Ry).
  • Rx (mm) is the X-direction resolution of the shape data in the selected section.
  • the height in the Z direction (Z coordinate) at the coordinate point (x, y) is Z(x, y).
  • the origin of the coordinate point (x, y) is set, for example, at the starting end of the welding point 201 .
  • the origin of the Z coordinate Z(x, y) is set with reference to the surface of the workpiece 200 near the starting end.
  • the resolution conversion correction is performed according to the following procedure. First, as shown in equations (2) and (3), an X-direction resolution coefficient Cx and a Y-direction resolution coefficient Cy are calculated.
  • Rx 0 is the X direction resolution of the sample shape data
  • Ry 0 is the Y direction resolution of the sample shape data.
  • the X-direction resolution Rx 0 and the Y-direction resolution Ry 0 are stored in advance in the first storage unit 25 .
  • Z (Xn/Cx, Ym/Cy) is calculated as the Z coordinate for each point of the XY coordinates reconstructed at the resolution at the time of acquisition of the sample shape data so as to satisfy Expression (4).
  • n is a variable corresponding to each point of the point cloud data in the X direction.
  • n is an integer and satisfies the relationship 1 ⁇ n ⁇ N (N is the number of points in the X direction).
  • m is a variable corresponding to each point of the point cloud data in the Y direction.
  • m is an integer and satisfies 1 ⁇ m ⁇ M (M is the number of point groups in the Y direction).
  • dx is the distance in the X direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy) between the coordinate point (x, y) and the coordinate point (x+Rx, y).
  • dy is the distance in the Y direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy). It is a value divided by the distance in the Y direction between.
  • the ratio of dy and (1-dy) is the distance in the Y direction between the coordinate point (x, y) and the coordinate point (Xn/Cx, Ym/Cy) and the coordinate point (x, y+Ry ) and the distance in the Y direction between the coordinate point (Xn/Cx, Ym/Cy).
  • the height in the Z direction at the coordinate point (Xn/Cx, Ym/Cy) is the four points around the coordinate point (Xn/Cx, Ym/Cy), that is, the coordinate point (x, y) before reconstruction, It is derived based on the height in the Z direction of (x+Rx, y), (x, y+Ry), and (x+Rx, y+Ry).
  • step S7 the process proceeds to step S8, and the first determination unit 28 determines whether the shape of the welding point 201 in the selected section is good or bad using the shape data after the resolution conversion correction.
  • step S8 the data processing unit 23 determines whether or not there is a section in which the process of step S3 has not been executed among the divided sections of the shape data (step S9 in FIG. 8A).
  • step S9 If the determination result of step S9 is negative, the process returns to step S3 to select a section in which the process of step S3 has not been performed, and the process of step S3 is performed until the determination result of step S9 is affirmative. Repeat a series of steps until
  • step S9 When the determination result in step S9 is affirmative, there are no sections that have not been subjected to preprocessing such as noise removal processing in the measured shape data of the weld bead, and there are no divided sections that have not been subjected to shape evaluation.
  • the visual inspection of the point 201 is terminated.
  • step S4 determines whether the selected section is an acceleration/deceleration section is an acceleration/deceleration section. If the determination result in step S4 is negative, that is, if the selected section is an acceleration/deceleration section, the data processing unit 23 acquires the X-direction resolution of the shape data acquired in step S1 from the sensor control unit 22, It saves in the storage unit 25 (step S10 in FIG. 8A).
  • the shape data processing unit 24 calculates the Y-direction resolution of the shape data acquired in step S1 based on the speed control function of the robot 16 (step S11 in FIG. 8A).
  • the speed control function of the robot 16 is transmitted from the robot control section 17 to the shape data processing section 24 of the data processing section 23 in response to a request from the data processing section 23 .
  • the speed control function of the robot 16 may be sent to the first storage unit 25 once, stored, and then sent to the shape data processing unit 24 .
  • the shape data processing unit 24 performs resolution conversion correction on the shape data in the selected section.
  • step S11 in FIG. 8A the resolution of the shape data during acceleration/deceleration, particularly the resolution in the Y direction, will be described with reference to FIG. 10 (step S11 in FIG. 8A).
  • the scanning frequency and scanning width of the laser beam are rarely changed.
  • the Y direction is the direction along the weld line
  • the X direction is the direction that intersects the direction along the weld line.
  • the laser beam of the shape measuring unit 21 for measuring the shape is scanned along the Y direction at the moving speed of the tip of the robot 16 (hereinafter simply referred to as the moving speed of the robot 16), while crossing the welding line in the X direction. is cyclically scanned. Therefore, the X-direction resolution Rx of the shape data can often be regarded as constant in each of the constant velocity section and the acceleration/deceleration section.
  • the Y-direction resolution Ry changes according to the moving speed V of the robot 16. If the selected section is a constant-velocity section, the measurement frequency F and the moving speed V are constants, so the Y-direction resolution Ry is also a constant, as is apparent from Equation (1).
  • the selected section is an acceleration/deceleration section
  • the Y-direction interval between adjacent measurement points increases over time.
  • the robot 16 is decelerating and moving, the interval in the Y direction between adjacent measurement points becomes narrower over time.
  • the Y-direction resolution changes between measurement points along the Y-direction.
  • the selected section is an acceleration/deceleration section
  • the Y-direction resolution Ry(t) (mm) is expressed as shown in Equation (5).
  • V(t) (m/min) is the speed control function of the robot 16 and F(Hz) is the measurement frequency of the shape measuring section 21 .
  • V(t) is described by a kth-order function (k is an integer equal to or greater than 1) of time t (sec).
  • Tm is the travel time from the origin to the m-th coordinate point.
  • the Z coordinates are calculated as the coordinates after the correction process so as to satisfy Equation (7).
  • Equation (7) is similar to Equation (4), except that the reconstructed Y coordinate Ym/Cy m (t) is written as a function of time t.
  • Equation (7) Z (Xn/Cx, Ym/Cy m (t)) shown in Equation (7) is calculated for all point groups included in the selected section, and the resolution conversion correction of the shape data is completed (Fig. 8A step S12).
  • step S12 the process proceeds to step S13, and the first determination unit 28 determines whether the shape of the welding point 201 in the selected section is good or bad using the shape data after the resolution conversion correction is performed. Details of step S13 will be described later.
  • step S13 the data processing unit 23 determines whether or not there is a section in which the process of step S3 has not been executed among the divided sections of the shape data (step S9 in FIG. 8A).
  • step S9 If the determination result of step S9 is negative, the process returns to step S3 to select a section in which the process of step S3 has not been performed, and the process of step S3 is performed until the determination result of step S9 is affirmative. Repeat a series of steps until
  • step S9 When the determination result in step S9 is affirmative, the appearance inspection of the welded portion 201 is terminated because there are no divided sections for which shape evaluation has not yet been performed.
  • section 1 and section 3 are constant speed sections. Therefore, steps S1 to S8 in FIG. 8A are each executed to inspect the appearance of the welded portion 201. As shown in FIG. 11, section 1 and section 3 are constant speed sections. Therefore, steps S1 to S8 in FIG. 8A are each executed to inspect the appearance of the welded portion 201. As shown in FIG. 11, section 1 and section 3 are constant speed sections. Therefore, steps S1 to S8 in FIG. 8A are each executed to inspect the appearance of the welded portion 201. As shown in FIG.
  • Section 2 is a deceleration section. Specifically, the moving speed V (m/min) of the robot 16 monotonically decreases from V1 to V2 ( ⁇ V1) during the period T (sec). Therefore, the velocity control function V(t) of the robot 16 in section 2 is expressed in the form shown in Equation (8).
  • the data processing unit 23 acquires various information characterizing the speed control function V(t) from the robot control unit 17 .
  • the speed control function V(t) is a k-th order function of time t (k is an integer equal to or greater than 1)
  • each coefficient value from t to tk and the value of the constant B are obtained.
  • steps S1 to S4 and S10 to S13 of FIG. 8A are executed, respectively, to inspect the appearance of welded portion 201.
  • steps S8 and S13 in FIG. 8A is further divided into sub-steps SA to SC shown in FIG. 8B.
  • the first determination unit 28 determines whether or not the shape data in the selected section contains a shape defect (step SA).
  • the decision model used in this case is learned and reinforced in advance using the learning data set, as described above.
  • the learning data set may be resolution-corrected in advance.
  • the first determination unit 28 identifies the size and number of shape defects and the position of shape defects in the welded portion 201 (step SB). Further, the first determination unit 28 identifies the type of shape defect (step SC).
  • the type of shape defect is specified in consideration of the shape and size of the shape defect, the position of the welded portion 201, and the like.
  • the probability that the shape defect is the spatter 204 is calculated, and if the probability is a predetermined value (eg, 70%) or more, the shape defect is identified as the spatter 204 .
  • the final quality determination result of the shape of the welded portion 201 is transmitted to the notification unit 29 and the display 23g.
  • the shape data acquired by the shape measuring unit 21, specifically the shape of the welded portion 201 is displayed on the display 23g as point cloud data.
  • the work 200 is judged to be non-defective and either sent to subsequent processing steps or shipped as a non-defective product.
  • the storage destination of the inspection result is, for example, the first storage unit 25 of the data processing unit 23 .
  • the workpiece 200 may be discarded as a defective product.
  • the inspection results may be saved and the work 200 may be advanced to the repair process.
  • the welding location 201 determined to be defective is welded again.
  • the inspection results are saved, and the welded points 201 determined to be defective are visually confirmed again by the welding operator. good too.
  • visual confirmation it is determined whether or not the welded portion 201 can be repaired. If it is determined that the work 200 can be repaired, the work 200 is advanced to the repair process, and the welded portion 201 determined to be defective is welded again.
  • the appearance inspection apparatus 20 inspects the appearance of the welded portion 201 of the workpiece 200 .
  • the visual inspection apparatus 20 is attached to the robot 16 and has a shape measuring section 21 that measures the three-dimensional shape of the welded portion 201 along the weld line, and a data processing section 23 that processes the shape data acquired by the shape measuring section 21. and at least.
  • the data processing unit 23 includes at least a shape data processing unit 24 that performs at least resolution correction processing of shape data.
  • the data processing unit 23 also includes a learning data set generation unit 26 that performs data extension processing on a plurality of sample shape data acquired in advance by the shape measurement unit 21 to generate a plurality of learning data sets, and a learning data set generation unit 26 that generates a plurality of learning data sets. and a judgment model generation unit 27 for generating a judgment model for judging whether the shape of the welded part 201 is good or bad.
  • the data processing unit 23 performs a first judgment for judging whether the shape of the welded part 201 is good or bad based on the shape data corrected by the shape data processing unit 24 and one or more judgment models generated by the judgment model generation unit 27. A portion 28 is further provided.
  • the appearance inspection device 20 By configuring the appearance inspection device 20 in this way, even when the inspection conditions are changed according to the production takt time, the required inspection accuracy, etc., the three-dimensional shape of the welded portion 201 can be evaluated with high accuracy. The quality of the shape of the part 201 can be determined correctly.
  • one workpiece 200 usually includes a large number of welding points 201.
  • a plurality of types of welding points 201 having different shapes are often included, and the inspection conditions are appropriately changed according to the shape of the welding points 201 .
  • the three-dimensional shape of each welding point 201 can be evaluated with high accuracy, and the shape of the welding point 201 can be evaluated. Good or bad can be judged correctly.
  • the shape data processing unit 24 corrects the resolution of the shape data acquired by the shape measurement unit 21 based on the inspection conditions of the shape measurement unit 21.
  • the inspection conditions are, for example, the measurement resolution, measurement frequency, and scanning speed of the shape measurement unit 21 .
  • the scanning speed of the shape measuring unit 21 corresponds to the scanning speed of the laser beam in the X direction, the moving speed V of the robot 16, or the speed control function V(t) of the robot 16.
  • the resolution conversion correction of the shape data can be performed simply and accurately.
  • the sample shape data is acquired under conditions in which the measurement resolution, measurement frequency, and scanning speed of the shape measurement unit 21 are respectively predetermined.
  • the shape data processing unit 24 corrects the resolution of the shape data acquired by the shape measuring unit 21 so as to have the same value as the resolution of the sample shape data.
  • the decision model is enhanced for learning based on each of the multiple learning data sets.
  • a plurality of learning data sets are generated based on sample shape data as shape data obtained experimentally in advance before welding the actual workpiece 200 .
  • the resolution of the shape data is corrected so as to have the same value as the resolution of the sample shape data.
  • the appearance inspection apparatus 20 further includes a sensor control section 22 that stores inspection conditions by the shape measurement section 21 and transmits the stored inspection conditions to the data processing section 23 .
  • the sensor control unit 22 performs data processing on the measurement resolution and the measurement frequency in the X direction that intersects the Y direction and the Z direction that is the height direction of the welded portion 201. 23.
  • the data processing unit 23 also receives the movement speed V of the robot 16 or the speed control function V(t) of the robot 16 from the robot control unit 17 that controls the motion of the robot 16 .
  • the resolution conversion correction of the shape data can be performed simply and accurately.
  • the shape data processing unit 24 corrects the Z-direction value of the shape data based on the X-direction resolution and Y-direction resolution of the shape data.
  • the Y-direction resolution is determined by the measurement frequency of the shape measuring unit 21 and the moving speed of the robot 16. is determined based on V.
  • Y-direction resolution is determined based on the measurement frequency F of the shape measuring unit 21 and the speed control function V(t) of the robot 16 .
  • the speed control function V(t) is described by a kth order function of time t.
  • the speed control function V(t) is not limited to this, and may be a sine wave function or a cosine wave function, for example. That is, the speed control function V(t) is a function dependent on time t.
  • the resolution conversion correction of the shape data can be performed easily and accurately.
  • the learning data set generation unit 26 classifies a plurality of sample shape data acquired in advance by the shape measurement unit 21 for each material and shape of the workpiece 200, and performs data extension processing on the classified sample shape data to generate a plurality of data. Generate a training dataset.
  • the judgment model generation unit 27 generates a judgment model for each material and shape of the workpiece 200 using a plurality of learning data sets.
  • the visual inspection apparatus 20 By configuring the visual inspection apparatus 20 in this way, even if the number of sample shape data is small, it is possible to generate the required amount of learning data sets and improve the accuracy of the judgment model. Therefore, it is possible to accurately determine whether the shape of the welded portion 201 is good or bad. In addition, it is no longer necessary to acquire a large amount of sample shape data, and the number of man-hours for determining whether the shape is good or bad can be greatly reduced. In addition, it is possible to automatically detect the shape defect of the welded portion 201 without manually setting complicated criteria. Furthermore, since the learning data set is generated after classifying the sample shape data in advance for each material and shape of the workpiece 200, the learning data set can be efficiently generated.
  • the data processing unit 23 further includes a first storage unit 25 that stores at least sample shape data used to generate a plurality of learning data sets.
  • the sample shape data stored in the first storage unit 25 is read by the learning data set generation unit 26 to generate a plurality of learning data sets.
  • the data processing unit 23 further includes a notification unit 29 that notifies the determination result of the first determination unit 28.
  • the welding operator or the system administrator can know in real time whether or not a problem has occurred in the welding location 201 during the welding of the workpiece 200 . Also, if necessary, measures can be taken to determine whether or not to continue welding the workpiece 200 . As a result, welding costs in the welding process can be reduced.
  • the learning data set generation unit 26 generates a learning data set based on one or more feature amounts extracted from the sample shape data. Note that the feature amount is extracted by the shape data processing unit 24 .
  • the learning data set generator 26 changes one or more feature values extracted from the sample shape data, or changes the position of the shape defect location in the sample shape data, or both. is doing data augmentation.
  • the learning data set generation unit 26 classifies the plurality of sample shape data for each inspection item of the welding point 201, and performs data extension processing on the classified sample shape data to generate a plurality of learning data sets. good too.
  • the first determination unit 28 determines whether or not the input shape data has a shape defect. For this determination, a learning data set is generated using sample shape data composed of non-defective product data containing no shape defect and defective product data containing some shape defect. In the training data set, the defect data has been processed to identify the type of shape defect and to label the type of shape defect identified. Using this learning data set, the decision model is previously learned and reinforced.
  • the first determination unit 28 identifies the number and size of the shape defect, and further specifies the position of the shape defect in the welding point 201 and a predetermined area around it.
  • the first determination unit 28 identifies the type of shape defect.
  • the number and size of shape defects, and the positions of shape defects in welded portions 201 are referred to.
  • the type of shape defect is calculated by probability, and when the probability is equal to or greater than a predetermined threshold value, the type of shape defect is determined.
  • the types of shape defects are not limited to those shown in FIGS. 6A to 6E.
  • a shape defect also includes a case where the dimensions of the welded portion 201 do not satisfy a predetermined non-defective standard.
  • the non-defective product standard for the dimensions can be set in any of the X direction, Y direction, and Z direction.
  • the first determination unit 28 determines or specifies a plurality of items regarding the shape of the welded portion 201, and finally determines whether the shape of the welded portion 201 is good or bad based on those results. By doing so, it is possible to accurately and reliably evaluate the shape quality of the welded portion 201 .
  • the judgment model generation unit 27 may generate a judgment model for each inspection item of the welded portion 201 for judging the quality of the shape of the welded portion 201 using a plurality of learning data sets.
  • the learning data set generation unit 26 divides the plurality of sample shape data into a specific portion for which determination of a shape defect of the welded portion 201 is more difficult than other portions and other portions, and divides the sample shape data into respective sample shape data. may be subjected to separate data augmentation processing to generate a plurality of learning data sets.
  • the judgment model generation unit 27 divides the judgment model corresponding to the specific portion of the welding point 201 and the other portions into the judgment model.
  • a corresponding judgment model may be generated separately.
  • the determination model used for determining the presence or absence of shape defects and the determination model for specifying the types of shape defects are the same. However, each judgment model may be provided separately.
  • a welding system 100 includes a welding device 10 that welds a workpiece 200 and a visual inspection device 20 .
  • the shape of the welded portion 201 can be inspected with high accuracy and a small number of man-hours. This can reduce the cost of the welding process.
  • the welding apparatus 10 also includes a welding head 11 (welding torch 11) for inputting heat to the workpiece 200, a robot 16 that holds and moves the welding head 11 (welding torch 11) to a desired position, and a robot 16 that moves the welding head 11 to a desired position. It has at least an output control section 15 that controls the welding output of (the welding torch 11 ) and a robot control section 17 that controls the operation of the robot 16 .
  • the output control unit 15 stops the welding output of the welding head 11 (welding torch 11), and the robot control unit 17 stops the operation of the robot 16 or operates the robot 16 so that the welding head 11 (welding torch 11) comes to a predetermined initial position.
  • the welding system 100 By configuring the welding system 100 in this way, if the shape of the welded portion 201 is defective, the next welding can be stopped to prevent the frequent occurrence of defective products.
  • the determination result of the first determination unit 28 for each inspection item it is possible to estimate the defect location in the welding system 100, quickly eliminate the cause of the defect, and shorten the downtime of the welding system 100.
  • the shape measurement unit 21 measures the three-dimensional shape of the welding point 201 while moving with the robot 16, and acquires sample shape data for generating a plurality of learning data sets. It has a step to Further, the shape measurement unit 21 measures the three-dimensional shape of the welding point 201 while moving together with the robot 16, and acquires shape data.
  • the shape data processing unit 24 corrects the resolution of the shape data acquired by the shape measurement unit 21 as a sample.
  • a step of correcting the shape data so as to have the same value as the resolution of the shape data is further included.
  • the shape features of the defective shape portions such as the holes 202 and the spatters 204, included in the sample shape data, and by extension, the learning data set and the shape data, respectively.
  • the shape data after the resolution conversion correction is input to the learned determination model, the quality of the shape of the welded portion 201 can be reliably and accurately determined.
  • the shape measurement unit 21 measures the three-dimensional shape of the welded part 201 while moving with the robot 16, and sample shape data for generating a plurality of learning data sets. at least the step of obtaining
  • the judgment model generation unit 27 further comprises a step of generating one or a plurality of judgment models for judging whether the shape of the welded part 201 is good or bad, using a plurality of learning data sets.
  • the shape measurement unit 21 measures the three-dimensional shape of the welding point 201 while moving together with the robot 16, and acquires shape data.
  • the shape data processing unit 24 determines the resolution of the shape data obtained by the shape measuring unit 21. is the same as the resolution of the sample shape data.
  • the first determination unit 28 determines the quality of the shape of the welded part 201 based on the shape data whose resolution has been corrected by the shape data processing unit 24 and one or more determination models generated by the determination model generation unit 27. It has a step of determining.
  • the three-dimensional shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape of the welded portion 201 can be evaluated. can be determined correctly.
  • each The shape of the welded portion 201 can be evaluated with high accuracy. For example, even if the welded portion 201 has a curved portion or a recessed portion that limits the operation range of the robot 16, the shape of the welded portion 201 can be precisely adjusted without being affected by changes in inspection conditions. can be evaluated well.
  • step (steps S8 and S13 in FIG. 8A) in which the first determination unit 28 determines whether the shape of the welded portion 201 is good or bad further includes the following substeps.
  • a substep (substep SA in FIG. A sub-step (sub-step SB in FIG. 8B) of identifying the number and size of defects and the position of the shape defect with respect to the weld location 201, and a sub-step (sub-step SC in FIG. 8B) of identifying the type of shape defect. .
  • the first determination unit 28 determines whether the shape of the welded portion 201 is good or bad based on the determination results and identification results of the respective substeps SA to SC.
  • FIG. 12 schematically shows the state of visual inspection of the welded portion according to Example 1.
  • the shape of the shape measuring unit 21 is shown schematically. Also, illustration and description of constituent elements other than the shape measuring section 21 and the welded portion 201 are omitted.
  • the same reference numerals are given to the same portions as in Embodiment 1, and detailed description thereof will be omitted.
  • the appearance inspection was performed while moving the shape measurement unit 21 at a constant speed with respect to the welded portion 201, which is a linear weld bead.
  • the measurement range (scanning range) of the shape measuring unit 21 is 5 mm in the X direction and 45 mm in the Y direction.
  • the measurement frequency F was 1000 Hz
  • the moving speed V of the robot 16 (corresponding to the constant speed described above) was 9 m/min
  • the number of columns of the point cloud data (the number of point cloud columns) measured by the shape measuring unit 21 is Nx in the X direction and Ny in the Y direction
  • the length of the point cloud data in the X direction is Lx
  • the length in the Y direction is is Ly
  • the numbers of point cloud columns Nx and Ny are expressed by equations (9) and (10), respectively.
  • Nx (Lx/Rx)+1 (9)
  • Ny (Ly/Ry)+1 (10) Since the lengths Lx and Ly are 5 mm and 45 mm, respectively, the numbers of point cloud columns Nx and Ny are 101 and 301, respectively.
  • the second term on the right side is the column including the origin.
  • the number of point cloud columns Nx' and Ny' after reconstructing the shape data is obtained by changing the X-direction resolution Rx of the shape data in Equation (9) to the X-direction resolution Rx of the sample shape data in Equation (10). It is obtained by replacing the Y-direction resolution Ry of the shape data with the Y-direction resolution Ry of 0 of the sample shape data.
  • the numbers of point group columns Nx' and Ny' are 201 and 451, respectively. That is, the original shape data is reconstructed into point cloud data composed of 201 point cloud rows in the X direction and 451 point cloud rows in the Y direction.
  • Equation (4) Z (Xn/Cx, Ym/Cy) as coordinates after correction processing shown in Equation (4) is calculated based on Equation (4), The Z coordinate value is corrected, and the resolution conversion correction is completed. Further, the quality of the shape of the welded portion 201 was determined by the first determination unit 28 using the learned determination model.
  • the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be determined correctly.
  • FIG. 13 shows a schematic diagram of the planar shape of the welded portion according to Examples 2 and 3.
  • the welded portion 201 is substantially L-shaped with corner portions.
  • the welded portion 201 is divided into sections I and II, which are straight sections, section III, which is a substantially quadrant arc-shaped corner section, and sections IV and V, which are straight sections.
  • section I which is a straight portion, small shape defects are less likely to occur. Therefore, in the visual inspection of section I, reducing the visual inspection time and reducing the production takt time are prioritized over obtaining the shape data of the welded portion 201 by increasing the measurement resolution.
  • Section III which is the corner portion
  • Section I the frequency of occurrence of small shape defects tends to be higher than in Section I. Therefore, in the visual inspection of the section III, it is necessary to obtain the shape data of the welded portion 201 by increasing the measurement resolution, thereby performing a highly accurate visual inspection.
  • Section I and Section III are set to be constant speed sections, the moving speed V1 of the robot 16 in Section I is set to 9 m/min, and the moving speed V3 of the robot 16 in Section III is set to 3 m/min. bottom.
  • the section II is a deceleration section in which the moving speed V is decelerated from V1 to V3 by a linear function of the time t. Note that the velocity control function V(t) of the robot 16 in section II has the same form as shown in equation (8).
  • the numbers of point cloud columns Nx and Ny at the time of acquiring the shape data were the same values as in the first embodiment. That is, the number of point cloud columns Nx and Ny at the time of acquisition of the shape data are 101 and 301, respectively.
  • the number of point cloud sequences Nx′ after reconstructing the shape data is 201. This is obtained by replacing the X-direction resolution Rx of the shape data in Equation (9) with the X-direction resolution Rx 0 of the sample shape data.
  • the number of point cloud columns Ny' after the calculation is expressed in the form shown in Equation (13).
  • the original shape data is reconstructed into point cloud data composed of 201 point cloud sequences in the X direction and 201 point cloud sequences in the Y direction.
  • Z(Xn/Cx, Ym/Cy m (t)) as coordinates after correction processing is calculated so as to satisfy expression (7).
  • n is an integer of 1 or more and satisfies 1 ⁇ n ⁇ 201
  • m is an integer of 1 or more and satisfies 1 ⁇ m ⁇ 201.
  • Equation (7) Z(Xn/Cx, Ym/Cy m (t)) as coordinates after correction processing shown in Equation (7) is calculated for all point groups included in section II. Furthermore, (Xn/Cx, Ym/Cy m (t), Z (Xn/Cx, Ym/Cy m (t))) are calculated for all coordinate points included in interval II, and in interval II , shape data whose resolution is corrected is obtained by the resolution conversion correction.
  • the quality of the shape of the welded portion 201 is determined by the learned determination model in the first determination unit 28. .
  • the determination model It is possible to suppress erroneous recognition of a shape defect of .
  • the judgment model is generated in advance based on each of a plurality of learning data sets generated based on the sample shape data, and the learning is further strengthened. Therefore, even when the shape data is acquired under inspection conditions different from those at the time of acquiring the sample shape data, the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be determined correctly.
  • Section IV is an acceleration section in which the moving speed V accelerates from V3 to V5 as a linear function of time t. Note that the speed control function V(t) of the robot 16 in the section IV as the acceleration section has the same form as shown in Equation (8).
  • the number of point cloud columns Nx' after reconstructing the shape data is 201.
  • the number of point cloud columns Ny' after reconstructing the shape data is expressed in the form shown in Equation (15).
  • the original shape data is reconstructed into point cloud data composed of 201 point cloud sequences in the X direction and 251 point cloud sequences in the Y direction.
  • Z(Xn/Cx, Ym/Cy m (t)) is calculated so as to satisfy equation (7).
  • n is an integer of 1 or more and satisfies 1 ⁇ n ⁇ 201
  • m is an integer of 1 or more and satisfies 1 ⁇ m ⁇ 251.
  • Equation (7) Z(Xn/Cx, Ym/Cy m (t)) as coordinates after the correction processing shown in Equation (7) is calculated for all point groups included in section IV. Furthermore, (Xn/Cx, Ym/Cy m (t), Z (Xn/Cx, Ym/Cy m (t))) are calculated for all coordinate points included in section IV, and in section IV , to obtain shape data whose resolution is corrected.
  • the quality of the shape of the welded portion 201 was determined by the learned determination model in the first determination unit 28 .
  • the shape in the judgment model Misrecognition of defects can be suppressed. Therefore, even when the shape data is acquired under inspection conditions different from those at the time of acquiring the sample shape data, the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be determined correctly.
  • the determination it is possible to suppress erroneous recognition of shape defects in the model. Therefore, even in the deceleration section and the acceleration section, the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be correctly determined.
  • the resolution of the shape data acquired by the shape measurement unit 21 it is preferable to set the resolution of the shape data acquired by the shape measurement unit 21 to the same value as the resolution of the sample shape data. By doing so, the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be determined correctly.
  • the scanning speed of the shape measuring unit 21 in the Y direction that is, the moving speed V of the robot 16 constant throughout the inspection section.
  • shape data is usually obtained by the method described below.
  • the shape measuring unit 21 is accelerated and moved from a stationary state until it reaches the starting point of the inspection section.
  • the moving speed V is set to a desired value.
  • the shape of the welded portion 201 is measured while moving the shape measuring unit 21 at a constant speed V over the entire inspection section.
  • the resolution of the shape data is converted so that the resolution of the shape data becomes the same value as the resolution of the sample shape data. can be corrected to As a result, the shape of the welded portion 201 can be evaluated without providing a run-up section.
  • FIG. 14 schematically shows how the appearance of a welded portion is inspected according to Example 4.
  • a welded portion 201 which is a linear weld bead, is inspected by moving the shape measuring unit 21 as described below. did
  • the shape measuring unit 21 is accelerated while the robot 16 is moved from a state where the shape measuring unit 21 is stationary.
  • the velocity control function V(t) of the robot 16 in this case has the same form as shown in equation (8).
  • the shape measuring unit 21 continuously measured the shape of the welded part 201 from the time when the shape measuring unit 21 started to move, and performed an appearance inspection.
  • the interval from when the shape measuring unit 21 starts to move to when it reaches the speed Vc corresponds to both the acceleration interval and the aforementioned run-up interval. Therefore, unlike the conventional method, even in the acceleration/deceleration section in which the moving speed V changes, the resolution of the shape data is converted and the resolution of the shape data is changed to that of the sample shape data without providing a run-up section separately from the inspection section. It is corrected so that it becomes the same value as the resolution of . As a result, the resolution of the acquired shape data can be corrected to the same value as the resolution of the sample shape data over the entire inspection section including the acceleration section.
  • the number of point cloud sequences Nx′ after reconstructing the shape data is 201. Become. On the other hand, the number of point cloud columns Ny' after reconstructing the shape data is expressed in the form shown in Equation (17).
  • the original shape data is reconfigured into point cloud data composed of 201 point cloud sequences in the X direction and 226 point cloud sequences in the Y direction.
  • Z(Xn/Cx, Ym/Cy m (t)) as coordinates after correction processing is calculated so as to satisfy expression (7).
  • n is an integer of 1 or more and satisfies 1 ⁇ n ⁇ 201
  • m is an integer of 1 or more and satisfies 1 ⁇ m ⁇ 226.
  • Equation (7) Z(Xn/Cx, Ym/Cy m (t)) as coordinates after the correction processing shown in Equation (7) is calculated for all point groups included in the acceleration section. Furthermore, (Xn/Cx, Ym/Cy m (t), Z (Xn/Cx, Ym/Cy m (t))) are calculated for all coordinate points included in the acceleration section, and in the acceleration section , the resolution of the shape data is converted to obtain the shape data whose resolution is corrected.
  • the shape data is input to the determination model.
  • the judgment model is generated in advance based on each of a plurality of learning data sets generated based on the sample shape data, and the learning is further strengthened. Therefore, even when the shape data is acquired under inspection conditions different from those at the time of acquiring the sample shape data, the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be determined correctly.
  • the shape data can be measured by converting the resolution of the shape data and correcting the resolution of the shape data to the same value as the resolution of the sample shape data.
  • the shape of the welded portion 201 can be evaluated with high accuracy over the entire inspection section including the acceleration section, and the quality of the shape can be correctly determined.
  • FIG. 15 is a schematic diagram showing a Z-direction profile of a welded portion according to Example 5.
  • FIG. 16A is a schematic diagram showing the arrangement of the shape measuring units in section A.
  • FIG. 16B is a schematic diagram showing the arrangement of shape measuring units in section B.
  • FIG. 16C is a schematic diagram showing the arrangement of the shape measuring units in section C.
  • FIG. The welding point 201 shown in FIG. 15 has, in the inspection section, a section A that is a flat portion, a section B that is an anteriorly inclined portion viewed from the movement direction, and a section C that is a rearwardly inclined portion viewed from the movement direction. , and the sections A, B, and C are periodically repeated in the moving direction.
  • FIG. 17A is a schematic diagram showing the arrangement of the shape measuring units according to the conventional method when inspecting the section A.
  • FIG. 17B is a schematic diagram showing the arrangement of the shape measuring units according to the conventional method when inspecting the section B.
  • FIG. 17A is a schematic diagram showing the arrangement of the shape measuring units according to the conventional method when inspecting the section A.
  • FIG. 17B is a schematic diagram showing the arrangement of the shape measuring units according to the conventional method when inspecting the section B.
  • the shape of the welding point 201 varies. For example, as shown in FIG. 15, there is also a welding point 201 in which protrusions protruding in the Z direction are periodically formed.
  • the inspection section When performing a visual inspection of the welded portion 201 shown in FIG. 15, the inspection section consists of a section A that is a flat portion, a section B that is a forward tilted portion and a section C that is a rearward tilted portion viewed from the moving direction of the robot 16. , appear periodically in this order.
  • the height of the projection in the Z direction with respect to the surface of the workpiece 200 is H1.
  • the work distance which is the distance between the light receiving surface of the camera or the light receiving sensor array 21b and the surface of the welding point 201, is kept constant.
  • a visual inspection of the location 201 is performed. This is because if the work distance changes, the shape cannot be measured correctly. Therefore, if the inspection section includes a portion where the surface height or inclination of the welded portion 201 changes significantly, it is necessary to change the placement of the shape measuring unit 21 before and after the portion so as to maintain the work distance. Specifically, it is necessary to change the angle of the light receiving surface of the shape measuring unit 21 with respect to the movement direction.
  • the shape evaluation unit 21 receives light from the shape evaluation unit 21 with respect to the inclined surface of the section B, which is the forward inclined portion viewed from the movement direction, according to the inclination of the convex portion.
  • the shape evaluation is performed in the direction opposite to the moving direction so that the optical axis of the laser beam is perpendicular to the surface.
  • the portion 21 is arranged to form an advance angle ⁇ 1, which is an angle at which the portion 21 is inclined.
  • the shape evaluation unit 21 receives light from the shape evaluation unit 21 on the inclined surface of the section C, which is the rearward inclined portion viewed from the movement direction, according to the inclination of the convex portion.
  • the shape evaluation unit 21 is tilted in the movement direction with respect to the vertical direction when the surface of the workpiece 200 in the flat section A is used as a reference so that the optical axis of the laser beam is perpendicular to the surface. It is arranged so as to form a receding angle ⁇ 2, which is an angle.
  • the shape measuring unit 21 is temporarily stopped before and after the location where the surface height and inclination of the welded location 201 change significantly. After changing the arrangement, the shape measurement part 21 is moved again, and the shape measurement of the welding point 201 is restarted.
  • a predetermined distance behind the start position (opposite direction to the movement direction) of the measurement target section (the section B that is the anteversion portion viewed from the movement direction described above), which is the inspection section. It is necessary to provide a run-up section. In the case shown in FIG. 17B, since the run-up section also includes a component along the Z direction, it is necessary to move the shape measuring unit 21 also along the Z direction.
  • the production takt time increases when the run-up section is provided in the shape measurement of the welded portion 201 .
  • the increase in production takt time becomes more pronounced.
  • the shape of the welded portion 201 can be evaluated without providing a run-up section separate from the inspection section. As a result, an increase in production tact time can be greatly suppressed. This embodiment will be described below.
  • the scanning distances La to Lc of the shape measuring unit 21 in each of the sections A to C are substantially the same value, 67.5 mm.
  • the scanning distance in this case is the moving distance of the shape measuring part 21 along the surface of the welding point 201 .
  • Table 1 A summary of these is shown in Table 1.
  • the appearance inspection method of the welded portion 201 was performed in the same manner as in Example 4. That is, in each constant velocity section, the original shape data is reconstructed using the X-direction resolution Rx, Rx 0 and the Y-direction resolution Ry, Ry 0 , and each point of the reconstructed point cloud data , the value of the Z coordinate as the coordinate after the correction processing was corrected based on the equation (4), and the resolution of the shape data was corrected. Furthermore, in the first determination unit 28, the quality of the shape of the welded part 201 is determined in each constant-velocity section using a learned determination model that is generated based on each of the plurality of learning data sets and whose learning has been strengthened. Judged. In addition, as described above, each of the plurality of learning data sets is generated based on sample shape data obtained in advance.
  • each acceleration section the original shape data is reconstructed using the X-direction resolutions Rx, Rx 0 , the Y-direction resolutions Ry(t), Ry 0 , and the resolution coefficient Cy m (t), and acceleration Z(Xn/Cx, Ym/Cy m (t)) as coordinates after the correction processing shown in Equation (7) was calculated for all point groups included in the section. Furthermore, (Xn/Cx, Ym/Cy m (t), Z (Xn/Cx, Ym/Cy m (t)))) are calculated for all coordinate points included in the acceleration section, and each acceleration In the interval, shape data with corrected resolution were obtained. Furthermore, in the first determination unit 28, the quality of the shape of the welded part 201 was determined in each acceleration section using the learned determination model.
  • a case where the shape of the welded portion 201 was measured by a conventional method was used as a comparative example.
  • a run-up section is provided separately from the inspection section in which the shape data is measured.
  • the shape measuring unit 21 is retreated by the distance of the approach section from the measurement end point. Furthermore, the angle of the light receiving surface of the shape measuring unit 21 with respect to the surface of the welding point 201 is changed so that the optical axis of the laser beam received by the shape evaluating unit 21 is perpendicular to the surface of the workpiece 200.
  • the shape measuring unit 21 is accelerated and moved to the measurement start point. Further, the shape of the welded portion 201 is measured while moving the shape measuring unit 21 at a constant speed from the measurement start point to the measurement end point of the section A. Such a step is performed in each of the six flat sections A, the five sections B front-inclined when viewed in the direction of movement, and the five sections C rear-inclined when viewed in the direction of movement. Execution was performed, and the shape data of the welded portion 201 was obtained.
  • the scanning distance and scanning time of the shape measuring unit 21 in each run-up section provided separately from the inspection section in which the shape data is measured are added to the scanning distance and scanning time of the constant speed section, respectively.
  • a total section (approach section+constant speed section) as the entire scanning distance and scanning time is calculated.
  • Table 2 shows the summarized results including comparison with the results of this example.
  • the scanning distance of the shape measuring unit 21 could be reduced to about 30%, and the scanning time could be reduced to about 50%, compared to the comparative example. In other words, an increase in the production takt time required for appearance inspection could be greatly suppressed.
  • the shape measuring unit 21 by correcting the resolution of the shape data measured by the shape measuring unit 21 so as to have the same value as the resolution of the sample shape data acquired in advance, when the shape data is input to the determination model, the shape in the determination model Misrecognition of defects can be suppressed. Therefore, even when the shape data is acquired under inspection conditions different from those at the time of acquiring the sample shape data, the shape of the welded portion 201 can be evaluated with high accuracy, and the quality of the shape can be determined correctly.
  • the inspection section in which the shape data is measured can be divided into an acceleration section and a constant velocity section.
  • a visual inspection of the welded portion 201 can be performed without providing a run-up section separately from the above.
  • the shape data is applied to the judgment model by performing the above-mentioned resolution conversion correction on the shape data so that the resolution is the same as the resolution of the sample shape data obtained in advance.
  • the shape data is applied to the judgment model by performing the above-mentioned resolution conversion correction on the shape data so that the resolution is the same as the resolution of the sample shape data obtained in advance.
  • FIG. 1 shows an example in which both the welding torch 11 (welding head 11) and the shape measuring unit 21 are attached to the robot 16, the robot 16 to which the welding torch 11 (welding head 11) is attached Alternatively, another robot (not shown) to which the shape measuring unit 21 is attached may be provided. In that case, various data are transmitted to the data processing unit 23 from another robot control unit (not shown) that controls the operation of another robot.
  • the learning data set generation unit 26 shown in the embodiment classifies the sample shape data for each material and shape of the workpiece 200, and performs data extension processing on the classified sample shape data to generate a plurality of learning data sets.
  • the learning data set generation unit 26 does not have to have the classification function.
  • the judgment model generating section 27 may not have the function of generating a judgment model for each material and shape of the workpiece 200 .
  • the appearance inspection apparatus of the present disclosure can accurately evaluate the three-dimensional shape of the welded part even when the inspection conditions are changed, it is suitable for the appearance inspection of works including various types of welded parts. Especially useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

外観検査装置２０は、溶接箇所２０１の三次元形状を計測する形状計測部２１と、形状計測部２１で取得された形状データを処理するデータ処理部２３と、を備えている。データ処理部２３は、形状データの分解能補正を行う形状データ処理部２４と、予め取得された複数のサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部２６と、複数の学習データセットを用いて判定モデルを生成する判定モデル生成部２７と、分解能補正された形状データと判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２８とを備えている。

Description

外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
　本開示は、外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法に関する。
　近年、機械学習で強化された判定モデルを用いて、溶接箇所等の外観検査を行い、形状の良否を判定することが広まりつつある。
　例えば、特許文献１には、形状計測部と画像処理部と学習データセット生成部と判定モデル生成部と第１判定部とを備えた溶接箇所の外観検査装置が提案されている。
　形状計測部は溶接箇所の形状を計測し、画像処理部は、計測された形状データに基づいて溶接箇所の画像データを生成する。学習データセット生成部は、複数の画像データをワークの材質及び形状毎に分類するとともに、データ拡張して複数の学習データセットを生成する。判定モデル生成部は、複数の学習データセットを用いて溶接箇所の形状の判定モデルをワークの材質及び形状毎に生成する。第１判定部は、画像処理部から読み出された画像データと判定モデルとに基づいて溶接箇所の形状の良否を判定する。
国際公開第２０２０／１２９６１７号
　ところで、実際のワークの生産加工現場では、外観検査装置の検査条件が適宜変更される。例えば、溶接線に沿って溶接箇所を検査する際の検査速度やセンサの計測周波数、また、センサの計測分解能等が加工設備の使用者の目的に合わせ最適な条件となるように逐次変更される。
　このように検査条件が変更されるのは、ワークの生産タクトタイムや検査精度が検査条件によって大きく変化するからである。例えば、生産タクトタイムを重視する場合、検査速度を高めることにより短い生産タクトタイムで検査できる。一方で、センサの計測分解能が粗くなるため、センサで取得した溶接箇所の三次元形状も粗くなる。このため、細かな溶接不良を検出することができず、検査精度が低下する。
　また、検査精度を重視する場合、検査速度を遅くすることで計測分解能を細かくする。一方で、検査速度を遅くなるため、生産タクトタイムが長くなる。
　また、検査条件は検査するワークや溶接箇所の状況によっても変更される。例えばワークの形状が湾曲しているか直線状かによって、検査速度を変化させることがある。また、細かな欠陥も許されない加工品では、精度の高い検査が要求される。この場合、生産タクトタイムを犠牲にしても計測分解能を高くすることが行われる。
　また、検査対象となるワークの材質や溶接箇所の形状には多数の種類があり、各々の溶接箇所の形状等に適合させるように検査条件が調整される。
　しかし、例えば、センサの計測分解能が変化した場合、同じ溶接箇所の三次元形状を計測しても、計測結果が異なる。このため、判定モデルに入力される溶接箇所の形状データの特徴と、事前に機械学習した形状データの特徴が一致せず、高精度の外観検査が行えない。
　本開示はかかる点に鑑みてなされたもので、その目的は、検査条件が変更された場合であっても、溶接箇所の三次元形状を精度良く評価できる外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法を提供することにある。
　上記目的を達成するため、本開示に係る外観検査装置は、ワークの溶接箇所の外観を検査する外観検査装置であって、ロボットに取り付けられ、溶接線に沿って前記溶接箇所の三次元形状を計測する形状計測部と、前記形状計測部で取得された形状データを処理するデータ処理部と、を少なくとも備え、前記データ処理部は、前記形状計測部で取得された形状データの分解能補正処理を少なくとも行う形状データ処理部と、前記形状計測部で予め取得された複数のサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部と、複数の前記学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを生成する判定モデル生成部と、前記形状データ処理部で補正された前記形状データと前記判定モデル生成部で生成された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を少なくとも備えたことを特徴とする。
　本開示に係る溶接システムは、前記外観検査装置と、前記ワークを溶接する溶接装置と、を備え、前記溶接装置は、前記ワークに入熱するための溶接ヘッドと、前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする。
　本開示に係る形状データの補正方法は、外観検査装置で取得した形状データの補正方法であって、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、複数の前記学習データセットを生成するためのサンプル形状データを取得するステップと、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得するステップと、前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と異なる場合、前記形状データ処理部が、前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と同じ値になるように前記形状データを補正するステップと、を備えたことを特徴とする。
　本開示に係る溶接箇所の外観検査方法は、外観検査装置を用いた溶接箇所の外観検査方法であって、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、複数の前記学習データセットを生成するためのサンプル形状データを取得するステップと、前記判定モデル生成部が、複数の前記学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための１または複数の前記判定モデルを生成するステップと、前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得するステップと、前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と異なる場合、前記形状データ処理部が、前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と同じ値になるように前記形状データを補正するステップと、前記第１判定部が、前記形状データ処理部で分解能が補正された前記形状データと前記判定モデル生成部で生成された１または複数の前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定するステップと、を少なくとも備えたことを特徴とする。
　本開示によれば、検査条件が変更された場合であっても、溶接箇所の三次元形状を精度良く評価できる。また、溶接箇所の形状の良否を正しく判定できる。
図１は、実施形態に係る溶接システムの構成を示す模式図である。 図２は、ロボット処理部のハードウェア構成を示す模式図である。 図３は、外観検査装置の機能ブロック図である。 図４は、形状計測部による溶接ビードの形状計測の様子を示す模式図である。 図５Ａは、センサ制御部のハードウェア構成を示す模式図である。 図５Ｂは、データ処理部のハードウェア構成を示す模式図である。 図６Ａは、溶接箇所の不良モードの一例を示す平面模式図である。 図６Ｂは、図６ＡのＶＩＢ－ＶＩＢ線での断面模式図である。 図６Ｃは、図６ＡのＶＩＣ－ＶＩＣ線での断面模式図である。 図６Ｄは、図６ＡのＶＩＤ－ＶＩＤ線での断面模式図である。 図６Ｅは、図６ＡのＶＩＥ－ＶＩＥ線での断面模式図である。 図７Ａは、学習データセットの作成手順の一例を示す模式図である。 図７Ｂは、学習データセットの作成手順の別の一例を示す模式図である。 図７Ｃは、学習データセットの作成手順のさらなる別の一例を示す模式図である。 図８Ａは、溶接箇所の外観検査手順のフローチャートである。 図８Ｂは、溶接ビードの形状の良否判定手順のフローチャートである。 図９は、分解能変換補正における形状データの座標点の導出手順を示す概念図である。 図１０は、加減速区間における分解能変換補正前後の形状データの座標点位置の変化を示す概念図である。 図１１は、加減速区間におけるロボットの速度制御関数の一例を示す模式図である。 図１２は、実施例１に係る溶接箇所の外観検査の様子を示す模式図である。 図１３は、実施例２及び実施例３に係る溶接箇所の平面形状を示す模式図である。 図１４は、実施例４に係る溶接箇所の外観検査の様子を示す模式図である。 図１５は、実施例５に係る溶接箇所のＺ方向プロファイルを示す模式図である。 図１６Ａは、区間Ａにおける形状計測部の配置を示す模式図である。 図１６Ｂは、区間Ｂにおける形状計測部の配置を示す模式図である。 図１６Ｃは、区間Ｃにおける形状計測部の配置を示す模式図である。 図１７Ａは、従来の方法に係る形状計測部の配置であって、区間Ａを検査する場合の配置を示す模式図である。 図１７Ｂは、従来の方法に係る形状計測部の配置であって、区間Ｂを検査する場合の配置を示す模式図である。
　以下、本開示の実施形態を図面に基づいて説明する。なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものではない。
　（実施形態）
　［溶接システムの構成］
　図１は、本実施形態に係る溶接システムの構成の模式図を示し、溶接システム１００は、溶接装置１０と外観検査装置２０とを有している。
　溶接装置１０は、溶接トーチ１１とワイヤ送給装置１３と電源１４と出力制御部１５とロボット１６とロボット制御部１７とを有している。溶接トーチ１１に保持された溶接ワイヤ１２に電源１４から電力が供給されることで、溶接ワイヤ１２の先端とワーク２００との間にアークが発生し、ワーク２００が入熱されてアーク溶接が行われる。なお、溶接装置１０は、溶接トーチ１１にシールドガスを供給するための配管やガスボンベ等の別の構成部品や設備を有しているが、説明の便宜上、これらの図示及び説明を省略する。なお、電源１４は溶接電源とも言う。
　出力制御部１５は電源１４及びワイヤ送給装置１３に接続されて、所定の溶接条件に従って、溶接トーチ１１の溶接出力、言い換えると、溶接ワイヤ１２に供給される電力及び電力供給時間を制御している。また、出力制御部１５は、ワイヤ送給装置１３から溶接トーチ１１に送給される溶接ワイヤ１２の送給速度及び送給量を制御している。なお、溶接条件は図示しない入力部を介して直接、出力制御部１５に入力されてもよいし、別途、記録媒体等から読み出された溶接プログラムから選択されるようにしてもよい。
　ロボット１６は公知の多関節軸ロボットであり、先端に溶接トーチ１１を保持するとともに、ロボット制御部１７に接続されている。ロボット制御部１７は、溶接トーチ１１の先端、言い換えると、溶接トーチ１１に保持された溶接ワイヤ１２の先端が所定の溶接軌跡を描いて、所望の位置に移動するようにロボット１６の動作を制御している。
　図２は、ロボット処理部のハードウェア構成の模式図を示し、ロボット制御部１７は、ＣＰＵ（Central Processing Unit）１７ａとドライバＩＣ（Driver Integrated Circuit）１７ｂとＲＡＭ（Random Access Memory）１７ｃとＩＣ（Integrated Circuit）１７ｄとを少なくとも備えている。
　通常の動作では、ロボット１６に設けられた複数の関節軸にそれぞれ設けられた回転検出器（図示せず）の出力信号をＩＣ１７ｄが受信する。当該出力信号は、ＩＣ１７ｄで信号処理された後、ＣＰＵ１７ａに入力される。ＣＰＵ１７ａは、ＩＣ１７ｄから入力された信号と、ＲＡＭ１７ｃに保存された所定のプログラムに設定された関節軸の回転数とに基づいて、ドライバＩＣ１７ｂに制御信号を送信する。ドライバＩＣ１７ｂは、ＣＰＵ１７ａからの制御信号に基づいて、関節軸に接続されたサーボモータ（図示せず）の回転を制御する。
　また、後で述べるように、外観検査装置２０において、データ処理部２３の第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、その判定結果を受け取ったロボット制御部１７のＣＰＵ１７ａはロボット１６の動作を停止させるか、また溶接トーチ１１が所定の初期位置に来るようにロボット１６を動作させる。
　また、出力制御部１５もロボット制御部１７と同様の構成を備えている。すなわち、出力制御部１５は、ＣＰＵ１５ａとドライバＩＣ１５ｂとＲＡＭ１５ｃとＩＣ１５ｄとを少なくとも備えている。
　通常の動作では、電源１４の出力に対応する信号をＩＣ１５ｄが受信する。当該信号は、ＩＣ１５ｄで信号処理された後、ＣＰＵ１５ａに入力される。ＣＰＵ１５ａは、ＩＣ１５ｄから入力された信号と、ＲＡＭ１５ｃに保存された所定のプログラムに設定された電源１４の出力とに基づいて、ドライバＩＣ１５ｂに制御信号を送信する。ドライバＩＣ１５ｂは、ＣＰＵ１５ａからの制御信号に基づいて、電源１４の出力、ひいては溶接トーチ１１の溶接出力を制御する。
　また、後で述べるように、外観検査装置２０において、第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、その判定結果を受け取った出力制御部１５のＣＰＵ１５ａは電源１４の出力を停止させる。これにより、溶接トーチ１１の溶接出力が停止される。
　なお、出力制御部１５及びロボット制御部１７ともに、図２に示す以外の構成部品を備えていてもよい。例えば、記憶デバイスとして、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）を備えていてもよい。
　外観検査装置２０は、形状計測部２１とセンサ制御部２２とデータ処理部２３とを有しており、形状計測部２１がロボット１６または溶接トーチ１１に取り付けられて、ワーク２００の溶接箇所２０１の形状を計測する。外観検査装置２０の構成については後で詳述する。
　なお、図１では、溶接装置１０としてアーク溶接を行うアーク溶接装置を例示しているが、特にこれに限定されるものではない。例えば、溶接装置１０がレーザ溶接を行うレーザ溶接装置であってもよい。その場合、溶接トーチ１１に代わって、光ファイバ（図示せず）を介してレーザ発振器（図示せず）に接続されたレーザヘッド（図示せず）がロボット１６に取り付けられ保持される。また、以降の説明において、溶接トーチ１１とレーザヘッドとを総称して溶接ヘッド１１と呼ぶことがある。
　［外観検査装置の構成］
　図３は、外観検査装置の機能ブロック図であり、図４は、形状計測部による溶接ビードの形状計測の様子を示す模式図である。図５Ａは、センサ制御部のハードウェア構成の模式図を示し、図５Ｂは、データ処理部のハードウェア構成の模式図を示す。
　形状計測部２１は、例えば、ワーク２００の表面を走査可能に構成されたレーザ光源２１ａ（図４参照）と、ワーク２００の表面に投影されたレーザ光線の反射軌跡（以下、形状線と呼ぶことがある。）を撮像するカメラ（図示せず）または受光センサアレイ２１ｂ（図４参照）とで構成された三次元形状計測センサである。
　図４に示すように、形状計測部２１によって、溶接箇所２０１及びその周囲を含む所定の領域をレーザ光（出射光）でスキャンし、出射光がワーク２００の表面で反射された反射光を受光センサアレイ２１ｂで撮像することにより、溶接箇所２０１の三次元形状が計測される。なお、溶接箇所２０１は、溶接プログラム等により予め設定された溶接線に沿った方向に沿って形成される、いわゆる溶接ビードである。　なお、以降の説明において、当該溶接線に沿った方向をＹ方向と呼ぶことがある（図６Ａ参照）。一方、溶接箇所２０１が形成されるワーク２００の表面においてＹ方向と直交する方向をＸ方向と呼ぶことがある。また、ワーク２００の表面を基準とした溶接箇所２０１の高さ方向をＺ方向と呼ぶことがある。Ｚ方向は、Ｘ方向及びＹ方向とそれぞれ直交している。
　なお、本願明細書において、「直交」または「平行」あるいは「同じ」とは、溶接システム１００を構成する各部品の製造公差や組立公差やワーク２００の加工公差、さらにロボット１６の移動速度のばらつき等を含んで、直交または平行あるいは同じと言う意味である。比較対象同士が厳密な意味で直交または平行あるいは同じであることまでを意味するものではない。
　図４に示す例で言えば、レーザ光源２１ａから出射された出射光は、溶接箇所２０１の幅方向、この場合はＸ方向に沿って、複数点に照射される。複数点に照射されたレーザ光のそれぞれが反射されて、反射光が受光センサアレイ２１ｂで撮像される。また、ロボット１６に保持された形状計測部２１は、Ｙ方向に沿って、所定の速度で移動する、移動中に所定の時間間隔で出射光が溶接箇所２０１及びその周囲に照射され、その都度、反射光が受光センサアレイ２１ｂで撮像される。
　なお、前述したように、形状計測部２１は溶接箇所２０１だけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、後述するスパッタ２０４やスマット２０６（図６Ａ参照）の有無を評価するためである。
　ここで、「計測分解能」とは、形状計測部２１で計測された形状データにおいて、互いに隣り合う計測点間の距離を言う。例えば、Ｘ方向の計測分解能は、互いに隣り合う計測点間のＸ方向に沿った距離である。Ｘ方向の計測分解能は、形状計測部２１の性能、主には、受光センサアレイ２１ｂの性能、具体的には、受光センサアレイ２１ｂに含まれる個々のセンサのＸ方向のサイズと、センサ間距離に応じて設定される。
　計測分解能は、Ｘ方向、Ｙ方向及びＺ方向のそれぞれに設定される。後で述べるように、Ｙ方向の計測分解能はロボット１６の移動速度に応じて、または、受光センサアレイ２１ｂのサンプリング周波数に応じて変化する。
　また、単に「分解能」と言う場合、当該分解能は、形状計測部２１で取得された溶接箇所２０１の複数の点群データのうち、互いに隣り合う座標点間の間隔を言う。後で述べるように、溶接箇所２０１の形状に応じて、形状データは再構築される。再構築前の形状データの分解能は、前述した計測分解能と同じである。一方、再構築後の形状データの分解能は、計測分解能と異なることがある。本願明細書に示す例では、形状データのＸ方向分解能は、Ｘ方向の計測分解能と同じである。一方、形状データのＹ方向分解能は、Ｙ方向の計測分解能と異なる場合がある。分解能は、Ｘ方向、Ｙ方向及びＺ方向のそれぞれに設定される。
　図５Ａに示すように、センサ制御部２２は、ＣＰＵ２２ａとＲＡＭ２２ｂとを少なくとも備えている。センサ制御部２２において、ＣＰＵ２２ａは、形状計測部２１に制御命令を送信し、形状計測部２１の動作を制御する。ＣＰＵ２２ａから形状計測部２１に送信される制御命令には、例えば、形状計測部２１による検査条件や計測開始命令や計測停止命令等がある。ＲＡＭ２２ｂには、予め設定された検査条件が保存されている。なお、他のデータが保存されていてもよい。また、センサ制御部２２は、図５Ａに示す以外の構成部品を備えていてもよい。例えば、記憶デバイスとして、ＲＯＭやＨＤＤを備えていてもよい。
　データ処理部２３は、形状計測部２１で取得された形状線の点群データを形状データとして受信し、これを処理する。
　また、図３に示すように、データ処理部２３は複数の機能ブロックで構成される。具体的には、形状データ処理部２４と第１記憶部２５と学習データセット生成部２６と判定モデル生成部２７と第１判定部２８と通知部２９とを有している。
　また、図５Ｂに示すように、データ処理部２３は、ハードウェアとして、ＣＰＵ２３ａとＧＰＵ（Graphics Processing Unit）２３ｂとＲＡＭ／ＲＯＭ２３ｃとＩＣ２３ｄと入力ポート２３ｅと出力ポート２３ｆとデータバス２３ｈとを少なくとも備えている。また、データ処理部２３は、ディスプレイ２３ｇを備えている。
　図５Ｂに示すデータ処理部２３のハードウェア構成は、公知のパーソナルコンピュータ（ＰＣ）の構成と同様である。また、図３に示すデータ処理部２３内の複数の機能ブロックは、図５Ｂに示す各種デバイス、特にＣＰＵ２３ａやＧＰＵ２３ｂにおいて所定のソフトウェアを実行することで実現される。なお、図５Ｂでは、１本のデータバス２３ｈに各種デバイスが接続された例を示しているが、通常のＰＣと同様に、複数のデータバスが用途に応じて設けられていてもよい。
　データ処理部２３において、形状データ処理部２４は、形状計測部２１で取得された形状データのノイズ除去機能を有している。ワーク２００の材質によって形状計測部２１から出射されたレーザ光線の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、形状データに影響を与える場合がある。このため、形状データ処理部２４では、ノイズのフィルタリング処理をソフトウェア上で行うように構成されている。なお、形状計測部２１自体に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の形状データを得ることができる。また、このことにより、後で述べる学習データセットの判定モデルの品質が高められ、溶接箇所２０１の形状良否を高精度で判定できる。
　形状データ処理部２４のノイズ除去機能は、主にデータ処理部２３のＩＣ２３ｄで実現される。ただし、特にこれに限定されず、例えば、データ処理部２３のＧＰＵ２３ｂで形状データのノイズ除去を行ってもよい。
　形状データ処理部２４は、所定の基準面、例えば、ワーク２００の設置面に対する溶接箇所２０１のベース部分の傾斜や歪み等を、点群データを統計処理することで補正する。これ以外に、例えば、溶接箇所２０１の形状や位置を強調するために、溶接箇所２０１の周縁を強調するエッジ強調補正を行うこともある。
　また、形状データ処理部２４は、ワーク２００の形状に応じて、また、溶接箇所２０１の形状の検査項目に応じて、形状データの特徴量を抽出する。この場合、１つの形状データに対して、１つまたは複数の検査項目に対応する１つまたは複数の特徴量が抽出される。また、抽出された特徴量は形状データに紐付けされて、以降のデータ処理で利用される。ここで、特徴量とは、形状データから抽出される特定の諸元であり、代表的なものとして、溶接箇所２０１の長さや幅や基準面からの高さ、また、溶接箇所２０１内の複数の点間での長さや幅や高さの差分等がある。ただし、これらに特に限定されず、各検査項目で判定される内容に応じて、適宜、特徴量が設定される。
　また、形状データ処理部２４は、取得された形状データに対して分解能の変換補正が行えるように構成されている。形状データの分解能変換補正については後で詳述する。
　形状データ処理部２４のエッジ強調補正処理機能や特徴量抽出機能や分解能変換補正機能は、主にデータ処理部２３のＣＰＵ２３ａで実現される。ただし、特にこれに限定されず、例えば、ＩＣ２３ｄまたはＧＰＵ２３ｂがエッジ強調補正処理の一部または全部を行ってもよい。
　第１記憶部２５は、評価対象となるワーク２００の溶接前までに処理された別のワーク２００における溶接箇所２０１の形状データを保存している。また、第１記憶部２５は、実際のワーク２００を溶接する前に実験的に予め取得された形状データを保存している。以降の説明において、これらの予め取得した形状データをサンプル形状データと呼ぶことがある。
　サンプル形状データは、評価対象となる溶接箇所２０１の形状が良好である良品データと、形状に何らかの不具合がある不良品データとを含んでいる。不良品データは、形状不良の個数や位置を変えた状態で複数種類の形状不良がラベル付けされた状態に加工され、加工結果が複数の学習データとして利用される。ラベル付けがなされた不良品データと良品データとをまとめて、データ拡張処理前の学習データセットとする。なお、別のワーク２００における溶接箇所２０１の形状データと評価対象となるワーク２００での溶接箇所２０１の形状データとが、同様の形状及び材質を有するワーク２００内の同様の溶接箇所２０１に対して取得されていることは言うまでもない。
　また、サンプル形状データを取得するにあたって、形状計測部２１による検査条件は固定されている。ただし、ワーク２００の材質毎あるいはワーク２００の形状毎に検査条件が変更されてもよい。
　学習データセット生成部２６は、形状データ処理部２４で生成され、第１記憶部２５に保存されたサンプル形状データを読み出して、ワーク２００の材質や形状毎に分類する。また、溶接箇所２０１の検査項目毎に分類してもよい。この場合、同じ形状データが異なる検査項目にそれぞれ含まれていてもよい。また、学習データセット生成部２６は、サンプル形状データに紐付けされた特徴量に基づいて、ワーク２００の材質や形状毎に学習データセット、つまり、後述する判定モデルに入力され、判定モデルの判定精度を向上させるための学習データの群を生成する。例えば、ワーク２００の材質と形状とをマトリックスで整理して分類のカテゴリーを決定し、このカテゴリーに対応させて学習データセットを分類する（図３参照）。なお、ワーク２００の形状の例として、板材の突き合わせや重ね合わせ、Ｔ字継手や十字継手等が挙げられる。
　また、学習データセット生成部２６は、第１記憶部２５から読み出されたサンプル形状データに対してデータ拡張処理を行って学習データセットを生成する。具体的には、サンプル形状データに紐付けされた１つまたは複数の特徴量を変化させるか、または、溶接箇所２０１のサンプル形状データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、データ拡張処理が実行される。学習データセットの生成手順については後で詳述する。
　学習データセット生成部２６の機能は、主にデータ処理部２３のＣＰＵ２３ａで実現される。ただし、特にこれに限定されず、例えば、ＧＰＵ２３ｂが当該機能の一部を実現するようにしてもよい。
　判定モデル生成部２７は、ワーク２００の材質や形状毎に設定された溶接箇所２０１の検査項目に関し、それぞれの項目で設定された判定基準に基づいて、判定モデルを生成する。生成された判定モデルは、それぞれ重み付けがなされた複数の識別器の組み合わせ等で表現される。判定モデルは、例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等で表現された公知の物体検出用のアルゴリズムである。
　また、判定モデル生成部２７は、ワーク２００の材質や形状毎に生成された各判定モデルに対して、複数の学習データセットのうち、ワーク２００の材質や形状毎に対応した学習データセットを入力し、学習を繰り返すことで、各判定モデルの判定精度を向上させている。この場合、例えば、図３に示す分類のカテゴリーに応じて判定モデルが生成される。なお、判定モデルの正解率や再現率や精度が予め設定された値を満足するまで、学習が繰り返し行われる。
　また、判定モデルを生成するにあたって、ワーク２００の材質や形状に応じて、サンプル形状データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。同様に、溶接箇所２０１の検査項目毎に判定モデルを生成する場合、検査項目に応じて、サンプル形状データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。
　第１判定部２８は、形状データ処理部２４でノイズ除去やエッジ強調等の処理がなされた溶接箇所２０１の形状データと、判定モデル生成部２７で生成された判定モデルのうち、選択された検査項目に対応する判定モデルと基づいて、溶接箇所２０１の形状が良好であるか否か、言い換えると、所定の判定基準を満たすか否かが判定される。
　なお、溶接箇所２０１の形状の良否判定を行う前に、学習データセットを用いた判定モデルの学習強化が行われる。具体的には、選択された検査項目に関し、学習データセット生成部２６で生成された学習データセットを、判定モデル生成部２７で生成された判定モデルに入力する、判定結果を溶接作業者等の人手で確認し、溶接不良の種類が学習データと合致してしない場合は、アノテーションを実行する、なお、アノテーションとは、実際の溶接箇所２０１を人の目で観察して特定した形状不良の有無及び種類を形状データの対応箇所にタグ付けする工程を言う。このアノテーションは基本的に人の手で行われる。
　アノテーションを実行することで、学習データにおいて、形状不良の有無や形状不良の種類が再度見直される。この実行結果に基づいて、学習データセットの再作成あるいは新規作成が行われ、さらに、アノテーション済の学習データセットを用いて判定モデルの再学習が実行される。これらの作業を１回または複数回繰り返し実行することで、判定モデルが学習強化される。
　また、学習データセットに対しては、後で述べるように、必要に応じて予め分解能補正が行われている。適切な分解能補正を行うことで、学習データセットを判定モデルの学習強化に利用することができる。
　ただし、後述するように、形状不良のモードは多岐に亘るため、実際には、形状データに含まれる形状不良が、どのような不良モードであるのかが確率で算出され、所定以上の確率であれば、形状不良が存在すると判定され、かつその種類が特定される。これについては後で詳述する。
　例えば、学習データにアノテーションされた形状不良の種類と、溶接箇所２０１の形状データに含まれる形状不良の種類との一致度が、確率で判定された上で、当該確率が所定のしきい値を超えた場合に、溶接箇所２０１の形状データに含まれる形状不良の種類が特定される。
　第１判定部２８からは以下の情報が出力される。つまり、形状不良の有無と形状不良がある場合は、その種類と個数とサイズ、さらに溶接箇所２０１における位置が出力される。さらに、予め定めた判定基準に基づくしきい値を超えて形状不良が存在する場合に、溶接箇所２０１の形状が良好であるか、または不良であるかの結果が出力される。なお、当該しきい値は、形状不良の種類やサイズによって異なる。例えば、後で述べるスパッタ（図６Ａ参照）に関しては、直径５μｍ以上のスパッタが５個以上存在した場合、溶接箇所２０１の形状が不良であると判定される。穴あき（図６Ａ，６Ｃ参照）に関しては、１個以上存在した場合、溶接箇所２０１の形状が不良であると判定される。なお、これらはあくまで一例であり、前述した判定基準としきい値に応じて適宜変更されうる。
　なお、形状不良の判定のしきい値や表示形式は任意に設定できる。例えば、スパッタ２０４であれば赤色に、穴あき２０２（図６Ａ参照）であれば黄色に表示してもよい。また、検査項目としてスパッタ２０４の有無及び上限個数が設定されている場合に、スパッタ２０４であると認識された部分を背景と別色で表示するとともに、スパッタ２０４である確率を色分けして表示させてもよい。これにより、溶接作業者またはシステム管理者は一目で該形状不良箇所の有無や分布度合いを容易に認識することができる。例えば、前述した一致度が３０％以下の確率であれば緑色で表示し、７０％以上の確率であれば赤色で表示させてもよい。なお、この場合の確率範囲の区分けや対応する色の設定等も任意に設定できることは言うまでもない。
　なお、溶接箇所２０１の形状の検査項目は多岐に亘るため、検査項目毎に形状の良否判定がなされ、判定が必要なすべての検査項目をクリアした場合にのみ、最終的な良品判定がなされる。
　通知部２９は、第１判定部２８での判定結果を出力制御部１５やロボット制御部１７や溶接作業者またはシステム管理者に通知するように構成されている。例えば、データ処理部２３のディスプレイ２３ｇが通知部２９に相当する。判定結果は、ディスプレイ２３ｇか、または溶接システム１００の図示しない表示部に表示されるか、あるいは、図示しないプリンターから出力されるか、あるいはその両方を通じて通知されてもよい。単に、最終的な判定結果を通知するのみであれば、図示しない音声出力部から音声として出力されるようにしてもよい。なお、通知部２９から通知される判定結果は、最終的な判定だけでなく、検査項目毎の判定結果が通知されるのが好ましい。そのようにすることで、溶接作業者またはシステム管理者が、溶接箇所２０１においてどのような不具合が生じたのかを具体的に知ることができる。
　なお、第１判定部２８での判定結果が肯定的、つまり、溶接箇所２０１の形状が良好であると判定された場合、溶接システム１００は、連続して同じワーク２００内の次の溶接箇所２０１を溶接するか、あるいは、次のワーク２００における同様の溶接箇所２０１を溶接するように構成されている。
　一方、第１判定部２８での判定結果が否定的、つまり、溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接トーチ１１の溶接出力を停止し、ロボット制御部１７はロボット１６の動作を停止させるか、または溶接トーチ１１が所定の初期位置に来るようにロボット１６を動作させる。
　［学習データセットの生成手順］
　図６Ａ～６Ｅは、溶接箇所に生じた形状不良箇所の一例を示し、図７Ａ～７Ｃは、学習データセットの生成手順の一例を示す。なお、図６Ａ～６Ｅは、突き合わせ溶接時の溶接箇所２０１の形状を示しており、図６Ａは平面形状を、図６Ｂ～６Ｅは図６ＡのＶＩＢ－ＶＩＢ線ないしＶＩＥ－ＶＩＥ線での断面図をそれぞれ示している。
　図６Ａ～６Ｅに示すように、ワーク２００にアーク溶接やレーザ溶接を行った場合、その溶接箇所２０１には、溶接条件の設定の不具合や低品質のワーク２００を用いる等によって種々の形状不良が生じうる。例えば、溶接箇所２０１の一部が溶け落ちたり（以下、溶接箇所２０１の一部がワーク２００より溶け落ちてワーク２００に形成された貫通穴を、穴あき２０２と呼ぶことがある）、アンダーカット２０３が生じたりする場合がある。なお、アンダーカット２０３とは、溶接ビードの際の部分がワーク２００の表面よりもへこんでいる状態の不具合部分のことをいう。また、溶接箇所２０１の長さや幅や基準面からの高さが、それぞれの設計値Ｌ，Ｗ，Ｈから許容範囲ΔＬ，ΔＷ，ΔＨを超えて変動する場合がある。また、溶接ワイヤ１２の先端に形成された溶滴（図示せず）がワーク２００に移行する際に溶滴の一部やワーク２００の溶融金属の微粒子が飛び散ってスパッタ２０４が生じたり、ワーク２００が亜鉛めっき鋼板である場合には、溶接箇所２０１から一部が蒸発してピット２０５が生じたり、あるいは、ワーク２００や溶接ワイヤ１２がアルミ系材料である場合には、溶接箇所２０１の近傍にスマット２０６が生じたりする場合がある。
　なお、ピット２０５は、溶接ビードの表面に開口しているものであり、スマット２０６は、溶接ビードの近傍に発生する黒いスス状の付着物であり、上述の穴あき２０２、アンダーカット２０３、スパッタ２０４、等も含めて、それぞれ形状不良のモード（種類）の一つである。
　このように、溶接箇所２０１の形状不良には様々なモードがあり、それぞれに対して判定基準を設けて検査する必要がある。例えば、穴あき２０２やアンダーカット２０３に関しては、それらの有無だけではなく、穴あき２０２等であると同定するための、例えば、溶接箇所２０１の周囲とのコントラスト比または高さの差分等を設定して良否判定を行う必要がある。また、例えば、スパッタ２０４でいえば、その平均径を設定し、平均径が所定値以上のスパッタ２０４が単位面積当たりに存在する個数で良否判定を行う必要がある。しかも、ワーク２００の材質や溶接部位、さらに顧客の要求仕様等に応じて、溶接箇所２０１の検査項目数や形状の良否判定基準は変更または追加される。
　さらに、ワーク２００の材質や形状によって、形状データから形状不良の有無を判定する判定基準が異なってくる。前述したように、ワーク２００の材質によって、レーザ光線の反射率が異なるため、例えば、形状データの輝度レベルやコントラストも変わってくる。また、ワーク２００の形状によっては、同じ長さの直線部を溶接する場合にも、重力等の影響で溶接箇所２０１のビード形状が変化することがある。
　このため、判定モデル生成部２７は、ワーク２００の材質や形状毎にそれぞれ大量の学習データを用いて判定モデルを生成する必要がある。つまり、学習データとして適した溶接箇所２０１の形状データをワーク２００の材質や形状毎に大量に取得する必要がある。しかし、ワーク２００の材質や形状毎に必要なサンプル形状データを予め取得することは、膨大な工数を要し、非効率である。
　そこで、本実施形態では、学習データセット生成部２６において、第１記憶部２５から読み出されたサンプル形状データをワーク２００の材質や形状毎に分類し、分類されたサンプル形状データのそれぞれにデータ拡張処理を行って、判定モデルを生成するのに必要な学習データの群である学習データセットを複数生成している。
　例えば、図７Ａに示すように、学習データセットとして、元となるサンプル形状データにおいて、特徴量の一つである溶接箇所２０１の長さや位置を変化させた複数のデータを生成している。なお、図７Ａでは、溶接箇所２０１の長さの基準値Ｌから許容範囲ΔＬを超えて短くなっている複数の形状データを生成した例を示しているが、特にこれに限定されず、長さの基準値Ｌから許容範囲ΔＬを超えて長くなっている形状データも別途生成している。
　または、図７Ｂに示すように、学習データセットとして、元となるサンプル形状データにおいて、穴あき２０２のサイズや位置を変化させた複数のデータを生成している。この場合、特徴量として、基準面からの高さ及び溶接箇所２０１内の複数の点間での当該高さの差分を抽出し、これらを変動させている。
　あるいは、図７Ｃに示すように、学習データセットとして、元となるサンプル形状データにおいて、スパッタ２０４の個数や位置を変化させた複数のデータを生成している。
　また、溶接箇所２０１の周囲において同様の特徴量を抽出し、当該特徴量に基づいて学習データセットを生成することで、スパッタ２０４やスマット２０６が所定の許容範囲を超えて存在しているかどうかを判定することができる。
　［溶接箇所の外観検査手順］
　図８Ａは、溶接箇所の外観検査手順のフローチャートを示し、図８Ｂは、溶接ビードの形状の良否判定手順のフローチャートを示す。図９は、分解能変換補正における形状データの座標点の導出手順を示す概念図である。図１０は、加減速区間における分解能変換補正前後の形状データの座標点位置の変化を示す概念図である。図１１は、加減速区間におけるロボットの速度制御関数の一例を示す模式図である。
　予め準備された学習データセットを用いて溶接箇所２０１の外観検査を行う場合、形状計測部２１による検査条件は、学習データを生成するのに用いられる形状データ、つまりサンプル形状データを取得した際の検査条件と同じ条件に合わせる必要がある。
　一方、ワーク２００の生産タクトタイムや検査精度によって、検査条件がしばしば変更されることは既に述べた通りである。しかし、この場合、溶接箇所２０１の形状データやこれから抽出される特徴量が検査条件によって変動してしまい、第１判定部２８によって溶接箇所２０１の形状の良否判定が正しく行えないおそれがある。
　そこで、本実施形態では、予め取得されるサンプル形状データ取得時の検査条件と計測される形状データ取得時の検査条件とを同じ条件とする代わりに、計測される形状データの分解能を補正するようにした。具体的には、形状計測部２１の計測分解能に着目し、計測される形状データの分解能を、予め取得されるサンプル形状データの分解能と同じ値になるように形状データを補正している。当該補正が前述した分解能変換補正である。このようにすることで、検査条件が変更された場合にも、第１判定部２８によって溶接箇所２０１の形状の良否判定を正しく行うことができる。以下、このことについてさらに説明する。
　まず、形状計測部２１により、溶接箇所２０１の形状を計測し（図８ＡのステップＳ１）、形状データを取得する。
　次に、データ処理部２３は、ロボット１６の移動速度、つまり、形状計測部２１による溶接箇所２０１のＹ方向の走査速度をロボット制御部１７から取得する。データ処理部２３は、さらに、ロボット１６の移動速度に基づいて、形状計測部２１のＹ方向の走査区間を等速区間と加減速区間とに分割する（図８ＡのステップＳ２）。ここで、「等速区間」とは、ロボット１６に取り付けられた形状計測部２１が、Ｙ方向に沿って等速で移動している区間をいう。「加減速区間」とは、ロボット１６に取り付けられた形状計測部２１が、Ｙ方向に沿って加速して、または減速して、あるいは加速と減速の両方を行って移動している区間をいう。
　形状データ処理部２４は、ステップＳ２で分割された区間のうち選択された区間（以下、選択区間という）における形状データに対し、前述したエッジ強調補正やノイズ除去等の処理を行う（図８ＡのステップＳ３）。
　次に、データ処理部２３は、ステップＳ３が実行された選択区間が等速区間であるか否かを判断する。この判断は、選択区間におけるロボット１６の速度制御関数が等速、つまり、時間に対して一定の速度であるか否かで判断される（図８ＡのステップＳ４）。ロボット１６の速度制御関数は、データ処理部２３の要求に応じて、ロボット制御部１７からデータ処理部２３に送信される。
　＜選択区間が等速区間の場合＞
　ステップＳ４の判断結果が肯定的、つまり、選択区間が等速区間である場合、形状データ処理部２４は、ステップＳ１で取得された形状データのＸ方向の分解能（以下、Ｘ方向分解能という）とＹ方向の分解能（以下、Ｙ方向分解能という）とを算出し、第１記憶部２５に保存する（図８ＡのステップＳ５）。
　前述したように、Ｘ方向分解能は、互いに隣り合う計測点間のＸ方向に沿った距離に相当する。なお、通常、形状計測部２１によるレーザ光線の走査幅は一定である。また、等速区間におけるＹ方向分解能は、以下に示す式（１）で表現される。
　Ｒｙ＝１０００Ｖ／６０Ｆ＝５０Ｖ／３Ｆ　・・・（１）
　ここで、Ｒｙ（ｍｍ）が選択区間における形状データのＹ方向分解能であり、Ｖ（ｍ／ｍｉｎ）がロボット１６の移動速度であり、Ｆ（Ｈｚ）が形状計測部２１の計測周波数である。
　つまり、Ｙ方向においては、１／Ｆの周期毎に形状が計測される。一方、Ｘ方向においては、レーザ光線の走査幅にわたって、１／Ｆの周期毎に複数の計測点が一度に計測される。なお、通常、形状データのＸ方向分解能は、形状計測部２１における、図示しないカメラまたは受光センサアレイ２１ｂの画素サイズや間隔に応じて決定される。これは、選択区間が等速区間や加減速区間の場合も同様である。
　形状計測部２１のＸ方向の分解能と計測周波数Ｆは、データ処理部２３の要求に応じて、センサ制御部２２からデータ処理部２３に送信される。
　ステップＳ５の実行後、形状データ処理部２４は、選択区間における形状データのＸ方向分解能及びＹ方向分解能が、予め取得され、第１記憶部２５に予め保存されたサンプル形状データのＸ方向分解能及びＹ方向分解能とそれぞれ同じ値であるか否かを判断する（図８ＡのステップＳ６）。
　ステップＳ６の判断結果が肯定的である場合、ステップＳ８に進み、第１判定部２８により、選択区間における溶接箇所２０１の形状の良否判定が行われる。ステップＳ８の詳細については後で説明する。
　一方、ステップＳ６の判断結果が否定的である場合、形状データ処理部２４は、選択区間における形状データに対し、分解能変換補正を行う（図８ＡのステップＳ７）。
　分解能変換補正は、図９に示すように、所定の座標点（ｘ，ｙ）のＺ方向の高さに対し、これに隣接する他の座標点（ｘ＋Ｒｘ，ｙ）、（ｘ，ｙ＋Ｒｙ）、（ｘ＋Ｒｘ，ｙ＋Ｒｙ）のそれぞれのＺ方向の高さを用いて行われる。ここで、Ｒｘ（ｍｍ）は、選択区間における形状データのＸ方向分解能である。
　なお、以降の説明において、座標点（ｘ，ｙ）におけるＺ方向の高さ（Ｚ座標）をＺ（ｘ，ｙ）とする。なお、座標点（ｘ，ｙ）における原点は、例えば、溶接箇所２０１の始端部に設定される。この場合、当該始端部近傍のワーク２００の表面を基準として、Ｚ座標Ｚ（ｘ，ｙ）の原点が設定される。
　分解能変換補正は以下の手順により行われる。まず、式（２）、（３）に示すように、Ｘ方向分解能係数ＣｘとＹ方向分解能係数Ｃｙをそれぞれ算出する。
　Ｃｘ＝Ｒｘ／Ｒｘ０　・・・（２）
　Ｃｙ＝Ｒｙ／Ｒｙ０　・・・（３）
　ここで、Ｒｘ０は、サンプル形状データのＸ方向分解能であり、Ｒｙ０は、サンプル形状データのＹ方向分解能である。Ｘ方向分解能Ｒｘ０及びＹ方向分解能Ｒｙ０は、予め第１記憶部２５に保存されている。
　次に、サンプル形状データ取得時の分解能で再構成したＸＹ座標の各点に対し、Ｚ座標としてＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）がそれぞれ式（４）を満たすように算出される。
　Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）＝（１－ｄｘ）×（１－ｄｙ）×Ｚ（ｘ，ｙ）
　　　　　　　　　　　　　　　　＋ｄｘ×（１－ｄｙ）×Ｚ（ｘ＋Ｒｘ，ｙ）
　　　　　　　　　　　　　　　　＋（１－ｄｘ）×ｄｙ×Ｚ（ｘ，ｙ＋Ｒｙ）
　　　　　　　　　　　　　　　　＋ｄｘ×ｄｙ×Ｚ（ｘ＋Ｒｘ，ｙ＋Ｒｙ）　・・・（４）
　ここで、ｎはＸ方向における点群データの各点に対応した変数である。ｎは整数であり、１≦ｎ≦Ｎ（ＮはＸ方向における点群の個数）の関係を満たす。ｍはＹ方向における点群データの各点に対応した変数である。ｍは整数であり、１≦ｍ≦Ｍ（ＭはＹ方向における点群の個数）を満たす。
　ここで、ｄｘは、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＸ方向の距離を座標点（ｘ，ｙ）と座標点（ｘ＋Ｒｘ，ｙ）との間のＸ方向の距離で割った値である。また、ｄｙは、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＹ方向の距離を座標点（ｘ，ｙ）と座標点（ｘ，ｙ＋Ｒｙ）との間のＹ方向の距離で割った値である。
　つまり、図９に示すｄｘと（１－ｄｘ）との比は、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＸ方向の距離と、座標点（ｘ＋Ｒｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＸ方向の距離との比である。同様に、ｄｙと（１－ｄｙ）との比は、座標点（ｘ，ｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＹ方向の距離と、座標点（ｘ，ｙ＋Ｒｙ）と座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）との間のＹ方向の距離との比である。
　座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）におけるＺ方向の高さは、座標点（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）の周囲の４点、つまり、再構成前の座標点（ｘ，ｙ）、（ｘ＋Ｒｘ，ｙ）、（ｘ，ｙ＋Ｒｙ）、（ｘ＋Ｒｘ，ｙ＋Ｒｙ）のそれぞれのＺ方向の高さに基づいて導出される。
　選択区間に含まれるすべての点群に対して、式（４）に示す補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）がそれぞれ算出され、形状データの分解能変換補正が完了する。
　ステップＳ７の実行後、ステップＳ８に進み、分解能変換補正が行われた後の形状データを用いて、第１判定部２８により、選択区間における溶接箇所２０１の形状の良否判定が行われる。
　ステップＳ８の実行後、データ処理部２３は、形状データの分割区間のうちで、ステップＳ３の処理が実行されていない区間があるか否かを判断する（図８ＡのステップＳ９）。
　ステップＳ９の判断結果が否定的な場合は、ステップＳ３に戻って、ステップＳ３の処理が実行されていない区間を選択するとともに、ステップＳ３の処理を実行し、ステップＳ９の判断結果が肯定的になるまで一連のステップを繰り返し実行する。
　ステップＳ９の判断結果が肯定的になると、計測された溶接ビードの形状データにノイズ除去処理等の前処理の未実施区間は残っておらず、形状評価が未実施の分割区間が無くなるため、溶接箇所２０１の外観検査を終了する。
　＜選択区間が加減速区間の場合＞
　ステップＳ４の判断結果が否定的、つまり、選択区間が加減速区間である場合、データ処理部２３は、ステップＳ１で取得された形状データのＸ方向分解能をセンサ制御部２２から取得し、第１記憶部２５に保存する（図８ＡのステップＳ１０）。
　次に、形状データ処理部２４は、ステップＳ１で取得された形状データのＹ方向分解能をロボット１６の速度制御関数に基づいて算出する（図８ＡのステップＳ１１）。ロボット１６の速度制御関数は、データ処理部２３の要求に応じて、ロボット制御部１７からデータ処理部２３の形状データ処理部２４に送信される。なお、ロボット１６の速度制御関数は、一旦、第１記憶部２５に送られ、保存された後に、形状データ処理部２４に送られてもよい。
　さらに、形状データ処理部２４は、選択区間における形状データに対し、分解能変換補正を行う。
　ここで、加減速時の形状データの分解能、特にＹ方向分解能について、図１０を参照しながら説明する（図８ＡのステップＳ１１）。
　通常、１つの溶接箇所２０１の外観検査を行う場合、レーザ光線の走査周波数や走査幅を変更することは少ない。前述のように、Ｙ方向は溶接線に沿った方向とした場合、Ｘ方向は、溶接線に沿った方向と交差する方向である。形状を計測するための形状計測部２１のレーザ光線はＹ方向に沿ってロボット１６の先端の移動速度（以下、単にロボット１６の移動速度という）で走査されながら、溶接線を跨ぐようにＸ方向に周期的に走査される。したがって、等速区間及び加減速区間のそれぞれにおいて、形状データのＸ方向分解能Ｒｘは一定とみなせることが多い。
　一方、Ｙ方向分解能Ｒｙは、ロボット１６の移動速度Ｖに応じて変化する。選択区間が等速区間の場合、計測周波数Ｆ及び移動速度Ｖが定数となるため、式（１）から明らかなように、Ｙ方向分解能Ｒｙも定数となる。
　一方、選択区間が加減速区間の場合、例えば、ロボット１６が加速して移動している場合、互いに隣り合う計測点間のＹ方向の間隔は時間の経過とともに広くなる。一方、ロボット１６が減速して移動している場合、互いに隣り合う計測点間のＹ方向の間隔は時間の経過とともに狭くなる。その結果、例えば、図１０の左側に示すように、Ｙ方向分解能は、Ｙ方向に沿った計測点間で変化してしまう。このような点群データ（形状データ）に基づいて、溶接箇所２０１の形状評価を行った場合、正確な結果が得られないことは既に述べたとおりである。
　したがって、選択区間が加減速区間の場合、Ｙ方向分解能をロボット１６の速度制御関数に応じた形に修正する必要がある。具体的には、Ｙ方向分解能Ｒｙ（ｔ）（ｍｍ）は、式（５）に示すように表現される。
　Ｒｙ（ｔ）＝１０００Ｖ（ｔ）／６０Ｆ＝（５０／３Ｆ）×Ｖ（ｔ）　・・・（５）
　ここで、Ｖ（ｔ）（ｍ／ｍｉｎ）は、ロボット１６の速度制御関数であり、Ｆ（Ｈｚ）が形状計測部２１の計測周波数である。後で述べるように、Ｖ（ｔ）は、時間ｔ（ｓｅｃ）のｋ次関数（ｋは１以上の整数）で記述される。
　また、原点からＹ方向に沿ったｍ番目の座標点における分解能係数Ｃｙｍ（ｔ）は、式（６）に示すように表現される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｔｍは、原点からｍ番目の座標点までの移動時間である。
　次に、サンプル形状データ取得時の分解能で再構成したＸＹ座標の各点に対し、それぞれ式（７）を満たすように、補正処理後の座標としてのＺ座標が算出される。
　Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））＝（１－ｄｘ）×（１－ｄｙ）×Ｚ（ｘ，ｙ）
　　　　　　　　　　　　　　　　　　　＋ｄｘ×（１－ｄｙ）×Ｚ（ｘ＋Ｒｘ，ｙ）
　　　　　　　　　　　　　　　　　　　＋（１－ｄｘ）×ｄｙ×Ｚ（ｘ，ｙ＋Ｒｙ）
　　　　　　　　　　　　　　　　　　　＋ｄｘ×ｄｙ×Ｚ（ｘ＋Ｒｘ，ｙ＋Ｒｙ）　・・・（７）
　式（７）は、再構成後のＹ座標Ｙｍ／Ｃｙｍ（ｔ）が、時間ｔの関数として記述される以外は、式（４）と同様である。
　選択区間に含まれるすべての点群に対して、式（７）に示すＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））がそれぞれ算出され、形状データの分解能変換補正が完了する（図８ＡのステップＳ１２）。
　ステップＳ１２の実行後、ステップＳ１３に進み、分解能変換補正が行われた後の形状データを用いて、第１判定部２８により、選択区間における溶接箇所２０１の形状の良否判定が行われる。ステップＳ１３の詳細については後で説明する。
　ステップＳ１３の実行後、データ処理部２３は、形状データの分割区間のうちで、ステップＳ３の処理が実行されていない区間があるか否かを判断する（図８ＡのステップＳ９）。
　ステップＳ９の判断結果が否定的な場合は、ステップＳ３に戻って、ステップＳ３の処理が実行されていない区間を選択するとともに、ステップＳ３の処理を実行し、ステップＳ９の判断結果が肯定的になるまで一連のステップを繰り返し実行する。
　ステップＳ９の判断結果が肯定的になると、形状評価が未実施の分割区間が無くなるため、溶接箇所２０１の外観検査を終了する。
　ここで、図１１に示すように、形状データが３つの区間（区間１～区間３）に分割される場合を例に取って考える。
　図１１から明らかなように、区間１及び区間３は等速区間である。よって、図８ＡのステップＳ１～Ｓ８のそれぞれを実行して溶接箇所２０１の外観検査が行われる。
　一方、区間２は減速区間になっている。具体的には、期間Ｔ（ｓｅｃ）で、ロボット１６の移動速度Ｖ（ｍ／ｍｉｎ）がＶ１からＶ２（＜Ｖ１）に単調に減少している。したがって、区間２におけるロボット１６の速度制御関数Ｖ（ｔ）は、式（８）に示す形で表現される。
　Ｖ（ｔ）＝Ａ×ｔ＋Ｂ＝（（Ｖ２－Ｖ１）／Ｔ）×ｔ＋Ｖ１　・・・（８）
　つまり、速度制御関数Ｖ（ｔ）は時間ｔの一次関数であり、時間ｔの一次係数Ａが（Ｖ２－Ｖ１）／Ｔであり、定数ＢがＶ１である。
　この場合、データ処理部２３は、ロボット制御部１７から速度制御関数Ｖ（ｔ）を特徴付ける各種情報を取得する。例えば、速度制御関数Ｖ（ｔ）が時間ｔのｋ次関数（ｋは１以上の整数）である場合、ｔ～ｔｋの各係数値及び定数Ｂの値を取得する。また、区間２では、図８ＡのステップＳ１～Ｓ４及びＳ１０～Ｓ１３のそれぞれを実行して溶接箇所２０１の外観検査が行われる。
　＜溶接ビードの形状の良否判定手順＞
　図８Ｂに示す溶接ビード（溶接箇所２０１）の形状の良否判定手順は、図８ＡのステップＳ８及びステップＳ１３において共通するため、あわせて説明する。
　図８ＡのステップＳ８及びステップＳ１３のそれぞれは、図８Ｂに示すサブステップＳＡ～ＳＣにさらに分かれている。まず、第１判定部２８は、選択区間における形状データに形状不良が含まれているか否かを判定する（ステップＳＡ）。この場合に用いられる判定モデルは、前述したように、学習データセットを用いて予め学習強化されている。学習強化にあたって、学習データセットが予め分解能補正されていてもよい。
　また、第１判定部２８は、形状不良のサイズや個数や溶接箇所２０１における形状不良の位置を特定する（ステップＳＢ）。さらに、第１判定部２８は、形状不良の種類を特定する（ステップＳＣ）。
　なお、ステップＳＣでは、前述したように、形状不良の形状やサイズ、さらに溶接箇所２０１における位置等を考慮して、形状不良の種類が特定される。この場合、例えば、形状不良がスパッタ２０４である確率が算出され、当該確率が所定値（例えば、７０％）以上であれば、形状不良がスパッタ２０４であると特定される。
　なお、溶接箇所２０１の形状の最終的な良否判定結果は、通知部２９やディスプレイ２３ｇに送信される。また判定結果が不良である場合は、形状計測部２１で取得された形状データ、具体的には、溶接箇所２０１の形状が点群データとしてディスプレイ２３ｇに表示される。
　また、１つのワーク２００に含まれるすべての溶接箇所２０１の良否判定結果が良好である場合、ワーク２００は良品であると判定され、以降の加工工程に送られるか、または良品として出荷される。
　一方、１つのワーク２００に含まれる１または複数の溶接箇所２０１に不良が発見された場合は、いくつかの方策を取りうる。例えば、ワーク２００に含まれるすべての溶接箇所２０１の外観検査を行った後に、検査結果を保存し、当該ワーク２００は不良品として廃棄する。この場合、検査結果の保存先は、例えば、データ処理部２３の第１記憶部２５である。ただし、特にこれに限定されない。また、溶接箇所２０１の不良が発見された時点で、当該ワーク２００を不良品として廃棄してもよい。
　また、例えば、ワーク２００に含まれるすべての溶接箇所２０１の外観検査を行った後に、検査結果を保存し、当該ワーク２００をリペア工程に進めてもよい。リペア工程では、不良と判定された溶接箇所２０１に関し再溶接が実施される。
　また、例えば、ワーク２００に含まれるすべての溶接箇所２０１の外観検査を行った後に、検査結果を保存するとともに、不良と判定された溶接箇所２０１を溶接作業者が再度、目視確認するようにしてもよい。目視確認により、当該溶接箇所２０１が、リペア可能か否かが判断される。リペア可能と判断されれば、当該ワーク２００をリペア工程に進め、不良と判定された溶接箇所２０１に関し再溶接が実施される。
　［効果等］
　以上説明したように、本実施形態に係る外観検査装置２０は、ワーク２００の溶接箇所２０１の外観を検査する。
　外観検査装置２０は、ロボット１６に取り付けられ、溶接線に沿って溶接箇所２０１の三次元形状を計測する形状計測部２１と、形状計測部２１で取得された形状データを処理するデータ処理部２３と、を少なくとも備えている。
　データ処理部２３は、形状データの分解能補正処理を少なくとも行う形状データ処理部２４を少なくとも備えている。また、データ処理部２３は、形状計測部２１で予め取得された複数のサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部２６と、複数の学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルを生成する判定モデル生成部２７と、をさらに備えている。
　データ処理部２３は、形状データ処理部２４で補正された形状データと判定モデル生成部２７で生成された１または複数の判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２８をさらに備えている。
　外観検査装置２０をこのように構成することで、生産タクトタイムや要求される検査精度等に応じて検査条件が変更された場合にも、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　また、通常、１つのワーク２００には多数の溶接箇所２０１が含まれる。この場合、互いに形状の異なる複数種類の溶接箇所２０１が含まれることが多く、溶接箇所２０１の形状に応じて、検査条件も適宜変更される。
　本実施形態によれば、１つのワーク２００に互いに検査条件の異なる複数の溶接箇所２０１が含まれる場合にも、それぞれの溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　形状データ処理部２４は、形状計測部２１による検査条件に基づいて、形状計測部２１で取得された形状データの分解能を補正する。検査条件は、例えば、形状計測部２１の計測分解能及び計測周波数並びに走査速度である。なお、前述したように、形状計測部２１の走査速度は、レーザ光線のＸ方向の走査速度やロボット１６の移動速度Ｖあるいはロボット１６の速度制御関数Ｖ（ｔ）に対応している。
　このようにすることで、形状データの分解能変換補正を簡便かつ精度良く行うことができる。
　サンプル形状データは、形状計測部２１の計測分解能と計測周波数と走査速度とがそれぞれ予め定められた条件で取得されている。形状データ処理部２４は、サンプル形状データの分解能と同じ値になるように、形状計測部２１で取得された形状データの分解能を補正する。
　前述したように、判定モデルは、複数の学習データセットのそれぞれに基づいて学習が強化される。複数の学習データセットは、実際のワーク２００を溶接する前に実験的に予め取得された形状データとしてのサンプル形状データに基づいて生成される。サンプル形状データの分解能と同じ値になるように、形状データの分解能が補正される。このようにすることで、サンプル形状データ、ひいては学習データセットと形状データのそれぞれに含まれる形状不良箇所、例えば、穴あき２０２やスパッタ２０４等の形状の特徴を合わせることができる。このことにより、学習済の判定モデルを用いた溶接箇所２０１の形状の良否判定を確実にかつ精度良く行うことができる。
　外観検査装置２０は、形状計測部２１による検査条件を保存するとともに、保存された検査条件をデータ処理部２３に送信するセンサ制御部２２をさらに備えている。センサ制御部２２は、溶接線に沿った方向をＹ方向とした場合、Ｙ方向及び溶接箇所２０１の高さ方向であるＺ方向のそれぞれと交差するＸ方向の計測分解能と計測周波数とをデータ処理部２３に送信する。
　また、データ処理部２３は、ロボット１６の動作を制御するロボット制御部１７からロボット１６の移動速度Ｖまたはロボット１６の速度制御関数Ｖ（ｔ）を受信する。
　このようにすることで、形状データの分解能変換補正を簡便かつ精度良く行うことができる。
　形状データ処理部２４は、形状データのＸ方向分解能とＹ方向分解能とに基づいて、形状データのＺ方向の値を補正する。
　ロボット１６が溶接線に沿って等速で移動しながら、形状計測部２１が溶接箇所２０１の三次元形状を計測する場合、Ｙ方向分解能は、形状計測部２１の計測周波数とロボット１６の移動速度Ｖとに基づいて決定される。
　ロボット１６が溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、形状計測部２１が溶接箇所２０１の三次元形状を計測する場合、Ｙ方向分解能は、形状計測部２１の計測周波数Ｆとロボット１６の速度制御関数Ｖ（ｔ）とに基づいて決定される。速度制御関数Ｖ（ｔ）は、時間ｔのｋ次関数で記述される。ただし、これに限られず、例えば、速度制御関数Ｖ（ｔ）が正弦波関数や余弦波関数であってもよい。つまり、速度制御関数Ｖ（ｔ）は時間ｔに依存した関数である。
　このようにすることで、形状計測部２１の走査速度を種々に変化させた場合にも、形状データの分解能変換補正を簡便かつ精度良く行うことができる。
　学習データセット生成部２６は、形状計測部２１で予め取得された複数のサンプル形状データをワーク２００の材質及び形状毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成する。
　判定モデル生成部２７は、複数の学習データセットを用いて、判定モデルをワーク２００の材質及び形状毎に生成する。
　外観検査装置２０をこのように構成することで、サンプル形状データの数が少ない場合でも、必要な量の学習データセットを生成し、判定モデルを高精度化できる。よって、溶接箇所２０１の形状良否を精度良く判定することができる。また、サンプル形状データを大量に取得する必要が無くなり、形状良否を判定するための工数を大幅に削減できる。また、複雑な判定基準を手動で設定すること無く、溶接箇所２０１の形状不良を自動で検出することができる。さらに、ワーク２００の材質及び形状毎に予めサンプル形状データを分類してから学習データセットを生成するため、効率良く学習データセットを生成できる。
　データ処理部２３は、複数の学習データセットを生成するために用いられるサンプル形状データを少なくとも保存する第１記憶部２５をさらに備えている。この場合、第１記憶部２５に保存されたサンプル形状データが学習データセット生成部２６に読み出されて、複数の学習データセットが生成される。
　このようにすることで、学習データセットの生成及びそれに続く判定モデルの生成処理をスムーズに行うことができる。
　また、データ処理部２３は、第１判定部２８での判定結果を通知する通知部２９をさらに備えている。
　このようにすることで、ワーク２００の溶接中に、溶接作業者またはシステム管理者が、溶接箇所２０１に不具合が生じたか否かをリアルタイムで知ることができる。また、必要に応じて、ワーク２００の溶接を継続するか否かの処置を講じることができる。このことにより、溶接工程における溶接コストを低減できる。
　学習データセット生成部２６は、サンプル形状データから抽出された１または複数の特徴量に基づいて学習データセットを生成する。なお、特徴量は形状データ処理部２４で抽出される。
　サンプル形状データから抽出された特徴量を用いて学習データセットを生成することで、判定モデルの精度を低下させること無く学習データセットの生成処理を簡素化できる。
　学習データセット生成部２６は、サンプル形状データから抽出された１つまたは複数の特徴量を変化させるか、または、サンプル形状データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、データ拡張処理を行っている。
　サンプル形状データから抽出された１または複数の特徴量に基づいて学習データセットを生成することで、学習データの作成効率を向上でき、工数をさらに削減できる。また、特徴量や形状不良箇所の位置を変化させるという簡単な処理で、効率良く学習データセットを生成できる。
　なお、学習データセット生成部２６は、複数のサンプル形状データを溶接箇所２０１の検査項目毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成してもよい。
　溶接箇所２０１の形状良否を判定するにあたって、第１判定部２８は、入力された形状データに形状不良があるか否かを判定する。この判定にあたって、形状不良が含まれていない良品データと何らかの形状不良を含む不良品データとで構成されるサンプル形状データとを用いて、学習データセットを生成する。学習データセットでは、不良品データは、形状不良の種類が特定され、かつ形状不良に対して特定された種類がラベル付けされる加工がなされている。この学習データセットを用いて、判定モデルを予め学習強化しておく。
　また、形状データに形状不良がある場合、第１判定部２８は、形状不良の個数やサイズ、さらに溶接箇所２０１及びその周囲の所定の領域における形状不良の位置を特定する。
　さらに、第１判定部２８は、形状不良の種類を特定する。この特定にあたって、形状不良の個数やサイズ、また溶接箇所２０１における形状不良の位置が参照される。また、形状不良の種類は、確率で算出され、当該確率が所定のしきい値以上になった場合に、形状不良の種類が確定する。なお、形状不良の種類は、図６Ａ～６Ｅに示す不良に限られない。溶接箇所２０１の寸法が所定の良品基準を満足しない場合も、形状不良に含まれる。当該寸法の良品基準は、Ｘ方向、Ｙ方向、Ｚ方向のいずれにも設定されうる。
　前述したように、第１判定部２８は、溶接箇所２０１の形状に関し、複数の項目をそれぞれ判定または特定し、それらの結果に基づいて、溶接箇所２０１の形状良否を最終的に判定する。このようにすることで、溶接箇所２０１の形状良否を正確にかつ確実に評価することができる。
　また、判定モデル生成部２７は、複数の学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルを溶接箇所２０１の検査項目毎に生成してもよい。
　さらに、学習データセット生成部２６は、複数のサンプル形状データを溶接箇所２０１の形状不良の判定が他の部分に比べて困難な特定部分とそれ以外の部分とに分けて、それぞれのサンプル形状データに対して、別個にデータ拡張処理を行って複数の学習データセットを生成してもよい。
　また、判定モデル生成部２７は、複数の学習データセットを用いて、判定モデルをワーク２００の材質及び形状毎に生成するにあたって、溶接箇所２０１の特定部分に対応した判定モデルとそれ以外の部分に対応した判定モデルとを別個に生成するようにしてもよい。
　このようにすることで、形状不良の有無や形状不良の種類の判定が他の部分に比べて困難な溶接箇所２０１の特定部分においても、所定以上の精度で形状不良の有無やその種類を判定できる。その結果、外観検査における溶接箇所２０１の形状良否を精度良く判定することができる。
　なお、本実施形態において、形状不良の有無を判定するのに用いられる判定モデルと、形状不良の種類等を特定する判定モデルとは、同じである。ただし、それぞれの判定モデルが、別個に設けられていてもよい。
　本実施形態に係る溶接システム１００は、ワーク２００を溶接する溶接装置１０と、外観検査装置２０と、を備えている。
　溶接システム１００をこのように構成することで、溶接箇所２０１の形状を精度良くかつ少ない工数で検査できる。このことにより、溶接工程のコストを低減できる。
　また、溶接装置１０は、ワーク２００に入熱するための溶接ヘッド１１（溶接トーチ１１）と、溶接ヘッド１１（溶接トーチ１１）を保持するとともに所望の位置に移動させるロボット１６と、溶接ヘッド１１（溶接トーチ１１）の溶接出力を制御する出力制御部１５と、ロボット１６の動作を制御するロボット制御部１７と、を少なくとも備えている。
　外観検査装置２０の第１判定部２８で溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接ヘッド１１（溶接トーチ１１）の溶接出力を停止し、ロボット制御部１７はロボット１６の動作を停止させるか、また溶接ヘッド１１（溶接トーチ１１）が所定の初期位置に来るようにロボット１６を動作させる。
　溶接システム１００をこのように構成することで、溶接箇所２０１の形状が不良である場合、次の溶接を停止して、不良品が多発するのを防止できる。なお、第１判定部２８での判定結果を検査項目毎に入手することで、溶接システム１００における不具合箇所を推定でき、不良原因を速やかに取り除いて、溶接システム１００のダウンタイムを短縮できる。
　本実施形態に係る形状データの補正方法は、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、複数の学習データセットを生成するためのサンプル形状データを取得するステップを備えている。また、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、形状データを取得するステップを備えている。
　形状データの補正方法は、形状計測部２１で取得された形状データの分解能がサンプル形状データの分解能と異なる場合、形状データ処理部２４は、形状計測部２１で取得された形状データの分解能がサンプル形状データの分解能と同じ値になるように形状データを補正するステップをさらに備えている。
　このようにすることで、サンプル形状データ、ひいては学習データセットと形状データのそれぞれに含まれる形状不良箇所、例えば、穴あき２０２やスパッタ２０４等の形状の特徴を合わせることができる。このことにより、分解能変換補正後の形状データを学習済の判定モデルに入力した場合、溶接箇所２０１の形状の良否判定を確実にかつ精度良く行ことができる。
　本実施形態に係る溶接箇所２０１の外観検査方法は、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、複数の学習データセットを生成するためのサンプル形状データを取得するステップを少なくとも備えている。
　判定モデル生成部２７が、複数の学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための１または複数の判定モデルを生成するステップをさらに備えている。
　また、形状計測部２１がロボット１６とともに移動しながら溶接箇所２０１の三次元形状を計測して、形状データを取得するステップを備えている。
　溶接箇所２０１の外観検査方法は、形状計測部２１で取得された形状データの分解能がサンプル形状データの分解能と異なる場合、形状データ処理部２４が、形状計測部２１で取得された形状データの分解能がサンプル形状データの分解能と同じ値になるように形状データを補正するステップをさらに備えている。
　また、第１判定部２８が、形状データ処理部２４で分解能が補正された形状データと判定モデル生成部２７で生成された１または複数の判定モデルとに基づいて溶接箇所２０１の形状の良否を判定するステップを備えている。
　本実施形態によれば、生産タクトタイムや要求される検査精度等に応じて検査条件が変更された場合にも、溶接箇所２０１の三次元形状を精度良く評価でき、溶接箇所２０１の形状の良否を正しく判定できる。
　また、本実施形態によれば、１つのワーク２００に含まれる複数の溶接箇所２０１の外観検査を行う場合に、検査条件をそれぞれの溶接箇所２０１の形状に合わせて都度変更しても、それぞれの溶接箇所２０１の形状を精度良く評価できる。例えば、溶接箇所２０１に湾曲部分があったり、奥まった部分があってロボット１６の動作範囲に制限があったりする場合でも、検査条件の変更の影響を受けずに、溶接箇所２０１の形状を精度良く評価できる。
　また、溶接作業者にとっては、生産タクトタイムを意識し高速で検査したい箇所と、検査精度を重視し低速で検査したい箇所を分けて検査条件の設定が可能である。例えば、１つの溶接箇所２０１において、あるいは１つのワーク２００に含まれる複数の溶接箇所２０１において、このような検査条件の設定分けを行うこともできる。このようにしても、本実施形態によれば、溶接箇所２０１の形状を精度良く評価でき、形状の良否判定を正しく行うことができる。
　また、第１判定部２８が溶接箇所２０１の形状の良否を判定するステップ（図８ＡのステップＳ８，Ｓ１３）は、以下のサブステップをさらに含んでいる。
　つまり、形状データ処理部２４から入力された形状データと予め学習強化された判定モデルとに基づいて、溶接箇所２０１における形状不良の有無を判定するサブステップ（図８ＢのサブステップＳＡ）と、形状不良の個数、サイズ及び溶接箇所２０１に対する形状不良の位置を特定するサブステップ（図８ＢのサブステップＳＢ）と、形状不良の種類を特定するサブステップ（図８ＢのサブステップＳＣ）と、である。
　第１判定部２８は、それぞれのサブステップＳＡ～ＳＣの判定結果及び特定結果に基づいて、溶接箇所２０１の形状の良否を判定する。
　このようにすることで、溶接箇所２０１の形状良否を正確にかつ確実に評価することができる。
　なお、溶接箇所２０１の外観検査において、溶接箇所２０１の形状や要求される生産タクトタイム等に応じて、加減速区間を設けるか否か、また、ロボット１６の移動速度等が決定される。このため、溶接箇所２０１の外観検査を行うにあたって、溶接箇所２０１の形状や要求される生産タクトタイム等に応じて、形状データ処理部２４での形状データの分解能変換補正を適宜、適切に行う必要がある。以下、実施例にて説明する。
　図１２は、実施例１に係る溶接箇所の外観検査の様子を模式的に示す。なお、説明の便宜上、形状計測部２１の形状を模式的に示している。また、形状計測部２１と溶接箇所２０１以外の構成要素の図示及び説明を省略している。また、図１２及び以降の各図面において、実施形態１と同様の箇所については同一の符号を付して詳細な説明を省略する。
　図１２に示す例では、直線状の溶接ビードである溶接箇所２０１に対し、一定の速度で形状計測部２１を移動させながら、外観検査を行った。形状計測部２１による計測範囲（走査範囲）は、Ｘ方向で５ｍｍ、Ｙ方向で４５ｍｍである。
　また、計測周波数Ｆは１０００Ｈｚ、ロボット１６の移動速度Ｖ（前述の一定の速度に相当）は９ｍ／ｍｉｎ、形状計測部２１のＸ方向の計測分解能を０．０５ｍｍ（＝５０μｍ）とした。この場合、形状データのＸ方向分解能Ｒｘも０．０５ｍｍ（＝５０μｍ）である。また、式（１）に前述の計測周波数Ｆと移動速度Ｖの値を代入して、形状データのＹ方向分解能Ｒｙは、０．１５ｍｍ（＝１５０μｍ）となる。
　また、サンプル形状データのＸ方向分解能Ｒｘ０は、０．０２５ｍｍ（＝２５μｍ）であり、Ｙ方向分解能Ｒｙ０は、０．１ｍｍ（＝１００μｍ）であった。よって、分解能変換補正を行うため、次の手順で行う。式（２）、（３）にそれぞれ値を代入して、Ｘ方向分解能係数Ｃｘ＝２、Ｙ方向分解能係数Ｃｙ＝１．５となる。
　また、形状計測部２１で計測した点群データの列数（点群列数）をＸ方向でＮｘ、Ｙ方向でＮｙとし、点群データのＸ方向の長さをＬｘ、Ｙ方向の長さをＬｙとすると、点群列数Ｎｘ、Ｎｙは、それぞれ式（９）、（１０）で表現される。
　Ｎｘ＝（Ｌｘ／Ｒｘ）＋１　・・・（９）
　Ｎｙ＝（Ｌｙ／Ｒｙ）＋１　・・・（１０）
　長さＬｘ、Ｌｙは、それぞれ５ｍｍ、４５ｍｍであるから、点群列数Ｎｘ、Ｎｙは、それぞれ１０１個、３０１個である。なお、式（９）、（１０）において、右辺の第２項は、原点を含む列を加えたものである。
　一方、形状データを再構成した後の点群列数Ｎｘ’、Ｎｙ’は、式（９）における形状データのＸ方向分解能Ｒｘをサンプル形状データのＸ方向分解能Ｒｘ０に、式（１０）における形状データのＹ方向分解能Ｒｙをサンプル形状データのＹ方向分解能Ｒｙ０に、それぞれ置き換えることで得られる。具体的には、点群列数Ｎｘ’、Ｎｙ’は、それぞれ２０１個、４５１個となる。つまり、もとの形状データをＸ方向に２０１点群列、Ｙ方向に４５１点群列で構成される点群データに再構成することになる。
　また、再構成後の点群データの各点に関し、式（４）に基づいて、式（４）に示す補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙ）がそれぞれ算出され、Ｚ座標の値を補正し、分解能変換補正が完了する。さらに、第１判定部２８において、学習済の判定モデルにより、溶接箇所２０１の形状の良否を判定した。
　このようにサンプル形状データの分解能と同じ値となるように形状データの分解能を補正することで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。よって、サンプル形状データ取得時の検査条件と異なる条件で形状データを取得した場合にも、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　図１３は、実施例２及び実施例３に係る溶接箇所の平面形状の模式図を示し、平面視で、溶接箇所２０１は、コーナー部を有する略Ｌ字状である。また、溶接箇所２０１は、直線部である区間Ｉ及び区間ＩＩと略四分円弧状のコーナー部である区間ＩＩＩと直線部である区間ＩＶ及び区間Ｖとにそれぞれ分割される。
　本実施例では、区間Ｉ～区間ＩＩＩまでの範囲を外観検査した場合を説明する。
　直線部である区間Ｉでは、サイズの小さな形状不良が発生しにくい。このため、区間Ｉの外観検査においては、計測分解能を高めて溶接箇所２０１の形状データを取得するよりも、外観検査の時間を低減して生産タクトタイムを削減することが優先される。
　一方、コーナー部である区間ＩＩＩでは、サイズの小さな形状不良の発生頻度が区間Ｉよりも高くなる傾向がある。このため、区間ＩＩＩの外観検査においては、計測分解能を高めて溶接箇所２０１の形状データを取得することで、高精度の外観検査を行う必要がある。
　そこで、本実施例では、区間Ｉ及び区間ＩＩＩを等速区間に設定するとともに、区間Ｉにおけるロボット１６の移動速度Ｖ１を９ｍ／ｍｉｎとし、区間ＩＩＩにおけるロボット１６の移動速度Ｖ３を３ｍ／ｍｉｎとした。また、区間ＩＩを移動速度ＶがＶ１からＶ３まで時間ｔの一次関数で減速する減速区間とした。なお、区間ＩＩにおけるロボット１６の速度制御関数Ｖ（ｔ）は、式（８）に示す形と同様である。
　等速区間としての区間Ｉ及び区間ＩＩＩにおける計測周波数ＦやＸ方向分解能Ｒｘは、それぞれ実施例１と同じ値の０．０５ｍｍ（＝５０μｍ）とした。また、区間ＩにおけるＹ方向分解能Ｒｙも、実施例１と同じ値の０．１５ｍｍ（＝１５０μｍ）とした。一方、区間ＩＩＩにおけるＹ方向分解能Ｒｙは、移動速度ＶがＶ１＝９ｍ／ｍｉｎ（区間Ｉ）からＶ３＝３ｍ／ｍｉｎ（区間ＩＩＩ）に低下するのに応じて小さくなり、０．０５ｍｍ（＝５０μｍ）となる。
　また、等速区間としての区間Ｉ及び区間ＩＩＩのそれぞれにおいて、形状データの取得時の点群列数Ｎｘ、Ｎｙは、実施例１と同じ値とした。つまり、形状データの取得時の点群列数Ｎｘ、Ｎｙは、それぞれ１０１個、３０１個である。
　一方、減速区間としての区間ＩＩにおいて、Ｘ方向分解能Ｒｘ及び形状データの取得時の点群列数Ｎｘ並びに計測周波数Ｆは、それぞれ区間Ｉ及び区間ＩＩＩと同じ値とした。つまり、Ｘ方向分解能Ｒｘは、０．０５ｍｍ（＝５０μｍ）であり、点群列数Ｎｘは、１０１個であり、計測周波数Ｆは、１０００Ｈｚである。
　また、区間ＩＩにおける減速期間としての期間Ｔ（図１１参照）は、０．２ｓｅｃとした。したがって、式（８）に示す速度制御関数Ｖ（ｔ）において、Ｖ１＝９ｍ／ｍｉｎ、Ｖ２＝（Ｖ３＝）３ｍ／ｍｉｎ、Ｔ＝０．２ｓｅｃをそれぞれ代入すると、式（８）における時間ｔの一次係数Ａは（Ｖ２－Ｖ１）／Ｔ＝－３０となる。また、定数Ｂ＝（Ｖ１＝）９である。
　この場合、式（５）に式（８）及び計測周波数Ｆ（Ｈｚ）の値を代入すると、区間ＩＩにおけるＹ方向分解能Ｒｙ（ｔ）は、式（１１）に示す形で表現される。
　Ｒｙ（ｔ）＝（５０／３Ｆ）×Ｖ（ｔ）＝（１／６０）×（－３０ｔ＋９）
　　　　　　＝　－０．５ｔ＋０．１５　・・・（１１）
　また、式（１１）に示すＹ方向分解能Ｒｙ（ｔ）を式（６）に代入して、分解能係数Ｃｙｍ（ｔ）が得られる。なお、この場合の区間ＩＩ（対象の区間）の移動時間としての移動時間Ｔｍ（ｓｅｃ）は式（１２）に示す形で表現される。
　０≦Ｔｍ＝ｍ／Ｆ＝ｍ／１０００≦Ｔ＝０．２　・・・（１２）
ここでｍは、対象の区間の原点からｍ番目の位置を表す。
　この場合、形状データを再構成した後の点群列数Ｎｘ’は、２０１個となる。これは、式（９）における形状データのＸ方向分解能Ｒｘをサンプル形状データのＸ方向分解能Ｒｘ０に、置き換えることで得られる。ここで、Ｘ方向分解能Ｒｘ０（０．０２５ｍｍ（＝２５μｍ）、Ｘ方向での形状計測部２１による計測範囲（走査範囲）の長さＬｘは、で５ｍｍである。一方、形状データを再構成した後の点群列数Ｎｙ’は、式（１３）に示す形で表現される。
Figure JPOXMLDOC01-appb-M000002
　以上の通りであるから、もとの形状データは、Ｘ方向に２０１点群列、Ｙ方向に２０１点群列で構成される点群データに再構成され、ＸＹ座標（Ｘｎ，Ｙｍ）に対し、式（７）を満たすように、補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））が算出される。
　本実施例において、ｎは１以上の整数で、１≦ｎ≦２０１を満たし、ｍは１以上の整数で、１≦ｍ≦２０１を満たす。
　区間ＩＩに含まれるすべての点群に対して、式（７）に示す、補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））がそれぞれ算出される。さらに、区間ＩＩに含まれるすべての座標点に対して、（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）、Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）））が算出され、区間ＩＩにおいて、このように分解能変換補正により、分解能が補正された形状データを得る。
　区間Ｉ～区間ＩＩＩのそれぞれにおいて、分解能変換補正により、分解能が補正された形状データを得た後に、第１判定部２８において、学習済の判定モデルにより、溶接箇所２０１の形状の良否を判定した。
　このようにサンプル形状データの分解能と同じ値となるように分解能変換補正により、形状計測部２１で計測した形状データの分解能を補正することで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。ここで、判定モデルは、予め、サンプル形状データに基づいて生成される複数の学習データセットのそれぞれに基づいて生成され、さらに学習が強化されている。よって、サンプル形状データ取得時の検査条件と異なる条件で形状データを取得した場合にも、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　また、分解能が時間とともに変化する減速区間（区間ＩＩ）においても、形状データに対して前述した分解能変換補正を行うことで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。よって、減速区間においても、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　本実施例では、図１３における区間Ｉ～区間Ｖまでの範囲を外観検査した場合を説明する。
　区間Ｉ～区間ＩＩＩまでは、実施例２に示した手法で、形状データの分解能変換補正を行い、溶接箇所２０１の外観検査を行った。また、区間Ｖは、移動速度Ｖ＝（Ｖ５＝）１２ｍ／ｍｉｎの等速区間である。つまり、区間Ｖでは、実施例１や実施例２の区間Ｉや区間ＩＩＩにおけるのと同様の手法で、よって、形状データの分解能変換補正を行い、溶接箇所２０１の外観検査を行った。よって、ここでは、区間ＩＶにおける分解能変換補正を中心に説明する。
　区間ＩＶは、移動速度ＶがＶ３からＶ５まで時間ｔの一次関数で加速する加速区間である。なお、加速区間としての区間ＩＶにおけるロボット１６の速度制御関数Ｖ（ｔ）は、式（８）に示す形と同様である。
　区間ＩＶにおいて、計測される形状データのＸ方向分解能Ｒｘ及び形状データの取得時の点群列数Ｎｘ並びに計測周波数Ｆは、それぞれ区間Ｉ及び区間ＩＩＩと同じ値とした。つまり、Ｘ方向分解能Ｒｘは、０．０５ｍｍ（＝５０μｍ）であり、点群列数Ｎｘは、１０１個であり、計測周波数Ｆは、１０００Ｈｚである。
　また、区間ＩＶにおける加速期間Ｔは、０．２ｓｅｃとした。したがって、式（８）に示す速度制御関数Ｖ（ｔ）において、Ｖ１＝（Ｖ３＝）３ｍ／ｍｉｎ、Ｖ２＝（Ｖ５＝）１２ｍ／ｍｉｎ、Ｔ＝０．２ｓｅｃをそれぞれ代入すると、式（８）における時間ｔの一次係数Ａは（Ｖ２－Ｖ１）／Ｔ＝４５となる。また、定数Ｂ＝（Ｖ３＝）３である。
　この場合、式（５）に式（８）及び計測周波数Ｆの値を代入すると、区間ＩＶにおけるＹ方向分解能Ｒｙ（ｔ）は、式（１４）に示す形で表現される。
　Ｒｙ（ｔ）＝（５０／３Ｆ）×Ｖ（ｔ）＝（１／６０）×（４５ｔ＋３）
　　　　　　＝０．７５ｔ＋０．０５　・・・（１４）
　また、式（１４）に示すＹ方向分解能Ｒｙ（ｔ）を式（６）に代入して、分解能係数Ｃｙｍ（ｔ）が得られる。なお、この場合の移動時間Ｔｍも式（１２）に示す形で表現される。
　また、この場合も、形状データを再構成した後の点群列数Ｎｘ’は、２０１個となる。一方、形状データを再構成した後の点群列数Ｎｙ’は、式（１５）に示す形で表現される。
Figure JPOXMLDOC01-appb-M000003
　以上の通りであるから、もとの形状データは、Ｘ方向に２０１点群列、Ｙ方向に２５１点群列で構成される点群データに再構成され、ＸＹ座標（Ｘｎ，Ｙｍ）に対し、式（７）を満たすようにＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））が算出される。
　本実施例において、ｎは１以上の整数で、１≦ｎ≦２０１を満たし、ｍは１以上の整数で、１≦ｍ≦２５１を満たす。
　区間ＩＶに含まれるすべての点群に対して、式（７）に示す、補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））がそれぞれ算出される。さらに、区間ＩＶに含まれるすべての座標点に対して、（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）、Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）））が算出され、区間ＩＶにおいて、分解能が補正された形状データを得る。
　区間Ｉ～区間Ｖのそれぞれにおいて、分解能が補正された形状データを得た後に、第１判定部２８において、学習済の判定モデルにより、溶接箇所２０１の形状の良否を判定した。
　このように、形状データの分解能を変換して、サンプル形状データの分解能と同じ値となるように形状データの分解能を補正することで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。よって、サンプル形状データ取得時の検査条件と異なる条件で形状データを取得した場合にも、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　また、分解能が時間とともに変化する減速区間（区間ＩＩ）や加速区間（区間ＩＶ）においても、形状データに対して前述した分解能変換補正を行うことで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。よって、減速区間や加速区間においても、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　分解能変換補正を行わない場合、形状計測部２１で取得される形状データの分解能をサンプル形状データの分解能と同じ値になるようにするのが好ましいことは既に述べた通りである。このようにすることで、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　また、形状データを取得するにあたって、検査区間全体で形状計測部２１のＹ方向の走査速度、つまり、ロボット１６の移動速度Ｖを一定にしておくのが好ましい。このようにすることで、検査区間全体にわたって、形状データの分解能を一定にできる。
　このようにするために、通常、以下に述べるような方法で形状データが取得される。まず、静止状態から検査区間の始点に到達するまで、形状計測部２１を加速して移動させる。この場合、形状計測部２１が計測区間の始点に到達した時点で、移動速度Ｖが所望の値になるようにする。その後は、検査区間全体にわたって、形状計測部２１を一定の速度Ｖで移動させつつ、溶接箇所２０１の形状を計測する。このようにすることで、検査区間全体にわたって、形状データの分解能を一定にして、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　しかし、この方法では、検査区間以外の区間、つまり、助走区間を設定し、助走区間でもロボット１６を移動させる必要があり、外観検査に要する生産タクトタイムが増加してしまうという問題があった。
　一方、本願明細書に開示した方法によれば、移動速度Ｖが変化する加減速区間においても、形状データの分解能を変換して、形状データの分解能をサンプル形状データの分解能と同じ値となるように補正できる。このことにより、助走区間を設けること無く、溶接箇所２０１の形状を評価できる。以下、本実施例を用いて説明する。
　図１４は、実施例４に係る溶接箇所の外観検査の様子を模式的に示し、直線状の溶接ビードである溶接箇所２０１に対し、以下に示すように形状計測部２１を移動させて外観検査を行った。本実施例では、形状計測部２１が静止した状態から、ロボット１６を移動させつつ形状計測部２１を加速させた。この場合のロボット１６の速度制御関数Ｖ（ｔ）は、式（８）に示した形と同様である。さらに、速度Ｖｃ（＝９ｍ／ｍｉｎ）に達した時点からこの速度を維持したまま等速で形状計測部２１を移動させた。ここで、形状計測部２１は、形状計測部２１が移動し始めた時点から連続して溶接箇所２０１の形状を計測し、外観検査を行った。
　形状計測部２１が移動し始めた時点から速度Ｖｃに達するまでの時点までの区間は、加速区間であると同時に、前述の助走区間にも該当する。したがって、従来の方法のように、検査区間と別に助走区間を設けなくても、移動速度Ｖが変化する加減速区間においても、形状データの分解能を変換して、形状データの分解能をサンプル形状データの分解能と同じ値となるように補正する。このことにより、加速区間を一部に含む検査区間全体にわたって、取得した形状データの分解能をサンプル形状データの分解能と同じ値となるように補正できる。
　図１３に示す加速区間において、計測される形状データのＸ方向分解能Ｒｘ及び形状データの取得時の点群列数Ｎｘ並びに計測周波数Ｆは、図１３に示す等速区間と同じ値とした。つまり、Ｘ方向分解能Ｒｘは、０．０５ｍｍ（＝５０μｍ）であり、点群列数Ｎｘは、１０１個であり、計測周波数Ｆは、１０００Ｈｚである。なお、等速区間におけるＹ方向の形状データの点群列数Ｎｙは、３０１個とした。
　また、加速区間における加速期間Ｔは、０．３ｓｅｃとした。したがって、式（８）に示す速度制御関数Ｖ（ｔ）において、Ｖ１＝０ｍ／ｍｉｎ、Ｖ２＝（Ｖｃ＝）９ｍ／ｍｉｎ、Ｔ＝０．３ｓｅｃをそれぞれ代入すると、式（８）における時間ｔの一次係数Ａは（Ｖ２－Ｖ１）／Ｔ＝３０となる。また、定数Ｂ＝０であり、速度制御関数Ｖ（ｔ）＝３０ｔとなる。
　この場合、式（５）に式（８）及び計測周波数Ｆ（Ｈｚ）の値を代入すると、加速区間におけるＹ方向分解能Ｒｙ（ｔ）は、式（１４）に示す形で表現される。
　Ｒｙ（ｔ）＝（５０／３Ｆ）×Ｖ（ｔ）＝（１／６０）×（３０ｔ）
　　　　　　＝０．５ｔ　・・・（１６）
　また、式（１６）に示すＹ方向分解能Ｒｙ（ｔ）を式（６）に代入して、分解能係数Ｃｙｍ（ｔ）が得られる。なお、この場合の移動時間Ｔｍ（ｓｅｃ）も式（１２）に示す形で表現される。
　また、この場合も、実施例２の減速期間としての区間ＩＩ、実施例３の加速区間としての区間ＩＶと同様に、形状データを再構成した後の点群列数Ｎｘ’は、２０１個となる。一方、形状データを再構成した後の点群列数Ｎｙ’は、式（１７）に示す形で表現される。
Figure JPOXMLDOC01-appb-M000004
　以上の通りであるから、もとの形状データは、Ｘ方向に２０１点群列、Ｙ方向に２２６点群列で構成される点群データに再構成され、ＸＹ座標（Ｘｎ，Ｙｍ）に対し、式（７）を満たすように、補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））が算出される。
　本実施例において、ｎは１以上の整数で、１≦ｎ≦２０１を満たし、ｍは１以上の整数で、１≦ｍ≦２２６を満たす。
　加速区間に含まれるすべての点群に対して、式（７）に示す、補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））がそれぞれ算出される。さらに、加速区間に含まれるすべての座標点に対して、（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）、Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）））が算出され、加速区間において、形状データの分解能を変換して、分解能が補正された形状データを得る。
　検査区間の全体、すなわち、加速区間と等速区間のそれぞれにおいて、分解能が補正された形状データを得た後に、第１判定部２８において、学習済の判定モデルにより、溶接箇所２０１の形状の良否を判定した。
　このように、形状データの分解能を変換して、サンプル形状データの分解能と同じ値となるように形状計測部２１で計測した形状データの分解能を補正することで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。ここで、判定モデルは、予め、サンプル形状データに基づいて生成される複数の学習データセットのそれぞれに基づいて生成され、さらに学習が強化されている。よって、サンプル形状データ取得時の検査条件と異なる条件で形状データを取得した場合にも、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　また、移動速度Ｖが変化する加減速区間においても、形状データの分解能を変換して、形状データの分解能をサンプル形状データの分解能と同じ値となるように補正することにより、形状データの計測を行う検査区間の一部を加速区間とすることで、検査区間とは別に助走区間を設けること無く、形状計測部２１が静止した状態から溶接箇所２０１の外観検査を行うことができる。助走区間を設ける必要が無いため、検査時間を短縮でき、外観検査を含めた生産タクトタイムを低減できる。
　また、分解能が時間とともに変化する加速区間においても、形状データに対して前述した分解能変換補正を行うことで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。よって、加速区間を含んだ検査区間全体にわたって、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　図１５は、実施例５に係る溶接箇所のＺ方向プロファイルを示す模式図である。図１６Ａは、区間Ａにおける形状計測部の配置を示す模式図である。図１６Ｂは、区間Ｂにおける形状計測部の配置を示す模式図である。図１６Ｃは、区間Ｃにおける形状計測部の配置を示す模式図である。図１５に示す溶接箇所２０１は、検査区間において、平坦部である区間Ａと、移動方向から見た前傾部である区間Ｂと、移動方向から見た後傾部である区間Ｃとを有し、移動方向に区間Ａ、Ｂ、Ｃを周期的に繰り返す構成である。
　図１７Ａは、従来の方法に係る形状計測部の配置であって、区間Ａを検査する場合の配置を示す模式図である。図１７Ｂは、従来の方法に係る形状計測部の配置であって、区間Ｂを検査する場合の配置を示す模式図である。
　溶接箇所２０１の形状は様々であり、例えば、図１５に示すように、Ｚ方向に突出した凸部が周期的に形成された溶接箇所２０１も存在する。
　図１５に示す溶接箇所２０１を外観検査する場合、検査区間において、平坦部である区間Ａと、ロボット１６の移動方向から見た前傾部である区間Ｂと後傾部である区間Ｃとが、この順で周期的に現れる。なお、ワーク２００の表面を基準とした凸部のＺ方向の高さは、Ｈ１である。
　形状計測部２１として前述の三次元形状計測センサを用いた場合、カメラまたは受光センサアレイ２１ｂの受光面と溶接箇所２０１の表面との間の距離であるワークディスタンスを一定に保った状態で、溶接箇所２０１の外観検査が行われる。ワークディスタンスが変化すると、形状が正しく計測されなくなるからである。したがって、検査区間において、溶接箇所２０１の表面の高さや傾斜が大きく変化する箇所を含む場合、当該箇所の前後で、ワークディスタンスを保つように形状計測部２１の配置を変更する必要がある。具体的には、移動方向に対する形状計測部２１の受光面の角度を変更する必要がある。
　図１５に示す溶接箇所２０１を外観検査する場合、区間Ａでは、図１６Ａに示すように、形状評価部２１は、溶接箇所２０１の表面、この場合はワーク２００の表面に対して、形状評価部２１の受光するレーザ光線の光軸が垂直となる面直に配置される。区間Ｂでは、図１６Ｂに示すように、形状評価部２１は、凸部の傾斜に応じて、移動方向から見た前傾部である区間Ｂの傾斜面に対して、形状評価部２１の受光するレーザ光線の光軸が垂直となる面直となるように、平坦部である区間Ａのワーク２００の表面を基準とした場合の垂直方向に対して、移動方向とは反対方向側に形状評価部２１が傾く角度である前進角θ１をなすように配置される。区間Ｃでは、図１６Ｃに示すように、形状評価部２１は、凸部の傾斜に応じて、移動方向から見た後傾部である区間Ｃの傾斜面に対して、形状評価部２１の受光するレーザ光線の光軸が垂直となる面直となるように、平坦部である区間Ａのワーク２００の表面を基準とした場合の垂直方向に対して、移動方向側に形状評価部２１が傾く角度である後退角θ２をなすように配置される。
　一方、形状評価部２１の配置を変化させながら連続的に外観検査を行うと、変化箇所の前後でワークディスタンスも変化してしまうため、溶接箇所２０１の形状を正しく評価できなくなる。
　よって、従来の手法では、溶接箇所２０１の表面の高さや傾斜が大きく変化する箇所の前後では、形状計測部２１を一旦停止させる。配置を変更した後に、再度、形状計測部２１を移動させて、溶接箇所２０１の形状計測が再開される。この場合、従来の手法では、実施例４で述べたように、形状データの計測を行う検査区間とは別に、助走区間を設ける必要がある。例えば、図１７Ａに示すように、検査区間である計測対象区間（前述の平坦部である区間Ａ）の開始位置の後方（移動方向の反対方向）に、所定の距離の助走区間を設ける必要がある。また、図１７Ｂに示すように、検査区間である計測対象区間（前述の移動方向から見た前傾部である区間Ｂ）の開始位置の後方（移動方向の反対方向）に、所定の距離の助走区間を設ける必要がある。なお、図１７Ｂに示す場合では、助走区間はＺ方向に沿った成分も含むため、形状計測部２１をＺ方向に沿っても動かす必要がある。
　しかし、溶接箇所２０１の形状計測において、助走区間を設けると、生産タクトタイムが増加してしまう課題があることは前述した通りである。特に、図１５に示すように、溶接箇所２０１に、表面の高さや傾斜が大きく変化する箇所が複数含まれる場合は、生産タクトタイムの増加がより顕著となる。
　一方、本願明細書に開示した方法によれば、前述したように、検査区間とは別に助走区間を設けること無く、溶接箇所２０１の形状を評価できる。このことにより、生産タクトタイムの増加を大幅に抑制できる。以下、本実施例を用いて説明する。
　図１５に示す溶接箇所２０１を計測するにあたって、区間Ａ～Ｃのそれぞれにおける形状計測部２１の走査距離Ｌａ～Ｌｃは、実質的にそれぞれ同じ値であり、６７．５ｍｍである。この場合の走査距離とは、溶接箇所２０１の表面に沿った形状計測部２１の移動距離である。
　予備的な実験によって、形状計測部２１を静止状態から一定の速度９ｍ／ｍｉｎまで加速するのに０．４ｓｅｃを要し、また、加速中の形状計測部２１の移動距離は３０ｍｍであることがわかった。よって、区間Ａ～Ｃのそれぞれにおいて、加速区間の走査距離は３０ｍｍであり、等速区間の走査距離は３７．５ｍｍである。
　また、図１５から明らかなように、溶接箇所２０１は、６箇所の区間Ａと５箇所の区間Ｂと５箇所の区間Ｃとを含んでいる。したがって、形状計測の対象となる区間（６＋５＋５＝１６箇所）において、加速区間の走査距離の合計は、３０（ｍｍ）×１６（箇所）＝４８０ｍｍであり、等速区間の走査距離の合計は、３７．５（ｍｍ）×１６（箇所）＝６００ｍｍである。
　また、形状計測部２１が溶接箇所２０１を走査する走査時間（ロボット１６の移動時間に相当）のうち、加速区間の走査時間は１６（箇所）×０．４（ｓｅｃ）＝６．４（ｓｅｃ）である。等速区間の走査時間は１６（箇所）×３７．５（ｓｅｃ）／９（ｍ／ｍｉｎ）＝１６×３７．５（ｓｅｃ）／１５０（ｍｍ／ｓｅｃ）＝４．０（ｓｅｃ）である。これらのまとめを表１に示す。
Figure JPOXMLDOC01-appb-T000005
　なお、溶接箇所２０１の外観検査方法は、実施例４と同様の方法で行った。つまり、それぞれの等速区間では、前述したＸ方向分解能Ｒｘ、Ｒｘ０及びＹ方向分解能Ｒｙ、Ｒｙ０を用いて、もとの形状データを再構成し、再構成後の点群データの各点に関し、式（４）に基づいて補正処理後の座標としてのＺ座標の値を補正し、形状データの分解能を補正した。さらに、第１判定部２８において、複数の学習データセットのそれぞれに基づいて生成され、さらに学習が強化された学習済の判定モデルにより、それぞれの等速区間において、溶接箇所２０１の形状の良否を判定した。なお、前述した通り、複数の学習データセットのそれぞれは、予め取得したサンプル形状データに基づいて生成される。
　また、それぞれの加速区間では、Ｘ方向分解能Ｒｘ、Ｒｘ０及びＹ方向分解能Ｒｙ（ｔ）、Ｒｙ０、さらに分解能係数Ｃｙｍ（ｔ）を用いて、もとの形状データを再構成し、加速区間に含まれるすべての点群に対して、式（７）に示す補正処理後の座標としてのＺ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ））をそれぞれ算出した。さらに、加速区間に含まれるすべての座標点に対して、（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）、Ｚ（Ｘｎ／Ｃｘ，Ｙｍ／Ｃｙｍ（ｔ）））を算出し、それぞれの加速区間において、分解能が補正された形状データを得た。さらに、第１判定部２８において、学習済の判定モデルにより、それぞれの加速区間において、溶接箇所２０１の形状の良否を判定した。
　一方、従来の方法により溶接箇所２０１の形状を計測した場合を比較例とした。比較例において、区間Ａ～Ｃのそれぞれの形状計測時に、形状データの計測を行う検査区間とは別に助走区間を設けることは既に述べたとおりである。また、比較例では、区間Ａの計測終了点において、計測終了点から助走区間の距離分、形状計測部２１を後退させる。さらに、ワーク２００の表面に対して、形状評価部２１の受光するレーザ光線の光軸が垂直となる面直になるように、溶接箇所２０１の表面に対する形状計測部２１の受光面の角度を変化させる。その後に、形状計測部２１を加速させながら計測開始点まで移動させる。さらに、区間Ａの計測開始点から計測終了点まで等速で形状計測部２１を移動させながら溶接箇所２０１の形状を計測する。このようなステップを、６箇所の平坦部である区間Ａと５箇所の移動方向から見た前傾部である区間Ｂと５箇所の移動方向から見た後傾部である区間Ｃのそれぞれにおいて実行し、溶接箇所２０１の形状データを取得した。
　また、ロボット１６の移動速度ＶをＶｃ（＝９ｍ／ｍｉｎ）に固定した状態で、サンプル形状データを取得するとともに、当該サンプル形状データに基づいて学習強化された判定モデルを予め準備した。この判定モデルを用いて、溶接箇所２０１の形状評価を行った。さらに、第１判定部２８において、学習済の判定モデルにより、区間Ａ～Ｃのそれぞれにおいて、溶接箇所２０１の形状の良否を判定し、これらの結果を検査区間の全体にわたってまとめて、最終的な判定結果を出力した。
　また、比較例では、形状データの計測を行う検査区間とは別に設けたそれぞれの助走区間における形状計測部２１の走査距離及び走査時間が、等速区間の走査距離及び走査時間にそれぞれ加算され、全体の走査距離及び走査時間としての合計区間（助走区間＋等速区間）が算出される。本実施例の結果との比較も含めてまとめた結果を表２に示す。なお、助走区間において、各区間の計測開始点を基点として、形状計測部２１を往復して移動させる。このため、助走区間における形状計測部２１の走査距離及び走査時間は、それぞれ本実施例の値の２倍となる。つまり、助走区間の走査距離は、１つの区間あたり、３０（ｍｍ）×２＝６０（ｍｍ）となり、走査時間は、１つの区間あたり、０．４（ｓｅｃ）×２＝０．８（ｓｅｃ）となる。
Figure JPOXMLDOC01-appb-T000006
　表２から明らかなように、比較例に対して、本実施例では形状計測部２１の走査距離を３０％程度に低減でき、走査時間を５０％程度に低減できた。つまり、外観検査に要する生産タクトタイムの増加を大幅に抑制できた。
　また、予め取得するサンプル形状データの分解能と同じ値となるように、形状計測部２１で測定する形状データの分解能を補正することで、判定モデルに形状データを入力した場合、判定モデルでの形状不良の誤認識等を抑制できる。よって、サンプル形状データ取得時の検査条件と異なる条件で形状データを取得した場合にも、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　また、図１５に示すように、溶接箇所２０１の高さや傾斜が大きく変わる場合においても、形状データの計測を行う検査区間において、各区間を加速区間と等速区間とに分けることで、検査区間とは別に助走区間を設けること無く、溶接箇所２０１の外観検査を行うことができる。
　また、分解能が時間とともに変化する加速区間においても、予め取得したサンプル形状データの分解能と同じ値となるように、形状データに対して前述した分解能変換補正を行うことで、判定モデルに形状データを入力した場合、複数の学習データセットのそれぞれに基づいて生成され、さらに学習が強化された判定モデルでの形状不良の誤認識等を抑制できる。なお、複数の学習データセットのそれぞれは、予め、サンプル形状データに基づいて生成されている。よって、加速区間を含んだ検査区間全体にわたって、溶接箇所２０１の形状を精度良く評価でき、形状の良否を正しく判定できる。
　（その他の実施形態）
　図１に示す例では、ロボット１６に溶接トーチ１１（溶接ヘッド１１）と形状計測部２１の両方が取り付けられた例を示しているが、溶接トーチ１１（溶接ヘッド１１）が取り付けられるロボット１６とは別に、形状計測部２１が取り付けられる別のロボット（図示せず）を設けるようにしてもよい。その場合、別のロボットの動作を制御する別のロボット制御部（図示せず）からデータ処理部２３に各種データが送信される。
　また、実施形態に示す学習データセット生成部２６は、サンプル形状データをワーク２００の材質及び形状毎に分類するとともに、分類されたサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成していた。
　しかし、学習データセット生成部２６は、当該分類機能を有していなくてもよい。その場合、判定モデル生成部２７は、判定モデルをワーク２００の材質及び形状毎に生成する機能を有していなくてもよい。
　本開示の外観検査装置は、検査条件が変更された場合であっても、溶接箇所の三次元形状を精度良く評価できるため、様々な種類の溶接箇所を含むワークの外観検査に適用する上で特に有用である。
１０　　溶接装置
１１　　溶接ヘッド（溶接トーチ）
１２　　溶接ワイヤ
１３　　ワイヤ送給装置
１４　　電源
１５　　出力制御部
１６　　ロボット
１７　　ロボット制御部
２０　　外観検査装置
２１　　形状計測部
２２　　センサ制御部
２３　　データ処理部
２４　　形状データ処理部
２５　　第１記憶部
２６　　学習データセット生成部
２７　　判定モデル生成部
２８　　第１判定部
２９　　通知部
１００　溶接システム
２００　ワーク
２０１　溶接箇所

Claims (16)

  1. 　ワークの溶接箇所の外観を検査する外観検査装置であって、
    　ロボットに取り付けられ、溶接線に沿って前記溶接箇所の三次元形状を計測する形状計測部と、
    　前記形状計測部で取得された形状データを処理するデータ処理部と、を少なくとも備え、
    　前記データ処理部は、
    　　前記形状計測部で取得された形状データの分解能補正処理を少なくとも行う形状データ処理部と、
    　　前記形状計測部で予め取得された複数のサンプル形状データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部と、
    　　複数の前記学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを生成する判定モデル生成部と、
    　　前記形状データ処理部で補正された前記形状データと前記判定モデル生成部で生成された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を少なくとも備えたことを特徴とする外観検査装置。
  2. 　請求項１に記載の外観検査装置において、
    　前記形状データ処理部は、前記形状計測部の計測分解能及び計測周波数並びに走査速度に基づいて、前記形状計測部で取得された前記形状データの分解能を補正することを特徴とする外観検査装置。
  3. 　請求項２に記載の外観検査装置において、
    　前記サンプル形状データは、前記計測分解能と前記計測周波数と前記走査速度とがそれぞれ予め定められた条件で取得されており、
    　前記形状データ処理部は、前記サンプル形状データの分解能と同じ値になるように、前記形状計測部で取得された前記形状データの分解能を補正することを特徴とする外観検査装置。
  4. 　請求項２または３に記載の外観検査装置において、
    　前記形状計測部による検査条件を保存するとともに、保存された前記検査条件を前記データ処理部に送信するセンサ制御部をさらに備え、
    　前記センサ制御部は、前記溶接線に沿った方向であるＹ方向及び前記溶接箇所の高さ方向であるＺ方向のそれぞれと交差するＸ方向の前記計測分解能と前記計測周波数とを前記データ処理部に送信し、
    　前記データ処理部は、前記ロボットの動作を制御するロボット制御部から前記ロボットの移動速度または前記ロボットの速度制御関数を受信することを特徴とする外観検査装置。
  5. 　請求項４に記載の外観検査装置において、
    　前記形状データ処理部は、前記形状データのＸ方向分解能とＹ方向分解能とに基づいて、前記形状データの前記Ｚ方向の値を補正し、
    　前記ロボットが前記溶接線に沿って等速で移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの移動速度とに基づいて決定され、
    　前記ロボットが前記溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの速度制御関数とに基づいて決定され、
    　前記ロボットの速度制御関数は、時間に依存した関数であることを特徴とする外観検査装置。
  6. 　請求項１ないし５のいずれか１項に記載の外観検査装置において、
    　前記学習データセット生成部は、前記形状計測部で取得された複数の前記サンプル形状データを前記ワークの材質及び形状毎に分類するとともに、分類された前記サンプル形状データにデータ拡張処理を行って複数の前記学習データセットを生成し、
    　前記判定モデル生成部は、複数の前記学習データセットを用いて、前記判定モデルを前記ワークの材質及び形状毎に生成することを特徴とする外観検査装置。
  7. 　請求項１ないし６のいずれか１項に記載の外観検査装置において、
    　前記データ処理部は、前記サンプル形状データを少なくとも保存する第１記憶部をさらに備え、
    　前記第１記憶部に保存された前記サンプル形状データが前記学習データセット生成部に読み出されて、複数の前記学習データセットが生成されることを特徴とする外観検査装置。
  8. 　請求項１ないし７のいずれか１項に記載の外観検査装置において、
    　前記データ処理部は、前記第１判定部での判定結果を通知する通知部をさらに備えたことを特徴とする外観検査装置。
  9. 　請求項１ないし８のいずれか１項に記載の外観検査装置において、
    　前記判定モデルは、前記学習データセットを用いて予め学習強化されており、
    　前記学習データセットは、
    　　前記溶接箇所において形状不良を含まない形状データである良品データと、
    　　前記溶接箇所において前記形状不良を含んだ形状データである不良品データに対し、前記形状不良の種類が特定され、かつ当該種類がラベル付けされた学習データと、を含み、
    　前記第１判定部は、前記形状データ処理部から入力された前記形状データを前記判定モデルに入力し、
    　前記判定モデルは、前記形状不良の有無を判定するとともに、前記形状不良の種類、個数、サイズ及び前記溶接箇所に対する前記形状不良の位置を特定し、それぞれの判定結果及び特定結果に基づいて、前記溶接箇所の形状の良否を判定することを特徴とする外観検査装置。
  10. 　請求項１ないし９のいずれか１項に記載の外観検査装置と、
    　前記ワークを溶接する溶接装置と、
    　を備え、
    　前記溶接装置は、
    　前記ワークに入熱するための溶接ヘッドと、
    　前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする溶接システム。
  11. 　請求項１０に記載の溶接システムにおいて、
    　前記溶接装置は、
    　前記溶接ヘッドを保持するとともに所望の位置に移動させる前記ロボットと、
    　前記ロボットの動作を制御するロボット制御部と、をさらに備え、
    　前記第１判定部で前記溶接箇所の形状が不良であると判定された場合、前記出力制御部は前記溶接ヘッドの溶接出力を停止し、前記ロボット制御部は前記ロボットの動作を停止させるか、または前記溶接ヘッドが所定の初期位置に来るように前記ロボットを動作させることを特徴とする溶接システム。
  12. 　請求項１ないし９のいずれか１項に記載の外観検査装置で取得した形状データの補正方法であって、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、複数の前記学習データセットを生成するための前記サンプル形状データを取得するステップと、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得するステップと、
    　前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と異なる場合、
    　前記形状データ処理部が、前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と同じ値になるように前記形状データを補正するステップと、を備えたことを特徴とする形状データの補正方法。
  13. 　請求項１２に記載の形状データの補正方法において、
    　前記形状データ処理部は、前記形状データのＸ方向分解能及びＹ方向分解能に基づいて、前記形状データにおいて前記溶接箇所の高さ方向であるＺ方向の値を補正し、
    　前記ロボットが前記溶接線に沿って等速で移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記ロボットの移動速度と前記形状計測部の計測周波数とに基づいて決定され、
    　前記ロボットが前記溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの速度制御関数とに基づいて決定され、
    　前記ロボットの速度制御関数は、時間に依存した関数であることを特徴とする形状データの補正方法。
  14. 　請求項１ないし９のいずれか１項に記載の外観検査装置を用いた溶接箇所の外観検査方法であって、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、複数の前記学習データセットを生成するための前記サンプル形状データを取得するステップと、
    　前記判定モデル生成部が、複数の前記学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための１または複数の前記判定モデルを生成するステップと、
    　前記形状計測部が前記ロボットとともに移動しながら前記溶接箇所の三次元形状を計測して、前記形状データを取得するステップと、
    　前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と異なる場合、前記形状データ処理部が、前記形状計測部で取得された前記形状データの分解能が前記サンプル形状データの分解能と同じ値になるように前記形状データを補正するステップと、
    　前記第１判定部が、前記形状データ処理部で分解能が補正された前記形状データと前記判定モデル生成部で生成された１または複数の前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定するステップと、を少なくとも備えたことを特徴とする溶接箇所の外観検査方法。
  15. 　請求項１４に記載の溶接箇所の外観検査方法において、
    　前記形状データ処理部は、前記形状データのＸ方向分解能及びＹ方向分解能とに基づいて、前記形状データにおいて前記溶接箇所の高さ方向であるＺ方向の値を補正し、
    　前記ロボットが前記溶接線に沿って等速で移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記ロボットの移動速度と前記形状計測部の計測周波数とに基づいて決定され、
    　前記ロボットが前記溶接線に沿った所定の区間で加速して、または減速して、あるいは加速と減速の両方を行って移動しながら、前記形状計測部が前記溶接箇所の三次元形状を計測する場合、
    　前記Ｙ方向分解能は、前記計測周波数と前記ロボットの速度制御関数とに基づいて決定され、
    　前記ロボットの速度制御関数は、時間に依存した関数であることを特徴とする溶接箇所の外観検査方法。
  16. 　請求項１４または１５に記載の溶接箇所の外観検査方法において、
    　前記判定モデルは、前記学習データセットを用いて予め学習強化されており、
    　前記学習データセットは、
    　　前記溶接箇所において形状不良を含まない形状データである良品データと、
    　　前記溶接箇所において前記形状不良を含んだ形状データである不良品データに対し、前記形状不良の種類が特定され、かつ当該種類がラベル付けされた学習データと、を含み、
    　前記第１判定部が前記溶接箇所の形状の良否を判定するステップは、
    　　前記形状データ処理部から入力された前記形状データと前記判定モデルとに基づいて、前記形状不良の有無を判定するサブステップと、
    　　前記形状不良の個数、サイズ及び前記溶接箇所に対する前記形状不良の位置を特定するサブステップと、
    　　前記形状不良の種類を特定するサブステップと、を含み、
    　前記第１判定部は、それぞれのサブステップの判定結果及び特定結果に基づいて、前記溶接箇所の形状の良否を判定することを特徴とする溶接箇所の外観検査方法。
PCT/JP2022/044531 2021-12-24 2022-12-02 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法 WO2023120110A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021210112 2021-12-24
JP2021-210112 2021-12-24

Publications (1)

Publication Number Publication Date
WO2023120110A1 true WO2023120110A1 (ja) 2023-06-29

Family

ID=86902129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044531 WO2023120110A1 (ja) 2021-12-24 2022-12-02 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法

Country Status (1)

Country Link
WO (1) WO2023120110A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08327559A (ja) * 1995-03-30 1996-12-13 Nec Corp パターン検査装置およびその検査方法
JP2015094675A (ja) * 2013-11-12 2015-05-18 株式会社リコー 検査装置、検査システムおよび検査方法、ならびに、印刷システム
JP2018205024A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2019065578A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像解析装置、印刷装置、画像解析方法、及びプログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08327559A (ja) * 1995-03-30 1996-12-13 Nec Corp パターン検査装置およびその検査方法
JP2015094675A (ja) * 2013-11-12 2015-05-18 株式会社リコー 検査装置、検査システムおよび検査方法、ならびに、印刷システム
JP2018205024A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2019065578A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像解析装置、印刷装置、画像解析方法、及びプログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Similar Documents

Publication Publication Date Title
JP7308461B2 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
US11872657B2 (en) Welding system, and method for welding workpiece in which same is used
JPH0571932A (ja) 溶接ビードの品質検査装置
JP2000167666A (ja) 自動溶接及び欠陥補修方法並びに自動溶接装置
WO2020205998A1 (en) Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
WO2024000953A1 (zh) 搅拌摩擦焊表面焊接质量检测方法
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
WO2023120110A1 (ja) 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
JP7289087B2 (ja) リペア溶接装置およびリペア溶接方法
WO2023120111A1 (ja) 外見検査装置、溶接システム及び溶接箇所の外観検査方法
US20220297241A1 (en) Repair welding device and repair welding method
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法
JP7369981B2 (ja) リペア溶接システム、リペア溶接方法、検査装置およびロボット制御装置
CN115312414A (zh) 一种缺陷检测方法
WO2021177365A1 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
Zou et al. Laser-based precise measurement of tailor welded blanks: a case study
WO2023199620A1 (ja) ロボット制御装置およびオフライン教示システム
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
US20240123537A1 (en) Offline teaching device and offline teaching method
JP7496540B2 (ja) ロボット制御装置およびオフライン教示システム
JP7365623B1 (ja) オフライン教示装置およびオフライン教示システム
US20210072019A1 (en) Image analysis device, analyis device, shape measurement device, image analysis method, measurement condition determination method, shape measurement method, and program
JP2021062441A (ja) リペア溶接装置およびリペア溶接方法
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム
WO2023105979A1 (ja) オフライン教示装置およびオフライン教示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910827

Country of ref document: EP

Kind code of ref document: A1