WO2025142115A1 - 学習データ取得装置、及び学習データ取得方法 - Google Patents

学習データ取得装置、及び学習データ取得方法 Download PDF

Info

Publication number
WO2025142115A1
WO2025142115A1 PCT/JP2024/038846 JP2024038846W WO2025142115A1 WO 2025142115 A1 WO2025142115 A1 WO 2025142115A1 JP 2024038846 W JP2024038846 W JP 2024038846W WO 2025142115 A1 WO2025142115 A1 WO 2025142115A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
defect
synthesis
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/038846
Other languages
English (en)
French (fr)
Inventor
成志 吉田
晴輝 江口
アレックス ヴァルディヴィエルソ
通雄 櫻井
大智 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202480004387.XA priority Critical patent/CN120584349A/zh
Publication of WO2025142115A1 publication Critical patent/WO2025142115A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by any single one of main groups B23K1/00 - B23K28/00
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to a learning data acquisition device and a learning data acquisition method for acquiring image data to be used in machine learning.
  • the training data acquisition device disclosed in Patent Document 1 acquires training data to be used for machine learning in a machine learning system that automatically generates an output image from an input image.
  • This training data acquisition device acquires, as training data, pseudo sample images used as input images for the machine learning system during machine learning, and pseudo label images used as output images for the machine learning system during machine learning.
  • This training data acquisition device first generates a large number of pseudo label images by inputting random values to an image generation engine that has performed machine learning on multiple original label images. Then, based on these pseudo label images, the training data acquisition device generates the pseudo sample images in accordance with the conversion characteristics from the original label images to the original sample images. This makes it possible to acquire a large amount of training data in a short period of time.
  • 3D data showing a 3D image It is possible to use machine learning to create a model that outputs defective welding information, including the location of defective welding, based on 3D data showing a 3D image.
  • learning data consisting of multiple data sets is required, including 3D data showing an image of the area around the weld mark captured by a 3D sensor, and defective welding information to be output based on the 3D data.
  • One possible method for creating the 3D data that constitutes the learning data is to obtain 3D images of weld marks that do not include defective welding and 3D images of defective welding by measuring with a 3D sensor, and then process and synthesize the images.
  • this method requires the preparation of a large number of 3D images of defective welding, which is time-consuming and requires a long working time.
  • the present disclosure provides a learning data acquisition device for acquiring learning data used in machine learning to create a model, the model outputting welding defect information including the position of a welding defect based on 3D data representing a 3D image, the learning data acquisition device including a first synthesis step of generating synthesized 3D data representing a 3D image in which the bottom of the welding defect is formed at a certain depth in an area on the XY coordinate plane where the bottom of the welding defect is located in the first synthesis 3D data and in an area on the XY coordinate plane where the bottom of the welding defect is located in the second synthesis 3D data, based on first and second synthesis 3D data representing a point cloud including a welding defect recessed in the Z-axis direction in a predetermined XYZ orthogonal coordinate system and having common image sizes in the X-axis direction and the Y-axis direction, and
  • the present invention is characterized in that it has a learning data acquisition unit that executes at least one of the synthesis steps of
  • a bottom of a certain depth is formed in the region on the XY coordinate plane where the bottom of the weld defect is located in the first synthesis 3D data, and in the region on the XY coordinate plane where the bottom of the weld defect is located in the second synthesis 3D data. That is, no step is formed on the bottom surface of the weld defect shown by the post-synthesis 3D data due to the difference in depth of the bottom of the weld defect shown by the first and second synthesis 3D data. Therefore, it is possible to suppress deterioration of the prediction accuracy of the model due to the formation of the step on the bottom surface of the weld defect shown by the post-synthesis 3D data.
  • This disclosure makes it possible to reduce the effort and work time required to obtain learning data.
  • FIG. 7 illustrates two 3D images shown by the final 3D data, where the 3D image on the left shows a 3D image of a welding defect in which an unintended step is formed, and the 3D image on the right shows a 3D image of a welding defect in which an unintended step is not formed.
  • FIG. 1 shows a welding system 1.
  • This welding system 1 has an AI model generation device 2 as a learning data acquisition device according to an embodiment of the present disclosure, and a welding device 3 that performs welding.
  • the AI model generation device 2 creates a defect detection model through machine learning (deep learning). In addition, the AI model generation device 2 acquires learning data to be used for machine learning to create the defect detection model.
  • the learning data generated by the AI model generation device 2 is a set of multiple data sets consisting of 3D data showing 3D images and welding defect information.
  • the defective image data storage unit 211 stores image data of a 3D image obtained by capturing an image of the area around the welding point PW, including the welding defect, using the 3D sensor 36 described below as defective image data.
  • the segmentation data storage unit 214 stores segmentation data of the image data with defects stored in the image data with defects storage unit 211. This segmentation data specifies the boundary between the areas where welding defects have been formed and areas where they have not been formed in the image with defects based on the image data with defects. This segmentation data is identified by a user's boundary identification input to the first input device 24 while the image with defects is being output to the first output device 23.
  • the segmentation data storage unit 214 also stores segmentation data of the defect-free image data stored in the defect-free image data storage unit 212.
  • This segmentation data is acquired, for example, by polygon segmentation (polygon annotation).
  • This segmentation data specifies the boundary between areas where welding defects have been formed and areas where they have not been formed in the defect-free image based on the defect-free image data.
  • This segmentation data is created by the defect-free data processing unit 222.
  • the parameter storage unit 217 stores parameters that identify the defect detection model generated by the processor 22.
  • the defect data processing unit 221 also outputs to the first output device 23 an image with defects based on the defect image data stored in the defect image data storage unit 211.
  • the first input device 24 accepts a boundary identification input from the user that identifies the boundary between the formation area and non-formation area of the weld defect in the image with defects.
  • the defect data processing unit 221 stores the segmentation data identified based on the user's boundary identification input to the first input device 24 in the segmentation data storage unit 214 in association with the defect image data of each image.
  • the defect-free data processing unit 222 accepts a base material designation input to the first input device 24 from the user, which designates the size of the base material on which the weld bead is to be formed, and a weld mark identification input to the first input device 24 from the user, which designates the shape of the weld bead.
  • the defect-free data processing unit 222 then creates defect-free image data representing a defect-free image, which is a 3D image including the weld bead and the base material W, in response to the base material designation input and the weld mark identification input, and stores the defect-free image data in the defect-free image data storage unit 212.
  • FIG. 2 illustrates an example of a 3D image represented by the defect-free image data.
  • the defect-free data processing unit 222 also automatically creates segmentation data identifying the boundary between the weld bead formation area and non-formation area, and stores the segmentation data storage unit 214.
  • the data expansion unit 223 acquires multiple pieces of captured 3D data showing 3D images showing defective welds based on the defective image data stored in the defective image data storage unit 211 and the annotation data of the defective image data stored in the annotation data storage unit 213.
  • the images shown by the captured 3D data are, for example, image D11 (corresponding to the first selected 3D data (before synthesis) described later) and image D21 (corresponding to the second selected 3D data (before synthesis) described later) in Figures 5 and 6 showing holes as defective welds.
  • the data expansion unit 223 performs data expansion on the multiple captured 3D data thus acquired, thereby acquiring a larger number of defective 3D data than the captured 3D data, and stores the defective 3D data in the defective 3D data storage unit 215.
  • the learning data creation unit 224 creates learning image data based on the defect 3D data stored in the defect 3D data storage unit 215 and the defect-free image data stored in the defect-free image data storage unit 212. Specifically, the learning data creation unit 224 creates multiple learning 3D data by combining multiple patterns of one or more of the multiple welding defects represented by the multiple defect 3D data, and synthesizing them with the 3D image represented by the defect-free image data.
  • the image represented by each learning 3D data is an image in which one or more of the multiple welding defects represented by the multiple defect 3D data are pasted onto the 3D image represented by the defect-free image data.
  • the learning data creation unit 224 then stores the learning data, which is made up of multiple data sets of the created learning 3D data and annotation data for that learning 3D data, in the learning data storage unit 216.
  • the AI model generation unit 225 creates a fault detection model by performing machine learning using the learning data stored in the learning data storage unit 216. Specifically, the AI model generation unit 225 identifies the weights and biases of each node constituting a CNN (convolutional neural network) that represents the fault detection model as parameters that identify the fault detection model. Then, the AI model generation unit 225 stores the identified parameters in the parameter storage unit 217.
  • a CNN convolutional neural network
  • the first output device 23 outputs a defect-containing image based on the defect-containing image data stored in the defect-containing image data storage unit 211.
  • the first output device 23 is, for example, configured with a liquid crystal monitor.
  • the first output device 23 also outputs an image that prompts the user to perform various inputs.
  • the first input device 24 accepts the defect information input, the boundary identification input, the base material designation input, and the weld mark identification input from the user, and transmits a signal corresponding to the accepted input to the processor 22.
  • the welding device 3 has a welding torch 31, a wire feeder (not shown), a welding power source 32, an output control unit 33, a robot arm 34, a robot control unit 35, a 3D sensor 36, a computer 37, a second output device 38, and a second input device 39.
  • a welding torch 31 a wire feeder (not shown), a welding power source 32, an output control unit 33, a robot arm 34, a robot control unit 35, a 3D sensor 36, a computer 37, a second output device 38, and a second input device 39.
  • the welding device 3 has other components and equipment such as piping and gas cylinders for supplying shielding gas to the welding torch 31, but for ease of explanation, these are not shown or described.
  • the output control unit 33 is connected to the welding power source 32 and the wire feeder (not shown) and controls the welding output of the welding torch 31, in other words, the power supplied to the welding wire WI and the power supply time, according to specified welding conditions.
  • the output control unit 33 also controls the feed speed and feed amount of the welding wire WI fed from the wire feeder (not shown) to the welding torch 31.
  • the welding conditions may be input directly to the output control unit 33 via an input unit (not shown), or may be selected from a welding program read out separately from a recording medium or the like.
  • the robot arm 34 is a known multi-jointed robot that holds the welding torch 31 at its tip and is connected to the robot control unit 35.
  • the robot control unit 35 controls the operation of the robot arm 34 so that the tip of the welding torch 31, in other words, the tip of the welding wire WI held by the welding torch 31, traces a predetermined welding trajectory and moves to the desired position.
  • the 3D sensor 36 is attached to the welding torch 31 and measures the shape of the welded portion PW of the base material W, specifically, the area around the weld bead.
  • the 3D sensor 36 is a three-dimensional shape measurement sensor that is composed of, for example, a laser light source (not shown) that is configured to be able to scan the surface of the base material W, and a camera (not shown) that captures the reflection trajectory of the laser light (hereinafter, sometimes referred to as a shape line) projected on the surface of the base material W.
  • the 3D sensor 36 scans the entire welded portion PW of the base material W with a laser beam, and captures the laser beam reflected by the welded portion PW with the camera, thereby measuring the shape of the welded portion PW.
  • the 3D sensor 36 is configured to perform shape measurement not only of the welded portion PW, but also of the surrounding area within a predetermined range. This is to evaluate the presence or absence of spatters, etc.
  • the camera has a CCD or CMOS image sensor as an image sensor.
  • the configuration of the 3D sensor 36 is not limited to the above, and other configurations may be adopted. For example, an optical interferometer may be used instead of the camera.
  • Computer 37 realizes the functions of multiple functional blocks within computer 37 by executing software implemented on a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • Computer 37 has an image processing unit 371, a welding defect information calculation unit 372, and a welding defect display image generation unit 373.
  • the image processing unit 371 receives the shape data acquired by the 3D sensor 36, and acquires measurement 3D data of a 3D image including the welding point PW based on this shape data. In detail, the image processing unit 371 acquires point cloud data of the shape lines captured by the 3D sensor 36. The image processing unit 371 also corrects the inclination and distortion of the base portion of the welding point PW relative to a predetermined reference plane, for example, the installation surface of the base material W, by statistically processing the point cloud data, and acquires measurement 3D data including the welding point PW.
  • a predetermined reference plane for example, the installation surface of the base material W
  • the welding defect information calculation unit 372 uses the defect detection model generated by the AI model generation device 2 to calculate (acquire) welding defect information based on the measurement 3D data generated by the image processing unit 371.
  • the calculation of welding defect information is performed when a predetermined input operation is performed on the second input device 39.
  • the poor welding display image generating unit 373 calculates the pixel value of each pixel of the poor welding display image that displays the poor welding information based on the poor welding information calculated by the poor welding information calculating unit 372.
  • the information that identifies the poor welding display image may be compressed using a JPEG format or the like.
  • the second output device 38 displays the poor welding display image based on the pixel value of each pixel calculated by the poor welding display image generating unit 373.
  • the second output device 38 is configured with a liquid crystal monitor or the like.
  • the second input device 39 accepts a specific input operation by the user to cause the computer 37 to start calculating the welding defect information.
  • the user starts the power supply to the welding power source 32 of the welding device 3 and performs arc welding to form a weld bead along with a weld defect on the base material W. Then, the user causes the 3D sensor 36 to capture an image of the welded portion PW of the base material W. After that, the image processing unit 371 acquires defect image data showing an image including a weld defect based on the shape data acquired by the 3D sensor 36.
  • the defect data processing unit 221 of the AI model generation device 2 receives the defect image data acquired in (S101) from the welding device 3, converts the data format from CSV data to NPY data, and stores it in the defect image data storage unit 211.
  • the defect data processing unit 221 causes the first output device 23 to output a defect image based on the defect image data stored in the defect image data storage unit 211.
  • the first input device 24 accepts the user's input of defect information specifying the type and position of the welding defect in the defect image.
  • the defect data processing unit 221 causes the annotation data identified based on the user's input of the defect information to the first input device 24 to be associated with the defect image data of each image and stored in the annotation data storage unit 213.
  • the defect data processing unit 221 outputs to the first output device 23 an image with defects based on the defect image data stored in the defect image data storage unit 211.
  • a boundary identification input is accepted from the user that identifies the boundary between the formation area and non-formation area of the weld defect in the image with defects.
  • the defect data processing unit 221 stores segmentation data indicating the boundary between the formation area and non-formation area of the weld defect in the segmentation data storage unit 214 in association with the defect image data of each image.
  • the defect-free data processing unit 222 appropriately displays an image prompting the user to input information, and accepts the base material designation input and the weld mark identification input. Note that an input specifying the position of the weld bead in the base material may also be made as the weld mark identification input.
  • the defect-free data processing unit 222 then creates defect-free image data that shows a 3D image including the weld bead and the base material. In the 3D image shown by the defect-free image data, for example, as shown in FIG. 2, a weld bead of a shape specified by the weld mark identification input is formed on a base material of a size specified by the base material designation input.
  • the defect-free data processing unit 222 automatically creates segmentation data that identifies the boundary between the areas where the weld marks are formed and the areas where they are not formed, based on the defect-free image data, and stores the segmentation data in the segmentation data storage unit 214.
  • the data expansion unit 223 acquires multiple captured 3D data showing 3D images showing welding defects based on the defect image data stored in the defect image data storage unit 211 and the annotation data of the defect image data stored in the annotation data storage unit 213.
  • the data expansion unit 223 also acquires segmentation data specifying the boundary between the formation area and non-formation area of the welding defect in the 3D image shown by each captured 3D data based on the segmentation data of the defect image data stored in the segmentation data storage unit 214 as segmentation data of the captured 3D data.
  • the data expansion unit 223 repeatedly performs data expansion, described below, on the multiple captured 3D data acquired in (S107) to acquire a larger number of defective 3D data than the captured 3D data, and stores the defective 3D data in the defective 3D data storage unit 215.
  • the detailed process of data expansion will be described later.
  • the learning data creation unit 224 creates learning image data based on the defect 3D data stored in the defect 3D data storage unit 215 and the defect-free image data stored in the defect-free image data storage unit 212. Specifically, the learning data creation unit 224 creates multiple learning 3D data by combining multiple patterns of one or more of the multiple welding defects respectively indicated by the multiple defect 3D data stored in the defect 3D data storage unit 215 and synthesizing them with the 3D image indicated by the defect-free image data. Then, the learning data creation unit 224 stores the learning data consisting of multiple data sets of the created learning 3D data and annotation data for that learning 3D data in the learning data storage unit 216.
  • the AI model generation unit 225 creates a defect detection model by performing machine learning using the learning data stored in the learning data storage unit 216. Then, the AI model generation unit 225 stores parameters that specify the generated defect detection model in the parameter storage unit 217. The parameters stored in the parameter storage unit 217 are sent to the welding defect information calculation unit 372 of the welding device 3. The welding defect information calculation unit 372 stores the parameters.
  • the user starts the power supply to the welding power source 32 of the welding device 3 and performs arc welding to form a weld bead on the base material W together with the weld defect.
  • the image processing unit 371 receives the shape data acquired by the 3D sensor 36.
  • the image processing unit 371 then converts this shape data into image data of a welding image including the welded portion PW.
  • the welding defect information calculation unit 372 then calculates (predicts) welding defect information based on the image data generated by the image processing unit 371 using a defect detection model specified by the parameters sent from the AI model generation device 2.
  • the welding defect display image generation unit 373 calculates the pixel value of each pixel of the welding defect display image that displays the welding defect information based on the welding defect information calculated by the welding defect information calculation unit 372.
  • the second output device 38 then displays the welding defect display image based on the pixel value of each pixel calculated by the welding defect display image generation unit 373.
  • the data expansion unit 223 first selects first and second selected 3D data from the multiple captured 3D data acquired in step S107 by random numbers.
  • the first and second selected 3D data are data representing a point cloud including a welding defect that is recessed or protruded in the Z-axis direction in a predetermined XYZ orthogonal coordinate system.
  • Figures 5 and 6 exemplify a set of the first and second selected 3D data and the final 3D data.
  • Figures 5 and 6 are examples of 3D images of a hole as a welding defect represented by 3D data.
  • Images D11 and D12 are 3D images before synthesis represented by the first selected 3D data
  • image D21 is a 3D image before synthesis represented by the second selected 3D data.
  • Images D11, D12, and image D21 in Figure 5 are images of the welding defect viewed from the Z-axis direction.
  • the symbol B indicates the bottom of the hole.
  • the data expansion unit 223 uses the first selected 3D data as it is as the first 3D data to be combined (images D11 and D12).
  • the first 3D data to be combined is based on the first selected 3D data.
  • image D12 is an image of the same sample as image D11, photographed under different lighting conditions.
  • Images D22 to D28 which are images obtained by applying multiple types of conversion processing to image D21, and images D31 to D38, which are obtained by combining the two images, will be described in detail later.
  • the data expansion unit 223 randomly selects one mode from among a plurality of modes that each perform a plurality of types of conversion processing, including inversion of the welding defect in the X-axis direction and Y-axis direction, transposition that swaps the X value and the Y value, and a combination thereof, and a mode that does not perform any of the plurality of types of conversion processing.
  • the data expansion unit 223 performs one of the above conversion processing on the second selected 3D data (pre-conversion 3D data) representing, for example, image D21, and outputs it as pre-size-adjustment 3D data (post-conversion 3D data), or outputs the second selected 3D data as it is as pre-size-adjustment 3D data without performing the above conversion processing.
  • pre-conversion 3D data representing, for example, image D21
  • post-conversion 3D data post-conversion 3D data
  • the above-mentioned multiple types of conversion processes include horizontal inversion (inversion in the X-axis direction), vertical inversion (inversion in the Y-axis direction), horizontal/vertical inversion (inversion in the X-axis and Y-axis directions), transposition in which the X value and the Y value are swapped, horizontal inversion and transposition, vertical inversion and transposition, and horizontal/vertical inversion and transposition.
  • image D21 (corresponding to the second selected 3D data (before synthesis)) is converted to an image of the 3D data before size adjustment.
  • image D21 is converted to image D22 by horizontal inversion, to image D23 by vertical inversion, to image D24 by horizontal/vertical inversion, to image D25 by transposition, to image D26 by horizontal inversion and transposition, to image D27 by vertical inversion and transposition, and to image D28 by horizontal/vertical inversion and transposition.
  • the data expansion unit 223 acquires second compositing 3D data (not shown) by enlarging or reducing the size of the pre-adjustment 3D data (e.g., images D21 to D28) in at least one of the X-axis direction and the Y-axis direction so as to match the size of the pre-adjustment 3D data to the size of the first selected 3D data (e.g., image D11 or image D12).
  • the image sizes in the X-axis direction and the Y-axis direction of the 3D images represented by the first compositing 3D data (e.g., images D11, D12) and the second compositing 3D data are common to each other.
  • the pre-adjustment 3D data is used as it is as the second compositing 3D data.
  • the second compositing 3D data is based on the converted 3D data and the second selected 3D data.
  • the data extension unit 223 normalizes the first and second compositing 3D data by multiplying the Z value of each point in the point cloud by a common value 1/ ⁇ to set the maximum Z value of the point cloud to 1 and the minimum to 0, thereby acquiring the first and second normalized 3D data.
  • the data extension unit 223 normalizes the maximum value to 1 and the minimum to 0, but normalization may be performed to set the maximum value to a common first value other than 1 and the minimum value to a common second value other than 0. Normalization makes it possible to align the height or depth of the welding defects before compositing. If normalization is not performed, the change in the height difference of the welding defects before compositing will have a large effect on the shape of the welding defects after compositing, such as the formation of unintended steps in the welding defects after compositing.
  • the data expansion unit 223 determines whether the welding defect of the first 3D data to be synthesized is concave (e.g., a hole) or convex (e.g., a spatter, a protrusion) based on the first 3D data to be synthesized and the segmentation data of the first 3D data to be synthesized (obtained in (S107)). If the average Z value of the welding defect formation area in the 3D image shown by the first 3D data to be synthesized is equal to or less than the average Z value of the welding defect non-formation area, the data expansion unit 223 determines that the welding defect is concave, and proceeds to processing of (S206).
  • concave e.g., a hole
  • convex e.g., a spatter, a protrusion
  • the data expansion unit 223 determines that the welding defect is convex, and proceeds to processing of (S207). That is, the data extension unit 223 selects which step to execute, between (S206) and (S207), based on the first compositing 3D data and the segmentation data of the first compositing 3D data (obtained in (S107)).
  • the selection of which step to execute, between (S206) and (S207), is based on the first compositing 3D data and its segmentation data, but the selection may also be based on the second compositing 3D data, or the first and second compositing 3D data and their segmentation data.
  • the data extension unit 223 generates the composite 3D data by selecting, as the Z value of each point, the value (the minimum Z value) indicating the deeper position among the Z values of points having the same XY coordinates as the point shown in the first and second normalized 3D data.
  • the Z value of each point is set to the smaller of the Z values of points having the same XY coordinates as the point shown in the first and second normalized 3D data.
  • the XYZ coordinates of one point included in the point cloud shown by the first normalized 3D data are (3, 3, -4) and the XYZ coordinates of one point included in the point cloud shown by the second normalized 3D data are (3, 3, -2), the XYZ coordinates (3, 3, -4) of one point included in the point cloud shown by the composite 3D data can be determined based on these coordinates.
  • the bottom of the weld defect is formed at a certain depth in the area on the XY coordinate plane where the bottom of the weld defect is located in the first 3D data for combination, and in the area on the XY coordinate plane where the bottom of the weld defect is located in the second 3D data for combination.
  • the data expansion unit 223 proceeds to processing (S208).
  • the bottom of the weld defect in the 3D data is, in other words, formed by 3D data indicating a point cloud including a weld defect that is recessed in the Z-axis direction in a predetermined XYZ orthogonal coordinate system.
  • the data expansion unit 223 generates the synthesized 3D data by selecting, as the Z value of each point, a value (maximum Z value) that indicates a higher Z value among the Z values of points that have common XY coordinates with the point shown in the first and second normalized 3D data.
  • a value maximum Z value
  • the Z value of each point is set to the higher Z value among the Z values of points that have common XY coordinates with the point shown in the first and second normalized 3D data.
  • the top of the weld is formed with a certain protruding height in the area on the XY coordinate plane where the top of the weld is located in the first synthesis 3D data and in the area on the XY coordinate plane where the top of the weld is located in the second synthesis 3D data.
  • the data expansion unit 223 proceeds to the process of (S208).
  • the top of the weld defect in the 3D data is, in other words, formed by 3D data that shows a group of points including a weld defect that protrudes in the Z-axis direction in a specified XYZ orthogonal coordinate system.
  • the data expansion unit 223 performs a process on the post-combination 3D data by multiplying the Z coordinate of each point by a value ⁇ (the reciprocal of the value 1/ ⁇ multiplied during normalization in (S204)) to obtain final 3D data (corresponding, for example, to images D31 to D38 in Figures 5 and 6).
  • the final 3D data is based on the post-combination 3D data.
  • the data expansion unit 223 then stores the final 3D data in the defective 3D data storage unit 215.
  • the data expansion unit 223 repeatedly executes the processes (S201) to (S208), thereby obtaining a large amount of final 3D data.
  • final 3D data indicating images D31 to D34 can be obtained from the first and second selected 3D data indicating images D11 and D21.
  • Image D31 is an image obtained by combining images D11 and D21
  • image D32 is an image obtained by combining images D11 and D22
  • image D33 is an image obtained by combining images D11 and D23
  • image D34 is an image obtained by combining images D11 and D24.
  • final 3D data indicating images D35 to D38 can be obtained from the first and second selected 3D data indicating images D12 and D21.
  • Image D35 is an image obtained by combining images D12 and D25
  • image D36 is an image obtained by combining images D12 and D26
  • image D37 is an image obtained by combining images D12 and D27
  • image D38 is an image obtained by combining images D12 and D28.
  • the composite 3D data can be generated by selecting the maximum Z value of each point among the Z values of points that share the same XY coordinates as the point shown in the three or more pieces of normalized 3D data.
  • the welding device 3 used to form the weld bead to obtain image data with defects in (S101) and the welding device 3 used to form the weld bead to obtain image data to be input to the defect detection model are a common welding device, but they may be different welding devices.
  • the functions of the defect-containing data processing unit 221, the defect-free data processing unit 222, the data extension unit 223, and the learning data creation unit 224, and the functions of the AI model generation unit 225 are realized by one processor 22, but they may be realized by different processors. In other words, the functions of the processor 22 in the above embodiment may be realized by multiple processors.
  • the learning data acquisition device and learning data acquisition method disclosed herein can reduce the effort and work time required to acquire learning data, and are useful as a learning data acquisition device and learning data acquisition method for acquiring image data to be used in machine learning.
  • AI model generation device (learning data acquisition device) 22 Processor (learning data acquisition unit) D11, D12, D21-D28, D31-D38 3D images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

プロセッサ２２に、Ｚ軸方向に凹む溶接不良を含む点群を示す第１及び第２の合成用３Ｄデータに基づいて、第１の合成用３Ｄデータにおいて溶接不良の底部が位置するＸＹ座標平面上の領域、及び第２の合成用３Ｄデータにおいて溶接不良の底部が位置するＸＹ座標平面上の領域に、溶接不良の底部が一定の深さで形成された３Ｄ画像を示す合成後３Ｄデータを生成するステップ、及びＺ軸方向に突出する溶接不良を含む点群を示す第１及び第２の合成用３Ｄデータに基づいて、第１の合成用３Ｄデータにおいて溶接不良の頂部が位置するＸＹ座標平面上の領域、及び第２の合成用３Ｄデータにおいて溶接不良の頂部が位置するＸＹ座標平面上の領域に、溶接不良の頂部が一定の突出高さで形成された３Ｄ画像を示す合成後３Ｄデータを生成するステップのうちの少なくとも一方を実行させる。

Description

学習データ取得装置、及び学習データ取得方法
　本開示は、機械学習に用いる画像データを取得する学習データ取得装置、及び学習データ取得方法に関する。
　特許文献１に開示された学習データ取得装置は、入力画像から出力画像を自動的に生成する機械学習システムの機械学習に用いる学習データを取得する。この学習データ取得装置は、機械学習時に機械学習システムの入力画像として使用される疑似サンプル画像と、機械学習時に機械学習システムの出力画像として使用される疑似ラベル画像とを、学習データとして取得する。この学習データ取得装置は、まず、複数の原ラベル画像の機械学習を行った画像生成エンジンに乱数値を入力することによって大量の疑似ラベル画像を生成する。そして、学習データ取得装置は、これら疑似ラベル画像に基づいて、上記疑似サンプル画像を、原ラベル画像から原サンプル画像への変換特性に従って生成する。これにより、短時間で多くの学習データを取得できるようにしている。
特開２０１９－４６２６９号公報
　ところで、３Ｄ画像を示す３Ｄデータに基づいて溶接不良の位置を含む溶接不良情報を出力するモデルを、機械学習によって作成することが考えられる。このようなモデルを作成するためには、３Ｄセンサによって撮影された溶接痕周りの画像を示す３Ｄデータと、当該３Ｄデータに基づいて出力されるべき溶接不良情報との複数のデータ組からなる学習データが必要となる。ここで、学習データを構成する３Ｄデータを作成する方法として、溶接不良を含まない溶接痕の３Ｄ画像と、溶接不良の３Ｄ画像とを、３Ｄセンサの測定により取得し、加工して合成する方法が考えられる。しかし、この方法では、溶接不良の３Ｄ画像を大量に準備する必要があるので、手間がかかるとともに、作業時間も長くなる。
　また、溶接不良の３Ｄ画像を、特許文献１のような画像生成エンジンを用いて生成するようにしても、画像生成エンジンに機械学習させるための溶接不良の３Ｄ画像が必要となるので、上述の問題を解決できない。
　本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、学習データの取得に必要な手間及び作業時間を削減することにある。
　上記の目的を達成するため、本開示は、モデルを作成するための機械学習に用いる学習データを取得する学習データ取得装置であって、前記モデルは、３Ｄ画像を示す３Ｄデータに基づいて溶接不良の位置を含む溶接不良情報を出力するものであり、前記学習データ取得装置は、所定のＸＹＺ直交座標系においてＺ軸方向に凹む溶接不良を含む点群を示し、Ｘ軸方向及びＹ軸方向の画像サイズが互いに共通の第１及び第２の合成用３Ｄデータに基づいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域に、前記溶接不良の底部が一定の深さで形成された３Ｄ画像を示す合成後３Ｄデータを生成する第１の合成ステップ、及び所定のＸＹＺ直交座標系においてＺ軸方向に突出する溶接不良を含む点群を示し、Ｘ軸方向及びＹ軸方向の画像サイズが互いに共通の第１及び第２の合成用３Ｄデータに基づいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域に、前記溶接不良の頂部が一定の突出高さで形成された３Ｄ画像を示す合成後３Ｄデータを生成する第２の合成ステップのうちの少なくとも一方の合成ステップと、前記合成後３Ｄデータに基づく最終３Ｄデータを含む複数の不良３Ｄデータによって示される複数の溶接不良の３Ｄ画像を複数パターン組み合わせて、溶接痕を含む３Ｄ画像と合成することにより、複数の学習用３Ｄデータを作成する学習データ作成ステップとを実行する学習データ取得部を備えることを特徴とする。
　これにより、３Ｄセンサによる測定回数を増やさなくても、少なくとも２つの合成用３Ｄデータに基づいて、最終３Ｄデータを取得することにより、学習用３Ｄデータを作成するために使用する溶接不良の３Ｄ画像を増やすことができる。したがって、学習データの取得に必要な手間及び作業時間を削減できる。
　また、学習データ取得処理が、第１の合成ステップを実行する場合、合成後３Ｄデータにおいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域に、一定の深さの底部が形成される。すなわち、合成後３Ｄデータによって示される溶接不良の底面に、第１及び第２の合成用３Ｄデータによって示される溶接不良の底部の深さが異なることに起因する段差が形成されない。したがって、合成後３Ｄデータによって示される溶接不良の底面に上記段差が形成されることに起因してモデルの予測精度が悪化するのを抑制できる。
　また、学習データ取得処理が、第２の合成ステップを実行する場合、合成後３Ｄデータにおいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域に、一定の突出高さの頂部が形成される。すなわち、合成後３Ｄデータによって示される溶接不良の端面に、第１及び第２の合成用３Ｄデータによって示される溶接不良の頂部の突出高さが異なることに起因する段差が形成されない。したがって、合成後３Ｄデータによって示される溶接不良の端面に上記段差が形成されることに起因してモデルの予測精度が悪化するのを抑制できる。
　本開示によれば、学習データの取得に必要な手間及び作業時間を削減できる。
図１は、本開示の実施形態に係る学習データ取得装置としてのＡＩモデル生成装置を備えた溶接システムの構成を示すブロック図である。 図２は、不良なし画像データによって示される３Ｄ画像を例示する説明図である。 図３は、ＡＩモデル生成装置による不良検出モデルの作成動作を説明するフローチャートである。 図４は、データ拡張部によるデータ拡張の処理を説明するフローチャートである。 図５は、第１及び第２の選択３Ｄデータによって示される３Ｄ画像と、最終３Ｄデータによって示される３Ｄ画像との組を例示する平面図である。 図６は、図５に示される３Ｄ画像の組の斜視図である。 図７は、最終３Ｄデータにより示される２つの３Ｄ画像を例示する。左側の３Ｄ画像は、意図しない段差が形成された溶接不良が写った３Ｄ画像を示し、右側の３Ｄ画像は、意図しない段差が形成されていない溶接不良が写った３Ｄ画像を示す。
　以下、本開示の実施形態について図面に基づいて説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
　以下、本開示の実施形態について図面に基づいて説明する。
　図１は、溶接システム１を示す。この溶接システム１は、本開示の実施形態に係る学習データ取得装置としてのＡＩモデル生成装置２と、溶接を実行する溶接装置３とを有している。
　ＡＩモデル生成装置２は、機械学習（深層学習）により不良検出モデルを作成する。また、ＡＩモデル生成装置２は、不良検出モデルを作成するための機械学習に用いる学習データを取得する。
　不良検出モデルは、入力される３Ｄデータに基づいて、溶接不良情報を予測して出力する物体検出モデルである。不良検出モデルは、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）によって表現される。溶接不良情報は、３Ｄデータによって示される３Ｄ画像における溶接不良の種類を示すカテゴリ情報、及び溶接不良の位置を示す位置情報を含む。詳しくは、カテゴリ情報は、溶接不良が、穴あき、ピット、スパッタ、アンダーカット、及び突起等のうちのいずれであるかを示す。ピットは、溶接痕としての溶接ビードの表面の開口である。位置情報は、溶接不良を含むバウンディングボックスの位置を示す。なお、バウンディングボックスは、溶接不良等のオブジェクトを囲む矩形の境界線である。
　ＡＩモデル生成装置２によって生成される学習データは、３Ｄ画像を示す３Ｄデータと、溶接不良情報との複数のデータ組である。
　具体的には、ＡＩモデル生成装置２は、記憶装置２１、学習データ取得部としてのプロセッサ２２、第１出力装置２３、及び第１入力装置２４を備えている。
　記憶装置２１は、不良あり画像データ記憶部２１１、不良なし画像データ記憶部２１２、アノテーションデータ記憶部２１３、セグメンテーションデータ記憶部２１４、不良３Ｄデータ記憶部２１５、学習データ記憶部２１６、及びパラメータ記憶部２１７を有している。
　不良あり画像データ記憶部２１１は、後述する３Ｄセンサ３６によって、溶接不良を含む溶接箇所ＰＷ周りを撮影することにより取得された３Ｄ画像の画像データを、不良あり画像データとして記憶する。
　不良なし画像データ記憶部２１２は、プロセッサ２２により生成された不良なし画像データを記憶する。
　アノテーションデータ記憶部２１３は、不良あり画像データ記憶部２１１に記憶された不良あり画像データのアノテーションデータを記憶する。このアノテーションデータは、矩形アノテーションにより取得される。このアノテーションデータは、不良あり画像データに基づく不良あり画像における溶接不良を含む矩形領域（バウンディングボックス）を指定する。アノテーションデータは、不良あり画像を第１出力装置２３に出力させた状態での第１入力装置２４へのユーザの不良情報入力によって特定される。
　セグメンテーションデータ記憶部２１４は、不良あり画像データ記憶部２１１に記憶された不良あり画像データのセグメンテーションデータを記憶する。このセグメンテーションデータは、不良あり画像データに基づく不良あり画像における溶接不良の形成領域と非形成領域との境界を指定する。このセグメンテーションデータは、不良あり画像を第１出力装置２３に出力させた状態での第１入力装置２４へのユーザの境界特定入力によって特定される。
　また、セグメンテーションデータ記憶部２１４は、不良なし画像データ記憶部２１２に記憶された不良なし画像データのセグメンテーションデータを記憶する。このセグメンテーションデータは、例えば、ポリゴンセグメンテーション（多角形アノテーション）により取得される。このセグメンテーションデータは、不良なし画像データに基づく不良なし画像における溶接不良の形成領域と非形成領域との境界を指定する。このセグメンテーションデータは、不良なしデータ処理部２２２によって作成される。
　不良３Ｄデータ記憶部２１５は、プロセッサ２２により作成された複数の不良３Ｄデータを記憶する。
　学習データ記憶部２１６は、プロセッサ２２により生成された学習用３Ｄデータを記憶する。
　パラメータ記憶部２１７は、プロセッサ２２により生成された不良検出モデルを特定するパラメータを記憶する。
　プロセッサ２２は、不良ありデータ処理部２２１、不良なしデータ処理部２２２、データ拡張部２２３、学習データ作成部２２４、及びＡＩモデル生成部２２５を有している。
　不良ありデータ処理部２２１は、後述する３Ｄセンサ３６によって、溶接不良を含む溶接箇所ＰＷ周りを撮影することにより取得された３Ｄ画像を示す不良あり画像データを溶接装置３から受信し、不良あり画像データ記憶部２１１に記憶させる。
　また、不良ありデータ処理部２２１は、不良あり画像データ記憶部２１１に記憶された不良あり画像データに基づく不良あり画像を、第１出力装置２３に出力させる。そして、この状態で、不良あり画像内における溶接不良の種類及び位置を指定するユーザの不良情報入力を第１入力装置２４が受け付ける。ユーザの不良情報入力が終了すると、不良ありデータ処理部２２１は、第１入力装置２４へのユーザの不良情報入力に基づいて特定されるアノテーションデータを、各画像の不良あり画像データと対応付けてアノテーションデータ記憶部２１３に記憶させる。
　また、不良ありデータ処理部２２１は、不良あり画像データ記憶部２１１に記憶された不良あり画像データに基づく不良あり画像を、第１出力装置２３に出力させる。そして、この状態で、不良あり画像内における前記溶接不良の形成領域と非形成領域との境界を特定するユーザの境界特定入力を第１入力装置２４が受け付ける。不良ありデータ処理部２２１は、境界特定入力に応じて、第１入力装置２４へのユーザの境界特定入力に基づいて特定されるセグメンテーションデータを、各画像の不良あり画像データと対応付けてセグメンテーションデータ記憶部２１４に記憶させる。
　不良なしデータ処理部２２２は、溶接ビードが形成される母材のサイズを指定するユーザの第１入力装置２４への母材指定入力と、溶接ビードの形状を指定するユーザの第１入力装置２４への溶接痕特定入力とを受け付ける。そして、不良なしデータ処理部２２２は、前記母材指定入力及び溶接痕特定入力に応じて、溶接ビード及び母材Ｗを含む３Ｄ画像である不良なし画像を示す不良なし画像データを作成し、不良なし画像データ記憶部２１２に記憶させる。図２は、不良なし画像データによって示される３Ｄ画像を例示する。また、不良なしデータ処理部２２２は、前記溶接ビードの形成領域と非形成領域との境界を特定するセグメンテーションデータを自動的に作成し、セグメンテーションデータ記憶部２１４に記憶させる。
　データ拡張部２２３は、不良あり画像データ記憶部２１１に記憶された不良あり画像データと、アノテーションデータ記憶部２１３に記憶された不良あり画像データのアノテーションデータに基づいて、溶接不良が写った３Ｄ画像を示す複数の撮像３Ｄデータを取得する。撮像３Ｄデータによって示される画像は、例えば、溶接不良としての穴あきが写った図５及び図６の画像Ｄ１１（後述する第１の選択３Ｄデータ（合成前）に対応）及び画像Ｄ２１（後述する第２の選択３Ｄデータ（合成前）に対応）である。
　そして、データ拡張部２２３は、取得した複数の撮像３Ｄデータに対してデータ拡張を行うことにより、撮像３Ｄデータよりも多数の不良３Ｄデータを取得し、不良３Ｄデータ記憶部２１５に記憶させる。
　学習データ作成部２２４は、不良３Ｄデータ記憶部２１５に記憶された不良３Ｄデータと、不良なし画像データ記憶部２１２に記憶された不良なし画像データとに基づいて、学習用画像データを作成する。具体的には、学習データ作成部２２４は、複数の不良３Ｄデータによってそれぞれ示される複数の溶接不良のうちの１つ以上を複数パターン組み合わせて、不良なし画像データによって示される３Ｄ画像と合成することにより複数の学習用３Ｄデータを作成する。各学習用３Ｄデータによって示される画像は、不良なし画像データによって示される３Ｄ画像に、複数の不良３Ｄデータによってそれぞれ示される複数の溶接不良のうちの１つ以上を貼り付けた状態の画像となる。そして、学習データ作成部２２４は、作成した学習用３Ｄデータと、その学習用３Ｄデータのアノテーションデータとの複数のデータ組からなる学習データを、学習データ記憶部２１６に記憶させる。
　ＡＩモデル生成部２２５は、学習データ記憶部２１６に記憶された学習データを用いて機械学習を行うことにより、不良検出モデルを作成する。具体的には、ＡＩモデル生成部２２５は、不良検出モデルを特定するパラメータとして、不良検出モデルを表現するＣＮＮ（畳み込みニューラルネットワーク）を構成する各ノードの重み及びバイアスを特定する。そして、ＡＩモデル生成部２２５は、特定したパラメータを、パラメータ記憶部２１７に記憶させる。
　第１出力装置２３は、不良あり画像データ記憶部２１１に記憶された不良あり画像データに基づく不良あり画像を出力する。第１出力装置２３は、例えば、液晶モニタによって構成される。また、第１出力装置２３は、ユーザに各種の入力を促す画像を出力する。
　第１入力装置２４は、ユーザによる前記不良情報入力、前記境界特定入力、前記母材指定入力、及び前記溶接痕特定入力を受け付け、受け付けた入力に応じた信号を、プロセッサ２２に送信する。
　溶接装置３は、溶接トーチ３１とワイヤ送給装置（図示せず）と溶接電源３２と出力制御部３３とロボットアーム３４とロボット制御部３５と３Ｄセンサ３６とコンピュータ３７と第２出力装置３８と第２入力装置３９とを有している。溶接トーチ３１に保持された溶接ワイヤＷＩに溶接電源３２から電力が供給されることで、溶接ワイヤＷＩの先端と母材Ｗとの間にアークが発生し、母材Ｗが入熱されてアーク溶接が行われる。なお、溶接装置３は、溶接トーチ３１にシールドガスを供給するための配管やガスボンベ等の別の構成部品や設備を有しているが、説明の便宜上、これらの図示及び説明を省略する。
　出力制御部３３は溶接電源３２及びワイヤ送給装置（図示せず）に接続されて、所定の溶接条件に従って、溶接トーチ３１の溶接出力、言い換えると、溶接ワイヤＷＩに供給される電力及び電力供給時間を制御している。また、出力制御部３３は、ワイヤ送給装置（図示せず）から溶接トーチ３１に送給される溶接ワイヤＷＩの送給速度及び送給量を制御している。なお、溶接条件は図示しない入力部を介して直接、出力制御部３３に入力されてもよいし、別途、記録媒体等から読み出された溶接プログラムから選択されるようにしてもよい。
　ロボットアーム３４は公知の多関節軸ロボットであり、先端に溶接トーチ３１を保持するとともに、ロボット制御部３５に接続されている。ロボット制御部３５は、溶接トーチ３１の先端、言い換えると、溶接トーチ３１に保持された溶接ワイヤＷＩの先端が所定の溶接軌跡を描いて、所望の位置に移動するようにロボットアーム３４の動作を制御している。
　３Ｄセンサ３６は溶接トーチ３１に取り付けられて、母材Ｗの溶接箇所ＰＷ、具体的には、溶接ビード周りの形状を計測する。３Ｄセンサ３６は、例えば、母材Ｗの表面を走査可能に構成されたレーザ光源（図示せず）と、母材Ｗの表面に投影されたレーザ光の反射軌跡（以下、形状線と呼ぶことがある。）を撮影するカメラ（図示せず）とで構成された３次元形状計測センサである。３Ｄセンサ３６によって、母材Ｗの溶接箇所ＰＷの全体をレーザ光線で走査し、溶接箇所ＰＷで反射されたレーザ光線をカメラで撮影することにより、溶接箇所ＰＷの形状が計測される。なお、３Ｄセンサ３６は溶接箇所ＰＷだけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、スパッタ等の有無を評価するためである。なお、カメラは撮像素子としてＣＣＤまたはＣＭＯＳイメージセンサを有している。また、３Ｄセンサ３６の構成は特に上記に限定されず、他の構成を採りうる。例えば、カメラの代わりに光干渉計を用いてもよい。
　コンピュータ３７は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）上に実装されたソフトウェアを実行することでコンピュータ３７内の複数の機能ブロックの機能を実現する。コンピュータ３７は、画像処理部３７１と、溶接不良情報算出部３７２と、溶接不良表示画像生成部３７３とを有している。
　画像処理部３７１は、３Ｄセンサ３６によって取得された形状データを受け取って、この形状データに基づいて、溶接箇所ＰＷを含む３Ｄ画像の計測３Ｄデータを取得する。詳しくは、画像処理部３７１は、３Ｄセンサ３６で撮影された形状線の点群データを取得する。また、画像処理部３７１は、所定の基準面、例えば、母材Ｗの設置面に対する溶接箇所ＰＷのベース部分の傾斜や歪み等を、点群データを統計処理することで補正し、溶接箇所ＰＷを含む計測３Ｄデータを取得する。
　溶接不良情報算出部３７２は、ＡＩモデル生成装置２によって生成された不良検出モデルを用いて、画像処理部３７１によって生成された計測３Ｄデータに基づいて、溶接不良情報を算出（取得）する。溶接不良情報の算出は、第２入力装置３９に所定の入力操作が行われたときに実行される。
　溶接不良表示画像生成部３７３は、溶接不良情報算出部３７２によって算出された溶接不良情報に基づいて、前記溶接不良情報を表示する溶接不良表示画像の各画素の画素値を算出する。溶接不良表示画像を特定する情報は、ｊｐｅｇ方式等により圧縮されてもよい。
　第２出力装置３８は、溶接不良表示画像生成部３７３によって算出された各画素の画素値に基づいて、溶接不良表示画像を表示する。第２出力装置３８は、液晶モニタ等によって構成される。
　第２入力装置３９は、溶接不良情報の算出をコンピュータ３７に開始させるためのユーザによる所定の入力操作を受け付ける。
　次いで、ＡＩモデル生成装置２による不良検出モデルの作成動作について、図３のフローチャートを参照して説明する。
　まず、（Ｓ１０１）において、ユーザが、溶接装置３の溶接電源３２に電力供給を開始させ、アーク溶接を行うことにより、母材Ｗに溶接ビードを溶接不良とともに形成する。そして、ユーザは、３Ｄセンサ３６にその母材Ｗの溶接箇所ＰＷを撮影させる。その後、画像処理部３７１が、３Ｄセンサ３６によって取得された形状データに基づいて、溶接不良を含む画像を示す不良あり画像データを取得する。
　次いで、（Ｓ１０２）において、ＡＩモデル生成装置２の不良ありデータ処理部２２１は、（Ｓ１０１）で取得された不良あり画像データを溶接装置３から受信し、データ形式をＣＳＶデータからＮＰＹデータに変換し、不良あり画像データ記憶部２１１に記憶させる。
　次いで、（Ｓ１０３）において、不良ありデータ処理部２２１は、不良あり画像データ記憶部２１１に記憶された不良あり画像データに基づく不良あり画像を、第１出力装置２３に出力させる。そして、この状態で、不良あり画像内における溶接不良の種類及び位置を指定するユーザの不良情報入力を第１入力装置２４が受け付ける。ユーザの不良情報入力が終了すると、不良ありデータ処理部２２１は、第１入力装置２４へのユーザの不良情報入力に基づいて特定されるアノテーションデータを、各画像の不良あり画像データと対応付けて、アノテーションデータ記憶部２１３に記憶させる。
　次いで、（Ｓ１０４）において、不良ありデータ処理部２２１は、不良あり画像データ記憶部２１１に記憶された不良あり画像データに基づく不良あり画像を、第１出力装置２３に出力させる。そして、この状態で、不良あり画像内における前記溶接不良の形成領域と非形成領域との境界を特定するユーザの境界特定入力を受け付ける。不良ありデータ処理部２２１は、境界特定入力に応じて、溶接不良の形成領域と非形成領域との境界を示すセグメンテーションデータを、各画像の不良あり画像データと対応付けてセグメンテーションデータ記憶部２１４に記憶させる。
　次いで、（Ｓ１０５）において、不良なしデータ処理部２２２は、入力をユーザに促す画像を適宜表示し、前記母材指定入力、前記溶接痕特定入力を受け付ける。なお、ここで、母材における溶接ビードの位置を特定する入力も、溶接痕特定入力として行われるようにしてもよい。そして、不良なしデータ処理部２２２は、溶接ビード及び母材を含む３Ｄ画像を示す不良なし画像データを作成する。不良なし画像データによって示される３Ｄ画像では、例えば、図２に示すように、母材指定入力によって指定されたサイズの母材に、溶接痕特定入力によって指定された形状の溶接ビードが形成される。
　その後、（Ｓ１０６）において、不良なしデータ処理部２２２は、不良なし画像データに基づいて、前記溶接痕の形成領域と非形成領域との境界を特定するセグメンテーションデータを自動的に作成し、セグメンテーションデータ記憶部２１４に記憶させる。
　次いで、（Ｓ１０７）において、データ拡張部２２３は、不良あり画像データ記憶部２１１に記憶された不良あり画像データと、アノテーションデータ記憶部２１３に記憶された不良あり画像データのアノテーションデータに基づいて、溶接不良が写った３Ｄ画像を示す複数の撮像３Ｄデータを取得する。また、データ拡張部２２３は、セグメンテーションデータ記憶部２１４に記憶された不良あり画像データのセグメンテーションデータに基づいて、各撮像３Ｄデータによって示される３Ｄ画像における溶接不良の形成領域と非形成領域との境界を指定するセグメンテーションデータを、撮像３Ｄデータのセグメンテーションデータとして取得する。
　次いで、（Ｓ１０８）において、データ拡張部２２３は、（Ｓ１０７）で取得した複数の撮像３Ｄデータに対し、後述するデータ拡張を繰り返し行うことにより、撮像３Ｄデータよりも多数の不良３Ｄデータを取得し、不良３Ｄデータ記憶部２１５に記憶させる。データ拡張の詳細な処理については、後述する。
　その後、（Ｓ１０９）において、学習データ作成部２２４は、不良３Ｄデータ記憶部２１５に記憶された不良３Ｄデータと、不良なし画像データ記憶部２１２に記憶された不良なし画像データとに基づいて、学習用画像データを作成する。具体的には、学習データ作成部２２４は、不良３Ｄデータ記憶部２１５に記憶された複数の不良３Ｄデータによってそれぞれ示される複数の溶接不良のうちの１つ以上を複数パターン組み合わせて、不良なし画像データによって示される３Ｄ画像と合成することにより、複数の学習用３Ｄデータを作成する。そして、学習データ作成部２２４は、作成した学習用３Ｄデータと、その学習用３Ｄデータのアノテーションデータとの複数のデータ組からなる学習データを、学習データ記憶部２１６に記憶させる。
　次いで、（Ｓ１１０）において、ＡＩモデル生成部２２５は、学習データ記憶部２１６に記憶された学習データを用いて機械学習を行うことにより、不良検出モデルを作成する。そして、ＡＩモデル生成部２２５は、生成した不良検出モデルを特定するパラメータを、パラメータ記憶部２１７に記憶させる。パラメータ記憶部２１７に記憶されたパラメータは、溶接装置３の溶接不良情報算出部３７２に送られる。溶接不良情報算出部３７２は、このパラメータを記憶する。
　その後、ユーザが、溶接装置３の溶接電源３２に電力供給を開始させ、アーク溶接を行うことにより、母材Ｗに溶接ビードを溶接不良とともに形成する。その後、３Ｄセンサ３６によって溶接箇所ＰＷの撮影が行われると、画像処理部３７１は、３Ｄセンサ３６によって取得された形状データを受け取る。そして、画像処理部３７１は、この形状データを、溶接箇所ＰＷを含む溶接画像の画像データに変換する。そして、溶接不良情報算出部３７２は、ＡＩモデル生成装置２から送られたパラメータによって特定される不良検出モデルを用いて、画像処理部３７１によって生成された画像データに基づいて、溶接不良情報を算出（予測）する。溶接不良表示画像生成部３７３は、溶接不良情報算出部３７２によって算出された溶接不良情報に基づいて、前記溶接不良情報を表示する溶接不良表示画像の各画素の画素値を算出する。そして、第２出力装置３８は、溶接不良表示画像生成部３７３によって算出された各画素の画素値に基づいて、溶接不良表示画像を表示する。
　ここで、（Ｓ１０８）においてデータ拡張部２２３によって行われるデータ拡張の詳細な処理について、図４のフローチャートを参照して説明する。
　データ拡張部２２３は、まず、（Ｓ２０１）において、（Ｓ１０７）で取得した複数の撮像３Ｄデータから、第１及び第２の選択３Ｄデータを乱数により選択する。第１及び第２の選択３Ｄデータは、所定のＸＹＺ直交座標系においてＺ軸方向に凹むか又は突出する溶接不良を含む点群を示すデータである。図５及び図６では、第１及び第２の選択３Ｄデータと、最終３Ｄデータとの組を例示する。図５及び図６は、３Ｄデータによって示される溶接不良としての穴あきの３Ｄ画像の例である。画像Ｄ１１，Ｄ１２が、第１の選択３Ｄデータによって示される合成前の３Ｄ画像であり、画像Ｄ２１が、第２の選択３Ｄデータによって示される合成前の３Ｄ画像である。図５における画像Ｄ１１，Ｄ１２及び画像Ｄ２１は、溶接不良をＺ軸方向から見た画像である。図５及び図６において、符号Ｂは、穴あきの底部を示す。データ拡張部２２３は、第１の選択３Ｄデータをそのまま第１の合成用３Ｄデータ（画像Ｄ１１，Ｄ１２）とする。つまり、第１の合成用３Ｄデータは、第１の選択３Ｄデータに基づくものである。
　図５及び図６において、画像Ｄ１２は、画像Ｄ１１と共通のサンプルを光の当たり方が異なる状態で撮影した画像である。また、画像Ｄ２１に対して、複数種類の変換処理を施した画像Ｄ２２～Ｄ２８及び２つの画像を合成することで得られる画像Ｄ３１～Ｄ３８については後で詳述する。
　次いで、（Ｓ２０２）において、データ拡張部２２３は、溶接不良のＸ軸方向、Ｙ軸方向の反転、Ｘ値及びＹ値を入れ替える転置、及びそれらの組み合わせを含む複数種類の変換処理をそれぞれ行う複数のモードと、前記複数種類の変換処理のいずれも行わないモードとから、１つのモードを乱数により選択する。そして、データ拡張部２２３は、選択したモードで、例えば画像Ｄ２１を示す第２の選択３Ｄデータ（変換前３Ｄデータ）に対していずれか１つの前記変換処理を行ってサイズ調整前３Ｄデータ（変換後３Ｄデータ）として出力するか、又は前記変換処理を行わずに第２の選択３Ｄデータをそのままサイズ調整前３Ｄデータとして出力する。
　上記複数種類の変換処理は、水平反転（Ｘ軸方向の反転）、垂直反転（Ｙ軸方向の反転）、水平垂直反転（Ｘ軸方向及びＹ軸方向の反転）、Ｘ値及びＹ値を入れ替える転置、水平反転と転置、垂直反転と転置、及び水平垂直反転と転置を含む。図５及び図６の例では、画像Ｄ２１（第２の選択３Ｄデータ（合成前）に対応）は、変換処理されることで、サイズ調整前３Ｄデータの画像とされる。具体的には、画像Ｄ２１は、水平反転より画像Ｄ２２にされ、垂直反転により画像Ｄ２３にされ、水平垂直反転により画像Ｄ２４にされ、転置により画像Ｄ２５にされ、水平反転と転置により画像Ｄ２６にされ、垂直反転と転置により画像Ｄ２７にされ、水平垂直反転と転置により画像Ｄ２８にされる。
　次いで、（Ｓ２０３）において、データ拡張部２２３は、サイズ調整前３Ｄデータのサイズを、第１の選択３Ｄデータ（例えば、画像Ｄ１１又は画像Ｄ１２）のサイズに合わせるように、サイズ調整前３Ｄデータ（例えば、画像Ｄ２１～Ｄ２８）をＸ軸方向及びＹ軸方向の少なくとも一方に拡大又は縮小することにより、第２の合成用３Ｄデータ（図示せず）を取得する。これにより、第１の合成用３Ｄデータ（例えば、画像Ｄ１１，Ｄ１２）及び第２の合成用３Ｄデータによって示される３Ｄ画像のＸ軸方向及びＹ軸方向の画像サイズが互いに共通となる。調整前３ＤデータのＸ軸方向及びＹ軸方向のサイズが第１の選択３Ｄデータ（例えば、画像Ｄ１１，Ｄ１２）のサイズと同じ場合は、サイズ調整前３Ｄデータをそのまま第２の合成用３Ｄデータとする。つまり、第２の合成用３Ｄデータは、変換後３Ｄデータ及び第２の選択３Ｄデータに基づくものである。
　次いで、（Ｓ２０４）において、データ拡張部２２３は、第１及び第２の合成用３Ｄデータに対し、点群の各点のＺの値に共通の値１／αを掛けて点群のＺの値の最高値を１、最低値を０にする正規化を行うことにより、第１及び第２の正規化後３Ｄデータを取得する。なお、本実施形態では、（Ｓ２０４）において、データ拡張部２２３が、最高値を１、最低値を０にする正規化を行ったが、最高値を１以外の共通の第１の値とし、最低値を０以外の共通の第２の値とする正規化を行うようにしてもよい。正規化することにより、合成前の溶接不良の高さ又は深さを揃えることができる。正規化を実施しないと、合成後の溶接不良に意図しない段差が形成される等、合成前の溶接不良の高低差の変化量が、合成後の溶接不良の形状に大きく影響する。
　次いで、（Ｓ２０５）において、データ拡張部２２３は、前記第１の合成用３Ｄデータと、第１の合成用３Ｄデータのセグメンテーションデータ（（Ｓ１０７）で取得）とに基づいて、第１の合成用３Ｄデータの溶接不良が、凹型（例えば、穴あき）と凸型（例えば、スパッタ、突起）のいずれであるかを判別する。第１の合成用３Ｄデータによって示される３Ｄ画像において、溶接不良の形成領域のＺの値の平均値が、溶接不良の非形成領域のＺの値の平均値以下である場合には、データ拡張部２２３は、溶接不良が凹型であると判別し、（Ｓ２０６）の処理に進む。一方、第１の合成用３Ｄデータによって示される３Ｄ画像において、溶接不良の形成領域のＺの値の平均値が、溶接不良の非形成領域のＺの値の平均値を越える場合には、データ拡張部２２３は、溶接不良が凸型であると判別し、（Ｓ２０７）の処理に進む。つまり、データ拡張部２２３は、前記第１の合成用３Ｄデータと、第１の合成用３Ｄデータのセグメンテーションデータ（（Ｓ１０７）で取得）とに基づいて、（Ｓ２０６）と（Ｓ２０７）のうち、いずれのステップを実行するかを選択する。なお、本実施形態では、（Ｓ２０６）と（Ｓ２０７）のいずれのステップを実行するかを、第１の合成用３Ｄデータ及びそのセグメンテーションデータに基づいて選択したが、第２の合成用３Ｄデータ、又は第１及び第２の合成用３Ｄデータとそのセグメンテーションデータとに基づいて選択してもよい。
　（Ｓ２０６）において、データ拡張部２２３は、各点のＺの値として、前記第１及び第２の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、より深いことを示す値（Ｚの値の最小値）を選択することにより、合成後３Ｄデータを生成する。つまり、合成後３Ｄデータによって示される３Ｄ画像において、各点のＺの値は、第１及び第２の正規化後３Ｄデータによって示される当該点とＸＹ座標が共通の点のＺの値のうち、より小さい方の値とされる。例えば、第１の正規化後３Ｄデータによって示される点群に含まれる１点のＸＹＺ座標が（３，３，－４）、第２の正規化後３Ｄデータによって示される点群に含まれる１点のＸＹＺ座標が（３，３，－２）である場合、これらの座標に基づいて、合成後３Ｄデータによって示される点群に含まれる１点のＸＹＺ座標（３，３，－４）を決定できる。したがって、合成後３Ｄデータによって示される３Ｄ画像においては、第１の合成用３Ｄデータにおいて溶接不良の底部が位置するＸＹ座標平面上の領域、及び第２の合成用３Ｄデータにおいて溶接不良の底部が位置するＸＹ座標平面上の領域に、溶接不良の底部が一定の深さで形成される。データ拡張部２２３は、合成後３Ｄデータを生成すると、（Ｓ２０８）の処理に進む。ここで、３Ｄデータにおいての溶接不良の底部とは、言い換えると、所定のＸＹＺ直交座標系においてＺ軸方向に凹む溶接不良を含む点群を示す３Ｄデータで形成されるものである。
　（Ｓ２０７）において、データ拡張部２２３は、各点のＺの値として、前記第１及び第２の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、より高いことを示す値（Ｚの値の最大値）を選択することにより、合成後３Ｄデータを生成する。つまり、合成後３Ｄデータによって示される３Ｄ画像において、各点のＺの値は、第１及び第２の正規化後３Ｄデータによって示される当該点とＸＹ座標が共通の点のＺの値のうち、より大きい方の値とされる。したがって、合成後３Ｄデータによって示される３Ｄ画像においては、第１の合成用３Ｄデータにおいて溶接不良の頂部が位置するＸＹ座標平面上の領域、及び第２の合成用３Ｄデータにおいて溶接不良の頂部が位置するＸＹ座標平面上の領域に、溶接不良の頂部が一定の突出高さで形成される。データ拡張部２２３は、合成後３Ｄデータを生成すると、（Ｓ２０８）の処理に進む。ここで、３Ｄデータにおいての溶接不良の頂部とは、言い換えると、所定のＸＹＺ直交座標系においてＺ軸方向に突出する溶接不良を含む点群を示す３Ｄデータで形成されるものである。
　（Ｓ２０８）において、データ拡張部２２３は、合成後３Ｄデータに対し、各点のＺ座標に値α（（Ｓ２０４）の正規化時に掛けた値１／αの逆数）を掛ける処理を行うことにより、最終３Ｄデータ（例えば、図５及び図６の画像Ｄ３１～Ｄ３８に対応）を取得する。つまり、最終３Ｄデータは、合成後３Ｄデータに基づくものである。そして、データ拡張部２２３は、最終３Ｄデータを不良３Ｄデータ記憶部２１５に記憶させる。
　データ拡張部２２３が、（Ｓ２０１）～（Ｓ２０８）の処理を繰り返し実行することにより、多数の最終３Ｄデータを取得できる。例えば、図５及び図６の例では、画像Ｄ１１及び画像Ｄ２１を示す第１及び第２の選択３Ｄデータから、画像Ｄ３１～Ｄ３４を示す最終３Ｄデータを取得できる。画像Ｄ３１は、画像Ｄ１１及び画像Ｄ２１を合成した画像であり、画像Ｄ３２は、画像Ｄ１１及び画像Ｄ２２を合成した画像であり、画像Ｄ３３は、画像Ｄ１１及び画像Ｄ２３を合成した画像であり、画像Ｄ３４は、画像Ｄ１１及び画像Ｄ２４を合成した画像である。また、画像Ｄ１２及び画像Ｄ２１を示す第１及び第２の選択３Ｄデータから、画像Ｄ３５～Ｄ３８を示す最終３Ｄデータを取得できる。画像Ｄ３５は、画像Ｄ１２及び画像Ｄ２５を合成した画像であり、画像Ｄ３６は、画像Ｄ１２及び画像Ｄ２６を合成した画像であり、画像Ｄ３７は、画像Ｄ１２及び画像Ｄ２７を合成した画像であり、画像Ｄ３８は、画像Ｄ１２及び画像Ｄ２８を合成した画像である。（Ｓ１０７）で取得する撮像３Ｄデータの個数を、３個以上とすることで、２個だけの場合に比べ、より多様な大量の最終３Ｄデータを取得できる。
　このように、３Ｄセンサ３６による測定回数を増やさなくても、第１及び第２の選択３Ｄデータに基づいて、最終３Ｄデータを取得することにより、学習用３Ｄデータを作成するために使用する溶接不良の３Ｄ画像を増やすことができる。したがって、学習データの取得に必要な手間及び作業時間を削減できる。
　また、データ拡張部２２３が（Ｓ２０６）を実行する場合には、最終３Ｄデータにおいて、第１の合成用３Ｄデータにおいて溶接不良の底部が位置するＸＹ座標平面上の領域、及び第２の合成用３Ｄデータにおいて溶接不良の底部が位置するＸＹ座標平面上の領域に、一定の深さの底部が形成される。データ拡張部２２３が（Ｓ２０４）～（Ｓ２０８）の処理を実行しない場合、例えば図７の左図に示すように、現実には生じ得ない形状の段差ＳＴが生じてしまう虞がある。これに対し、本実施形態では、（Ｓ２０４）～（Ｓ２０８）の処理を実行することにより、例えば図７の右図に示すような違和感のない形状の溶接不良を示す最終３Ｄデータを生成できる。すなわち、最終３Ｄデータによって示される溶接不良の底面に、第１及び第２の合成用３Ｄデータによって示される溶接不良の底部の深さが異なることに起因する段差が形成されない。したがって、最終３Ｄデータによって示される溶接不良の底面に上記段差が形成されることに起因して不良検出モデルの予測精度が悪化するのを抑制できる。
　また、データ拡張部２２３が（Ｓ２０７）を実行する場合には、最終３Ｄデータにおいて、第１の合成用３Ｄデータにおいて溶接不良の頂部が位置するＸＹ座標平面上の領域、及び第２の合成用３Ｄデータにおいて溶接不良の頂部が位置するＸＹ座標平面上の領域に、一定の突出高さの頂部が形成される。データ拡張部２２３が（Ｓ２０４）～（Ｓ２０８）の処理を実行しない場合、現実には生じ得ない形状の段差が生じてしまう虞がある。これに対し、本実施形態では、（Ｓ２０４）～（Ｓ２０８）の処理を実行することにより、違和感のない形状の溶接不良を示す最終３Ｄデータを生成できる。すなわち、最終３Ｄデータによって示される溶接不良の端面に、第１及び第２の合成用３Ｄデータによって示される溶接不良の頂部の突出高さが異なることに起因する段差が形成されない。したがって、最終３Ｄデータによって示される溶接不良の端面に上記段差が形成されることに起因して不良検出モデルの予測精度が悪化するのを抑制できる。
　なお、上記実施形態では、合成後３Ｄデータを、２つの合成用３Ｄデータを合成することにより取得したが、３つ以上の合成用３Ｄデータを合成することにより取得してもよい。その場合、まず、３つ以上の合成用３Ｄデータをそれぞれ正規化後３Ｄデータに正規化する。そして、溶接不良が凹型である場合には、各点のＺの値として、３つ以上の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、最小値を選択することにより、合成後３Ｄデータを生成できる。一方、溶接不良が凸型である場合には、各点のＺの値として、３つ以上の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、最大値を選択することにより、合成後３Ｄデータを生成できる。
　なお、上記実施形態では、（Ｓ１０１）において不良あり画像データを取得するために溶接ビードを形成するのに使用する溶接装置３と、不良検出モデルに入力する画像データを取得するために溶接ビードを形成するのに使用する溶接装置３とを共通の溶接装置としたが、別の溶接装置としてもよい。
　また、上記実施形態では、不良ありデータ処理部２２１、不良なしデータ処理部２２２、データ拡張部２２３、及び学習データ作成部２２４の機能と、ＡＩモデル生成部２２５の機能とを、１つのプロセッサ２２によって実現したが、別のプロセッサによって実現してもよい。つまり、上記実施形態のプロセッサ２２の機能を、複数のプロセッサによって実現してもよい。
　本開示の学習データ取得装置、及び学習データ取得方法は、学習データの取得に必要な手間及び作業時間を削減でき、機械学習に用いる画像データを取得する学習データ取得装置、及び学習データ取得方法として有用である。
２　　　ＡＩモデル生成装置（学習データ取得装置）
２２　　　プロセッサ（学習データ取得部）
Ｄ１１、Ｄ１２、Ｄ２１～Ｄ２８、Ｄ３１～Ｄ３８　　　３Ｄ画像

Claims (8)

  1. 　モデルを作成するための機械学習に用いる学習データを取得する学習データ取得装置であって、
    　前記モデルは、３Ｄ画像を示す３Ｄデータに基づいて溶接不良の位置を含む溶接不良情報を出力するものであり、
    　前記学習データ取得装置は、
    　所定のＸＹＺ直交座標系においてＺ軸方向に凹む溶接不良を含む点群を示し、Ｘ軸方向及びＹ軸方向の画像サイズが互いに共通の第１及び第２の合成用３Ｄデータに基づいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域に、前記溶接不良の底部が一定の深さで形成された３Ｄ画像を示す合成後３Ｄデータを生成する第１の合成ステップ、及び
    　所定のＸＹＺ直交座標系においてＺ軸方向に突出する溶接不良を含む点群を示し、Ｘ軸方向及びＹ軸方向の画像サイズが互いに共通の第１及び第２の合成用３Ｄデータに基づいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域に、前記溶接不良の頂部が一定の突出高さで形成された３Ｄ画像を示す合成後３Ｄデータを生成する第２の合成ステップのうちの少なくとも一方の合成ステップと、
    　前記合成後３Ｄデータに基づく最終３Ｄデータを含む複数の不良３Ｄデータによって示される複数の溶接不良の３Ｄ画像を複数パターン組み合わせて、溶接痕を含む３Ｄ画像と合成することにより、複数の学習用３Ｄデータを作成する学習データ作成ステップとを実行する学習データ取得部を備えることを特徴とする学習データ取得装置。
  2. 　請求項１に記載の学習データ取得装置において、
    　前記第１の合成ステップは、
    　前記第１及び第２の合成用３Ｄデータに対し、点群の各点のＺの値に共通の所定値１／αを掛けて点群のＺの値の最高値を共通の第１の値、最低値を共通の第２の値にする正規化を行うことにより、第１及び第２の正規化後３Ｄデータを取得する正規化ステップと、
    　各点のＺの値として、前記第１及び第２の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、より深いことを示す値を選択することにより、前記合成後３Ｄデータを生成する第１のＺ値選択ステップとを実行するものであり、
    　前記第２の合成ステップは、
    　前記正規化ステップと、
    　各点のＺの値として、前記第１及び第２の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、より高いことを示す値を選択することにより、前記合成後３Ｄデータを生成する第２のＺ値選択ステップとを実行するものであり、
    　前記学習データ取得部は、前記合成後３Ｄデータに対し、各点のＺ座標に前記所定値１／αの逆数αを掛ける処理を行うことにより、前記最終３Ｄデータを取得することを特徴とする学習データ取得装置。
  3. 　請求項２に記載の学習データ取得装置において、
    　前記学習データ取得部は、
    　前記第１及び第２の合成用３Ｄデータの少なくとも一方の合成用３Ｄデータと、当該少なくとも一方の合成用３Ｄデータによって示される３Ｄ画像における前記溶接不良の形成領域と非形成領域との境界を指定するセグメンテーションデータとに基づいて、前記第１及び第２の合成ステップのうち、いずれの合成ステップを実行するかを選択することを特徴とする学習データ取得装置。
  4. 　請求項１に記載の学習データ取得装置において、
    　前記学習データ取得部は、
    　前記第２の合成用３Ｄデータを、サイズ調整前３ＤデータをＸ軸方向及びＹ軸方向の少なくとも一方に拡大又は縮小することにより取得するサイズ調整ステップをさらに実行することを特徴とする学習データ取得装置。
  5. 　請求項１に記載の学習データ取得装置において、
    　前記学習データ取得部は、
    　前記溶接不良を示す複数の３Ｄデータから、第１及び第２の選択３Ｄデータを乱数により選択する３Ｄデータ選択ステップをさらに実行し、
    　前記第１の合成用３Ｄデータは、前記第１の選択３Ｄデータに基づき、かつ前記第２の合成用３Ｄデータは、前記第２の選択３Ｄデータに基づくものであることを特徴とする学習データ取得装置。
  6. 　請求項１に記載の学習データ取得装置において、
    　前記学習データ取得部は、
    　溶接不良の反転、転置、及びそれらの組み合わせを含む複数種類の変換処理をそれぞれ行う複数のモードと、前記複数種類の変換処理のいずれも行わないモードとから、１つのモードを乱数により選択するモード選択ステップと、
    　前記モード選択ステップで選択したモードで、溶接不良を示す変換前３Ｄデータに対していずれか１つの前記変換処理を行って変換後３Ｄデータとして出力するか、又は前記変換処理を行わずに前記変換前３Ｄデータをそのまま前記変換後３Ｄデータとして出力する変換処理ステップとをさらに実行し、
    　前記第２の合成用３Ｄデータは、前記変換後３Ｄデータに基づくものであることを特徴とする学習データ取得装置。
  7. 　モデルを作成するための機械学習に用いる学習データを取得する学習データ取得方法であって、
    　前記モデルは、３Ｄ画像を示す３Ｄデータに基づいて溶接不良の位置を含む溶接不良情報を出力するものであり、
    　前記学習データ取得方法は、
    　所定のＸＹＺ直交座標系においてＺ軸方向に凹む溶接不良を含む点群を示し、Ｘ軸方向及びＹ軸方向の画像サイズが互いに共通の第１及び第２の合成用３Ｄデータに基づいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の底部が位置するＸＹ座標平面上の領域に、前記溶接不良の底部が一定の深さで形成された３Ｄ画像を示す合成後３Ｄデータを生成する第１の合成ステップ、及び
    　所定のＸＹＺ直交座標系においてＺ軸方向に突出する溶接不良を含む点群を示し、Ｘ軸方向及びＹ軸方向の画像サイズが互いに共通の第１及び第２の合成用３Ｄデータに基づいて、前記第１の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域、及び前記第２の合成用３Ｄデータにおいて前記溶接不良の頂部が位置するＸＹ座標平面上の領域に、前記溶接不良の頂部が一定の突出高さで形成された３Ｄ画像を示す合成後３Ｄデータを生成する第２の合成ステップのうちの少なくとも一方の合成ステップと、
    　前記合成後３Ｄデータに基づく最終３Ｄデータを含む複数の不良３Ｄデータによって示される複数の溶接不良の３Ｄ画像を複数パターン組み合わせて、溶接痕を含む３Ｄ画像と合成することにより、複数の学習用３Ｄデータを作成する学習データ作成ステップとを実行するものであり、
    　前記第１の合成ステップは、
    　前記第１及び第２の合成用３Ｄデータに対し、点群の各点のＺの値に共通の所定値１／αを掛けて点群のＺの値の最高値を共通の第１の値、最低値を共通の第２の値にする正規化を行うことにより、第１及び第２の正規化後３Ｄデータを取得する正規化ステップと、
    　各点のＺの値として、前記第１及び第２の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、より深いことを示す値を選択することにより、前記合成後３Ｄデータを生成する第１のＺ値選択ステップとを実行するものであり、
    　前記第２の合成ステップは、
    　前記正規化ステップと、
    　各点のＺの値として、前記第１及び第２の正規化後３Ｄデータで示される当該点とＸＹ座標が共通の点のＺの値のうち、より高いことを示す値を選択することにより、前記合成後３Ｄデータを生成する第２のＺ値選択ステップとを実行するものであり、
    　前記学習データ取得方法は、前記合成後３Ｄデータに対し、各点のＺ座標に前記所定値１／αの逆数αを掛ける処理を行うことにより、前記最終３Ｄデータを取得することを特徴とする学習データ取得方法。
  8. 　請求項７に記載の学習データ取得方法において、
    　溶接不良の反転、転置、及びそれらの組み合わせを含む複数種類の変換処理をそれぞれ行う複数のモードと、前記複数種類の変換処理のいずれも行わないモードとから、１つのモードを乱数により選択するモード選択ステップと、
    　前記モード選択ステップで選択したモードで、溶接不良を示す変換前３Ｄデータに対していずれか１つの前記変換処理を行って変換後３Ｄデータとして出力するか、又は前記変換処理を行わずに前記変換前３Ｄデータをそのまま前記変換後３Ｄデータとして出力する変換処理ステップとをさらに実行し、
    　前記第２の合成用３Ｄデータは、前記変換後３Ｄデータに基づくものであることを特徴とする学習データ取得方法。
PCT/JP2024/038846 2023-12-26 2024-10-31 学習データ取得装置、及び学習データ取得方法 Pending WO2025142115A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202480004387.XA CN120584349A (zh) 2023-12-26 2024-10-31 学习数据获取装置及学习数据获取方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-219737 2023-12-26
JP2023219737 2023-12-26

Publications (1)

Publication Number Publication Date
WO2025142115A1 true WO2025142115A1 (ja) 2025-07-03

Family

ID=96218924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/038846 Pending WO2025142115A1 (ja) 2023-12-26 2024-10-31 学習データ取得装置、及び学習データ取得方法

Country Status (2)

Country Link
CN (1) CN120584349A (ja)
WO (1) WO2025142115A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210142467A1 (en) * 2019-11-13 2021-05-13 Software Ag Systems and methods of generating datasets for training neural networks
WO2022102523A1 (ja) * 2020-11-10 2022-05-19 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210142467A1 (en) * 2019-11-13 2021-05-13 Software Ag Systems and methods of generating datasets for training neural networks
WO2022102523A1 (ja) * 2020-11-10 2022-05-19 パナソニックＩｐマネジメント株式会社 データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, HAODONG ET AL.: "Weld Defect Detection Based on Deep Learning Method", 2019 IEEE 15TH INTERNATIONAL CONFERENCE ON AUTOMATION SCIENCE AND ENGINEERING, 2019, pages 1574 - 1579, XP033618366, Retrieved from the Internet <URL:https://doi.org/10.1109/COASE.2019.8842998> [retrieved on 20241202], DOI: 10.1109/COASE.2019.8842998 *

Also Published As

Publication number Publication date
CN120584349A (zh) 2025-09-02

Similar Documents

Publication Publication Date Title
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP5429872B2 (ja) 加工対象物を溶接するロボットを制御する方法および装置
JP5090121B2 (ja) 調整装置、レーザ加工装置、調整方法、および調整プログラム
JP3930482B2 (ja) ３次元視覚センサ
JP2015044212A (ja) レーザ加工装置
CN102067172B (zh) 用于检流计和激光系统的多模型登记(mmr)
JP2019063954A (ja) ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム
US20190287258A1 (en) Control Apparatus, Robot System, And Method Of Detecting Object
JPWO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
WO2022163580A1 (ja) 視覚センサにて取得される３次元の位置情報から断面画像を生成する処理装置および処理方法
CN121360917A (zh) 外观检查装置、焊接系统、形状数据的修正方法以及焊接部位的外观检查方法
WO2025142115A1 (ja) 学習データ取得装置、及び学習データ取得方法
JP5371928B2 (ja) 欠陥検査方法及びその装置
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
JP4932202B2 (ja) 画像測定装置用パートプログラム生成装置、画像測定装置用パートプログラム生成方法、及び画像測定装置用パートプログラム生成用プログラム
WO2023166940A1 (ja) 注視領域モデル生成システム及び推論装置
WO2024262271A1 (ja) 学習データ取得装置、溶接システム、及び学習データ取得方法
Iakovou et al. Integrated sensors for robotic laser welding
WO2024262196A1 (ja) 学習データ取得装置、及び学習データ取得方法
JP2020051762A (ja) 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
WO2022270578A1 (ja) オフライン教示装置およびオフライン教示方法
JP7331618B2 (ja) ガラスの検査装置、ガラスの検査方法
JP6078356B2 (ja) テンプレートマッチング条件設定装置、及び荷電粒子線装置
JP2025002521A (ja) 学習データ取得装置、及び学習データ取得方法
JP2026037765A (ja) 学習データ生成装置、及び学習データ生成方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2025507432

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025507432

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202480004387.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24912008

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 202480004387.X

Country of ref document: CN