WO2023166940A1 - 注視領域モデル生成システム及び推論装置 - Google Patents

注視領域モデル生成システム及び推論装置 Download PDF

Info

Publication number
WO2023166940A1
WO2023166940A1 PCT/JP2023/004394 JP2023004394W WO2023166940A1 WO 2023166940 A1 WO2023166940 A1 WO 2023166940A1 JP 2023004394 W JP2023004394 W JP 2023004394W WO 2023166940 A1 WO2023166940 A1 WO 2023166940A1
Authority
WO
WIPO (PCT)
Prior art keywords
welding
information
data
image
gaze area
Prior art date
Application number
PCT/JP2023/004394
Other languages
English (en)
French (fr)
Inventor
成志 吉田
晴輝 江口
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023166940A1 publication Critical patent/WO2023166940A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present disclosure provides a region-of-regard model generation system that generates a region-of-regard model that generates region-of-regard information indicating a maximum noise intensity at each location in an image that does not affect weld defect information output by a defect detection model;
  • the present invention relates to an inference device using the gaze region model.
  • Patent Document 1 discloses an inference device that detects an object in an input image using the YOLO object detection model, which is an object detection algorithm.
  • the detection result of the welding defect by the object detection model may differ from the recognition of the welding defect by the user. be.
  • the present disclosure has been made in view of this point, and the purpose thereof is to enable the user to obtain information on the grounds on which the object detection model derives the detection results.
  • the attention area model generation system includes image data of a welding image including a welding location, and welding failure information including the type, size, and position of the welding failure in the welding image.
  • a training data receiving unit that receives training data consisting of a plurality of data pairs of annotation data and a defect detection that outputs the welding defect information based on the image data of the welding image generated by machine learning using the training data
  • a parameter storage unit for storing parameters specifying a model
  • receiving image data of a predetermined evaluation target data set and converting the welding defect information output by the defect detection model at each position in the image indicated by the image data into
  • a gaze area information generating step of generating gaze area information indicating the maximum noise intensity that does not affect the noise intensity at each position indicated by the gaze area information generated by the gaze area information generating step using the gaze area model a multiplication step of obtaining virtual noise by multiplying Gaussian noise; a noise addition step of obtaining image data with noise by applying the virtual noise obtained by the multiplication step to the image
  • the loss calculation step of calculating the loss based on the annotation data of the evaluation target data set is repeatedly executed by setting each data set constituting the training data as the evaluation target data set, and the loss and a model generation unit that specifies the gaze area model by machine learning so that the loss calculated in the calculation step is minimized.
  • a region-of-regard model is generated that generates region-of-regard information indicating the maximum noise intensity that does not affect the welding defect information output by the defect detection model at each position in the image. Therefore, by using this attention area model, the user can obtain the attention area information as information on the grounds on which the defect detection model derives the welding defect information.
  • FIG. 1 is a block diagram showing the configuration of a welding system provided with an AI model generation device as a gaze area model generation system according to an embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram for explaining the configuration of the gaze region model generation unit.
  • FIG. 3 is a diagram showing an equation of a loss function used for generating a gaze area model.
  • FIG. 4A is a diagram showing a first example of a welding defect display image.
  • FIG. 4B is a diagram showing a region-of-regard display image for an undercut corresponding to FIG. 4A.
  • FIG. 4C is a diagram showing a gaze area display image for the pits corresponding to FIG. 4A.
  • FIG. 4D is a diagram showing a gaze area display image for perforation corresponding to FIG. 4A.
  • FIG. 5A is a diagram showing a second example of a welding defect display image.
  • FIG. 5B is a diagram showing a region-of-regard display image for an undercut corresponding to FIG. 5A.
  • FIG. 5C is a diagram showing a gaze area display image for the pits corresponding to FIG. 5A.
  • FIG. 5D is a diagram showing a gaze area display image for perforation corresponding to FIG. 5A.
  • FIG. 6A is a diagram illustrating, in order from the left, a welding defect display image and a gaze area display image for a pit when gamma correction is not performed.
  • FIG. 6B is a view corresponding to FIG. 6A when gamma correction is performed.
  • FIG. 7 is a flow chart illustrating the operation of the welding system.
  • FIG. 1 shows a welding system 1.
  • This welding system 1 includes an AI model generation device 10 as a region-of-regard model generation system according to an embodiment of the present disclosure that generates a defect detection model and a region-of-regard model by machine learning, and a welding device 20 that performs welding. are doing.
  • the AI model generation device 10 generates a defect detection model and a gaze area model through machine learning.
  • the defect detection model is a YOLO object detection model that outputs welding defect information based on input image data.
  • a failure detection model is represented by a CNN (Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • the welding defect information includes presence/absence information indicating whether or not there is a welding defect in the image represented by the image data, category information indicating the category of the welding defect, size information indicating the size of the welding defect, and the location of the welding defect. including location information to indicate.
  • the size information indicates the size of the bounding box containing the weld defect
  • the position information indicates the position of the bounding box containing the weld defect.
  • the bounding box is a rectangular boundary line area surrounding an object such as a weld defect.
  • the attention area model is a model that outputs attention area information for multiple types of welding defect categories based on input image data. Categories include perforations, pits, spatters, undercuts, protrusions, and the like. A pit is an opening in the surface of the weld bead.
  • the gaze area information is the maximum noise intensity (hereinafter referred to as "maximum noise intensity") that does not affect the welding defect information output by the defect detection model at each pixel (position) in the image indicated by the image data. ).
  • the gaze region model is also represented by CNN. ResNet (Residual Networks) is used as the backbone of the gaze region model. A backbone other than ResNet may be used for the gaze region model.
  • the AI model generation device 10 includes a teacher data reception unit 11, a defect detection model generation unit 12, a parameter storage unit 13, and a gaze region model generation unit 14.
  • the training data receiving unit 11 receives training data consisting of a plurality of data sets of image data of welding images including welding locations and annotation data of welding failure information related to welding failures in the welding images.
  • the defect detection model generation unit 12 generates a defect detection model by machine learning using the training data received by the training data reception unit 11. Specifically, the failure detection model generation unit 12 specifies the weight and bias of each node constituting the CNN expressing the failure detection model as parameters for specifying the failure detection model.
  • the parameter storage unit 13 stores parameters specified by the failure detection model generation unit 12 .
  • the gaze region model generation unit 14 includes a calculator 141 and an update unit 142, as shown in FIG.
  • the gaze area model generation unit 14 refers to the parameters stored in the parameter storage unit 13 and identifies the gaze area model by machine learning so that the loss function calculated by the calculator 141 is minimized.
  • the arithmetic unit 141 includes a gaze area information generation unit CA1, a multiplication unit CA2, a noise addition unit CA3, a welding defect information generation unit CA4, and a loss calculation unit CA5.
  • the gaze area information generation unit CA1 receives image data of a predetermined evaluation target data set, and generates gaze area information IN1 to INX for the image data for multiple types of categories using a gaze area model.
  • the gaze area information IN1 is for holes
  • the gaze area information IN2 is for pits
  • the gaze area information IN3 is for spatters
  • the gaze area information IN4 is for undercuts
  • the gaze area information IN5 is for protrusions.
  • INX is the region of interest information for any other weld defects.
  • the multiplication unit CA2 obtains virtual noise by multiplying the maximum noise intensity of each position indicated by the attention area information IN1 to INX generated by the attention area information generation unit CA1 by Gaussian noise.
  • the noise addition unit CA3 acquires image data with noise by adding the virtual noise obtained by the multiplication unit CA2 for multiple types of categories to the image data of the evaluation target data set.
  • the welding defect information generation unit CA4 uses the defect detection model generated by the defect detection model generation unit 12 to generate welding defect information for a plurality of categories based on the image data with noise acquired by the noise addition unit CA3. to generate.
  • a failure detection model can be identified by referring to parameters stored in the parameter storage unit 13 .
  • the loss calculation unit CA5 calculates the loss L using the loss function formula shown in FIG. 3 based on the poor welding information generated by the poor welding information generation unit CA4 and the annotation data of the evaluation target data set.
  • ⁇ coord is a weighting factor (preset constant)
  • S2 is the number of grids in the image represented by the image data
  • B is the number of bounding boxes.
  • the two-dot chain line portion indicated by symbol P1 is 1 when there is a welding defect, and 0 when there is no welding defect.
  • the position (coordinates) of the defective welding indicated by the defective welding information generated by the defective welding information generation unit CA4 is (x i , y i ), and the defective welding indicated by the annotation data of the evaluation target data set.
  • the position (coordinates) of is ( ⁇ x i , ⁇ y i ).
  • the width of the bounding box containing the defective welding indicated by the defective welding information is wi
  • the height of the bounding box containing the defective welding is hi
  • the width of the bounding box containing the weld defect indicated by the annotation data is ⁇ wi
  • the height of the bounding box containing the weld defect is ⁇ hi .
  • classes is a set of categories, p i (c) is the probability that category is c at grid cell i, and ⁇ p i (c) is category c at grid cell i, as indicated by the annotation data. Probability. p i (c) takes a value between 0 and 1, and ⁇ pi (c) takes a value of 0 or 1.
  • the updating unit 142 updates the parameters of the gaze region model so as to reduce the loss L.
  • the parameters of the gaze area model are the weight and bias of each node that constitutes the CNN representing the gaze area model.
  • the updating unit 142 updates the parameters of the gaze region model so as to reduce the loss L based on the loss L. to update. Then, the updating unit 142 specifies the parameters of the region-of-regard model when the processing of all the data sets that make up the teacher data is completed.
  • the gaze area model generation unit 14 receives image data of a predetermined evaluation target data set, and generates gaze area information IN1 to INX for the image data for a plurality of types of categories using a gaze area model.
  • an area information generating step for obtaining virtual noise by multiplying the maximum noise intensity at each position indicated by the attention area information IN1 to INX generated by the attention area information generating step by Gaussian noise; a noise imparting step of acquiring image data with noise by imparting the virtual noise obtained by the multiplication step to the image data of the data set to be evaluated; a welding defect information generation step for generating welding defect information for a plurality of types of categories using the defect detection model generated by the defect detection model generation unit 12; and the welding defect information generated by the welding defect information generation step.
  • a loss calculation step of calculating the loss L based on the annotation data of the evaluation target data set are repeatedly executed by setting each data set constituting the teacher data as the evaluation target data set. Then, the attention area model is specified by machine learning so that the loss L calculated in the loss calculation step is minimized.
  • An error backpropagation method or the like is used to specify the gaze region model. It should be noted that, in identifying the gaze region model by the error backpropagation method, the parameters of the neural network are adjusted so that the loss L is minimized. Specifically, the parameters are adjusted so that the loss L is partially differentiated and approaches zero. Error backpropagation is also called gradient descent.
  • the welding apparatus 20 includes a welding torch 21, a wire feeder (not shown), a welding power source 23, an output controller 24, a robot arm 25, a robot controller 26, a scanner 27, and a data processor 30 as an inference device. have.
  • a welding torch 21 When electric power is supplied from the welding power source 23 to the welding wire 28 held by the welding torch 21, an arc is generated between the tip of the welding wire 28 and the work W, heat is input to the work W, and arc welding is performed. done.
  • the welding apparatus 20 has other components and equipment such as a pipe and a gas cylinder for supplying shielding gas to the welding torch 21, but illustration and description of these are omitted for convenience of explanation.
  • the output control unit 24 is connected to the welding power source 23 and a wire feeder (not shown), and controls the welding output of the welding torch 21, in other words, the power and power supply to the welding wire 28 according to predetermined welding conditions. controlling time.
  • the output control unit 24 also controls the feeding speed and feeding amount of the welding wire 28 fed from the wire feeding device (not shown) to the welding torch 21 .
  • the welding conditions may be directly input to the output control unit 24 via an input unit (not shown), or may be separately selected from a welding program read out from a recording medium or the like.
  • the robot arm 25 is a known articulated robot, holds the welding torch 21 at its tip, and is connected to the robot control unit 26 .
  • the robot control unit 26 operates the robot arm 25 so that the tip of the welding torch 21, in other words, the tip of the welding wire 28 held by the welding torch 21, draws a predetermined welding trajectory and moves to a desired position. controlling.
  • the scanner 27 is attached to the welding torch 21 and measures the shape of the welding point PW of the workpiece W.
  • the scanner 27 includes, for example, a laser light source (not shown) configured to scan the surface of the work W, and a reflection trajectory of the laser light projected on the surface of the work W (hereinafter sometimes referred to as a shape line). ) and a camera (not shown) for imaging the three-dimensional shape measurement sensor.
  • the scanner 27 scans the entire welding point PW of the workpiece W with a laser beam, and the laser beam reflected at the welding point PW is captured by a camera, thereby measuring the shape of the welding point PW.
  • the scanner 27 is configured to measure the shape of not only the welding point PW but also the surrounding area within a predetermined range.
  • the camera has a CCD or CMOS image sensor as an imaging device.
  • the configuration of the scanner 27 is not particularly limited to the above, and other configurations can be adopted.
  • an optical interferometer may be used instead of the camera.
  • the data processing device 30 has a main unit 31 , a monitor 32 as an image display unit, and an input device 33 .
  • the main unit 31 is composed of a personal computer, and implements the functions of multiple functional blocks within the main unit 31 by executing software implemented on a CPU (Central Processing Unit) or GPU (Graphics Processing Unit).
  • the main unit 31 includes an image processing unit 311, a welding defect information calculation unit 312, a welding defect display image generation unit 313, an attention area information calculation unit 314 as an inference unit, and an attention area display image as a pixel value calculation unit. and a generator 315 .
  • the image processing unit 311 receives the shape data acquired by the scanner 27 and converts it into image data of a welding image including the welding point PW. For example, the image processing unit 311 acquires point cloud data of the shape line captured by the scanner 27 . In addition, the image processing unit 311 corrects the inclination and distortion of the base portion of the welding point PW with respect to a predetermined reference plane, for example, the installation surface of the workpiece W, by statistically processing the point cloud data, and corrects the welding point PW. Generate image data containing:
  • the defective welding information calculation unit 312 uses the defect detection model generated by the AI model generation device 10 to calculate defective welding information based on the image data generated by the image processing unit 311 .
  • the defective welding display image generation unit 313 calculates the pixel value of each pixel of the defective welding display image that displays the defective welding information based on the defective welding information calculated by the defective welding information calculation unit 312 .
  • the information specifying the welding defect display image may be compressed by the jpeg method or the like.
  • FIG. 4A and 5A are examples of welding defect display images.
  • the areas where holes, pits, and spatters are detected are indicated by rectangles. Specifically, the area where the hole exists is surrounded by a square line SL1, and the description DE1 of "pit” is displayed in the vicinity of the area where the pit exists.
  • the regions where undercuts and spatters are detected are indicated by rectangles. Specifically, the regions where the undercut exists are surrounded by a square line SL2, and the description DE2 of "undercut” is displayed near each region.
  • the gaze area information calculation unit 314 uses the gaze area model generated by the AI model generation device 10 to calculate pits, holes, spatters, undercuts, and protrusions based on the image data generated by the image processing unit 311 . Generate attention area information for multiple types of categories including
  • the gaze area display image generation unit 315 gamma-corrects the pixel value of each pixel in the welding image specified according to the maximum noise intensity indicated by the gaze area information of each category generated by the gaze area information calculation unit 314. , the pixel value of each pixel (position) of the attention area display image is calculated.
  • the information specifying the gaze area display image may be compressed by the jpeg method or the like.
  • the attention area display image generation unit 315 first calculates the following equation 1 for each pixel: is converted to an 8-bit pixel value C.
  • gamma correction is performed on the pixel value C obtained by Equation 1, and the pixel value after gamma correction is used as the pixel value in the gaze area display image.
  • the locations where the maximum noise intensity is large that is, the unimportant locations where the noise is unlikely to affect the welding defect information are blue pixels
  • the locations where the maximum noise intensity is small that is, Red pixels are used for important locations where noise is likely to affect welding failure information.
  • 4B to 4D show the gaze area display image when the welding defect display image is the image shown in FIG. 4A, in order, the gaze area display image for undercut (see FIG. 4B) and the gaze area display for pits.
  • 4C shows an image (see FIG. 4C), and an attention area display image for perforation (see FIG. 4D).
  • 5B to 5D are gaze area display images when the welding defect display image is FIG. 5A, and in order, the gaze area display image for undercuts (see FIG. 5B) and the gaze area display image for pits. (See FIG. 5C), showing an area-of-regard display image for perforation (see FIG. 5D).
  • FIG. 4C which is the pit attention area image in contrast to FIG. 4A, which is the welding defect display image
  • FIG. 4D which is the perforation attention area image with respect to FIG. 4A, which is the welding defect display image
  • the same position as the part determined as perforation in FIG. 4A appears in white. This means that it was determined that there was a hole by looking at the characteristics of this white portion.
  • FIG. 4B which is the attention area display image for the undercut with respect to the welding defect display image of FIG. 4A, there is no area where undercut is detected in FIG. no place).
  • FIG. 5C which is the attention area display image for the pits relative to FIG. 5A, which is the welding defect display image, there are no areas detected as pits, so there is no attention area (light areas, in other words, no white areas).
  • FIG. 5D which is the attention area display image for holes relative to FIG. 5A, which is the weld defect display image, there are no areas detected as holes, so there is no attention area (light spots, in other words, no white spots).
  • 4B, 5C, and 5D are dark images (in other words, black images) with no faint portions, in other words, white portions, resulting in no gaze region being found anywhere. ing.
  • Figures 4B-4D and 5B-5D are grayscale images in which the red pixels are shown lighter than the blue pixels (in other words, in the patent figures, the color image of the original image is converted to a black and white image). As described, the red pixels are white and the blue pixels are black, and are displayed in gray scale. (shows irrelevant parts for defect judgment).
  • the vicinity of the area indicated by the poor welding information that the pit exists is shown thinner than the other areas. It can be seen that this is a location where noise is likely to affect welding defect information.
  • FIG. 4C the vicinity of the area indicated by the poor welding information that the pit exists
  • the vicinity of the region indicated by the welding defect information that there is a hole is shown thinner than the other regions. It can be seen that this is a location where noise is likely to affect welding defect information.
  • the vicinity of the region indicated by the poor welding information as having an undercut is shown thinner than the other regions. It can be seen that this is a location where noise is likely to affect welding defect information.
  • the monitor 32 displays the defective welding display image based on the pixel values calculated by the defective welding display image generation unit 313, and also displays the defective welding display image based on the pixel values calculated by the attention area display image generation unit 315. Display the area display image.
  • the image on the left side of FIG. 6A is a welding defect display image.
  • the image on the right side of FIG. 6A is a pit attention area display image in which the pixel values obtained by Equation 1 are used as the pixel values in the attention area display image without gamma correction.
  • the left image in FIG. 6B is the same as the left image in FIG. 6A.
  • the image on the right side of FIG. 6B is a pit gaze area display image in which gamma correction is performed on the pixel values obtained by Equation 1, and the pixel values after gamma correction are used as the pixel values in the gaze area display image. .
  • the user of the AI model generation device 10 prepares teacher data and inputs it to the AI model generation device 10 .
  • the teacher data receiving unit 11 of the AI model generation device 10 receives the teacher data.
  • the failure detection model generation unit 12 of the AI model generation device 10 generates a failure detection model by machine learning using the training data received by the training data reception unit 11 in S101, and identifies the failure detection model.
  • the parameters to be used are stored in the parameter storage unit 13 .
  • the attention area model generation unit 14 of the AI model generation device 10 refers to the parameters for specifying the defect detection model stored in the parameter storage unit 13 in S102, identifies the defect detection model, and detects the defect.
  • a region-of-regard model is generated by machine learning using the model and the teacher data received by the teacher data receiving unit 11 in S101.
  • the poor welding information calculation unit 312 of the welding device 20 receives the image data to be inspected. Specifically, for example, image data generated by the image processing unit 311 based on shape data acquired by the scanner 27 during welding is received.
  • the poor welding information calculation unit 312 uses the failure detection model generated in S102 to calculate the poor welding information based on the image data received in S104.
  • the welding device 20 can specify the failure detection model by receiving parameters specifying the failure detection model generated in S102 from the AI model generation device 10 via wired or wireless communication, for example.
  • the defective welding display image generation unit 313 calculates the pixel value of each pixel of the defective welding display image displaying the defective welding information based on the defective welding information calculated in S105, and the monitor 32 Display the welding defect display image.
  • the attention area information calculation unit 314 of the welding device 20 uses the attention area model generated in S103, and based on the image data of the inspection object received by the welding defect information calculation unit 312 in S104, the pit Region-of-interest information is generated for multiple categories including , perforations, spatter, undercuts, and protrusions.
  • the welding device 20 can specify the gaze area model by receiving parameters specifying the gaze area model generated in S103 from the AI model generation apparatus 10 via wired or wireless communication, for example.
  • the attention area display image generation unit 315 gamma-corrects the pixel values according to the maximum noise intensity indicated by the attention area information of each category generated by the attention area information calculation unit 314. A pixel value of each pixel of the attention area display image is calculated, and the monitor 32 displays the attention area display image of each category.
  • the user viewing the defective welding display image displayed on the monitor 32 in S106 can select whether or not to cause the welding device 20 to execute the processes of S107 and S108 by performing a predetermined input to the input device 33.
  • the AI model generation device 10 generates attention area information indicating the maximum noise intensity that does not affect the welding defect information output by the defect detection model at each position in the welding image. A region-of-regard model is generated. Then, the data processing device 30 of the welding device 20 uses this attention area model to output attention area information as information on the grounds for deriving the welding defect information by the defect detection model. Therefore, the user can obtain information on the grounds for deriving the welding defect information by the defect detection model.
  • the loss calculation unit CA5 calculates the category information, the size information, the position information, the category information, the size information, not based on the annotation data of the presence/absence information of the welding defect information. Since the loss is calculated based on the position information and the annotation data, it is possible to generate a gaze area model that generates the gaze area information with higher accuracy than when the loss is calculated based on the annotation data of the presence/absence information.
  • the AI model generation device 10 is caused to generate a gaze area model that outputs the gaze area information for a plurality of types of categories
  • the data of the welding device 20 is used to acquire the gaze area information for a plurality of types of categories. It is not necessary to cause the processing device 30 to perform inference by switching the region-of-regard model for each category of welding defects. Therefore, it is possible to shorten the processing time required to output the attention area information for multiple types of categories.
  • ResNet is used as the backbone of the gaze area model, it is possible to improve the accuracy of the generated gaze area information.
  • the region-of-regard model generation system and inference device of the present disclosure are useful because they enable users to obtain region-of-regard information as information on the basis for deriving defective welding information from a defect detection model.
  • AI model generation device (gazing area model generation system) 11
  • teacher data receiver 13
  • Parameter memory 14
  • gaze region model generation unit 30 data processing device (reasoning device) 314 gaze region information calculation unit (inference unit) 315 gaze area display image generation unit (pixel value calculation unit) 32 monitor (image display unit)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

注視領域モデル生成システムは、所定の評価対象データ組の画像データを受け付け、画像内の各位置における，教師データを用いた機械学習により生成された不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズ強度を示す注視領域情報を、注視領域モデルを用いて生成する注視領域情報生成ステップ、仮想ノイズを評価対象データ組の画像データに付与したノイズ付き画像データに基づいて、不良検出モデルを用いて生成された溶接不良情報と、評価対象データ組のアノテーションデータとに基づいて損失を算出する損失算出ステップを、評価対象データ組として、教師データを構成する各データ組を設定して繰り返し実行したときに、損失が最も小さくなるように、注視領域モデルを機械学習により特定する。

Description

注視領域モデル生成システム及び推論装置
　本開示は、画像内の各位置における，不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズ強度を示す注視領域情報を生成する注視領域モデルを生成する注視領域モデル生成システム、及び当該注視領域モデルを用いた推論装置に関する。
　特許文献１には、物体検出アルゴリズムであるＹＯＬＯの物体検出モデルを用いて入力画像内の物体を検出する推論装置が開示されている。
特開２０２１－００２３３３号公報
　ところで、ＹＯＬＯ等の物体検出モデルを、溶接箇所を撮影した溶接画像中の溶接不良の検出に使用した場合に、物体検出モデルによる溶接不良の検出結果が、ユーザによる溶接不良の認識と異なることがある。このような場合に、物体検出モデルが検出結果を導出した根拠をユーザが知得できるようにしたいという要望がある。
　本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、物体検出モデルが検出結果を導出する根拠に関する情報をユーザが知得できるようにすることにある。
　上記の目的を達成するために、本開示に係る注視領域モデル生成システムは、溶接箇所を含む溶接画像の画像データと、当該溶接画像における溶接不良の種類、大きさ、及び位置を含む溶接不良情報のアノテーションデータとの複数のデータ組からなる教師データを受け付ける教師データ受信部と、前記教師データを用いた機械学習により生成され、溶接画像の画像データに基づいて前記溶接不良情報を出力する不良検出モデルを特定するパラメータを記憶するパラメータ記憶部と、所定の評価対象データ組の画像データを受け付け、当該画像データによって示される画像内の各位置における，前記不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズ強度を示す注視領域情報を、注視領域モデルを用いて生成する注視領域情報生成ステップ、前記注視領域情報生成ステップによって生成した注視領域情報によって示される各位置の最大ノイズ強度にガウスノイズを乗算することにより、仮想ノイズを得る乗算ステップ、前記乗算ステップによって得た仮想ノイズを、前記評価対象データ組の画像データに付与することで、ノイズ付き画像データを取得するノイズ付与ステップ、前記ノイズ付与ステップによって取得したノイズ付き画像データに基づいて、前記溶接不良情報を、前記不良検出モデルを用いて生成する溶接不良情報生成ステップ、及び溶接不良情報生成ステップによって生成された溶接不良情報と、前記評価対象データ組のアノテーションデータとに基づいて損失を算出する損失算出ステップを、前記評価対象データ組として、前記教師データを構成する各データ組を設定して繰り返し実行したときに、前記損失算出ステップによって算出される損失が最も小さくなるように、前記注視領域モデルを機械学習により特定するモデル生成部とを備えたことを特徴とする。
　これにより、画像内の各位置における，前記不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズ強度を示す注視領域情報を生成する注視領域モデルが生成される。したがって、ユーザは、この注視領域モデルを用いることにより、不良検出モデルが溶接不良情報を導出する根拠に関する情報として注視領域情報を知得できる。
　本開示によれば、不良検出モデルが検出結果を導出する根拠に関する情報をユーザが知得できるようになる。
図１は、本開示の実施形態に係る注視領域モデル生成システムとしてのＡＩモデル生成装置を備えた溶接システムの構成を示すブロック図である。 図２は、注視領域モデル生成部の構成を説明する説明図である。 図３は、注視領域モデルの生成に用いる損失関数の式を示す図である。 図４Ａは、溶接不良表示画像の第１の例を示す図である。 図４Ｂは、図４Ａに対応するアンダーカットについての注視領域表示画像を示す図である。 図４Ｃは、図４Ａに対応するピットについての注視領域表示画像を示す図である。 図４Ｄは、図４Ａに対応する穴あきについての注視領域表示画像を示す図である。 図５Ａは、溶接不良表示画像の第２の例を示す図である。 図５Ｂは、図５Ａに対応するアンダーカットについての注視領域表示画像を示す図である。 図５Ｃは、図５Ａに対応するピットについての注視領域表示画像を示す図である。 図５Ｄは、図５Ａに対応する穴あきについての注視領域表示画像を示す図である。 図６Ａは、溶接不良表示画像と、ガンマ補正を行わない場合のピットについての注視領域表示画像とを左側から順に例示する図である。 図６Ｂは、ガンマ補正を行った場合の図６Ａ相当図である。 図７は、溶接システムの動作を例示するフローチャートである。
　以下、本開示の実施形態について図面に基づいて説明する。
　図１は、溶接システム１を示す。この溶接システム１は、不良検出モデル及び注視領域モデルを機械学習により生成する本開示の実施形態に係る注視領域モデル生成システムとしてのＡＩモデル生成装置１０と、溶接を実行する溶接装置２０とを有している。
　ＡＩモデル生成装置１０は、不良検出モデル及び注視領域モデルを機械学習により生成する。
　不良検出モデルは、入力される画像データに基づいて、溶接不良情報を出力するＹＯＬＯの物体検出モデルである。不良検出モデルは、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）によって表現される。この物体検出モデルは、画像において、検出すべき第１の物体の一部が、検出すべき他の第２の物体に隠れている場合でも、画像における第１の物体に第２の物体が重なっている領域を、前記第１の物体が位置する領域として特定できる。溶接不良情報は、画像データによって示される画像に溶接不良が存在するか否かを示す有無情報、溶接不良のカテゴリを示すカテゴリ情報、溶接不良の大きさを示すサイズ情報、及び溶接不良の位置を示す位置情報を含む。詳しくは、サイズ情報は、溶接不良を含むバウンディングボックスの大きさを示し、位置情報は、溶接不良を含むバウンディングボックスの位置を示す。なお、バウンディングボックスは、溶接不良等のオブジェクトの周囲を囲む矩形の境界線領域である。
　注視領域モデルは、入力される画像データに基づいて、溶接不良の複数種類のカテゴリについての注視領域情報を出力するモデルである。複数種類のカテゴリには、穴あき、ピット、スパッタ、アンダーカット、及び突起等が含まれる。ピットは、溶接ビードの表面の開口である。注視領域情報は、画像データによって示される画像内の各画素（位置）における，前記不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズの強度（以下、「最大ノイズ強度」と呼ぶ）を示す情報である。注視領域モデルも、ＣＮＮによって表現される。注視領域モデルのバックボーンとしては、ＲｅｓＮｅｔ（Residual Networks）が用いられている。なお、注視領域モデルに、ＲｅｓＮｅｔ以外のバックボーンを用いるようにしてもよい。
　具体的には、ＡＩモデル生成装置１０は、教師データ受信部１１と、不良検出モデル生成部１２と、パラメータ記憶部１３と、注視領域モデル生成部１４とを備えている。
　教師データ受信部１１は、溶接箇所を含む溶接画像の画像データと、当該溶接画像における溶接不良に関する溶接不良情報のアノテーションデータとの複数のデータ組からなる教師データを受け付ける。
　不良検出モデル生成部１２は、教師データ受信部１１が受け付けた教師データを用いた機械学習により、不良検出モデルを生成する。具体的には、不良検出モデル生成部１２は、不良検出モデルを特定するパラメータとして、不良検出モデルを表現するＣＮＮを構成する各ノードの重み及びバイアスを特定する。
　パラメータ記憶部１３は、不良検出モデル生成部１２によって特定されたパラメータを記憶する。
　注視領域モデル生成部１４は、図２に示すように、演算器１４１と、更新部１４２とを備えている。注視領域モデル生成部１４は、演算器１４１によって算出される損失関数が最も小さくなるように、パラメータ記憶部１３に記憶されたパラメータを参照して、注視領域モデルを機械学習により特定する。
　演算器１４１は、注視領域情報生成部ＣＡ１と、乗算部ＣＡ２と、ノイズ付与部ＣＡ３と、溶接不良情報生成部ＣＡ４と、損失算出部ＣＡ５とを備えている。
　注視領域情報生成部ＣＡ１は、所定の評価対象データ組の画像データを受け付け、複数種類のカテゴリについて、当該画像データについての注視領域情報ＩＮ１～ＩＮＸを、注視領域モデルを用いて生成する。注視領域情報ＩＮ１は穴あき、注視領域情報ＩＮ２はピット、注視領域情報ＩＮ３はスパッタ、注視領域情報ＩＮ４はアンダーカット、注視領域情報ＩＮ５は突起についての注視領域情報である。ＩＮＸは、その他の任意の溶接不良についての注視領域情報である。
　乗算部ＣＡ２は、注視領域情報生成部ＣＡ１によって生成された注視領域情報ＩＮ１～ＩＮＸによって示される各位置の最大ノイズ強度にガウスノイズを乗算することにより、仮想ノイズを得る。
　ノイズ付与部ＣＡ３は、複数種類のカテゴリについて乗算部ＣＡ２によって得られた仮想ノイズを、前記評価対象データ組の画像データに付与することで、ノイズ付き画像データを取得する。
　溶接不良情報生成部ＣＡ４は、ノイズ付与部ＣＡ３によって取得されたノイズ付き画像データに基づいて、複数種類のカテゴリについての溶接不良情報を、不良検出モデル生成部１２によって生成された不良検出モデルを用いて生成する。不良検出モデルは、パラメータ記憶部１３に記憶されたパラメータを参照することによって特定できる。
　損失算出部ＣＡ５は、溶接不良情報生成部ＣＡ４によって生成された溶接不良情報と、当該評価対象データ組のアノテーションデータとに基づいて、図３に示す損失関数の式により、損失Ｌを算出する。
　図３に示す式において、λcoordは、重み係数（予め設定される定数）、Ｓ２は、画像データによって示される画像のグリッド数、Ｂは、バウンディングボックスの数である。また、符号Ｐ１で示す２点鎖線の部分は、溶接不良が存在する場合には１、溶接不良が存在しない場合には０となる。また、溶接不良情報生成部ＣＡ４によって生成された溶接不良情報によって示される溶接不良の位置（座標）は、（ｘｉ、ｙｉ）であり、前記評価対象データ組のアノテーションデータによって示される溶接不良の位置（座標）は、（＾ｘｉ、＾ｙｉ）である。また、溶接不良情報によって示される溶接不良を含むバウンディングボックスの幅は、ｗｉ、溶接不良を含むバウンディングボックスの高さは、ｈｉである。一方、アノテーションデータによって示される溶接不良を含むバウンディングボックスの幅は、＾ｗｉ、溶接不良を含むバウンディングボックスの高さは、＾ｈｉである。classesは、カテゴリーの集合であり、pi(c)は、グリッドセルｉにおいてカテゴリーがｃである確率、＾pi(c)は、アノテーションデータによって示される，グリッドセルｉにおいてカテゴリーがｃである確率である。pi(c)は、０～１の値、＾pi(c)は、０又は１の値をとる。
　更新部１４２は、演算器１４１によって算出される損失Ｌに基づいて、損失Ｌを小さくするように、注視領域モデルのパラメータを更新する。注視領域モデルのパラメータは、注視領域モデルを表現するＣＮＮを構成する各ノードの重み及びバイアスである。
　注視領域モデルのパラメータを所定の初期値に設定した状態から、教師データ受信部１１が受け付けた教師データ（不良検出モデルの生成に用いられた教師データ）を構成する全てのデータ組を、前記評価対象データ組として順に演算器１４１に入力すると、演算器１４１によって損失Ｌが算出される毎に、更新部１４２が、当該損失Ｌに基づいて、損失Ｌを小さくするように、注視領域モデルのパラメータを更新する。そして、更新部１４２は、教師データを構成する全てのデータ組についての処理が終了したときの注視領域モデルのパラメータを特定する。
　つまり、注視領域モデル生成部１４は、所定の評価対象データ組の画像データを受け付け、複数種類のカテゴリについて、当該画像データについての注視領域情報ＩＮ１～ＩＮＸを、注視領域モデルを用いて生成する注視領域情報生成ステップと、注視領域情報生成ステップによって生成された注視領域情報ＩＮ１～ＩＮＸによって示される各位置の最大ノイズ強度にガウスノイズを乗算することにより、仮想ノイズを得る乗算ステップと、複数種類のカテゴリについて乗算ステップによって得られた仮想ノイズを、前記評価対象データ組の画像データに付与することで、ノイズ付き画像データを取得するノイズ付与ステップと、ノイズ付与ステップによって取得したノイズ付き画像データに基づいて、複数種類のカテゴリについての溶接不良情報を、不良検出モデル生成部１２によって生成された不良検出モデルを用いて生成する溶接不良情報生成ステップと、溶接不良情報生成ステップによって生成された溶接不良情報と、前記評価対象データ組のアノテーションデータとに基づいて、損失Ｌを算出する損失算出ステップとを、前記評価対象データ組として、前記教師データを構成する各データ組を設定して繰り返し実行したときに、前記損失算出ステップによって算出される損失Ｌが最も小さくなるように、前記注視領域モデルを機械学習により特定する。注視領域モデルの特定には、誤差逆伝播法等が用いられる。なお、誤差逆伝播法での注視領域モデルの特定では、損失Ｌが最小となるように、ニューラルネットワークのパラメータの調整を行う。具体的には、損失Ｌを偏微分して０に近づくようにパラメータを調整する。また、誤差逆伝播法は、勾配降下法とも言う。
　溶接装置２０は、溶接トーチ２１とワイヤ送給装置（図示せず）と溶接電源２３と出力制御部２４とロボットアーム２５とロボット制御部２６とスキャナ２７と推論装置としてのデータ処理装置３０とを有している。溶接トーチ２１に保持された溶接ワイヤ２８に溶接電源２３から電力が供給されることで、溶接ワイヤ２８の先端とワークＷとの間にアークが発生し、ワークＷが入熱されてアーク溶接が行われる。なお、溶接装置２０は、溶接トーチ２１にシールドガスを供給するための配管やガスボンベ等の別の構成部品や設備を有しているが、説明の便宜上、これらの図示及び説明を省略する。
　出力制御部２４は溶接電源２３及びワイヤ送給装置（図示せず）に接続されて、所定の溶接条件に従って、溶接トーチ２１の溶接出力、言い換えると、溶接ワイヤ２８に供給される電力及び電力供給時間を制御している。また、出力制御部２４は、ワイヤ送給装置（図示せず）から溶接トーチ２１に送給される溶接ワイヤ２８の送給速度及び送給量を制御している。なお、溶接条件は図示しない入力部を介して直接、出力制御部２４に入力されてもよいし、別途、記録媒体等から読み出された溶接プログラムから選択されるようにしてもよい。
　ロボットアーム２５は公知の多関節軸ロボットであり、先端に溶接トーチ２１を保持するとともに、ロボット制御部２６に接続されている。ロボット制御部２６は、溶接トーチ２１の先端、言い換えると、溶接トーチ２１に保持された溶接ワイヤ２８の先端が所定の溶接軌跡を描いて、所望の位置に移動するようにロボットアーム２５の動作を制御している。
　スキャナ２７は溶接トーチ２１に取り付けられて、ワークＷの溶接箇所ＰＷの形状を計測する。スキャナ２７は、例えば、ワークＷの表面を走査可能に構成されたレーザ光源（図示せず）と、ワークＷの表面に投影されたレーザ光の反射軌跡（以下、形状線と呼ぶことがある。）を撮像するカメラ（図示せず）とで構成された３次元形状計測センサーである。スキャナ２７によって、ワークＷの溶接箇所ＰＷの全体をレーザ光線で走査し、溶接箇所ＰＷで反射されたレーザ光線をカメラで撮像することにより、溶接箇所ＰＷの形状が計測される。なお、スキャナ２７は溶接箇所ＰＷだけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、スパッタ等の有無を評価するためである。なお、カメラは撮像素子としてＣＣＤまたはＣＭＯＳイメージセンサを有している。また、スキャナ２７の構成は特に上記に限定されず、他の構成を採りうる。例えば、カメラの代わりに光干渉計を用いてもよい。
　データ処理装置３０は、本体部３１と、画像表示部としてのモニタ３２と、入力装置３３とを有している。
　本体部３１は、パーソナルコンピュータで構成され、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）上に実装されたソフトウェアを実行することで本体部３１内の複数の機能ブロックの機能を実現する。本体部３１は、画像処理部３１１と、溶接不良情報算出部３１２と、溶接不良表示画像生成部３１３と、推論部としての注視領域情報算出部３１４と、画素値算出部としての注視領域表示画像生成部３１５とを有している。
　画像処理部３１１は、スキャナ２７によって取得された形状データを受け取って、これを、溶接箇所ＰＷを含む溶接画像の画像データに変換する。例えば、画像処理部３１１は、スキャナ２７で撮像された形状線の点群データを取得する。また、画像処理部３１１は、所定の基準面、例えば、ワークＷの設置面に対する溶接箇所ＰＷのベース部分の傾斜や歪み等を、点群データを統計処理することで補正し、溶接箇所ＰＷを含む画像データを生成する。
　溶接不良情報算出部３１２は、ＡＩモデル生成装置１０によって生成された不良検出モデルを用いて、画像処理部３１１によって生成された画像データに基づいて、溶接不良情報を算出する。
　溶接不良表示画像生成部３１３は、溶接不良情報算出部３１２によって算出された溶接不良情報に基づいて、前記溶接不良情報を表示する溶接不良表示画像の各画素の画素値を算出する。溶接不良表示画像を特定する情報は、ｊｐｅｇ方式等により圧縮されてもよい。
　図４Ａ及び図５Ａは、溶接不良表示画像の例である。図４Ａの溶接不良表示画像では、穴あき、ピット、スパッタの検出個所の領域が、矩形で示されている。具体的には、穴あきが存在する領域が、四角の線ＳＬ１で囲まれ、また、ピットが存在する領域の近傍に「ｐｉｔ」という記載ＤＥ１が表示されている。図５Ａの溶接不良表示画像では、アンダーカット、スパッタの検出個所の領域が、矩形で示されている。具体的には、アンダーカットが存在する領域が、四角の線ＳＬ２で囲まれ、各領域の近傍に「ｕｎｄｅｒｃｕｔ」という記載ＤＥ２が表示されている。
　注視領域情報算出部３１４は、ＡＩモデル生成装置１０によって生成された注視領域モデルを用いて、画像処理部３１１によって生成された画像データに基づいて、ピット、穴あき、スパッタ、アンダーカット、及び突起を含む複数種類のカテゴリについて、注視領域情報を生成する。
　注視領域表示画像生成部３１５は、注視領域情報算出部３１４によって生成された各カテゴリの注視領域情報によって示された最大ノイズ強度に応じて特定される溶接画像内の各画素の画素値にガンマ補正を行うことにより、注視領域表示画像の各画素（位置）の画素値を算出する。注視領域表示画像を特定する情報は、ｊｐｅｇ方式等により圧縮されてもよい。
　具体的には、注視領域表示画像生成部３１５は、まず、注視領域情報によって示される各画素の最大ノイズ強度を、０～１の値をとるＢとしたとき、以下の式１によって、各画素の最大ノイズ強度を８ビットの画素値Ｃに変換する。
　Ｃ＝（１－Ｂ）＊２５５　・・・式１
　次いで、式１により得た画素値Ｃに対してガンマ補正を行い、ガンマ補正後の画素値を、注視領域表示画像における画素値とする。例えば、画素値をｊｅｔカラーマップ配列に対応させることによって、最大ノイズ強度が大きい箇所、すなわち、溶接不良情報にノイズが影響を与えにくい重要でない箇所は青い画素、最大ノイズ強度が小さい箇所、すなわち、溶接不良情報にノイズが影響を与えやすい重要な箇所は赤い画素にされる。
　図４Ｂ～図４Ｄは、溶接不良表示画像が図４Ａに示す画像である場合の注視領域表示画像を示し、順に、アンダーカットについての注視領域表示画像（図４Ｂ参照）、ピットについての注視領域表示画像（図４Ｃ参照）、穴あきについての注視領域表示画像（図４Ｄ参照）を示す。また、図５Ｂ～図５Ｄは、溶接不良表示画像が図５Ａである場合の注視領域表示画像であり、順に、アンダーカットについての注視領域表示画像（図５Ｂ参照）、ピットについての注視領域表示画像（図５Ｃ参照）、穴あきについての注視領域表示画像（図５Ｄ参照）を示す。
　ここで、溶接不良表示画像の図４Ａに対するピットの注視領域画像の図４Ｃでは、図４Ａで、ピットと判定された箇所と同じ位置が白く映っている。この白く映った個所の特徴を見てピットと判定したことを意味している。また、溶接不良表示画像の図４Ａに対する穴あきの注視領域画像の図４Ｄでは、図４Ａで、穴あきと判定された箇所と同じ位置が白く映っている。この白く映った個所の特徴を見て穴あきと判定したことを意味している。図４Ａの溶接不良表示画像の例では、穴あき、ピット、スパッタの不良があるが、アンダーカットは無い。また、図５Ａの溶接不良表示画像の例では、アンダーカット、スパッタはあるが、穴あきとピットは無い。このため、溶接不良表示画像の図４Ａに対するアンダーカットについての注視領域表示画像の図４Ｂでは、図４Ａで、アンダーカットと検出された領域がないので、注視領域は無い（薄い箇所、言い換えると白い箇所が無い）。溶接不良表示画像の図５Ａに対するピットについての注視領域表示画像の図５Ｃでは、ピットと検出された領域がないので、注視領域は無い（薄い箇所、言い換えると白い箇所が無い）。溶接不良表示画像の図５Ａに対する穴あきについての注視領域表示画像の図５Ｄでは、穴あきと検出された領域がないので、注視領域は無い（薄い箇所、言い換えると白い箇所が無い）。このように、図４Ｂ、図５Ｃ、図５Ｄの注視領域表示画像は、いずれも薄い箇所、言い換えると白い箇所が無く濃い画像（言い換えると黒い画像）なので、どこにも注視領域が見当たらない結果となっている。
　図４Ｂ～図４Ｄ及び図５Ｂ～図５Ｄは、赤い画素が、青い画素よりも薄く示されたグレースケール画像である（言い換えると、特許図では、オリジナル画像のカラー画像を白黒画像に変換して記載しているので、赤い画素の箇所は白く、青い画素の箇所は黒く、グレースケールで表示されている。白く（薄く）なるほど不良と判定するのに重要な箇所を示し、黒く（濃く）なるほど不良判定に無関係な箇所を示している）。図４Ｃの画像では、溶接不良情報によりピットが存在すると示された領域の近傍（言い換えると、ピットが存在すると示された領域の外縁状の近傍領域）が、その他の領域よりも薄く示されており、溶接不良情報にノイズが影響を与えやすい箇所であることがわかる。図４Ｄの画像では、溶接不良情報により穴あきが存在すると示された領域の近傍（言い換えると、穴あきが存在すると示された領域の外縁状の近傍領域）が、その他の領域よりも薄く示されており、溶接不良情報にノイズが影響を与えやすい箇所であることがわかる。図５Ｂの画像では、溶接不良情報によりアンダーカットが存在すると示された領域の近傍（言い換えると、アンダーカットが存在すると示された領域の外縁状の近傍領域）が、その他の領域よりも薄く示されており、溶接不良情報にノイズが影響を与えやすい箇所であることがわかる。
　モニタ３２は、溶接不良表示画像生成部３１３によって算出された画素値に基づいて、前記溶接不良表示画像を表示するとともに、注視領域表示画像生成部３１５によって算出された画素値に基づいて、前記注視領域表示画像を表示する。
　また、図６Ａの左側の画像は、溶接不良表示画像である。図６Ａの右側の画像は、ガンマ補正を行わずに、式１により得た画素値をそのまま注視領域表示画像における画素値とした場合のピットの注視領域表示画像である。図６Ｂの左側の画像は、図６Ａの左側の画像と同じである。図６Ｂの右側の画像は、式１により得た画素値に対してガンマ補正を行い、ガンマ補正後の画素値を、注視領域表示画像における画素値とした場合のピットの注視領域表示画像である。このように、ガンマ補正を行うことにより、溶接不良情報にノイズが影響を与えやすい重要な箇所を絞り込むことができる。
　上述のように構成された溶接システム１の動作の例について、図７のフローチャートを参照して説明する。
　まず、Ｓ１０１において、ＡＩモデル生成装置１０の使用者が、教師データを用意し、ＡＩモデル生成装置１０に入力する。これに応じて、ＡＩモデル生成装置１０の教師データ受信部１１が教師データを受け付ける。
　次いで、Ｓ１０２において、ＡＩモデル生成装置１０の不良検出モデル生成部１２が、Ｓ１０１で教師データ受信部１１が受け付けた教師データを用いた機械学習により、不良検出モデルを生成し、不良検出モデルを特定するパラメータをパラメータ記憶部１３に記憶させる。
　次いで、Ｓ１０３において、ＡＩモデル生成装置１０の注視領域モデル生成部１４が、Ｓ１０２でパラメータ記憶部１３に記憶された不良検出モデルを特定するパラメータを参照して不良検出モデルを特定し、当該不良検出モデルと、Ｓ１０１で教師データ受信部１１によって受け付けられた教師データとを用いて、注視領域モデルを機械学習により生成する。
　その後、Ｓ１０４において、溶接装置２０の溶接不良情報算出部３１２が、検査対象の画像データを受け付ける。具体的には、例えば、溶接中にスキャナ２７によって取得された形状データに基づいて画像処理部３１１によって生成された画像データを受け付ける。
　そして、Ｓ１０５において、溶接不良情報算出部３１２が、Ｓ１０２で生成された不良検出モデルを用いて、Ｓ１０４で受け付けた画像データに基づいて、溶接不良情報を算出する。溶接装置２０は、例えば、Ｓ１０２で生成された不良検出モデルを特定するパラメータを、有線通信又は無線通信により、ＡＩモデル生成装置１０から受信することにより、不良検出モデルを特定することができる。
　すると、Ｓ１０６において、溶接不良表示画像生成部３１３が、Ｓ１０５で算出された溶接不良情報に基づいて、前記溶接不良情報を表示する溶接不良表示画像の各画素の画素値を算出し、モニタ３２が溶接不良表示画像を表示する。
　次いで、Ｓ１０７において、溶接装置２０の注視領域情報算出部３１４が、Ｓ１０３で生成された注視領域モデルを用いて、Ｓ１０４で溶接不良情報算出部３１２が受け付けた検査対象の画像データに基づいて、ピット、穴あき、スパッタ、アンダーカット、及び突起を含む複数種類のカテゴリについて、注視領域情報を生成する。溶接装置２０は、例えば、Ｓ１０３で生成された注視領域モデルを特定するパラメータを、有線通信又は無線通信により、ＡＩモデル生成装置１０から受信することにより、注視領域モデルを特定することができる。
　そして、Ｓ１０８において、注視領域表示画像生成部３１５が、注視領域情報算出部３１４によって生成された各カテゴリの注視領域情報によって示された最大ノイズ強度に応じた画素値にガンマ補正を行うことにより、注視領域表示画像の各画素の画素値を算出し、モニタ３２が各カテゴリの注視領域表示画像を表示する。
　なお、溶接装置２０にＳ１０７及びＳ１０８の処理を実行させるか否かを、Ｓ１０６においてモニタ３２に表示された溶接不良表示画像を視認したユーザが、入力装置３３への所定の入力によって選択できるようにしてもよい。
　したがって、本実施形態によれば、ＡＩモデル生成装置１０により、溶接画像内の各位置における，前記不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズ強度を示す注視領域情報を生成する注視領域モデルが生成される。そして、溶接装置２０のデータ処理装置３０は、この注視領域モデルを用いることにより、不良検出モデルが溶接不良情報を導出する根拠に関する情報として注視領域情報を出力する。したがって、ユーザは、不良検出モデルが溶接不良情報を導出する根拠に関する情報を知得できる。
　また、損失算出ステップにおいて、損失算出部ＣＡ５が、溶接不良情報のうち、前記有無情報のアノテーションデータには基づかず、前記カテゴリ情報、前記サイズ情報及び前記位置情報と、前記カテゴリ情報、前記サイズ情報及び前記位置情報のアノテーションデータとに基づいて損失を算出するので、有無情報のアノテーションデータに基づいて損失を算出する場合に比べ、注視領域情報を精度良く生成する注視領域モデルを生成できる。
　また、ＡＩモデル生成装置１０に、複数種類のカテゴリについて、前記注視領域情報を出力する注視領域モデルを生成させるので、複数種類のカテゴリについての注視領域情報を知得するために、溶接装置２０のデータ処理装置３０に溶接不良のカテゴリ毎に注視領域モデルを切り替えて推論を実行させなくてもよい。したがって、複数種類のカテゴリについての注視領域情報を出力するために必要な処理時間を短縮できる。
　また、注視領域モデルのバックボーンとして、ＲｅｓＮｅｔを用いるので、生成される注視領域情報の精度を高めることができる。
　本開示の注視領域モデル生成システム及び推論装置は、不良検出モデルが溶接不良情報を導出する根拠に関する情報として注視領域情報をユーザが取得できるようにできるので、有用である。
１０　　　ＡＩモデル生成装置（注視領域モデル生成システム）
１１　　　教師データ受信部 
１３　　　パラメータ記憶部 
１４　　　注視領域モデル生成部
３０　　　データ処理装置（推論装置）
３１４　　　注視領域情報算出部（推論部）
３１５　　　注視領域表示画像生成部（画素値算出部）
３２　　　モニタ（画像表示部）

Claims (5)

  1. 　溶接箇所を含む溶接画像の画像データと、当該溶接画像における溶接不良の種類、大きさ、及び位置を含む溶接不良情報のアノテーションデータとの複数のデータ組からなる教師データを受け付ける教師データ受信部と、
    　前記教師データを用いた機械学習により生成され、溶接画像の画像データに基づいて前記溶接不良情報を出力する不良検出モデルを特定するパラメータを記憶するパラメータ記憶部と、
    　所定の評価対象データ組の画像データを受け付け、当該画像データによって示される画像内の各位置における，前記不良検出モデルによって出力される溶接不良情報に影響を与えない最大ノイズ強度を示す注視領域情報を、注視領域モデルを用いて生成する注視領域情報生成ステップ、
    　前記注視領域情報生成ステップによって生成した注視領域情報によって示される各位置の最大ノイズ強度にガウスノイズを乗算することにより、仮想ノイズを得る乗算ステップ、
    　前記乗算ステップによって得た仮想ノイズを、前記評価対象データ組の画像データに付与することで、ノイズ付き画像データを取得するノイズ付与ステップ、
    　前記ノイズ付与ステップによって取得したノイズ付き画像データに基づいて、前記溶接不良情報を、前記不良検出モデルを用いて生成する溶接不良情報生成ステップ、及び
    　溶接不良情報生成ステップによって生成された溶接不良情報と、前記評価対象データ組のアノテーションデータとに基づいて損失を算出する損失算出ステップを、前記評価対象データ組として、前記教師データを構成する各データ組を設定して繰り返し実行したときに、前記損失算出ステップによって算出される損失が最も小さくなるように、前記注視領域モデルを機械学習により特定するモデル生成部とを備えた注視領域モデル生成システム。
  2. 　請求項１に記載の注視領域モデル生成システムにおいて、
    　前記溶接不良情報は、前記溶接不良が存在するか否かを示す有無情報、前記溶接不良のカテゴリを示すカテゴリ情報、前記溶接不良の大きさを示すサイズ情報、及び前記溶接不良の位置を示す位置情報を含み、
    　前記損失算出ステップは、前記有無情報のアノテーションデータには基づかず、前記カテゴリ情報、前記サイズ情報及び前記位置情報と、前記カテゴリ情報、前記サイズ情報及び前記位置情報のアノテーションデータとに基づいて前記損失を算出することを特徴とする注視領域モデル生成システム。
  3. 　請求項１又は２に記載の注視領域モデル生成システムにおいて、
    　前記注視領域モデルは、複数種類のカテゴリについて、前記注視領域情報を出力するものであることを特徴とする注視領域モデル生成システム。
  4. 　請求項１～３のいずれか１項に記載の注視領域モデル生成システムにおいて、
    　前記注視領域モデルのバックボーンとして、ＲｅｓＮｅｔが用いられていることを特徴とする注視領域モデル生成システム。
  5. 　請求項１～４のいずれか１項に記載の注視領域モデル生成システムによって生成された注視領域モデルを用いて、所定の前記溶接画像を示す画像データに基づいて、注視領域情報を生成する推論部と、
    　前記推論部によって生成された注視領域情報によって示された最大ノイズ強度に応じて特定される前記溶接画像内の各画素の画素値にガンマ補正を行うことにより、表示画像内の各位置の画素値を算出する画素値算出部と、
    　前記画素値算出部によって算出された画素値に基づいて、前記表示画像を表示する画像表示部とを備えた推論装置。
PCT/JP2023/004394 2022-03-03 2023-02-09 注視領域モデル生成システム及び推論装置 WO2023166940A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-032906 2022-03-03
JP2022032906 2022-03-03

Publications (1)

Publication Number Publication Date
WO2023166940A1 true WO2023166940A1 (ja) 2023-09-07

Family

ID=87883323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004394 WO2023166940A1 (ja) 2022-03-03 2023-02-09 注視領域モデル生成システム及び推論装置

Country Status (1)

Country Link
WO (1) WO2023166940A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020177582A (ja) * 2019-04-22 2020-10-29 株式会社東芝 学習装置、学習方法、プログラムおよび認識装置
US20210142467A1 (en) * 2019-11-13 2021-05-13 Software Ag Systems and methods of generating datasets for training neural networks
WO2021130888A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 学習装置、推定装置および学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020177582A (ja) * 2019-04-22 2020-10-29 株式会社東芝 学習装置、学習方法、プログラムおよび認識装置
US20210142467A1 (en) * 2019-11-13 2021-05-13 Software Ag Systems and methods of generating datasets for training neural networks
WO2021130888A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 学習装置、推定装置および学習方法

Similar Documents

Publication Publication Date Title
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
JP4104585B2 (ja) 粒子の高精度測定システム
KR102473547B1 (ko) 부품의 실장 상태를 검사하기 위한 방법, 인쇄 회로 기판 검사 장치 및 컴퓨터 판독 가능한 기록매체
JP7343624B2 (ja) レーザー切削縁部を評価するための方法、移動端末機器およびシステム
JP2005201861A (ja) ３次元視覚センサ
JP2009250844A (ja) 三次元形状計測方法および三次元形状計測装置
US20220118558A1 (en) Repair welding system, repair welding method, inspection device, and robot control device
WO2023166940A1 (ja) 注視領域モデル生成システム及び推論装置
JP5340814B2 (ja) レーザ溶接部評価方法
JPH10155091A (ja) 画像記録装置
US20230005157A1 (en) Pattern-edge detection method, pattern-edge detection apparatus, and storage medium storing program for causing a computer to perform pattern-edge detection
WO2004109268A1 (en) Weld quality evaluation
JP2021189239A (ja) ベルト検査システムおよびベルト検査プログラム
JP2022150065A (ja) 検査装置、コンピュータプログラム、および、検査方法
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
CN115210036A (zh) 焊道外观检查设备、焊道外观检查方法、程序以及焊道外观检查系统
WO2023053727A1 (ja) 画像処理装置、処理システム、画像表示方法及びプログラム
JP2008300486A (ja) 半導体装置の検査システム、検査方法、及び検査装置
JP2021022257A (ja) 点検支援システム、サーバ装置、点検支援方法、及び点検支援プログラム
KR20200045264A (ko) 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
US20230264302A1 (en) Repair welding segment detection method and repair welding segment detection device
WO2020189269A1 (ja) 画像処理方法、画像処理装置、プログラム
JP7142825B1 (ja) 画像判定方法及び画像判定システム
WO2023171095A1 (ja) 溶接における欠陥予測システム、機械学習装置、欠陥予測方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763202

Country of ref document: EP

Kind code of ref document: A1