WO2023074183A1 - 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法 - Google Patents

学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法 Download PDF

Info

Publication number
WO2023074183A1
WO2023074183A1 PCT/JP2022/034802 JP2022034802W WO2023074183A1 WO 2023074183 A1 WO2023074183 A1 WO 2023074183A1 JP 2022034802 W JP2022034802 W JP 2022034802W WO 2023074183 A1 WO2023074183 A1 WO 2023074183A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
support system
unit
model
Prior art date
Application number
PCT/JP2022/034802
Other languages
English (en)
French (fr)
Inventor
晴輝 江口
成志 吉田
智隆 西本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023074183A1 publication Critical patent/WO2023074183A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a learning support system for a visual inspection model of a welded part, a visual inspection device, a software update device for visual inspection, and a method for updating a visual inspection model.
  • Patent Documents 5 and 6 disclose an example of performing machine learning using a learning image and learning data obtained by data extension of the learning image in obtaining the aforementioned feature amount or appearance inspection model. disclosed.
  • visual inspection software that incorporates visual inspection models enhanced by machine learning is open to the public.
  • AI artificial intelligence
  • a visual inspection device if there is an erroneous detection of a welding defect, for example, a detection omission, the image data of the welded part that failed to be detected is input and added to the visual inspection model. It is necessary to re-learn. In addition, it is necessary to incorporate the re-learned appearance inspection model into the appearance inspection software and verify whether omissions in detection have been eliminated.
  • the present disclosure has been made in view of this point, and its purpose is to allow workers with little knowledge of AI and machine learning to easily handle it, and to shorten the generation time and update time of the appearance inspection model of the welded part. It is an object of the present invention to provide a learning support system, a visual inspection device, a software update device for visual inspection, and a method for updating a model for visual inspection.
  • a learning support system for a visual inspection model of a welded part, comprising: a data acquisition unit for acquiring image data of the welded part; a storage unit that stores at least a plurality of learning data generated based on the image data and the appearance inspection model; a data dividing unit that divides the plurality of learning data into predetermined sizes; and the data dividing unit.
  • the appearance read out from the storage unit based on the plurality of divided learning data and the image data acquired from the data acquisition unit and divided into the predetermined size by the data division unit.
  • a learning unit that performs machine learning on the inspection model and generates a plurality of trained models; and a learning unit that evaluates the plurality of trained models according to predetermined evaluation criteria and selects the trained model with the best performance. and an evaluation unit, wherein the addition of annotations to the image data is characterized by identifying a defective welding location in the image data and labeling the defective welding location with a type of the welding failure.
  • a visual inspection apparatus includes at least a shape measuring device that measures the shape of a welded portion of a workpiece that is an object to be welded, and a shape evaluation device that determines the presence and type of welding defects at the welded portion
  • the shape evaluation device includes a preprocessing unit that converts the measurement result of the shape measurement device into image data and converts the image data into a predetermined format, and a visual inspection model for evaluating the shape of the welded portion. and a determination unit that evaluates the image data converted by the preprocessing unit with the appearance inspection model to determine the presence and type of welding defects at the welding location; and an output unit for outputting the determination result of the determination unit, wherein the visual inspection model is a model generated or updated using the learning support system.
  • An apparatus for updating visual inspection software is an apparatus for updating visual inspection software having at least one first computer and a second computer, wherein at least the second computer includes the learning support system wherein teacher data is created based on the image data by either one or more of the first computers or the second computer,
  • the second computer determines that visual inspection software in which the updated visual inspection model is installed is available. 1 computer, and the first computer that receives the notification is configured to obtain the visual inspection software from the second computer.
  • a method for updating a model for visual inspection is a method for updating a model for visual inspection of a welded portion, comprising: a first step of acquiring image data of the welded portion; a second step of annotating the image data by labeling the type of the welding defect; performing data augmentation processing on the annotated image data to generate a plurality of learning data; a third step, a fourth step of dividing each of the plurality of learning data into predetermined sizes, the plurality of learning data divided in the fourth step, and the predetermined size obtained in the first step; a fifth step of generating an integrated data group by mixing the divided image data with the image data, and performing machine learning of the visual inspection model based on the integrated data group to generate a plurality of trained models. a sixth step; a seventh step of evaluating the plurality of trained models according to predetermined evaluation criteria and selecting a trained model with the best performance; and an eighth step of updating to the learned model.
  • the present disclosure it is possible to shorten the generation time and update time of the appearance inspection model of the welded part.
  • an operator who lacks knowledge of AI and machine learning can easily generate and update the visual inspection model.
  • FIG. 1 is a schematic configuration diagram of a visual inspection apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a schematic configuration diagram of a learning support system for an appearance inspection model.
  • FIG. 3 is another schematic block diagram of the learning support system for visual inspection models.
  • FIG. 4 is a diagram showing an example of a sequence data group.
  • FIG. 5 is a flow chart showing the procedure for updating the visual inspection model.
  • FIG. 6A is a schematic cross-sectional view showing an example of poor welding.
  • FIG. 6B is a cross-sectional schematic diagram showing another example of poor welding.
  • FIG. 6C is a schematic cross-sectional view showing yet another example of poor welding.
  • FIG. 6D is a schematic plan view showing yet another example of poor welding.
  • FIG. 6A is a schematic cross-sectional view showing an example of poor welding.
  • FIG. 6B is a cross-sectional schematic diagram showing another example of poor welding.
  • FIG. 6C is a schematic cross-sectional view showing yet
  • FIG. 7A is a schematic diagram showing an example of a data extension procedure.
  • FIG. 7B is a schematic diagram showing another example of the data extension procedure.
  • FIG. 8A is a schematic diagram showing an example of a procedure for dividing image data.
  • FIG. 8B is a schematic diagram showing another example of the procedure for dividing image data.
  • FIG. 9 is a schematic diagram showing an example of an interpolation procedure for image data.
  • 10A and 10B are diagrams for comparing the required time and execution subjects when updating the visual inspection model.
  • FIG. 11 is a diagram showing another example of the sequence data group.
  • FIG. 12A is a schematic diagram showing a data delivery path according to the second embodiment.
  • FIG. 12B is a schematic diagram showing another delivery route of data according to the second embodiment.
  • FIG. 1 shows a schematic configuration diagram of a visual inspection apparatus according to this embodiment, and the visual inspection apparatus 10 has a shape measuring device 20 and a shape evaluating device 30 .
  • the shape evaluation device 30 has a plurality of functional blocks, and specifically has a preprocessing unit 31 , a first storage unit 32 , a determination unit 33 and an output unit 34 .
  • the shape evaluation device 30 is configured by a known computer, and by executing software implemented on a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), a plurality of functional blocks in the shape evaluation device 30 Each functional block operates as it is configured.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the shape measuring device 20 includes a laser light source (not shown) configured to scan the surface of a workpiece 200 (see FIGS. 6A to 6D), which is an object to be welded, and a reflection of the laser beam projected on the surface of the workpiece 200. It is a known three-dimensional shape measurement sensor configured with a camera (not shown) that captures a trajectory (hereinafter sometimes referred to as a shape line).
  • the shape measuring device 20 scans the entire welding point 201 (see FIGS. 6A to 6D) of the workpiece 200 with a laser beam as a light emitting part, and the laser beam reflected at the welding point 201 is imaged by a camera as a light receiving part. Thereby, the shape of the welded portion 201 is measured.
  • the shape measuring device 20 is configured to measure the shape not only of the welded portion 201 but also of the periphery of the welded portion 201 within a predetermined range. This is for evaluating the presence or absence of spatter 204 and smut 206 (see FIG. 6D), which will be described later.
  • the camera has a CCD or CMOS image sensor as an imaging device.
  • the configuration of the shape measuring device 20 is not particularly limited to the above, and other configurations can be adopted. For example, an optical interferometer may be used instead of the camera.
  • the shape evaluation device 30 determines the presence or absence of defective welding at the welding location 201 and the type thereof.
  • the preprocessing unit 31 receives shape data acquired by the shape measuring device 20 and converts it into image data, that is, point cloud data of shape lines. This point cloud data is data on a three-dimensional space.
  • the preprocessing unit 31 corrects the inclination and distortion of the base portion of the welding point 201 with respect to a predetermined reference plane, for example, the installation surface of the workpiece 200, by statistically processing the point cloud data. Generate image data about the shape. In addition to this, for example, in order to emphasize the shape and position of the welded portion 201, edge enhancement correction may be performed to emphasize the periphery of the welded portion 201.
  • a predetermined reference plane for example, the installation surface of the workpiece 200
  • the preprocessing unit 31 has a noise removal function for the data acquired by the shape measuring device 20. Since the reflectance of the laser beam emitted from the shape measuring device 20 differs depending on the material of the workpiece 200, if the reflectance is too high, halation or the like will occur, resulting in noise, and image data such as point cloud data may not be generated well. . For this reason, the preprocessing unit 31 is configured to perform noise filtering processing on software. Noise can be similarly removed by providing an optical filter (not shown) in the shape measuring device 20 itself. High-quality image data can be obtained by using an optical filter and filtering processing on software together.
  • the preprocessing unit 31 divides the image data into predetermined sizes.
  • the predetermined size is a data size determined in advance when performing the determination processing in the determination unit 33 . If the format of the image data is different from the data format that can be processed by the determination unit 33 , the preprocessing unit 31 converts the format of the image data into a format that can be processed by the determination unit 33 .
  • the first storage unit 32 is composed of a semiconductor memory such as a RAM or SSD, a hard disk, or the like.
  • the first storage unit 32 may be built on a server configured to communicate with the visual inspection apparatus 10 via wireless or wired communication.
  • the first storage unit 32 stores at least the appearance inspection model for the determination processing in the determination unit 33 .
  • the visual inspection model is a combination of a plurality of weighted discriminators, and is a known object detection algorithm. For example, it is represented by CNN (Convolutional Neural Network), YOLO (You Only Look Once), Faster R-CNN (Regions with Convolutional Neural Networks), and the like.
  • the appearance inspection model is a file that describes a group of numerical values necessary to determine the presence or absence and type of welding defects, and is also called a weight file.
  • the appearance inspection model (weight file) is generated by the learning support system 100 based on the image data (hereinafter referred to as teacher data) of the welding point 201 in which the position, size, and type of welding defects are specified in advance. . Further, when there is an error in the determination result of the determination unit 33, the machine learning is performed again by the learning support system 100, thereby updating the visual inspection model. Note that the determination result of the determination unit 33 may be stored in the first storage unit 32 .
  • the determination result may be saved in a state in which the data such as the lot number, welding processing date and time, and inspection date and time are associated with each other. Further, the data acquired by the shape measuring device 20 and the image data obtained by converting the data are stored in the first storage unit 32 in association with data such as the lot number, welding processing date and time, and inspection date and time. good too.
  • the determination unit 33 is composed of one or more GPUs, evaluates the image data converted by the preprocessing unit 31 with the appearance inspection model, and determines the presence or absence and type of defective welding at the welding location 201 .
  • a known inference engine such as YOLO, which is an object detection algorithm, is implemented as the determination unit 33 .
  • the appearance inspection model (weight file) called from the first storage unit 32 is set in the determination unit 33, image data is input to the determination unit 33, and inference processing is performed by the inference engine. The presence or absence and type of defective welding in is determined.
  • another inference engine for object detection may be mounted in the determination unit 33 .
  • the output unit 34 stores the determination result of the determination unit 33 as data in the first storage unit 32 .
  • the output unit 34 also functions as a notification unit that notifies the welding operator of the determination result as an image, voice, or sound.
  • welding operator includes not only a person who actually performs the welding work, but also a manager of the welding work, a manager of the visual inspection device 10, and a manager of the welding device.
  • FIG. 2 shows a schematic configuration diagram of a learning support system for visual inspection models
  • FIG. 3 shows a schematic configuration diagram of another learning support system.
  • FIG. 4 shows an example of a sequence data group.
  • the learning support system 100 has a plurality of functional blocks and includes known computers as components. By executing software implemented on a CPU (Central Processing Unit) or GPU (Graphics Processing Unit) included in the computer, a plurality of functional blocks in the learning support system 100 are configured and each functional block operates. do.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the learning support system 100 has a data acquisition unit 101, a data format conversion unit 102, an annotation addition unit 103, a data extension unit 104, and a data division unit 105 as functional blocks.
  • the learning support system 100 also has a learning unit 107, an evaluation unit 108, and an updating unit 109 as functional blocks.
  • the learning support system 100 also has a second storage unit (storage unit) 106 and a display/input unit 110 as functional blocks.
  • the data acquisition unit 101 acquires image data of the welded part 201 from the outside, for example, the visual inspection device 10 .
  • a data format conversion unit 102 converts the image data acquired by the data acquisition unit 101 into a format that can be processed by the learning unit 107 . Note that if the image data acquired by the data acquisition unit 101 is already in a format that can be processed by the learning unit 107, the data format conversion unit 102 can be omitted.
  • the annotation adding unit 103 adds annotations to image data.
  • annotation refers to adding information about the presence or absence of the defective welding point 210 (see FIGS. 6A to 6D) to the image data, and specifying the position and size of the defective welding point 210 on the image data. and labeling the type of weld failure to the weld failure location 210 .
  • the image data is displayed on the display screen of the display/input unit 110, and the defective welding point 210 is specified by surrounding it with a frame line.
  • the type name of the welding failure for example, pit, smut, hole, undercut, spatter, etc.
  • the color of the frame line and its interior is changed according to the type of welding defect and displayed on the display screen.
  • Annotations to image data are generally performed by welding workers who are proficient in welding work.
  • the annotation adding unit 103 of this embodiment executes processing via the display/input unit 110 .
  • the image data can be enlarged or reduced at a desired magnification and displayed on the display/input unit 110 .
  • on the display/input unit 110 it is possible to select whether the image data is to be displayed in a three-dimensional space as point cloud data, or whether the image data is to be smoothed and displayed in a three-dimensional space.
  • the welding defect 210 can be specified by enclosing the image data, which is point cloud data in a three-dimensional space, two-dimensionally with a frame, the amount of data processing can be reduced, and the processing time required for annotating can be reduced. can be shortened.
  • the amount of data processing can be further reduced, and the processing time required for annotating is reduced. can be further shortened.
  • annotation adding unit 103 may be configured as an annotation support system 300 that is separate from the learning support system 100, as shown in FIG.
  • the learning support system 100 and the annotation support system 300 may be separate software implemented on the same or different hardware.
  • the annotation support system 300 may be provided with the display/input unit 110 separately.
  • the data extension unit 104 performs data extension processing based on the annotated image data to generate a plurality of learning data.
  • the data augmentation process may be executed outside the learning support system 100 .
  • the data extension unit 104 is implemented in another software outside the learning support system 100, and the plurality of learning data generated after the data extension processing is stored in the second storage unit 106 via wired or wireless communication. Saved.
  • the data division unit 105 divides each of the plurality of learning data read from the second storage unit 106 into data sizes predetermined for machine learning in the learning unit 107 . Further, the data dividing unit 105 divides the image data acquired by the data acquiring unit 101 and annotated by the annotation adding unit 103 into data of a predetermined data size for performing machine learning by the learning unit 107. .
  • the second storage unit (storage unit) 106 is composed of a semiconductor memory such as a RAM or an SSD, a hard disk, or the like, similar to the first storage unit 32 shown in FIG.
  • the second storage unit 106 may be built on a server configured to be able to communicate with the visual inspection apparatus 10 via wireless or wired communication.
  • the second storage unit 106 stores at least one or more appearance inspection models created in advance and learning data generated by the data extension unit 104 . Although not shown, the learning data divided by the data division unit 105 is also stored in the second storage unit 106 . The second storage unit 106 also stores learning data generated in the past.
  • the learning unit 107 is composed of one or more GPUs, similar to the determination unit 33 shown in FIG.
  • the learning unit 107 performs machine learning on the visual inspection model based on the plurality of learning data and the image data divided by the data dividing unit 105, and generates a plurality of trained models.
  • the learning unit 107 is equipped with a known inference engine such as YOLO, which is an object detection algorithm.
  • the visual inspection model (weight file) called from the second storage unit 106 is set in the learning unit 107 .
  • a plurality of divided learning data and image data are input to the learning unit 107 to perform machine learning on the inference engine.
  • the learning unit 107 generates a learned model (weight file) each time the learning is repeated a predetermined number of times, and the generated learned model is stored in the second storage unit 106 each time. . A series of processes are repeatedly executed until the number of repetitions reaches a certain value. Note that another inference engine may be implemented in the learning unit 107 .
  • the evaluation unit 108 evaluates the plurality of trained models generated by the learning unit 107 according to predetermined evaluation criteria, and selects the trained model with the best performance.
  • the evaluation criteria are set based on the following concept.
  • Table 1 shows the pattern of the evaluation results of the trained model.
  • the detection result obtained by inputting teacher data into the trained model and the actual evaluation result of the teacher data in other words, the welder annotated the image data.
  • the quality of the trained model is judged from the correlation result with the result of the training.
  • patterns 1 and 4 when the detection result of the learned model matches the actual evaluation result of the teacher data, the learned model is evaluated as good.
  • patterns 2 and 3 when the detection result of the trained model and the actual evaluation result of the teacher data do not match, the trained model is a model that causes false detection, that is, is evaluated as defective. .
  • the occurrence frequency of pattern 3 shown in Table 1 (detection result by learned model: non-defective product, actual evaluation result: defective) is made as low as possible so as not to fail to detect defective welding.
  • the detection rate is used as an evaluation value.
  • the "detection rate” refers to the degree of overlap between the actual evaluation result of the training data and the detection result obtained by inputting the training data into the trained model.
  • the detection rate as an evaluation value refers to the degree of agreement between the detection results input to the trained model and the actual evaluation results. It can be said that the higher the detection rate, the better the evaluated trained model.
  • the evaluation unit 108 selects the learned model (weight file) with the highest detection rate from among the plurality of learned models (weight files) generated by the learning unit 107 as the visual inspection model.
  • the update unit 109 updates the model for visual inspection to the learned model selected by the evaluation unit 108 and stores the updated model for visual inspection in the second storage unit 106 .
  • the updated appearance inspection model is saved in the second storage unit 106 after being given a different file name from the original appearance inspection model.
  • the update unit 109 may function as an output unit that outputs the learned model selected by the evaluation unit 108 to the outside of the learning support system 100 as a model for visual inspection.
  • the software for realizing the function of the shape evaluation device 30, that is, the above-mentioned appearance inspection software is updated by incorporating the appearance inspection model into the external appearance inspection system 100. You may function as an output part which outputs to. In this case, the visual inspection software before update is stored in the second storage unit 106 in advance. Note that the function of the update unit 109 may be incorporated in the evaluation unit 108 .
  • one learned model and the data group used for its generation are associated with each other and stored in the second storage unit 106 as one sequence data group.
  • the data group includes learning data used for learning, a data file describing a data division procedure, and a data file describing an evaluation method.
  • sequence data group includes log data for generating and updating models for visual inspection. For example, it includes all conditions for generation and update processing, commands input for each processing, and the like.
  • sequence data group also includes data files in which learning results and evaluation results are described.
  • sequence data group is saved and managed as one sequence folder.
  • a desired sequence folder is selected on the display/input unit 110, displayed on the screen, and then displayed as it is. Or you can use it with modifications.
  • each sequence folder is assigned a name or number (see FIG. 4).
  • the welding operator using the learning support system 100 can directly check the data in the sequence folder, for example, all the conditions described above, as necessary. can also
  • the display/input unit 110 is composed of, for example, a color screen touch panel display. A touch pen may be added as an input device.
  • the display/input unit 110 may be composed of a known liquid crystal display or organic EL display and an input device to the learning support system 100, such as a mouse and keyboard.
  • the display/input unit 110 displays the data used for evaluation of the visual inspection model and the update processing status of the visual inspection model, and is configured so that a sequence data group including the data can be selected on the screen. .
  • the display/input unit 110 functions at least as an input unit for inputting execution commands when executing the data division, learning and evaluation described above. Further, the display/input unit 110 may be an input unit for inputting an execution command when executing the update processing of the visual inspection model.
  • the display/input unit 110 functions as a display unit for displaying at least the file names of the data file groups used when executing the above-described data division, learning, and evaluation. Moreover, the display/input unit 110 may be a display unit for displaying the file names of the data files used when executing the update processing of the visual inspection model.
  • the functions performed by the data acquisition unit 101, the data format conversion unit 102, and the data division unit 105 shown in FIG. 2 share the functions performed by the preprocessing unit 31 shown in FIG.
  • the functions of the first storage unit 32 shown in FIG. 1 and the second storage unit 106 shown in FIG. 2 are common.
  • the output unit 34 shown in FIG. 1 and the updating unit 109 shown in FIG. 2 also have a common data output function.
  • the determination unit 33 shown in FIG. 1 and the learning unit 107 shown in FIG. 2 also have a common machine learning function.
  • the shape evaluation device 30 and the learning support system 100 may be implemented on a common computer. Moreover, in the shape evaluation device 30 and the learning support system 100, functional blocks having the same or similar functions may be implemented on a common computer. Moreover, in these cases, part of the hardware that constitutes the computer, for example, the first storage unit 32 and the second storage unit 106 may be constructed on the server.
  • the updated appearance inspection model or the appearance inspection software incorporating the updated appearance inspection model may be output from the update unit 109 to the computer that constitutes the shape evaluation device 30 .
  • the visual inspection model or visual inspection software is stored in the first storage unit 32 .
  • FIG. 5 shows a flow chart of the procedure for updating the visual inspection model.
  • the visual inspection apparatus 10 shown in FIG. since it is necessary to re-learn the used visual inspection model, the learning support system 100 shown in FIG. 2 or 3 is used to re-learn and update the visual inspection model.
  • step S1 the image data of the welding point 201 where detection omission has occurred is obtained from the data obtaining unit 101 (step S1).
  • the data format conversion unit 102 converts the image data into a format that enables learning processing, which will be described later (step S2). Note that if the image data acquired in step S1 is already in a format that allows the learning process, step S2 is omitted.
  • step S3 annotate the image data.
  • the defective welding locations 210 included in the image data are identified and segmented on the data, and the segmented defective welding locations 210 are labeled with the type of the defective welding. Also in step S3, as described above, annotations are added by the welding operator.
  • annotation may be added semi-automatically by the annotation adding unit 103 or the annotation support system 300 described above.
  • annotation assigning unit 103 and the annotation support system 300 are provided with a learning/inference unit (not shown).
  • the "inspection model" in the specification of the present application is a model used when annotations are semi-automatically assigned, and is distinguished from the above-described appearance inspection model.
  • the inspection model is also a known object detection algorithm, and is a combination of a plurality of weighted discriminators. For example, it is expressed by CNN, YOLO, Faster R-CNN, and the like.
  • the aforementioned YOLO can be used as an inspection model.
  • the inspection model is a trained model that has been subjected to machine learning by inputting teacher data that has already been acquired or learning data that is generated based on the teacher data. By inputting the image data into the inspection model, the presence or absence of the weld failure at the weld location 201 and the weld failure location 210 are identified, and the weld failure location 210 is labeled with its type.
  • the data extension unit 104 performs data extension processing based on the annotated image data (step S4).
  • step S ⁇ b>4 a plurality of learning data are generated and the learning data are stored in the second storage unit 106 .
  • the original image data with annotations is sent to each unit of the learning support system 100 as shown below according to the data size. If the data size of the original image data is within a predetermined range, the original image data is sent to learning section 107 or second storage section 106 . If the data size of the original image data exceeds a predetermined range, it is sent to the data division unit 105 . If the original image data has already been mixed with the learning data or does not need to be used in subsequent processing, no particular operation is performed on the original image data.
  • the second storage unit 106 stores not only the output result of the data extension unit 104 but also the output result of the data division unit 105 .
  • various patterns of welding locations (weld beads) 201 can be visualized.
  • the visualized results can be checked, for example, on the display/input unit 110, selected by a welding operator or the like, and reused in subsequent processes. Also, it is possible to re-learn by inputting to the learning unit 107 .
  • FIG. 6A shows an example of poor welding
  • FIG. 6B shows another example of poor welding
  • FIG. 6C shows yet another example of poor welding
  • 6A to 6C are schematic cross-sectional views
  • FIG. 6D is a schematic plan view showing still another example of poor welding.
  • the welding point 201 is an elongated weld bead along the welding direction (see, for example, FIG. 6D), but is not particularly limited to this, and the welding point 201 is a spot-shaped weld bead.
  • the welded portion 201 may be a weld bead having a curved or bent shape.
  • a part of the welding point 201 is melted down (hereinafter, a through hole formed in the work 200 by a part of the welding point 201 being melted down from the work 200 is referred to as a hole 202 ), and undercuts 203 may occur, as shown in FIG. 6B.
  • the undercut 203 refers to a defective portion in which the portion at the weld bead is recessed from the surface of the workpiece 200 .
  • the work 200 is a galvanized steel sheet, as shown in FIG. 6C, a part of the work 201 may evaporate from the welded portion 201 to form a pit 205 . Further, as shown in FIG.
  • the pits 205 are open on the surface of the weld bead, and the smut 206 is black soot-like deposits generated in the vicinity of the weld bead.
  • 204 etc., are each one of the types of weld defects 210 .
  • shape defects ie, weld defects, at the weld defect location 210 .
  • Data extension processing for image data that includes images of such welding defects is performed as follows.
  • FIG. 7A schematically shows an example of the data extension procedure
  • FIG. 7B schematically shows another example of the data extension procedure.
  • a plurality of learning data are generated by changing the size and position of the perforations 202 in the original image data.
  • the height from the reference plane and the difference in height between a plurality of points in the welded portion 201 are extracted as feature amounts, and these are varied.
  • similar processing can be performed on the pits 205 to generate a plurality of pieces of learning data.
  • similar processing can be performed around the welding point 201 to generate a plurality of learning data in which the sizes and positions of the spatters 204 and smut 206 are changed (see FIG. 7B).
  • the data division unit 105 divides the image data acquired by the data acquisition unit 101 and annotated into sizes that enable learning processing. Further, the data dividing unit 105 divides each of the plurality of learning data generated in step S4 into sizes that enable learning processing. (Step S5).
  • FIG. 8A schematically shows an example of an image data division procedure
  • FIG. 8B schematically shows another example of an image data division procedure
  • FIG. 9 schematically shows an example of an interpolation procedure for image data.
  • the division method can be selected from multiple options.
  • the image data or learning data may be divided from the front along the welding direction, or may be divided from the rear. Alternatively, it may be split from both the front and back.
  • the image data and the learning data may be divided into a plurality of pieces, that is, the divided data may be partially overlapped.
  • the position of the welding defect 210 in the division data is changed. Therefore, even if the image data includes the same welding defect portion 210, it is treated as different data as learning data used for machine learning. In other words, a kind of data extension processing is performed by changing the division direction and division width.
  • data division may be performed as shown in FIG.
  • the divided data may be associated with each other by assigning the order indicated by the arrows.
  • the second storage unit 106 which will be described later, stores an AI setting file describing various parameters for controlling the operation of the inference engine set in the learning unit 107.
  • This AI setting file describes the maximum data size that can be learned by the inference engine.
  • the data dividing unit 105 may refer to the maximum data size in the AI setting file to determine the data size at the time of data division.
  • YOLO which is the inference engine described above, has a fixed input data size. However, when an inference engine other than YOLO is used, if the input data size can be variable, the image data and learning data can be divided into sizes equal to or smaller than the maximum size for learning processing.
  • the image data may include an area in which no data value exists (hereinafter sometimes referred to as a data-free area).
  • the data value in this case is, for example, the height from a preset reference plane, or the difference in brightness with respect to the brightness of the reference plane.
  • the data-free region is a region containing missing values in the image data.
  • Data values, eg, in the original image data may be absent in areas that do not include the weld 201 .
  • the data value exists in the data existing area corresponding to the workpiece 200, whereas the data value exists in the data non-existing area that does not include the workpiece 200. do not.
  • one of the following two methods is selected.
  • One is a minimum value interpolation method that substitutes the minimum value within the divided data as the data value of the data-free area.
  • the other is a nearest-neighbour value interpolation method in which the data values of the pixels adjacent to the data-free area are substituted as the data values of the data-free area.
  • image data is a collection of pixel signals from multiple images. Therefore, when using the nearest neighbor value interpolation method, the nearest neighbor value interpolation is performed in units of pixels at the boundary between the data existing area and the data non-existing area.
  • the learning data divided and generated in step S5 becomes part of the learning data used in step S7. Therefore, it is not necessary to associate the plurality of divided learning data with each other.
  • each of the image data after division is sent to the determination unit 33 in a state that it is the data of the same welding point 201 and the position information in the original image data is added. This association is performed by the preprocessing unit 31 .
  • step S6 An integrated data group is generated (step S6).
  • the visual inspection model to be re-learned is read from the second storage unit 106 to the learning unit 107 .
  • machine learning is performed on the visual inspection model (step S7).
  • the second storage unit 106 Machine learning is performed on the appearance inspection model read out from.
  • a plurality of trained models are generated as described above. These learned models are temporarily stored in the second storage unit 106 .
  • machine learning is usually repeated a predetermined number of times, and a learned model is generated for each learning.
  • the learning support system 100 generates related sequence data groups. Each sequence data group is stored in the second storage unit 106 .
  • the number of iterations is about 10,000.
  • the learning unit 107 is composed of a plurality of GPUs and YOLO is used as an inference engine, the first GPU performs learning a predetermined number of times, for example, about 1,000 times, and then the next GPU is used. machine learning is repeated. In this embodiment, this GPU switching is also automatically executed within the learning support system 100 .
  • the evaluation unit 108 evaluates the plurality of trained models read from the second storage unit 106 according to the evaluation criteria described above, and selects the trained model with the best performance (step S8). Specifically, the model with the highest detection rate is selected as the optimal model.
  • a series of processes from steps S5 to S8 can be executed at once by operating the display/input unit 110.
  • the display/input unit 110 selects and reads out a sequence data group including a target appearance inspection model, and further selects a method of dividing learning data and image data.
  • a learning preparation method for example, to generate a model from scratch or to modify and update the selected visual inspection model (weight file), is selected.
  • step S5, step S7, and step S8 may be individually executed.
  • the update unit 109 updates the appearance inspection model to the learned model selected in step S7. Also, the updated visual inspection model is stored in the second storage unit 106 with a file name different from that of the original visual inspection model. (Step S9).
  • step S9 may be incorporated into step S8 and processed continuously.
  • the update unit 109 may output the updated appearance inspection model to the outside of the learning support system 100, for example, to the shape evaluation device 30, or may output the appearance inspection model to the appearance inspection software.
  • the model may be incorporated, updated, and output to the outside of the learning support system 100 .
  • each process of steps S3 and S9 may be executed simultaneously with a series of processes of steps S5 to S8 by operating the display/input unit 110.
  • the learning support system 100 is a system that supports learning of a visual inspection model used for visual inspection of the welded portion 201 .
  • the learning support system 100 includes a data acquisition unit 101 that acquires image data of the welded part 201, and a second storage that stores at least a plurality of learning data and a visual inspection model generated based on the image data with annotations.
  • a unit (storage unit) 106 is provided at least. Giving annotations to the image data means identifying the poor welding location 210 in the image data and labeling the poor welding location 210 with the type of the welding failure.
  • the learning support system 100 also includes a data dividing unit 105 that divides a plurality of learning data into predetermined sizes.
  • the learning support system 100 performs a visual inspection based on a plurality of learning data divided by the data division unit 105 and image data acquired from the data acquisition unit 101 and divided into predetermined sizes by the data division unit 105.
  • a learning unit 107 is provided for performing machine learning on the model for use and generating a plurality of trained models.
  • the learning support system 100 includes an evaluation unit 108 that evaluates a plurality of trained models according to predetermined evaluation criteria and selects the trained model with the best performance.
  • the learning support system 100 also includes an update unit 109 that updates the model for visual inspection to the learned model selected by the evaluation unit 108 .
  • the function of the update unit 109 may be incorporated in the evaluation unit 108 .
  • the evaluation unit 108 evaluates a plurality of trained models according to predetermined evaluation criteria, selects the trained model with the best performance, and selects the trained model for appearance inspection as the trained model selected by itself. Update.
  • a welding operator who has little knowledge of AI and machine learning can easily handle the visual inspection model and the visual inspection software used for visual inspection of the welded portion 201 .
  • the time required for the welding operator to generate and update the appearance inspection model can be greatly reduced compared to the conventional art. This will be explained in further detail.
  • Fig. 10 shows a diagram comparing the required time and execution subject when updating the appearance inspection model.
  • a plurality of dedicated software are separately prepared for generating or updating the appearance inspection model.
  • the annotation work is performed as follows. First, a welding operator visually confirms the image data of the welded portion 201 and determines whether or not there is a defective welded portion 210 . In addition, the defective welding location 210 is specified by surrounding it with a frame line or the like, and the type of defective welding is labeled.
  • the special software 1 used at this time has a function of making the image of the welding point 201 easy to see, like the annotation adding unit 103 has. That is, the image data can be enlarged or reduced at a desired magnification and displayed. In addition, it is possible to rotate and display in a predetermined direction.
  • the welding operator looks at the entire welding point 201 and annotates each of the welding defects. requires.
  • the time required for adding annotations can be shortened to about 5 minutes to 1 hour per sample.
  • welding workers need to add annotations individually, as in the conventional method.
  • the welding operator himself needs to perform data expansion preprocessing, such as preparing the necessary data files and converting the data format as necessary.
  • data expansion preprocessing such as preparing the necessary data files and converting the data format as necessary.
  • dedicated software 2 is separately required.
  • the welding operator needs to input the output result of the dedicated software 1 to the dedicated software 2 .
  • the data extension preprocessing requires several hours of working time per sample.
  • the risk of human error at the time of input also remains.
  • image data with annotations is automatically extracted in the learning support system 100, and data augmentation preprocessing is performed.
  • necessary data file preparation and data format conversion are automatically executed within the learning support system 100 . Therefore, the time required for data augmentation preprocessing is reduced to several seconds per sample. Also, there is no risk of human error at the time of input. Note that the data extension processing itself takes about the same amount of time as the conventional method, that is, about several hours per sample.
  • the conventional method requires separate dedicated software 3 as a support tool for pre-learning processing and learning.
  • the welder himself/herself needs to prepare files necessary for integrating the learning data and the image data after the data division.
  • the welding operator needs to input the output result of the dedicated software 2 to the dedicated software 3 . Therefore, the pre-learning process, excluding the data division process, requires several hours of working time per sample. Also, the risk of human error at the time of input remains.
  • learning data after data expansion is automatically extracted within the learning support system 100, and pre-learning processing is performed.
  • necessary files are automatically prepared within the learning support system 100 . Therefore, the time required for the pre-learning process, excluding the data division process, is reduced to about several seconds per sample. Also, there is no risk of human error at the time of input. It should be noted that the data division processing itself requires about the same amount of time as the conventional method, that is, about several hours of working time per sample.
  • the dedicated software 3 used in the conventional method incorporates an inference engine for machine learning, such as the aforementioned YOLO, so the learning process itself is about the same in both the conventional method and the method of this embodiment.
  • working time (about 1 to 3 days per sample).
  • the conventional method requires the welding operator to visually confirm completion of the learning process. Therefore, if the learning process is completed outside the working hours of the welding operator, there will be a time lag before proceeding to the next step.
  • a series of processing from pre-learning processing to evaluation is continuously executed within the learning support system 100 . Therefore, the above-described time lag does not occur, and the overall work time required for generating or updating the visual inspection model can be shortened.
  • the welding operator visually checks the evaluation results and selects parameters, so it takes about 3 to 4 days of work per sample.
  • each parameter of the learned model (weight file) as the model for appearance inspection is set according to a predetermined evaluation guideline, and in this case, the learned model (weight file) with the highest detection rate are automatically calculated within the learning support system 100. Therefore, the time required for evaluation is reduced to about half a day per sample. Also, there is no risk of human error at the time of input.
  • the welding operator can significantly reduce the time required to generate and update the appearance inspection model compared to the conventional method.
  • the learning support system 100 preferably further comprises a data extension unit 104 that performs data extension processing based on the annotated image data and generates a plurality of learning data.
  • the learning support system 100 may further include an annotation adding unit 103 that adds annotations to image data.
  • annotations can be semi-automatically added to the acquired image data, shortening the overall work time required for generating and updating visual inspection models. can do.
  • the data dividing unit 105 substitutes the minimum value of the divided image data and learning data for the area where the work 200 does not exist, or substitutes the data value of the area closest to the area where the work 200 does not exist. Assignment is preferred.
  • the learning process can be executed without causing an error.
  • one trained model and the data group used for its generation are associated with each other and stored in the second storage unit 106 as one sequence data group.
  • the learning support system 100 displays the data used for evaluation of the visual inspection model and the update processing status of the visual inspection model, and is configured to allow the sequence data group including the data to be selected on the screen.
  • a display/input unit 110 is preferably further provided.
  • a desired sequence data group is selected by the display/input unit 110, restored on the learning support system 100 and read out, and then the model for visual inspection can be updated as it is or by adding a change. It can be done easily.
  • the learning support system 100 preferably further includes a data format conversion unit 102 that converts the format of the image data acquired by the data acquisition unit 101 into a format that can be processed by the learning unit 107 .
  • the image data acquired by the shape measuring device 20 may be in different data formats depending on the camera type and manufacturer.
  • the inference engine set in the learning unit 107 often supports only one type of data format. For this reason, as shown in the present embodiment, by providing the data format conversion unit 102 in the learning support system 100, a series of steps from generation of learning data to learning and evaluation of the visual inspection model can be performed within the learning support system 100. Can process. As a result, the welding operator can easily handle the appearance inspection model and the appearance inspection software used for the appearance inspection of the welded portion 201 .
  • the image data of the welded portion 201 is point cloud data in a three-dimensional space, so the amount of data processing is originally large, and it takes a long time to generate and update the visual inspection model.
  • the welder can easily generate or update the visual inspection model in a short time.
  • the detection rate described above is used as an evaluation criterion in the evaluation unit 108, and the learned model with the highest detection rate is selected as the optimum model.
  • the selection method of evaluation criteria is not particularly limited.
  • a plurality of evaluation criteria such as known mAP (mean average precision), IoU (intersection over union), and recall may be employed.
  • An evaluation value may be calculated for each of these evaluation criteria for one trained model, and an optimum model may be selected by comprehensively judging from each evaluation value. In that case, the optimum model may be selected according to the moving average, minimum value, maximum value, or the like of each evaluation value.
  • the method for updating the appearance inspection model of the present embodiment includes a first step (step S1 in FIG. 5) of acquiring image data of the welding point 201, identifying the defective welding point 210 in the image data, and identifying the type of defective welding. and a second step (step S3 in FIG. 5) of annotating the image data by labeling.
  • the method for updating the visual inspection model includes a third step (step S4 in FIG. 5) of performing data extension processing on the annotated image data and generating a plurality of learning data (step S4 in FIG. 5); A fourth step (step S5 in FIG. 5) of dividing each into predetermined sizes, a plurality of learning data divided in the fourth step, and a predetermined size acquired in the first step (step S1 in FIG. 5) and a fifth step (step S6 in FIG. 5) of generating an integrated data group by mixing the divided image data.
  • the method for updating the visual inspection model includes a sixth step (step S7 in FIG. 5) of performing machine learning of the visual inspection model to generate a plurality of learned models based on the integrated data group; A seventh step (step S8 in FIG. 5) of evaluating the learned models according to predetermined evaluation criteria and selecting the learned model with the best performance; and an eighth step (step S9 in FIG. 5) of updating to the model.
  • a welding operator who has little knowledge of AI and machine learning can easily handle the visual inspection model and the visual inspection software used for visual inspection of the welded portion 201 .
  • the time required for the welding operator to generate and update the appearance inspection model can be greatly reduced compared to the conventional art.
  • the visual inspection apparatus 10 of the present embodiment includes a shape measuring device 20 that measures the shape of a welded portion 201 of a workpiece 200, which is an object to be welded, and a shape evaluation device 30 that determines the presence and type of defective welding at the welded portion 201. , at least.
  • the shape evaluation device 30 includes a preprocessing unit 31 that converts the measurement result of the shape measurement device 20 into image data and converts the image data into a predetermined format, and a visual inspection model for evaluating the shape of the welded part 201. and a first storage unit 32 for storing at least the .
  • the shape evaluation device 30 evaluates the image data converted by the preprocessing unit 31 with a model for visual inspection, and determines the presence or absence and type of defective welding at the welding location 201.
  • a visual inspection model is a model generated or updated using the learning support system 100 .
  • the welding operator can easily handle the appearance inspection model and the appearance inspection software used for the appearance inspection of the welded portion 201 . Even if an erroneous detection of a welding defect occurs, the time required for the welding operator to generate and update the visual inspection model can be greatly reduced compared to the conventional method. As a result, the downtime of the visual inspection apparatus 10 can be reduced. Moreover, since the appearance inspection model can be updated as appropriate, the false detection rate in the appearance inspection can be reduced.
  • sequence data group includes the material of the work 200 and the welding method as data.
  • the image data is data obtained by capturing the laser beam reflected by the welding point 201 with a camera. If the material of the work 200 differs, the reflectance of the laser beam will also differ. Therefore, the irregularities on the surface of the work 200 may be reflected in the image data with different tendencies depending on the material of the work 200 . Also, arc welding or laser welding, or whether arc welding uses a welding wire as a consumable electrode like MAG welding or does not use a welding wire as a consumable electrode like TIG welding using a non-consumable electrode. Alternatively, the shape of the welded portion 201 may differ depending on whether a filler material (filler material) is used or not.
  • FIG. 12A schematically shows a data delivery path according to this embodiment
  • FIG. 12B schematically shows another data delivery path according to this embodiment.
  • the same reference numerals are given to the same parts as in the first embodiment, and detailed explanations thereof will be omitted.
  • the welding operator himself performed a series of processes from acquiring image data to updating the visual inspection model and visual inspection software.
  • the welder acquires the image data of the welding location 201 and transmits the image data to the system administrator via the computer 1000 operated by the welder.
  • the received image data may be input to the learning support system 100 on the computer 1100 operated by the system administrator to update the visual inspection model.
  • the welding operator himself does not touch the learning support system 100 .
  • Appearance inspection software in which the updated appearance inspection model is incorporated may be received and installed in the appearance inspection apparatus 10 owned by the user. By doing so, even if the welding operator lacks knowledge of AI and machine learning, it is possible to use appropriate software for visual inspection, and it is possible to reduce erroneous detection in the visual inspection of the welded portion 201 .
  • the “system administrator” in the specification of the present application includes not only the developer and designer of the learning support system 100 but also the person in charge of maintenance who repairs the learning support system 100 .
  • the criteria for judging the presence or absence and type of welding defects may differ depending on the user.
  • it is preferable that the annotation including creation of training data is performed for each user.
  • the welder himself/herself should create teacher data, that is, add annotations to the image data, and the subsequent processing should be executed within the learning support system 100 .
  • the learning support system 100 is constructed on a cloud computer 1200.
  • the shape measurement result is converted into image data.
  • teacher data is created.
  • the computer 1000 executes the conversion of the image data and the creation of the teacher data.
  • the shape measurement result may be sent to the cloud computer 1200 and converted into image data by the cloud computer 1200 .
  • the welding operator may access the learning support system 100 of the cloud computer 1200 from the computer 1000, activate the learning support system 100, and input the image data into the learning support system 100.
  • the annotation adding unit 103 may be used to create teacher data.
  • the system administrator operates the computer 1100 to access the learning support system 100 on the cloud computer 1200. Also, the created teacher data is input to the learning support system 100 . Further, the system administrator inputs an execution command for updating the visual inspection model (hereinafter referred to as a visual inspection model update command).
  • a visual inspection model update command an execution command for updating the visual inspection model
  • the updated appearance inspection model is incorporated into the appearance inspection software.
  • the welding operator is notified that the appearance inspection software can be downloaded from the cloud computer 1200, and the welding operator accesses the cloud computer 1200 to obtain the appearance inspection software.
  • This visual inspection software incorporates an optimized weight file as a model for visual inspection. Note that the number of weight files is not limited to one, and a plurality of weight files may be provided.
  • the system administrator confirms that the sequence data group (sequence folder) containing the updated appearance inspection model is generated on the cloud computer 1200, and maintains the sequence data group.
  • the welding operator may operate the computer 1000 to access the learning support system 100 on the cloud computer 1200 and input teacher data to the learning support system 100. Furthermore, the welding operator may input an execution command for updating the visual inspection model to the learning support system 100 on the cloud computer 1200 .
  • the system administrator may be notified that the appearance inspection software can be downloaded from the cloud computer 1200, and the system administrator may access the cloud computer 1200 to obtain the appearance inspection software.
  • the learning support system 100 is operated from the computer 1000 or the computer 1100 using techniques such as desktop operation through web browser operation or remote desktop connection.
  • the system administrator may create teacher data.
  • the system administrator operates the computer 1100 to convert the shape measurement result into image data.
  • the shape measurement result may be sent from the computer 1000 .
  • the created teacher data is uploaded to the cloud computer 1200 by the system administrator operating the computer 1100 . By doing this, it becomes easier to ensure security regarding the delivery of various data. In addition, maintenance and management of the learning support system 100 and various data can be facilitated on the side of the system administrator.
  • the computer 1000 and the computer 1100 shown in FIG. 12A function as an update device for visual inspection software.
  • the computers 1000 and 1100 and the cloud computer 1200 shown in FIG. 12B function as update devices for visual inspection software.
  • the computer 1000 is called the first computer 1000 and the computer 1100 is called the second computer 1100.
  • a learning support system 100 is implemented in a second computer 1100 .
  • Teacher data created based on image data is input from the first computer 1000 to the learning support system 100 on the second computer 1100 .
  • an update command for the visual inspection model is input.
  • the updated appearance inspection model is incorporated into the appearance inspection software.
  • second computer 1100 notifies the welding operator via first computer 1000 that visual inspection software incorporating the updated visual inspection model is available.
  • a welding operator who has received the notification accesses the second computer 1100 from the first computer 1000 and obtains the visual inspection software from the second computer 1100 .
  • the computers 1000 and 1100 are called first computers 1000 and 1100, respectively, and the cloud computer 1200 is called a second computer 1200.
  • At least the second computer 1200 has the learning support system 100 installed.
  • Teacher data created based on image data is input from the first computer 1000 or the first computer 1100 to the learning support system 100 on the second computer 1200 .
  • an update command for the visual inspection model is input.
  • the updated appearance inspection model is incorporated into the appearance inspection software.
  • the welding operator or the system administrator via the first computer 1000 or the first computer 1100 to be notified.
  • a welding operator or a system administrator who has received the notification accesses the second computer 1200 from the first computer 1000 or the first computer 1100 and obtains the visual inspection software from the second computer 1200 .
  • the welding operator transmits training data from the first computer 1000 operated by him/herself to the system administrator, and the system administrator sends training data to the first computer 1100 operated by him/herself.
  • the appearance inspection model may be updated within a certain learning support system 100 .
  • visual inspection software incorporating the updated visual inspection model is sent from the system manager to the welding operator.
  • the delivery path of data relating to the generation or update of the visual inspection model is not particularly limited to the examples shown in the first and second embodiments.
  • the learning support system 100 is built on the cloud computer 1200 so that the welding operator himself/herself can execute a series of processes from acquiring image data to updating the visual inspection model and visual inspection software. good too.
  • the risk of data leakage between users can be reduced by allocating areas in the second storage unit 106 and granting access rights to each user.
  • a series of processes from at least the second step (step S3 in FIG. 5) to the eighth step (step S9 in FIG. 5) are performed by the welding operator or system administrator. may be executed by
  • step S9 the first step (step S1 in FIG. 5) and the second step (step S3 in FIG. 5) are performed by the welding operator, and the third step (step S4 in FIG. 5) to the eighth step (step S4 in FIG. A series of processes up to step S9) may be executed by a system administrator.
  • the computer 1000 operated by the welding operator and the computer 1100 operated by the system administrator are not limited to one, and may be plural.
  • the learning support system of the present disclosure is useful because it allows welders who lack knowledge of AI and machine learning to easily generate and update visual inspection models.
  • Appearance inspection device 20 Shape measurement device 30 Shape evaluation device 31 Preprocessing unit 32 First storage unit 33 Judgment unit 34 Output unit 100 Learning support system 101 Data acquisition unit 102 Data format conversion unit 103 Annotation addition unit 104 Data expansion unit 105 Data Division unit 106 Second storage unit (storage unit) 107 Learning unit 108 Evaluation unit 109 Update unit 110 Display/input unit 200 Work 201 Welding location 202 Hole 203 Undercut 204 Spatter 205 Pit 206 Smut 210 Welding defect location 300 Annotation support system 1000, 1100 Computer 1200 Cloud computer

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

学習支援システム１００は、溶接箇所２０１の画像データを取得するデータ取得部１０１と、アノテーションが付与された画像データに基づいて生成された複数の学習データを少なくとも保存する第２記憶部１０６と、を少なくとも備えている。学習支援システム１００は、複数の学習データをそれぞれ所定のサイズに分割するデータ分割部１０５と、分割された複数の学習データ及び画像データとに基づいて、外観検査用モデルに対して機械学習を行い、複数の学習済モデルを生成する学習部１０７と、複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する評価部１０８と、を備えている。

Description

学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
　本開示は、溶接箇所の外観検査用モデルの学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法に関する。
　従来、物品や物品の加工箇所の外観検査を行うにあたって、学習用画像を用いて機械学習することによって得られた特徴量あるいは外観検査用モデルに基づいて、検査対象を撮像した検査画像から該検査対象の外観検査を行う外観検査装置が開示されている（例えば、特許文献１～４参照）。
　また、特許文献５，６には、前述の特徴量あるいは外観検査用モデルを得るにあたって、学習用画像及び当該学習用画像をデータ拡張して得られる学習データを用いて機械学習を行う例が、開示されている。
特開２０２０－０３０６９５号公報 特開２０２０－０４２６６９号公報 特開２０２０－０４２７５５号公報 特開２０２０－１１５３１１号公報 国際公開第２０２０／１２９６１７号 国際公開第２０２０／１２９６１８号
　従来、機械学習により強化された外観検査用モデルが組み込まれた外観検査用ソフトウェア（以下、単に外観検査用ソフトと言う）の多くは、一般に公開されている。例えば、人工知能（Artificial Intelligence；以下、単にＡＩと言う）や機械学習に関して特別の知識が無い作業者でも、当該ソフトを利用することができる。
　一方、溶接作業においては、溶接不良の多くが凹凸を有しており、また、溶接箇所や溶接不良のサイズも十数ｍｍ以下と小さいことが多い。このため、溶接箇所の外観検査では、微小部分に関する３次元の画像データを収集し、これを解析して、溶接不良の有無等を判定する必要がある。
　しかし、前述した従来の外観検査用ソフトでは、３次元データを扱うのが難しく、多くの場合は、何らかの改修が必要となる。また、機械学習のためのデータの前処理機能と機械学習機能と良否判定機能とが、それぞれ別個のソフトウェアで実現されている場合、３次元データを扱うために、それぞれのソフトウェアを改修する必要がある。また、各ソフトウェア間でのデータの受け渡しが手作業となる場合があり、改修作業に多くの時間を要していた。
　また、外観検査装置を用いて外観検査を行った結果、溶接不良の誤検出、例えば、検出漏れが生じた場合、検出漏れとなった溶接箇所の画像データを入力して、外観検査用モデルに再学習を行わせる必要がある。また、再学習済の外観検査用モデルを外観検査用ソフトに組み込んで検出漏れが解消されたか否かの検証を行う必要がある。
　しかし、ＡＩや機械学習の知識に乏しい作業者がこれらの作業を単独で行うことは、非効率であり、多くの時間を要するだけでなく、検出漏れを確実に解消することが困難であった。
　本開示はかかる点に鑑みてなされたもので、その目的は、ＡＩや機械学習の知識に乏しい作業者が簡便に取り扱えるとともに、溶接箇所の外観検査用モデルの生成時間や更新時間を短縮可能な学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法を提供することにある。
　上記目的を達成するため、本開示に係る学習支援システムは、溶接箇所の外観検査用モデルの学習支援システムであって、前記溶接箇所の画像データを取得するデータ取得部と、アノテーションが付与された前記画像データに基づいて生成された複数の学習データ及び前記外観検査用モデルを少なくとも保存する記憶部と、前記複数の学習データをそれぞれ所定のサイズに分割するデータ分割部と、前記データ分割部でそれぞれ分割された前記複数の学習データと、前記データ取得部から取得されかつ前記データ分割部で前記所定のサイズに分割された前記画像データとに基づいて、前記記憶部から読み出された前記外観検査用モデルに対して機械学習を行い、複数の学習済モデルを生成する学習部と、前記複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する評価部と、を少なくとも備え、前記画像データに対するアノテーションの付与は、前記画像データにおける溶接不良箇所を特定するとともに、前記溶接不良箇所に溶接不良の種類をラベル付けすることを特徴とする。
　本開示に係る外観検査装置は、被溶接物であるワークの溶接箇所の形状を計測する形状計測装置と、前記溶接箇所における溶接不良の有無及び種類を判定する形状評価装置と、を少なくとも備え、前記形状評価装置は、前記形状計測装置の計測結果を画像データに変換し、かつ前記画像データを所定の形式に変換する前処理部と、前記溶接箇所の形状を評価するための外観検査用モデルを少なくとも保存する第１記憶部と、前記前処理部で変換処理された前記画像データを前記外観検査用モデルで評価して、前記溶接箇所における溶接不良の有無及び種類を判定する判定部と、前記判定部での判定結果を出力する出力部と、を少なくとも有し、前記外観検査用モデルは、前記学習支援システムを用いて生成または更新されたモデルであることを特徴とする。
　本開示に係る外観検査用ソフトの更新装置は、１以上の第１コンピュータと第２コンピュータとを有する外観検査用ソフトの更新装置であって、少なくとも前記第２コンピュータには、前記学習支援システムが実装されており、１以上の前記第１コンピュータのいずれか、または前記第２コンピュータで、前記画像データに基づいて教師データが作成され、１以上の前記第１コンピュータのいずれかから、前記第２コンピュータに前記外観検査用モデルの更新命令が入力された場合、前記第２コンピュータは、更新後の前記外観検査用モデルが組み込まれた外観検査用ソフトが利用可能であると、１以上の前記第１コンピュータのいずれかに通知し、当該通知を受け取った前記第１コンピュータは、前記第２コンピュータから前記外観検査用ソフトを入手するように構成されていることを特徴とする。
　本開示に係る外観検査用モデルの更新方法は、溶接箇所の外観検査用モデルの更新方法であって、前記溶接箇所の画像データを取得する第１ステップと、前記画像データにおける溶接不良箇所を特定し、溶接不良の種類をラベル付けすることで、前記画像データにアノテーションを付与する第２ステップと、アノテーションが付与された前記画像データに対してデータ拡張処理を行い、複数の学習データを生成する第３ステップと、前記複数の学習データをそれぞれ所定のサイズに分割する第４ステップと、前記第４ステップで分割された前記複数の学習データと、前記第１ステップで取得されかつ前記所定のサイズに分割された前記画像データとを混合して統合データ群を生成する第５ステップと、前記統合データ群に基づいて、前記外観検査用モデルの機械学習を行い、複数の学習済モデルを生成する第６ステップと、前記複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する第７ステップと、前記外観検査用モデルを前記第５ステップで選択された学習済モデルに更新する第８ステップと、を少なくとも備えたことを特徴とする。
　本開示によれば、溶接箇所の外観検査用モデルの生成時間や更新時間を短縮することができる。また、ＡＩや機械学習の知識に乏しい作業者が外観検査用モデルの生成や更新を簡便に行うことができる。
図１は、実施形態１に係る外観検査装置の概略構成図である。 図２は、外観検査用モデルの学習支援システムの概略構成図である。 図３は、外観検査用モデルの学習支援システムの別の概略構成図である。 図４は、シーケンスデータ群の一例を示す図である。 図５は、外観検査用モデルの更新手順を示すフローチャートである。 図６Ａは、溶接不良の一例を示す断面模式図である。 図６Ｂは、溶接不良の別の例を示す断面模式図である。 図６Ｃは、溶接不良のさらなる別の例を示す断面模式図である。 図６Ｄは、溶接不良のさらなる別の例を示す平面模式図である。 図７Ａは、データ拡張手順の一例を示す模式図である。 図７Ｂは、データ拡張手順の別の一例を示す模式図である。 図８Ａは、画像データの分割手順の一例を示す模式図である。 図８Ｂは、画像データの分割手順の別の一例を示す模式図である。 図９は、画像データの補間手順の一例を示す模式図である。 図１０は、外観検査用モデルの更新時の所要時間及び実行主体を比較した図である。 図１１は、シーケンスデータ群の別の一例を示す図である。 図１２Ａは、実施形態２に係るデータの受け渡し経路を示す模式図である。 図１２Ｂは、実施形態２に係るデータの別の受け渡し経路を示す模式図である。
　以下、本開示の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
　（実施形態１）
　［外観検査装置の構成］
　図１は、本実施形態に係る外観検査装置の概略構成図を示し、外観検査装置１０は、形状計測装置２０と形状評価装置３０とを有している。なお、形状評価装置３０は、複数の機能ブロックを有しており、具体的には、前処理部３１と第１記憶部３２と判定部３３と出力部３４とを有している。通常、形状評価装置３０は、公知のコンピュータで構成され、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）上に実装されたソフトウェアを実行することで形状評価装置３０内の複数の機能ブロックが構成されるとともに、各機能ブロックが動作する。
　形状計測装置２０は、被溶接物であるワーク２００（図６Ａ～６Ｄ参照）の表面を走査可能に構成されたレーザ光源（図示せず）と、ワーク２００の表面に投影されたレーザ光の反射軌跡（以下、形状線と呼ぶことがある。）を撮像するカメラ（図示せず）とで構成された公知の３次元形状計測センサである。形状計測装置２０によって、ワーク２００の溶接箇所２０１（図６Ａ～６Ｄ参照）の全体を発光部としてのレーザ光線で走査し、溶接箇所２０１で反射されたレーザ光線を受光部としてのカメラで撮像することにより、溶接箇所２０１の形状が計測される。なお、形状計測装置２０は溶接箇所２０１だけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、後述するスパッタ２０４やスマット２０６（図６Ｄ参照）の有無を評価するためである。なお、カメラは撮像素子としてＣＣＤまたはＣＭＯＳイメージセンサを有している。また、形状計測装置２０の構成は特に上記に限定されず、他の構成を採りうる。例えば、カメラの代わりに光干渉計を用いてもよい。
　形状評価装置３０は、溶接箇所２０１における溶接不良の有無及びその種類を判定する。前処理部３１は、形状計測装置２０で取得された形状データを受け取って、これを画像データ、つまり、形状線の点群データに変換する。この点群データは、３次元空間上のデータである。
　また、前処理部３１は、所定の基準面、例えば、ワーク２００の設置面に対する溶接箇所２０１のベース部分の傾斜や歪み等を、点群データを統計処理することで補正し、溶接箇所２０１の形状に関する画像データを生成する。これ以外に、例えば、溶接箇所２０１の形状や位置を強調するために、溶接箇所２０１の周縁を強調するエッジ強調補正を行うこともある。
　また、前処理部３１は、形状計測装置２０で取得されたデータのノイズ除去機能を有している。ワーク２００の材質によって形状計測装置２０から出射されたレーザ光の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、点群データ等の画像データをうまく生成できない場合がある。このため、前処理部３１では、ノイズのフィルタリング処理をソフトウェア上で行うように構成されている。なお、形状計測装置２０自体に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の画像データを得ることができる。
　また、前処理部３１は、画像データを所定のサイズに分割する。所定のサイズは、判定部３３での判定処理を行うにあたって、予め定められたデータサイズである。また、画像データのフォーマットが、判定部３３で処理可能なデータフォーマットと異なっている場合、前処理部３１は、画像データのフォーマットを判定部３３で処理可能な形式に変換する。
　第１記憶部３２は、ＲＡＭやＳＳＤ等の半導体メモリやハードディスク等で構成される。第１記憶部３２は、無線または有線通信を介して、外観検査装置１０と通信可能に構成されたサーバー上に構築されていてもよい。
　第１記憶部３２は、判定部３３での判定処理のための外観検査用モデルを少なくとも保存する。外観検査用モデルは、それぞれ重み付けがなされた複数の識別器の組み合わせであり、公知の物体検出アルゴリズムである。例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）、ＹＯＬＯ（You Only Look Once）、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）等で表現される。
　具体的には、外観検査用モデルは、溶接不良の有無や種類を判定するために必要な数値群を記述したファイルであり、重みファイルとも呼ばれる。外観検査用モデル（重みファイル）は、溶接不良の位置やサイズや種類が予め特定されている溶接箇所２０１の画像データ（以下、教師データと言う）に基づいて、学習支援システム１００で生成される。また、判定部３３での判定結果に誤りがある場合等は、学習支援システム１００により再度、機械学習を行うことで、外観検査用モデルが更新される。なお、第１記憶部３２には、判定部３３での判定結果が保存されてもよい。その場合、判定結果とロット番号や溶接処理日時や検査日時等のデータがそれぞれ関連付けられた状態で保存されてもよい。また、第１記憶部３２に、形状計測装置２０で取得されたデータや当該データを変換した画像データが、ロット番号や溶接処理日時や検査日時等のデータとそれぞれ関連付けられた状態で保存されてもよい。
　判定部３３は、１または複数のＧＰＵで構成され、前処理部３１で変換処理された画像データを外観検査用モデルで評価して、溶接箇所２０１における溶接不良の有無及び種類を判定する。具体的には、判定部３３として公知の推論エンジン、例えば、物体検出アルゴリズムであるＹＯＬＯが実装されている。第１記憶部３２から呼び出された外観検査用モデル（重みファイル）を判定部３３にセットするとともに、画像データを判定部３３に入力し、推論エンジンで推論処理を実行することで、溶接箇所２０１における溶接不良の有無及び種類が判定される。なお、他の物体検出用の推論エンジンを判定部３３に実装してもよい。
　出力部３４は、判定部３３での判定結果をデータとして第１記憶部３２に保存する。また、出力部３４は、判定結果を画像または音声や音として溶接作業者に通知する通知部としても機能する。なお、本願明細書において、「溶接作業者」は、実際に溶接作業を行う者だけでなく、溶接作業の管理者や外観検査装置１０の管理者や溶接装置の管理者も含まれる。
　［外観検査用モデルの学習支援システム］
　図２は、外観検査用モデルの学習支援システムの概略構成図を示し、図３は、別の学習支援システムの概略構成図を示す。図４は、シーケンスデータ群の一例を示す。
　学習支援システム１００は、複数の機能ブロックを有しており、公知のコンピュータを構成要素として含んでいる。コンピュータに含まれるＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）上に実装されたソフトウェアを実行することで、学習支援システム１００内の複数の機能ブロックが構成されるとともに、各機能ブロックが動作する。
　学習支援システム１００は、機能ブロックとして、データ取得部１０１とデータフォーマット変換部１０２とアノテーション付与部１０３とデータ拡張部１０４とデータ分割部１０５とを有している。また、学習支援システム１００は、機能ブロックとして、学習部１０７と評価部１０８と更新部１０９とを有している。また、学習支援システム１００は、機能ブロックとして、第２記憶部（記憶部）１０６と表示／入力部１１０とを有している。　データ取得部１０１は、溶接箇所２０１の画像データを外部、例えば外観検査装置１０から取得する。データフォーマット変換部１０２は、データ取得部１０１で取得された画像データを学習部１０７で処理可能な形式に変換する。なお、データ取得部１０１で取得された画像データが、既に学習部１０７で処理可能な形式であれば、データフォーマット変換部１０２は省略されうる。
　アノテーション付与部１０３は、画像データにアノテーションを付与する。本願明細書における「アノテーションの付与」とは、画像データに溶接不良箇所２１０（図６Ａ～６Ｄ参照）の有無情報を付与するとともに、画像データ上で溶接不良箇所２１０の位置やサイズを特定すること及び溶接不良箇所２１０に対し溶接不良の種類をラベル付けすることを言う。
　具体的には、画像データを表示／入力部１１０のディスプレイ画面に表示させ、画像データの中から溶接不良箇所２１０を枠線で囲んで特定する。この場合、２次元平面上で枠線での囲み作業がなされる。さらに、予め特定された溶接不良の種類名（例えば、ピット、スマット、穴あき、アンダーカット、スパッタ等）を当該溶接不良箇所２１０に付与する。例えば、溶接不良の種類に応じて枠線及びその内部の色を変えてディスプレイ画面に表示させる。
　画像データに対するアノテーション付与は、一般に、溶接作業に熟達した溶接作業者によって、行われる。一方、本実施形態のアノテーション付与部１０３は、表示／入力部１１０を介して実行処理が行われる。また、画像データは、表示／入力部１１０上で所望の倍率で拡大または縮小して表示することができる。また、所定の方向に関して回転させて表示することができる。また、表示／入力部１１０上で、画像データを点群データのまま３次元空間表示させるか、または画像データを、平滑化処理をして３次元空間表示させるかを選択できる。
　このようにすることで、溶接作業者にとって溶接箇所２０１の画像が視認しやすくなり、アノテーション付与を直感的かつ簡便に行え、作業効率を向上することができる。また、アノテーション付与時のヒューマンエラーを低減できる。さらに、３次元空間の点群データである画像データに対して、２次元的に枠線で囲むことで溶接不良箇所２１０を特定できるため、データ処理量を小さくでき、アノテーション付与に要する処理時間を短縮できる。なお、画像データの拡大、縮小及び回転時及び画像データへのアノテーション付与時に、所定の比率でデータを間引いて画像データを操作することで、データ処理量をさらに小さくでき、アノテーション付与に要する処理時間をさらに短縮できる。
　なお、アノテーション付与部１０３は、図３に示すように、学習支援システム１００と別のシステムであるアノテーション支援システム３００として構成されてもよい。その場合、学習支援システム１００とアノテーション支援システム３００とが、同一または互いに異なるハードウェア上にそれぞれ実装された別個のソフトウェアであってもよい。また、アノテーション支援システム３００に表示／入力部１１０を別途設けるようにしてもよい。
　データ拡張部１０４は、アノテーションが付与された画像データに基づいてデータ拡張処理を行い、複数の学習データを生成する。なお、データ拡張処理は、学習支援システム１００の外部で実行されてもよい。その場合、データ拡張部１０４は、学習支援システム１００の外部にある別のソフトウェアに実装され、データ拡張処理後に生成された複数の学習データは、有線または無線通信を介して第２記憶部１０６に保存される。
　データ分割部１０５は、第２記憶部１０６から読み出された複数の学習データのそれぞれを、学習部１０７での機械学習を行うにあたって予め定められたデータサイズに分割する。また、データ分割部１０５は、データ取得部１０１で取得され、かつアノテーション付与部１０３でアノテーションが付与された画像データを、学習部１０７での機械学習を行うにあたって予め定められたデータサイズに分割する。
　第２記憶部（記憶部）１０６は、図１に示す第１記憶部３２と同様に、ＲＡＭやＳＳＤ等の半導体メモリやハードディスク等で構成される。第２記憶部１０６は、無線または有線通信を介して、外観検査装置１０と通信可能に構成されたサーバー上に構築されていてもよい。
　第２記憶部１０６は、予め作成された１または複数の外観検査用モデル及びデータ拡張部１０４で生成された学習データを少なくとも保存する。なお、図示しないが、データ分割部１０５で分割された学習データも第２記憶部１０６に保存される。また、第２記憶部１０６には、過去に生成された学習データも保存されている。
　学習部１０７は、図１に示す判定部３３と同様に、１または複数のＧＰＵで構成される。学習部１０７は、データ分割部１０５でそれぞれ分割された複数の学習データと画像データとに基づいて、外観検査用モデルに対して機械学習を行い、複数の学習済モデルを生成する。具体的には、学習部１０７には公知の推論エンジン、例えば、物体検出アルゴリズムであるＹＯＬＯが実装されている。第２記憶部１０６から呼び出された外観検査用モデル（重みファイル）を学習部１０７にセットする。それぞれ分割された複数の学習データと画像データを学習部１０７に入力して、推論エンジンに対して機械学習を行う。例えば、学習を繰り返す繰り返し回数が所定の回数になる毎に、学習部１０７は、学習済モデル（重みファイル）を生成し、生成された学習済モデルが都度、第２記憶部１０６に保存される。繰り返し回数が一定の値になるまで一連の処理が繰り返し実行される。なお、他の推論エンジンを学習部１０７に実装してもよい。
　評価部１０８は、学習部１０７で生成された複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する。本実施形態では、以下に示す考え方で評価基準を設定している。
Figure JPOXMLDOC01-appb-T000001
　表１は、学習済モデルの評価結果のパターンを示し、例えば、教師データを学習済モデルに入力した検出結果と教師データにおける実際の評価結果、言い換えると、画像データに溶接作業者がアノテーションを付与した結果との相関結果から、学習済モデルの良否を判断する。パターン１，４に示すように、学習済モデルでの検出結果と教師データにおける実際の評価結果とが一致する場合、当該学習済モデルは良好であると評価される。一方、パターン２，３に示すように、学習済モデルでの検出結果と教師データにおける実際の評価結果とが不一致の場合、当該学習済モデルは誤検出を生じるモデル、つまり、不良と評価される。
　溶接箇所２０１の検査においては、表１に示すパターン３（学習済モデルでの検出結果：良品、実際の評価結果：不良）の発生頻度をなるべく低くして、溶接不良の検出漏れが生じないように、評価値として検出率を採用している。ここで、「検出率」とは、教師データにおける実際の評価結果と、教師データを学習済モデルに入力した検出結果とがオーバーラップする度合いを言う。言い換えると、評価値としての検出率は、学習済モデルに入力した検出結果に対する実際の評価結果の一致度合いを言う。検出率が高い程、評価された学習済モデルが良好であると言える。
　つまり、評価部１０８は、学習部１０７で生成された複数の学習済モデル（重みファイル）の中から、検出率が最も高い学習済モデル（重みファイル）を外観検査用モデルとして選択する。
　更新部１０９は、外観検査用モデルを評価部１０８で選択された学習済モデルに更新するとともに、更新された外観検査用モデルを第２記憶部１０６に保存する。なお、更新後の外観検査用モデルは、元の外観検査用モデルと別のファイル名が付与された上で、第２記憶部１０６に保存される。また、更新部１０９は、評価部１０８で選択された学習済モデルを外観検査用モデルとして学習支援システム１００の外部に出力する出力部として機能してもよい。また、単に外観検査用モデルだけでなく、形状評価装置３０の機能を実現するためのソフトウェア、つまり、前述の外観検査用ソフトに当該外観検査用モデルを組み込んで更新し、学習支援システム１００の外部に出力する出力部として機能してもよい。この場合、更新前の外観検査用ソフトは第２記憶部１０６に予め保存されている。なお、更新部１０９の機能は評価部１０８に組み込まれていてもよい。
　なお、図４に示すように、１つの学習済モデル及びその生成に用いられるデータ群はそれぞれ関連付けられて、１つのシーケンスデータ群として第２記憶部１０６に保存されている。データ群には、学習に用いられた学習データやデータ分割手順が記述されたデータファイルや評価方法が記述されたデータファイルが含まれる。
　また、シーケンスデータ群には、外観検査用モデルの生成、更新時のログデータが含まれる。例えば、生成、更新処理時の全条件や、各処理時に入力されたコマンド等も含まれる。また、学習結果や評価結果が記述されたデータファイルもシーケンスデータ群に含まれる。
　１つのシーケンスデータ群は、１つのシーケンスフォルダとして保存、管理される。このようにすることで、学習支援システム１００を起動して、外観検査用モデルの更新等を行う場合、表示／入力部１１０上で所望のシーケンスフォルダを選択し、画面に表示させた上でそのままあるいは変更を加えて利用することもできる。なお、データ管理上、それぞれのシーケンスフォルダには、名前あるいは番号が付与される（図４参照）。
　また、シーケンスフォルダ内のデータは、テキストデータとして保存されているため、学習支援システム１００を使用する溶接作業者が必要に応じて、シーケンスフォルダ内のデータ、例えば、前述の全条件を直接確認することもできる。
　表示／入力部１１０は、例えば、カラー画面のタッチパネルディスプレイで構成される。入力デバイスとしてタッチペンがさらに付加されていてもよい。なお、表示／入力部１１０が、公知の液晶ディスプレイまたは有機ＥＬディスプレイと、学習支援システム１００への入力デバイス、例えば、マウスとキーボードとで構成されていてもよい。
　表示／入力部１１０は、外観検査用モデルの評価に用いられるデータ及び外観検査用モデルの更新処理の状況を表示するとともに、当該データを含むシーケンスデータ群を画面上で選択可能に構成されている。
　さらに言うと、表示／入力部１１０は、少なくとも前述のデータ分割、学習及び評価を実行する際に実行命令を入力するための入力部として機能する。また、表示／入力部１１０が、外観検査用モデルの更新処理を実行する際に実行命令を入力するための入力部であってもよい。
　また、表示／入力部１１０は、少なくとも前述のデータ分割、学習及び評価を実行する際に使用されるデータファイル群のファイル名を表示するための表示部として機能する。また、表示／入力部１１０が、外観検査用モデルの更新処理を実行する際に使用されるデータファイル群のファイル名を表示するための表示部であってもよい。
　なお、図１に示す形状評価装置３０と図２に示す学習支援システム１００とにおいて、それぞれが有する機能ブロックのうち、一部または全部の機能が共通するかまたは類似するブロックが存在する。例えば、図２に示すデータ取得部１０１とデータフォーマット変換部１０２とデータ分割部１０５とが奏する機能は、図１に示す前処理部３１が奏する機能と共通する部分を有している。図１に示す第１記憶部３２と図２に示す第２記憶部１０６も機能が共通している。図１に示す出力部３４と図２に示す更新部１０９もデータ出力機能が共通している。図１に示す判定部３３と図２に示す学習部１０７も機械学習機能が共通している。
　したがって、形状評価装置３０と学習支援システム１００とが、共通のコンピュータ上で実現されていてもよい。また、形状評価装置３０と学習支援システム１００とにおいて、同じまたは類似の機能を有する機能ブロックが、共通のコンピュータ上で実現されていてもよい。また、これらの場合、コンピュータを構成するハードウェアの一部、例えば、第１記憶部３２や第２記憶部１０６がサーバー上に構築されていてもよい。
　また、更新部１０９から更新後の外観検査用モデルまたは当該外観検査用モデルを組み込んだ外観検査用ソフトが、形状評価装置３０を構成するコンピュータに出力されてもよい。その場合、外観検査用モデルまたは外観検査用ソフトは、第１記憶部３２に保存される。
　［外観検査用モデルの更新手順］
　図５は、外観検査用モデルの更新手順のフローチャートを示す。本実施形態では、図１に示す外観検査装置１０において、実際のワーク２００の溶接箇所２０１に存在する溶接不良の検出漏れが発生した場合について考える。この場合、使用された外観検査用モデルの再学習が必要となるため、図２または図３に示す学習支援システム１００を用いて、外観検査用モデルの再学習、更新を行う。
　まず、検出漏れが発生した溶接箇所２０１の画像データをデータ取得部１０１から取得する（ステップＳ１）。データフォーマット変換部１０２で、画像データを後で述べる学習処理が可能な形式に変換する（ステップＳ２）。なお、ステップＳ１で取得された画像データが既に当該学習処理が可能な形式であれば、ステップＳ２は省略される。
　次に、画像データにアノテーションを付与する（ステップＳ３）。つまり、画像データに含まれる溶接不良箇所２１０を特定してデータ上で区画するとともに、区画された溶接不良箇所２１０に溶接不良の種類をラベル付けする。ステップＳ３においても、前述したように、アノテーション付与は、溶接作業者により行われる。
　ただし、アノテーション付与部１０３または前述のアノテーション支援システム３００により、半自動的にアノテーション付与を行ってもよい。この場合、アノテーション付与部１０３やアノテーション支援システム３００に、図示しない学習／推論部が設けられ、学習／推論部にアノテーション付与のための複数の識別器の組み合わせ、つまり、検査用モデルが学習部１０７にセットされている。本願明細書における「検査用モデル」は、アノテーションの半自動付与時に使用されるモデルであり、前述の外観検査用モデルと区別して呼称される。ただし、外観検査用モデルと同様に、検査用モデルも、公知の物体検出アルゴリズムであり、それぞれ重み付けがなされた複数の識別器の組み合わせである。例えば、ＣＮＮ、ＹＯＬＯ、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ等で表現される。
　検査用モデルとして、前述のＹＯＬＯが利用可能である。また、検査用モデルは、既に取得された教師データや当該教師データに基づいて生成された学習データが入力されて機械学習が実行された学習済のモデルである。画像データを検査用モデルに入力することで、溶接箇所２０１における溶接不良の有無及び溶接不良箇所２１０が特定され、また、溶接不良箇所２１０に対してその種類がラベル付けされる。
　データ拡張部１０４は、アノテーションが付与された画像データに基づいてデータ拡張処理を行う（ステップＳ４）。ステップＳ４を実行することにより、複数の学習データが生成され、学習データは第２記憶部１０６に保存される。なお、アノテーションが付与された元の画像データは、そのデータサイズに応じて、以下に示すように学習支援システム１００の各部に送られる。当該元の画像データのデータサイズが所定の範囲であれば、元の画像データは、学習部１０７か第２記憶部１０６に送られる。当該元の画像データのデータサイズが所定の範囲を超えて大きい場合は、データ分割部１０５に送られる。なお、当該元の画像データが、既に学習データに混ぜられていたり、以降の処理で使用したりする必要が無い場合には、当該元の画像データに関して、特に操作は行われない。
　なお、第２記憶部１０６には、データ拡張部１０４の出力結果だけでなく、データ分割部１０５の出力結果も保存される。データ拡張部１０４で生成された複数の学習データを用いると、種々のパターンの溶接箇所（溶接ビード）２０１を可視化することもできる。可視化された結果を、例えば、表示／入力部１１０で確認し、溶接作業者等が取捨選択を行って、以降の処理に再利用することもできる。また、学習部１０７に入力して再学習することもできる。
　ここで、溶接不良の種類について説明する。
　図６Ａは、溶接不良の一例を示し、図６Ｂは、溶接不良の別の例を示し、図６Ｃは、溶接不良のさらなる別の例を示す。また、図６Ａ～６Ｃは、断面模式図である。また、図６Ｄは、溶接不良のさらなる別の例を示す平面模式図である。
　ワーク２００にアーク溶接やレーザ溶接を行った場合、溶接部としてのその溶接箇所２０１には、溶接条件の設定の不具合や低品質のワーク２００を用いる等によって種々の形状不良が生じうる。なお、本実施形態では、溶接箇所２０１は、溶接方向に沿った長尺形状の溶接ビードであるが（例えば、図６Ｄ参照）、特にこれに限定されず、溶接箇所２０１がスポット形状の溶接ビードであってもよい。また、溶接箇所２０１が曲線や折れ曲がり形状を有する溶接ビードであってもよい。
　例えば、図６Ａに示すように、溶接箇所２０１の一部が溶け落ちたり（以下、溶接箇所２０１の一部がワーク２００より溶け落ちてワーク２００に形成された貫通穴を、穴あき２０２と呼ぶことがある）、図６Ｂに示すように、アンダーカット２０３が生じたりする場合がある。なお、アンダーカット２０３とは、溶接ビードの際の部分がワーク２００の表面よりもへこんでいる状態の不具合部分のことを言う。また、ワーク２００が亜鉛めっき鋼板である場合には、図６Ｃに示すように、溶接箇所２０１から一部が蒸発してピット２０５が生じる場合がある。また、図６Ｄに示すように、溶接ワイヤ（図示せず）の先端に形成された溶滴（図示せず）がワーク２００に移行する際に溶滴の一部やワーク２００の溶融金属の微粒子が飛び散ってスパッタ２０４が生じたり、あるいは、ワーク２００がアルミ系材料である場合には、溶接箇所２０１の近傍にスマット２０６が生じたりする場合がある。
　なお、ピット２０５は、溶接ビードの表面に開口しているものであり、スマット２０６は、溶接ビードの近傍に発生する黒いスス状の付着物であり、上述の穴あき２０２、アンダーカット２０３、スパッタ２０４、等も含めて、それぞれ溶接不良箇所２１０の種類の一つである。溶接不良箇所２１０における形状不良、つまり溶接不良には様々な種類がある。
　このような溶接不良の画像が含まれる画像データのデータ拡張処理は、以下のように行われる。
　図７Ａは、データ拡張手順の一例を、図７Ｂは、データ拡張手順の別の一例をそれぞれ模式的に示す。
　例えば、図７Ａに示すように、元となる画像データにおいて、穴あき２０２のサイズや位置を変化させた複数の学習データを生成している。この場合、特徴量として、基準面からの高さ及び溶接箇所２０１内の複数の点間での当該高さの差分を抽出し、これらを変動させている。また、図示しないが、ピット２０５についても同様の処理を行って複数の学習データを生成することができる。また、溶接箇所２０１の周囲において同様の処理を行い、スパッタ２０４やスマット２０６のサイズや位置を変化させた複数の学習データを生成することができる（図７Ｂ参照）。
　データ分割部１０５は、データ取得部１０１で取得され、かつアノテーションが付与された画像データを学習処理が可能なサイズに分割する。また、データ分割部１０５は、ステップＳ４で生成された複数の学習データのそれぞれを学習処理が可能なサイズに分割する。（ステップＳ５）。
　図８Ａは、画像データの分割手順の一例を、図８Ｂは、画像データの分割手順の別の一例をそれぞれ模式的に示す。また、図９は、画像データの補間手順の一例を模式的に示す。
　図８Ａ，８Ｂに示すように、分割方法は複数の選択肢から選択しうる。図８Ａに示すように、画像データまたは学習データを溶接方向に沿って前方から分割してもよいし、後方から分割してもよい。あるいは、前方及び後方の両方から分割してもよい。また、図８Ｂに示すように、複数に分割された、つまり、分割データが一部重なるように画像データや学習データを分割してもよい。
　分割方向や分割幅を変えることで、分割データ内での溶接不良箇所２１０の位置が変更される。したがって、同じ溶接不良箇所２１０を含む画像データであっても、機械学習に用いられる学習データとしては、異なるデータとして扱われる。つまり、分割方向や分割幅を変えることで一種のデータ拡張処理が行われる。
　また、画像データまたは学習データにおける溶接方向と交差するサイズが大きい場合は、図９に示すように、データ分割が行われてもよい。なお、この場合に、分割されたデータに対し、矢印で示す順番を付して、それぞれのデータを関連付けることがある。
　なお、後で述べる第２記憶部１０６には、学習部１０７にセットされる推論エンジンの動作を制御する種々のパラメータが記述されたＡＩ設定ファイルが保存されている。このＡＩ設定ファイルには、推論エンジンで学習可能な最大データサイズが記述されている。データ分割部１０５は、ＡＩ設定ファイル中の最大データサイズを参照して、データ分割時のデータサイズを決定するようにしてもよい。なお、前述した推論エンジンであるＹＯＬＯでは、入力データサイズが固定されている。ただし、ＹＯＬＯ以外の推論エンジンを用いる場合、入力データサイズが可変であってもよければ、画像データや学習データは、学習処理が可能な最大サイズ以下のサイズに分割されればよい。
　なお、画像データにおいて、データ値が存在しない領域（以下、データ無領域と呼ぶことがある）が含まれうる。この場合のデータ値とは、例えば、予め設定された基準面からの高さ、あるいは基準面の輝度に対する輝度の差分等である。言い換えると、データ無領域は、画像データ中に欠損値が含まれる領域である。データ値、例えば、元の画像データにおいて、溶接箇所２０１を含まない領域では、データ値が存在しないことがある。後で述べるステップＳ７で機械学習を行う場合、分割後の画像データや学習データにデータ無領域が含まれていると、学習部１０７にセットされた推論エンジンでの推論処理が正しく行われない。このため、データ分割後にデータ無領域に対するデータ補間処理が行われる。
　画像データを図９に示すように分割する場合、例えば、ワーク２００に対応するデータ存在領域にはデータ値が存在するのに対して、ワーク２００を含まないデータ無領域には、データ値が存在しない。このデータ無領域に対してデータ補間を行う場合は、次の２つの方法のいずれかが選択される。
　１つは、データ無領域のデータ値として、分割データ内での最小値を代入する最小値補間方法である。もう１つは、データ無領域のデータ値として、データ無領域と接する画素のデータ値を代入する最近傍値補間方法である。前述したように、画像データは、複数の画像からの画素信号の集合である。したがって、最近傍値補間方法を用いる場合、データ存在領域とデータ無領域との境界において、画素単位で最近傍値補間がそれぞれ行われる。
　また、ステップＳ５で分割、生成された学習データは、ステップＳ７で使用する学習データの一部となる。このため、分割された複数の学習データをそれぞれ関連付ける必要は無い。
　一方、図１に示す形状評価装置３０で溶接箇所２０１の評価に用いられる画像データを分割する場合は、分割された複数の画像データはそれぞれ関連付けられた状態で判定部３３に送られる。つまり、分割後の画像データのそれぞれが、同じ溶接箇所２０１のデータであること及び元の画像データにおける位置情報がそれぞれ付与された状態で判定部３３に送られる。この関連付けは、前処理部３１で行われる。
　次に、過去に作成されたデータも含めて第２記憶部１０６に保存された複数の分割済の学習データと、ステップＳ５で分割された複数の学習データ及び画像データとを混ぜて統合し、統合データ群を生成する（ステップＳ６）。
　第２記憶部１０６から、再学習対象となる外観検査用モデルを学習部１０７に読み出す。ステップＳ６で生成された統合データ群を学習部１０７に入力した後、外観検査用モデルに対して機械学習を行う（ステップＳ７）。言い換えると、データ分割部１０５でそれぞれ分割された複数の学習データと、データ取得部１０１から取得されかつデータ分割部１０５で所定のサイズに分割された画像データとに基づいて、第２記憶部１０６から読み出された外観検査用モデルに対して機械学習を行う。また、機械学習を行う過程で、前述したように複数の学習済モデルを生成する。これらの学習済モデルは、一旦、第２記憶部１０６に保存される。
　なお、通常、機械学習は、所定の回数繰り返して実行され、１回の学習毎に学習済モデルを生成する。学習支援システム１００は、これに加えて、関連するシーケンスデータ群を生成する。それぞれのシーケンスデータ群が第２記憶部１０６に保存される。推論エンジンとしてＹＯＬＯを用いる場合、繰り返し回数は１０，０００回程度である。また、学習部１０７が複数のＧＰＵで構成され、かつ推論エンジンとしてＹＯＬＯを用いる場合、１枚目のＧＰＵで所定回数、例えば、１，０００回程度の学習を行った後、次のＧＰＵを用いて機械学習が繰り返される。本実施形態では、このＧＰＵの切替も学習支援システム１００内で自動的に実行される。
　評価部１０８は、第２記憶部１０６から読み出された複数の学習済モデルを前述の評価基準に則って評価し、最も成績の良い学習済モデルを選択する（ステップＳ８）。具体的には、検出率が最も高いモデルを最適モデルとして選択する。
　なお、ステップＳ５～Ｓ８までの一連の処理は、表示／入力部１１０からの操作で一度に実行可能である。例えば、表示／入力部１１０により、対象となる外観検査用モデルが含まれるシーケンスデータ群を選択して読み出し、さらに学習データ及び画像データの分割方法を選択する。また、学習準備方法、例えば、一からモデルを生成するか、選択した外観検査用モデル（重みファイル）を修正、更新するかを選択する。
　この状態で、表示／入力部１１０に実行命令を入力することで、ステップＳ５～Ｓ８までの一連の処理が実行される。実行命令の入力方法は、例えば、表示／入力部１１０のディスプレイ画面上に表示された実行ボタンをクリックする等である。
　なお、ステップＳ５、ステップＳ７及びステップＳ８をそれぞれ個別に実行できるようにしてもよい。
　次に、更新部１０９は、外観検査用モデルをステップＳ７で選択された学習済モデルに更新する。また、更新された外観検査用モデルを元の外観検査用モデルと別のファイル名を付して第２記憶部１０６に保存する。（ステップＳ９）。
　なお、更新部１０９の機能が評価部１０８に組み込まれる場合は、ステップＳ９の処理をステップＳ８に組み込んで連続的に処理してもよい。
　また、前述したように、更新部１０９は、更新された外観検査用モデルを学習支援システム１００の外部、例えば、形状評価装置３０に出力してもよいし、外観検査用ソフトに当該外観検査用モデルを組み込んで更新し、学習支援システム１００の外部に出力してもよい。また、ステップＳ３及びステップＳ９のそれぞれの処理を、表示／入力部１１０の操作により、ステップＳ５～Ｓ８の一連の処理と同時に実行してもよい。
　［効果等］
　以上説明したように、本実施形態に係る学習支援システム１００は、溶接箇所２０１の外観検査に用いられる外観検査用モデルの学習を支援するシステムである。
　学習支援システム１００は、溶接箇所２０１の画像データを取得するデータ取得部１０１と、アノテーションが付与された画像データに基づいて生成された複数の学習データ及び外観検査用モデルを少なくとも保存する第２記憶部（記憶部）１０６と、を少なくとも備えている。画像データに対するアノテーションの付与とは、画像データにおける溶接不良箇所２１０を特定するとともに、溶接不良箇所２１０に溶接不良の種類をラベル付けすることである。
　また、学習支援システム１００は、複数の学習データをそれぞれ所定のサイズに分割するデータ分割部１０５を備えている。学習支援システム１００は、データ分割部１０５でそれぞれ分割された複数の学習データと、データ取得部１０１から取得されかつデータ分割部１０５で所定のサイズに分割された画像データとに基づいて、外観検査用モデルに対して機械学習を行い、複数の学習済モデルを生成する学習部１０７を備えている。さらに、学習支援システム１００は、複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する評価部１０８と、を備えている。
　また、学習支援システム１００は、外観検査用モデルを評価部１０８で選択された学習済モデルに更新する更新部１０９を備えている。なお、更新部１０９の機能が評価部１０８に組み込まれていてもよい。その場合、評価部１０８は、複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択し、さらに、外観検査用モデルを自身で選択した学習済モデルに更新する。
　本実施形態によれば、ＡＩや機械学習の知識に乏しい溶接作業者が、溶接箇所２０１の外観検査に用いられる外観検査用モデル及び外観検査用ソフトを簡便に取り扱うことができる。また、当該溶接作業者が、外観検査用モデルの生成や更新に要する時間を従来に比べて大幅に短縮することができる。このことについてさらに詳述する。
　図１０は、外観検査用モデルの更新時の所要時間及び実行主体を比較した図を示す。なお、図１０に示す従来の手法では、外観検査用モデルを生成または更新するにあたって、複数の専用ソフトが別個に準備されている。
　図１０に示すように、従来の手法では、アノテーション付与作業は以下のように行われる。まず、溶接作業者が、溶接箇所２０１の画像データを目視で確認し、溶接不良箇所２１０の有無を判断する。また、溶接不良箇所２１０を枠線等で囲んで特定するとともに、溶接不良の種類をラベル付けする。このときに用いられる専用ソフト１は、アノテーション付与部１０３が有するのと同様に、溶接箇所２０１の画像を視認しやすくする機能を有している。つまり、画像データを所望の倍率で拡大または縮小して表示することができる。また、所定の方向に関して回転させて表示することができる。
　しかし、専用ソフト１を用いたとしても、従来の手法では、溶接作業者が溶接箇所２０１の全体を見て溶接不良のそれぞれにアノテーションを付与しているため、１サンプル当たり１日程度の作業時間を要する。
　一方、本実施形態によれば、前述したように、半自動的にアノテーションを付与することで、アノテーション付与に要する時間を、１サンプル当たり５分～１時間程度に短縮できる。ただし、教師データが自動的なアノテーション付与に必要な数以上になるまでは、従来の手法と同様に、溶接作業者が個別にアノテーションを付与する必要がある。
　また、従来の手法では、データ拡張前処理、例えば、必要なデータファイルの準備や、必要に応じたデータ形式の変換を溶接作業者自身が行う必要がある。また、そのための支援ツールとして、別途、専用ソフト２を要する。また、専用ソフト１の出力結果を、溶接作業者が専用ソフト２に入力する必要がある。このため、データ拡張前処理に１サンプル当たり数時間程度の作業時間を要する。また、入力時のヒューマンエラーのリスクも残存する。
　一方、本実施形態によれば、また、アノテーションが付与された画像データを学習支援システム１００内で自動的に抽出して、データ拡張前処理が行われる。また、必要なデータファイルの準備やデータ形式の変換も、学習支援システム１００内で自動的に実行される。このため、データ拡張前処理に要する時間は、１サンプル当たり数秒程度に短縮される。また、入力時のヒューマンエラーのリスクも無い。なお、データ拡張処理自体は、従来の手法と同程度の時間、つまり、１サンプル当たり数時間程度の作業時間を要する。
　また、従来の手法では、学習前処理及び学習のための支援ツールとして、別途、専用ソフト３を要する。学習前処理では、データ分割後の学習データ及び画像データの統合に必要なファイルの準備等を溶接作業者自身が行う必要がある。また、専用ソフト２の出力結果を、溶接作業者が専用ソフト３に入力する必要がある。このため、データ分割処理を除く学習前処理に１サンプル当たり数時間程度の作業時間を要する。また、入力時のヒューマンエラーのリスクも残存する。
　一方、本実施形態によれば、また、データ拡張後の学習データを学習支援システム１００内で自動的に抽出して、学習前処理が行われる。また、必要なファイルの準備も、学習支援システム１００内で自動的に実行される。このため、データ分割処理を除く学習前処理に要する時間は、１サンプル当たり数秒程度に短縮される。また、入力時のヒューマンエラーのリスクも無い。なお、データ分割処理自体は、従来の手法と同程度の時間、つまり、１サンプル当たり数時間程度の作業時間を要する。
　なお、従来の手法で用いられる専用ソフト３には、機械学習用の推論エンジン、例えば、前述のＹＯＬＯが組み込まれているため、学習処理自体は、従来の手法も本実施形態の手法も同程度の作業時間（１サンプル当たり１日～３日程度）となる。しかし、従来の手法では、学習処理の完了を溶接作業者が目視確認する必要がある。このため、溶接作業者の就業時間外に学習処理が完了すると、次のステップに進むまでのタイムラグを生じてしまう。
　一方、本実施形態によれば、学習前処理から評価までの一連の処理が、学習支援システム１００内で連続して実行される。このため、前述のタイムラグを生じることが無く、外観検査用モデルの生成または更新に要する全体の作業時間を短縮することができる。
　さらに、従来の手法では、学習後に生成される複数の外観検査用モデルの評価にあたって、外観検査用モデルを構成する重みファイルの各パラメータをランダムに選択し、評価結果を逐一、目視確認する必要がある。また、確認された結果から最適なパラメータを選択する必要がある。これらの作業を行うにあたって、通常は、支援ツールとして、別途、専用ソフト４を必要とする。ただし、専用ソフト４の機能が専用ソフト３に組み込まれていてもよい。
　また、専用ソフト４の支援がある場合も、評価結果の目視確認及びパラメータ選択は溶接作業者が行うため、１サンプル当たり３日～４日程度の作業時間を要する。
　一方、本実施形態によれば、外観検査用モデルとしての学習済モデル（重みファイル）の各パラメータを所定の評価指針に則って、この場合は、最も検出率の高い学習済モデル（重みファイル）を構成する各パラメータを学習支援システム１００内で自動的に算出する。このため、評価に要する時間は、１サンプル当たり半日程度に短縮される。また、入力時のヒューマンエラーのリスクも無い。
　以上説明したように、本実施形態によれば、溶接作業者が、外観検査用モデルの生成や更新に要する時間を従来に比べて大幅に短縮することができる。
　学習支援システム１００は、アノテーションが付与された画像データに基づいてデータ拡張処理を行い、複数の学習データを生成するデータ拡張部１０４をさらに備えるのが好ましい。
　このようにすることで、外観検査用モデルの生成や更新に利用される学習データの作成時間を大幅に短縮でき、ひいては、外観検査用モデルの生成や更新に要する全体の作業時間を短縮することができる。また、学習支援システム１００内で、学習データの生成から外観検査用モデルの学習及び評価までの一連の処理を実行でき、溶接作業者が、溶接箇所２０１の外観検査に用いられる外観検査用モデル及び外観検査用ソフトを簡便に取り扱うことができる。
　また、学習支援システム１００は、画像データにアノテーションを付与するアノテーション付与部１０３をさらに備えていてもよい。特に、アノテーション付与部１０３に機械学習用の推論エンジンが組み込まれている場合は、取得した画像データに半自動的にアノテーションを付与でき、外観検査用モデルの生成や更新に要する全体の作業時間を短縮することができる。
　それぞれ分割された画像データ及び学習データにワーク２００の画像が含まれていない場合は、ワーク２００が存在しないデータ無領域に対して、以下に示すようにデータを補間するのが好ましい。
　つまり、データ分割部１０５は、ワーク２００が存在しない領域に対して、分割済みの画像データ及び学習データにおける最小値を代入するか、または、ワーク２００が存在しない領域に最も近い領域のデータ値を代入するのが好ましい。
　このようにすることで、それぞれ分割された画像データ及び学習データを学習部１０７にセットされた公知の推論エンジンに入力した場合、エラーを生じること無く、学習処理を実行できる。
　また、１つの学習済モデル及びその生成に用いられるデータ群はそれぞれ関連付けられて、１つのシーケンスデータ群として第２記憶部１０６に保存されていることが好ましい。
　また、学習支援システム１００は、外観検査用モデルの評価に用いられるデータ及び外観検査用モデルの更新処理の状況を表示するとともに、当該データを含むシーケンスデータ群を画面上で選択可能に構成された表示／入力部１１０をさらに備えるのが好ましい。
　このようにすることで、所望のシーケンスデータ群を表示／入力部１１０で選択し、学習支援システム１００上に復元して読み出した後、そのままあるいは変更を加えることで、外観検査用モデルの更新を簡便に行うことができる。
　学習支援システム１００は、データ取得部１０１で取得された画像データの形式を学習部１０７で処理可能な形式に変換するデータフォーマット変換部１０２をさらに備えているのが好ましい。
　形状計測装置２０で取得された画像データは、カメラの種類やメーカー等に応じて、異なるデータ形式になっていることがある。一方、学習部１０７にセットされた推論エンジンは、１種類のデータ形式にしか対応していないことが多い。このため、本実施形態に示すように、学習支援システム１００にデータフォーマット変換部１０２を設けることで、学習支援システム１００内で、学習データの生成から外観検査用モデルの学習及び評価までの一連の処理を実行できる。このことにより、溶接作業者が、溶接箇所２０１の外観検査に用いられる外観検査用モデル及び外観検査用ソフトを簡便に取り扱うことができる。
　また、前述したように、溶接箇所２０１の画像データは、３次元空間上の点群データであるため、本来、データ処理量が多く、外観検査用モデルの生成や更新に多くの時間を要する。一方、本実施形態の学習支援システム１００によれば、溶接作業者が、外観検査用モデルの生成または更新を簡便かつ短時間に行うことができる。
　なお、本実施形態では、評価部１０８における評価基準として、前述の検出率を採用し、検出率が最も高い学習済モデルを最適モデルとして選択している。しかし、評価基準の選択手法は特に限定されない。例えば、検出率に加えて、公知のｍＡＰ（ｍｅａｎ　Ａｖｅｒａｇｅ　Ｐｒｅｃｉｓｉｏｎ）やＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）やＲｅｃａｌｌ等の複数の評価基準を採用してもよい。１つの学習済モデルに対して、これらの評価基準毎に評価値を算出し、それぞれの評価値から総合的に判断して最適モデルを選択してもよい。また、その場合、それぞれの評価値の移動平均や最小値または最大値等に応じて最適モデルを選択してもよい。
　本実施形態の外観検査用モデルの更新方法は、溶接箇所２０１の画像データを取得する第１ステップ（図５のステップＳ１）と、画像データにおける溶接不良箇所２１０を特定し、溶接不良の種類をラベル付けすることで、画像データにアノテーションを付与する第２ステップ（図５のステップＳ３）と、を少なくとも備えている。
　また、外観検査用モデルの更新方法は、アノテーションが付与された画像データに対してデータ拡張処理を行い、複数の学習データを生成する第３ステップ（図５のステップＳ４）と、複数の学習データをそれぞれ所定のサイズに分割する第４ステップ（図５のステップＳ５）と、第４ステップで分割された複数の学習データと、第１ステップ（図５のステップＳ１）で取得されかつ所定のサイズに分割された画像データとを混合して統合データ群を生成する第５ステップ（図５のステップＳ６）と、を備えている。
　また、外観検査用モデルの更新方法は、統合データ群に基づいて、外観検査用モデルの機械学習を行い、複数の学習済モデルを生成する第６ステップ（図５のステップＳ７）と、複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する第７ステップ（図５のステップＳ８）と、外観検査用モデルを第５ステップで選択された学習済モデルに更新する第８ステップ（図５のステップＳ９）と、を少なくとも備えている。
　本実施形態によれば、ＡＩや機械学習の知識に乏しい溶接作業者が、溶接箇所２０１の外観検査に用いられる外観検査用モデル及び外観検査用ソフトを簡便に取り扱うことができる。また、当該溶接作業者が、外観検査用モデルの生成や更新に要する時間を従来に比べて大幅に短縮することができる。
　本実施形態の外観検査装置１０は、被溶接物であるワーク２００の溶接箇所２０１の形状を計測する形状計測装置２０と、溶接箇所２０１における溶接不良の有無及び種類を判定する形状評価装置３０と、を少なくとも備えている。
　形状評価装置３０は、形状計測装置２０の計測結果を画像データに変換し、かつ画像データを所定の形式に変換する前処理部３１と、溶接箇所２０１の形状を評価するための外観検査用モデルを少なくとも保存する第１記憶部３２と、を少なくとも有している。また、形状評価装置３０は、前処理部３１で変換処理された画像データを外観検査用モデルで評価して、溶接箇所２０１における溶接不良の有無及び種類を判定する判定部３３と、判定部３３での判定結果を出力する出力部３４と、を有している。外観検査用モデルは、学習支援システム１００を用いて生成または更新されたモデルである。
　本実施形態の外観検査装置１０によれば、溶接作業者が、溶接箇所２０１の外観検査に用いられる外観検査用モデル及び外観検査用ソフトを簡便に取り扱うことができる。溶接不良の誤検出が発生した場合も、溶接作業者が外観検査用モデルの生成や更新に要する時間を従来に比べて大幅に短縮することができる。このことにより、外観検査装置１０のダウンタイムを低減できる。また、外観検査用モデルを適宜更新できるため、外観検査における誤検出率を低減できる。
　なお、図１１に示すように、シーケンスデータ群に、ワーク２００の材質及び溶接方式がデータとして含まれているのがより好ましい。
　前述したように、画像データは、溶接箇所２０１で反射されたレーザ光線をカメラで取得したデータである。ワーク２００の材質が異なると、レーザ光線の反射率が異なる。このため、ワーク２００の表面の凹凸状態が、ワーク２００の材質によって、異なる傾向で画像データに反映されることがある。また、アーク溶接かレーザ溶接か、あるいは、アーク溶接において、ＭＡＧ溶接のように消耗電極としての溶接ワイヤを用いるか、非消耗電極を用いるＴＩＧ溶接のように消耗電極としての溶接ワイヤを用いないか、あるいは溶加材（フィラー材）を用いるか用いないかにより、溶接箇所２０１の形状が異なる場合がある。また、本来、同じ種類に分類される溶接不良でもその形状やサイズが大きく異なることがある。したがって、ワーク２００の材質及び溶接方式に応じて外観検査用モデルを準備し、また、それぞれの外観検査用モデルに対応してシーケンスデータ群を準備しておくことが好ましい。このようにすることで、多様な種類のワーク２００や溶接方式に応じて、ＡＩや機械学習の知識に乏しい溶接作業者が、外観検査用モデルの生成や更新を簡便かつ短時間で行うことができる。なお、ワーク２００の材質による画像データの見え方の違いは、主にレーザ光線の反射率に起因する。よって、この点を補正できれば、ワーク２００の材質によらず、同じ外観検査用モデルを使用することも可能である。
　（実施形態２）
　図１２Ａは、本実施形態に係るデータの受け渡し経路を、図１２Ｂは、本実施形態に係るデータの別の受け渡し経路をそれぞれ模式的に示す。なお、説明の便宜上、図１２Ａ，１２Ｂにおいて、実施形態１と同様の箇所については同一の符号を付して詳細な説明を省略する。
　実施形態１に示す例では、溶接作業者自身が、画像データの取得から外観検査用モデル及び外観検査用ソフトの更新までの一連の処理を行っていた。
　一方、実際の現場では、図１２Ａに示すように、溶接箇所２０１の画像データを溶接作業者が取得し、溶接作業者が操作するコンピュータ１０００を介して当該画像データをシステム管理者に送信する。受信された画像データをシステム管理者が操作するコンピュータ１１００上の学習支援システム１００に入力して、外観検査用モデルを更新することがある。この場合、溶接作業者自身は、学習支援システム１００に触れることが無い。更新された外観検査用モデルが組み込まれた外観検査用ソフトを受け取って、自身が有する外観検査装置１０にインストールすればよい。このようにすることで、溶接作業者が、ＡＩや機械学習の知識に乏しくても、適切な外観検査用ソフトを利用でき、溶接箇所２０１の外観検査における誤検出を低減することができる。なお、本願明細書における「システム管理者」には、学習支援システム１００の開発者、設計者だけでなく、学習支援システム１００の改修等を行うメンテナンス担当者も含まれる。
　一方、溶接不良の有無や種類の判定基準は、ユーザーによって異なる場合がある。このような場合、教師データの作成も含めたアノテーション付与は、ユーザー毎に実施するのが好ましい。
　このような場合、教師データの作成、つまり、画像データへのアノテーション付与までを溶接作業者自身が行い、以降の処理を学習支援システム１００内で実行するようにすればよい。この場合、例えば、図１２Ｂに示すように、学習支援システム１００をクラウドコンピュータ１２００上に構築する
　形状計測装置２０で溶接箇所２０１の形状を計測した後、溶接作業者は、コンピュータ１０００を操作して、形状計測結果を画像データに変換する。さらに、変換された画像データを用いて、教師データを作成する。なお、画像データの変換と教師データの作成は、コンピュータ１０００で実行される。ただし、形状計測結果をクラウドコンピュータ１２００に送り、クラウドコンピュータ１２００で画像データに変換してもよい。
　また、溶接作業者が、コンピュータ１０００からクラウドコンピュータ１２００の学習支援システム１００にアクセスし、学習支援システム１００を起動して、画像データを学習支援システム１００に入力してもよい。さらに、アノテーション付与部１０３を用いて教師データを作成するようにしてもよい。
　システム管理者は、コンピュータ１１００を操作して、クラウドコンピュータ１２００上の学習支援システム１００にアクセスする。また、作成された教師データを学習支援システム１００に入力する。さらに、システム管理者は、外観検査用モデルの更新のための実行命令（以下、外観検査用モデルの更新命令という）を入力する。
　学習支援システム１００内で、更新された外観検査用モデルが外観検査用ソフトに組み込まれる。クラウドコンピュータ１２００から外観検査用ソフトでダウンロード可能である旨、溶接作業者に通知され、溶接作業者がクラウドコンピュータ１２００にアクセスして外観検査用ソフトを入手する。この外観検査用ソフトには、外観検査用モデルとしての最適化された重みファイルが組み込まれている。なお、当該重みファイルは１つに限られず、複数あってもよい。
　システム管理者は、更新後の外観検査用モデルが含まれるシーケンスデータ群（シーケンスフォルダ）がクラウドコンピュータ１２００上に生成されていることを確認するとともに、当該シーケンスデータ群の保守等を行う。
　なお、溶接作業者が、コンピュータ１０００を操作して、クラウドコンピュータ１２００上の学習支援システム１００にアクセスし、教師データを学習支援システム１００に入力してもよい。さらに、溶接作業者が、外観検査用モデルの更新のための実行命令をクラウドコンピュータ１２００上の学習支援システム１００に入力してもよい。
　また、クラウドコンピュータ１２００から外観検査用ソフトでダウンロード可能である旨、システム管理者に通知され、システム管理者がクラウドコンピュータ１２００にアクセスして外観検査用ソフトを入手してもよい。
　また、溶接作業者やシステム管理者が、クラウドコンピュータ１２００上の学習支援システム１００を操作する場合、例えば、以下の方法が用いられる。つまり、コンピュータ１０００やコンピュータ１１００から、ウェブブラウザ操作あるいはリモートデスクトップ接続によるデスクトップ操作等の手法を用いて、学習支援システム１００が操作される。
　なお、システム管理者が教師データを作成するようにしてもよい。その場合、システム管理者は、コンピュータ１１００を操作して、形状計測結果を画像データに変換する。なお、形状計測結果は、コンピュータ１０００から送られる場合がある。また、作成後の教師データは、システム管理者がコンピュータ１１００を操作して、クラウドコンピュータ１２００にアップロードする。　このようにすることで、各種データの受け渡しに関し、セキュリティを確保しやすくなる。また、システム管理者側で学習支援システム１００や各種データの保守、管理が容易となる。
　また、図１２Ａに示すコンピュータ１０００とコンピュータ１１００とは、外観検査用ソフトの更新装置として機能する。同様に、図１２Ｂに示すコンピュータ１０００，１１００とクラウドコンピュータ１２００とは、外観検査用ソフトの更新装置として機能する。
　図１２Ａに示す例において、コンピュータ１０００を第１コンピュータ１０００と呼び、コンピュータ１１００を第２コンピュータ１１００と呼ぶこととする。第２コンピュータ１１００に学習支援システム１００が実装されている。第１コンピュータ１０００から、画像データに基づいて作成された教師データが第２コンピュータ１１００上の学習支援システム１００に入力される。さらに、外観検査用モデルの更新命令が入力される。
　学習支援システム１００内で、更新された外観検査用モデルが外観検査用ソフトに組み込まれる。その後で、第２コンピュータ１１００から、更新後の外観検査用モデルが組み込まれた外観検査用ソフトが利用可能であると、第１コンピュータ１０００を介して溶接作業者に通知される。当該通知を受け取った溶接作業者が、第１コンピュータ１０００から第２コンピュータ１１００にアクセスして、第２コンピュータ１１００から外観検査用ソフトを入手する。
　また、図１２Ｂに示す例において、コンピュータ１０００，１１００をそれぞれ第１コンピュータ１０００，１１００と呼び、クラウドコンピュータ１２００を第２コンピュータ１２００と呼ぶこととする。
　図１２Ｂに示す例では、少なくとも第２コンピュータ１２００に学習支援システム１００が実装されている。第１コンピュータ１０００または第１コンピュータ１１００から、画像データに基づいて作成された教師データが第２コンピュータ１２００上の学習支援システム１００に入力される。さらに、外観検査用モデルの更新命令が入力される。
　学習支援システム１００内で、更新された外観検査用モデルが外観検査用ソフトに組み込まれる。その後で、第２コンピュータ１２００から、更新後の外観検査用モデルが組み込まれた外観検査用ソフトが利用可能であると、第１コンピュータ１０００または第１コンピュータ１１００を介して溶接作業者またはシステム管理者に通知される。当該通知を受け取った溶接作業者またはシステム管理者が、第１コンピュータ１０００または第１コンピュータ１１００から第２コンピュータ１２００にアクセスして、第２コンピュータ１２００から外観検査用ソフトを入手する。
　なお、図１２Ｂに破線で示すように、溶接作業者が、自身が操作する第１コンピュータ１０００からシステム管理者に教師データを送信し、システム管理者が、自身が操作する第１コンピュータ１１００上にある学習支援システム１００内で外観検査用モデルを更新してもよい。この場合、更新後の外観検査用モデルが組み込まれた外観検査用ソフトが、システム管理者から溶接作業者に送信される。
　なお、外観検査用モデルの生成または更新に関するデータの受け渡し経路に関しては、実施形態１，２に示した例に特に限定されない。例えば、クラウドコンピュータ１２００上に学習支援システム１００を構築し、溶接作業者自身が、画像データの取得から外観検査用モデルや外観検査用ソフトの更新までの一連の処理を自身で実行できるようにしてもよい。その場合、ユーザー毎に第２記憶部１０６の領域割り当てとアクセス権限を付与しておくことで、ユーザー間でのデータ漏洩のリスクを低減できる。
　つまり、本実施形態の外観検査用モデルの更新方法において、少なくとも第２ステップ（図５のステップＳ３）から第８ステップ（図５のステップＳ９）までの一連の処理は、溶接作業者またはシステム管理者が実行してもよい。
　あるいは、第１ステップ（図５のステップＳ１）及び第２ステップ（図５のステップＳ３）は、溶接作業者が実行し、第３ステップ（図５のステップＳ４）から第８ステップ（図５のステップＳ９）までの一連の処理は、システム管理者が実行するようにしてもよい。
　また、溶接作業者が操作するコンピュータ１０００やシステム管理者が操作するコンピュータ１１００は、それぞれ１台に限定されず、複数台あってもよい。
　本開示の学習支援システムは、ＡＩや機械学習の知識に乏しい溶接作業者が外観検査用モデルの生成や更新を簡便に行うことができるため、有用である。
１０　　　外観検査装置
２０　　　形状計測装置
３０　　　形状評価装置
３１　　　前処理部
３２　　　第１記憶部
３３　　　判定部
３４　　　出力部
１００　　学習支援システム
１０１　　データ取得部
１０２　　データフォーマット変換部
１０３　　アノテーション付与部
１０４　　データ拡張部
１０５　　データ分割部
１０６　　第２記憶部（記憶部）
１０７　　学習部
１０８　　評価部
１０９　　更新部
１１０　　表示／入力部
２００　　ワーク
２０１　　溶接箇所
２０２　　穴あき
２０３　　アンダーカット
２０４　　スパッタ
２０５　　ピット
２０６　　スマット
２１０　　溶接不良箇所
３００　　アノテーション支援システム
１０００，１１００　コンピュータ
１２００　クラウドコンピュータ

Claims (17)

  1. 　溶接箇所の外観検査用モデルの学習支援システムであって、
    　前記溶接箇所の画像データを取得するデータ取得部と、
    　アノテーションが付与された前記画像データに基づいて生成された複数の学習データ及び前記外観検査用モデルを少なくとも保存する記憶部と、
    　前記複数の学習データをそれぞれ所定のサイズに分割するデータ分割部と、
    　前記データ分割部でそれぞれ分割された前記複数の学習データと、前記データ取得部から取得されかつ前記データ分割部で前記所定のサイズに分割された前記画像データとに基づいて、前記記憶部から読み出された前記外観検査用モデルに対して機械学習を行い、複数の学習済モデルを生成する学習部と、
    　前記複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する評価部と、を少なくとも備え、
    　前記画像データに対するアノテーションの付与は、前記画像データにおける溶接不良箇所を特定するとともに、前記溶接不良箇所に溶接不良の種類をラベル付けすることを特徴とする学習支援システム。
  2. 　請求項１に記載の学習支援システムにおいて、
    　前記評価部が前記外観検査用モデルを選択された学習済モデルに更新するか、または、
    　前記外観検査用モデルを前記評価部で選択された学習済モデルに更新する更新部をさらに備えたことを特徴とする学習支援システム。
  3. 　請求項１または２に記載の学習支援システムにおいて、
    　アノテーションが付与された前記画像データに基づいてデータ拡張処理を行い、前記複数の学習データを生成するデータ拡張部をさらに備えたことを特徴とする学習支援システム。
  4. 　請求項１ないし３のいずれか１項に記載の学習支援システムにおいて、
    　前記画像データにアノテーションを付与するアノテーション付与部をさらに備えたことを特徴とする学習支援システム。
  5. 　請求項１ないし４のいずれか１項に記載の学習支援システムにおいて、
    　それぞれ分割された前記画像データ及び前記学習データにデータ無領域が含まれている場合は、
    　前記データ分割部は、前記データ無領域に対して、分割済の前記画像データ及び前記学習データにおける最小値を代入するか、または、前記データ無領域に最も近い領域のデータ値を代入することを特徴とする学習支援システム。
  6. 　請求項１ないし５のいずれか１項に記載の学習支援システムにおいて、
    　前記外観検査用モデルの評価に用いられるデータ及び前記外観検査用モデルの更新処理の状況を表示するとともに、当該データを含むシーケンスデータ群を画面上で選択可能に構成された表示／入力部をさらに備えたことを特徴とする学習支援システム。
  7. 　請求項６に記載の学習支援システムにおいて、
    　１つの前記学習済モデル及びその生成に用いられるデータ群はそれぞれ関連付けられて、１つのシーケンスデータ群として前記記憶部に保存されていることを特徴とする外観検査用モデルの学習支援システム。
  8. 　請求項７に記載の学習支援システムにおいて、
    　前記シーケンスデータ群には、被溶接物であるワークの材質及び溶接方式がデータとして含まれていることを特徴とする学習支援システム。
  9. 　請求項１ないし８のいずれか１項に記載の学習支援システムにおいて、
    　前記評価基準には、少なくとも検出率が含まれることを特徴とする学習支援システム。
  10. 　請求項９に記載の学習支援システムにおいて、
    　前記評価部は、前記検出率が最も高い学習済モデルを選択することを特徴とする学習支援システム。
  11. 　請求項９または１０に記載の学習支援システムにおいて、
    　前記評価部は、前記検出率を含む複数の評価基準に基づいて、最も成績の良い学習済モデルを選択することを特徴とする学習支援システム。
  12. 　請求項１ないし１１のいずれか１項に記載の学習支援システムにおいて、
    　前記画像データは３次元空間上の点群データであることを特徴とする学習支援システム。
  13. 　被溶接物であるワークの溶接箇所の形状を計測する形状計測装置と、
    　前記溶接箇所における溶接不良の有無及び種類を判定する形状評価装置と、を少なくとも備え、
    　前記形状評価装置は、
    　　前記形状計測装置の計測結果を画像データに変換し、かつ前記画像データを所定の形式に変換する前処理部と、
    　　前記溶接箇所の形状を評価するための外観検査用モデルを少なくとも保存する第１記憶部と、
    　　前記前処理部で変換処理された前記画像データを前記外観検査用モデルで評価して、前記溶接箇所における溶接不良の有無及び種類を判定する判定部と、
    　前記判定部での判定結果を出力する出力部と、を少なくとも有し、
    　前記外観検査用モデルは、請求項１ないし１２のいずれか１項に記載の学習支援システムを用いて生成または更新されたモデルであることを特徴とする外観検査装置。
  14. 　１以上の第１コンピュータと第２コンピュータとを有する外観検査用ソフトの更新装置であって、
    　少なくとも前記第２コンピュータには、請求項１ないし１２のいずれか１項に記載の学習支援システムが実装されており、
    　１以上の前記第１コンピュータのいずれか、または前記第２コンピュータで、前記画像データに基づいて教師データが作成され、
    　１以上の前記第１コンピュータのいずれかから、前記第２コンピュータに前記外観検査用モデルの更新命令が入力された場合、
    　前記第２コンピュータは、更新後の前記外観検査用モデルが組み込まれた外観検査用ソフトが利用可能であると、１以上の前記第１コンピュータのいずれかに通知し、
    　当該通知を受け取った前記第１コンピュータは、前記第２コンピュータから前記外観検査用ソフトを入手するように構成されていることを特徴とする外観検査用ソフトの更新装置。
  15. 　溶接箇所の外観検査用モデルの更新方法であって、
    　前記溶接箇所の画像データを取得する第１ステップと、
    　前記画像データにおける溶接不良箇所を特定し、溶接不良の種類をラベル付けすることで、前記画像データにアノテーションを付与する第２ステップと、
    　アノテーションが付与された前記画像データに対してデータ拡張処理を行い、複数の学習データを生成する第３ステップと、
    　前記複数の学習データをそれぞれ所定のサイズに分割する第４ステップと、
    　前記第４ステップで分割された前記複数の学習データと、前記第１ステップで取得されかつ前記所定のサイズに分割された前記画像データとを混合して統合データ群を生成する第５ステップと、
    　前記統合データ群に基づいて、前記外観検査用モデルの機械学習を行い、複数の学習済モデルを生成する第６ステップと、
    　前記複数の学習済モデルを所定の評価基準に則って評価し、最も成績の良い学習済モデルを選択する第７ステップと、
    　前記外観検査用モデルを前記第５ステップで選択された学習済モデルに更新する第８ステップと、を少なくとも備えたことを特徴とする外観検査用モデルの更新方法。
  16. 　請求項１５に記載の外観検査用モデルの更新方法において、
    　少なくとも前記第２ステップから前記第８ステップまでの一連の処理は、溶接作業者または前記外観検査用モデルの生成または更新のために利用される学習支援システムのシステム管理者が実行することを特徴とする外観検査用モデルの更新方法。
  17. 　請求項１５に記載の外観検査用モデルの更新方法において、
    　前記第１ステップ及び前記第２ステップは、溶接作業者が実行し、
    　前記第３ステップから前記第８ステップまでの一連の処理は、前記外観検査用モデルの生成または更新のために利用される学習支援システムのシステム管理者が実行することを特徴とする外観検査用モデルの更新方法。
PCT/JP2022/034802 2021-10-28 2022-09-16 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法 WO2023074183A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021176333 2021-10-28
JP2021-176333 2021-10-28

Publications (1)

Publication Number Publication Date
WO2023074183A1 true WO2023074183A1 (ja) 2023-05-04

Family

ID=86159729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034802 WO2023074183A1 (ja) 2021-10-28 2022-09-16 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法

Country Status (1)

Country Link
WO (1) WO2023074183A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087229A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2019138542A (ja) * 2018-02-09 2019-08-22 三菱電機株式会社 空調制御装置、空調制御システム、空調制御方法、及び、プログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP2020102111A (ja) * 2018-12-25 2020-07-02 トヨタ自動車株式会社 情報処理装置および外観検査装置
JP2020125980A (ja) * 2019-02-05 2020-08-20 西日本旅客鉄道株式会社 劣化レベル判定装置、劣化レベル判定方法、およびプログラム
JP2020166645A (ja) * 2019-03-29 2020-10-08 株式会社日立システムズ 予測モデル評価システム、予測モデル評価方法
JP2020191063A (ja) * 2019-05-22 2020-11-26 ルニット インコーポレイテッドＬｕｎｉｔ Ｉｎｃ． 医療映像のメタデータ予測装置および方法
JP2021516373A (ja) * 2018-08-21 2021-07-01 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087229A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2019138542A (ja) * 2018-02-09 2019-08-22 三菱電機株式会社 空調制御装置、空調制御システム、空調制御方法、及び、プログラム
JP2021516373A (ja) * 2018-08-21 2021-07-01 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP2020102111A (ja) * 2018-12-25 2020-07-02 トヨタ自動車株式会社 情報処理装置および外観検査装置
JP2020125980A (ja) * 2019-02-05 2020-08-20 西日本旅客鉄道株式会社 劣化レベル判定装置、劣化レベル判定方法、およびプログラム
JP2020166645A (ja) * 2019-03-29 2020-10-08 株式会社日立システムズ 予測モデル評価システム、予測モデル評価方法
JP2020191063A (ja) * 2019-05-22 2020-11-26 ルニット インコーポレイテッドＬｕｎｉｔ Ｉｎｃ． 医療映像のメタデータ予測装置および方法

Similar Documents

Publication Publication Date Title
JP7308461B2 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
KR20230004570A (ko) 용접의 디지털 데이터 모델을 기반으로 한 현장 검사 방법
JPWO2020129618A1 (ja) 溶接システム及びそれを用いたワークの溶接方法
US20150056585A1 (en) System and method monitoring and characterizing manual welding operations
JP7068950B2 (ja) 溶接設計支援方法、及びプログラム
JP4442042B2 (ja) 画像処理プログラム作成方法およびそのシステム
JP7422337B2 (ja) リペア溶接制御装置およびリペア溶接制御方法
US20230274407A1 (en) Systems and methods for analyzing weld quality
WO2020137121A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
WO2022040819A2 (en) Computer-implemented monitoring of a welding operation
WO2023074184A1 (ja) アノテーション支援システム及びそれを利用した外観検査用モデルの学習支援システム
CN118159832A (zh) 学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法
JP7369981B2 (ja) リペア溶接システム、リペア溶接方法、検査装置およびロボット制御装置
JP7369982B2 (ja) リペア溶接装置およびリペア溶接方法
WO2023120111A1 (ja) 外見検査装置、溶接システム及び溶接箇所の外観検査方法
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム
CN115210036A (zh) 焊道外观检查设备、焊道外观检查方法、程序以及焊道外观检查系统
WO2023120110A1 (ja) 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
WO2023105980A1 (ja) オフライン教示装置およびオフライン教示方法
WO2015185973A1 (en) System for and method of monitoring and characterizing manual welding operations
WO2023105978A1 (ja) オフライン教示装置
WO2023166940A1 (ja) 注視領域モデル生成システム及び推論装置
WO2023105977A1 (ja) オフライン教示装置およびオフライン教示方法
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886517

Country of ref document: EP

Kind code of ref document: A1