WO2021085254A1 - 処理システム、処理方法、プログラム、及び記憶媒体 - Google Patents

処理システム、処理方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2021085254A1
WO2021085254A1 PCT/JP2020/039474 JP2020039474W WO2021085254A1 WO 2021085254 A1 WO2021085254 A1 WO 2021085254A1 JP 2020039474 W JP2020039474 W JP 2020039474W WO 2021085254 A1 WO2021085254 A1 WO 2021085254A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
result
detector
detection
processing device
Prior art date
Application number
PCT/JP2020/039474
Other languages
English (en)
French (fr)
Inventor
高橋 宏昌
真拡 齊藤
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to CN202080076400.4A priority Critical patent/CN114761793A/zh
Priority to EP20882561.2A priority patent/EP4053552A4/en
Publication of WO2021085254A1 publication Critical patent/WO2021085254A1/ja
Priority to US17/660,275 priority patent/US20220244220A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/043Analysing solids in the interior, e.g. by shear waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/041Analysing solids on the surface of the material, e.g. using Lamb, Rayleigh or shear waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/225Supports, positioning or alignment in moving situation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/24Probes
    • G01N29/2431Probes using other means for acoustic excitation, e.g. heat, microwaves, electron beams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/26Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/28Details, e.g. general constructional or apparatus details providing acoustic coupling, e.g. water
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/34Generating the ultrasonic, sonic or infrasonic waves, e.g. electronic circuits specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4436Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a reference signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4472Mathematical theories or simulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/04Wave modes and trajectories
    • G01N2291/044Internal reflections (echoes), e.g. on walls or defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/26Scanned objects
    • G01N2291/267Welds

Definitions

  • Embodiments of the present invention relate to processing systems, processing methods, programs, and storage media.
  • welded portion In welding, parts of two or more members are melted and joined.
  • the welded member is inspected to see if the welded portion (hereinafter referred to as the welded portion) is properly joined.
  • the person holding the detector brings the detector into contact with the weld.
  • Ultrasonic waves are transmitted from the detector to the weld, and data on the weld target is derived based on the reflected waves.
  • An object to be solved by the present invention is to provide a processing system, a processing method, a program, and a storage medium capable of improving the accuracy of data relating to a welding target.
  • the processing system includes a processing device.
  • the processing device includes a plurality of detection elements arranged in a first direction and a second direction intersecting each other, and from a detector that performs a search including transmission of ultrasonic waves toward a welding target and detection of reflected waves. The detection result of the reflected wave is received. From the detection result, the processing apparatus executes a first determination for determining joining and non-joining at a plurality of points along the first direction and the second direction of the welding target. The processing device executes a second determination for determining the suitability of the result of the first determination based on the detection result or the result of the first determination.
  • FIG. 1 is a block diagram showing a configuration of a processing system according to an embodiment.
  • the processing system 100 includes a processing device 110 and a storage device 120.
  • the storage device 120 stores data related to the welding inspection.
  • the processing device 110 processes data related to the welding inspection.
  • the processing system 100 shown in FIG. 1 further includes a detector 130, an input device 140, and a display device 150.
  • the detector 130 transmits ultrasonic waves toward the target and detects (receives) the reflected waves.
  • the detector 130 includes, for example, a probe.
  • exploration probing
  • the processing device 110 executes various processes based on the detected reflected wave.
  • the processing device 110 causes the display device 150 to display the user interface.
  • the user can easily confirm the data obtained by the processing through the user interface displayed on the display device 150.
  • the user can input data to the processing device 110 via the user interface using the input device 140.
  • the processing device 110 is connected to the storage device 120, the detector 130, the input device 140, and the display device 150 via wired communication, wireless communication, or a network.
  • the welding inspection will be explained concretely.
  • a non-destructive inspection of the welded part is performed.
  • FIG. 2 is a schematic view showing a state of non-destructive inspection.
  • the detector 130 includes a plurality of detection elements for inspecting the weld.
  • the detector 130 has a shape that can be grasped by a human hand, for example, as shown in FIG.
  • the person holding the detector 130 brings the tip of the detector 130 into contact with the welded portion 13 to inspect the welded portion 13.
  • a person for example, an inspector who holds the detector 130 and executes a welding inspection is referred to as a user.
  • FIG. 3 is a schematic view showing the internal structure of the tip of the detector.
  • an element array 131 including a plurality of detection elements 132 is provided inside the tip of the detector 130.
  • the detection element 132 is, for example, a transducer.
  • Each detection element 132 emits ultrasonic waves having a frequency of, for example, 1 MHz or more and 100 MHz or less.
  • the plurality of detection elements 132 are arranged in the first direction and the second direction intersecting each other. In the example shown in FIG. 3, the plurality of detection elements 132 are arranged in the X direction and the Y direction orthogonal to each other.
  • the element array 131 is covered with, for example, a hard propagation member 133.
  • a hard propagation member 133 When the tip of the detector 130 is brought into contact with the welded portion 13, the hard propagation member 133 is located between the element array 131 and the welded portion 13.
  • the hard propagation member 133 is made of a resin material or the like in which ultrasonic waves can easily propagate. By providing the hard propagation member 133 according to the shape of the surface of the welded portion 13, ultrasonic waves can be easily propagated to the inside of the welded portion 13.
  • the rigid propagation member 133 can suppress deformation, damage, and the like of the element array 131 when the detector 130 comes into contact with the welded portion 13.
  • the hard propagation member 133 has sufficient hardness in order to suppress deformation, damage, etc. at the time of contact with the welded portion 13.
  • FIG. 2 and 3 show a state in which the member 10 to be welded is inspected.
  • the member 10 is manufactured by spot-welding a metal plate 11 (first member) and a metal plate 12 (second member) at a welded portion 13. As shown in FIG. 3, in the welded portion 13, a part of the metal plate 11 and a part of the metal plate 12 are melted and mixed to form a solidified portion 14 which is solidified.
  • the inspection it is examined whether the welded portion 13 is formed.
  • the diameter of the welded portion 13 and whether the diameter is sufficient are checked.
  • the coplant 15 is applied to the surface of the object so that the ultrasonic waves can be easily propagated between the object and the detector 130.
  • Each detection element 132 transmits ultrasonic US to the member 10 coated with the coplant 15 and receives the reflected wave RW from the member 10.
  • a soft propagation member through which ultrasonic waves can easily propagate may be provided at the tip of the detector 130.
  • This soft propagating member is softer than the hard propagating member 133.
  • the soft propagation member is composed of, for example, a gel-like resin.
  • one detection element 132 transmits ultrasonic US to the welded portion 13. A part of the ultrasonic US is reflected by the upper surface or the lower surface of the member 10. Each of the plurality of detection elements 132 receives (detects) this reflected wave RW. Each detection element 132 sequentially transmits ultrasonic US, and each reflected wave RW is detected by a plurality of detection elements 132.
  • the processing device 110 executes the following first determination and second determination.
  • the processing device 110 determines from the obtained detection result whether or not each point to be welded is joined.
  • the processing device 110 determines the suitability of the result of the first determination based on the detection result of the reflected wave or the result of the first determination.
  • FIG. 4 is a schematic diagram for explaining the processing by the processing system according to the embodiment.
  • a part of the ultrasonic US is reflected by the upper surface 11a of the metal plate 11 or the upper surface 13a of the welded portion 13.
  • Another part of the ultrasonic US is incident on the member 10 and reflected by the lower surface 11b of the metal plate 11 or the lower surface 13b of the welded portion 13.
  • the positions of the upper surface 11a, the upper surface 13a, the lower surface 11b, and the lower surface 13b in the Z direction are different from each other. That is, the distances between these surfaces and the detection element 132 in the Z direction are different from each other.
  • the detection element 132 receives the reflected wave from these surfaces, the peak of the intensity of the reflected wave is detected. By calculating the time until each peak is detected after transmitting the ultrasonic US, it is possible to investigate on which surface the ultrasonic US is reflected.
  • FIGS. 4 (b) and 4 (c) are graphs illustrating the relationship between the time after the ultrasonic US is transmitted and the intensity of the reflected wave RW.
  • the vertical axis represents the elapsed time after the ultrasonic US is transmitted.
  • the horizontal axis represents the intensity of the detected reflected wave RW.
  • the intensity of the reflected wave RW is represented by an absolute value.
  • the graph of FIG. 4B illustrates the detection result of the reflected wave RW from the upper surface 11a and the lower surface 11b of the metal plate 11.
  • the graph of FIG. 4C illustrates the detection result of the reflected wave RW from the upper surface 13a and the lower surface 13b of the welded portion 13.
  • the first peak Pe11 is based on the reflected wave RW from the upper surface 11a.
  • the second peak Pe12 is based on the reflected wave RW from the lower surface 11b.
  • the times when the peak Pe11 and the peak Pe12 are detected correspond to the positions of the upper surface 11a and the lower surface 11b of the metal plate 11 in the Z direction, respectively.
  • the time difference TD1 between the time when the peak Pe11 is detected and the time when the peak Pe12 is detected corresponds to the distance Di1 in the Z direction between the upper surface 11a and the lower surface 11b.
  • the first peak Pe13 is based on the reflected wave RW from the upper surface 13a.
  • the second peak Pe14 is based on the reflected wave RW from the lower surface 13b.
  • the time at which the peak Pe13 and the peak Pe14 are detected correspond to the positions of the upper surface 13a and the lower surface 13b of the welded portion 13 in the Z direction, respectively.
  • the time difference TD2 between the time when the peak Pe13 is detected and the time when the peak Pe14 is detected corresponds to the distance Di2 in the Z direction between the upper surface 13a and the lower surface 13b.
  • the processing device 110 determines whether the time difference between peaks corresponds to the thickness of the welded portion 13. When it is determined that the time difference between the peaks corresponds to the thickness of the welded portion 13, it is determined that the points are joined. For example, the processing apparatus 110 compares the time difference between peaks with a preset threshold value at each point in the XY plane. When the time difference is equal to or greater than the threshold value, the processing device 110 determines that the points are joined. When the time difference is less than the threshold value, the processing device 110 determines that the points are not joined. The threshold value is set based on the thickness of the welded portion 13. A range may be set instead of the threshold. When the time difference is included in the range, the processing device 110 determines that the points are joined.
  • the intensity of the reflected wave may be expressed in any manner.
  • the reflected wave intensity output from the detection element 132 includes a positive value and a negative value depending on the phase.
  • Various processes may be performed based on the reflected wave intensity including positive and negative values.
  • the reflected wave intensity including positive and negative values may be converted to an absolute value.
  • the average value of the reflected wave intensity may be subtracted from the reflected wave intensity at each time.
  • the weighted average value of the reflected wave intensity, the weighted moving average value, and the like may be subtracted from the reflected wave intensity at each time. Even when the result of adding these treatments to the reflected wave intensity is used, various treatments described in the present application can be executed.
  • FIG. 5 is an example of an image obtained by the processing system according to the embodiment.
  • FIG. 5 is an image drawn based on the detection result of the reflected wave.
  • the brightness (whiteness) of each point represents the intensity of the reflected wave at that point.
  • three-dimensional volume data can be obtained as a result of detecting the reflected wave. Based on the detection result of this reflected wave, it is determined whether or not each point to be welded is joined or not joined.
  • FIG. 6 is a diagram for explaining processing by the processing system according to the embodiment.
  • FIG. 6A is a plan view schematically showing the vicinity of the welded portion 13. Based on the reflected wave detected by the detector 130, for example, it is determined whether or not each point of the detection area DA shown in FIG. 6A is joined.
  • FIG. 6B shows an example of the detection result at each point of the line segment Li1 shown in FIG. 6A.
  • the vertical axis represents the position in the Z direction perpendicular to the X and Y directions.
  • the horizontal axis represents the position in the X direction.
  • (white circle) represents the position of the first reflective surface of the member 10 in the Z direction.
  • the first reflective surface is the upper surface 11a of the metal plate 11, the upper surface 13a of the welded portion 13, and the like.
  • ⁇ (Black circle) represents the position of the second reflecting surface of the member 10 in the Z direction.
  • the second reflective surface is the lower surface 11b of the metal plate 11, the lower surface 13b of the welded portion 13, and the like.
  • represents a determination result of joining and unjoining.
  • the points determined to be joined are represented by a value of 1, and the points determined to be unjoined are represented by a value of 0.
  • FIG. 7 is an example of an image showing the processing result by the processing system according to the embodiment.
  • the first determination for determining whether or not the points of the detection area DA are joined is executed.
  • the processing device 110 generates, for example, the image shown in FIG. 7 based on the result of the first determination.
  • white indicates that the points are joined.
  • Black indicates that the points are not joined.
  • the first region R1 based on the set of white dots corresponds to the welded portion 13.
  • the second region R2, which is based on the set of black dots, corresponds to the member 10 around the weld 13.
  • the processing device 110 may determine the quality of welding in the welding target based on the area of the first region R1.
  • the processing device 110 may calculate the area of the welded portion 13 based on the area of the first region R1.
  • the processing device 110 may calculate the diameter of the welded portion 13 based on the diameter of the first region R1.
  • the storage device 120 stores the distance between the detection elements 132 in advance.
  • the processing device 110 calculates the area or diameter of the welded portion 13 using the number of pixels of the first region R1 and the stored distance.
  • the processing device 110 calculates the major axis and the minor axis of the welded portion 13 as the diameter.
  • the processing device 110 may calculate the average of the major axis and the minor axis.
  • the processing device 110 may calculate the equivalent circle diameter of the first region R1 as the diameter of the welded portion 13.
  • the equivalent circle diameter of the first region R1 is obtained by having an area of the first region R1 and calculating the diameter of a virtual circle having that area.
  • the processing device 110 determines the quality of welding in the welding target by comparing any of the calculated values with a preset threshold value.
  • the first region R1 may include only a set of white dots or may include some black dots.
  • the processing device 110 sets a set of white points and a black point surrounded by the set of white points as the first region R1.
  • the processing device 110 sets the set of these white points and the black points located between the sets of white points as the first region R1.
  • the upper surface 13a and the lower surface 13b of the welded portion 13 may be inclined with respect to the upper surface 11a of the metal plate 11. This is based on the fact that the welded portion 13 includes the solidified portion 14, and that the shape is deformed during the welding process. In this case, it is desirable that the ultrasonic US is transmitted along a direction that is averagely perpendicular to the upper surface 13a or the lower surface 13b. As a result, ultrasonic waves are more strongly reflected on the upper surface 13a and the lower surface 13b, and the accuracy of the inspection can be improved.
  • the suitability of the result of the first determination is determined. That is, it is determined whether or not the determination result of joining or not joining at each point executed in the first determination is appropriate.
  • the processing device 110 uses the detection result of the reflected wave or the result of the first determination in order to determine the suitability of the result of the first determination.
  • the processing device 110 executes the following first operation.
  • the processing device 110 adopts the result of the first determination.
  • the processing device 110 adopts the data derived based on the result of the first determination as the inspection result of the welding target.
  • the data includes at least one of the area and diameter of the weld 13.
  • the data may include the quality of the weld determined based on the area or diameter of the weld 13.
  • the data may be derived between the first determination and the second determination, or may be derived after the second determination.
  • the processing device 110 may derive data based on the result of the first determination only when the result of the first determination is determined to be appropriate.
  • the processing device 110 stores at least one of an image showing the result of the first determination, the area of the welded portion 13, the diameter of the welded portion 13, and the determination result of the quality of welding in the storage device 120 or the display device 150. It may be output to.
  • the processing device 110 executes the following second operation.
  • the processing device 110 does not adopt the result of the first determination. For example, when data such as the area of the welded portion 13, the diameter of the welded portion 13, and the determination result of the quality of welding is derived between the first determination and the second determination, the processing device 110 transmits the data. Not adopted as the inspection result of the welding target.
  • the processing device 110 may output a determination result indicating that the result of the first determination is inappropriate to the storage device 120 or the display device 150.
  • the processing device 110 may prompt the user to perform another search on the weld 13.
  • the detector 130 may automatically perform another search for the welded portion 13 when the processing device 110 determines that the result of the first determination is inappropriate.
  • the effect of the embodiment will be described.
  • the quality of welding in the object to be welded can be determined with high accuracy.
  • FIGS. 8 (a) to 8 (c) and 9 are schematic views showing images based on the detection result of the reflected wave.
  • the images of FIGS. 8 (a) to 8 (c) show the results of determining the joining at a plurality of points to be welded, as in FIG. 7.
  • the joining determination results shown in FIGS. 8 (a) to 8 (c) are based on the detection results obtained in a state where the inclination of the detector 130 is sufficiently small with respect to the same portion of the same welding target.
  • the inventors have discovered that there are cases in which the shape and size of the first region R1 vary greatly depending on the detection result. The cause of the variation is not yet clear, but it is considered that the inclination of the welded portion 13 with respect to the entire welded object, the material of the welded object, and the like have an influence.
  • FIG. 8A In the image of FIG. 8A, a part of the first region R1 is projected. In FIG. 8C, the entire first region R1 is curved. It is unlikely that the actual shape of the welded portion 13 will be the shape of the first region R1 shown in these images. In the image of FIG. 8B, the first region R1 is closer to a circle than the other images. The first region R1 in FIG. 8B is closer to the actual shape of the welded portion 13 than the first region R1 in other images.
  • FIG. 9 is the same as the image shown in FIG. 8 (a).
  • the major axis and the minor axis of the welded portion 13 are calculated in the inspection, as shown in FIG. 9, there is a possibility that the major axis L1 and the minor axis L2 of the first region R1 are calculated with reference to the protruding portion. .. In this case, the major axis and the minor axis of the welded portion 13 are calculated to be longer than they actually are.
  • the area the area of the welded portion 13 is calculated to be larger than the actual area.
  • the size of the welded portion 13 indicated by the first region R1 is smaller than the size of the actual welded portion 13.
  • the major axis and minor axis of the welded portion 13 may be calculated to be shorter than they actually are.
  • the quality of welding based on the area or diameter of the welded portion 13 may be erroneously determined. For example, when the area or diameter of the welded portion 13 is calculated to be larger than the actual one, it may be determined that the weld is good even though the weld is actually poor. When the area or diameter of the welded portion 13 is calculated to be smaller than the actual one, it may be determined that the weld is defective even though the weld is actually good. If the area or diameter of the weld 13 is referenced in another process for quality control, problems may occur in that other process.
  • the processing device 110 executes the second determination in addition to the first determination.
  • the suitability of the result of the first determination is determined. That is, it is determined whether or not the determination results of joining and unjoining at a plurality of points to be welded are appropriate. For example, by adopting the result of the first determination only when the result of the first determination is determined to be appropriate by the second determination, more accurate data regarding the welding target can be derived. For example, more accurate data can be obtained about the area of the welded portion 13, the diameter of the welded portion 13, the quality of welding, and the like.
  • the suitability of the result of the first determination can be determined without depending on the knowledge and experience of the user. Even if an inexperienced user performs the test, only more appropriate data can be adopted as the test result.
  • the processing device 110 calculates the first evaluation value based on the detection result of the reflected wave or the result of the first determination.
  • the processing device 110 stores the calculated first evaluation value in the storage device 120.
  • the processing device 110 refers to the past first evaluation value stored in the storage device 120.
  • the processing device 110 determines the suitability of the result of the first determination by using the first evaluation value and the past first evaluation value.
  • the processing device 110 calculates the second evaluation value based on the past first evaluation value.
  • the processing device 110 determines the suitability of the result of the first determination by comparing the difference between the first evaluation value and the second evaluation value with the first threshold value.
  • the immediately preceding first evaluation value may be used as the second evaluation value.
  • the second evaluation value is set based on a plurality of past first evaluation values. For example, the average of a preset number of past first evaluation values is used as the second evaluation value.
  • the first threshold value may be set by the user or may be set based on the past first evaluation value.
  • the processing apparatus 110 calculates the variance or standard deviation of a plurality of past first evaluation values.
  • the processing device 110 calculates the first threshold value by multiplying the variance or standard deviation by a predetermined value.
  • the first evaluation value is set based on, for example, the diameter of the welded portion 13. As described above, the diameter of the welded portion 13 is calculated from the result of the first determination.
  • the processing device 110 may use the diameter of the welded portion 13 as the first evaluation value, or may use the value calculated based on the diameter of the welded portion 13 as the first evaluation value.
  • the first evaluation value may be a value output from the first model.
  • the first model is trained to output a larger value as the result of the first determination is appropriate.
  • the learned first model is stored in the storage device 120.
  • image data showing the results of determining whether each point of the welding target is joined or not joined as shown in FIG. 7 is used. Each image data is given a label indicating whether the image data is appropriate or inappropriate.
  • the first model is trained using a plurality of image data and a plurality of labels.
  • the processing device 110 inputs image data based on the result of the first determination into the trained first model, and uses the value (activity) of the output layer indicating that the image data is appropriate as the first evaluation value. ..
  • the processing device 110 may use another value calculated based on the value of the output layer as the first evaluation value.
  • the circularity of the first region R1 may be used as the first evaluation value.
  • the circularity indicates the degree of similarity between the shape of the first region and the circle. For example, the larger the value indicating the circularity, the closer the shape of the first region is to a circle.
  • the processing apparatus 110 uses the ratio of roundness, circularity, ellipticity, or diameter as the first evaluation value.
  • the processing device 110 uses a value calculated based on the ratio of roundness, circularity, ellipticity, or diameter as the first evaluation value.
  • Roundness is calculated by the following method.
  • a circle inscribed in the outer edge of the first region and another circle inscribed in the outer edge of the first region are set.
  • the centers of these two circles are in the same position.
  • the two circles are set so that their distance is small.
  • the difference in radius between the two circles corresponds to the roundness.
  • the method of setting the center of the circle is arbitrary. For example, the following four methods are used. In the first method, the center of the approximate circle by the least squares method is used.
  • the second method uses the center of the largest circle inscribed in the outer edge.
  • the third method uses the center of the smallest circle circumscribing the outer edge.
  • the centers of the inscribed circle and the circumscribed circle that minimize the radius difference are used.
  • the roundness can be calculated according to JIS B 0621 (1984). JIS B 0621 (1984) corresponds to ISO 1101 (1983).
  • the circularity is represented by 4 nA / L 2 using the area A of the first region and the length L of the outer circumference of the first region.
  • the ellipticity is expressed as the ratio of the major axis to the minor axis.
  • the major axis is the length of the longest line segment among the line segments obtained by connecting arbitrary two points on the outer edge of the first region R1.
  • the minor axis is the length of a line segment that passes through the center of the major axis and is perpendicular to the major axis.
  • the ratio (r2 / r1) of the diameter r2 of the first region to the circle equivalent diameter r1 of the first region R1 may be used.
  • the diameter r2 for example, the average value of the major axis and the minor axis is used.
  • the diameter r2 the average value of the lengths of the first region R1 in a plurality of directions may be used.
  • the processing device 110 may calculate the first evaluation value using two or more selected from the ratio of roundness, circularity, ellipticity, and diameter. For example, the processing apparatus 110 calculates, as the first evaluation value, two or more average values or sums selected from the ratio of roundness, circularity, ellipticity, and diameter.
  • the major axis L1 and the minor axis L2 of the first region R1 may be calculated significantly different from the major axis and the minor axis of the actual welded portion 13.
  • the minor axis L2 of the first region R1 can be a value close to the major axis L1.
  • the ellipticity when used to calculate the first evaluation value, it may be determined that the first region R1 seems to be a circle even though the shape of the first region R1 is significantly different from that of a circle. Therefore, when the ellipticity is used for the calculation of the first evaluation value, it is preferable to further use the ratio of roundness, circularity, or diameter.
  • the first evaluation value may be calculated by comparing the reflected wave detection result with the data prepared in advance, or by comparing the result of the first determination with the data prepared in advance. For example, as shown in FIG. 7, image data when the result of the first determination is appropriate is prepared in advance.
  • the processing device 110 calculates the degree of similarity between the image data showing the result of the first determination and the image data prepared in advance as the first evaluation value.
  • the processing device 110 may calculate the similarity between the volume data indicating the detection result of the reflected wave and the data prepared in advance as the first evaluation value.
  • the processing device 110 may use a value calculated based on the similarity as the first evaluation value.
  • the processing device 110 determines that the result of the first determination is appropriate when the difference between the first evaluation value and the second evaluation value is less than the first threshold value. When the result of the first determination is determined to be appropriate, the processing device 110 executes the first operation described above. When the difference between the first evaluation value and the second evaluation value is equal to or greater than the first threshold value, the processing device 110 determines that the result of the first determination is inappropriate. When the result of the first determination is determined to be inappropriate, the processing device 110 executes the second operation described above.
  • FIG. 10 is a graph for explaining the second determination.
  • the horizontal axis represents the time and the vertical axis represents the first evaluation value calculated at each time.
  • the processing device 110 sets the second evaluation value and the first threshold value using a plurality of first evaluation values before the time t.
  • the processing device 110 determines whether the difference between the first evaluation value and the second evaluation value is equal to or greater than the first threshold value.
  • the broken line BR1 indicates a value obtained by adding the first threshold value to the second evaluation value.
  • the broken line BR2 indicates a value obtained by subtracting the first threshold value from the second evaluation value.
  • the first evaluation value at time t is equal to or greater than the value obtained by adding the first threshold value to the second evaluation value.
  • the difference between the first evaluation value and the second evaluation value is equal to or greater than the first threshold value. Therefore, the processing device 110 determines that the result of the first determination is inappropriate.
  • the processing device 110 may determine whether the result of the first determination is appropriate by inputting the detection result of the reflected wave or the result of the first determination into the first model. In the first model, the processing device 110 classifies (classifies or clusters) the detected result of the reflected wave or the result of the first determination.
  • the processing device 110 inputs image data showing the result of the first determination shown in FIG. 7 into the first model.
  • the first model is learned by supervised learning and classifies the input image data.
  • image data showing the results of determining whether each point of the welding target is joined or not joined as shown in FIG. 7 is used.
  • FIG. 8A or FIG. 8C the image data in which a part of the first region R1 is projected or the image data in which the first region R1 is curved is not suitable.
  • a label is given to indicate that it is appropriate.
  • FIG. 8A or FIG. 8C when the first region R1 is close to a circle, a label indicating that it is appropriate is given.
  • the first model is trained using a plurality of image data and a plurality of labels.
  • the processing device 110 determines that the result of the first determination is appropriate.
  • the processing device 110 determines that the result of the first determination is inappropriate.
  • the first model may be learned by unsupervised learning.
  • the input image data is clustered into one of a plurality of categories by the first model.
  • the processing device 110 determines the result of the first determination. Is judged to be appropriate.
  • the input image data is the image data in which a part of the first region R1 is projected as shown in FIG. 8 (a), or the first region R1 as shown in FIG. 8 (c) is curved.
  • the processing device 110 determines that the result of the first determination is inappropriate.
  • three-dimensional volume data which is the detection result of the reflected wave
  • supervised learning or unsupervised learning is executed for the first model using a plurality of three-dimensional data.
  • the processing device 110 determines that the result of the first determination based on the data is appropriate.
  • the processing device 110 also determines that the result of the first determination based on the data is inappropriate.
  • the processing device 110 determines that the first determination result is appropriate. .. When the result of the first determination is determined to be appropriate, the processing device 110 executes the first operation described above. When the detected result of the reflected wave or the result of the first determination is classified into the second category by the first model, the processing device 110 determines that the result of the first determination is inappropriate. When the result of the first determination is determined to be inappropriate, the processing device 110 executes the second operation described above.
  • the processing device 110 may determine the suitability of the result of the first determination by combining the first method and the second method. For example, in the processing device 110, when the result of the first determination is determined to be appropriate by the first method and the result of the first determination is determined to be appropriate by the second method, the result of the first determination is appropriate. Is finally determined to be. Alternatively, the processing device 110 determines that the result of the first determination is appropriate by the first method, or when the result of the first determination is determined to be appropriate by the second method, the result of the first determination is appropriate. It may be finally determined that. By appropriately combining the first method and the second method, the accuracy of the second determination can be improved.
  • FIG. 11 is a flowchart showing the flow of inspection using the processing system according to the embodiment.
  • the user brings the tip of the detector 130 into contact with the weld 13.
  • the user executes the search by the detector 130 (step S1).
  • the detector 130 is provided with a button for performing an exploration.
  • the user can execute the search by the detector 130 by operating the button.
  • the user may be able to perform the search by the detector 130 through the user interface displayed on the display device 150.
  • the detector 130 transmits the detection result of the reflected wave obtained by the exploration to the processing device 110.
  • the processing device 110 Upon receiving the detection result, the processing device 110 executes the first determination of determining whether the joint or non-join is formed at a plurality of points to be welded (step S2). The processing device 110 executes a second determination for determining the suitability of the result of the first determination (step S3). When the result of the first determination is determined to be appropriate, the processing device 110 executes the first operation (step S4). If the result of the first determination is determined to be inappropriate, the processing device 110 executes the second operation (step S5).
  • the processing device 110 may perform estimation of the range of the welded portion 13 and calculation of the inclination with respect to the welded portion 13 based on the detection result of the reflected wave.
  • the angle between the normal direction of the surface of the welded portion 13 and the direction of the detector 130 is referred to as an inclination.
  • the direction of the detector 130 corresponds to, for example, the Z direction perpendicular to the arrangement direction of the detection elements 132. When the detector 130 is in contact with the surface of the weld 13 perpendicularly, the inclination is zero.
  • the inclination of the detector 130 with respect to the object to be welded or the welded portion 13 may affect the inspection result. For example, if the first determination is executed with the detector 130 tilted with respect to the welding target, it may be determined that the detector 130 is not joined even though it is actually properly joined. Therefore, it is preferable that the inclination of the detector 130 with respect to the welding target is set small before the first determination is executed.
  • the inclination of the detector 130 is calculated using the detection result of the reflected wave from the welded portion 13. In the first determination, it is sufficient that at least the reflected wave from the welded portion 13 is determined to be bonded or unbonded. By reducing the amount of calculation for the detection result of the reflected wave from the region other than the welded portion 13, the time required for each process can be shortened. Therefore, it is preferable to extract a part of the detection result including the reflected wave from the welded portion 13 before calculating the inclination and executing the first determination.
  • FIG. 12 is a flowchart showing the flow of inspection using the processing system according to the embodiment.
  • the flow of the inspection when the range estimation and the slope calculation are executed will be described with reference to FIG.
  • the user executes the search by the detector 130 (step S1).
  • the processing device 110 determines whether or not the range corresponding to the reflected wave from the welded portion 13 has been estimated for the welding target for which the exploration has been executed (step S11). If the range has not yet been estimated, the processor 110 estimates the range (step S12).
  • ultrasonic waves are reflected from surfaces other than the welded portion 13.
  • the processing device 110 estimates a range corresponding to the reflected wave from the welded portion 13, and calculates the subsequent inclination based on the reflected wave included in this range. As a result, the required amount of calculation can be reduced. The accuracy of the calculated tilt can be improved.
  • the processing device 110 calculates the inclination of the detector 130 based on the detection result of the reflected wave within the estimated range (step S13). It is determined whether the calculated slope is within the permissible range (step S14). The determination may be executed by the user or may be executed by the processing device 110. When the processing device 110 determines, the permissible range may be preset by the user or may be set based on the history of past inspection results.
  • the processing device 110 measures the diameter of the welded portion 13 based on the detection result when the inspection of the welded portion 13 is executed. If the inclination of the detector 130 is too large, the diameter of the welded portion 13 is calculated to be smaller than the actual diameter. As the inclination of the detector 130 becomes smaller, the calculated diameter of the welded portion 13 becomes larger. When the inclination of the detector 130 becomes sufficiently small, the calculated diameter of the welded portion 13 hardly changes.
  • the storage device 120 stores the relationship between the inclination of the detector 130 calculated in the past and the diameter of the welded portion 13.
  • the processing device 110 determines a boundary value at which the change in the diameter of the welded portion 13 becomes smaller with respect to the change in the inclination of the detector 130.
  • the processing device 110 sets the size of the allowable range based on this boundary value. For example, the processing device 110 sets the boundary value as the size of the allowable range. Alternatively, in order to further improve the accuracy of the inspection, the processing device 110 may set a smaller value calculated based on the boundary value as an allowable range.
  • step S15 When the tilt is not within the permissible range, the user adjusts the tilt of the detector 130 (step S15).
  • step S14 the user may be notified that the inclination is not within the allowable range.
  • step S1 is executed again with the tilt after adjustment.
  • step S2 the first determination is executed (step S2).
  • joining or unjoining is determined at each point on the XY plane within the range estimated in step S12.
  • steps S3 to S5 are executed in the same manner as the flowchart shown in FIG.
  • the detected result of the reflected wave is represented two-dimensionally.
  • the detected result of the reflected wave may be represented three-dimensionally.
  • a plurality of voxels are set for the member 10. Coordinates in the X, Y, and Z directions are set for each voxel.
  • the reflected wave intensity is associated with each voxel.
  • the processing device 110 estimates a range (a group of voxels) corresponding to the welded portion 13 in a plurality of voxels.
  • the number of voxels to be set and the size of each voxel may be automatically determined, or may be set by the user through the user interface of the display device 150.
  • FIGS. 13 (a) and 13 (b) are graphs illustrating the intensity distribution of the reflected wave in the Z direction in one cross section.
  • FIG. 14 is a graph illustrating the intensity distribution of the reflected wave in the Z direction.
  • the processing device 110 generates an intensity distribution of the reflected wave in the Z direction based on the detection result of the reflected wave.
  • 13 (a) and 13 (b) are examples thereof.
  • the horizontal axis represents the position in the Z direction
  • the vertical axis represents the intensity of the reflected wave.
  • FIG. 13A illustrates the intensity distribution of the reflected wave in the Z direction in one XZ cross section.
  • FIG. 13B illustrates the intensity distribution of the reflected wave in the Z direction in one YY cross section.
  • 13 (a) and 13 (b) show the result of converting the reflected wave intensity into an absolute value.
  • the processing device 110 may add up the reflected wave intensities in the XY planes at each point in the Z direction to generate an intensity distribution of the reflected waves in the Z direction.
  • FIG. 14 is an example thereof.
  • the horizontal axis represents the position in the Z direction
  • the vertical axis represents the intensity of the reflected wave.
  • FIG. 14 shows the result of converting the reflected wave intensity into an absolute value and subtracting the average value of the reflected wave intensity from the reflected wave intensity at each point in the Z direction.
  • the intensity distribution of the reflected wave in the Z direction includes a component reflected on the upper surface 13a and the lower surface 13b of the welded portion 13 and a component reflected on the upper surface and the lower surface of the other portion.
  • the processing device 110 extracts only the components reflected by the upper surface 13a and the lower surface 13b of the welded portion 13 from the intensity distribution of the reflected wave by filtering. For example, a value corresponding to an integral multiple of half the thickness of the welded portion 13 in the Z direction (distance between the upper surface 13a and the lower surface 13b) is set in advance.
  • the processing device 110 refers to the value and extracts only the periodic component of the value.
  • a bandpass filter As the filtering, a bandpass filter, a zero phase filter, a lowpass filter, a highpass filter, or a threshold determination for the intensity after the filter can be used.
  • FIG. 15 is a graph illustrating the result of filtering the intensity distribution of the reflected wave.
  • the horizontal axis represents the position in the Z direction
  • the vertical axis represents the intensity of the reflected wave.
  • the processing device 110 estimates the range of the welded portion in the Z direction based on the extraction result. For example, the processing device 110 detects a peak included in the extraction result. The processing device 110 detects the position of the first peak in the Z direction and the position of the second peak in the Z direction. Based on these positions, the processing apparatus 110 estimates, for example, the range Ra1 shown in FIG. 15 as the range of the welded portion in the Z direction.
  • the sign of the reflected wave intensity from the upper surface of the welded portion (positive or negative) and the sign of the reflected wave intensity from the lower surface of the welded portion may be reversed from each other. is there.
  • the processing apparatus 110 may detect one of the positive and negative peaks and the other positive and negative peaks.
  • the processing device 110 estimates the range of the welded portion in the Z direction with reference to the positions of these peaks.
  • the reflected wave intensity may be represented by only one of a positive value and a negative value.
  • the range of the weld in the Z direction may be estimated based on the positions of the plurality of peaks, the positions of the peaks and the bottoms, or the positions of the plurality of bottoms. It may be estimated. That is, the processing device 110 estimates the range of the reflected wave intensity after filtering in the Z direction of the welded portion based on the positions of a plurality of extreme values.
  • the processing device 110 calculates an average, a weighted average, a weighted moving average, and the like for these plurality of estimation results, and estimates the calculation result as a range in the Z direction of the entire welded portion.
  • the processing device 110 estimates the range of the welded portion in the Z direction based on the intensity distribution of the reflected wave in one of the XZ cross section and the YZ cross section, and estimates the range in the Z direction of the entire welded portion in the Z direction. It may be regarded as the range in.
  • the processing device 110 estimates the range of the welded portion in the Z direction based on the intensity distribution of the reflected wave in a part of the X direction and a part of the Y direction, and estimates the range of the estimated result in the Z direction of the entire welded portion. It may be regarded as. According to these processes, the amount of calculation required to generate the intensity distribution of the reflected wave can be reduced.
  • the position of the lower limit of the range Ra1 in the Z direction is set to a value obtained by subtracting a predetermined value from the position of the first peak in the Z direction.
  • the position of the upper limit of the range Ra1 in the Z direction is set to a value obtained by adding a predetermined value from the position of the second peak in the Z direction.
  • the processing apparatus 110 estimates the X-direction range and the Y-direction range of the weld.
  • 16 and 18 are schematic views illustrating the detection result of the reflected wave.
  • the region R represents the entire region where the detection result of the reflected wave is obtained by the element array 131.
  • One cross section of the region R includes reflected wave components on the upper and lower surfaces of the welded portion and reflected wave components on the upper and lower surfaces of the other portions.
  • the processing device 110 generates an intensity distribution of the reflected wave on the XY planes at each point in the Z direction.
  • the processing device 110 may generate an intensity distribution within a preset range in the Z direction. As a result, the amount of calculation can be reduced.
  • the processing apparatus 110 may generate an intensity distribution within the estimated range in the Z direction. As a result, it is possible to prevent the reflected wave component from coming off from the lower surface of the welded portion when generating the intensity distribution of the reflected wave on the XY plane while reducing the amount of calculation.
  • FIGS. 17, (a) to 17 (c) are examples of the intensity distribution of the reflected wave on the XY plane.
  • the intensity of the reflected wave is schematically represented by binarization.
  • the processing device 110 calculates the position of the center of gravity of the intensity distribution of the reflected wave on the XY plane at each point in the Z direction.
  • the position of the center of gravity of the intensity distribution is obtained by calculating the position of the center of gravity of the image showing the intensity distribution.
  • the processing device 110 calculates the positions C1 to C350 of the center of gravity in each image.
  • the average position AP represents the average position of the center of gravity in the X direction and the average position of the center of gravity in the Y direction.
  • the processing device 110 sets a predetermined range in each of the X direction and the Y direction about the average position AP as the range Ra2 in the X direction of the welded portion and the range Ra3 in the Y direction of the welded portion.
  • a value V indicating the diameter of the detector 130 is preset.
  • the processing device 110 sets AP-V / 2 to AP + V / 2 as a range Ra2 and a range Ra3, respectively, in the X direction and the Y direction.
  • the estimated range on the XY plane is rectangular.
  • the estimated range on the XY plane may be a polygonal shape or a circular shape having five or more angles. The shape of the estimated range on the XY plane can be appropriately changed according to the shape of the welded portion.
  • the range Ra2 and the range Ra3 may be determined using another value based on the value V.
  • a value indicating the average diameter of the welded portion may be set in advance. This is because the diameter of the welded portion corresponds to the diameter of the detector 130.
  • the value indicating the diameter of the welded portion can be substantially regarded as the value indicating the diameter of the detector 130.
  • step S12 shown in FIG. 12 is executed based on the detection result of the reflected wave in the estimated range.
  • FIG. 19 is a flowchart showing a flow of range estimation in the processing system according to the embodiment.
  • the processing device 110 generates an intensity distribution of the reflected wave in the Z direction based on the detection result of the reflected wave by the detector 130 (step S121).
  • the processing apparatus 110 filters the strength distribution based on the value of the thickness of the weld (step S122). As a result, only the reflected wave component in the welded portion 13 is extracted from the intensity distribution.
  • the processing device 110 estimates the range of the welded portion in the Z direction based on the extraction result (step S123).
  • the processing device 110 calculates the position of the center of gravity of the reflected wave intensity on the XY plane at each point in the Z direction (step S124).
  • the processing device 110 calculates the average position by averaging the calculated positions of the plurality of centers of gravity (step S125).
  • the processing apparatus 110 estimates the respective ranges in the X direction and the Y direction based on the average position and the diameter of the detector 130 (step S126).
  • the range estimation in the Z direction may be executed after the range estimation in the X direction and the Y direction.
  • steps S121 to S123 may be executed after steps S124 to S126.
  • the processing device 110 may calculate the intensity distribution of the reflected wave in the Z direction based on the estimated range of the X direction and the Y direction. As a result, the amount of calculation can be reduced.
  • FIG. 20 is an image illustrating the detection result of the reflected wave.
  • the whiter the color the higher the intensity of the reflected wave at that point.
  • the processing device 110 executes the operation shown in FIG. 21 with respect to the detection result shown in FIG. 20. As a result, the range Ra is estimated.
  • FIG. 21 is a diagram for explaining processing by the processing system according to the embodiment.
  • FIG. 22 is an example of an image obtained by the processing system according to the embodiment.
  • FIG. 22A shows the surface of the welded portion 13 in the volume data shown in FIG.
  • FIG. 22B shows a ZZ cross section in the vicinity of the welded portion 13 in the volume data shown in FIG.
  • FIG. 22 (c) shows an XX cross section in the vicinity of the welded portion 13 in the volume data shown in FIG.
  • the upper side is the surface of the welded portion, and the data in the depth direction is shown downward.
  • the portion having high brightness is the portion having high reflection intensity of ultrasonic waves. The ultrasonic waves are strongly reflected by the bottom surface of the welded portion 13, the surface between the unjoined members, and the like.
  • the inclination of the detector 130 corresponds to the angle between the direction 13d perpendicular to the welded portion 13 and the direction 130a of the detector 130 shown in FIG. This angle is represented by an angle ⁇ x around the X direction and an angle ⁇ y around the Y direction.
  • the direction 130a of the detector 130 is perpendicular to the arrangement direction of the detection elements 132.
  • the angle ⁇ x is calculated based on the detection result in the YY cross section as shown in FIG. 22 (b).
  • the angle ⁇ y is calculated based on the detection result in the XX cross section as shown in FIG. 22 (c).
  • the processing device 110 calculates the average of the three-dimensional luminance gradients as angles ⁇ x and ⁇ y for each cross section.
  • the processing device 110 stores the calculated angles ⁇ x and ⁇ y in the storage device 120 as the inclination of the detector 130.
  • the processing device 110 may display the calculated inclination on the display device 150.
  • the detector 130 re-searches is executed.
  • the conditions for executing the exploration again may be different from the conditions for executing the immediately preceding exploration.
  • the condition for performing the re-exploration is the condition for performing the immediately preceding exploration. Changes from.
  • the user separates the detector 130 from the welding target and reapplies the couplant to the welding target. If the capplant was not filled between the weld target and the detector 130 in the previous exploration, recoating of the capplant may fill the space between the weld target and the detector 130 by the capplant. .. When reapplying the coplant, the coplant already applied to the object to be welded may be removed.
  • the inclination of the detector 130 with respect to the welding target may be set to the same value as the inclination in the immediately preceding exploration. Even if the inclination of the detector 130 is the same as the inclination immediately before, the detection result of the reflected wave may be different from the detection result immediately before. By setting the inclination of the detector 130 to the same value as the immediately preceding inclination, the inclination is maintained within the allowable range.
  • the inclination of the detector 130 with respect to the welding target may be set to a value different from the inclination in the immediately preceding exploration.
  • the amount of change in slope is preferably smaller than the difference between the immediately preceding slope and the critical value within the permissible range.
  • the inclination of the detector 130 may be set outside the permissible range. As a result, the inclination of the detector 130 is set to a value significantly different from the inclination in the immediately preceding exploration. As a result, it is more likely that a detection result that is significantly different from the previous exploration will be obtained. By adjusting the tilt of the detector 130 again based on the detection result that is significantly different from the previous exploration, the detector 130 may be adjusted to a state in which a more appropriate detection result can be obtained.
  • the allowable range of inclination may be changed.
  • the processing device 110 narrows the allowable range of inclination.
  • the processing device 110 adjusts the inclination so that the inclination of the detector 130 falls within the narrowed allowable range.
  • the processing device 110 may set the inclination of the detector 130 to a value different from the inclination in the immediately preceding exploration.
  • the first judgment is executed again based on the detection result of the reflected wave obtained by the exploration.
  • the range estimation may be performed again before the first determination. In the first determination, joined or unjoined is detected at each point in the re-estimated range.
  • the conditions at the time of execution of the exploration may be changed according to the determination result of the quality of welding. For example, when the welding is determined to be good and the result of the first determination is determined to be inappropriate, at least one of recoating of the coplant, readjustment of the inclination, and change of the allowable range of the inclination is executed. As a result, the condition at the time of re-execution of the exploration changes from the condition at the time of the previous exploration execution to another condition (first condition).
  • FIG. 23 is a schematic diagram showing the result of classification by the first model.
  • the detection result of the reflected wave or the result of the first determination may be classified into three or more categories according to the first model.
  • 23 (a) to 23 (c) show an example in which the image data showing the result of the first determination is divided into three or more categories by the first model.
  • 23 (a) to 23 (c) show image data classified into different categories.
  • the image data shown in FIG. 23A indicates that the result of the first determination is appropriate.
  • the image data shown in FIGS. 23 (b) and 23 (c) indicate that the result of the first determination is inappropriate.
  • the area of the first region R1 is larger than that of the image data of FIG. 23 (a).
  • a part of the first region R1 protrudes.
  • the image data of FIG. 23 (b) is classified into a second category different from the first category in which the image data of FIG. 23 (a) is classified.
  • the area of the first region R1 is smaller than that of the image data of FIG. 23 (a).
  • the first region R1 is curved as a whole.
  • the image data of FIG. 23 (c) is classified into a third category different from the first category and the second category.
  • the shape of the first region R1 in the image data of FIGS. 23 (b) and 23 (c) is farther from the circle than the image data of FIG. 23 (a).
  • the three-dimensional volume data which is the detection result of the reflected wave may be input to the first model.
  • the image data showing the result of the first determination is based on the detection result of the reflected wave. Therefore, the three-dimensional volume data can be similarly classified into any of a plurality of categories by the first model.
  • the detector 130 will perform another search.
  • the conditions at the time of exploration execution may be changed according to the category in which the data is divided. For example, when the data is divided into the second category, at least one of recoating of the coplant, readjustment of the slope, and change of the tolerance of the slope is performed. As a result, the condition at the time of re-execution of the exploration changes from the condition at the time of the previous exploration execution to another condition (first condition).
  • the data is divided into third categories, at least one other recoating of the coplant, readjustment of the slope, and change of the tolerance of the slope is performed.
  • condition at the time of executing the exploration again changes from the condition at the time of the previous exploration execution to another condition (second condition).
  • second condition By setting the conditions at the time of exploration execution according to the category in which the data is divided, it becomes easier to obtain more appropriate reflected wave detection results in the re-exploration.
  • FIG. 24 is a schematic diagram showing a configuration of a processing system according to a modified example of the embodiment.
  • FIG. 25 is a perspective view showing a part of the processing system according to the modified example of the embodiment.
  • the processing system 100a shown in FIG. 24 includes a processing device 110 and a robot 160.
  • the robot 160 includes a detector 130, an image pickup device 161, a coating device 162, an arm 163, and a control device 164.
  • the image pickup device 161 photographs the welded member and acquires an image.
  • the image pickup apparatus 161 extracts the welding mark from the image and detects the approximate position of the welded portion 13.
  • the coating device 162 coats the coplant on the upper surface of the welded portion 13.
  • the detector 130, the image pickup device 161 and the coating device 162 are provided at the tip of the arm 163 as shown in FIG. 25.
  • the arm 163 is, for example, an articulated robot. By driving the arm 163, the detector 130, the image pickup device 161 and the coating device 162 can be displaced.
  • the control device 164 controls the operation of each component (detector 130, image pickup device 161, coating device 162, arm 163) of the robot 160.
  • FIG. 26 is a flowchart showing the operation of the processing system according to the modified example of the embodiment.
  • the processing device 110 transmits the coordinates of the welded portion 13 stored in the storage device 120 to the control device 164.
  • the control device 164 drives the arm 163 and moves the tip of the arm 163 toward the received coordinates (step S21).
  • the image pickup apparatus 161 photographs the member 10 and detects the detailed position of the welded portion 13 from the acquired image (step S22).
  • the control device 164 drives the arm 163 to move the coating device 162 to the vicinity of the detected position (step S23).
  • the coating device 162 applies the coplant to the welded portion 13 (step S24).
  • the control device 164 drives the arm 163 and moves the detector 130 so that the tip of the detector 130 comes into contact with the welded portion 13 coated with the couplant (step S25). After that, S1 to S5 and S11 to S15 are executed in the same manner as in the flowchart shown in FIG.
  • step S5 the exploration of step S2 may be executed again.
  • the processing device 110 determines in step S3 that the result of the first determination is inappropriate
  • the processing device 110 transmits the determination result to the control device 164.
  • the control device 164 executes the search by the detector 130 again.
  • the control device 164 may execute at least one of recoating of the coplant, readjustment of the inclination, and change of the allowable range of the inclination.
  • the control device 164 may set the inclination of the detector 130 with respect to the welding target to the same value as the inclination in the immediately preceding exploration. Even if the inclination of the detector 130 is the same as the inclination immediately before, the detection result of the reflected wave may be different from the detection result immediately before. By setting the inclination of the detector 130 to the same value as the immediately preceding inclination, the inclination is maintained within the allowable range.
  • control device 164 may set the inclination of the detector 130 with respect to the welding target to a value different from the inclination in the immediately preceding exploration.
  • the amount of change in slope is preferably smaller than the difference between the immediately preceding slope and the critical value within the permissible range.
  • the control device 164 may set the inclination of the detector 130 out of the permissible range. As a result, the inclination of the detector 130 is set to a value significantly different from the inclination in the immediately preceding exploration. As a result, it is more likely that a detection result that is significantly different from the previous exploration will be obtained. By adjusting the tilt of the detector 130 again based on the detection result that is significantly different from the previous exploration, it may be possible to control the detector 130 to a state in which a more appropriate detection result can be obtained.
  • the control device 164 may execute step S22 or S24 again. That is, the control device 164 detects the position of the welded portion 13 again. As a result, a more accurate position of the welded portion 13 may be detected, and a more appropriate first determination result may be obtained. Alternatively, the control device 164 reapplies the couplant to the weld 13. For example, when the result of the first determination is determined to be inappropriate, the control device 164 drives the arm 163 to separate the detector 130 from the welding target. The control device 164 causes the coating device 162 to reapply the couplant to the object to be welded. The control device 164 may clean the nozzles of the coating device 162 before coating the coplant.
  • the control device 164 may test-fire the couplant at a position away from the welding target before applying the couplant, and determine whether the couplant has been normally fired. If the coplant is not successfully fired, the control device 164 may clean the nozzles of the coating device 162. If there is an abnormality in the coating device 162, these operations may eliminate the abnormality in the coating device 162. After cleaning or pilot firing, controller 164 causes the welded object to be reapplied with couplant. Due to the recoating of the coplant, the space between the welded object and the detector 130 may be filled by the coplant. As a result, a more appropriate first determination result may be obtained. After step S22 or S24 is executed, subsequent steps are executed again.
  • the control device 164 changes the conditions for executing the search according to the result of determining whether the welding is good or bad. Is also good. For example, when the weld is determined to be good and the result of the first determination is determined to be inappropriate, the control device 164 is at least one of recoating the coplant, readjusting the tilt, and changing the tolerance of the tilt. To execute. As a result, the condition at the time of re-execution of the exploration changes from the condition at the time of the previous exploration execution to another condition (first condition).
  • the controller 164 is at least one of the recoating of the coplant, the readjustment of the tilt, and the change of the tolerance of the tilt. To execute. As a result, the condition at the time of executing the exploration again changes from the condition at the time of the previous exploration execution to another condition (second condition).
  • second condition By setting the conditions at the time of exploration according to the combination of the result of the first determination and the determination result of welding, it becomes easier to obtain a more appropriate reflected wave detection result in the re-exploration.
  • the control device 164 may change the conditions at the time of exploration execution according to the category in which the data is divided. For example, when the data is divided into the second category, the controller 164 performs at least one of recoating of the coplant, readjustment of the tilt, and change of the tolerance of the tilt. As a result, the condition at the time of re-execution of the exploration changes from the condition at the time of the previous exploration execution to another condition (first condition). When the data is divided into third categories, controller 164 performs at least one other recoating of the coplant, readjustment of the tilt, and change of the tolerance of the tilt.
  • the condition at the time of executing the exploration again changes from the condition at the time of the previous exploration execution to another condition (first condition).
  • first condition By setting the conditions at the time of exploration execution according to the category in which the data is divided, it becomes easier to obtain more appropriate reflected wave detection results in the re-exploration.
  • more accurate data regarding the welding target can be obtained. For example, when the area or diameter of the welded portion 13 is calculated based on the result of the first determination, a more accurate value can be obtained by adopting the value based on the result of the first determination determined to be appropriate. it can.
  • FIG. 27 is a block diagram showing the hardware configuration of the system.
  • the processing device 110 of the processing system 100 is a computer, and is a ROM (Read Only Memory) 111, a RAM (Random Access Memory) 112, a CPU (Central Processing Unit) 113, and an HDD (Hard Disk Drive). It has 114.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • CPU Central Processing Unit
  • HDD Hard Disk Drive
  • ROM 111 stores a program that controls the operation of the computer.
  • the ROM 111 stores a program necessary for the computer to realize each of the above-described processes.
  • the RAM 112 functions as a storage area in which the program stored in the ROM 111 is expanded.
  • the CPU 113 includes a processing circuit.
  • the CPU 113 reads the control program stored in the ROM 111 and controls the operation of the computer according to the control program.
  • the CPU 113 expands various data obtained by the operation of the computer into the RAM 112.
  • the HDD 114 stores data necessary for reading and data obtained in the process of reading.
  • the HDD 114 functions as, for example, the storage device 120 shown in FIG.
  • the processing device 110 may have an eMMC (embedded MultiMediaCard), SSD (Solid State Drive), SSHD (Solid State Hybrid Drive), or the like instead of the HDD 114.
  • eMMC embedded MultiMediaCard
  • SSD Solid State Drive
  • SSHD Solid State Hybrid Drive
  • the input device 140 includes at least one of a mouse, a keyboard, and a touchpad.
  • the display device 150 includes at least one of a monitor and a projector. A device that functions as both an input device 140 and a display device 150, such as a touch panel, may be used.
  • the hardware configuration shown in FIG. 27 can also be applied to the control device 164.
  • one computer shown in FIG. 27 may function as the processing device 110 and the control device 164.
  • the functions of the processing device 110 or the control device 164 may be realized by the cooperation of a plurality of computers.
  • the processing device 110 sets the first region R1 based on the result of the first determination, and then extracts the outer edge of the first region R1.
  • the processing device 110 may determine the suitability of the result of the first determination based on the similarity between the outer edge of the first region R1 and the preset shape.
  • the processing device 110 calculates the degree of similarity between the image showing the outer edge of the first region R1 and the image including the preset shape. The degree of similarity is calculated based on the feature points of each image and the like.
  • the processing device 110 determines the suitability of the result of the first determination by comparing the similarity with a preset threshold value.
  • the above-mentioned various data processing can be performed by a computer as a program that can be executed by a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD ⁇ R). , DVD ⁇ RW, etc.), and may be recorded on a non-transitory computer-readable storage medium such as a semiconductor memory.
  • the data recorded on the recording medium can be read by a computer (or an embedded system).
  • the recording format storage format
  • the computer reads a program from the recording medium and causes the CPU to execute the instructions described in the program based on the program.
  • the acquisition (or reading) of the program may be performed through the network.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

実施形態に係る処理システムは、処理装置を備える。前記処理装置は、互いに交差する第1方向及び第2方向に配列された複数の検出素子を含み、溶接対象に向けた超音波の送信及び反射波の検出を含む探査を実行する検出器から、前記反射波の検出結果を受信する。前記処理装置は、前記検出結果から、前記溶接対象の前記第1方向及び前記第2方向に沿った複数の点で接合および未接合を判定する第1判定を実行する。前記処理装置は、前記検出結果又は前記第1判定の結果に基づいて、前記第1判定の結果の適否を判定する第2判定を実行する。

Description

処理システム、処理方法、プログラム、及び記憶媒体
 本発明の実施形態は、処理システム、処理方法、プログラム、及び記憶媒体に関する。
 溶接では、2つ以上の部材の一部同士が溶融して接合させる。溶接された部材は、溶接された部分(以下、溶接部という)が、適切に接合されているか検査される。例えば、非破壊の検査では、検出器を把持した人(検査者)が、検出器を溶接部に接触させる。検出器から溶接部に向けて超音波が送信され、その反射波に基づいて溶接対象に関するデータが導出される。非破壊の検査については、この溶接対象に関するデータの精度を向上できる技術が求められている。
特開2019-90727号公報
牛島彰、齊藤真拡、松本真(2019)「非破壊検査で省人化と信頼性向上に貢献するスポット溶接検査ロボット」『東芝レビュー』vol.74,No.4,pp.25-28
 本発明が解決しようとする課題は、溶接対象に関するデータの精度を向上できる、処理システム、処理方法、プログラム、及び記憶媒体を提供することである。
 実施形態に係る処理システムは、処理装置を備える。前記処理装置は、互いに交差する第1方向及び第2方向に配列された複数の検出素子を含み、溶接対象に向けた超音波の送信及び反射波の検出を含む探査を実行する検出器から、前記反射波の検出結果を受信する。前記処理装置は、前記検出結果から、前記溶接対象の前記第1方向及び前記第2方向に沿った複数の点で接合および未接合を判定する第1判定を実行する。前記処理装置は、前記検出結果又は前記第1判定の結果に基づいて、前記第1判定の結果の適否を判定する第2判定を実行する。
実施形態に係る処理システムの構成を表すブロック図である。 非破壊検査の様子を表す模式図である。 検出器先端の内部構造を表す模式図である。 実施形態に係る処理システムによる処理を説明するための模式図である。 実施形態に係る処理システムにより得られた画像の一例である。 実施形態に係る処理システムによる処理を説明するための図である。 実施形態に係る処理システムによる処理結果を表す画像の一例である。 反射波の検出結果に基づく画像を示す模式図である。 反射波の検出結果に基づく画像を示す模式図である。 第2判定を説明するためのグラフである。 実施形態に係る処理システムを用いた検査の流れを表すフローチャートである。 実施形態に係る処理システムを用いた検査の流れを表すフローチャートである。 一断面でのZ方向における反射波の強度分布を例示するグラフである。 Z方向における反射波の強度分布を例示するグラフである。 反射波の強度分布をフィルタリングした結果を例示するグラフである。 反射波の検出結果を例示する模式図である。 X-Y面における反射波の強度分布の一例である。 反射波の検出結果を例示する模式図である。 実施形態に係る処理システムにおける範囲の推定の流れを表すフローチャートである。 反射波の検出結果を例示する画像である。 実施形態に係る処理システムによる処理を説明するための図である。 実施形態に係る処理システムにより得られた画像の一例である。 第1モデルによる区分の結果を表す模式図である。 実施形態の変形例に係る処理システムの構成を表す模式図である。 実施形態の変形例に係る処理システムの一部を表す斜視図である。 実施形態の変形例に係る処理システムの動作を表すフローチャートである。 システムのハードウェア構成を表すブロック図である。
 以下に、本発明の各実施形態について図面を参照しつつ説明する。
 図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
 本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
 図1は、実施形態に係る処理システムの構成を表すブロック図である。
 図1に表したように、実施形態に係る処理システム100は、処理装置110及び記憶装置120を備える。記憶装置120は、溶接検査に関するデータを記憶する。処理装置110は、溶接検査に関するデータを処理する。
 図1に表した処理システム100は、検出器130、入力装置140、及び表示装置150をさらに備える。検出器130は、対象に向けて超音波を送信し、その反射波を検出(受信)する。検出器130は、例えばプローブを含む。以降では、検出器130による超音波の送信及び反射波の検出を、探査(プロ-ビング)という。
 処理装置110は、検出された反射波に基づいて、様々な処理を実行する。処理装置110は、表示装置150にユーザインタフェースを表示させる。ユーザは、表示装置150に表示されたユーザインタフェースを通して、処理によって得られたデータを容易に確認できる。ユーザは、入力装置140を用いて、ユーザインタフェースを介して処理装置110へデータを入力できる。
 処理装置110は、有線通信、無線通信、又はネットワークを介して記憶装置120、検出器130、入力装置140、及び表示装置150と接続される。
 ここで、溶接検査について具体的に説明する。溶接検査では、溶接部の非破壊検査が行われる。
 図2は、非破壊検査の様子を表す模式図である。
 検出器130は、溶接部を検査するための複数の検出素子を含む。検出器130は、例えば図2に表したように、人が手で把持できる形状を有する。検出器130を把持した人は、検出器130の先端を溶接部13に接触させ、溶接部13を検査する。ここでは、人が検出器130を把持し、溶接検査を実行する例について説明する。以降では、検出器130を把持し、溶接検査を実行する人(例えば検査者)を、ユーザという。
 図3は、検出器先端の内部構造を表す模式図である。
 検出器130先端の内部には、図3に表したように、複数の検出素子132を含む素子アレイ131が設けられている。検出素子132は、例えば、トランスデューサである。各検出素子132は、例えば、1MHz以上100MHz以下の周波数の超音波を発する。複数の検出素子132は、互いに交差する第1方向及び第2方向に配列されている。図3に表した例では、複数の検出素子132は、互いに直交するX方向及びY方向に配列されている。
 素子アレイ131は、例えば硬質伝搬部材133により被覆されている。検出器130の先端を溶接部13に接触させた際、硬質伝搬部材133は、素子アレイ131と溶接部13との間に位置する。硬質伝搬部材133は、超音波が伝搬し易い樹脂材料などにより構成される。溶接部13の表面の形状に応じた硬質伝搬部材133を設けることで、溶接部13の内部まで超音波を伝搬させ易くなる。硬質伝搬部材133により、検出器130が溶接部13へ接触した際の素子アレイ131の変形、損傷などを抑制できる。硬質伝搬部材133は、溶接部13への接触時の変形、損傷などを抑制するために、十分な硬さを有する。
 図2及び図3は、溶接対象としての部材10を検査する様子を表している。部材10は、金属板11(第1部材)と金属板12(第2部材)が、溶接部13においてスポット溶接されて作製されている。図3に表したように、溶接部13では、金属板11の一部と金属板12の一部が溶融し、混ざり合って凝固した凝固部14が形成されている。
 例えば、検査では、溶接部13が形成されているかを調べる。検査では、溶接部13の径、径が十分かどうか、などを調べる。検査時には、対象と検出器130との間で超音波が伝搬し易くなるように、対象の表面にカプラント15が塗布される。それぞれの検出素子132は、カプラント15が塗布された部材10に向けて超音波USを送信し、部材10からの反射波RWを受信する。
 又は、カプラント15に代えて、超音波が伝搬し易い軟質の伝搬部材が検出器130の先端に設けられていても良い。この軟質伝搬部材は、硬質伝搬部材133よりも軟らかい。溶接部13に接触した際、軟質伝搬部材は、溶接部13の表面の形状に倣って変形する。軟質伝搬部材は、例えばゲル状の樹脂で構成される。
 例えば図3に表したように、1つの検出素子132が溶接部13に向けて超音波USを送信する。超音波USの一部は、部材10の上面又は下面などで反射される。複数の検出素子132のそれぞれは、この反射波RWを受信(検出)する。それぞれの検出素子132が順次超音波USを送信し、それぞれの反射波RWを複数の検出素子132で検出する。
 処理装置110は、反射波の検出結果が得られると、以下の第1判定及び第2判定を実行する。第1判定では、処理装置110は、得られた検出結果から、溶接対象の各点が接合されているか判定する。第2判定では、処理装置110は、反射波の検出結果又は第1判定の結果に基づいて、第1判定の結果の適否を判定する。
 以下で、第1判定及び第2判定について具体的に説明する。
(第1判定)
 図4は、実施形態に係る処理システムによる処理を説明するための模式図である。
 図4(a)に表したように、超音波USの一部は、金属板11の上面11aまたは溶接部13の上面13aで反射される。超音波USの別の一部は、部材10に入射し、金属板11の下面11bまたは溶接部13の下面13bで反射する。
 上面11a、上面13a、下面11b、及び下面13bのZ方向における位置は、互いに異なる。すなわち、これらの面と検出素子132との間のZ方向における距離が、互いに異なる。検出素子132が、これらの面からの反射波を受信すると、反射波の強度のピークが検出される。超音波USを送信した後、各ピークが検出されるまでの時間を算出することで、どの面で超音波USが反射されているか調べることができる。
 図4(b)及び図4(c)は、超音波USを送信した後の時間と、反射波RWの強度と、の関係を例示するグラフである。図4(b)及び図4(c)において、縦軸は、超音波USを送信した後の経過時間を表す。横軸は、検出された反射波RWの強度を表す。ここでは、反射波RWの強度を絶対値で表している。図4(b)のグラフは、金属板11の上面11a及び下面11bからの反射波RWの検出結果を例示している。図4(c)のグラフは、溶接部13の上面13a及び下面13bからの反射波RWの検出結果を例示している。
 図4(b)のグラフにおいて、1回目のピークPe11は、上面11aからの反射波RWに基づく。2回目のピークPe12は、下面11bからの反射波RWに基づく。ピークPe11及びピークPe12が検出された時間は、それぞれ、金属板11の上面11a及び下面11bのZ方向における位置に対応する。ピークPe11が検出された時間とピークPe12が検出された時間との時間差TD1は、上面11aと下面11bとの間のZ方向における距離Di1に対応する。
 同様に、図4(c)のグラフにおいて、1回目のピークPe13は、上面13aからの反射波RWに基づく。2回目のピークPe14は、下面13bからの反射波RWに基づく。ピークPe13及びピークPe14が検出された時間は、それぞれ、溶接部13の上面13a及び下面13bのZ方向における位置に対応する。ピークPe13が検出された時間とピークPe14が検出された時間との時間差TD2は、上面13aと下面13bとの間のZ方向における距離Di2に対応する。
 処理装置110は、ピーク間の時間差が溶接部13の厚みに対応するか判定する。ピーク間の時間差が溶接部13の厚みに対応すると判定されると、その点は接合されていると判定される。例えば、処理装置110は、X-Y面内の各点において、ピーク間の時間差を、予め設定された閾値と比較する。時間差が閾値以上のとき、処理装置110は、その点が接合されていると判定する。時間差が閾値未満のとき、処理装置110は、その点が接合されていないと判定する。閾値は、溶接部13の厚みに基づいて設定される。閾値に代えて、範囲が設定されても良い。処理装置110は、時間差がその範囲に含まれるとき、その点が接合されていると判定する。
 なお、反射波の強度は、任意の態様で表現されて良い。例えば、検出素子132から出力される反射波強度は、位相に応じて、正の値及び負の値を含む。正の値及び負の値を含む反射波強度に基づいて、各種処理が実行されても良い。正の値及び負の値を含む反射波強度を、絶対値に変換しても良い。各時刻における反射波強度から、反射波強度の平均値を減じても良い。又は、各時刻における反射波強度から、反射波強度の加重平均値、重み付き移動平均値などを減じても良い。反射波強度にこれらの処理を加えた結果を用いた場合でも、本願で説明する各種処理を実行可能である。
 図5は、実施形態に係る処理システムにより得られた画像の一例である。
 図5は、反射波の検出結果に基づいて描写される画像である。図5において、各点の輝度(白さ)は、その点における反射波の強度を表す。図5に表したように、反射波の検出結果として3次元のボリュームデータが得られる。この反射波の検出結果に基づいて、溶接対象の各点の接合又は未接合が判定される。
 図6は、実施形態に係る処理システムによる処理を説明するための図である。
 図6(a)は、溶接部13近傍を模式的に表す平面図である。検出器130によって検出された反射波に基づいて、例えば図6(a)に表した検出エリアDAの各点が接合されているか判定される。
 図6(b)は、図6(a)に表した線分Li1の各点における検出結果の一例を表す。図6(b)において、縦軸は、X方向及びY方向に垂直なZ方向における位置を表す。横軸は、X方向における位置を表す。図6(b)において、○(白丸)は、部材10の1つ目の反射面のZ方向における位置を表す。1つ目の反射面は、金属板11の上面11a、溶接部13の上面13aなどである。●(黒丸)は、部材10の2つ目の反射面のZ方向における位置を表す。2つ目の反射面は、金属板11の下面11b、溶接部13の下面13bなどである。これらの位置は、上述したように、超音波USを送信した後、反射波RWのピークが検出されるまでの時間に基づいて算出される。図6(b)において、◆は、接合および未接合の判定結果を表す。接合されていると判定された点は、1の値で表され、未接合と判定された点は、0の値で表されている。
 図7は、実施形態に係る処理システムによる処理結果を表す画像の一例である。
 上述した方法により、検出エリアDAの各点が接合されているかを判定する第1判定が実行される。処理装置110は、第1判定の結果に基づいて、例えば図7に表す画像を生成する。図7において、白色は、その点が接合されていることを表す。黒色は、その点が接合されていないことを表す。白点の集合に基づく第1領域R1は、溶接部13に対応する。黒点の集合に基づく第2領域R2は、溶接部13の周りの部材10に対応する。
 処理装置110は、第1領域R1の面積に基づいて、溶接対象における溶接の良否を判定しても良い。処理装置110は、第1領域R1の面積に基づいて、溶接部13の面積を算出しても良い。処理装置110は、第1領域R1の径に基づいて、溶接部13の径を算出しても良い。例えば、記憶装置120には、検出素子132同士の距離が予め記憶される。処理装置110は、第1領域R1の画素数及び記憶された距離を用いて、溶接部13の面積又は径を算出する。例えば、処理装置110は、径として、溶接部13の長径及び短径を算出する。処理装置110は、長径と短径の平均を算出しても良い。処理装置110は、第1領域R1の円相当径を、溶接部13の径として算出しても良い。第1領域R1の円相当径は、第1領域R1の面積を有し、その面積を有する仮想円の径を算出することで得られる。処理装置110は、算出されたいずれかの値を予め設定された閾値と比較することで、溶接対象における溶接の良否を判定する。
 第1領域R1は、白点の集合のみを含んでも良いし、一部の黒点を含んでも良い。例えば、処理装置110は、白点の集合と、白点の集合に囲まれた黒点と、を第1領域R1として設定する。白点の集合が複数存在する場合、処理装置110は、それらの白点の集合と、白点の集合同士の間に位置する黒点と、を第1領域R1として設定する。
 溶接部13の上面13a及び下面13bは、金属板11の上面11aに対して傾斜していることがある。これは、溶接部13が凝固部14を含むことや、溶接の過程における形状の変形などに基づく。この場合、上面13a又は下面13bに対して平均的に垂直な方向に沿って超音波USが送信されることが望ましい。これにより、上面13a及び下面13bにおいてより強く超音波が反射され、検査の精度を向上させることができる。
(第2判定)
 第2判定では、第1判定の結果の適否が判定される。すなわち、第1判定で実行された各点での接合又は未接合の判定結果が、適切かどうか判定される。処理装置110は、第1判定の結果の適否を判定するために、反射波の検出結果又は第1判定の結果を用いる。
 例えば、処理装置110は、第1判定の結果を適切と判定すると、以下の第1動作を実行する。第1動作において、処理装置110は、その第1判定の結果を採用する。例えば、処理装置110は、その第1判定の結果に基づいて導出されるデータを、溶接対象の検査結果として採用する。例えば、データは、溶接部13の面積及び径の少なくともいずれかを含む。データは、溶接部13の面積又は径に基づいて判定された溶接の良否を含んでいても良い。データは、第1判定と第2判定との間に導出されても良いし、第2判定の後に導出されても良い。処理装置110は、第1判定の結果が適切と判定されたときのみ、第1判定の結果に基づくデータを導出しても良い。第1動作において、処理装置110は、第1判定の結果を示す画像、溶接部13の面積、溶接部13の径、及び溶接の良否の判定結果の少なくともいずれかを記憶装置120又は表示装置150に出力しても良い。
 処理装置110は、第1判定の結果を不適切と判定すると、処理装置110は、以下の第2動作を実行する。第2動作において、処理装置110は、その第1判定の結果を採用しない。例えば、第1判定と第2判定との間に、溶接部13の面積、溶接部13の径、溶接の良否の判定結果などのデータが導出される場合、処理装置110は、それらのデータを溶接対象の検査結果として採用しない。第2動作において、処理装置110は、第1判定の結果が不適切であることを示す判定結果を記憶装置120又は表示装置150に出力しても良い。第2動作において、処理装置110は、溶接部13への再度の探査の実行をユーザに促しても良い。検出器130は、処理装置110によって第1判定の結果が不適切と判定されたときに、自動的に溶接部13への再度の探査の実行をしても良い。
 実施形態の効果を説明する。
 例えば、溶接対象の検査時に、溶接対象の複数の点で接合および未接合を判定し、第1領域R1の面積に基づいて溶接の良否を判定する方法がある。又は、第1領域R1の面積又は径に基づいて溶接部13の面積又は径を算出し、溶接部13の面積又は径に基づいて溶接の良否を判定する方法がある。これらの方法によれば、溶接対象における溶接の良否を概ね精度良く判定できる。
 発明者らがさらに検証したところ、上述した方法では、溶接部13の良否の判定が困難なケースが存在することが分かった。具体的には、検出器130の傾きを溶接部13に対して十分に小さくし、且つ検出器130を溶接部13に確実に接触させたときでも、実際には良好に溶接された溶接部13が、不良と判定されるケースが存在することが分かった。
 図8(a)~図8(c)及び図9は、反射波の検出結果に基づく画像を示す模式図である。
 図8(a)~図8(c)の画像は、図7と同様に、溶接対象の複数の点で接合を判定した結果を表す。図8(a)~図8(c)に表した接合の判定結果は、同じ溶接対象の同じ部分に対して、検出器130の傾きが十分に小さい状態で得られた検出結果に基づく。発明者らは、図8(a)~図8(c)に示すように、検出結果ごとに、第1領域R1の形状及びサイズが大きくばらつくケースが存在することを発見した。ばらつきの原因は未だ明らかでは無いが、溶接対象全体に対する溶接部13の傾き、溶接対象の材質などが影響していると考えられる。
 図8(a)の画像では、第1領域R1の一部が突出している。図8(c)では、第1領域R1の全体が湾曲している。実際の溶接部13の形状が、これらの画像に表される第1領域R1の形状になることは生じ難い。図8(b)の画像では、他の画像に比べて、第1領域R1が円に近い。図8(b)の第1領域R1は、他の画像の第1領域R1に比べて、実際の溶接部13の形状により近い。
 図9は、図8(a)に表した画像と同じである。検査において溶接部13の長径及び短径が算出される場合、図9に表したように、突出した部分を基準に、第1領域R1の長径L1及び短径L2が算出される可能性がある。この場合、溶接部13の長径及び短径が実際よりも長く算出される。面積についても、溶接部13の面積が実際よりも大きく算出される。
 図8(c)に表した画像では、第1領域R1によって示される溶接部13のサイズが、実際の溶接部13のサイズよりも小さい。これらの画像については、溶接部13の長径及び短径が実際よりも短く算出される可能性がある。
 溶接部13の面積又は径が実際と異なって算出されると、溶接部13の面積又は径に基づく溶接の良否も、誤って判定される可能性がある。例えば、溶接部13の面積又は径が実際よりも大きく算出される場合、実際には溶接が不良であるにも拘わらず、その溶接が良好と判定される可能性がある。溶接部13の面積又は径が実際よりも小さく算出される場合は、実際には溶接が良好であるにも拘わらず、その溶接が不良と判定される可能性がある。溶接部13の面積又は径が、品質管理のために別の工程で参照される場合は、その別の工程で問題が生じる可能性がある。
 この課題について、実施形態に係る処理システム100では、処理装置110が第1判定に加えて第2判定を実行する。第2判定では、第1判定の結果の適否が判定される。すなわち、溶接対象の複数の点における接合及び未接合の判定結果が、適切かどうか判定される。例えば、第2判定によって第1判定の結果が適切と判定されたときのみ、第1判定の結果を採用することで、溶接対象に関するより正確なデータを導出できる。例えば、溶接部13の面積、溶接部13の径、溶接の良否などについて、より正確なデータを得ることができる。
 第2判定が実行されることで、図7に表したような画像を基に、第1判定の結果の適否をユーザが判断する必要が無くなる。これにより、ユーザの知識及び経験に依存せずに、第1判定の結果の適否を判定できる。経験が十分では無いユーザが検査を実行する場合でも、より適切なデータのみを検査結果として採用できる。
 以下では、第2判定を実行するための複数の方法を説明する。
(第1の方法)
 処理装置110は、反射波の検出結果又は第1判定の結果に基づいて、第1評価値を算出する。処理装置110は、算出した第1評価値を記憶装置120に記憶する。処理装置110は、記憶装置120に記憶された過去の第1評価値を参照する。処理装置110は、第1評価値と、過去の第1評価値と、を用いて第1判定の結果の適否を判定する。
 具体的には、処理装置110は、過去の第1評価値に基づいて第2評価値を算出する。処理装置110は、第1評価値と第2評価値との差を第1閾値と比較することで、第1判定の結果の適否を判定する。例えば、直前の第1評価値が第2評価値として用いられても良い。好ましくは、複数の過去の第1評価値に基づいて、第2評価値が設定される。例えば、予め設定された数の過去の第1評価値の平均が、第2評価値として用いられる。
 第1閾値は、ユーザが設定しても良いし、過去の第1評価値に基づいて設定されても良い。例えば、処理装置110は、複数の過去の第1評価値の分散又は標準偏差を算出する。処理装置110は、分散又は標準偏差に所定の値を掛け合わせて第1閾値を算出する。
 第1評価値は、例えば、溶接部13の径に基づいて設定される。溶接部13の径は、上述した通り、第1判定の結果から算出される。処理装置110は、溶接部13の径を第1評価値をとして用いても良いし、溶接部13の径に基づいて算出される値を第1評価値をとして用いても良い。
 又は、第1評価値は、第1モデルから出力される値であっても良い。例えば、第1モデルは、第1判定の結果が適切なほど、より大きな値を出力するように学習される。学習された第1モデルは、記憶装置120に記憶される。第1モデルの学習には、図7に表したような溶接対象の各点の接合及び未接合の判定結果を示す画像データが用いられる。各画像データに対して、その画像データが適切又は不適切かを示すラベルが付与される。第1モデルは、複数の画像データ及び複数のラベルを用いて学習される。処理装置110は、学習済みの第1モデルに第1判定の結果に基づく画像データを入力し、その画像データが適切であることを示す出力層の値(活性度)を第1評価値として用いる。又は、処理装置110は、出力層の値に基づいて算出される別の値を第1評価値として用いても良い。
 図8(a)~図8(c)に表したように、第1判定の結果が適切であるほど、得られる第1領域R1の形状は円に近い。このため、第1評価値として、第1領域R1の円らしさが用いられても良い。円らしさは、第1領域の形状と円との類似の度合いを示す。例えば、円らしさを示す値が大きいほど、第1領域の形状は、より円に近い。円らしさとしては、真円度、円形度、又は楕円率を用いることができる。処理装置110は、真円度、円形度、楕円率、又は径の比を、第1評価値として用いる。処理装置110は、真円度、円形度、楕円率、又は径の比に基づいて算出される値を、第1評価値として用いる。
 真円度は、以下の方法により算出される。第1領域の外縁に内接する円と、第1領域の外縁に外接する別の円と、を設定する。これら2つの円の中心は、同じ位置に存在する。2つの円は、それらの間隔が小さくなるように設定される。2つの円の半径差が真円度に対応する。円の中心の設定方法は、任意である。例えば、以下の4つの方法が用いられる。第1の方法では、最小二乗法による近似円の中心を用いる。第2の方法では、外縁に内接する最大の円の中心を用いる。第3の方法では、外縁に外接する最小の円の中心を用いる。第4の方法では、半径差が最小となる内接円及び外接円の中心を用いる。真円度は、JIS B 0621(1984)に従って算出することができる。JIS B 0621(1984)は、ISO 1101(1983)に対応する。
 円形度は、第1領域の面積Aと、第1領域の外周の長さLと、を用いて、4nA/Lで表される。楕円率は、短径に対する長径の比で表される。例えば、長径は、第1領域R1の外縁上の任意の2点を結んで得られる線分のうち、最も長い線分の長さである。短径は、長径の中心を通り、且つ長径に対して垂直な線分の長さである。
 円らしさとして、第1領域R1の円相当径r1に対する第1領域の径r2の比(r2/r1)が用いられても良い。径r2としては、例えば、長径と短径の平均値が用いられる。径r2として、複数の方向における第1領域R1の長さの平均値が用いられても良い。
 処理装置110は、真円度、円形度、楕円率、及び径の比から選択される2つ以上を用いて第1評価値を算出しても良い。例えば、処理装置110は、真円度、円形度、楕円率、及び径の比から選択される2つ以上の平均値又は和を、第1評価値として算出する。例えば、図9に表したように、第1領域R1の長径L1及び短径L2は、実際の溶接部13の長径及び短径と大きく異なって算出される可能性がある。この結果、第1領域R1の短径L2が長径L1に近い値となりうる。このため、第1評価値の算出に楕円率を用いる場合、第1領域R1の形状が円とは大きく異なるにも拘わらず、第1領域R1が円らしいと判定される可能性がある。従って、第1評価値の算出に楕円率を用いる場合は、真円度、円形度、又は径の比をさらに用いることが好ましい。
 第1評価値は、反射波の検出結果と予め用意されたデータとの比較、又は第1判定の結果と予め用意されたデータとの比較により、算出されても良い。例えば図7に表したような、第1判定の結果が適切であるときの画像データが、予め用意される。処理装置110は、第1判定の結果を示す画像データと、予め用意された画像データと、の類似度を第1評価値として算出する。又は、処理装置110は、反射波の検出結果を示すボリュームデータと、予め用意されたデータと、の類似度を第1評価値として算出しても良い。処理装置110は、類似度に基づいて算出される値を第1評価値として用いても良い。
 処理装置110は、第1評価値と第2評価値との差が第1閾値未満のとき、第1判定の結果が適切であると判定する。第1判定の結果が適切と判定されると、処理装置110は、上述した第1動作を実行する。処理装置110は、第1評価値と第2評価値との差が第1閾値以上のとき、第1判定の結果が不適切と判定する。第1判定の結果が不適切と判定されると、処理装置110は、上述した第2動作を実行する。
 図10は、第2判定を説明するためのグラフである。
 図10において、横軸は時刻を表し、縦軸は各時刻で算出された第1評価値を表す。例えば、処理装置110は、時刻tの第1評価値を算出すると、時刻tよりも前の複数の第1評価値を用いて第2評価値及び第1閾値を設定する。処理装置110は、第1評価値と第2評価値との差が第1閾値以上か判定する。図10において、破線BR1は、第2評価値に第1閾値を加えた値を示す。破線BR2は、第2評価値から第1閾値を減じた値を示す。この例では、時刻tにおける第1評価値は、第2評価値に第1閾値を加えた値以上である。換言すると、第1評価値と第2評価値との差は、第1閾値以上ある。このため、処理装置110は、第1判定の結果を不適切と判定する。
(第2の方法)
 処理装置110は、反射波の検出結果又は第1判定の結果を第1モデルに入力することで、第1判定の結果が適切か判定しても良い。第1モデルは、処理装置110は、反射波の検出結果又は第1判定の結果を、区分(分類又はクラスタリング)する。
 例えば、処理装置110は、図7に表した第1判定の結果を示す画像データを第1モデルに入力する。第1モデルは、教師有り学習によって学習されており、入力された画像データを分類する。第1モデルの学習には、図7に表したような溶接対象の各点の接合及び未接合の判定結果を示す画像データが用いられる。例えば図8(a)又は図8(c)に表したように、第1領域R1の一部が突出している画像データ、又は第1領域R1が湾曲している画像データに対しては、不適切であることを示すラベルが付与される。図8(a)又は図8(c)に表したように、第1領域R1が円に近いときは、適切であることを示すラベルが付与される。第1モデルは、複数の画像データ及び複数のラベルを用いて学習される。適切であることを示す第1カテゴリに入力された画像データが分類されたとき、処理装置110は、第1判定の結果を適切と判定する。不適切であることを示す第2カテゴリに入力された画像データが分類されたとき、処理装置110は、第1判定の結果を不適切と判定する。
 第1モデルは、教師無し学習によって学習されても良い。この場合、入力された画像データは、第1モデルによって、複数のカテゴリのいずれかにクラスタリングされる。入力された画像データが、図8(b)に表したような第1領域R1の形状が円に近い画像データを含む第1カテゴリにクラスタリングされたとき、処理装置110は、第1判定の結果を適切と判定する。入力された画像データが、図8(a)に表したような第1領域R1の一部が突出している画像データ、又は図8(c)に表したような第1領域R1が湾曲している画像データを含む第2カテゴリにクラスタリングされたとき、処理装置110は、第1判定の結果を不適切と判定する。
 又は、第1モデルには、反射波の検出結果である三次元のボリュームデータが入力されても良い。この場合、第1モデルに対して、複数の三次元データを用いて教師有り学習又は教師無し学習が実行される。適切であることを示す第1カテゴリに入力されたデータが分類されたとき、処理装置110は、そのデータに基づく第1判定の結果も適切と判定する。不適切であることを示す第2カテゴリに入力されたデータが分類されたとき、処理装置110は、そのデータに基づく第1判定の結果も不適切と判定する。
 以上の通り、第2の方法では、反射波の検出結果又は第1判定の結果が第1モデルによって第1カテゴリに区分されたとき、処理装置110は、第1判定の結果を適切と判定する。第1判定の結果が適切と判定されると、処理装置110は、上述した第1動作を実行する。反射波の検出結果又は第1判定の結果が第1モデルによって第2カテゴリに区分されたとき、処理装置110は、第1判定の結果を不適切と判定する。第1判定の結果が不適切と判定されると、処理装置110は、上述した第2動作を実行する。
 処理装置110は、第1の方法と第2の方法を組み合わせて第1判定の結果の適否を判定しても良い。例えば、処理装置110は、第1の方法により第1判定の結果が適切と判定され、且つ第2の方法により第1判定の結果が適切と判定されたときに、第1判定の結果が適切であると最終的に判定する。又は、処理装置110は、第1の方法により第1判定の結果が適切と判定され、又は第2の方法により第1判定の結果が適切と判定されたときに、第1判定の結果が適切であると最終的に判定しても良い。第1の方法と第2の方法を適宜組み合わせることで、第2判定の精度を向上させることができる。
 図11は、実施形態に係る処理システムを用いた検査の流れを表すフローチャートである。
 ユーザは、検出器130の先端を溶接部13へ接触させる。ユーザは、検出器130による探査を実行する(ステップS1)。例えば、検出器130には、探査を実行するためのボタンが設けられる。ユーザは、ボタンを操作することで、検出器130による探査を実行できる。又は、表示装置150に表示されたユーザインタフェースを通して、ユーザが検出器130による探査を実行できても良い。検出器130は、探査によって得られた反射波の検出結果を、処理装置110に送信する。
 処理装置110は、検出結果を受信すると、溶接対象の複数の点で接合および未接合を判定する第1判定を実行する(ステップS2)。処理装置110は、第1判定の結果の適否を判定する第2判定を実行する(ステップS3)。第1判定の結果が適切と判定されると、処理装置110は、第1動作を実行する(ステップS4)。第1判定の結果が不適切と判定されると、処理装置110は、第2動作を実行する(ステップS5)。
 処理装置110は、反射波の検出結果に基づいて、溶接部13の範囲の推定及び溶接部13に対する傾きの算出を実行しても良い。ここでは、溶接部13の表面の法線方向と検出器130の方向との間の角度を傾きと言う。検出器130の方向は、例えば、検出素子132の配列方向に垂直なZ方向に対応する。検出器130が溶接部13の表面と垂直に接しているとき、傾きはゼロである。
 溶接対象又は溶接部13に対する検出器130の傾きは、検査結果に影響を及ぼしうる。例えば、検出器130が溶接対象に対して傾いた状態で第1判定が実行されると、実際は適切に接合されているにも拘わらず、未接合と判定される可能性がある。このため、第1判定の実行前に、溶接対象に対する検出器130の傾きが小さく設定されることが好ましい。
 検出器130の傾きは、溶接部13からの反射波の検出結果を用いて算出される。第1判定では、少なくとも溶接部13からの反射波について接合及び未接合が判定されれば良い。溶接部13以外の領域からの反射波の検出結果に対する計算量を削減することで、各処理に要する時間を短縮できる。このため、傾きの算出及び第1判定の実行前に、溶接部13からの反射波を含む検出結果の一部を抽出することが好ましい。
 図12は、実施形態に係る処理システムを用いた検査の流れを表すフローチャートである。
 範囲の推定及び傾きの算出が実行される場合の検査の流れについて、図12を参照して説明する。ユーザは、検出器130による探査を実行する(ステップS1)。探査が実行されると、処理装置110は、探査を実行した溶接対象について、溶接部13からの反射波に対応する範囲を推定済みか判定する(ステップS11)。範囲が未だ推定されていないときは、処理装置110は、範囲を推定する(ステップS12)。
 例えば図4(a)及び図6(b)に表したように、超音波は、溶接部13以外の面からも反射される。処理装置110は、溶接部13からの反射波に対応する範囲を推定し、この範囲に含まれる反射波に基づいて、後の傾きの算出を実行する。これにより、必要な計算量を低減できる。算出される傾きの精度を向上させることができる。
 処理装置110は、推定された範囲内の反射波の検出結果に基づいて、検出器130の傾きを算出する(ステップS13)。算出された傾きが許容範囲内にあるか判定される(ステップS14)。判定は、ユーザが実行しても良いし、処理装置110が実行しても良い。処理装置110が判定する場合、許容範囲は、ユーザにより予め設定されても良いし、過去の検査結果の履歴に基づいて設定されても良い。
 例えば、処理装置110は、溶接部13の検査を実行した際に、検出結果に基づいて溶接部13の径を測定する。検出器130の傾きが大きすぎると、溶接部13の径が実際よりも小さく算出される。検出器130の傾きが小さくなるに連れて、算出される溶接部13の径が大きくなる。検出器130の傾きが十分に小さくなると、算出される溶接部13の径は、ほとんど変化しなくなる。記憶装置120には、このような過去に算出された検出器130の傾きと溶接部13の径との関係が記憶される。処理装置110は、記憶装置120に記憶されたデータを基に、検出器130の傾きの変化に対して、溶接部13の径の変化が小さくなる境界値を決定する。処理装置110は、この境界値に基づいて許容範囲の大きさを設定する。例えば、処理装置110は、境界値を許容範囲の大きさとして設定する。又は、検査の精度をより高めるために、処理装置110は、境界値に基づいて算出される、より小さな値を許容範囲として設定しても良い。
 傾きが許容範囲内に無いとき、ユーザは、検出器130の傾きを調整する(ステップS15)。処理装置110がステップS14を実行する場合、ユーザに向けて、傾きが許容範囲内に無いことが報知されても良い。ステップS15の後は、調整した後の傾きで、ステップS1が再度実行される。傾きが許容範囲内にあるとき、第1判定が実行される(ステップS2)。好ましくは、第1判定では、ステップS12で推定された範囲内におけるX-Y面の各点で、接合又は未接合が判定される。ステップS2以降は、図11に表したフローチャートと同様に、ステップS3~S5が実行される。
 以下で、範囲の推定、傾きの算出、及び検査について、具体的な処理の一例を説明する。
(範囲の推定)
 図13~図20を参照して、範囲の推定について具体的に説明する。
 例えば、図5(b)では、反射波の検出結果が2次元的に表されていた。反射波の検出結果は、3次元的に表されても良い。例えば、部材10に対して、複数のボクセルが設定される。各ボクセルには、X方向、Y方向、及びZ方向のそれぞれの座標が設定される。反射波の検出結果に基づき、各ボクセルには、反射波強度が紐付けられる。処理装置110は、複数のボクセルにおいて、溶接部13に対応する範囲(ボクセルのグループ)を推定する。設定されるボクセルの数及び各ボクセルの大きさは、自動で決定されても良いし、表示装置150のユーザインタフェースを通してユーザにより設定されても良い。
 図13(a)及び図13(b)は、一断面でのZ方向における反射波の強度分布を例示するグラフである。
 図14は、Z方向における反射波の強度分布を例示するグラフである。
 処理装置110は、反射波の検出結果に基づいて、Z方向における反射波の強度分布を生成する。図13(a)及び図13(b)は、その一例である。図13(a)及び図13(b)において、横軸はZ方向における位置を表し、縦軸は反射波の強度を表す。図13(a)は、1つのX-Z断面でのZ方向における反射波の強度分布を例示している。図13(b)は、1つのY-Z断面でのZ方向における反射波の強度分布を例示している。図13(a)及び図13(b)では、反射波強度を絶対値に変換した結果を表している。
 又は、処理装置110は、Z方向の各点で、X-Y面における反射波強度を合算し、Z方向における反射波の強度分布を生成しても良い。図14は、その一例である。図14において、横軸はZ方向における位置を表し、縦軸は反射波の強度を表す。図14では、反射波強度を絶対値に変換し、且つZ方向の各点における反射波強度から、反射波強度の平均値を減じた結果を表している。
 Z方向における反射波の強度分布は、溶接部13の上面13a及び下面13bで反射した成分と、その他の部分の上面及び下面で反射した成分と、を含む。処理装置110は、フィルタリングにより、反射波の強度分布から、溶接部13の上面13a及び下面13bで反射した成分のみを抽出する。例えば、溶接部13のZ方向における厚さ(上面13aと下面13bとの間の距離)の半分の整数倍に対応する値が、予め設定される。処理装置110は、その値を参照し、その値の周期成分だけを抽出する。
 フィルタリングとしては、バンドパスフィルタ、ゼロ位相フィルタ、ローパスフィルタ、ハイパスフィルタ、又はフィルタ後の強度に対する閾値判定などを用いることができる。
 図15は、反射波の強度分布をフィルタリングした結果を例示するグラフである。
 図15において、横軸はZ方向における位置を表し、縦軸は反射波の強度を表す。図15に表したように、フィルタリングの結果、溶接部の上面及び下面で反射した成分のみが抽出される。
 処理装置110は、抽出結果に基づいて、溶接部のZ方向における範囲を推定する。例えば、処理装置110は、抽出結果に含まれるピークを検出する。処理装置110は、1つ目のピークのZ方向における位置及び2つ目のピークのZ方向における位置を検出する。処理装置110は、これらの位置を基準に、例えば図15に表した範囲Ra1を、溶接部のZ方向における範囲と推定する。
 溶接部の構造、素子アレイ131の構成などにより、溶接部の上面からの反射波強度の符号(正又は負)と、溶接部の下面からの反射波強度の符号と、が互いに反転することがある。この場合、処理装置110は、正と負の一方のピークと、正と負の他方の別のピークと、を検出しても良い。処理装置110は、これらのピークの位置を基準に、溶接部のZ方向における範囲を推定する。反射波強度への処理によっては、反射波強度が正の値と負の値の一方のみで表される場合がある。この場合、溶接部のZ方向における範囲は、複数のピークの位置に基づいて推定されても良いし、ピークとボトムの位置に基づいて推定されても良いし、複数のボトムの位置に基づいて推定されても良い。すなわち、処理装置110は、フィルタリングした後の反射波強度について、複数の極値の位置に基づいて溶接部のZ方向における範囲を推定する。
 X-Z断面及びY-Z断面のそれぞれにおける反射波の強度分布を生成したときは、X-Z断面における強度分布に基づくZ方向の範囲と、Y-Z断面における強度分布に基づくZ方向の範囲と、が推定される。例えば、処理装置110は、これらの複数の推定結果について、平均、加重平均、重み付き移動平均などを計算し、その計算結果を溶接部全体のZ方向における範囲と推定する。
 又は、処理装置110は、X-Z断面及びY-Z断面の一方における反射波の強度分布に基づいて、溶接部のZ方向における範囲を推定し、その推定結果を、溶接部全体のZ方向における範囲とみなしても良い。処理装置110は、X方向の一部且つY方向の一部における反射波の強度分布に基づいて、溶接部のZ方向における範囲を推定し、その推定結果を、溶接部全体のZ方向における範囲とみなしても良い。これらの処理によれば、反射波の強度分布の生成に必要な計算量を低減できる。
 図15の例では、範囲Ra1の下限のZ方向における位置は、1つ目のピークのZ方向における位置から、所定の値を減じた値に設定されている。範囲Ra1の上限のZ方向における位置は、2つ目のピークのZ方向における位置から、所定の値を加えた値に設定されている。こうすることで、溶接部の上面及び下面が、検出素子132の配列方向に対して傾いているときに、溶接部のX-Y面におけるいずれかの点で、2つ目のピークがZ方向の範囲から外れることを抑制できる。
 溶接部のZ方向の範囲を推定した後、処理装置110は、溶接部のX方向の範囲及びY方向の範囲を推定する。
 図16及び図18は、反射波の検出結果を例示する模式図である。
 図16及び図18において、領域Rは、素子アレイ131によって反射波の検出結果が得られた全体の領域を表す。領域Rの一断面では、溶接部の上面及び下面における反射波の成分と、その他の部分の上面及び下面における反射波の成分と、が含まれている。
 処理装置110は、Z方向の各点で、X-Y面における反射波の強度分布を生成する。処理装置110は、予め設定されたZ方向の範囲内において、強度分布を生成しても良い。これにより、計算量を低減できる。又は、処理装置110は、推定したZ方向の範囲内において、強度分布を生成しても良い。これにより、計算量を低減しつつ、X-Y面における反射波の強度分布を生成する際に、溶接部の下面からの反射波成分が外れることを抑制できる。
 図17(a)~図17(c)は、X-Y面における反射波の強度分布の一例である。図17(a)は、Z=1の座標でのX-Y面における反射波の強度分布を表している。図17(b)は、Z=2の座標でのX-Y面における反射波の強度分布を表している。図17(c)は、Z=350の座標でのX-Y面における反射波の強度分布を表している。図16、図17(a)~図17(c)、及び図18では、模式的に、反射波の強度を二値化して表している。
 処理装置110は、Z方向の各点で、X-Y面における反射波の強度分布の重心位置を計算する。ここでは、強度分布を示す画像の重心位置を計算することで、強度分布の重心位置を得ている。例えば図17(a)~図17(c)に表したように、処理装置110は、各画像における重心位置C1~C350を計算する。図18において、線分Li2は、Z=0~Z=350までの全ての重心位置を繋いだ結果を表している。
 処理装置110は、Z=0~Z=350までの重心位置を平均化する。これにより、X方向における重心の平均位置及びY方向における重心の平均位置が得られる。図18において、平均位置APは、X方向における重心の平均位置及びY方向における重心の平均位置を表す。処理装置110は、平均位置APを中心として、X方向及びY方向のそれぞれにおいて所定の範囲を、溶接部のX方向の範囲Ra2、及び溶接部のY方向の範囲Ra3とする。
 例えば、範囲Ra2及び範囲Ra3を推定するために、検出器130(素子アレイ131)の径を示す値Vが予め設定される。処理装置110は、X方向及びY方向において、AP-V/2からAP+V/2までを、それぞれ範囲Ra2及び範囲Ra3とする。この場合、X-Y面における推定範囲は、四角形状となる。この例に限らず、X-Y面における推定範囲は、5角以上の多角形状又は円状などであっても良い。X-Y面における推定範囲の形状は、溶接部の形状に応じて適宜変更可能である。
 値Vに基づく別の値を用いて範囲Ra2及び範囲Ra3が決定されても良い。検出器130の径を示す値に代えて、溶接部の平均的な径を示す値が予め設定されても良い。溶接部の径は、検出器130の径と対応するためである。溶接部の径を示す値は、実質的に、検出器130の径を示す値とみなすことができる。
 以上の処理によって、溶接部のZ方向の範囲Ra1、X方向の範囲Ra2、及びY方向の範囲Ra3が推定される。範囲が推定された後は、推定した範囲における反射波の検出結果に基づいて、図12に表したステップS12が実行される。
 図19は、実施形態に係る処理システムにおける範囲の推定の流れを表すフローチャートである。
 処理装置110は、検出器130による反射波の検出結果に基づき、Z方向における反射波の強度分布を生成する(ステップS121)。処理装置110は、溶接部の厚さの値に基づいて強度分布をフィルタリングする(ステップS122)。これにより、溶接部13における反射波成分だけが、強度分布から抽出される。処理装置110は、抽出結果に基づき、溶接部のZ方向における範囲を推定する(ステップS123)。処理装置110は、Z方向の各点で、X-Y面における反射波強度の重心位置を計算する(ステップS124)。処理装置110は、計算した複数の重心位置を平均化することで、平均位置を計算する(ステップS125)。処理装置110は、平均位置と、検出器130の径と、に基づいて、X方向及びY方向におけるそれぞれの範囲を推定する(ステップS126)。
 なお、Z方向における範囲の推定は、X方向及びY方向における範囲の推定の後に実行されても良い。例えば、図19に表したフローチャートにおいて、ステップS121~S123は、ステップS124~S126の後に実行されても良い。この場合、処理装置110は、推定されたX方向及びY方向の範囲内に基づいて、Z方向における反射波の強度分布を計算しても良い。これにより、計算量を低減できる。
(傾きの算出)
 図20は、反射波の検出結果を例示する画像である。
 図20において、色が白いほど、その点における反射波の強度が大きいことを示している。処理装置110は、図20に表した検出結果について、図21に表した動作を実行する。この結果、範囲Raが推定される。
 以下では、範囲Raにおける傾きの算出方法について具体的な一例を説明する。
 図21は、実施形態に係る処理システムによる処理を説明するための図である。
 図22は、実施形態に係る処理システムにより得られた画像の一例である。
 図22(a)は、図5に表したボリュームデータにおける溶接部13の表面を表す。図22(b)は、図5に表したボリュームデータにおける溶接部13近傍のY-Z断面を表す。図22(c)は、図5に表したボリュームデータにおける溶接部13近傍のX-Z断面を表す。図22(b)及び図22(c)では、上側が溶接部の表面で、下向きに深さ方向のデータが示されている。輝度が高い部分は、超音波の反射強度が大きい部分である。超音波は、溶接部13の底面、未接合の部材同士の間の面などで強く反射される。
 検出器130の傾きは、図21に表した、溶接部13に垂直な方向13dと、検出器130の方向130aと、の間の角度に対応する。この角度は、X方向まわりの角度θxと、Y方向まわりの角度θyと、によって表される。検出器130の方向130aは、検出素子132の配列方向に対して垂直である。
 角度θxは、図22(b)に表したように、Y-Z断面での検出結果に基づいて算出される。角度θyは、図22(c)に表したように、X-Z断面での検出結果に基づいて算出される。処理装置110は、各断面ついて,3次元の輝度勾配の平均を角度θx及びθyとして算出する。処理装置110は、算出した角度θx及びθyを、検出器130の傾きとして記憶装置120に記憶する。処理装置110は、算出した傾きを表示装置150に表示させても良い。
 検出器130の傾きを算出し、その傾きを小さくすることで、第1判定において各点が接合しているかをより精度良く判定できる。第1判定の結果に基づくデータの精度を向上させることができる。傾きの算出及び第1判定を行う範囲を推定することで、各処理に必要な計算量を低減できる。
 例えば、第2判定において第1判定の結果が不適切と判定されたとき、検出器130による再度の探査が実行される。このとき、再度の探査を実行するときの条件が、直前の探査を実行するときの条件と異なっても良い。例えば、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の少なくともいずれかが実行されることで、再度の探査を実行するときの条件が、直前の探査を実行するときの条件から変化する。
 例えば、第1判定の結果が不適切と判定されたとき、ユーザは、検出器130を溶接対象から離し、カプラントを溶接対象に再度塗布する。直前の探査において溶接対象と検出器130との間にカプラントが充填されていなかった場合には、カプラントの再塗布により、溶接対象と検出器130との間がカプラントによって充填される可能性がある。カプラントを再塗布する場合は、既に溶接対象に塗布されたカプラントを除去しても良い。
 再度の探査において、溶接対象に対する検出器130の傾きは、直前の探査における傾きと同じ値に設定されても良い。検出器130の傾きが直前の傾きと同じ値であったとしても、反射波の検出結果が直前の検出結果と異なる可能性がある。検出器130の傾きを直前の傾きと同じ値にすることで、傾きが許容範囲内に維持される。
 又は、溶接対象に対する検出器130の傾きは、直前の探査における傾きと異なる値に設定されても良い。この場合、傾きの変化量は、直前の傾きと許容範囲の臨界値との差よりも小さいことが好ましい。これにより、検出器130の傾きを変化させた場合でも、変化後の傾きが許容範囲外となることを抑制できる。検出器130の傾きを変化させることで、直前の反射波の検出結果とは異なる検出結果が得られる可能性が高くなる。
 検出器130の傾きは、許容範囲の外に設定されても良い。これにより、検出器130の傾きが、直前の探査における傾きとは大きく異なる値に設定される。この結果、直前の探査とは大きく異なる検出結果が得られる可能性が高まる。直前の探査とは大きく異なる検出結果に基づいて、再び検出器130の傾きを調整することで、検出器130を、より適切な検出結果が得られる状態へ調整できる可能性がある。
 再度の探査において、傾きの許容範囲を変更しても良い。例えば、処理装置110は、傾きの許容範囲を狭める。処理装置110は、狭めた許容範囲に検出器130の傾きが入るように、傾きを調整する。処理装置110は、許容範囲を変更させたときに、検出器130の傾きを、直前の探査における傾きと異なる値に設定しても良い。
 直前の探査実行時と異なる条件で再度の探査が実行された後は、その探査によって得られた反射波の検出結果に基づいて、第1判定が再度実行される。又は、第1判定の前に、範囲の推定が再度実行されても良い。第1判定では、再度推定された範囲の各点について、接合又は未接合が検出される。
 第1判定の結果が不適切と判定され、検出器130による再度の探査が実行されるときに、溶接の良否の判定結果に応じて、探査実行時の条件を変化させても良い。例えば、溶接が良好と判定され、且つ第1判定の結果が不適切と判定されたときは、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の少なくとも1つが実行される。これにより、再度の探査実行時の条件が、直前の探査実行時の条件から別の条件(第1条件)へ変化する。溶接が不良と判定され、且つ第1判定の結果が不適切と判定されたときは、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の別の少なくとも1つが実行される。これにより、再度の探査実行時の条件が、直前の探査実行時の条件からさらに別の条件(第2条件)へ変化する。第1判定の結果と溶接の判定結果との組み合わせに応じて探査実行時の条件を設定することで、再探査においてより適切な反射波の検出結果が得られ易くなる。
 図23は、第1モデルによる区分の結果を表す模式図である。
 第2判定の第2の方法において、反射波の検出結果又は第1判定の結果が、第1モデルによって、3つ以上のカテゴリに区分されても良い。図23(a)~図23(c)は、第1モデルによって、第1判定の結果を示す画像データが3つ以上のカテゴリに区分された例を示す。図23(a)~図23(c)は、それぞれ互いに異なるカテゴリに区分された画像データを表す。図23(a)に表した画像データは、第1判定の結果が適切であることを示す。図23(b)及び図23(c)に表した画像データは、第1判定の結果が不適切であることを示す。
 図23(b)の画像データは、第1領域R1の面積が、図23(a)の画像データに比べて大きい。図23(b)の画像データは、第1領域R1の一部が突出している。図23(b)の画像データは、図23(a)の画像データが区分される第1カテゴリとは異なる第2カテゴリに区分される。図23(c)の画像データは、第1領域R1の面積が、図23(a)の画像データに比べて小さい。図23(c)の画像データは、第1領域R1が全体的に湾曲している。図23(c)の画像データは、第1カテゴリ及び第2カテゴリとは異なる第3カテゴリに区分される。図23(b)及び図23(c)の画像データにおける第1領域R1の形状は、図23(a)の画像データに比べて、円からは遠い。
 第1判定の結果を示す画像データに代えて、反射波の検出結果である3次元のボリュームデータが第1モデルに入力されても良い。第1判定の結果を示す画像データは、反射波の検出結果に基づく。従って、3次元のボリュームデータについても同様に、第1モデルによって複数のカテゴリのいずれかに区分できる。
 例えば、第1判定の結果が不適切と判定されると、検出器130による再度の探査が実行される。このとき、データが区分されたカテゴリに応じて、探査実行時の条件を変化させても良い。例えば、データが第2カテゴリに区分されたときは、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の少なくとも1つが実行される。これにより、再度の探査実行時の条件が、直前の探査実行時の条件から別の条件(第1条件)へ変化する。データが第3カテゴリに区分されたときは、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の別の少なくとも1つが実行される。これにより、再度の探査実行時の条件が、直前の探査実行時の条件からさらに別の条件(第2条件)へ変化する。データが区分されたカテゴリに応じて探査実行時の条件を設定することで、再探査においてより適切な反射波の検出結果が得られ易くなる。
(変形例)
 以上で説明した溶接部の検査は、ロボットにより自動的に実行されても良い。
 図24は、実施形態の変形例に係る処理システムの構成を表す模式図である。
 図25は、実施形態の変形例に係る処理システムの一部を表す斜視図である。
 図24に表した処理システム100aは、処理装置110及びロボット160を有する。ロボット160は、検出器130、撮像装置161、塗布装置162、アーム163、及び制御装置164を含む。
 撮像装置161は、溶接された部材を撮影し、画像を取得する。撮像装置161は、画像から溶接痕を抽出し、溶接部13の大凡の位置を検出する。塗布装置162は、カプラントを溶接部13の上面に塗布する。
 検出器130、撮像装置161、及び塗布装置162は、図25に表したように、アーム163の先端に設けられている。アーム163は、例えば、多関節ロボットである。アーム163の駆動により、検出器130、撮像装置161、及び塗布装置162を変位させることができる。制御装置164は、ロボット160の各構成要素(検出器130、撮像装置161、塗布装置162、アーム163)の動作を制御する。
 図26は、実施形態の変形例に係る処理システムの動作を表すフローチャートである。
 処理装置110は、制御装置164へ、記憶装置120に記憶された溶接部13の座標を送信する。制御装置164は、アーム163を駆動させ、受信した座標に向けてアーム163の先端を移動させる(ステップS21)。受信した座標付近に検出器130を移動させると、撮像装置161が部材10を撮影し、取得した画像から溶接部13の詳細な位置を検出する(ステップS22)。制御装置164は、アーム163を駆動させ、塗布装置162を検出した位置近傍に移動させる(ステップS23)。塗布装置162は、カプラントを溶接部13に塗布する(ステップS24)。制御装置164は、アーム163を駆動させ、カプラントを塗布した溶接部13に検出器130の先端が接触するように、検出器130を移動させる(ステップS25)。以降は、図12に表したフローチャートと同様に、S1~S5及びS11~S15が実行される。
 ステップS5の第2動作において、ステップS2の探査が再度実行されても良い。例えば、処理装置110は、ステップS3において、第1判定の結果が不適切と判定すると、制御装置164にその判定結果を送信する。制御装置164は、判定結果を受信すると、検出器130による探査を再度実行する。このとき、制御装置164は、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の少なくともいずれかを実行しても良い。
 再度の探査において、制御装置164は、溶接対象に対する検出器130の傾きを、直前の探査における傾きと同じ値に設定しても良い。検出器130の傾きが直前の傾きと同じ値であったとしても、反射波の検出結果が直前の検出結果と異なる可能性がある。検出器130の傾きを直前の傾きと同じ値にすることで、傾きが許容範囲内に維持される。
 又は、制御装置164は、溶接対象に対する検出器130の傾きを、直前の探査における傾きと異なる値に設定しても良い。この場合、傾きの変化量は、直前の傾きと許容範囲の臨界値との差よりも小さいことが好ましい。これにより、検出器130の傾きを変化させた場合でも、変化後の傾きが許容範囲外となることを抑制できる。検出器130の傾きを変化させることで、直前の反射波の検出結果とは異なる検出結果が得られる可能性が高くなる。
 検出器130の傾きが直前の探査における傾きと異なる値に設定される場合、制御装置164は、検出器130の傾きを、許容範囲の外に設定しても良い。これにより、検出器130の傾きが、直前の探査における傾きとは大きく異なる値に設定される。この結果、直前の探査とは大きく異なる検出結果が得られる可能性が高まる。直前の探査とは大きく異なる検出結果に基づいて、再び検出器130の傾きを調整することで、検出器130を、より適切な検出結果が得られる状態へ制御できる可能性がある。
 制御装置164は、ステップS22又はS24を再度実行しても良い。すなわち、制御装置164は、溶接部13の位置を再度検出する。これにより、溶接部13のより正確な位置が検出され、より適切な第1判定の結果が得られる可能性がある。又は、制御装置164は、溶接部13にカプラントを再度塗布する。例えば、第1判定の結果が不適切と判定されたとき、制御装置164は、アーム163を駆動させ、検出器130を溶接対象から離す。制御装置164は、塗布装置162にカプラントを溶接対象に再度塗布させる。制御装置164は、カプラントを塗布する前に、塗布装置162のノズルを洗浄しても良い。制御装置164は、カプラントを塗布する前に、溶接対象から離れた位置でカプラントを試験的に発射させ、カプラントが正常に発射されたか判定しても良い。カプラントが正常に発射されないときは、制御装置164は、塗布装置162のノズルを洗浄しても良い。塗布装置162に異常がある場合、これらの動作によって塗布装置162の異常が解消される可能性がある。洗浄又は試験的な発射の後、制御装置164は、溶接対象にカプラントを再度塗布させる。カプラントの再塗布により、溶接対象と検出器130との間がカプラントによって充填される可能性がある。この結果、より適切な第1判定の結果が得られる可能性がある。ステップS22又はS24が実行された後は、以降のステップが再び実行される。
 第1判定の結果が不適切と判定され、検出器130による再度の探査が実行されるときに、制御装置164は、溶接の良否の判定結果に応じて、探査実行時の条件を変化させても良い。例えば、溶接が良好と判定され、且つ第1判定の結果が不適切と判定されたとき、制御装置164は、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の少なくとも1つを実行する。これにより、再度の探査実行時の条件が、直前の探査実行時の条件から別の条件(第1条件)へ変化する。溶接が不良と判定され、且つ第1判定の結果が不適切と判定されたとき、制御装置164は、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の別の少なくとも1つを実行する。これにより、再度の探査実行時の条件が、直前の探査実行時の条件からさらに別の条件(第2条件)へ変化する。第1判定の結果と溶接の判定結果との組み合わせに応じて探査実行時の条件を設定することで、再探査においてより適切な反射波の検出結果が得られ易くなる。
 第2判定において第2の方法が用いられるとき、制御装置164は、データが区分されたカテゴリに応じて、探査実行時の条件を変化させても良い。例えば、データが第2カテゴリに区分されたとき、制御装置164は、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の少なくとも1つを実行する。これにより、再度の探査実行時の条件が、直前の探査実行時の条件から別の条件(第1条件)へ変化する。データが第3カテゴリに区分されたとき、制御装置164は、カプラントの再塗布、傾きの再調整、及び傾きの許容範囲の変更の別の少なくとも1つを実行する。これにより、再度の探査実行時の条件が、直前の探査実行時の条件からさらに別の条件(第1条件)へ変化する。データが区分されたカテゴリに応じて探査実行時の条件を設定することで、再探査においてより適切な反射波の検出結果が得られ易くなる。
 処理システム100aにおいて、第2判定が実行されることで、溶接対象に関するより正確なデータを得ることができる。例えば、第1判定の結果に基づいて溶接部13の面積又は径が算出される場合、適切と判定された第1判定の結果に基づく値を採用することで、より正確な値を得ることができる。
 図27は、システムのハードウェア構成を表すブロック図である。
 例えば、実施形態に係る処理システム100の処理装置110は、コンピュータであり、ROM(Read Only Memory)111、RAM(Random Access Memory)112、CPU(Central Processing Unit)113、およびHDD(Hard Disk Drive)114を有する。
 ROM111は、コンピュータの動作を制御するプログラムを記憶している。ROM111には、コンピュータに上述した各処理を実現させるために必要なプログラムが記憶されている。
 RAM112は、ROM111に記憶されたプログラムが展開される記憶領域として機能する。CPU113は、処理回路を含む。CPU113は、ROM111に記憶された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータの動作を制御する。CPU113は、コンピュータの動作によって得られた様々なデータをRAM112に展開する。HDD114は、読み取りに必要なデータや、読み取りの過程で得られたデータを記憶する。HDD114は、例えば、図1に表した記憶装置120として機能する。
 処理装置110は、HDD114に代えて、eMMC(embedded Multi Media Card)、SSD(Solid State Drive)、SSHD(Solid State Hybrid Drive)などを有していても良い。
 入力装置140は、マウス、キーボード、及びタッチパッドの少なくともいずれかを含む。表示装置150は、モニタ及びプロジェクタの少なくともいずれかを含む。タッチパネルのように、入力装置140及び表示装置150の両方として機能する装置が用いられても良い。
 制御装置164についても、図27に表したハードウェア構成を適用することが可能である。又は、図27に表した1つのコンピュータが、処理装置110及び制御装置164として機能しても良い。又は、複数のコンピュータの協働により、処理装置110又は制御装置164の機能が実現されても良い。
 以上の例では、溶接部13の平均的な形状が円形である場合について説明した。上述した第2判定は、溶接部13の形状が円以外である場合にも適用可能である。例えば、処理装置110は、第1判定の結果に基づいて第1領域R1を設定した後、第1領域R1の外縁を抽出する。処理装置110は、第1領域R1の外縁と予め設定された形状との類似性に基づいて、第1判定の結果の適否を判定しても良い。例えば、処理装置110は、第1領域R1の外縁を示す画像と、予め設定された形状を含む画像と、の間の類似度を算出する。類似度は、各画像の特徴点等に基づいて算出される。処理装置110は、類似度を予め設定された閾値と比較することで、第1判定の結果の適否を判定する。
 以上で説明した実施形態に係る処理システム、処理方法を用いることで、溶接対象に関するより正確なデータを得ることができる。コンピュータを、処理システムとして動作させるためのプログラムを用いることで、同様の効果を得ることができる。
 上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク及びハードディスクなど)、光ディスク(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RWなど)、半導体メモリなどの一時的でない有形の記録媒体 (non-transitory computer-readable storage medium)に記録されても良い。
 例えば、記録媒体に記録されたデータは、コンピュータ(または組み込みシステム)により読み出されることが可能である。記録媒体において、記録形式(記憶形式)は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させる。コンピュータにおいて、プログラムの取得(または読み出し)は、ネットワークを通じて行われても良い。
 以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。前述の各実施形態は、相互に組み合わせて実施することができる。

Claims (21)

  1.   互いに交差する第1方向及び第2方向に配列された複数の検出素子を含み、溶接対象に向けた超音波の送信及び反射波の検出を含む探査を実行する検出器から、前記反射波の検出結果を受信し、
      前記検出結果から、前記溶接対象の前記第1方向及び前記第2方向に沿った複数の点で接合および未接合を判定する第1判定を実行し、
      前記検出結果又は前記第1判定の結果に基づいて、前記第1判定の結果の適否を判定する第2判定を実行する、
     処理装置を備えた処理システム。
  2.  前記処理装置は、前記第2判定において、
      前記検出結果又は前記第1判定の結果に基づいて第1評価値を算出し、
      前記第1評価値と、過去の前記第1評価値と、を用いて前記第1判定の結果の適否を判定する、
     請求項1記載の処理システム。
  3.  前記処理装置は、前記第2判定において、
      複数の前記過去の第1評価値に基づいて第2評価値を算出し、
      前記第1評価値と前記第2評価値との差を第1閾値と比較することで、前記第1判定の結果の適否を判定する、
     請求項2記載の処理システム。
  4.  前記処理装置は、前記第2判定において、
      前記検出結果又は前記第1判定の結果が、第1モデルによって第1カテゴリに区分されたとき、前記第1判定の結果を適切と判定し、
      前記検出結果又は前記第1判定の結果が、前記第1モデルによって第2カテゴリに区分されたとき、前記第1判定の結果を不適切と判定する、
     請求項1記載の処理システム。
  5.  前記検出器をさらに備え、
     前記処理装置が前記第1判定の結果を不適切と判定したとき、前記検出器は、前記溶接対象への前記探査を再度実行する請求項1~4のいずれか1つに記載の処理システム。
  6.  前記処理装置は、前記第1判定の結果に基づいて前記溶接対象における溶接の良否を判定し、
     前記処理装置が、前記溶接を良好と判定し、且つ前記第1判定の結果を不適切と判定したとき、前記検出器は、第1条件において前記溶接対象への前記探査を再度実行し、
     前記処理装置が、前記溶接を不良と判定し、且つ前記第1判定の結果を不適切と判定したとき、前記検出器は、第2条件において前記溶接対象への前記探査を再度実行する請求項5記載の処理システム。
  7.  前記検出器をさらに備え、
     前記処理装置は、前記第2判定において、
      前記検出結果又は前記第1判定の結果が、第1モデルによって第1カテゴリに区分されたとき、前記第1判定の結果を適切と判定し、
      前記検出結果又は前記第1判定の結果が、前記第1モデルによって第2カテゴリ又は第3カテゴリに区分されたとき、前記第1判定の結果を不適切と判定し、
     前記検出結果又は前記第1判定の結果が、前記第1モデルによって前記第2カテゴリに区分されたとき、前記検出器は、第1条件において前記溶接対象への前記探査を再度実行し、
     前記検出結果又は前記第1判定の結果が、前記第1モデルによって前記第3カテゴリに区分されたとき、前記検出器は、第2条件において前記溶接対象への前記探査を再度実行する請求項1記載の処理システム。
  8.  前記処理装置は、前記第1判定の結果に基づいて前記溶接対象に関するデータを導出し、
     前記第1判定の結果が適切と判定されたとき、前記処理装置は、前記データを採用する請求項1~7のいずれか1つに記載の処理システム。
  9.  前記データは、前記溶接部の面積、前記溶接部の径、及び前記溶接対象における前記溶接の良否の判定結果の少なくともいずれかを含む請求項8記載の処理システム。
  10.  前記溶接対象にカプラントを塗布する塗布装置をさらに備え、
     前記検出器は、前記カプラントが塗布された前記溶接対象へ接触される請求項5~7のいずれか1つに記載の処理システム。
  11.  先端に前記検出器が設けられたアームと、
     前記検出器及び前記アームを制御する制御装置と、
     をさらに備え、
     前記制御装置は、前記アームを駆動させて前記検出器を前記溶接対象に接触させる請求項5~7のいずれか1つに記載の処理システム。
  12.  撮像装置をさらに備え、
     前記撮像装置は、前記溶接対象を撮影して画像を取得し、
     前記制御装置は、前記画像に基づいて前記溶接対象における溶接部の位置を検出し、検出された前記位置へ前記検出器を接触させる請求項11記載の処理システム。
  13.  互いに交差する第1方向及び第2方向に配列された複数の検出素子を含み、溶接対象に向けた超音波の送信及び反射波の検出を含む探査を実行する検出器から、前記反射波の検出結果を受信し、
     前記検出結果から、前記溶接対象の前記第1方向及び前記第2方向に沿った複数の点で接合および未接合を判定する第1判定を実行し、
     前記検出結果又は前記第1判定の結果に基づいて、前記第1判定の結果の適否を判定する第2判定を実行する、
     処理方法。
  14.  前記第2判定において、前記検出結果又は前記第1判定の結果に基づいて第1評価値を算出し、前記第1評価値と、過去の前記第1評価値と、を用いて前記第1判定の結果の適否を判定する請求項13記載の処理方法。
  15.  前記第2判定において、前記検出結果又は前記第1判定の結果が、第1モデルによって第1カテゴリに区分されたとき、前記第1判定の結果を適切と判定し、前記検出結果又は前記第1判定の結果が、前記第1モデルによって第2カテゴリに区分されたとき、前記第1判定の結果を不適切と判定する請求項13記載の処理方法。
  16.  前記第1判定の結果が不適切と判定されたとき、前記検出器を用いて前記溶接対象への前記探査を再度実行する請求項13~15のいずれか1つに記載の処理方法。
  17.  コンピュータに、
      互いに交差する第1方向及び第2方向に配列された複数の検出素子を含み、溶接対象に向けた超音波の送信及び反射波の検出を含む探査を実行する検出器から、前記反射波の検出結果を受信させ、
      前記検出結果から、前記溶接対象の前記第1方向及び前記第2方向に沿った複数の点で接合および未接合を判定する第1判定を実行させ、
      前記検出結果又は前記第1判定の結果に基づいて、前記第1判定の結果の適否を判定する第2判定を実行させる、
     プログラム。
  18.  前記第2判定において、前記コンピュータに、
      前記検出結果又は前記第1判定の結果に基づいて第1評価値を算出させ、
      前記第1評価値と、過去の前記第1評価値と、を用いて前記第1判定の結果の適否を判定させる、
     請求項17記載のプログラム。
  19.  前記第2判定において、前記コンピュータに、
      前記検出結果又は前記第1判定の結果が、第1モデルによって第1カテゴリに区分されたとき、前記第1判定の結果を適切と判定させ、
      前記検出結果又は前記第1判定の結果が、前記第1モデルによって第2カテゴリに区分されたとき、前記第1判定の結果を不適切と判定させる、
     請求項17記載のプログラム。
  20.  前記第1判定の結果が不適切と判定されたとき、前記コンピュータに、前記検出器を用いた前記溶接対象への前記探査を再度実行させる請求項17~19のいずれか1つに記載のプログラム。
  21.  請求項17~20のいずれか1つに記載のプログラムを記憶した記憶媒体。
PCT/JP2020/039474 2019-10-30 2020-10-21 処理システム、処理方法、プログラム、及び記憶媒体 WO2021085254A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080076400.4A CN114761793A (zh) 2019-10-30 2020-10-21 处理系统、处理方法、程序、以及存储介质
EP20882561.2A EP4053552A4 (en) 2019-10-30 2020-10-21 PROCESSING SYSTEM, PROCESSING METHOD, PROGRAM, AND STORAGE MEDIUM
US17/660,275 US20220244220A1 (en) 2019-10-30 2022-04-22 Processing system, processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-197979 2019-10-30
JP2019197979A JP6972082B2 (ja) 2019-10-30 2019-10-30 処理システム、処理装置、処理方法、プログラム、及び記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/660,275 Continuation US20220244220A1 (en) 2019-10-30 2022-04-22 Processing system, processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2021085254A1 true WO2021085254A1 (ja) 2021-05-06

Family

ID=75712918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039474 WO2021085254A1 (ja) 2019-10-30 2020-10-21 処理システム、処理方法、プログラム、及び記憶媒体

Country Status (5)

Country Link
US (1) US20220244220A1 (ja)
EP (1) EP4053552A4 (ja)
JP (1) JP6972082B2 (ja)
CN (1) CN114761793A (ja)
WO (1) WO2021085254A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114839224A (zh) * 2022-07-04 2022-08-02 江苏时代新能源科技有限公司 涂布质量的检测方法、检测装置、检测系统及储存介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038400A1 (en) * 2002-02-20 2007-02-15 Hsu-Tung Lee Method And System For Assessing Quality Of Spot Welds
JP2011117877A (ja) * 2009-12-04 2011-06-16 Toshiba Corp 三次元超音波検査装置
KR20190051672A (ko) * 2017-11-07 2019-05-15 경일대학교산학협력단 스팟 용접 품질 판정 장치 및 방법
JP2019090727A (ja) 2017-11-15 2019-06-13 株式会社東芝 検査システム、角度調整方法、プログラム、および記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06265529A (ja) * 1993-03-15 1994-09-22 Hitachi Ltd スポット溶接部の評価方法及び装置
JP4837425B2 (ja) * 2006-04-05 2011-12-14 川崎重工業株式会社 スポット溶接部の検査方法及び装置
JP6274378B1 (ja) * 2016-07-20 2018-02-07 Jfeスチール株式会社 超音波探傷装置、超音波探傷方法、溶接鋼管の製造方法、及び溶接鋼管の品質管理方法
KR101995418B1 (ko) * 2018-12-04 2019-07-02 주식회사 신영 용접부의 비파괴 검사 자동화 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038400A1 (en) * 2002-02-20 2007-02-15 Hsu-Tung Lee Method And System For Assessing Quality Of Spot Welds
JP2011117877A (ja) * 2009-12-04 2011-06-16 Toshiba Corp 三次元超音波検査装置
KR20190051672A (ko) * 2017-11-07 2019-05-15 경일대학교산학협력단 스팟 용접 품질 판정 장치 및 방법
JP2019090727A (ja) 2017-11-15 2019-06-13 株式会社東芝 検査システム、角度調整方法、プログラム、および記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKIRA USHIJIMAMASAHIRO SAITOSHIN MATSUMOTO: "Spot Welding Inspection Robot Achieving Labor Saving and Improvement of Reliability Using 3D Ultrasonic Inspection Equipment", TOSHIBA REVIEW, vol. 74, no. 4, 2019, pages 25 - 28, XP009533864
See also references of EP4053552A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114839224A (zh) * 2022-07-04 2022-08-02 江苏时代新能源科技有限公司 涂布质量的检测方法、检测装置、检测系统及储存介质
CN114839224B (zh) * 2022-07-04 2022-11-01 江苏时代新能源科技有限公司 涂布质量的检测方法、检测装置、检测系统及储存介质

Also Published As

Publication number Publication date
CN114761793A (zh) 2022-07-15
EP4053552A1 (en) 2022-09-07
JP6972082B2 (ja) 2021-11-24
EP4053552A4 (en) 2023-11-22
US20220244220A1 (en) 2022-08-04
JP2021071377A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7421530B2 (ja) 処理装置、処理システム、処理方法、プログラム、及び記憶媒体
JP6805289B2 (ja) 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体
CN106461615B (zh) 用超声波进行的基于仿真的缺陷分析
WO2021085254A1 (ja) 処理システム、処理方法、プログラム、及び記憶媒体
JP6982667B2 (ja) 処理システム、処理方法、プログラム、及び記憶媒体
US11980975B2 (en) Processing system, processing method, and storage medium
JP2021067580A5 (ja) 処理システム、処理装置、処理方法、プログラム、及び記憶媒体
JP7035116B2 (ja) 処理システム、処理方法、プログラム、及び記憶媒体
JP4431926B2 (ja) 超音波探傷装置及び超音波探傷方法
WO2023002968A1 (ja) 処理装置、検出システム、処理方法、プログラム、及び記憶媒体
JP6982666B2 (ja) 表示制御システム、検査管理システム、表示制御方法、プログラム、及び記憶媒体
US20230366856A1 (en) Detection device, detection system, propagation member, fixture, and storage medium
JP2021071377A5 (ja) 処理システム、処理装置、処理方法、プログラム、及び記憶媒体
US20230020518A1 (en) Processing system, robot system, control device, teaching method, and storage medium
CN113785195A (zh) 工件上的测试对象的非破坏性检测
WO2023182503A1 (ja) 処理システム、処理装置、処理方法、プログラム、及び記憶媒体
US20240036006A1 (en) Detection device, detection system, and propagating member
JP2004117275A (ja) 超音波探傷結果表示方法及び超音波探傷装置
US20240161267A1 (en) Information processing device, determination method, and storage medium
CN115635480A (zh) 处理系统、机器人系统、控制装置、处理方法、控制方法及存储介质
Sebastián et al. A new approach to the automatic planning of inspection of 3D industrial parts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20882561

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020882561

Country of ref document: EP

Effective date: 20220530