WO2023067975A1 - 異常検知装置、異常検知方法、及び、プログラム - Google Patents

異常検知装置、異常検知方法、及び、プログラム Download PDF

Info

Publication number
WO2023067975A1
WO2023067975A1 PCT/JP2022/035136 JP2022035136W WO2023067975A1 WO 2023067975 A1 WO2023067975 A1 WO 2023067975A1 JP 2022035136 W JP2022035136 W JP 2022035136W WO 2023067975 A1 WO2023067975 A1 WO 2023067975A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
abnormality
welded portion
detection device
unit
Prior art date
Application number
PCT/JP2022/035136
Other languages
English (en)
French (fr)
Inventor
理佐子 谷川
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN202280068139.2A priority Critical patent/CN118076889A/zh
Publication of WO2023067975A1 publication Critical patent/WO2023067975A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/11—Analysing solids by measuring attenuation of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/24—Probes

Definitions

  • the present disclosure relates to an anomaly detection device, an anomaly detection method, and a program.
  • Patent Document 1 based on the signal level (in other words, sound pressure) of audible sound included in the sound generated at the welded portion during laser welding (hereinafter also referred to as welding sound), the welding state of the welded portion is evaluated.
  • Techniques for detecting normality or failure hereinafter also referred to as abnormality have been disclosed.
  • Patent Document 1 detects anomalies in welded parts based on audible sounds included in the welding sound, so it is susceptible to noise and some anomalies cannot be detected.
  • the present disclosure provides an anomaly detection device, an anomaly detection method, and a program that can improve the detection accuracy of anomalies in welded portions.
  • An abnormality detection device includes an acquisition unit that acquires a sound that is generated at a welded portion during laser welding and that is collected by a sound pickup unit; and the sound that is acquired by the acquisition unit. and a detection unit that detects an abnormality in the welded portion based on a decrease in the sound pressure of the inaudible sound included in the.
  • an anomaly detection device it is possible to provide an anomaly detection device, an anomaly detection method, and a program that can improve the detection accuracy of anomalies in welded portions.
  • FIG. 1 is a block diagram showing an example of a functional configuration of an anomaly detection system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of a sound pickup unit;
  • FIG. 3 is a diagram for explaining an example of the configuration of the measurement unit shown in FIG. 2;
  • FIG. 4 is a flow chart showing an example of the operation of the anomaly detection system according to the embodiment.
  • FIG. 5 is a flow chart showing another example of the operation of the anomaly detection system according to the embodiment.
  • FIG. 6 is a diagram for explaining a first example of the operation of the abnormality detection device in the detection step.
  • FIG. 7 is a diagram for explaining a second example of the operation of the abnormality detection device in the detection step.
  • FIG. 8 is a diagram for explaining the learning phase of the machine learning model and the inference phase using the machine learning model.
  • FIG. 9 is a diagram for explaining a third example of the operation of the abnormality detection device in the detection step.
  • FIG. 10 is a block diagram showing an example of a functional configuration of an anomaly detection system according to a modification of the embodiment;
  • FIG. 11 is a diagram showing time waveforms of sounds picked up when welding is normally performed.
  • FIG. 12 is a diagram showing time waveforms of sounds picked up when welding is performed under conditions where abnormalities are likely to occur.
  • FIG. 13 is a diagram showing a spectrogram of sounds picked up when welding is normally performed.
  • FIG. 14 is a diagram showing a spectrogram of sound picked up when welding is performed under conditions where anomalies are likely to occur.
  • FIG. 15 is a diagram showing feature amounts (acoustic feature amounts) of sound picked up when welding is normally performed.
  • FIG. 16 is a diagram showing the feature quantity (acoustic feature quantity) of sound picked up when welding is performed under conditions where anomalies are likely to occur.
  • An abnormality detection device includes an acquisition unit that acquires a sound that is generated at a welded portion during laser welding and that is collected by a sound pickup unit; and the sound that is acquired by the acquisition unit. and a detection unit that detects an abnormality of the welded portion based on a change in the inaudible sound included in the.
  • the anomaly detection device detects an anomaly in the welded portion based on the non-audible sound contained in the sound generated at the welded portion during laser welding. It is less likely to be affected by sounds that become noise. In addition, since the band of non-audible sound is not easily affected by sound that becomes noise, when the non-audible sound changes (for example, when the sound pressure of the non-audible sound changes), the anomaly detection device change can be captured. Therefore, the abnormality detection device can improve the detection accuracy of the abnormality of the welded portion.
  • the detection unit may detect the abnormality of the welded portion based on a decrease in sound pressure of non-audible sound included in the sound.
  • the anomaly detection device detects an anomaly in the welded part based on the reduction in the sound pressure of the inaudible sound contained in the sound generated at the welded part during laser welding, so various sounds generated around the sound pickup part can be detected. It becomes less susceptible to audible sound, that is, sound that becomes noise. In addition, since the band of inaudible sound is less susceptible to sounds that become noise, when the sound pressure of the inaudible sound decreases, the anomaly detection device can detect changes in the decrease in sound pressure. Moreover, it is assumed that the sound pressure of the inaudible sound contained in the sound generated at the welded portion tends to decrease when an abnormality occurs at the welded portion. Therefore, the abnormality detection device can improve the detection accuracy of the abnormality of the welded portion.
  • the anomaly detection device may further include a notification unit that notifies a user when the anomaly is detected by the detection unit.
  • the anomaly detection device can notify the user that an anomaly has occurred in the welded portion, so the user can ascertain whether or not there is an anomaly in the welded portion.
  • the sound pickup unit may be a laser microphone.
  • the anomaly detection device uses a laser microphone as a sound pickup unit, so it can acquire a wider range of sound than when using a normal microphone, so the amount of information obtained increases. Therefore, the abnormality detection device can detect the abnormality of the welded portion based on more information. Therefore, since the abnormality detection device can extract more feature amounts, it is possible to improve the detection accuracy of the abnormality of the welded portion.
  • a normal microphone for example, a microphone with a diaphragm
  • the non-audible sound may be sound in a frequency band of 100 kHz or more and 200 kHz or less.
  • the anomaly detection device can extract sounds in a specific frequency band from the inaudible sounds as feature quantities. Therefore, the abnormality detection device can accurately detect the abnormality of the welded portion based on the extracted feature amount.
  • the detection unit may further detect the abnormality based on an increase in sound pressure of audible sound included in the sound.
  • the abnormality detection device can improve the detection accuracy of the abnormality of the welded portion.
  • the detection unit inputs the sound information about the sound acquired by the acquisition unit to a learned machine learning model, and based on an output result obtained from the anomaly may be detected.
  • the abnormality detection device can automatically extract feature amounts from sound information by using a machine learning model, so it is possible to detect abnormalities in welded parts more easily.
  • the sound information may include at least one of image data of the spectrogram of the sound, image data of the frequency characteristics of the sound, and time-series data of the sound. .
  • the anomaly detection device can facilitate the extraction of data regularity (so-called feature values) by a machine learning model by using sound information that facilitates the extraction of data feature values.
  • the time series data may be a time waveform of the sound.
  • the anomaly detection device uses the time waveform of the sound as the time-series data of the sound, thereby facilitating the extraction of the feature quantity related to the volume (in other words, sound pressure) increase/decrease by the machine learning model. .
  • the output result may be the presence or absence of an anomaly in the welded portion or the degree of anomaly.
  • the anomaly detection device can detect an anomaly in the welded portion based on the presence or absence of an anomaly in the welded portion or the degree of anomaly.
  • the sound is a sound generated at the welded portion when the welded portion is irradiated with a laser, and is generated when impurities are attached to the welded portion. May contain sound.
  • the abnormality detection device can detect an abnormality in the welded part based on the sound.
  • the abnormality may be at least one of spatter generation and crack generation in the welded portion.
  • the anomaly detection device can detect not only an anomaly on the surface of the welded part, but also an anomaly occurring inside or on the back side of the object to be welded.
  • an abnormality detection device includes a laser microphone that picks up sound generated in a welded portion during laser welding, and detects an abnormality in the welded portion based on the sound picked up by the laser microphone. and a detection unit that detects the
  • the anomaly detection device can pick up sound even in environments where it is difficult to pick up sound with a normal microphone.
  • normal microphones for example, microphones with a diaphragm
  • laser microphones do not have diaphragms like normal microphones. Therefore, it is possible to pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • an abnormality detection method includes a sound collecting step of obtaining a sound generated in a welded portion during laser welding and collected by a sound collecting unit; and a detection step of detecting an abnormality of the welded portion based on a change in inaudible sound included in the generated sound.
  • the device that executes the abnormality detection method detects an abnormality in the welded portion based on the inaudible sound included in the sound generated at the welded portion during laser welding, various possible sounds generated around the sound collecting portion can be detected. It becomes less susceptible to hearing sounds, that is, sounds that become noise.
  • the anomaly detection method is executed when the non-audible sound changes (for example, when the sound pressure of the non-audible sound changes). The device can capture that change. Therefore, the device that executes the abnormality detection method can improve the detection accuracy of the abnormality of the welded portion.
  • the abnormality of the welded portion may be detected based on a decrease in sound pressure of non-audible sound included in the sound.
  • the device that executes the abnormality detection method detects an abnormality in the welded portion 3c based on a decrease in the sound pressure of the inaudible sound contained in the sound 4 generated at the welded portion 3c during laser welding. It becomes less susceptible to various audible sounds generated around 16, that is, sounds that become noise. In addition, since the band of inaudible sound is less susceptible to sound that becomes noise, when the sound pressure of the inaudible sound decreases, the device that executes the anomaly detection method can detect changes in the decrease in sound pressure. can be done. Moreover, it is assumed that the sound pressure of the inaudible sound contained in the sound generated at the welded portion tends to decrease when an abnormality occurs at the welded portion. Therefore, the device that executes the abnormality detection method can improve the detection accuracy of the abnormality of the welded portion 3c.
  • an abnormality detection method includes a sound collecting step of collecting the sound generated at a welded portion during laser welding with a laser microphone, and the sound collected by the laser microphone. and a detection step of detecting an abnormality in the welded portion based on the sound.
  • the anomaly detection method uses a laser microphone, making it possible to pick up sound even in environments where it is difficult to pick up sound with a normal microphone.
  • normal microphones for example, microphones with a diaphragm
  • laser microphones do not have diaphragms like normal microphones. Therefore, it is possible to pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute any of the anomaly detection methods described above.
  • a computer can be used to achieve the same effect as any of the above anomaly detection methods.
  • FIG. 1 is a block diagram showing an example of a functional configuration of an anomaly detection system 100 according to an embodiment.
  • the abnormality detection system 100 is, for example, a system that acquires a collected sound that is generated at a welded portion during laser welding and detects an abnormality of the welded portion from the acquired sound.
  • the anomaly detection system 100 detects an anomaly of the welded portion based on changes in inaudible sounds included in the acquired sounds. More specifically, the anomaly detection system 100 may detect an anomaly of the welded part based on a decrease in the sound pressure of the non-audible sound, or the acquired Abnormality of the welded portion may be detected based on an increase in sound pressure of audible sound included in the sound. Further, when an abnormality is detected, the abnormality detection system 100 may notify the user to that effect.
  • Inaudible sound is sound in a frequency band that cannot be detected by the human ear (in other words, it cannot be heard by the human ear), specifically, a frequency band of 20 kHz or higher (so-called ultrasonic band). Among them, it is a sound in a frequency band of 100 kHz or more and 200 kHz or less.
  • Audible sound is sound in a frequency band that can be detected by the human ear (in other words, audible by the human ear), specifically, sound in a frequency band of 20 Hz or more and less than 20 kHz.
  • the anomaly detection system 100 includes an anomaly detection device 10 and an information terminal 20, for example. Each configuration will be described below.
  • the anomaly detection device 10 detects an anomaly of a welded portion based on a change in inaudible sound included in sound generated at the welded portion welded by laser welding. For example, the abnormality detection device 10 detects an abnormality in a welded portion based on a decrease in the sound pressure of non-audible sound included in the sound generated at the welded portion during laser welding. The abnormality detection device 10 may further detect an abnormality of the welded portion based on an increase in sound pressure of audible sound included in the sound generated at the welded portion.
  • the abnormality detection device 10 detects an abnormality in the welded portion based on a decrease in sound pressure of non-audible sound contained in the sound generated at the welded portion during laser welding and an increase in sound pressure of audible sound. good too. As a result, since sound in a wide band ranging from audible sound to non-audible sound is sensed, the accuracy of detection of abnormalities in welded portions is improved.
  • the anomaly detection device 10 includes, for example, a communication unit 11, an information processing unit 12, a storage unit 13, a learning unit 14, a sound pickup unit 16, and a notification unit 17. Each configuration will be described below.
  • the communication unit 11 is a communication circuit (or communication module) for the abnormality detection device 10 to communicate with the information terminal 20 .
  • the communication unit 11 includes a communication circuit (or communication module) for communicating via the local communication network, and a communication circuit (or communication module) for communicating via the wide area communication network. good too.
  • the communication unit 11 is, for example, wireless communication that performs wireless communication, but may be a wired communication circuit that performs wired communication. Note that the communication standard for communication performed by the communication unit 11 is not particularly limited.
  • the information processing section 12 acquires the sound picked up by the sound pickup section 16, and performs various information processing related to detection of an abnormality in the welded portion based on the sound information regarding the acquired sound.
  • the information processing unit 12 specifically includes an acquisition unit 12a and a detection unit 12b.
  • the functions of the acquisition unit 12 a and the detection unit 12 b are realized by executing a computer program stored in the storage unit 13 by the processor or microcomputer configuring the information processing unit 12 .
  • the acquisition unit 12a acquires the sound (hereinafter also referred to as welding sound) picked up by the sound pickup unit 16 .
  • a welding sound is a sound generated at a welded portion during laser welding.
  • the detection unit 12b detects an abnormality of the welded portion based on a change in non-audible sound included in the sound acquired by the acquisition unit 12a.
  • the detection unit 12b may detect an abnormality in the welded portion based on a decrease in the sound pressure of the inaudible sound included in the sound picked up by the sound pickup unit 16, or may Anomalies in the weld may be detected based on a decrease in the sound pressure of the non-audible sound and an increase in the sound pressure of the audible sound.
  • the detection unit 12b detects an abnormality in the welded portion based on the output result obtained by inputting the sound information related to the sound picked up by the sound pickup unit 16 into the learned machine learning model 15.
  • the sound information may include, for example, at least one of sound spectrogram image data, sound frequency characteristic image data, and sound time-series data.
  • the time-series data of sound may be time-series numerical data of sound, or may be a time waveform of sound.
  • the storage unit 13 is a storage device that stores a dedicated application program and the like for the information processing unit 12 to execute.
  • the storage unit 13 is realized by, for example, an HDD (Hard Disk Drive), but may be realized by a semiconductor memory.
  • a trained machine learning model 15 may be stored in the storage unit 13 . In this case, the machine learning model 15 is used for detecting abnormalities in welded portions.
  • Machine learning model 15 may be, for example, a convolutional neural network (CNN), but is not so limited.
  • machine learning model 15 may be a fully-connected neural network.
  • the sound information is time-series numerical data (for example, a sound spectrogram or time-series numerical data of frequency characteristics)
  • the machine learning model 15 is a recurrent neural network (RNN) model. good too. That is, the machine learning model 15 may be appropriately selected according to the format of the input data.
  • the machine learning model 15 is obtained by learning by the learning unit 14 .
  • the machine learning model 15 may be constructed, for example, by learning the relationship between the sound generated at the welded portion during laser welding (so-called welding sound) and the presence or absence of an abnormality in the welded portion.
  • Welding sounds include inaudible sounds that are not detectable by the human ear and audible sounds that are detectable by the human ear.
  • the learning unit 14 learns a machine learning model.
  • the learning unit 14 may perform teacher learning.
  • the learning unit 14 may learn the machine learning model using the teacher data, or may learn the machine learning model without using the teacher data.
  • the teacher data consists of sound information about the sound generated in the welded part during laser welding and annotations indicating abnormalities in the welded part.
  • the second data may include the first data, the sound information, and an annotation indicating that the welded portion is normal (that is, normal).
  • the data used for learning is sound information related to the sound generated at the welded portion during laser welding.
  • the sound pickup unit 16 picks up the sound generated at the welded portion during laser welding.
  • the sound pickup unit 16 is, for example, a microphone, more specifically a laser microphone.
  • FIG. 1 shows an example in which the abnormality detection device 10 includes one sound pickup unit 16 , it may include two or more sound pickup units 16 .
  • each sound pickup unit 16 may pick up sounds generated at different welded portions.
  • the sound pickup unit 16 converts the picked-up sound into an electric signal and outputs the electric signal to the information processing unit 12 .
  • FIG. FIG. 2 is a diagram showing an example of the configuration of the sound pickup unit 16.
  • the sound pickup unit 16 shown in FIG. 2 is a laser microphone.
  • FIG. 3 is a diagram for explaining an example of the configuration of the measurement unit 161 shown in FIG. 2. As shown in FIG.
  • the sound pickup section 16 includes, for example, a measurement section 161, a frame body section 162, and a calculation section 163. Each configuration will be described below.
  • the frame body part 162 is composed of at least one reflecting member that encloses a predetermined space through which sound passes so as to intersect with the traveling direction of the sound.
  • the sound pickup unit 16 measures sound traveling from the positive Y-axis direction toward the ZX plane in a predetermined space. Surrounding a predetermined space so as to intersect with the traveling direction of sound also includes surrounding part of the predetermined space with at least one reflecting member, rather than completely surrounding the predetermined space. Moreover, when a pair of reflecting members are arranged in parallel, it also includes sandwiching a predetermined space between the pair of reflecting members.
  • the frame body part 162 is composed of, for example, two reflecting members 162a and 162b, and the two reflecting members 162a and 162b are spaced apart from each other.
  • the frame portion 162 preferably has at least one gap between the two reflecting members 162a and 162b.
  • At least one gap is, for example, a gap for allowing laser light to enter a predetermined space (hereinafter also referred to as an entrance) and a gap for adjusting the reflection angle of laser light and returning it to the entrance (hereinafter referred to as an entrance). It is also called an angle adjustment port).
  • the frame body portion 162 may include an angle adjustment reflecting member 162c inside or outside the angle adjustment opening (Z-axis negative side).
  • the angle adjusting reflecting member 162c has a reflecting surface 1621c, and is arranged so that the reflecting surface 1621c faces a predetermined space.
  • the angle adjustment reflecting member 162c may be rotatably attached to a support shaft (not shown) fixed to the two reflecting members 162a and 162b, or may be tiltably supported by a piezoelectric body.
  • the angle adjusting reflecting member 162c can adjust the reflection angle of the laser light with respect to the reflecting surface 1621c, so that the laser light can be returned to the measurement unit 161 with high accuracy.
  • the shape of the frame body part 162 may be triangular, quadrangular, pentagonal, hexagonal, circular, or elliptical when viewed from the sound traveling direction.
  • the shape of the frame portion 162 is square.
  • the size of the frame body part 162 may be appropriately set according to the design. direction) may be 20 mm.
  • Each of the two reflecting members 162a and 162b has at least one reflecting surface.
  • the two reflecting members 162a and 162b have a plurality of reflecting surfaces 1621a and 1621b, respectively, and are arranged so that the plurality of reflecting surfaces 1621a and 1621b face a predetermined space.
  • the two reflecting surfaces 1621a and 1621b are arranged so that when the predetermined space is viewed from the sound traveling direction (that is, the Y-axis direction), the laser beams intersect in the predetermined space and are reflected multiple times.
  • the plurality of reflecting surfaces 1621a are each flat and formed in a series.
  • the plurality of reflective surfaces 1621a have different orientations within a predetermined space.
  • the multiple reflective surfaces 1621a may differ in shape and area.
  • the shape of the reflective surface 1621a may be square, rectangular, or trapezoidal, and the area varies depending on the arrangement position (for example, corners and edges) of the reflective surface 1621a on the reflective member 162a. good too.
  • the plurality of reflecting surfaces 1621a are formed in a series, they may not be formed in a series.
  • the reflecting member 162a may be manufactured by attaching a reflecting plate on a plurality of surfaces that become the plurality of reflecting surfaces 1621a.
  • the plurality of reflecting surfaces 1621b are similar to the plurality of reflecting surfaces 1621a.
  • the measurement unit 161 emits a laser beam into a predetermined space, reflects the laser beam in a predetermined space surrounded by the reflecting members 162a and 162b, and returns to the measurement unit 161 (hereinafter also referred to as reflected light). to measure the sound pressure in a predetermined space.
  • the measurement unit 161 is, for example, a laser Doppler vibrometer or a photodiode. When the measurement unit 161 is a laser Doppler vibrometer, the measurement unit 161 has the configuration shown in FIG. 3, for example.
  • the measurement unit 161 has a laser light source 111 that emits laser light, and the laser light output from the laser light source 111 is split into two directions by the first beam splitter 112a.
  • One of the laser beams L1 split into two directions (so-called emission light) is emitted through the second beam splitter 112b.
  • the other laser beam L2 split by the first beam splitter 112a has its optical axis adjusted by a mirror 113 and enters an AOM (Acoust-Optic Modulator) driver 114a driven by an AOM 114b.
  • a frequency-shifted reference light is output.
  • the reference light is optically adjusted so as to pass through the third beam splitter 112c and irradiate the light receiving section 115 (for example, photodetector).
  • the laser light L3 (so-called reflected light) that has returned after being reflected in a predetermined space is irradiated to the light receiving unit 115 via the second beam splitter 112b and the third beam splitter 112c, and is superimposed on the reference light. becomes interference light and is received by the light receiving unit 115 .
  • the measurement unit 161 detects the phase fluctuation of the laser light caused by this lap interference with the detection circuit 116 and outputs it to the calculation unit 163 as an analog signal.
  • the calculation unit 163 calculates the sound pressure within the predetermined space based on the signal output from the measurement unit 161 .
  • the calculator 163 may be a frequency analyzer.
  • the laser Doppler vibrometer has been described as an example in which the measurement unit 161 includes the laser light source 111 and the light receiving unit 115 in one housing, the present invention is not limited to this. Moreover, the measurement unit 161 may include the laser light source 111 and the light receiving unit 115 in separate housings. Moreover, not only the laser light source 111 and the light receiving unit 115, but also the first beam splitter 112a, the second beam splitter 112b, the third beam splitter 112c, the AOM 114b, the mirror 113, etc. may not be included in one housing.
  • the laser light source 111 may be, for example, a He--Ne laser oscillator or a laser diode.
  • the notification unit 17 notifies the user of notification information when, for example, the detection unit 12b detects an abnormality in the welded portion.
  • the notification information is, for example, information regarding an abnormality in the welded portion.
  • the information on the abnormality of the welded portion includes information indicating the presence or absence of abnormality of the welded portion, information indicating the degree of abnormality of the welded portion, and information on the type of abnormality of the welded portion (for example, occurrence of spatter or crack). At least one may be included.
  • the degree of abnormality is a statistic indicating the degree of abnormality, and more specifically, it is a numerical value representing the possibility of occurrence of abnormality in the welded portion.
  • the information terminal 20 is a portable information terminal such as a notebook computer, a smart phone, or a tablet terminal used by the user of the anomaly detection device 10, but may be a stationary computer device.
  • the information terminal 20 includes a communication section 21 , a control section 22 , a storage section 23 , a reception section 24 and a presentation section 25 .
  • the communication unit 21 is a communication circuit (or communication module) for connecting the information terminal 20 to the anomaly detection device 10 via the local communication network. , communication module).
  • the communication performed by the communication unit 21 is wireless communication, but may be wired communication.
  • the communication standard of communication performed by the communication unit 21 is not particularly limited either.
  • Control unit 22 The control unit 22 performs various information processing related to the information terminal 20 based on the operation input received by the receiving unit 24 .
  • the control unit 22 is implemented by, for example, a microcomputer, but may be implemented by a processor.
  • the storage unit 23 is a storage device that stores a dedicated application program and the like for the control unit 22 to execute.
  • the storage unit 23 is implemented by, for example, a semiconductor memory.
  • the accepting unit 24 is an input interface that accepts operation input by the user using the information terminal 20 .
  • the accepting unit 24 accepts a user's input operation for transmitting the notification information presentation method to the anomaly detection device 10 .
  • the reception unit 24 is specifically realized by a touch panel display or the like.
  • the reception section 24 is equipped with a touch panel display, the touch panel display functions as the presentation section 25 and the reception section 24 .
  • the reception unit 24 is not limited to a touch panel display, and may be, for example, a keyboard, a pointing device (for example, a touch pen or mouse), hardware buttons, or the like.
  • the receiving unit 24 may be a microphone when receiving an input by voice.
  • the accepting unit 24 may be a camera when accepting an input by a gesture.
  • the presentation unit 25 presents the notification information notified by the anomaly detection device 10 .
  • the presentation unit 25 is, for example, a display device that displays image information including characters.
  • the presentation unit 25 may include an audio output device that outputs audio information.
  • the display device is, for example, a display including a liquid crystal (LC) panel or an organic EL (Electro Luminescence) panel as a display device.
  • the audio output device is, for example, a speaker or an earphone.
  • the presentation unit 25 may display image information on a display device, output audio information from an audio output device, or present both image information and audio information.
  • FIG. 4 is a flow chart showing an example of the operation of the anomaly detection system 100 according to the embodiment.
  • the control unit 22 of the information terminal 20 outputs the instruction to the abnormality detection device 10 via the communication unit 21 (unable to shown).
  • the information processing unit 12 causes the sound pickup unit 16 to pick up the sound generated at the welded portion (not shown).
  • the acquisition unit 12a of the abnormality detection device 10 acquires the sound generated in the welded part during laser welding and picked up by the sound pickup unit 16 (S01). More specifically, the acquisition unit 12 a acquires an electrical signal corresponding to the sound picked up by the sound pickup unit 16 . Then, the acquisition unit 12a outputs the acquired electrical signal to the detection unit 12b.
  • the sound pickup unit 16 is, for example, a laser microphone. As a result, the sound pickup unit 16 can pick up sound in a wider band than a normal microphone. In addition, since the sound pickup unit 16 does not have a diaphragm like a normal microphone, it can pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • the detection unit 12b of the abnormality detection device 10 detects an abnormality of the welded portion based on changes in the inaudible sound included in the sound acquired by the acquisition unit 12a in step S01 (S02).
  • a change in non-audible sound is, for example, a change in sound pressure of the non-audible sound.
  • the detection unit 12b detects an abnormality of the welded portion based on a decrease in the sound pressure of the inaudible sound included in the sound acquired by the acquisition unit 12a.
  • the detection unit 12b detects an abnormality in the welded portion based on a decrease in the sound pressure of the sound in the frequency band of 100 kHz or more and 200 kHz or less among the inaudible sounds, for example.
  • the notification unit 17 of the abnormality detection device 10 notifies the user when the detection unit 12b detects an abnormality in the welded portion in step S02 (S03). Specifically, the notification unit 17 notifies the user of notification information when the detection unit 12b detects an abnormality in the welded portion. Since the notification information has been described above, a description thereof will be omitted here.
  • step S02 the detecting unit 12b detects an abnormality of the welded portion based on a decrease in the sound pressure of the non-audible sound contained in the sound generated at the welded portion.
  • an abnormality in the welded portion may be detected based on an increase in the sound pressure of the audible sound included in the sound acquired by the acquisition unit 12a in step S01.
  • FIG. 5 is a flow chart showing another example of the operation of the anomaly detection system 100 according to the embodiment. In FIGS. 4 and 5, the same step numbers are given to the same processes, and the explanations are omitted or simplified.
  • the detection unit 12b reduces the sound pressure of the non-audible sound contained in the sound acquired in step S01 and increases the sound pressure of the audible sound contained in the acquired sound. is detected (S11).
  • the detection unit 12b extracts a feature amount from the sound information about the sound acquired in step S01, and performs threshold processing on the extracted feature amount. Therefore, the presence or absence of abnormality in the welded portion may be detected.
  • FIG. 6 is a diagram for explaining a first example of the operation of the abnormality detection device 10 in the detection step.
  • a laser welding device (not shown) irradiates a laser beam 2 emitted from a laser scanner 1 to a welded portion 3 c of a welding target 3 .
  • the objects 3 to be welded are two metal plates.
  • the object 3 to be welded is irradiated with the laser beam 2 on the surface 3a side.
  • the sound 4 is the sound generated at the welded portion 3c when the laser beam 2 is applied to the welded portion 3c. Including the sound generated in 3c.
  • An abnormality of the welded portion 3c occurs, for example, when impurities adhere to the surface 3a of the welded portion 3c.
  • the abnormalities of the welded portion 3c are the generation of spatter on the surface 3a of the welded portion 3c and the generation of cracks on the back surface 3b of the welded portion 3c.
  • a sound pickup unit 16 (for example, a laser microphone) picks up the sound 4 generated at the welded portion 3c during laser welding.
  • the sound pickup unit 16 (laser microphone) is a part of the sound (more specifically, the sound that is spherically propagated from the welded portion 3c) generated at the welded portion 3c during laser welding. Specifically, the sound that propagates in the direction of the sound pickup unit 16 (laser microphone)) is picked up, but all sounds may be picked up.
  • the detection unit 12b of the anomaly detection device 10 extracts a feature amount from the sound information related to the sound picked up by the acquisition unit 12a.
  • the detection unit 12b detects the sound pressure of non-audible sound (for example, sound in a frequency band of 100 kHz or more and 200 kHz or less) contained in the collected sound, and the sound pressure of audible sound (for example, a frequency of 1 kHz or more and less than 20 kHz). band sound) and extract the sound pressure.
  • the detection unit 12b determines a decrease in the sound pressure of the inaudible sound and an increase in the sound pressure of the audible sound by threshold processing.
  • the detection unit 12b detects whether there is an abnormality (normal or abnormal) in the welded portion 3c based on the determined decrease in the sound pressure of the non-audible sound and increase in the sound pressure of the audible sound.
  • the abnormality detection device 10 includes one sound pickup unit 16, but is not particularly limited, and may include two or more sound pickup units 16. In this case, for example, the abnormality detection device 10 may use two or more sound pickup units 16 to collect all of the sounds generated at the welded portion 3c during welding, or some of the sounds ( More specifically, the sound propagating in each direction of two or more sound pickup units 16) may be picked up.
  • FIG. 7 is a diagram for explaining a second example of the operation of the abnormality detection device 10 in the detection step.
  • detection unit 12b detects the presence or absence of an abnormality in welded portion 3c by threshold processing. to detect whether or not there is an abnormality in the welded portion 3c.
  • threshold processing to detect whether or not there is an abnormality in the welded portion 3c.
  • the detection unit 12b of the abnormality detection device 10 detects an abnormality of the welded portion 3c based on the output result obtained by inputting the sound information related to the sound acquired by the acquisition unit 12a into the machine learning model 15.
  • the machine learning model 15 indicates the relationship between the sound (so-called welding sound) generated at the welded portion 3c during laser welding and whether or not there is an abnormality in the welded portion 3c.
  • the machine learning model 15 is, for example, a convolutional neural network (CNN), but is not limited to this.
  • CNN convolutional neural network
  • classification by the machine learning model 15 is performed.
  • the output result is, for example, the presence or absence of abnormality in the welded portion 3c.
  • the sound information input to the learned machine learning model 15 is, for example, image data of spectrogram of welding sound or image data of frequency characteristics.
  • the information is, for example, image data in a format such as JPEG (Joint Photographic Experts Group) or BMP (Basic Multilingual Plane).
  • FIG. 8 is a diagram for explaining a learning phase of the machine learning model 15 and a usage phase (also called an inference phase) using the machine learning model 15. As shown in FIG.
  • the learning unit 14 of the anomaly detection device 10 learns a machine learning model using teacher data, for example.
  • the storage unit 13 stores teaching data.
  • the teaching data is, for example, first data composed of sound information about the sound generated at the welded portion 3c during laser welding, annotations indicating an abnormality of the welded portion 3c, the sound information, and no abnormality of the welded portion 3c. (that is, normal) and second data configured with an annotation indicating normal.
  • the detection unit 12b of the anomaly detection device 10 uses a machine that has learned sound information about the sound picked up by the sound pickup unit 16 (for example, a spectrogram image or a frequency characteristic image of the picked sound). Input to the learning model 15 (so-called trained model). Then, the detection unit 12b performs inference processing based on the output result output from the machine learning model 15, and detects an abnormality in the welded portion 3c based on the output result of the inference processing (for example, presence or absence of abnormality).
  • a machine that has learned sound information about the sound picked up by the sound pickup unit 16 (for example, a spectrogram image or a frequency characteristic image of the picked sound). Input to the learning model 15 (so-called trained model). Then, the detection unit 12b performs inference processing based on the output result output from the machine learning model 15, and detects an abnormality in the welded portion 3c based on the output result of the inference processing (for example, presence or absence of abnormality).
  • FIG. 9 is a diagram for explaining a third example of the operation of the abnormality detection device 10 in the detection step.
  • the learned machine learning model 15 is used to detect the presence or absence of an abnormality in the welded portion 3c.
  • the abnormality of the welded portion 3c is detected based on the degree of abnormality of 3c.
  • the points different from the second example will be mainly described, and descriptions of overlapping contents will be omitted or simplified.
  • the detection unit 12b of the abnormality detection device 10 detects an abnormality of the welded portion 3c based on the output result obtained by inputting the sound information related to the sound acquired by the acquisition unit 12a into the machine learning model 15.
  • the machine learning model 15 indicates the relationship between the sound (so-called welding sound) generated at the welded portion 3c during laser welding and whether or not there is an abnormality in the welded portion 3c.
  • the machine learning model 15 is, for example, a convolutional neural network (CNN), but is not limited to this. In a third example, regression is performed using the machine learning model 15 .
  • the output result is, for example, the degree of abnormality of the welded portion 3c.
  • the degree of abnormality is a statistic indicating the degree of abnormality, and more specifically, it is a numerical value representing the possibility of occurrence of abnormality in the welded portion.
  • the sound information input to the learned machine learning model 15 is, for example, time-series data of welding sounds.
  • the time-series data is, for example, a time waveform of sound, and more specifically, the information is time-series numerical data in a format such as WAV (Waveform Audio File Format). , duration of sound, sound pressure and/or waveform.
  • WAV Wideform Audio File Format
  • the learning unit 14 of the abnormality detection device 10 learns a machine learning model using, for example, the waveform or spectrogram of a normal welding sound as input data.
  • the storage unit 13 stores normal welding sound waveforms or spectrograms.
  • Machine learning model 15 is, for example, an autoencoder.
  • the detection unit 12b of the abnormality detection device 10 acquires sound information (for example, the waveform of the sound or spectrogram) to a trained machine learning model 15 (so-called trained model). Then, the detection unit 12b performs inference processing based on the output result (for example, the sound information encoded and decoded by the autoencoder) output from the machine learning model 15, and the output result of the inference processing (for example, the degree of abnormality ), the abnormality of the welded portion 3c is detected.
  • sound information for example, the waveform of the sound or spectrogram
  • the detection unit 12b performs inference processing based on the output result (for example, the sound information encoded and decoded by the autoencoder) output from the machine learning model 15, and the output result of the inference processing (for example, the degree of abnormality ), the abnormality of the welded portion 3c is detected.
  • the abnormality detection device 10 includes the acquisition unit 12a that acquires the sound 4 that is generated at the welded portion 3c during laser welding and that is collected by the sound pickup unit 16, and a detection unit 12b that detects an abnormality of the welded portion 3c based on a change in the inaudible sound included in the sound 4 acquired by the acquisition unit 12a.
  • the abnormality detection device 10 detects an abnormality of the welded portion 3c based on the inaudible sound included in the sound 4 generated at the welded portion 3c during laser welding. It becomes less susceptible to audible sound, that is, sound that becomes noise. In addition, since the band of non-audible sounds is less susceptible to sounds that become noise, when the non-audible sounds change (for example, when the sound pressure of the non-audible sounds changes), the abnormality detection device 10 You can catch the change. Therefore, the abnormality detection device 10 can improve the detection accuracy of the abnormality of the welded portion 3c.
  • the detection unit 12b may detect an abnormality in the welded portion 3c based on a decrease in the sound pressure of the inaudible sound included in the sound 4.
  • the abnormality detection device 10 detects an abnormality of the welded portion 3c based on a decrease in the sound pressure of the non-audible sound contained in the sound 4 generated at the welded portion 3c during laser welding. It is less susceptible to various audible sounds that occur in the In addition, since the band of inaudible sound is less susceptible to sounds that become noise, when the sound pressure of the inaudible sound decreases, the anomaly detection device can detect changes in the decrease in sound pressure. Further, it is assumed that the sound pressure of the inaudible sound included in the sound 4 generated at the welded portion 3c tends to decrease when an abnormality occurs at the welded portion 3c. Therefore, the abnormality detection device 10 can improve the detection accuracy of the abnormality of the welded portion 3c.
  • the abnormality detection device 10 may further include a notification unit 17 that notifies the user when the detection unit 12b detects an abnormality in the welded portion 3c.
  • the abnormality detection device 10 can notify the user that an abnormality has occurred in the welded portion 3c, so that the user can ascertain whether or not there is an abnormality in the welded portion 3c.
  • the sound pickup unit 16 may be a laser microphone.
  • the anomaly detection device 10 uses a laser microphone as the sound pickup unit 16, so that it is possible to acquire sound in a wider band than when a normal microphone is used, so the amount of information obtained is increased. Therefore, the abnormality detection device 10 can detect the abnormality of the welded portion based on more information. Therefore, since the abnormality detection device 10 can extract more feature amounts, the abnormality detection accuracy of the welded portion 3c can be improved.
  • a normal microphone for example, a microphone having a diaphragm
  • the non-audible sound may be sound in a frequency band of 100 kHz or more and 200 kHz or less.
  • the anomaly detection device 10 can extract sound in a specific frequency band from the inaudible sound as a feature amount. Therefore, the abnormality detection device 10 can accurately detect the abnormality of the welded portion 3c based on the extracted feature amount.
  • the detection unit 12b may further detect an abnormality in the welded portion 3c based on an increase in the sound pressure of the audible sound included in the sound 4.
  • the anomaly detection device 10 can extract more feature quantities based on the inaudible and audible sounds included in the sound 4. Therefore, the abnormality detection device 10 can improve the detection accuracy of the abnormality of the welded portion 3c.
  • the detection unit 12b inputs the sound information about the sound 4 acquired by the acquisition unit 12a to the learned machine learning model 15, and based on the output result obtained, the welding part is detected. Abnormality of 3c may be detected.
  • the abnormality detection device 10 can automatically extract the feature amount from the sound information by using the machine learning model 15, so that the abnormality of the welded portion 3c can be detected more easily.
  • the sound information may include at least one of image data of the spectrogram of the sound 4, image data of the frequency characteristics of the sound 4, and time-series data of the sound 4.
  • the anomaly detection device 10 can facilitate the extraction of data regularity (so-called feature quantity) by the machine learning model 15 by using sound information that facilitates the extraction of the data feature quantity.
  • the time-series data of Sound 4 may be the time waveform of Sound 4.
  • the abnormality detection device 10 uses the time waveform of the sound 4 as the time-series data of the sound 4, thereby facilitating the extraction of the feature amount related to the volume (that is, sound pressure) increase/decrease by the machine learning model 15. be able to.
  • the output result may be the presence or absence of an anomaly in the welded portion 3c or the degree of anomaly.
  • the abnormality detection device 10 can detect the abnormality of the welded portion 3c based on the presence or absence of abnormality of the welded portion 3c or the degree of abnormality.
  • the sound 4 is a sound generated at the welded portion 3c when the welded portion 3c is irradiated with a laser beam, and is generated when impurities adhere to the welded portion 3c. May contain sound.
  • the abnormality detection device 10 can detect an abnormality of the welded portion 3c based on the sound 4.
  • the abnormality of the welded portion 3c may be at least one of the generation of spatter and the generation of cracks in the welded portion 3c.
  • the abnormality detection device 10 can detect not only an abnormality on the surface 3a of the welded portion 3c, but also an abnormality occurring inside or on the back surface 3b of the object 3 to be welded.
  • the abnormality detection device 10 detects an abnormality in the welded portion 3c based on a laser microphone that picks up the sound 4 generated at the welded portion during laser welding and the sound 4 picked up by the laser microphone. and a detection unit 12b for detecting.
  • the anomaly detection device 10 can pick up sound even in an environment where it is difficult to pick up sound with a normal microphone.
  • normal microphones for example, microphones with a diaphragm
  • laser microphones do not have diaphragms like normal microphones. Therefore, it is possible to pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • the abnormality detection method includes a sound collection step (S01) of acquiring a sound 4 that is generated at the welded portion 3c during laser welding and is collected by the sound collection unit 16; and a detection step (S02) of detecting an abnormality in the welded portion 3c based on a change in the inaudible sound included in the sound 4 acquired in step (S01).
  • the device that executes the abnormality detection method detects the abnormality of the welded portion 3c based on the inaudible sound included in the sound 4 generated at the welded portion 3c during laser welding. It becomes less susceptible to various audible sounds, that is, sounds that become noise. In addition, since the non-audible sound band is less susceptible to noise, the anomaly detection method is executed when the non-audible sound changes (for example, when the sound pressure of the non-audible sound changes). The device can capture that change. Therefore, the device that executes the abnormality detection method can improve the detection accuracy of the abnormality of the welded portion 3c.
  • the abnormality of the welded portion 3c may be detected based on a decrease in the sound pressure of the inaudible sound included in the sound 4.
  • the device that executes the abnormality detection method detects an abnormality in the welded portion 3c based on a decrease in the sound pressure of the inaudible sound contained in the sound 4 generated at the welded portion 3c during laser welding. It becomes less susceptible to various audible sounds generated around 16, that is, sounds that become noise. In addition, since the band of inaudible sound is less susceptible to sound that becomes noise, when the sound pressure of the inaudible sound decreases, the device that executes the anomaly detection method can detect changes in the decrease in sound pressure. can be done. Moreover, it is assumed that the sound pressure of the inaudible sound contained in the sound 3 generated at the welded portion 3c tends to decrease when an abnormality occurs at the welded portion 3c. Therefore, the device that executes the abnormality detection method can improve the detection accuracy of the abnormality of the welded portion 3c.
  • the abnormality detection method includes a sound collection step of collecting the sound 4 generated at the welded portion 3c during laser welding with a laser microphone, and a sound collection step of collecting the sound 4 with the laser microphone. and a detection step of detecting an abnormality of the welded portion 3c based on.
  • the anomaly detection method uses a laser microphone, making it possible to pick up sound even in environments where it is difficult to pick up sound with a normal microphone.
  • normal microphones for example, microphones with a diaphragm
  • laser microphones do not have diaphragms like normal microphones. Therefore, it is possible to pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • FIG. 10 is a block diagram showing an example of the functional configuration of an anomaly detection system 100a according to the modification of the embodiment.
  • the anomaly detection device 10 includes the sound pickup unit 16, but in the modification, the anomaly detection device 10a does not include the sound pickup unit 16, and the anomaly detection system 100a collects sound. It differs from the embodiment in that it includes a device 30 .
  • the points different from the embodiment will be mainly described, and descriptions of overlapping contents will be simplified or omitted.
  • the abnormality detection device 10 a acquires the sound collected by the sound collection device 30 .
  • the anomaly detection device 10a includes, for example, a communication unit 11a, an information processing unit 12, a storage unit 13, a learning unit 14, and a notification unit 17.
  • the configuration different from the abnormality detection device 10 according to the embodiment will be described below.
  • the communication unit 11 a is a communication circuit (or communication module) for the abnormality detection device 10 a to communicate with the information terminal 20 and the sound collection device 30 .
  • the communication unit 11a includes a communication circuit (or communication module) for communicating via the local communication network, and a communication circuit (or communication module) for communicating via the wide area communication network. good too.
  • the communication unit 11a is, for example, wireless communication that performs wireless communication, but may be a wired communication circuit that performs wired communication. Note that the communication standard for communication performed by the communication unit 11a is not particularly limited.
  • the sound collection device 30 includes, for example, a communication unit 31, a control unit 32, a storage unit 33, and a sound collection unit 16. Since the sound pickup unit 16 has been described in the embodiment, description thereof will be omitted here.
  • the communication unit 31 is a communication circuit (or communication module) for the sound collection device 30 to communicate with the abnormality detection device 10 a and the information terminal 20 .
  • the communication unit 31 includes a communication circuit (or communication module) for communicating via the local communication network, and a communication circuit (or communication module) for communicating via the wide area communication network. good too.
  • the communication unit 31 is, for example, wireless communication that performs wireless communication, but may be a wired communication circuit that performs wired communication. Note that the communication standard for communication performed by the communication unit 31 is not particularly limited.
  • Control unit 32 The control unit 32 performs various information processing regarding the sound collecting device 30 . Specifically, the control unit 32 transmits a control signal to the sound pickup unit 16 based on the setting information stored in the storage unit 33 .
  • the control unit 32 is implemented by, for example, a microcomputer or processor.
  • the functions of the control unit 32 are realized by, for example, executing a computer program stored in the storage unit 33 by a microcomputer, processor, or the like that constitutes the control unit 32 .
  • the modification differs from the embodiment in that the sound pickup device 30 converts the sound picked up by the sound pickup unit 16 into an electric signal and outputs the electric signal to the abnormality detection device 10a. Description will be made centering on points different from the embodiment while referring to FIGS. 4 and 5 again.
  • the control unit 22 of the information terminal 20 outputs the instruction to the abnormality detection device 10a via the communication unit 21 (unable to shown). Then, when acquiring the instruction, the abnormality detection device 10a outputs a sound collection start instruction to the sound collection device 30 (not shown).
  • the information terminal 20 may output the instruction to the anomaly detection device 10 a and the sound pickup start instruction to the sound pickup device 30 .
  • step S01 the communication unit 11a of the abnormality detection device 10a acquires the sound (more specifically, the electrical signal corresponding to the sound) picked up by the sound pickup unit 16 of the sound pickup device 30.
  • the communication unit 11a may acquire the identification information of the sound collecting device 30 together with the electric signal corresponding to the sound.
  • the detection unit 12b of the abnormality detection device 10a performs step S02 in FIG. 4 or step S11 in FIG. 5 to detect an abnormality in the welded portion.
  • the notification unit 17 of the abnormality detection device 10a notifies the user to that effect when the detection unit 12b detects an abnormality in the welded portion in step S02 or step S11 (S03).
  • the abnormality detection device 10a according to the modification is configured separately from the sound collection device 30, it is possible to appropriately change the installation position and the number of installations of the sound collection device 30 according to the design. It can be implemented in one integrated circuit.
  • Example 1 and Comparative Example 1 show verification results when the sound information is a time waveform.
  • Example 2 and Comparative Example 2 show verification results when the sound information is a spectrogram.
  • Example 3 and Comparative Example 3 show verification results based on feature amounts of sound information (also referred to as acoustic feature amounts).
  • Normal 10 times
  • Abnormal 10 times
  • 10 sounds generated at the welded portion when the welding was performed normally were collected.
  • metal powder is applied to the surface of the object to be welded so that an abnormality occurs during welding, and the sound generated at the welded portion when welding is performed under conditions that easily generate an abnormality is measured by 10%. I heard a recovery sound.
  • Laser microphone manufactured by Xarion, 1 channel, picks up sound in the frequency band from 10 kHz to 1 MHz) [Distance from welded part to microphone] 5cm
  • FIG. 11 is a diagram showing time waveforms of sounds picked up when welding is normally performed. As shown in FIG. 11, there was no point where the amplitude increased in the time waveform of the welding sound when welding was normally performed. Therefore, it was confirmed that when no abnormality occurs during welding (that is, when welding is performed normally), the volume of sound (sound pressure) generated at the welded portion does not increase.
  • FIG. 12 is a diagram showing time waveforms of sounds picked up when welding is performed under conditions where abnormalities are likely to occur. As shown in FIG. 12, in the time waveform of the sound when welding was performed under conditions where abnormalities were likely to occur, there were places where the amplitude increased (the places surrounded by solid lines). Therefore, when an abnormality occurs during welding, it is considered that the volume of sound (sound pressure) generated at the welded portion increases.
  • FIG. 13 is a diagram showing a spectrogram of sounds picked up when welding is normally performed. As shown in FIG. 13, it was confirmed that sound in the frequency band of 100 kHz or less was generated at the welded portion during welding because the sound pressure of the sound in the frequency band of 100 kHz or less was large. It was also confirmed that sounds in frequency bands around 200 kHz and 250 kHz were intermittently generated.
  • FIG. 14 is a diagram showing a spectrogram of sound picked up when welding is performed under conditions where anomalies are likely to occur. As shown in FIG. 14, there were places where the sound pressure level increased in the frequency band of 20 kHz or less. On the other hand, as compared with Example 2, there were places where the sound pressure level decreased in the frequency band from 100 kHz to 200 kHz. The time at which the sound pressure level decreased and the time at which the sound pressure level increased in the frequency band of 20 kHz or lower were approximately the same.
  • Example 3 and Comparative Example 3 it was examined whether or not it would be possible to visually confirm the timing of occurrence of an abnormality by graphing the time fluctuations of (A) and (B) above.
  • the solid line represents the value obtained by multiplying the value of the RMS (Root Mean Square) envelope of the waveform of (a) 1 kHz or more and 20 kHz or less corresponding to (A) above by 10, and the dashed line represents the value of (B ) corresponding to (b) 100 kHz or more and 200 kHz or less and the RMS envelope average of the waveform of 100 kHz or more and 200 kHz or less during normal welding is multiplied by 20.
  • RMS Root Mean Square
  • the difference between the RMS envelope of the waveform of 100 kHz or more and 200 kHz or less in (b) above and the RMS envelope average of the waveform of 100 kHz or more and 200 kHz or less during normal welding is calculated by the following formula.
  • X envRMS represents the RMS envelope of the waveform.
  • FIG. 15 is a diagram showing feature amounts (acoustic feature amounts) of sound picked up when welding is normally performed. As shown in FIG. 15, in (a) and (b) respectively, there was no place where the amplitude value increased or decreased.
  • FIG. 16 is a diagram showing the feature quantity (acoustic feature quantity) of sound picked up when welding is performed under conditions where anomalies are likely to occur.
  • the envelope value amplitude
  • the difference in value between the sound in the frequency band of 100 kHz to 200 kHz and the RMS envelope average of the waveform of 100 kHz to 200 kHz during normal welding increases.
  • the sound pressure of the non-audible sound generated in the welded part and included in the collected sound is reduced, and the sound pressure of the audible sound is reduced. Based on the increase, it was confirmed that it is possible to accurately detect an abnormality in the welded portion.
  • the anomaly detection device may be configured from one system LSI (Large Scale Integration).
  • the anomaly detection device may be composed of a system LSI having a sound pickup section, a detection section, and an output section. Note that the system LSI does not have to include the sound pickup unit.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip. Specifically, it includes a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), etc.
  • a computer system comprising A computer program is stored in the ROM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may also be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
  • one aspect of the present disclosure may be not only such an anomaly detection device but also an anomaly detection method having steps of characteristic components included in the device. Further, one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the anomaly detection method. Also, one aspect of the present disclosure may be a computer-readable non-transitory recording medium on which such a computer program is recorded.
  • FIG. 1 an acquisition unit that acquires a sound that is generated at a welded part during laser welding and that is collected by a sound pickup unit; a detection unit that detects an abnormality in the welded portion based on a change in inaudible sound included in the sound acquired by the acquisition unit; comprising Anomaly detection device.
  • the anomaly detection device detects an anomaly in the welded portion based on the non-audible sound contained in the sound generated at the welded portion during laser welding. It is less likely to be affected by sounds that become noise. In addition, since the band of non-audible sound is not easily affected by sound that becomes noise, when the non-audible sound changes (for example, when the sound pressure of the non-audible sound changes), the anomaly detection device change can be captured. Therefore, the abnormality detection device can improve the detection accuracy of the abnormality of the welded portion.
  • the detection unit detects an abnormality of the welded portion based on a decrease in sound pressure of inaudible sound contained in the sound.
  • the abnormality detection device according to Technique 1.
  • the anomaly detection device detects an anomaly in the welded part based on the reduction in the sound pressure of the inaudible sound contained in the sound generated at the welded part during laser welding, so various sounds generated around the sound pickup part can be detected. It becomes less susceptible to audible sound, that is, sound that becomes noise. In addition, since the band of inaudible sound is less susceptible to sounds that become noise, when the sound pressure of the inaudible sound decreases, the anomaly detection device can detect changes in the decrease in sound pressure. Therefore, the abnormality detection device can improve the detection accuracy of the abnormality of the welded portion.
  • the abnormality detection device can notify the user that an abnormality has occurred in the welded portion, so that the user can ascertain whether or not there is an abnormality in the welded portion.
  • the sound pickup unit is a laser microphone, An abnormality detection device according to any one of Techniques 1 to 3.
  • the anomaly detection device uses a laser microphone as a sound pickup unit, so that it can acquire sound in a wider band than when a normal microphone is used, so the amount of information that can be obtained increases. Therefore, the abnormality detection device can detect the abnormality of the welded portion based on more information. Therefore, since the abnormality detection device can extract more feature amounts, it is possible to improve the detection accuracy of the abnormality of the welded portion.
  • a normal microphone for example, a microphone with a diaphragm
  • the inaudible sound is sound in a frequency band of 100 kHz or more and 200 kHz or less.
  • An abnormality detection device according to any one of Techniques 1 to 4.
  • the anomaly detection device can extract sound in a specific frequency band from the inaudible sound as a feature amount. Therefore, the abnormality detection device can accurately detect the abnormality of the welded portion based on the extracted feature amount.
  • the detection unit further detects the abnormality based on an increase in sound pressure of audible sound contained in the sound.
  • An abnormality detection device according to any one of Techniques 1 to 5.
  • the detection unit detects the abnormality based on an output result obtained by inputting the sound information related to the sound acquired by the acquisition unit into a learned machine learning model.
  • An abnormality detection device according to any one of Techniques 1 to 6.
  • the abnormality detection device can automatically extract the feature amount from the sound information by using the machine learning model, so that the abnormality of the welded portion can be detected more easily.
  • the sound information includes at least one of image data of the spectrogram of the sound, image data of the frequency characteristics of the sound, and time-series data of the sound.
  • the abnormality detection device according to Technique 7.
  • the anomaly detection device can facilitate extraction of data regularity (so-called feature quantity) by a machine learning model by using sound information that facilitates extraction of data feature quantity.
  • the time-series data is a time waveform of the sound, The abnormality detection device according to Technique 8.
  • the anomaly detection device uses the time waveform of the sound as the sound time-series data, thereby facilitating the extraction of the feature amount related to the increase/decrease of the sound volume (that is, the sound pressure) by the machine learning model.
  • the output result is the presence or absence of abnormality in the welded portion, or the degree of abnormality.
  • An abnormality detection device according to any one of Techniques 7 to 9.
  • the abnormality detection device can detect the abnormality of the welded portion based on the presence or absence of the abnormality of the welded portion or the degree of abnormality.
  • the sound is a sound generated at the welded portion when the welded portion is irradiated with a laser beam, and includes a sound generated when impurities are attached to the welded portion.
  • An abnormality detection device according to any one of Techniques 1 to 10.
  • the abnormality detection device can detect the abnormality of the welded portion based on the sound.
  • the abnormality is at least one of spatter generation and crack generation in the welded portion.
  • An abnormality detection device according to any one of Techniques 1 to 11.
  • the abnormality detection device can detect not only an abnormality on the surface of the welded portion, but also an abnormality occurring inside or on the back surface of the object to be welded.
  • the abnormality detection device can detect an abnormality in the welded part based on the sound.
  • a laser microphone that picks up the sound generated at the welded part during laser welding, a detection unit that detects an abnormality in the welded portion based on the sound picked up by the laser microphone; comprising Anomaly detection device.
  • the anomaly detection device can pick up sound even in an environment where it is difficult to pick up sound with a normal microphone.
  • normal microphones for example, microphones with a diaphragm
  • laser microphones do not have diaphragms like normal microphones. Therefore, it is possible to pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • the device that executes the abnormality detection method detects an abnormality in the welded portion based on the inaudible sound included in the sound generated at the welded portion during laser welding, various possible sounds generated around the sound collecting portion can be detected. It becomes less susceptible to hearing sounds, that is, sounds that become noise.
  • the anomaly detection method is executed when the non-audible sound changes (for example, when the sound pressure of the non-audible sound changes). The device can capture that change. Therefore, the device that executes the abnormality detection method can improve the detection accuracy of the abnormality of the welded portion.
  • the device that executes the anomaly detection method detects an anomaly in the welded portion based on a reduction in the sound pressure of the inaudible sound contained in the sound generated in the welded portion during laser welding. It becomes less susceptible to various audible sounds that occur, that is, sounds that become noise. In addition, since the band of inaudible sound is less susceptible to sound that becomes noise, when the sound pressure of the inaudible sound decreases, the device that executes the anomaly detection method can detect changes in the decrease in sound pressure. can be done. Moreover, it is assumed that the sound pressure of the inaudible sound contained in the sound generated at the welded portion tends to decrease when an abnormality occurs at the welded portion. Therefore, the device that executes the abnormality detection method can improve the detection accuracy of the abnormality of the welded portion.
  • the device that executes the anomaly detection method can pick up sound even in an environment where it is difficult to pick up sound with a normal microphone.
  • normal microphones for example, microphones with a diaphragm
  • laser microphones do not have diaphragms like normal microphones. Therefore, it is possible to pick up sound even in environments such as electromagnetic waves, high temperature, high heat, or metal pieces.
  • the anomaly detection device and anomaly detection method of the present disclosure can be used in environments where it is difficult to pick up sound with a normal microphone by picking up sound using a laser microphone. can pick up Therefore, the anomaly detection device and anomaly detection method of the present disclosure can be applied to objects that are difficult to visually determine an anomaly.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

異常検知装置（１０）は、レーザ溶接時に溶接部分（３ｃ）で発生する音であって、収音部（１６）により収音された音（４）を取得する収音部（１６）と、収音部（１６）により取得された音（４）に含まれる非可聴音の変化に基づいて、溶接部分（３ｃ）の異常を検知する検知部（１２ｂ）と、を備える。

Description

異常検知装置、異常検知方法、及び、プログラム
　本開示は、異常検知装置、異常検知方法、及び、プログラムに関する。
　例えば、特許文献１には、レーザ溶接時に溶接部分で発生する音（以下、溶接音ともいう）に含まれる可聴音の信号レベル（言い換えると、音圧）に基づいて、溶接部分の溶接状態の正常又は不良（以下、異常ともいう）を検出する技術が開示されている。
特開平０５－０６６２０２号公報
　しかしながら、特許文献１に記載の技術では、溶接音に含まれる可聴音に基づいて溶接部分の異常を検出しているため、ノイズの影響を受けやすく、検知できない異常がある。
　そこで、本開示は、溶接部分の異常の検知精度を向上することができる異常検知装置、異常検知方法、及び、プログラムを提供する。
　本開示の一態様に係る異常検知装置は、レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する取得部と、前記取得部により取得された前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知する検知部と、を備える。
　本開示によれば、溶接部分の異常の検知精度を向上することができる異常検知装置、異常検知方法、及び、プログラムを提供することができる。
図１は、実施の形態における異常検知システムの機能構成の一例を示すブロック図である。 図２は、収音部の構成の一例を示す図である。 図３は、図２に示される計測部の構成の一例を説明するための図である。 図４は、実施の形態における異常検知システムの動作の一例を示すフローチャートである。 図５は、実施の形態における異常検知システムの動作の他の例を示すフローチャートである。 図６は、検知ステップにおける異常検知装置の動作の第１の例を説明するための図である。 図７は、検知ステップにおける異常検知装置の動作の第２の例を説明するための図である。 図８は、機械学習モデルの学習フェーズと、機械学習モデルを用いた推論フェーズとを説明するための図である。 図９は、検知ステップにおける異常検知装置の動作の第３の例を説明するための図である。 図１０は、実施の形態の変形例における異常検知システムの機能構成の一例を示すブロック図である。 図１１は、正常に溶接が行われたときに収音された音の時間波形を示す図である。 図１２は、異常が発生しやすい条件で溶接が行われたときに収音された音の時間波形を示す図である。 図１３は、正常に溶接が行われたときに収音された音のスペクトログラムを示す図である。 図１４は、異常が発生しやすい条件で溶接が行われたときに収音された音のスペクトログラムを示す図である。 図１５は、正常に溶接が行われたときに収音された音の特徴量（音響特徴量）を示す図である。 図１６は、異常が発生しやすい条件で溶接が行われたときに収音された音の特徴量（音響特徴量）を示す図である。
　（本開示の概要）
　本開示の一態様に係る異常検知装置は、レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する取得部と、前記取得部により取得された前記音に含まれる非可聴音の変化に基づいて、前記溶接部分の異常を検知する検知部と、を備える。
　これにより、異常検知装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音が変化した場合に（例えば、非可聴音の音圧が変化した場合に）、異常検知装置は、その変化を捉えることができる。そのため、異常検知装置は、溶接部分の異常の検知精度を向上することができる。
　本開示の一態様に係る異常検知装置では、前記検知部は、前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知してもよい。
　これにより、異常検知装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音の音圧の減少に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音の音圧が減少した場合に、異常検知装置は、音圧が減少する変化を捉えることができる。また、溶接部分の異常発生時において、溶接部分で発生した音に含まれる非可聴音の音圧が減少する傾向があると想定される。そのため、異常検知装置は、溶接部分の異常の検知精度を向上することができる。
　本開示の一態様に係る異常検知装置は、さらに、前記検知部により前記異常が検知された場合に、ユーザに通知する通知部を備えてもよい。
　これにより、異常検知装置は、溶接部分に異常が発生したことをユーザに通知することができるため、ユーザは溶接部分に異常があるか否かを把握することができる。
　本開示の一態様に係る異常検知装置では、前記収音部は、レーザマイクロフォンであってもよい。
　これにより、異常検知装置は、収音部としてレーザマイクロフォンを使用することにより通常のマイクロフォンを使用する場合よりもより広帯域の音を取得することができるため、得られる情報量が多くなる。そのため、異常検知装置は、より多くの情報に基づいて溶接部分の異常を検知することが可能となる。したがって、異常検知装置は、より多くの特徴量の抽出が可能となるため、溶接部分の異常の検知精度を向上することができる。また、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、異常検知装置は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。そのため、異常検知装置は、より多くの環境下での異常検知が可能となる。
　本開示の一態様に係る異常検知装置では、前記非可聴音は、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音であってもよい。
　これにより、異常検知装置は、非可聴音のうち特定の周波数帯域の音を特徴量として抽出することができる。そのため、異常検知装置は、抽出された特徴量に基づいて溶接部分の異常を精度良く検知することができる。
　本開示の一態様に係る異常検知装置では、前記検知部は、さらに、前記音に含まれる可聴音の音圧の増加に基づいて前記異常を検知してもよい。
　これにより、異常検知装置は、音に含まれる非可聴音及び可聴音に基づいてより多くの特徴量を抽出することが可能となる。そのため、異常検知装置は、溶接部分の異常の検知精度を向上することができる。
　本開示の一態様に係る異常検知装置では、前記検知部は、前記取得部により取得された前記音に関する音情報を学習済みの機械学習モデルに入力することにより得られる出力結果に基づいて前記異常を検知してもよい。
　これにより、異常検知装置は、機械学習モデルを用いることにより、音情報から特徴量を自動で抽出することができるため、より簡便に、溶接部分の異常を検知することができる。
　本開示の一態様に係る異常検知装置では、前記音情報は、前記音のスペクトログラムの画像データ、前記音の周波数特性の画像データ、及び、前記音の時系列データの少なくともいずれかを含んでもよい。
　これにより、異常検知装置は、データの特徴量を抽出しやすい音情報を用いることにより、機械学習モデルによるデータの規則性（いわゆる、特徴量）の抽出を容易にすることができる。
　本開示の一態様に係る異常検知装置では、前記時系列データは、前記音の時間波形であってもよい。
　これにより、異常検知装置は、上記音の時系列データとして音の時間波形を用いることにより、機械学習モデルによる音量（言い換えると、音圧）の増減に関する特徴量の抽出を容易にすることができる。
　本開示の一態様に係る異常検知装置では、前記出力結果は、前記溶接部分の異常の有無、又は、異常度であってもよい。
　これにより、異常検知装置は、溶接部分の異常の有無、又は、異常度に基づいて溶接部分の異常を検知することができる。
　本開示の一態様に係る異常検知装置では、前記音は、前記溶接部分にレーザを照射したときに前記溶接部分で発生する音であり、前記溶接部分に不純物が付着している場合に発生する音を含んでもよい。
　これにより、異常検知装置は、音に基づいて溶接部分の異常を検知することができる。
　本開示の一態様に係る異常検知装置では、前記異常は、前記溶接部分におけるスパッタの発生及びクラックの発生の少なくともいずれかであってもよい。
　これにより、異常検知装置は、溶接部分の表面の異常を検知するだけでなく、溶接対象の内部又は裏面で発生する異常も検知することができる。
　また、本開示の一態様に係る異常検知装置は、レーザ溶接時に溶接部分で発生する音を収音するレーザマイクロフォンと、前記レーザマイクロフォンにより収音された前記音に基づいて、前記溶接部分の異常を検知する検知部と、を備える。
　これにより、異常検知装置は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。例えば、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、レーザマイクロフォンは、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　また、本開示の一態様に係る異常検知方法は、レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する収音ステップと、前記収音ステップで取得された前記音に含まれる非可聴音の変化に基づいて、前記溶接部分の異常を検知する検知ステップと、を含む。
　これにより、異常検知方法を実行する装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音が変化した場合に（例えば、非可聴音の音圧が変化した場合に）、異常検知方法を実行する装置は、その変化を捉えることができる。そのため、異常検知方法を実行する装置は、溶接部分の異常の検知精度を向上することができる。
　本開示の一態様に係る異常検知方法は、前記検知ステップでは、前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知してもよい。
　これにより、異常検知方法を実行する装置は、レーザ溶接時に溶接部分３ｃで発生する音４に含まれる非可聴音の音圧の減少に基づいて溶接部分３ｃの異常を検知するため、収音部１６の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音の音圧が減少した場合に、異常検知方法を実行する装置は、音圧が減少する変化を捉えることができる。また、溶接部分の異常発生時において、溶接部分で発生した音に含まれる非可聴音の音圧が減少する傾向があると想定される。そのため、異常検知方法を実行する装置は、溶接部分３ｃの異常の検知精度を向上することができる。
　また、本開示の一態様に係る異常検知方法は、レーザ溶接時に溶接部分で発生する音を収音するレーザマイクロフォンにより前記音を収音する収音ステップと、前記レーザマイクロフォンにより収音された前記音に基づいて、前記溶接部分の異常を検知する検知ステップと、を含む。
　これにより、異常検知方法は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。例えば、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、レーザマイクロフォンは、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　また、本開示の一態様に係るプログラムは、上記のいずれかの異常検知方法をコンピュータに実行させるためのプログラムである。
　これにより、コンピュータを用いて、上記のいずれかの異常検知方法と同様の効果を奏することができる。
　なお、これらの包括的又は具体的な態様は、システム、方法、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　ｍｅｍｏｒｙ）などの記録媒体で実現されてもよく、システム、方法、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、本開示の実施の形態について図面を参照しながら具体的に説明する。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化される場合がある。
　また、本開示において、平行及び垂直などの要素間の関係性を示す用語、及び、矩形などの要素の形状を示す用語、並びに、数値は、厳格な意味のみを表すのではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する。
　（実施の形態）
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　［１．構成］
　図１は、実施の形態における異常検知システム１００の機能構成の一例を示すブロック図である。異常検知システム１００は、例えば、レーザ溶接時に溶接部分で発生する音であって、収音された音を取得し、取得された音から溶接部分の異常を検知するシステムである。例えば、異常検知システム１００は、取得された音に含まれる非可聴音の変化に基づいて溶接部分の異常を検知する。より具体的には、異常検知システム１００は、非可聴音の音圧の減少に基づいて溶接部分の異常を検知してもよいし、非可聴音の音圧の減少に加えて、取得された音に含まれる可聴音の音圧の増加に基づいて溶接部分の異常を検知してもよい。また、異常検知システム１００は、異常が検知された場合にユーザにその旨を通知してもよい。
　非可聴音とは、人間の耳では検知できない（言い換えると、人間の耳で聴き取れない）周波数帯域の音であり、具体的には、２０ｋＨｚ以上の周波数帯域（いわゆる、超音波帯域）の音であり、中でも、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音である。
　可聴音とは、人間の耳で検知できる（言い換えると、人間の耳で聴き取れる）周波数帯域の音であり、具体的には、２０Ｈｚ以上２０ｋＨｚ未満の周波数帯域の音である。
　異常検知システム１００は、例えば、異常検知装置１０と、情報端末２０とを備える。以下、各構成について説明する。
　［異常検知装置１０］
　実施の形態に係る異常検知装置１０は、レーザ溶接で溶接される溶接部分で発生する音に含まれる非可聴音の変化に基づいて、溶接部分の異常を検知する。例えば、異常検知装置１０は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音の音圧の減少に基づいて、溶接部分の異常を検知する。異常検知装置１０は、さらに、溶接部分で発生する音に含まれる可聴音の音圧の増加に基づいて、溶接部分の異常を検知してもよい。つまり、異常検知装置１０は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音の音圧の減少と、可聴音の音圧の増加とに基づいて、溶接部分の異常を検知してもよい。これにより、可聴音から非可聴音に亘る広い帯域の音をセンシングするため、溶接部分の異常の検知精度が向上される。
　異常検知装置１０は、例えば、通信部１１と、情報処理部１２と、記憶部１３と、学習部１４と、収音部１６と、通知部１７と、を備える。以下、各構成について説明する。
　［通信部１１］
　通信部１１は、異常検知装置１０が情報端末２０と通信を行うための通信回路（または、通信モジュール）である。通信部１１は、局所通信ネットワークを介して通信を行うための通信回路（または、通信モジュール）を備えるが、広域通信ネットワークを介して通信を行うための通信回路（または、通信モジュール）を備えてもよい。通信部１１は、例えば、無線通信を行う無線通信であるが、有線通信を行う有線通信回路であってもよい。なお、通信部１１が行う通信の通信規格については特に限定されない。
　［情報処理部１２］
　情報処理部１２は、収音部１６により収音された音を取得し、取得された音に関する音情報に基づいて溶接部分の異常検知に関する各種情報処理を行う。情報処理部１２は、具体的には、取得部１２ａと、検知部１２ｂとを備える。取得部１２ａ及び検知部１２ｂの機能は、情報処理部１２を構成するプロセッサ又はマイクロコンピュータが記憶部１３に記憶されたコンピュータプログラムを実行することによって実現される。
　［取得部１２ａ］
　取得部１２ａは、収音部１６により収音された音（以下、溶接音ともいう）を取得する。溶接音は、レーザ溶接時に溶接部分で発生する音である。
　［検知部１２ｂ］
　検知部１２ｂは、取得部１２ａにより取得された音に含まれる非可聴音の変化に基づいて溶接部分の異常を検知する。例えば、検知部１２ｂは、収音部１６により収音された音に含まれる非可聴音の音圧の減少に基づいて溶接部分の異常を検知してもよいし、収音された音に含まれる非可聴音の音圧の減少及び可聴音の音圧の増加に基づいて溶接部分の異常を検知してもよい。このとき、検知部１２ｂは、収音部１６により収音された音に関する音情報を学習済みの機械学習モデル１５に入力することにより得られる出力結果に基づいて溶接部分の異常を検知してもよい。音情報は、例えば、音のスペクトログラムの画像データ、音の周波数特性の画像データ、及び、音の時系列データの少なくともいずれかを含んでもよい。音の時系列データは、音の時系列の数値データであってもよいし、音の時間波形であってもよい。なお、検知部１２ｂの動作（いわゆる、検知処理）の詳細については、［２．動作］の項にて後述される。
　［記憶部１３］
　記憶部１３は、情報処理部１２が実行するための専用のアプリケーションプログラムなどが記憶される記憶装置である。記憶部１３は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）によって実現されるが、半導体メモリによって実現されてもよい。記憶部１３には、学習済みの機械学習モデル１５が格納されてもよい。この場合、機械学習モデル１５は、溶接部分の異常の検知処理に使用される。
　［機械学習モデル１５］
　機械学習モデル１５は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいが、これに限定されない。例えば、機械学習モデル１５は、全結合型ニューラルネットワークであってもよい。また、音情報が時系列の数値データ（例えば、音のスペクトログラム又は周波数特性の時系列数値データ）である場合、機械学習モデル１５は、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）モデルであってもよい。つまり、機械学習モデル１５は、入力データの形式によって適宜選定されてもよい。機械学習モデル１５は、学習部１４による学習により得られる。機械学習モデル１５は、例えば、レーザ溶接時に溶接部分で発生する音（いわゆる、溶接音）と溶接部分の異常の有無との関係を学習することにより構築されてもよい。溶接音は、人間の耳で検知できない非可聴音及び人間の耳で検知できる可聴音を含んでいる。
　［学習部１４］
　学習部１４は、機械学習モデルの学習を行う。例えば、学習部１４は、教師学習を行ってもよい。この場合、学習部１４は、教師データを用いて機械学習モデルの学習を行ってもよいし、教師データを用いずに機械学習モデルの学習を行ってもよい。例えば、学習部１４が教師データを用いて機械学習モデルの学習を行う場合、教師データは、レーザ溶接時に溶接部分で発生する音に関する音情報と、溶接部分の異常を示すアノテーションとで構成された第１データと、上記音情報と、溶接部分の異常なし（つまり、正常）を示すアノテーションとで構成された第２データと、を含んでもよい。また、学習部１４が教師データを用いずに機械学習モデルの学習を行う場合、学習に用いられるデータは、レーザ溶接時に溶接部分で発生する音に関する音情報である。
　［収音部１６］
　収音部１６は、レーザ溶接時に溶接部分で発生する音を収音する。収音部１６は、例えば、マイクロフォンであり、より具体的には、レーザマイクロフォンである。図１では、異常検知装置１０は、収音部１６を１つ備える例を示しているが、収音部１６を２つ以上備えてもよい。異常検知装置１０が２つ以上の収音部１６を備える場合、各収音部１６は異なる溶接部分で発生する音を収音してもよい。収音部１６は、収音した音を電気信号に変換して、電気信号を情報処理部１２へ出力する。ここで、図２及び図３を参照しながら、収音部１６の構成について説明する。図２は、収音部１６の構成の一例を示す図である。図２に示される収音部１６は、レーザマイクロフォンである。図３は、図２に示される計測部１６１の構成の一例を説明するための図である。
　図２に示されるように、収音部１６は、例えば、計測部１６１と、枠体部１６２と、演算部１６３と、を備える。以下、各構成について説明する。
　枠体部１６２は、音が通過する所定空間を音の進行方向と交差するように囲む少なくとも１つの反射部材で構成されている。収音部１６は、所定空間においてＹ軸正方向からＺＸ平面に向かって進行する音を計測する。音の進行方向と交差するように所定空間を囲むとは、所定空間を完全に囲むのではなく、少なくとも１つの反射部材で所定空間の一部を囲むことも含まれる。また、一対の反射部材が平行に配置される場合は、一対の反射部材で所定空間を挟むことも含まれる。
　枠体部１６２は、例えば、２つの反射部材１６２ａ、１６２ｂから構成されており、２つの反射部材１６２ａ、１６２ｂは、それぞれ離間して配置されている。この場合、枠体部１６２は、２つの反射部材１６２ａ、１６２ｂの間に少なくとも１つの隙間を有するとよい。少なくとも１つの隙間は、例えば、レーザ光を所定空間内に入射させるための隙間（以下、入射口ともいう）、及び、レーザ光の反射角度を調整して入射口に戻すための隙間（以下、角度調整口ともいう）である。枠体部１６２は、角度調整口内又は角度調整口の外側（Ｚ軸負側）に角度調整用反射部材１６２ｃを備えてもよい。角度調整用反射部材１６２ｃは、反射面１６２１ｃを有し、反射面１６２１ｃが所定空間に向けられるように配置されている。角度調整用反射部材１６２ｃは、例えば、２つの反射部材１６２ａ、１６２ｂに固定された支持軸（不図示）に回動可能に取り付けられてもよく、圧電体によって傾動可能に支持されてもよい。これにより、角度調整用反射部材１６２ｃは、反射面１６２１ｃに対するレーザ光の反射角度を調整することができるため、レーザ光を精度良く計測部１６１に戻すことが可能となる。
　枠体部１６２の形状は、音の進行方向から見た場合に、三角形状、四角形状、五角形状、六角形状、円形状、又は、楕円形状であってもよい。ここでは、枠体部１６２の形状は、四角形状である。
　枠体部１６２の大きさは、設計に応じて適宜設定されてもよく、例えば、幅（Ｘ軸方向の長さ）及び高さ（Ｚ軸方向の長さ）がそれぞれ１３０ｍｍ、奥行き（Ｙ軸方向の長さ）が２０ｍｍであってもよい。
　２つの反射部材１６２ａ、１６２ｂは、それぞれ、少なくとも１つの反射面を有する。例えば、２つの反射部材１６２ａ、１６２ｂは、それぞれ、複数の反射面１６２１ａ、１６２１ｂを有し、複数の反射面１６２１ａ、１６２１ｂが所定空間に向けられるように配置されている。より具体的には、２つの反射面１６２１ａ、１６２１ｂは、所定空間を音の進行方向（すなわち、Ｙ軸方向）から見た場合に、所定空間においてレーザ光を交差させて多重反射させるように配置されている。例えば、複数の反射面１６２１ａは、それぞれ平面であり、一連なりで形成されている。さらに、複数の反射面１６２１ａは、所定空間内で複数の反射面１６２１ａのそれぞれの向きが異なっている。複数の反射面１６２１ａは、形状及び面積が異なってもよい。例えば、反射面１６２１ａの形状は、正方形、長方形、又は、台形であってもよく、反射部材１６２ａにおける反射面１６２１ａの配置位置（例えば、角部、及び、端部など）により、面積が異なってもよい。なお、複数の反射面１６２１ａは、一連なりで形成されているが、一連なりで形成されなくてもよい。また、複数の反射面１６２１ａが一連なりで形成されない場合、複数の反射面１６２１ａとなる複数の面上に反射板を貼り付けることにより、反射部材１６２ａを作製してもよい。なお、複数の反射面１６２１ｂについても複数の反射面１６２１ａと同様である。
　計測部１６１は、レーザ光を所定空間に出射し、反射部材１６２ａ、１６２ｂで囲まれた所定空間内で反射されて計測部１６１に戻ってきたレーザ光（以下、反射光ともいう）の位相変動に基づいて所定空間内の音圧を計測する。計測部１６１は、例えば、レーザドップラ振動計、又は、フォトダイオードである。計測部１６１がレーザドップラ振動計である場合、計測部１６１は、例えば、図３に示される構成を有する。
　図３に示されるように、計測部１６１は、レーザ光を出射するレーザ光源１１１を有し、レーザ光源１１１から出力されたレーザ光は、第１ビームスプリッタ１１２ａにより２方向に分光される。この２方向に分光された一方のレーザ光Ｌ１（いわゆる、出射光）は、第２ビームスプリッタ１１２ｂを経て、出射される。一方、第１ビームスプリッタ１１２ａで分光された他方のレーザ光Ｌ２は、ミラー１１３で光軸を調整され、ＡＯＭ（Ａｃｏｕｓｔ－Ｏｐｔｉｃ　Ｍｏｄｕｌａｔｏｒ）ドライバ１１４ａによって駆動されるＡＯＭ１１４ｂに入射し、ＡＯＭ１１４ｂからレーザ光の周波数をシフトした基準光が出力される。基準光は、第３ビームスプリッタ１１２ｃを通り、受光部１１５（例えば、フォトディテクタ）に照射されるように光学的に調整されている。また、所定空間で反射して戻ってきたレーザ光Ｌ３（いわゆる、反射光）は、第２ビームスプリッタ１１２ｂ、及び、第３ビームスプリッタ１１２ｃを介して受光部１１５に照射され、基準光と重ね合わされて干渉光になり受光部１１５で受光される。計測部１６１は、この重ね干渉により生じるレーザ光の位相変動を検出回路１１６で検出し、アナログ信号として演算部１６３へ出力する。
　演算部１６３は、計測部１６１から出力された信号に基づいて、所定空間内における音圧を算出する。例えば、演算部１６３は、周波数分析装置であってもよい。
　なお、計測部１６１がレーザ光源１１１と受光部１１５とを１つの筐体内に備える例としてレーザドップラ振動計である例を説明したが、これに限られない。また、計測部１６１は、レーザ光源１１１と、受光部１１５とをそれぞれ別の筐体内に備えてもよい。また、レーザ光源１１１及び受光部１１５に限らず、第１ビームスプリッタ１１２ａ、第２ビームスプリッタ１１２ｂ、第３ビームスプリッタ１１２ｃ、ＡＯＭ１１４ｂ及びミラー１１３等も１つの筐体に含まれていなくてもよい。
　なお、レーザ光源１１１は、例えば、Ｈｅ－Ｎｅレーザ発信器であってもよく、レーザダイオードであってもよい。
　［通知部１７］
　再び図１を参照する。通知部１７は、例えば、検知部１２ｂにより溶接部分の異常が検知された場合に、ユーザに通知情報を通知する。通知情報は、例えば、溶接部分の異常に関する情報である。溶接部分の異常に関する情報は、溶接部分の異常の有無を示す情報、溶接部分の異常度を示す情報、及び、溶接部分の異常の種類（例えば、スパッタの発生又はクラックの発生など）に関する情報の少なくともいずれかを含んでもよい。異常度とは、異常の度合いを示す統計量であり、具体的には、溶接部分に異常が発生しているか否かの可能性を数値で表した値である。
　［情報端末２０］
　情報端末２０は、異常検知装置１０のユーザが使用するノートパソコン、スマートフォン、又は、タブレット端末などの携帯型の情報端末であるが、据え置き型のコンピュータ装置であってもよい。情報端末２０は、通信部２１と、制御部２２と、記憶部２３と、受付部２４と、提示部２５とを備える。
　［通信部２１］
　通信部２１は、情報端末２０が異常検知装置１０と局所通信ネットワークを介して接続するための通信回路（または、通信モジュール）であるが、広域通信ネットワークを介して接続するための通信回路（または、通信モジュール）であってもよい。通信部２１によって行われる通信は、無線通信であるが、有線通信であってもよい。通信部２１によって行われる通信の通信規格についても特に限定されない。
　［制御部２２］
　制御部２２は、受付部２４により受け付けられた操作入力に基づいて、情報端末２０に関する各種情報処理を行う。制御部２２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
　［記憶部２３］
　記憶部２３は、制御部２２が実行するための専用のアプリケーションプログラムなどが記憶される記憶装置である。記憶部２３は、例えば、半導体メモリなどによって実現される。
　［受付部２４］
　受付部２４は、情報端末２０を使用するユーザによる操作入力を受け付ける入力インタフェースである。例えば、受付部２４は、通知情報の提示方法を異常検知装置１０に送信するために行われるユーザの入力操作を受け付ける。受付部２４は、具体的には、タッチパネルディスプレイなどによって実現される。例えば、受付部２４がタッチパネルディスプレイを搭載している場合は、タッチパネルディスプレイが提示部２５及び受付部２４として機能する。なお、受付部２４は、タッチパネルディスプレイに限らず、例えば、キーボード、ポインティングデバイス（例えばタッチペンもしくはマウス）、又は、ハードウェアボタンなどであってもよい。また、受付部２４は、音声による入力を受け付ける場合、マイクロフォンであってもよい。また、受付部２４は、ジェスチャによる入力を受け付ける場合、カメラであってもよい。
　［提示部２５］
　提示部２５は、異常検知装置１０によって通知された通知情報が提示される。提示部２５は、例えば、文字などを含む画像情報を表示する表示装置である。さらに、提示部２５は、音声情報を出力する音声出力装置を備えてもよい。表示装置は、例えば、液晶（ＬＣ）パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどを表示デバイスとして含むディスプレイである。また、音声出力装置は、例えば、スピーカ又はイヤフォンである。例えば、提示部２５は、画像情報を表示装置に表示してもよく、音声情報を音声出力装置により出力してもよく、画像情報及び音声情報の両方を提示してもよい。
　［２．動作］
　次に、実施の形態における異常検知システム１００の動作について図面を参照しながら具体的に説明する。図４は、実施の形態における異常検知システム１００の動作の一例を示すフローチャートである。
　例えば、情報端末２０の受付部２４が異常検知処理の開始指示の入力操作を受け付けると、情報端末２０の制御部２２は、通信部２１を介して当該指示を異常検知装置１０に出力する（不図示）。
　次に、異常検知装置１０の通信部１１が当該指示を取得すると、情報処理部１２は、収音部１６に溶接部分で発生する音を収音させる（不図示）。
　次に、異常検知装置１０の取得部１２ａは、レーザ溶接時に溶接部分で発生する音であって、収音部１６により収音された音を取得する（Ｓ０１）。より詳細には、取得部１２ａは、収音部１６により収音された音に対応する電気信号を取得する。そして、取得部１２ａは、取得した電気信号を検知部１２ｂに出力する。収音部１６は、例えば、レーザマイクロフォンである。これにより、収音部１６は、通常のマイクロフォンに比べてより広帯域の音を収音することが可能である。また、収音部１６は、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　次に、異常検知装置１０の検知部１２ｂは、ステップＳ０１で取得部１２ａにより取得された音に含まれる非可聴音の変化に基づいて溶接部分の異常を検知する（Ｓ０２）。非可聴音の変化は、例えば、非可聴音の音圧の変化である。例えば、ステップＳ０２では、検知部１２ｂは、取得部１２ａにより取得された音に含まれる非可聴音の音圧の減少に基づいて溶接部分の異常を検知する。より具体的には、ステップＳ０２では、検知部１２ｂは、例えば、当該非可聴音のうち１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音の音圧の減少に基づいて溶接部分の異常を検知する。
　次に、異常検知装置１０の通知部１７は、ステップＳ０２で検知部１２ｂにより溶接部分の異常が検知された場合に、ユーザに通知する（Ｓ０３）。具体的には、通知部１７は、検知部１２ｂにより溶接部分に異常が検知された場合に、ユーザに通知情報を通知する。通知情報については上述したため、ここでの説明を省略する。
　なお、ステップＳ０２では、検知部１２ｂは、溶接部分で発生した音に含まれる非可聴音の音圧の減少に基づいて溶接部分の異常を検知する例を示したが、非可聴音の音圧の減少に加えて、さらに、ステップＳ０１で取得部１２ａにより取得された音に含まれる可聴音の音圧の増加に基づいて溶接部分の異常を検知してもよい。図５は、実施の形態における異常検知システム１００の動作の他の例を示すフローチャートである。図４及び図５では、同様の処理については同じステップ番号を付し、説明を省略又は簡略化する。
　例えば、図５に示されるように、検知部１２ｂは、ステップＳ０１で取得された音に含まれる非可聴音の音圧の減少、及び、取得された音に含まれる可聴音の音圧の増加に基づいて溶接部分の異常を検知する（Ｓ１１）。
　なお、ステップＳ０２及びステップＳ１１（いわゆる、検知ステップ）では、検知部１２ｂは、ステップＳ０１で取得された音に関する音情報から特徴量を抽出し、抽出された特徴量に対して閾値処理を行うことにより、溶接部分の異常の有無を検知してもよい。
　［検知ステップにおける動作］
　以下、検知ステップにおける異常検知装置１０の動作例について説明する。
　［第１の例］
　図６は、検知ステップにおける異常検知装置１０の動作の第１の例を説明するための図である。図６に示されるように、レーザ溶接において、レーザ溶接装置（不図示）は、レーザスキャナ１から出射されたレーザ光２を溶接対象３の溶接部分３ｃに照射する。例えば、溶接対象３は、２枚の金属板材である。溶接対象３は、表面３ａ側にレーザ光２が照射される。音４は、溶接部分３ｃにレーザ光２を照射したときに溶接部分３ｃで発生する音であり、例えば溶接部分３ｃに不純物が付着している場合にレーザ光２が照射されたときに溶接部分３ｃで発生する音を含む。溶接部分３ｃの異常は、例えば、溶接部分３ｃの表面３ａに不純物が付着している場合に発生する。溶接部分３ｃの異常は、溶接部分３ｃの表面３ａにおけるスパッタの発生、及び、溶接部分３ｃの裏面３ｂにおけるクラックの発生である。
　収音部１６（例えば、レーザマイクロフォン）は、レーザ溶接時に溶接部分３ｃで発生する音４を収音する。例えば、収音部１６（レーザマイクロフォン）は、レーザ溶接時に溶接部分３ｃで発生した音（より具体的には、溶接部分３ｃから球面状に伝播する音）のうちの一部の音（より具体的には、収音部１６（レーザマイクロフォン）の方向に伝播する音）を収音するが、全ての音を収音してもよい。異常検知装置１０の検知部１２ｂは、取得部１２ａによって収音された音に関する音情報から特徴量を抽出する。具体的には、検知部１２ｂは、収音された音に含まれる非可聴音（例えば、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音）の音圧と、可聴音（例えば、１ｋＨｚ以上２０ｋＨｚ未満の周波数帯域の音）の音圧とを抽出する。検知部１２ｂは、閾値処理により非可聴音の音圧の減少及び可聴音の音圧の増加を判定する。検知部１２ｂは、判定された非可聴音の音圧の減少及び可聴音の音圧の増加に基づいて溶接部分３ｃの異常の有無（正常又は異常）を検知する。
　なお、この例では、異常検出装置１０は、１つの収音部１６を備えるが、特に限定されることはなく、２つ以上の収音部１６を備えてもよい。この場合、例えば、異常検出装置１０は、２以上の収音部１６を用いて、溶接時に溶接部分３ｃで発生した音のうち全ての音を収音してもよいし、一部の音（より具体的には、２つ以上の収音部１６それぞれの方向に伝播する音）を収音してもよい。
　［第２の例］
　続いて、検知ステップにおける異常検知装置１０の動作の第２の例について説明する。図７は、検知ステップにおける異常検知装置１０の動作の第２の例を説明するための図である。
　動作の第１の例では、検知部１２ｂは、閾値処理により溶接部分３ｃの異常の有無を検知したが、動作の第２の例では、検知部１２ｂは、学習済みの機械学習モデル１５を用いて溶接部分３ｃの異常の有無を検知する。以下、第１の例と異なる点を中心に説明し、重複する内容については説明を省略又は簡略化する。
　異常検知装置１０の検知部１２ｂは、取得部１２ａにより取得された音に関する音情報を機械学習モデル１５に入力することにより得られる出力結果に基づいて溶接部分３ｃの異常を検知する。機械学習モデル１５は、レーザ溶接時に溶接部分３ｃで発生する音（いわゆる、溶接音）と溶接部分３ｃに異常が発生しているか否かとの関係性を示す。機械学習モデル１５は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）であるが、これに限られない。第２の例では、機械学習モデル１５による分類を行う。出力結果は、例えば、溶接部分３ｃの異常の有無である。
　学習済みの機械学習モデル１５に入力される音情報は、例えば、溶接音のスペクトログラムの画像データ、又は、周波数特性の画像データである。当該情報は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）又はＢＭＰ（Ｂａｓｉｃ　Ｍｕｌｔｉｌｉｎｇｕａｌ　Ｐｌａｎｅ）などの形式の画像データである。
　ここで、機械学習モデル１５の学習及び学習済みの機械学習モデル１５の利用について説明する。図８は、機械学習モデル１５の学習フェーズと、機械学習モデル１５を用いた利用フェーズ（推論フェーズともいう）とを説明するための図である。
　学習フェーズでは、異常検知装置１０の学習部１４は、例えば、教師データを用いて機械学習モデルの学習を行う。記憶部１３には教師データが記憶されている。教師データは、例えば、レーザ溶接時に溶接部分３ｃで発生する音に関する音情報と、溶接部分３ｃの異常を示すアノテーションとで構成された第１データと、上記音情報と、溶接部分３ｃの異常なし（つまり、正常）を示すアノテーションとで構成された第２データと、を含んでもよい。
　推論フェーズでは、異常検知装置１０の検知部１２ｂは、収音部１６により収音された音に関する音情報（例えば、収音された音のスペクトログラムの画像又は周波数特性の画像）を学習済みの機械学習モデル１５（いわゆる、学習済みモデル）に入力する。そして、検知部１２ｂは、機械学習モデル１５から出力された出力結果に基づいて推論処理を行い、推論処理の出力結果（例えば、異常の有無）に基づいて溶接部分３ｃの異常を検知する。
　［第３の例］
　続いて、検知ステップにおける異常検知装置１０の動作の第３の例について説明する。図９は、検知ステップにおける異常検知装置１０の動作の第３の例を説明するための図である。
　動作の第２の例では、学習済みの機械学習モデル１５を用いて溶接部分３ｃの異常の有無を検知したが、動作の第３の例では、学習済みの機械学習モデル１５を用いて溶接部分３ｃの異常度に基づいて溶接部分３ｃの異常を検知する。以下、第２の例と異なる点を中心に説明し、重複する内容については説明を省略又は簡略化する。
　異常検知装置１０の検知部１２ｂは、取得部１２ａにより取得された音に関する音情報を機械学習モデル１５に入力することにより得られる出力結果に基づいて溶接部分３ｃの異常を検知する。機械学習モデル１５は、レーザ溶接時に溶接部分３ｃで発生する音（いわゆる、溶接音）と溶接部分３ｃに異常が発生しているか否かとの関係性を示す。機械学習モデル１５は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）であるが、これに限られない。第３の例では、機械学習モデル１５による回帰を行う。出力結果は、例えば、溶接部分３ｃの異常度である。なお、異常度とは、異常の度合いを示す統計量であり、具体的には、溶接部分に異常が発生しているか否かの可能性を数値で表した値である。
　学習済みの機械学習モデル１５に入力される音情報は、例えば、溶接音の時系列データである。当該時系列データは、例えば、音の時間波形であり、より具体的には、ＷＡＶ（Ｗａｖｅｆｏｒｍ　Ａｕｄｉｏ　Ｆｉｌｅ　Ｆｏｒｍａｔ）などの形式の時系列の数値データである当該情報は、例えば、音の周波数帯域と、音の継続時間、音圧及び波形のうちの少なくとも１つと、を含んでもよい。
　ここで、機械学習モデル１５の学習及び学習済みの機械学習モデル１５の利用について図８を再び参照しながら説明する。
　学習フェーズでは、異常検知装置１０の学習部１４は、例えば、正常な溶接音の波形又はスペクトログラムを入力データとして機械学習モデルの学習を行う。記憶部１３には正常な溶接音の波形又はスペクトログラムが記憶されている。機械学習モデル１５は、例えば、オートエンコーダである。
　推論フェーズでは、異常検知装置１０の検知部１２ｂは、レーザ溶接時に収音部１６により収音された音であって、取得部１２ａにより取得された音に関する音情報（例えば、当該音の波形又はスペクトログラム）を学習済みの機械学習モデル１５（いわゆる、学習済みモデル）に入力する。そして、検知部１２ｂは、機械学習モデル１５から出力された出力結果（例えば、オートエンコーダにより符号化され復号された音情報）に基づいて推論処理を行い、推論処理の出力結果（例えば、異常度）に基づいて溶接部分３ｃの異常を検知する。
　［３．効果等］
　以上説明したように、実施の形態に係る異常検知装置１０は、レーザ溶接時に溶接部分３ｃで発生する音であって、収音部１６により収音された音４を取得する取得部１２ａと、取得部１２ａにより取得された音４に含まれる非可聴音の変化に基づいて、溶接部分３ｃの異常を検知する検知部１２ｂと、を備える。
　これにより、異常検知装置１０は、レーザ溶接時に溶接部分３ｃで発生する音４に含まれる非可聴音に基づいて溶接部分３ｃの異常を検知するため、収音部１６の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音が変化した場合に（例えば、非可聴音の音圧が変化した場合に）、異常検知装置１０は、その変化を捉えることができる。そのため、異常検知装置１０は、溶接部分３ｃの異常の検知精度を向上することができる。
　本開示の一態様に係る異常検知装置１０では、検知部１２ｂは、音４に含まれる非可聴音の音圧の減少に基づいて、溶接部分３ｃの異常を検知してもよい。
　これにより、異常検知装置１０は、レーザ溶接時に溶接部分３ｃで発生する音４に含まれる非可聴音の音圧の減少に基づいて溶接部分３ｃの異常を検知するため、収音部１６の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音の音圧が減少した場合に、異常検知装置は、音圧が減少する変化を捉えることができる。また、溶接部分３ｃの異常発生時において、溶接部分３ｃで発生した音４に含まれる非可聴音の音圧が減少する傾向があると想定される。そのため、異常検知装置１０は、溶接部分３ｃの異常の検知精度を向上することができる。
　実施の形態に係る異常検知装置１０は、さらに、検知部１２ｂにより溶接部分３ｃの異常が検知された場合に、ユーザに通知する通知部１７を備えてもよい。
　これにより、異常検知装置１０は、溶接部分３ｃに異常が発生したことをユーザに通知することができるため、ユーザは溶接部分３ｃに異常があるか否かを把握することができる。
　実施の形態に係る異常検知装置１０では、収音部１６は、レーザマイクロフォンであってもよい。
　これにより、異常検知装置１０は、収音部１６としてレーザマイクロフォンを使用することにより通常のマイクロフォンを使用する場合よりもより広帯域の音を取得することができるため、得られる情報量が多くなる。そのため、異常検知装置１０は、より多くの情報に基づいて溶接部分の異常を検知することが可能となる。したがって、異常検知装置１０は、より多くの特徴量の抽出が可能となるため、溶接部分３ｃの異常の検知精度を向上することができる。また、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、異常検知装置１０は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。そのため、異常検知装置１０は、より多くの環境下での異常検知が可能となる。
　実施の形態に係る異常検知装置１０では、非可聴音は、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音であってもよい。
　これにより、異常検知装置１０は、非可聴音のうち特定の周波数帯域の音を特徴量として抽出することができる。そのため、異常検知装置１０は、抽出された特徴量に基づいて溶接部分３ｃの異常を精度良く検知することができる。
　実施の形態に係る異常検知装置１０では、検知部１２ｂは、さらに、音４に含まれる可聴音の音圧の増加に基づいて溶接部分３ｃの異常を検知してもよい。
　これにより、異常検知装置１０は、音４に含まれる非可聴音及び可聴音に基づいてより多くの特徴量を抽出することが可能となる。そのため、異常検知装置１０は、溶接部分３ｃの異常の検知精度を向上することができる。
　実施の形態に係る異常検知装置１０では、検知部１２ｂは、取得部１２ａにより取得された音４に関する音情報を学習済みの機械学習モデル１５に入力することにより得られる出力結果に基づいて溶接部分３ｃの異常を検知してもよい。
　これにより、異常検知装置１０は、機械学習モデル１５を用いることにより、音情報から特徴量を自動で抽出することができるため、より簡便に、溶接部分３ｃの異常を検知することができる。
　実施の形態に係る異常検知装置１０では、音情報は、音４のスペクトログラムの画像データ、音４の周波数特性の画像データ、及び、音４の時系列データの少なくともいずれかを含んでもよい。
　これにより、異常検知装置１０は、データの特徴量を抽出しやすい音情報を用いることにより、機械学習モデル１５によるデータの規則性（いわゆる、特徴量）の抽出を容易にすることができる。
　実施の形態に係る異常検知装置１０では、音４の時系列データは、音４の時間波形であってもよい。
　これにより、異常検知装置１０は、上記音４の時系列データとして音４の時間波形を用いることにより、機械学習モデル１５による音量（つまり、音圧）の増減に関する特徴量の抽出を容易にすることができる。
　実施の形態に係る異常検知装置１０では、出力結果は、溶接部分３ｃの異常の有無、又は、異常度であってもよい。
　これにより、異常検知装置１０は、溶接部分３ｃの異常の有無、又は、異常度に基づいて溶接部分３ｃの異常を検知することができる。
　実施の形態に係る異常検知装置１０では、音４は、溶接部分３ｃにレーザ光を照射したときに溶接部分３ｃで発生する音であり、溶接部分３ｃに不純物が付着している場合に発生する音を含んでもよい。
　これにより、異常検知装置１０は、音４に基づいて溶接部分３ｃの異常を検知することができる。
　実施の形態に係る異常検知装置１０では、溶接部分３ｃの異常は、溶接部分３ｃにおけるスパッタの発生及びクラックの発生の少なくともいずれかであってもよい。
　これにより、異常検知装置１０は、溶接部分３ｃの表面３ａの異常を検知するだけでなく、溶接対象３の内部又は裏面３ｂで発生する異常も検知することができる。
　また、実施の形態に係る異常検知装置１０は、レーザ溶接時に溶接部分で発生する音４を収音するレーザマイクロフォンと、レーザマイクロフォンにより収音された音４に基づいて、溶接部分３ｃの異常を検知する検知部１２ｂと、を備える。
　これにより、異常検知装置１０は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。例えば、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、レーザマイクロフォンは、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　また、実施の形態に係る異常検知方法は、レーザ溶接時に溶接部分３ｃで発生する音であって、収音部１６により収音された音４を取得する収音ステップ（Ｓ０１）と、収音ステップ（Ｓ０１）で取得された音４に含まれる非可聴音の変化に基づいて、溶接部分３ｃの異常を検知する検知ステップ（Ｓ０２）と、を含む。
　これにより、異常検知方法を実行する装置は、レーザ溶接時に溶接部分３ｃで発生する音４に含まれる非可聴音に基づいて溶接部分３ｃの異常を検知するため、収音部１６の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音が変化した場合に（例えば、非可聴音の音圧が変化した場合に）、異常検知方法を実行する装置は、その変化を捉えることができる。そのため、異常検知方法を実行する装置は、溶接部分３ｃの異常の検知精度を向上することができる。
　実施の形態に係る異常検知方法は、検知ステップ（Ｓ０２）では、音４に含まれる非可聴音の音圧の減少に基づいて、溶接部分３ｃの異常を検知してもよい。
　これにより、異常検知方法を実行する装置は、レーザ溶接時に溶接部分３ｃで発生する音４に含まれる非可聴音の音圧の減少に基づいて溶接部分３ｃの異常を検知するため、収音部１６の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音の音圧が減少した場合に、異常検知方法を実行する装置は、音圧が減少する変化を捉えることができる。また、溶接部分３ｃの異常発生時において、溶接部分３ｃで発生した音３に含まれる非可聴音の音圧が減少する傾向があると想定される。そのため、異常検知方法を実行する装置は、溶接部分３ｃの異常の検知精度を向上することができる。
　また、実施の形態に係る異常検知方法は、レーザ溶接時に溶接部分３ｃで発生する音４を収音するレーザマイクロフォンにより音４を収音する収音ステップと、レーザマイクロフォンにより収音された音４に基づいて、溶接部分３ｃの異常を検知する検知ステップと、を含む。
　これにより、異常検知方法は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。例えば、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、レーザマイクロフォンは、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　（変形例）
　続いて、実施の形態の変形例について、図面を参照しながら具体的に説明する。
　［１．構成］
　図１０は、実施の形態の変形例における異常検知システム１００ａの機能構成の一例を示すブロック図である。図１０では、図１と同じ構成については同じ符号を付している。実施の形態における異常検知システム１００では、異常検知装置１０は、収音部１６を備えていたが、変形例では、異常検知装置１０ａは収音部１６を備えず、異常検知システム１００ａが収音装置３０を備える点で、実施の形態と異なる。以下、実施の形態と異なる点を中心に説明し、重複する内容の説明を簡略化又は省略する。
　［異常検知装置１０ａ］
　変形例に係る異常検知装置１０ａは、収音装置３０で収音された音を取得する。異常検知装置１０ａは、例えば、通信部１１ａと、情報処理部１２と、記憶部１３と、学習部１４と、通知部１７と、を備える。以下、実施の形態に係る異常検知装置１０と異なる構成について説明する。
　［通信部１１ａ］
　通信部１１ａは、異常検知装置１０ａが情報端末２０及び収音装置３０と通信を行うための通信回路（または、通信モジュール）である。通信部１１ａは、局所通信ネットワークを介して通信を行うための通信回路（または、通信モジュール）を備えるが、広域通信ネットワークを介して通信を行うための通信回路（または、通信モジュール）を備えてもよい。通信部１１ａは、例えば、無線通信を行う無線通信であるが、有線通信を行う有線通信回路であってもよい。なお、通信部１１ａが行う通信の通信規格については特に限定されない。
　［収音装置３０］
　収音装置３０は、例えば、通信部３１と、制御部３２と、記憶部３３と、収音部１６とを備える。収音部１６については実施の形態で説明したため、ここでの説明を省略する。
　［通信部３１］
　通信部３１は、収音装置３０が異常検知装置１０ａ及び情報端末２０と通信を行うための通信回路（または、通信モジュール）である。通信部３１は、局所通信ネットワークを介して通信を行うための通信回路（または、通信モジュール）を備えるが、広域通信ネットワークを介して通信を行うための通信回路（または、通信モジュール）を備えてもよい。通信部３１は、例えば、無線通信を行う無線通信であるが、有線通信を行う有線通信回路であってもよい。なお、通信部３１が行う通信の通信規格については特に限定されない。
　［制御部３２］
　制御部３２は、収音装置３０に関する各種情報処理を行う。制御部３２は、具体的には、記憶部３３に記憶された設定情報に基づいて収音部１６に制御信号を送信する。制御部３２は、例えば、マイクロコンピュータ又はプロセッサなどによって実現される。制御部３２の機能は、例えば、制御部３２を構成するマイクロコンピュータ又はプロセッサ等が記憶部３３に記憶されたコンピュータプログラムを実行することによって実現される。
　［２．動作］
　変形例では、収音装置３０が収音部１６により収音された音を電気信号に変換して異常検知装置１０ａに出力する点で、実施の形態と異なる。図４及び図５を再び参照しながら実施の形態と異なる点を中心に説明する。
　例えば、情報端末２０の受付部２４が異常検知処理の開始指示の入力操作を受け付けると、情報端末２０の制御部２２は、通信部２１を介して当該指示を異常検知装置１０ａに出力する（不図示）。そして、異常検知装置１０ａは、当該指示を取得すると、収音装置３０に収音開始指示を出力する（不図示）。なお、情報端末２０は、当該指示を異常検知装置１０ａに出力するとともに、収音装置３０に収音開始指示を出力してもよい。
　ステップＳ０１では、異常検知装置１０ａの通信部１１ａは、収音装置３０の収音部１６により収音された音（より詳細には、音に対応する電気信号）を取得する。このとき、通信部１１ａは、音に対する電気信号と共に収音装置３０の識別情報を取得してもよい。これにより、異常検知装置１０ａが複数の収音装置３０と通信により接続されている場合に、取得した音を収音した収音装置３０を識別することができる。
　次に、異常検知装置１０ａの検知部１２ｂは、図４のステップＳ０２又は図５のステップＳ１１を行い、溶接部分の異常を検知する。
　次に、異常検知装置１０ａの通知部１７は、ステップＳ０２又はステップＳ１１で検知部１２ｂにより溶接部分の異常が検知された場合に、その旨、ユーザに通知する（Ｓ０３）。
　［３．効果等］
　変形例に係る異常検知装置１０ａは、収音装置３０と別体として構成されるため、設計に応じて、収音装置３０の設置位置及び設置個数を適宜変更可能であり、異常検知装置１０ａを１つの集積回路に実装させることが可能である。
　以下、実施例にて本開示の異常検知装置及び異常検知方法について具体的に説明するが、以下の実施例は一例であって、本開示は以下の実施例のみに何ら限定されるものではない。
　以下の条件で、レーザ溶接時に溶接部分で発生した音を収音し、収音された音に基づいて溶接部分の異常を検知できるか否かを検証した。正常な溶接及び異常な溶接について、（１）音情報が時間波形である場合の検証結果を実施例１及び比較例１に示し、（２）音情報がスペクトログラムである場合の検証結果を実施例２及び比較例２に示す。また、（３）音情報の特徴量（音響特徴量ともいう）に基づく検証結果を実施例３及び比較例３に示す。
　［収音回数］
　正常：１０回
　異常：１０回
　具体的には、上記の「正常」では、正常に溶接が行われたときに溶接部分で発生した音を１０回収音した。また、上記の「異常」では、溶接時に異常が発生するように溶接対象の表面に金属粉末を塗布し、異常が発生しやすい条件で溶接が行われたときに溶接部分で発生した音を１０回収音した。
　［マイクロフォン］
　レーザマイクロフォン（Ｘａｒｉｏｎ社製、１チャンネル、１０ｋＨｚから１ＭＨｚまでの周波数帯域の音を収音）
　［溶接部分からマイクロフォンまでの距離］
　５ｃｍ
　（１）音情報が時間波形である場合
　［実施例１］
　図１１は、正常に溶接が行われたときに収音された音の時間波形を示す図である。図１１に示されるように、正常に溶接が行われたときの溶接音の時間波形には、振幅が増大する箇所は見られなかった。したがって、溶接時に異常が発生しない場合（つまり、正常に溶接を行った場合）、溶接部分で発生する音の大きさ（音圧）は増加しないことが確認された。
　［比較例１］
　図１２は、異常が発生しやすい条件で溶接が行われたときに収音された音の時間波形を示す図である。図１２に示されるように、異常が発生しやすい条件で溶接が行われたときの音の時間波形では、振幅が増大する箇所（実線で囲んだ箇所）が見られた。したがって、溶接時に異常が発生した場合、溶接部分で発生する音の大きさ（音圧）が増加すると考えられる。
　（２）音情報がスペクトログラムである場合
　［実施例２］
　図１３は、正常に溶接が行われたときに収音された音のスペクトログラムを示す図である。図１３に示されるように、１００ｋＨｚ以下の周波数帯域の音の音圧が大きいため、溶接時に溶接部分で１００ｋＨｚ以下の周波数帯域の音が発生することが確認された。また、２００ｋＨｚ及び２５０ｋＨｚ付近の周波数帯域の音が断続的に発生していることも確認された。
　［比較例２］
　図１４は、異常が発生しやすい条件で溶接が行われたときに収音された音のスペクトログラムを示す図である。図１４に示されるように、２０ｋＨｚ以下の周波数帯域で音圧レベルが増大している箇所が見られた。一方、実施例２に比べて、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域で音圧レベルが減少している箇所が見られた。この音圧レベルが減少している箇所の時間と２０ｋＨｚ以下の周波数帯域で音圧レベルが増大している箇所の時間とは、概ね同じ時間であった。したがって、溶接時に異常が発生した場合、溶接部分で発生する音のうち２０ｋＨｚ以下の可聴音の音圧は増大し、１００ｋＨｚ以上２００ｋＨｚ以下の非可聴音の音圧が減少する傾向があると考えられる。
　（３）音情報の特徴量
　上記（２）の結果から、（Ａ）１ｋＨｚ以上２０ｋＨｚ以下の周波数帯域の音圧は、溶接時に異常が発生した場合に増大すること、及び、（Ｂ）１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音については、溶接時に異常が発生したときの当該周波数帯域の音の音圧は、正常に溶接が行われたときの当該周波数帯域の音の音圧よりも減少する傾向があることが分かった。
　実施例３及び比較例３では、上記の（Ａ）及び（Ｂ）の時間変動をグラフ化することにより、異常が発生するタイミングを視覚的に確認することができるか否かを検討した。図１５及び図１６では、実線は、上記（Ａ）に対応する（ａ）１ｋＨｚ以上２０ｋＨｚ以下の波形のＲＭＳ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅ）包絡の値を１０倍した値を示し、破線は、上記（Ｂ）に対応する（ｂ）１００ｋＨｚ以上２００ｋＨｚ以下の波形のＲＭＳ包絡と正常溶接時の１００ｋＨｚ以上２００ｋＨｚ以下の波形のＲＭＳ包絡平均との差を２０倍した値を示している。上記（ｂ）の１００ｋＨｚ以上２００ｋＨｚ以下の波形のＲＭＳ包絡と正常溶接時の１００ｋＨｚ以上２００ｋＨｚ以下の波形のＲＭＳ包絡平均との差は、下記の式にて算出される。
Figure JPOXMLDOC01-appb-M000001
　なお、上記式では、ＸｅｎｖＲＭＳは、波形のＲＭＳ包絡を示す。
　［実施例３］
　図１５は、正常に溶接が行われたときに収音された音の特徴量（音響特徴量）を示す図である。図１５に示されるように、（ａ）及び（ｂ）それぞれで、振幅の値が増大及び減少している箇所は見当たらなかった。
　［比較例３］
　図１６は、異常が発生しやすい条件で溶接が行われたときに収音された音の特徴量（音響特徴量）を示す図である。図１６に示されるように、（ａ）のグラフにおいて、１ｋＨｚ以上２０ｋＨｚ以下の包絡の値（振幅）が増大している箇所が見られた。また、（ｂ）のグラフにおいても１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音と正常溶接時の１００ｋＨｚ以上２００ｋＨｚ以下の波形のＲＭＳ包絡平均との値の差が増大している箇所が見られた。したがって、溶接時に異常が発生した場合、溶接部分で発生する音のうち２０ｋＨｚ以下の可聴音の音圧は増大し、１００ｋＨｚ以上２００ｋＨｚ以下の非可聴音の音圧が減少する傾向があると考えられる。
　（考察）
　実施例１～３及び比較例１～３の結果から、溶接部分で発生する音に含まれる非可聴音、特に、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の非可聴音の音圧の減少に基づいて、溶接部分の異常を検知することができることが確認された。また、溶接部分で発生する音に含まれる可聴音、特に、１ｋＨｚ以上２０ｋＨｚ以下の周波数帯域の音圧の増加に基づいて、溶接部分の異常を検知することができることも確認された。したがって、本開示に係る異常検知装置及び異常検知方法によれば、溶接部分で発生する音であって、収音された音に含まれる非可聴音の音圧の減少及び可聴音の音圧の増加に基づいて、溶接部分の異常を精度良く検知することが可能であることが確認された。
　（他の実施の形態）
　以上、本開示の１つ又は複数の態様に係る異常検知装置及び異常検知方法について、上記の実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構成される形態も、本開示の１つ又は複数の態様の範囲内に含まれてもよい。
　例えば、上記実施の形態に係る異常検知装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、異常検知装置は、収音部と、検知部と、出力部と、を有するシステムＬＳＩから構成されてもよい。なお、システムＬＳＩは、収音部を含んでいなくてもよい。
　システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいは、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、本開示の一態様は、このような異常検知装置だけではなく、当該装置に含まれる特徴的な構成部をステップとする異常検知方法であってもよい。また、本開示の一態様は、異常検知方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体であってもよい。
　（付記）
　以下、本明細書の開示内容から得られる技術を例示し、当該技術から得られる効果等について説明する。
　［技術１］
　レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する取得部と、
　前記取得部により取得された前記音に含まれる非可聴音の変化に基づいて、前記溶接部分の異常を検知する検知部と、
　を備える、
　異常検知装置。
　［技術１の効果］
　これにより、異常検知装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音が変化した場合に（例えば、非可聴音の音圧が変化した場合に）、異常検知装置は、その変化を捉えることができる。そのため、異常検知装置は、溶接部分の異常の検知精度を向上することができる。
　［技術２］
　前記検知部は、前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知する、
　技術１に記載の異常検知装置。
　［技術２の効果］
　これにより、異常検知装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音の音圧の減少に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音の音圧が減少した場合に、異常検知装置は、音圧が減少する変化を捉えることができる。そのため、異常検知装置は、溶接部分の異常の検知精度を向上することができる。
　［技術３］
　さらに、前記検知部により前記異常が検知された場合に、ユーザに通知する通知部を備える、
　技術１又は２に記載の異常検知装置。
　［技術３の効果］
　これにより、異常検知装置は、溶接部分に異常が発生したことをユーザに通知することができるため、ユーザは溶接部分に異常があるか否かを把握することができる。
　［技術４］
　前記収音部は、レーザマイクロフォンである、
　技術１～３のいずれかに記載の異常検知装置。
　［技術４の効果］
　これにより、異常検知装置は、収音部としてレーザマイクロフォンを使用することにより通常のマイクロフォンを使用する場合よりもより広帯域の音を取得することができるため、得られる情報量が多くなる。そのため、異常検知装置は、より多くの情報に基づいて溶接部分の異常を検知することが可能となる。したがって、異常検知装置は、より多くの特徴量の抽出が可能となるため、溶接部分の異常の検知精度を向上することができる。また、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、異常検知装置は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。そのため、異常検知装置は、より多くの環境下での異常検知が可能となる。
　［技術５］
　前記非可聴音は、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音である、
　技術１～４のいずれかに記載の異常検知装置。
　［技術５の効果］
　これにより、異常検知装置は、非可聴音のうち特定の周波数帯域の音を特徴量として抽出することができる。そのため、異常検知装置は、抽出された特徴量に基づいて溶接部分の異常を精度良く検知することができる。
　［技術６］
　前記検知部は、さらに、前記音に含まれる可聴音の音圧の増加に基づいて前記異常を検知する、
　技術１～５のいずれかに記載の異常検知装置。
　［技術６の効果］
　これにより、異常検知装置は、音に含まれる非可聴音及び可聴音に基づいてより多くの特徴量を抽出することが可能となる。そのため、異常検知装置は、溶接部分の異常の検知精度を向上することができる。
　［技術７］
　前記検知部は、前記取得部により取得された前記音に関する音情報を学習済みの機械学習モデルに入力することにより得られる出力結果に基づいて前記異常を検知する、
　技術１～６のいずれかに記載の異常検知装置。
　［技術７の効果］
　これにより、異常検知装置は、機械学習モデルを用いることにより、音情報から特徴量を自動で抽出することができるため、より簡便に、溶接部分の異常を検知することができる。
　［技術８］
　前記音情報は、前記音のスペクトログラムの画像データ、前記音の周波数特性の画像データ、及び、前記音の時系列データの少なくともいずれかを含む、
　技術７に記載の異常検知装置。
　［技術８の効果］
　これにより、異常検知装置は、データの特徴量を抽出しやすい音情報を用いることにより、機械学習モデルによるデータの規則性（いわゆる、特徴量）の抽出を容易にすることができる。
　［技術９］
　前記時系列データは、前記音の時間波形である、
　技術８に記載の異常検知装置。
　［技術８の効果］
　これにより、異常検知装置は、上記音時系列データとして音の時間波形を用いることにより、機械学習モデルによる音量（つまり、音圧）の増減に関する特徴量の抽出を容易にすることができる。
　［技術１０］
　前記出力結果は、前記溶接部分の異常の有無、又は、異常度である、
　技術７～９のいずれかに記載の異常検知装置。
　［技術１０の効果］
　これにより、異常検知装置は、溶接部分の異常の有無、又は、異常度に基づいて溶接部分の異常を検知することができる。
　［技術１１］
　前記音は、前記溶接部分にレーザ光を照射したときに前記溶接部分で発生する音であり、前記溶接部分に不純物が付着している場合に発生する音を含む、
　技術１～１０のいずれかに記載の異常検知装置。
　［技術１１の効果］
　これにより、異常検知装置は、音に基づいて溶接部分の異常を検知することができる。
　［技術１２］
　前記異常は、前記溶接部分におけるスパッタの発生及びクラックの発生の少なくともいずれかである、
　技術１～１１のいずれかに記載の異常検知装置。
　［技術１２の効果］
　これにより、異常検知装置は、溶接部分の表面の異常を検知するだけでなく、溶接対象の内部又は裏面で発生する異常も検知することができる。
　これにより、異常検知装置は、音に基づいて溶接部分の異常を検知することができる。
　［技術１３］
　レーザ溶接時に溶接部分で発生する音を収音するレーザマイクロフォンと、
　前記レーザマイクロフォンにより収音された前記音に基づいて、前記溶接部分の異常を検知する検知部と、
　を備える、
　異常検知装置。
　［技術１３の効果］
　これにより、異常検知装置は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。例えば、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、レーザマイクロフォンは、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　［技術１４］
　レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する取得ステップと、
　前記取得ステップで取得された前記音に含まれる非可聴音の変化に基づいて、前記溶接部分の異常を検知する検知ステップと、
　を含む、
　異常検知方法。
　［技術１４の効果］
　これにより、異常検知方法を実行する装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音が変化した場合に（例えば、非可聴音の音圧が変化した場合に）、異常検知方法を実行する装置は、その変化を捉えることができる。そのため、異常検知方法を実行する装置は、溶接部分の異常の検知精度を向上することができる。
　［技術１５］
　前記検知ステップでは、前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知する、
　技術１４に記載の異常検知方法。
　［技術１５の効果］
　これにより、異常検知方法を実行する装置は、レーザ溶接時に溶接部分で発生する音に含まれる非可聴音の音圧の減少に基づいて溶接部分の異常を検知するため、収音部の周囲で発生する様々な可聴音、つまり、ノイズとなる音の影響を受けにくくなる。また、非可聴音の帯域は、ノイズとなる音の影響を受けにくいため、非可聴音の音圧が減少した場合に、異常検知方法を実行する装置は、音圧が減少する変化を捉えることができる。また、溶接部分の異常発生時において、溶接部分で発生した音に含まれる非可聴音の音圧が減少する傾向があると想定される。そのため、異常検知方法を実行する装置は、溶接部分の異常の検知精度を向上することができる。
　［技術１６］
　レーザ溶接時に溶接部分で発生する音を収音するレーザマイクロフォンにより前記音を収音する収音ステップと、前記レーザマイクロフォンにより収音された前記音に基づいて、前記溶接部分の異常を検知する検知ステップと、を含む、
　異常検知方法。
　［技術１６の効果］
　これにより、異常検知方法を実行する装置は、レーザマイクロフォンを使用することにより通常のマイクロフォンでは収音が難しい環境においても収音が可能となる。例えば、通常のマイクロフォン（例えば、振動板を有するマイクロフォン）では、電磁波、高温、又は、金属片の付着などにより収音が難しくなるが、レーザマイクロフォンは、通常のマイクロフォンのように振動板を有しないため、電磁波、高温、高熱、又は、金属片などの環境下でも収音することが可能である。
　［技術１７］
　技術１４～１６のいずれかに記載の異常検知方法をコンピュータに実行させるための
　プログラム。
　［技術１７の効果］
　これにより、コンピュータを用いて、上記のいずれかの異常検知方法と同様の効果を奏することができる。
　本開示によれば、レーザ溶接時に溶接部分で発生する音に基づいて、溶接部分の異常を精度良く検知することができる。また、本開示の異常検知装置及び異常検知方法は、レーザマイクロフォンを用いて収音することにより、通常のマイクロフォンでは収音が難しい環境でも使用可能であり、また、通常のマイクロフォンよりも広帯域の音を収音できる。したがって、本開示の異常検知装置及び異常検知方法は、目視で異常判定が難しいものに対しても応用可能である。
　１　レーザスキャナ
　２　レーザ光
　３　溶接対象
　３ａ　表面
　３ｂ　裏面
　３ｃ　溶接部分
　４　音
　１０、１０ａ　異常検知装置
　１１、１１ａ、２１、３１　通信部
　１２　情報処理部
　１２ａ　取得部
　１２ｂ　検知部
　１３、２３、３３　記憶部
　１４　学習部
　１５　機械学習モデル
　１６　収音部
　１７　通知部
　２０　情報端末
　２２、３２　制御部
　２４　受付部
　２５　提示部
　３０　収音装置
　１００、１００ａ　異常検知システム
　１１１　レーザ光源
　１１２ａ　第１ビームスプリッタ
　１１２ｂ　第２ビームスプリッタ
　１１２ｃ　第３ビームスプリッタ
　１１３　ミラー
　１１４ａ　ＡＯＭドライバ
　１１４ｂ　ＡＯＭ
　１１５　受光部
　１１６　検出回路
　１６１　計測部
　１６２　枠体部
　１６２ａ、１６２ｂ　反射部材
　１６２ｃ　角度調整用反射部材
　１６２１ａ、１６２１ｂ、１６２１ｃ　反射面
　１６３　演算部
　Ｌ１、Ｌ２、Ｌ３　レーザ光

Claims (17)

  1. 　レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する取得部と、
    　前記取得部により取得された前記音に含まれる非可聴音の変化に基づいて、前記溶接部分の異常を検知する検知部と、
    　を備える、
    　異常検知装置。
  2. 　前記検知部は、前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知する、
    　請求項１に記載の異常検知装置。
  3. 　さらに、前記検知部により前記異常が検知された場合に、ユーザに通知する通知部を備える、
    　請求項１又は２に記載の異常検知装置。
  4. 　前記収音部は、レーザマイクロフォンである、
    　請求項１又は２に記載の異常検知装置。
  5. 　前記非可聴音は、１００ｋＨｚ以上２００ｋＨｚ以下の周波数帯域の音である、
    　請求項１又は２に記載の異常検知装置。
  6. 　前記検知部は、さらに、前記音に含まれる可聴音の音圧の増加に基づいて前記異常を検知する、
    　請求項１又は２に記載の異常検知装置。
  7. 　前記検知部は、前記取得部により取得された前記音に関する音情報を学習済みの機械学習モデルに入力することにより得られる出力結果に基づいて前記異常を検知する、
    　請求項１又は２に記載の異常検知装置。
  8. 　前記音情報は、前記音のスペクトログラムの画像データ、前記音の周波数特性の画像データ、及び、前記音の時系列データの少なくともいずれかを含む、
    　請求項７に記載の異常検知装置。
  9. 　前記時系列データは、前記音の時間波形である、
    　請求項８に記載の異常検知装置。
  10. 　前記出力結果は、前記溶接部分の異常の有無、又は、異常度である、
    　請求項７に記載の異常検知装置。
  11. 　前記音は、前記溶接部分にレーザ光を照射したときに前記溶接部分で発生する音であり、前記溶接部分に不純物が付着している場合に発生する音を含む、
    　請求項１又は２に記載の異常検知装置。
  12. 　前記異常は、前記溶接部分におけるスパッタの発生及びクラックの発生の少なくともいずれかである、
    　請求項１又は２に記載の異常検知装置。
  13. 　レーザ溶接時に溶接部分で発生する音を収音するレーザマイクロフォンと、
    　前記レーザマイクロフォンにより収音された前記音に基づいて、前記溶接部分の異常を検知する検知部と、
    　を備える、
    　異常検知装置。
  14. 　レーザ溶接時に溶接部分で発生する音であって、収音部により収音された音を取得する取得ステップと、
    　前記取得ステップで取得された前記音に含まれる非可聴音の変化に基づいて、前記溶接部分の異常を検知する検知ステップと、
    　を含む、
    　異常検知方法。
  15. 　前記検知ステップでは、前記音に含まれる非可聴音の音圧の減少に基づいて、前記溶接部分の異常を検知する、
    　請求項１４に記載の異常検知方法。
  16. 　レーザ溶接時に溶接部分で発生する音を収音するレーザマイクロフォンにより前記音を収音する収音ステップと、
    　前記レーザマイクロフォンにより収音された前記音に基づいて、前記溶接部分の異常を検知する検知ステップと、
    　を含む、
    　異常検知方法。
  17. 　請求項１４～１６のいずれか１項に記載の異常検知方法をコンピュータに実行させるための
    　プログラム。
PCT/JP2022/035136 2021-10-21 2022-09-21 異常検知装置、異常検知方法、及び、プログラム WO2023067975A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280068139.2A CN118076889A (zh) 2021-10-21 2022-09-21 异常检测装置、异常检测方法及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-172687 2021-10-21
JP2021172687 2021-10-21

Publications (1)

Publication Number Publication Date
WO2023067975A1 true WO2023067975A1 (ja) 2023-04-27

Family

ID=86059063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035136 WO2023067975A1 (ja) 2021-10-21 2022-09-21 異常検知装置、異常検知方法、及び、プログラム

Country Status (2)

Country Link
CN (1) CN118076889A (ja)
WO (1) WO2023067975A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010266404A (ja) * 2009-05-18 2010-11-25 Nippon Physical Acoustics Ltd 溶接状態の異常判別装置
US20140260527A1 (en) * 2013-03-12 2014-09-18 Brigham Young University Method and system for structural integrity assessment
US20160011088A1 (en) * 2014-07-09 2016-01-14 Brigham Young University Multichannel impact response for material characterization
JP2018001184A (ja) * 2016-06-28 2018-01-11 株式会社日立製作所 溶接監視システム
JP2019188470A (ja) * 2018-04-23 2019-10-31 株式会社日立製作所 溶接を監視するためのシステム
JP2020189305A (ja) * 2019-05-20 2020-11-26 パナソニックＩｐマネジメント株式会社 レーザ加工システム、学習装置および学習装置の学習方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010266404A (ja) * 2009-05-18 2010-11-25 Nippon Physical Acoustics Ltd 溶接状態の異常判別装置
US20140260527A1 (en) * 2013-03-12 2014-09-18 Brigham Young University Method and system for structural integrity assessment
US20160011088A1 (en) * 2014-07-09 2016-01-14 Brigham Young University Multichannel impact response for material characterization
JP2018001184A (ja) * 2016-06-28 2018-01-11 株式会社日立製作所 溶接監視システム
JP2019188470A (ja) * 2018-04-23 2019-10-31 株式会社日立製作所 溶接を監視するためのシステム
JP2020189305A (ja) * 2019-05-20 2020-11-26 パナソニックＩｐマネジメント株式会社 レーザ加工システム、学習装置および学習装置の学習方法

Also Published As

Publication number Publication date
CN118076889A (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
KR102570480B1 (ko) 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
KR101584822B1 (ko) 동작 검출 시스템 및 방법
US20160007923A1 (en) Biological sound collecting device and biological sound collecting method
EP2931118B1 (en) Method of generating information and sleep apnea diagnosis system using non-obtrusive audio analysis
AU2021203409B2 (en) Respiratory disease monitoring wearable apparatus
US20080314155A1 (en) Remote Voice Detection System
CN110224870B (zh) 接口监控方法、装置、计算设备及存储介质
CN105043524B (zh) 一种基于激光散斑离焦成像的振动检测方法
CN104898013A (zh) 一种利用声学测量诊断电路故障的方法及系统
CN102547526A (zh) 传声器工作状态的实时监测方法及系统
CN113496475B (zh) 内窥镜摄像系统中的成像方法、装置及计算机设备
CN108968972A (zh) 柔性疲劳检测装置以及信息处理方法及装置
WO2023067975A1 (ja) 異常検知装置、異常検知方法、及び、プログラム
US20170007169A1 (en) Bio-electrical signal monitor with two speakers
CN111916203A (zh) 健康检测方法、装置、电子设备及存储介质
CN104819769A (zh) 一种基于偏振奇点光束激光散斑的振动测量装置
US20220167917A1 (en) Respiratory disease monitoring wearable apparatus
CN115299943A (zh) 一种情绪监测方法及其装置
CN208091947U (zh) 光学检查系统
KR102644641B1 (ko) 레이저 용접에 대한 품질 모니터링 장치 및 방법
JP2008096305A (ja) 異常監視装置
US20230103268A1 (en) Smartphone application with pop-open soundwave guide for diagnosing otitis media in a telemedicine environment
Rothstein et al. EchoSense: Acoustic Sensing for Enclosed Structure Monitoring and Recognition
CN116296126A (zh) 用于检测半导体设备中的气体泄漏的装置、方法和计算机可读介质
CN115574932A (zh) 检测方法、装置、存储介质及检测设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883285

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023555059

Country of ref document: JP

Kind code of ref document: A