WO2022173041A1 - 異常音判定システム、異常音判定装置、及びプログラム - Google Patents

異常音判定システム、異常音判定装置、及びプログラム Download PDF

Info

Publication number
WO2022173041A1
WO2022173041A1 PCT/JP2022/005702 JP2022005702W WO2022173041A1 WO 2022173041 A1 WO2022173041 A1 WO 2022173041A1 JP 2022005702 W JP2022005702 W JP 2022005702W WO 2022173041 A1 WO2022173041 A1 WO 2022173041A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound data
sound
product
abnormal
determination
Prior art date
Application number
PCT/JP2022/005702
Other languages
English (en)
French (fr)
Inventor
正樹 北村
真司 宮下
成一 米倉
Original Assignee
ダイキン工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイキン工業株式会社 filed Critical ダイキン工業株式会社
Priority to CN202280013256.9A priority Critical patent/CN116848390A/zh
Publication of WO2022173041A1 publication Critical patent/WO2022173041A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to an abnormal sound determination system, an abnormal sound determination device, and a program.
  • an abnormal sound detection unit that determines whether the acquired sound is an abnormal sound based on an acoustic signal that is a signal generated from the acquired sound; and an abnormal sound detection unit that determines whether the acquired sound is a rejection target sound a rejecting unit that determines whether or not to reject the abnormal sound detected by the abnormal sound detecting unit based on the determination result; and an abnormal sound detecting unit that determines that the acquired sound is an abnormal sound. and an abnormality determination unit that determines that an abnormality has occurred when the rejection unit determines not to reject the abnormal sound (see, for example, Patent Document 1). .
  • the results of product operation sound judgments can be affected by the effects of ambient sounds that occur in the surroundings, such as sudden sounds and periodic sounds. In some cases, variability occurred.
  • An object of the present disclosure is to provide an abnormal sound determination system, an abnormal sound determination device, and a program capable of suppressing variations in determination results when determining operation sounds of products.
  • the abnormal sound determination system of the present disclosure includes operation sound data acquisition means for acquiring operation sound data of a product, ambient sound data acquisition means for acquiring ambient sound data, and correction for correcting the ambient sound data from the operation sound data. and determination means for determining an operation sound of the product based on the operation sound data obtained by modifying the ambient sound data.
  • the ambient sound data is corrected from the operation sound data of the product, and the operation sound of the product is determined using the operation sound data obtained by correcting the ambient sound data. Therefore, it is possible to suppress variations in determination results due to the influence of ambient sound data.
  • the operation sound data acquisition means may be characterized by picking up the operation sound of the product installed in the soundproof box with a microphone.
  • the ambient sound data acquisition means may be characterized by picking up ambient sounds generated outside the soundproof box with a microphone.
  • the determination means may be characterized by using a plurality of machine learning models.
  • the modifying means may modify the operation sound data according to the ambient sound data.
  • the operating sound data can be modified according to the ambient sound data so as to remove the surrounding ambient sound data from the operating sound data of the product.
  • the determination means includes a first machine learning model that learns normal sound data of the product and predicts a deviation value of the operating sound of the product from the normal sound data of the product, and predicting the deviation value of the operating sound of the product from the normal sound data of the product.
  • the degree of deviation of the deviation value of the normal sound data of the product is learned, and when the degree of deviation of the deviation value of the operation sound of the product is greater than a threshold value, the operation sound of the product is predicted to be abnormal. and a second machine learning model.
  • a first machine learning model that predicts the deviation value of the operation sound from the normal sound data of the product, and the degree of deviation of the deviation value of the operation sound of the product predicts an abnormality in the operation sound of the product.
  • Abnormal sound determination can be automated by a determination algorithm configured by the second machine learning model. Further, according to the present disclosure, by using the determination algorithm, it is possible to unify the determination criteria in abnormal sound determination.
  • the first machine learning model may be characterized by using an autoencoder.
  • the second machine learning model may be characterized by using a local outlier factor method (Local Outlier Factor: LOF).
  • LOF Local Outlier Factor
  • the degree of deviation of the deviation value of the normal sound data of the product predicted by the first machine learning model is learned, and the operation of the product is learned.
  • the degree of deviation of the sound deviation value is greater than the threshold value, the operating sound of the product can be determined to be abnormal.
  • the abnormal sound determination device of the present disclosure includes operation sound data acquisition means for acquiring operation sound data of a product, ambient sound data acquisition means for acquiring ambient sound data, and correction for correcting the ambient sound data from the operation sound data. and determination means for determining an operation sound of the product based on the operation sound data obtained by modifying the ambient sound data.
  • the ambient sound data is corrected from the operation sound data of the product, and the operation sound of the product is determined using the operation sound data obtained by correcting the ambient sound data. Therefore, it is possible to suppress variations in determination results due to the influence of ambient sound data.
  • the program of the present disclosure comprises, in a computer, an operation sound data acquisition step of acquiring operation sound data of a product, an ambient sound data acquisition step of acquiring ambient sound data, a correction step of correcting the ambient sound data from the operation sound data, a determination step of determining the operation sound of the product based on the operation sound data obtained by modifying the ambient sound data.
  • the ambient sound data is corrected from the operation sound data of the product, and the operation sound of the product is determined using the operation sound data obtained by correcting the ambient sound data. Therefore, it is possible to suppress variations in determination results due to the influence of ambient sound data.
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit;
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit;
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit;
  • FIG. 5 is an image diagram of an example of abnormal sound determination processing performed by a determination algorithm unit;
  • 4 is a flowchart of an example of machine learning processing in the abnormal sound determination device according to the present embodiment;
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit
  • FIG. 5 is an image diagram of an example of abnormal sound determination processing performed by a determination algorithm unit;
  • 4 is a flowchart of an example of machine learning processing in the abnormal sound determination device according to the present embodiment;
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit
  • FIG. 10 is an image diagram of an example of processing of the ambient sound removing unit
  • FIG. 5 is an image diagram of an example of machine learning processing in the abnormal sound determination device according to the present embodiment
  • 4 is a flowchart of an example of abnormal sound determination processing in the abnormal sound determination device according to the present embodiment
  • FIG. 5 is an image diagram of an example of abnormal sound determination processing in the abnormal sound determination device according to the present embodiment
  • FIG. 5 is an image diagram of an example of abnormal sound determination processing in the abnormal sound determination device according to the present embodiment
  • FIG. 1 is a configuration diagram of an example of an abnormal sound determination system according to this embodiment.
  • the abnormal sound determination system 1 includes an abnormal sound determination device 10, a microphone 14A for acquiring (collecting) operation sound data including the operation sound of a product 16 placed inside the inspection device 12, and It has a microphone 14B that acquires (collects) ambient sound data including sound (ambient sound).
  • the operating sound of the product 16 is the sound emitted from the product 16 .
  • the operating sound is the sound emitted from the motor, compressor, indoor unit, outdoor unit, or the like of the air conditioner.
  • Ambient sounds are sounds occurring outside the inspection device 12 .
  • Ambient sounds are sounds emitted from equipment operating in the production line, forklifts, and the like.
  • the inspection device 12 is a box in which the product 16 whose operating sound is to be obtained is placed.
  • the microphone 14A can measure operation sound data including the operation sound of the product 16 placed on the inspection device 12.
  • the operation sound data acquired by the microphone 14 ⁇ /b>A may include ambient sound that has entered the inspection device 12 .
  • the microphone 14A can measure operating sound data including the operating sound of the normal product.
  • the operation sound data of the normal product 16 may be referred to as normal sound data.
  • the microphone 14A can measure operation sound data including the operation sound of the product 16 for abnormal sound determination.
  • the microphone 14B acquires ambient sound data including ambient sounds generated outside the inspection device 12 .
  • Ambient sound data acquired by the microphone 14B does not include the operating sound of the product 16 placed on the inspection device 12 .
  • a soundproof box soundproof box
  • the abnormal sound determination device 10 receives the operating sound data of the product 16 acquired by the microphone 14A and the ambient sound data acquired by the microphone 14B.
  • the abnormal sound determination device 10 uses a learning algorithm, which will be described later, to learn normal sound data of the product 16, and a machine learning model (No. 1 machine learning model).
  • the abnormal sound determination device 10 learns the degree of deviation of the deviation value predicted from the normal sound data of the product 16 by a learning algorithm described later, and the deviation value predicted from the operation sound data of the product 16 to be subjected to abnormal sound determination.
  • a machine learning model (an example of the second machine learning model) for predicting whether or not the sound is abnormal from the degree of deviation is created.
  • a machine learning model that learns normal sound data of the product 16 and predicts deviation values of operating sound data of the product 16 to be subjected to abnormal sound determination from normal sound data will be referred to as a "machine that predicts deviation values from normal data”. It is sometimes called a “learning model”. Further, the degree of deviation of the deviation value predicted from the normal sound data of the product 16 is learned, and whether or not the sound is abnormal is determined from the degree of deviation of the deviation value predicted from the operation sound data of the product 16 to be subjected to abnormal sound determination.
  • a machine learning model that predicts is sometimes called a "machine learning model that predicts the degree of deviation”.
  • the abnormal sound determination device 10 uses a machine learning model for predicting a deviation value from normal data and a machine learning model for predicting the degree of deviation in a determination algorithm as described later to determine the product 16 to be subjected to abnormal sound determination. Abnormal sounds can be determined.
  • the abnormal sound determination device 10 corrects the ambient sound data from the operation sound data of the product 16 acquired by the microphone 14A (corrects the operation sound data according to the ambient sound data so that the influence of the ambient sound data is reduced). It has a sound modification function.
  • the name of the abnormal sound determination device 10 is an example, and may be another name.
  • the connection for communication between the abnormal sound determination device 10 and the microphones 14A and 14B may be wired connection or wireless connection.
  • the abnormal sound determination device 10 is an information processing terminal such as a PC, a smartphone, or a tablet terminal.
  • the configuration of the abnormal sound determination system 1 in FIG. 1 is an example, and for example, the abnormal sound determination device 10 may be realized by one or more information processing terminals (computers).
  • the abnormal sound determination device 10 may have a configuration in which a computer that executes the processing of the learning algorithm and a computer that executes the processing of the determination algorithm are separated.
  • the configuration of the abnormal sound determination system 1 in FIG. 1 is merely an example, and it goes without saying that there are various system configuration examples depending on the application and purpose.
  • the abnormal sound determination device 10 of FIG. 1 is implemented by, for example, a computer 500 having the hardware configuration shown in FIG.
  • FIG. 2 is a hardware configuration diagram of an example of a computer according to this embodiment.
  • the computer 500 in FIG. 2 includes an input device 501, a display device 502, an external I/F 503, a RAM 504, a ROM 505, a CPU 506, a communication I/F 507, an HDD 508, and the like, which are interconnected via a bus B. .
  • the input device 501 and the display device 502 may be connected and used when necessary.
  • the input device 501 is a touch panel, operation keys and buttons, a keyboard, a mouse, and the like used by workers to input various signals.
  • the display device 502 includes a display such as a liquid crystal display or an organic EL display for displaying a screen, a speaker for outputting sound data such as voice or music, and the like.
  • Communication I/F 507 is an interface for computer 500 to perform data communication via a network.
  • the HDD 508 is an example of a non-volatile storage device that stores programs and data.
  • the stored programs and data include an OS, which is basic software that controls the entire computer 500, and applications that provide various functions on the OS.
  • the computer 500 may use a drive device (for example, solid state drive: SSD, etc.) using flash memory as a storage medium instead of the HDD 508 .
  • the external I/F 503 is an interface with an external device.
  • the external device includes a recording medium 503a and the like. Thereby, the computer 500 can read and/or write the recording medium 503a through the external I/F 503.
  • the recording medium 503a includes a flexible disk, CD, DVD, SD memory card, USB memory, and the like.
  • the ROM 505 is an example of a nonvolatile semiconductor memory (storage device) that can retain programs and data even when the power is turned off.
  • the ROM 505 stores programs and data such as the BIOS, OS settings, and network settings that are executed when the computer 500 is started.
  • a RAM 504 is an example of a volatile semiconductor memory (storage device) that temporarily holds programs and data.
  • the CPU 506 is an arithmetic unit that implements the overall control and functions of the computer 500 by reading programs and data from storage devices such as the ROM 505 and HDD 508 onto the RAM 504 and executing processing.
  • the abnormal sound determination device 10 according to this embodiment can realize various functional blocks as described later.
  • FIG. 3 is a functional block diagram of an example of the abnormal sound determination device according to this embodiment.
  • the abnormal sound determination device 10 implements an operation sound data acquisition unit 50, an ambient sound data acquisition unit 52, an ambient sound removal unit 54, an abnormal sound determination unit 56, and a display control unit 58 by executing programs.
  • the operation sound data acquisition unit 50 receives the operation sound data of the normal product 16 or the product 16 subject to abnormal sound determination measured by the microphone 14A.
  • the ambient sound data acquisition unit 52 receives ambient sound data measured by the microphone 14B.
  • the operation sound data acquisition unit 50 transmits the acquired operation sound data of the product 16 to the ambient sound removal unit 54 and the abnormal sound determination unit 56 . Also, the ambient sound data acquisition unit 52 transmits the acquired ambient sound data to the ambient sound removal unit 54 and the abnormal sound determination unit 56 .
  • the ambient sound removal unit 54 uses the operation sound data of the product 16 received from the operation sound data acquisition unit 50 and the ambient sound data received from the ambient sound data acquisition unit 52 to reduce the influence of the ambient sound data, for example As shown in FIGS. 4A to 4C, corrections such as removing the influence of the ambient sound data from the operation sound data are performed.
  • "removal of ambient sound data from operation sound data” may be used, but this is not limited to completely removing the influence of ambient sound data, and some effects remain. may
  • FIG. 4A to 4C are image diagrams of an example of the processing of the ambient sound removing unit.
  • FIG. 4A shows a waveform of time-varying intensity of operation sound data of the product 16 .
  • FIG. 4B shows a waveform of temporal change in intensity of ambient sound data.
  • the ambient sound data is removed from the operating sound data of the product by correcting the abnormal portion of the operating sound data of FIG. 4A based on the ambient sound data of FIG. 4B to a smaller intensity.
  • the waveform after data correction shown in FIG. 4C is a waveform in which the abnormal portion of the operation sound data in FIG. 4A is corrected.
  • the ambient sound removing unit 54 transmits the operation sound data from which the influence of the ambient sound data has been removed to the abnormal sound determining unit 56 .
  • the abnormal sound determination unit 56 performs machine learning processing and abnormal sound determination processing, which will be described later.
  • the abnormal sound determination section 56 has a learning algorithm section 60 and a determination algorithm section 62 .
  • the learning algorithm unit 60 has a machine learning model (AI) that learns normal sound data of the product 16 that is not affected by ambient sound data and predicts deviation values from the normal data, and a machine learning model that predicts the degree of deviation. (AI) and create.
  • AI machine learning model
  • the determination algorithm unit 62 uses the machine learning model for predicting the deviation value from the normal data and the machine learning model for predicting the degree of deviation, which are created by the learning algorithm unit 60, to determine the abnormal sound determination target product.
  • 16 operation sound is an abnormal sound or not.
  • the abnormal sound determination process performed by the determination algorithm unit 62 is performed, for example, as shown in FIG.
  • FIG. 5 is an image diagram of an example of abnormal sound determination processing performed by the determination algorithm unit.
  • a machine learning model that predicts deviation values from normal data can use an autoencoder.
  • a machine learning model using an autoencoder has learned a compression method that allows the learning algorithm unit 60 to successfully restore the normal sound data of the product 16 .
  • a machine learning model using an autoencoder receives operation sound data of the product 16 to be subjected to abnormal sound determination, compresses the data using a learned compression method, and then restores the data.
  • the determination algorithm unit 62 calculates the difference (deviation value) between the operation sound data input to the machine learning model using the autoencoder and the operation sound data restored by the machine learning model using the autoencoder as normal sound data. is predicted as a deviation value of the operation sound data of the product 16 to be subjected to abnormal sound determination.
  • a machine learning model that predicts the degree of deviation can use the local outlier factor method (LOF).
  • LEF local outlier factor method
  • a machine learning model using LOF has learned the distribution of the feature of the deviation value of the normal sound data.
  • the machine learning model using the LOF determines the abnormal sound based on the relationship between the distribution of the deviation value characteristics of the normal sound data and the deviation value characteristics of the operation sound data of the product 16 to be subjected to abnormal sound determination. It can be predicted whether the operation sound of the product 16 to be judged is normal or abnormal.
  • the determination algorithm unit 62 calculates the deviation values of the operation sound data of the product 16 subject to abnormal sound determination on the graph representing the "feature 1" and "feature 2" of the deviation values of the operation sound data. , and the distribution of the plots that characterize the deviation values of the normal sound data. If the distribution of plots representing the characteristics of deviation values of normal sound data includes a plot representing the characteristics of deviation values of operation sound data of the product 16 to be subjected to abnormal sound determination, the determination algorithm unit 62 performs abnormal sound determination. The operation sound of the target product 16 is predicted to be normal.
  • the determination algorithm unit 62 The operation sound of the product 16 to be subjected to sound determination is predicted to be abnormal. Details of the processing of the learning algorithm unit 60 and the determination algorithm unit 62 will be described later.
  • the display control unit 58 displays information required to be presented to the operator on the display device 502. For example, the display control unit 58 displays on the display device 502 the determination result as to whether the operation sound of the product 16 targeted for abnormal sound determination predicted by the abnormal sound determination unit 56 is normal.
  • the display control unit 58 may present information to the operator not only by the display of the display device 502, but also by outputting a buzzer or a siren, turning on a lamp or a light, or the like.
  • FIG. 3 omits functions that are not necessary for the explanation of the abnormal sound determination system 1 according to the present embodiment.
  • FIG. 6 is a flowchart of an example of machine learning processing in the abnormal sound determination device according to this embodiment.
  • FIG. 7 is an image diagram of an example of machine learning processing in the abnormal sound determination device according to the present embodiment.
  • step S10 the abnormal sound determination device 10 acquires normal sound data of the product 16 from the microphone 14A.
  • step S12 the abnormal sound determination device 10 performs short-time Fourier transform (STFT) on the normal sound data to obtain a frequency domain representation feature amount of the normal sound data as shown in FIG. 7, for example.
  • STFT short-time Fourier transform
  • the abnormal sound determination device 10 may perform preprocessing (normalization, standardization, regularization) as necessary before performing the short-time Fourier transform.
  • step S14 the abnormal sound determination device 10 causes a machine learning model using an autoencoder to learn a compression method that can successfully restore the normal sound data of the product 16.
  • the process proceeds from step S16 to step S18, and the abnormal sound determination device 10 inputs the feature quantity of the frequency domain representation of the normal sound data to the learned machine learning model using the autoencoder.
  • a trained machine learning model using an autoencoder compresses the frequency domain representation of the input normal sound data (hereinafter referred to as normal sound input data) using a trained compression method and then restores it.
  • a machine learning model that has been trained using an autoencoder outputs, for example, a feature amount of frequency domain representation of restored normal sound data (hereinafter referred to as restored normal sound data) as shown in FIG.
  • step S20 the abnormal sound determination device 10 acquires difference data between the normal sound input data and the restored normal sound data as shown in FIG.
  • step S22 the abnormal sound determination apparatus 10 averages the difference data in the time direction and the frequency direction as shown in FIG. 7, and calculates the average value in the time direction and the average value in the frequency direction.
  • the abnormal sound determination device 10 processes the calculated average value in the time direction. In steps S32 to S38, the abnormal sound determination device 10 performs processing on the calculated average value in the frequency direction.
  • step S24 the abnormal sound determination device 10 causes a machine learning model using LOF to learn with the calculated average value in the time direction.
  • the process proceeds from step S26 to step S28, and the abnormal sound determination device 10 inputs the average value in the time direction to the learned machine learning model using LOF and outputs the score (abnormality degree).
  • step S30 the abnormal sound determination device 10 obtains the score distribution, and determines the score value indicating the position of 3 ⁇ as the threshold value (threshold value 1) for abnormality determination.
  • step S32 the abnormal sound determination device 10 causes a machine learning model using LOF to learn with the calculated average value in the frequency direction.
  • the process proceeds from step S34 to step S36, and the abnormal sound determination device 10 inputs the average value in the frequency direction to the learned machine learning model using LOF and outputs a score (abnormality degree).
  • step S38 the abnormal sound determination device 10 obtains the score distribution and determines the score value indicating the position of 3 ⁇ as the threshold value (threshold value 2) for abnormality determination.
  • FIG. 8 is a flowchart of an example of abnormal sound determination processing in the abnormal sound determination device according to this embodiment.
  • 9 and 10 are image diagrams of an example of abnormal sound determination processing in the abnormal sound determination device according to the present embodiment.
  • step S50 the abnormal sound determination device 10 acquires operation sound data of the product 16 subject to abnormal sound determination from the microphone 14A.
  • the abnormal sound determination device 10 performs a short-time Fourier transform on the operation sound data of the product 16 subject to abnormal sound determination, thereby obtaining the feature amount of the frequency domain representation of the operation sound data of the product 16 subject to abnormal sound determination. .
  • step S54 the abnormal sound determination device 10 applies the frequency of the operation sound data of the product 16 to be subjected to abnormal sound determination to the machine learning model using the autoencoder that has been learned by the machine learning process described with reference to FIGS. Enter the features of the region representation.
  • a machine learning model that has been trained using an autoencoder uses a compression method that has learned the feature amount of the frequency domain representation of the input operation sound data of the product 16 to be subjected to abnormal sound determination (hereinafter referred to as operation sound input data). Compress and then decompress. Also, the trained machine learning model using the autoencoder outputs a feature amount of the frequency domain representation of the restored operation sound data (hereinafter referred to as restored operation sound data).
  • step S56 the abnormal sound determination device 10 acquires difference data between the operation sound input data and the operation sound restoration data.
  • step S58 the abnormal sound determination device 10 averages the difference data in the time direction and the frequency direction, and calculates the average value in the time direction and the average value in the frequency direction.
  • the average value in the time direction is used for detecting an abnormal sound that can occur intermittently.
  • the average value in the frequency direction is used in processing for detecting abnormal sounds that can occur constantly.
  • step S60 the abnormal sound determination device 10 inputs an average value in the time direction to a learned machine learning model using LOF and outputs a score (score1).
  • step S62 the abnormal sound determination device 10 compares the score (score1) output in step S60 with the threshold value (threshold value 1) for abnormality determination determined by the machine learning process.
  • the abnormal sound determination device 10 determines the operation sound after removing the influence of the ambient sound.
  • the processing of S64 to S68 is performed.
  • the abnormal sound determination device 10 checks the ambient sound data acquired from the microphone 14B.
  • the abnormal sound determination device 10 performs a short-time Fourier transform on the ambient sound data to obtain, for example, the feature quantity of the frequency domain representation of the ambient sound data shown in FIG. Further, the abnormal sound determination device 10 calculates an average value in the time direction by preprocessing as shown in FIG. 9, for example.
  • step S66 the abnormal sound determination device 10 compares the temporal average value calculated in step S58 with the temporal average value of the ambient sound data calculated in step S64. As shown in FIG. 9, the abnormal sound determination apparatus 10 corrects the average value in the time direction calculated in step S58 so that the matching portion of the peak values exceeding the threshold is reduced. By the processing of step S66, if there is a strong sound suddenly generated in the surroundings (for example, a forklift horn or an impact sound), the abnormal sound determination device 10 can remove the influence of that sound.
  • step S68 the abnormal sound determination apparatus 10 inputs the average value in the time direction corrected in step S66 to a learned machine learning model using LOF, and outputs a score (score1).
  • step S70 the abnormal sound determination device 10 compares the score (score1) output in step S68 with the threshold value (threshold value 1) for abnormality determination determined by the machine learning process.
  • the abnormal sound determination device 10 determines in step S84 that the operation of the product 16 to be subjected to abnormal sound determination is abnormal. judge.
  • the score (score1) output in step S60 is not greater than the abnormality determination threshold value (threshold value 1) determined by the machine learning process, or the score output in step S68 (score1) is the abnormality determination threshold value determined by the machine learning process. If it is not larger than (threshold 1), the abnormal sound determination device 10 performs the process of step S72.
  • step S72 the abnormal sound determination device 10 inputs the average value in the frequency direction to the learned machine learning model using LOF and outputs a score (score2).
  • step S74 the abnormal sound determination device 10 compares the score (score2) output in step S72 with the threshold value (threshold value 2) for abnormality determination determined by the machine learning process.
  • the abnormal sound determination device 10 removes the influence of the ambient sound and then determines the moving sound.
  • the processing of S76 to S80 is performed.
  • the abnormal sound determination device 10 checks the ambient sound data acquired from the microphone 14B.
  • the abnormal sound determination device 10 performs a short-time Fourier transform on the ambient sound data to obtain, for example, the feature quantity of the frequency domain representation of the ambient sound data shown in FIG. Further, the abnormal sound determination device 10 calculates an average value in the frequency direction by preprocessing as shown in FIG. 10, for example.
  • step S78 the abnormal sound determination device 10 compares the average value in the frequency direction calculated in step S72 with the average value in the frequency direction of the ambient sound data calculated in step S76.
  • the average value in the frequency direction calculated in step S72 is corrected so that the matching portion becomes smaller.
  • the abnormal sound determination device 10 can remove the influence of any sounds that occur periodically in the surroundings (for example, sirens, operating sounds of other equipment, etc.).
  • step S80 the abnormal sound determination device 10 inputs the average value in the frequency direction corrected in step S78 to a learned machine learning model using LOF, and outputs a score (score2).
  • step S82 the abnormal sound determination device 10 compares the score (score2) output in step S80 with the threshold value (threshold value 2) for abnormality determination determined by the machine learning process.
  • step S80 If the score (score2) output in step S80 is greater than the threshold value (threshold value 2) for abnormality determination determined by the machine learning process, the abnormal sound determination device 10 determines that the operation of the product 16 targeted for abnormal sound determination is abnormal in step S84. judge.
  • the score (score2) output in step S72 is not greater than the abnormality determination threshold value (threshold value 2) determined by the machine learning process, or the score output in step S80 (score2) is the abnormality determination threshold value determined by the machine learning process. If it is not larger than (threshold 2), the abnormal sound determination device 10 performs the process of step S86. In the processing of step S86, the abnormal sound determination device 10 determines that the operation of the product 16 targeted for abnormal sound determination is normal.
  • the abnormal sound determination system 1 can be applied, for example, to inspection of abnormal sounds in production lines.
  • the abnormal sound inspection of the production line there are cases where the operator hears and judges the abnormal sound generated by the interference of parts.
  • the operator's criteria for judging abnormal sounds depend on the operator's judgment. For this reason, in the abnormal sound inspection performed by the operator, the result of determination of the operation sound of the product 16 may vary depending on the operator.
  • a machine learning model is learned using the operation sound data (normal sound data) of the normal product 16, and the characteristics of the normal sound data and the operation sound data of the product 16 subject to abnormal sound determination are learned. It is possible to automatically determine whether the operating sound of the product 16 subject to abnormal sound determination is abnormal based on the degree of deviation from the characteristics of .
  • the abnormal sound inspection of the product 16 can be automated, and the abnormal sound inspection personnel can be saved.
  • both learning using average values in the time direction and learning using average values in the frequency direction are performed on a machine learning model using LOF.
  • processing is performed to remove the influence of the ambient sound when the operation sound is not normal, but the influence of the ambient sound may be removed from the operation sound data in advance.
  • the information acquired by the abnormal sound determination device 10 is not limited to sound pressure from the microphones 14A and 14B, and may be data measured by a vibration sensor, current/voltage waveforms, and other time-series data.
  • a machine learning model using an autoencoder is an example, and may be a machine learning model using other deep learning techniques such as VAE (variational autoencoder) or GAN (generative adversarial networks).
  • VAE variable autoencoder
  • GAN generative adversarial networks
  • the calculation of the average values in the frequency direction and the time direction may be performed by calculating each average value before inputting to the autoencoder instead of obtaining it after generating the difference data.
  • the data to be input to the machine learning model using LOF is not limited to the average value, and other statistics (variance, maximum, minimum, etc.) may be used.
  • the average value may be dimensionally compressed by principal component analysis or the like.
  • the machine learning model using LOF is an example, and not limited to LOF, other machine learning methods such as Mahalanobis distance, one-class SVM, and isolation forest may be used. Alternatively, ensemble learning may be performed using these machine learning techniques in parallel with the autoencoder.
  • the operation sound determination result may be a label of 0/1 indicating normality/abnormality in addition to the score indicating the degree of abnormality.
  • the threshold value for determining normality/abnormality may be changed by an on-site worker as necessary.
  • the abnormal sound determination system 1 according to the present embodiment may turn off (OFF) the function of the ambient sound removal unit 54 when the environment is sufficiently quiet.
  • Abnormal Sound Judgment System 10 Abnormal Sound Judgment Device 12 Inspection Device 14A, 14B Microphone 16 Product 50 Operation Sound Data Acquisition Unit 52 Ambient Sound Data Acquisition Unit 54 Ambient Sound Removal Unit 56 Abnormal Sound Judgment Unit 58 Display Control Unit 60 Learning Algorithm Unit 62 Judgment algorithm part

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

製品の動作音データを取得する動作音データ取得手段と、周囲音データを取得する周囲音データ取得手段と、前記動作音データから前記周囲音データを修正する除去手段と、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、を備える。

Description

異常音判定システム、異常音判定装置、及びプログラム
　本開示は、異常音判定システム、異常音判定装置、及びプログラムに関する。
　取得された音から生成された信号である音響信号に基づいて、取得された音が異常音であるか否かを判定する異常音検出部と、取得された音が棄却対象音であるか否かの判定を行い、その判定結果から、異常音検出部で検出された異常音を棄却するか否かを判定する棄却部と、取得された音が異常音であると異常音検出部が判定し、かつ、棄却部が異常音を棄却しないと判定した場合に、異常が発生したと判定する異常判定部と、を備えた情報処理装置は従来から知られている（例えば特許文献１参照）。
　また、対象物の固有の運動から得られる時間変化の波形データを用いて、自己符号化器による学習を実施し、波形データについて値方向での閾値の変化に応じた連結成分の数の変化を算出するパーシステントホモロジ変換を実行し、波形データによる自己符号化器の出力と、パーシステントホモロジ変換の出力とを入力し、波形データと異常についての機械学習が行われた学習器の判別結果に基づき、異常を判断する異常判別装置は従来から知られている（例えば特許文献２参照）。
国際公開第２０２０／０８４６８０号 特開２０２０－３６６３３号公報
　例えば生産ラインなどで行われる製品の動作音の異常音検査では、突発的に発生する音や周期的に発生する音など、周囲で発生した周囲音の影響により、製品の動作音の判定結果にばらつきが生じる場合があった。
　本開示は、製品の動作音の判定を行う場合に、判定結果のばらつきを抑制できる異常音判定システム、異常音判定装置、及びプログラムを提供することを目的とする。
　本開示の異常音判定システムは、製品の動作音データを取得する動作音データ取得手段と、周囲音データを取得する周囲音データ取得手段と、前記動作音データから前記周囲音データを修正する修正手段と、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、を備える。
　本開示によれば、製品の動作音の判定を行う場合に、製品の動作音データから周囲の周囲音データを修正し、周囲音データを修正した動作音データで製品の動作音を判定することができるため、周囲音データの影響による判定結果のばらつきを抑制できる。
　前記動作音データ取得手段は、防音ボックス内に設置された製品の動作音をマイクで収音することを特徴としてもよい。
　前記周囲音データ取得手段は、防音ボックス外で発生している周囲音をマイクで収音することを特徴としてもよい。
　前記判定手段は、複数の機械学習モデルを用いることを特徴としてもよい。
　前記修正手段は、前記周囲音データに従って前記動作音データを修正することを特徴としてもよい。
　本開示によれば、製品の動作音データから周囲の周囲音データを除去するように、周囲音データに従って動作音データを修正できる。
　前記判定手段は、前記製品の正常音データを学習し、前記製品の正常音データからの前記製品の動作音のずれ値を予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度がしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用することを特徴としてもよい。
　本開示によれば、製品の正常音データからの動作音のずれ値を予測する第１機械学習モデルと、製品の動作音のずれ値のずれの程度から、製品の動作音の異常を予測する第２機械学習モデルと、で構成される判定アルゴリズムにより、異常音判定を自動化することができる。また、本開示によれば、判定アルゴリズムを利用することで、異常音判定における判定基準を統一化できる。
　前記第１機械学習モデルは、自己符号化器（オートエンコーダ）を用いることを特徴としてもよい。
　本開示によれば、第１機械学習モデルに、正常音データで学習した自己符号化器を用いることで、正常音データからの製品の動作音のずれ値を予測できる。
　前記第２機械学習モデルは、局所外れ値因子法（Local Outlier Factor ：ＬＯＦ）を用いることを特徴としてもよい。
　本開示によれば、第２機械学習モデルに、局所外れ値因子法を用いることで、第１機械学習モデルにより予測した製品の正常音データのずれ値のずれの程度を学習し、製品の動作音のずれ値のずれの程度がしきい値より大きい場合に、製品の動作音を異常と判定できる。
　本開示の異常音判定装置は、製品の動作音データを取得する動作音データ取得手段と、周囲音データを取得する周囲音データ取得手段と、前記動作音データから前記周囲音データを修正する修正手段と、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、を備える。
　本開示によれば、製品の動作音の判定を行う場合に、製品の動作音データから周囲の周囲音データを修正し、周囲音データを修正した動作音データで製品の動作音を判定することができるため、周囲音データの影響による判定結果のばらつきを抑制できる。
　本開示のプログラムは、コンピュータに、製品の動作音データを取得する動作音データ取得ステップ、周囲音データを取得する周囲音データ取得ステップ、前記動作音データから前記周囲音データを修正する修正ステップ、前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定ステップ、を実行させる。
　本開示によれば、製品の動作音の判定を行う場合に、製品の動作音データから周囲の周囲音データを修正し、周囲音データを修正した動作音データで製品の動作音を判定することができるため、周囲音データの影響による判定結果のばらつきを抑制できる。
本実施形態に係る異常音判定システムの一例の構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 本実施形態に係る異常音判定装置の一例の機能ブロック図である。 周囲音除去部の処理の一例のイメージ図である。 周囲音除去部の処理の一例のイメージ図である。 周囲音除去部の処理の一例のイメージ図である。 判定アルゴリズム部が行う異常音判定処理の一例のイメージ図である。 本実施形態に係る異常音判定装置における機械学習処理の一例のフローチャートである。 本実施形態に係る異常音判定装置における機械学習処理の一例のイメージ図である。 本実施形態に係る異常音判定装置における異常音判定処理の一例のフローチャートである。 本実施形態に係る異常音判定装置における異常音判定処理の一例のイメージ図である。 本実施形態に係る異常音判定装置における異常音判定処理の一例のイメージ図である。
　次に、本発明の実施形態について詳細に説明する。
［第１の実施形態］
　＜システム構成＞
　図１は、本実施形態に係る異常音判定システムの一例の構成図である。異常音判定システム１は、異常音判定装置１０、検査装置１２の内に置かれた製品１６の動作音が含まれる動作音データを取得（収音）するマイク１４Ａ、及び検査装置１２の外の音（周囲音）が含まれる周囲音データを取得（収音）するマイク１４Ｂを有している。製品１６の動作音は、製品１６から発せられている音である。動作音は、空調機のモータ、圧縮機、室内機、又は室外機などから発せられる音である。周囲音は、検査装置１２の外側で発生している音である。周囲音は、生産ラインで稼働している設備、又はフォークリフトなどから発せられている音である。
　検査装置１２は動作音を取得する製品１６が置かれる箱である。マイク１４Ａは検査装置１２に置かれた製品１６の動作音が含まれる動作音データを測定できる。マイク１４Ａが取得する動作音データは検査装置１２内に侵入した周囲音を含む場合がある。例えば正常な製品１６を検査装置１２の中に置くことで、マイク１４Ａは正常な製品の動作音を含む動作音データを測定できる。以下では、正常な製品１６の動作音データを正常音データと呼ぶ場合がある。また、例えば異常音判定対象の製品１６を検査装置１２の中に置くことで、マイク１４Ａは異常音判定対象の製品１６の動作音を含む動作音データを測定できる。マイク１４Ｂは検査装置１２の外側で発生している周囲音を含む周囲音データを取得する。マイク１４Ｂが取得する周囲音データには検査装置１２に置かれた製品１６の動作音が含まれない。なお、正常な製品１６の動作音データを測定する場合は、検査装置１２に遮音性能の高い防音ＢＯＸ（防音ボックス）を用いることで、周囲音データの影響の無い正常音データを測定することもできる。
　異常音判定装置１０は、マイク１４Ａが取得した製品１６の動作音データ及びマイク１４Ｂが取得した周囲音データを受信する。異常音判定装置１０は後述するような学習アルゴリズムが製品１６の正常音データを学習し、異常音判定対象の製品１６の動作音データの正常音データからのずれ値を予測する機械学習モデル（第１機械学習モデルの一例）を作成する。また、異常音判定装置１０は後述するような学習アルゴリズムが製品１６の正常音データから予測したずれ値のずれの程度を学習し、異常音判定対象の製品１６の動作音データから予測したずれ値のずれの程度から異常音であるか否かを予測する機械学習モデル（第２の機械学習モデルの一例）を作成する。以下では、製品１６の正常音データを学習し、異常音判定対象の製品１６の動作音データの正常音データからのずれ値を予測する機械学習モデルを「正常データからのずれ値を予測する機械学習モデル」と呼ぶことがある。また、製品１６の正常音データから予測したずれ値のずれの程度を学習し、異常音判定対象の製品１６の動作音データから予測したずれ値のずれの程度から異常音であるか否かを予測する機械学習モデルを「ずれの程度を予測する機械学習モデル」と呼ぶことがある。
　異常音判定装置１０は、後述するような判定アルゴリズムが、正常データからのずれ値を予測する機械学習モデル及びずれの程度を予測する機械学習モデルを利用して、異常音判定対象の製品１６の異常音を判定できる。また、異常音判定装置１０は、マイク１４Ａが取得した製品１６の動作音データから周囲音データを修正する（周囲音データの影響が減少するように周囲音データに従って動作音データを修正する）周囲音修正機能を有している。
　なお、異常音判定装置１０の名称は一例であって、他の名称であってもよい。異常音判定装置１０とマイク１４Ａ及び１４Ｂとの通信のための接続は、有線接続であっても無線接続であってもよい。また、異常音判定装置１０は、ＰＣ、スマートフォン、タブレット端末などの情報処理端末である。
　図１の異常音判定システム１の構成は一例であって、例えば異常音判定装置１０は１台以上の情報処理端末（コンピュータ）により実現されてもよい。例えば異常音判定装置１０は学習アルゴリズムの処理を実行するコンピュータと、判定アルゴリズムの処理を実行するコンピュータと、を分けた構成であってもよい。このように、図１の異常音判定システム１の構成は一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
　＜ハードウェア構成＞
　図１の異常音判定装置１０は、例えば図２に示すハードウェア構成のコンピュータ５００により実現する。
　図２は、本実施形態に係るコンピュータの一例のハードウェア構成図である。図２のコンピュータ５００は、入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、及びＨＤＤ５０８などを備えており、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は必要なときに接続して利用する形態であってもよい。
　入力装置５０１は、作業者が各種信号を入力するのに用いるタッチパネル、操作キーやボタン、キーボードやマウスなどである。表示装置５０２は、画面を表示する液晶や有機ＥＬなどのディスプレイ、音声や音楽などの音データを出力するスピーカ等で構成されている。通信Ｉ／Ｆ５０７は、コンピュータ５００がネットワークを介してデータ通信を行うためのインターフェースである。
　また、ＨＤＤ５０８は、プログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーションなどがある。なお、コンピュータ５００はＨＤＤ５０８に替えて、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤなど）を利用するものであってもよい。
　外部Ｉ／Ｆ５０３は、外部装置とのインターフェースである。外部装置には、記録媒体５０３ａなどがある。これにより、コンピュータ５００は外部Ｉ／Ｆ５０３を介して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。
　ＲＯＭ５０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５にはコンピュータ５００の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ５０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。
　ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムやデータをＲＡＭ５０４上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。本実施形態に係る異常音判定装置１０は、後述するような各種機能ブロックを実現できる。
　＜ソフトウェア構成＞
　　《機能ブロック》
　本実施形態に係る異常音判定システム１の異常音判定装置１０の機能ブロックについて説明する。図３は本実施形態に係る異常音判定装置の一例の機能ブロック図である。異常音判定装置１０はプログラムを実行することで、動作音データ取得部５０、周囲音データ取得部５２、周囲音除去部５４、異常音判定部５６、及び表示制御部５８を実現する。
　動作音データ取得部５０は、マイク１４Ａが測定した正常な製品１６又は異常音判定対象の製品１６の動作音データを受信する。周囲音データ取得部５２はマイク１４Ｂが測定した周囲音データを受信する。
　動作音データ取得部５０は取得した製品１６の動作音データを周囲音除去部５４及び異常音判定部５６に送信する。また、周囲音データ取得部５２は取得した周囲音データを周囲音除去部５４及び異常音判定部５６に送信する。
　周囲音除去部５４は動作音データ取得部５０から受信した製品１６の動作音データ及び周囲音データ取得部５２から受信した周囲音データを用いて、周囲音データの影響が減少するように、例えば図４Ａ～図４Ｃに示すように動作音データから周囲音データの影響を除去するなどの修正を行う。なお、以下では「動作音データからの周囲音データの除去」と記載している場合があるが、周囲音データの影響を完全に除去するものに限定するものでなく、一部の影響が残ってもよい。
　図４Ａ～図４Ｃは周囲音除去部の処理の一例のイメージ図である。図４Ａは製品１６の動作音データの強度の時間変化の波形を示している。また、図４Ｂは周囲音データの強度の時間変化の波形を示している。図４Ｃに示したように、製品の動作音データからの周囲音データの除去は、図４Ｂの周囲音データに基づいた図４Ａの動作音データの異常箇所を、強度を小さく修正することで行う。図４Ｃに示したデータ修正後の波形は図４Ａの動作音データの異常箇所が修正された波形となる。周囲音除去部５４は周囲音データの影響を除去した動作音データを異常音判定部５６に送信する。
　異常音判定部５６は、後述の機械学習処理と異常音判定処理とを行う。異常音判定部５６は、学習アルゴリズム部６０及び判定アルゴリズム部６２を有する。学習アルゴリズム部６０は、周囲音データの影響の無い製品１６の正常音データを学習し、正常データからのずれ値を予測する機械学習モデル（ＡＩ）と、及びずれの程度を予測する機械学習モデル（ＡＩ）と、を作成する。
　判定アルゴリズム部６２は学習アルゴリズム部６０が作成した、正常データからのずれ値を予測する機械学習モデルと、及びずれの程度を予測する機械学習モデルとを利用することで、異常音判定対象の製品１６の動作音が異常音であるか否かを判定する。判定アルゴリズム部６２が行う異常音判定処理は、例えば図５に示すように行われる。図５は判定アルゴリズム部が行う異常音判定処理の一例のイメージ図である。
　図５に示すように、正常データからのずれ値を予測する機械学習モデルは、オートエンコーダを用いることができる。オートエンコーダを用いた機械学習モデルは、学習アルゴリズム部６０により製品１６の正常音データを上手く復元できるような圧縮方法を学習済みである。オートエンコーダを用いた機械学習モデルは、異常音判定対象の製品１６の動作音データを入力され、学習済みの圧縮方法で圧縮した後で復元する。
　判定アルゴリズム部６２は、オートエンコーダを用いた機械学習モデルに入力された動作音データと、オートエンコーダを用いた機械学習モデルにより復元された動作音データとの差分（ずれ値）を、正常音データからの異常音判定対象の製品１６の動作音データのずれ値として予測する。
　また、ずれの程度を予測する機械学習モデルは、局所外れ値因子法（ＬＯＦ）を用いることができる。ＬＯＦを用いた機械学習モデルは、正常音データのずれ値の特徴の分布を学習済みである。ＬＯＦを用いた機械学習モデルは、後述するように、正常音データのずれ値の特徴の分布と、異常音判定対象の製品１６の動作音データのずれ値の特徴と、の関係から、異常音判定対象の製品１６の動作音が正常であるか異常であるかを予測できる。
　例えば図５に示すように、判定アルゴリズム部６２は、動作音データのずれ値の「特徴１」及び「特徴２」を表すグラフ上において、異常音判定対象の製品１６の動作音データのずれ値の特徴を表すプロットと、正常音データのずれ値の特徴を表すプロットの分布とを比較する。正常音データのずれ値の特徴を表すプロットの分布に、異常音判定対象の製品１６の動作音データのずれ値の特徴を表すプロットが含まれていれば、判定アルゴリズム部６２は、異常音判定対象の製品１６の動作音を正常と予測する。また、正常音データのずれ値の特徴を表すプロットの分布に、異常音判定対象の製品１６の動作音データのずれ値の特徴を表すプロットが含まれていなければ、判定アルゴリズム部６２は、異常音判定対象の製品１６の動作音を異常と予測する。なお、学習アルゴリズム部６０及び判定アルゴリズム部６２の処理の詳細については後述する。
　図３に戻り、表示制御部５８は作業者に提示する必要のある情報を表示装置５０２に表示する。例えば表示制御部５８は、異常音判定部５６が予測した異常音判定対象の製品１６の動作音が正常であるか否かの判定結果を表示装置５０２に表示する。表示制御部５８は表示装置５０２の表示に限らず、ブザーやサイレンによる出力、ランプやライトの点灯等により、作業者に情報を提示してもよい。
　なお、図３の機能ブロック図は本実施形態に係る異常音判定システム１の説明に不要な機能について適宜省略している。
　＜処理＞
　図６は本実施形態に係る異常音判定装置における機械学習処理の一例のフローチャートである。図７は本実施形態に係る異常音判定装置における機械学習処理の一例のイメージ図である。
　ステップＳ１０において、異常音判定装置１０は製品１６の正常音データをマイク１４Ａから取得する。ステップＳ１２において、異常音判定装置１０は正常音データを短時間フーリエ変換（ＳＴＦＴ）することで、例えば図７に示すような、正常音データの周波数領域表現の特徴量を得る。異常音判定装置１０は短時間フーリエ変換する前に、必要に応じて前処理（正規化、標準化、正則化）を行ってもよい。
　ステップＳ１４において、異常音判定装置１０はオートエンコーダを用いた機械学習モデルに、製品１６の正常音データを上手く復元できるような圧縮方法を学習させる。学習が終了すると、ステップＳ１６からステップＳ１８の処理に進み、異常音判定装置１０はオートエンコーダを用いた学習済みの機械学習モデルに、正常音データの周波数領域表現の特徴量を入力する。
　オートエンコーダを用いた学習済みの機械学習モデルは、入力された正常音データの周波数領域表現の特徴量（以下、正常音入力データと呼ぶ）を学習済みの圧縮方法で圧縮したあとで復元する。オートエンコーダを用いた学習済みの機械学習モデルは、例えば図７に示すような復元した正常音データの周波数領域表現の特徴量（以下、正常音復元データと呼ぶ）を出力する。
　ステップＳ２０において、異常音判定装置１０は正常音入力データと正常音復元データとの図７に示すような差分データを取得する。ステップＳ２２において、異常音判定装置１０は例えば図７に示すように差分データを時間方向及び周波数方向のそれぞれで平均をとり、時間方向の平均値及び周波数方向の平均値を算出する。
　ステップＳ２４～Ｓ３０において、異常音判定装置１０は算出した時間方向の平均値に対する処理を行う。また、ステップＳ３２～Ｓ３８において、異常音判定装置１０は算出した周波数方向の平均値に対する処理を行う。
　ステップＳ２４において、異常音判定装置１０は算出した時間方向の平均値で、ＬＯＦを用いた機械学習モデルに学習させる。学習が終了すると、ステップＳ２６からステップＳ２８の処理に進み、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに時間方向の平均値を入力してスコア（異常度）を出力する。ステップＳ３０において、異常音判定装置１０はスコアの分布をとり、３σの位置を示すスコアの値を、異常判定の閾値（閾値１）に決定する。
　また、ステップＳ３２において、異常音判定装置１０は算出した周波数方向の平均値でＬＯＦを用いた機械学習モデルに学習させる。学習が終了すると、ステップＳ３４からステップＳ３６の処理に進み、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに周波数方向の平均値を入力してスコア（異常度）を出力する。ステップＳ３８において、異常音判定装置１０はスコアの分布をとり、３σの位置を示すスコアの値を、異常判定の閾値（閾値２）に決定する。
　異常音判定装置１０は図６及び図７を用いた機械学習処理の後、図８～図１０に示すような異常音判定処理を行う。図８は本実施形態に係る異常音判定装置における異常音判定処理の一例のフローチャートである。図９及び図１０は本実施形態に係る異常音判定装置における異常音判定処理の一例のイメージ図である。
　ステップＳ５０において、異常音判定装置１０は、異常音判定対象の製品１６の動作音データをマイク１４Ａから取得する。ステップＳ５２において、異常音判定装置１０は異常音判定対象の製品１６の動作音データを短時間フーリエ変換することで、異常音判定対象の製品１６の動作音データの周波数領域表現の特徴量を得る。
　ステップＳ５４において、異常音判定装置１０は図６及び図７を用いて説明した機械学習処理により学習済みのオートエンコーダを用いた機械学習モデルに、異常音判定対象の製品１６の動作音データの周波数領域表現の特徴量を入力する。
　オートエンコーダを用いた学習済みの機械学習モデルは、入力された異常音判定対象の製品１６の動作音データの周波数領域表現の特徴量（以下、動作音入力データと呼ぶ）を学習済みの圧縮方法で圧縮したあとで復元する。また、オートエンコーダを用いた学習済みの機械学習モデルは、復元した動作音データの周波数領域表現の特徴量（以下、動作音復元データと呼ぶ）を出力する。
　ステップＳ５６において、異常音判定装置１０は動作音入力データと動作音復元データとの差分データを取得する。ステップＳ５８において、異常音判定装置１０は差分データを時間方向及び周波数方向のそれぞれで平均をとり、時間方向の平均値及び周波数方向の平均値を算出する。時間方向の平均値は、断続的に発生しうる異常音を検知する処理に利用する。また、周波数方向の平均値は、定常的に発生しうる異常音を検知する処理に利用する。
　ステップＳ６０において、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに時間方向の平均値を入力してスコア（ｓｃｏｒｅ１）を出力する。ステップＳ６２において、異常音判定装置１０はステップＳ６０で出力したスコア（ｓｃｏｒｅ１）と機械学習処理で決定した異常判定の閾値（閾値１）とを比較する。
　ステップＳ６０で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きければ、異常音判定装置１０は周囲音の影響を除去した後で動作音の判定を行うステップＳ６４～Ｓ６８の処理を行う。ステップＳ６４において、異常音判定装置１０はマイク１４Ｂから取得した周囲音データを確認する。異常音判定装置１０は周囲音データを短時間フーリエ変換することで、例えば図９に示す周囲音データの周波数領域表現の特徴量を得る。また、異常音判定装置１０は例えば図９に示すように前処理により、時間方向の平均値を算出する。
　ステップＳ６６において、異常音判定装置１０はステップＳ５８で算出した時間方向の平均値とステップＳ６４で算出した周囲音データの時間方向の平均値とを比較する。異常音判定装置１０は、図９に示すように、閾値を超えるピーク値の一致部分が小さくなるように、ステップＳ５８で算出した時間方向の平均値を修正する。ステップＳ６６の処理により、異常音判定装置１０は突発的に周囲で発生した強い音（例えばフォークリフトのクラクションや打撃音など）があれば、その音の影響を除去できる。ステップＳ６８において、異常音判定装置１０はステップＳ６６で修正された時間方向の平均値を、ＬＯＦを用いた学習済みの機械学習モデルに入力してスコア（ｓｃｏｒｅ１）を出力する。ステップＳ７０において、異常音判定装置１０はステップＳ６８で出力したスコア（ｓｃｏｒｅ１）と機械学習処理で決定した異常判定の閾値（閾値１）とを比較する。
　ステップＳ６８で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きければ、異常音判定装置１０はステップＳ８４において、異常音判定対象の製品１６の動作が異常と判定する。
　ステップＳ６０で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きくないか、又はステップＳ６８で出力したスコア（ｓｃｏｒｅ１）が機械学習処理で決定した異常判定の閾値（閾値１）より大きくなければ、異常音判定装置１０はステップＳ７２の処理を行う。
　ステップＳ７２において、異常音判定装置１０はＬＯＦを用いた学習済みの機械学習モデルに周波数方向の平均値を入力してスコア（ｓｃｏｒｅ２）を出力する。ステップＳ７４において、異常音判定装置１０はステップＳ７２で出力したスコア（ｓｃｏｒｅ２）と機械学習処理で決定した異常判定の閾値（閾値２）とを比較する。
　ステップＳ７２で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きければ、異常音判定装置１０は周囲音の影響を除去した後で動産音の判定を行うステップＳ７６～Ｓ８０の処理を行う。ステップＳ７６において、異常音判定装置１０はマイク１４Ｂから取得した周囲音データを確認する。異常音判定装置１０は周囲音データを短時間フーリエ変換することで、例えば図１０に示す周囲音データの周波数領域表現の特徴量を得る。また、異常音判定装置１０は例えば図１０に示すように前処理により、周波数方向の平均値を算出する。
　ステップＳ７８において、異常音判定装置１０はステップＳ７２で算出した周波数方向の平均値とステップＳ７６で算出した周囲音データの周波数方向の平均値とを比較し、図１０に示すように、ピーク値の一致部分が小さくなるように、ステップＳ７２で算出した周波数方向の平均値を修正する。ステップＳ７８の処理により、異常音判定装置１０は周期的に周囲で発生する音（例えばサイレン、他設備の動作音など）があれば、その音の影響を除去できる。
　ステップＳ８０において、異常音判定装置１０はステップＳ７８で修正された周波数方向の平均値を、ＬＯＦを用いた学習済みの機械学習モデルに入力してスコア（ｓｃｏｒｅ２）を出力する。ステップＳ８２において、異常音判定装置１０はステップＳ８０で出力したスコア（ｓｃｏｒｅ２）と機械学習処理で決定した異常判定の閾値（閾値２）とを比較する。
　ステップＳ８０で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きければ、異常音判定装置１０はステップＳ８４において、異常音判定対象の製品１６の動作が異常と判定する。
　ステップＳ７２で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きくないか、又はステップＳ８０で出力したスコア（ｓｃｏｒｅ２）が機械学習処理で決定した異常判定の閾値（閾値２）より大きくなければ、異常音判定装置１０はステップＳ８６の処理を行う。ステップＳ８６の処理において、異常音判定装置１０は異常音判定対象の製品１６の動作が正常と判定する。
　上記した本実施形態に係る異常音判定システム１は、例えば生産ラインの異常音検査に適用できる。生産ラインの異常音検査では、部品干渉などによって発生する異常音を作業者が聞いて判断する場合もある。しかしながら、作業者による異常音の判断基準は作業者の判断に依存している。このため、作業者による異常音検査では作業者によって製品１６の動作音の判定結果にばらつきが生じる場合があった。
　本実施形態に係る異常音判定システム１では、正常な製品１６の動作音データ（正常音データ）で機械学習モデルを学習し、正常音データの特徴と異常音判定対象の製品１６の動作音データの特徴とのずれの程度から、異常音判定対象の製品１６の動作音の異常を自動で判定できる。
　したがって、本実施形態に係る異常音判定システム１では、製品１６の異常音検査を自動化することができ、異常音検査要員を省人化できる。
　以上、本実施形態について説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
　例えば上記の実施形態では、ＬＯＦを用いた機械学習モデルに対して、時間方向の平均値を用いた学習と周波数方向の平均値を用いた学習との両方を行っているが、片方だけ行うようにしてもよい。また、上記の実施形態では、動作音が正常でないときに周囲音の影響を除去する処理を行っているが、予め周囲音の影響を動作音データから除去するようにしてもよい。
　例えば異常音判定装置１０が取得する情報は、マイク１４Ａ及び１４Ｂによる音圧に限定されず、振動センサにより測定されるデータ、電流電圧波形、その他の時系列データであってもよい。
　オートエンコーダを用いた機械学習モデルは一例であって、例えばＶＡＥ（variational autoencoder）やＧＡＮ（generative adversarial networks）など、その他のディープラーニングの手法を用いた機械学習モデルであってもよい。
　また、周波数方向、時間方向の平均値の算出は、差分データの生成後に求めるのではなく、オートエンコーダの入力前に各平均値を算出し、学習させてもよい。差分データの生成後、ＬＯＦを用いた機械学習モデルに入力するデータは平均値に限らず、その他の統計量（分散、最大、最小など）を用いても良い。また、平均値を主成分分析などで次元圧縮しても良い。
　また、ＬＯＦを用いた機械学習モデルは一例であって、ＬＯＦに限らず、マハラノビス距離やｏｎｅ－ｃｌａｓｓ　ＳＶＭ、ｉｓｏｌａｔｉｏｎ　ｆｏｒｅｓｔなど、その他の機械学習の手法を用いても良い。あるいはオートエンコーダと並列に、これら機械学習の手法を用いてアンサンブル学習を行っても良い。また、動作音の判定結果は、異常度を示すスコア以外に、正常／異常を示す０／１のラベルでもよい。正常／異常を決定する閾値は、現場の作業者が必要に応じて変更しても良い。また、本実施形態に係る異常音判定システム１は、十分静寂な環境である場合、周囲音除去部５４の機能をオフ（OFF）できるようにしてもよい。
　以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。本願は、日本特許庁に２０２１年２月１５日に出願された基礎出願２０２１―０２２０７０号の優先権を主張するものであり、その全内容を参照によりここに援用する。
　１　　異常音判定システム
　１０　　異常音判定装置
　１２　　検査装置
　１４Ａ、１４Ｂ　　マイク
　１６　　製品
　５０　　動作音データ取得部
　５２　　周囲音データ取得部
　５４　　周囲音除去部
　５６　　異常音判定部
　５８　　表示制御部
　６０　　学習アルゴリズム部
　６２　　判定アルゴリズム部

Claims (10)

  1. 　製品の動作音データを取得する動作音データ取得手段と、
    　周囲音データを取得する周囲音データ取得手段と、
    　前記動作音データから前記周囲音データを修正する修正手段と、
    　前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、
    を備える異常音判定システム。
  2. 　前記動作音データ取得手段は、防音ボックス内に設置された製品の動作音をマイクで収音すること
    を特徴とする請求項１記載の異常音判定システム。
  3. 　前記周囲音データ取得手段は、防音ボックス外で発生している周囲音をマイクで収音すること
    を特徴とする請求項１記載の異常音判定システム。
  4. 　前記判定手段は、複数の機械学習モデルを用いること
    を特徴とする請求項１記載の異常音判定システム。
  5. 　前記修正手段は、前記周囲音データに従って前記動作音データを修正すること
    を特徴とする請求項１乃至４の何れか一項に記載の異常音判定システム。
  6. 　前記判定手段は、前記製品の正常音データを学習し、前記製品の正常音データからの前記製品の動作音のずれ値を予測する第１機械学習モデルと、前記第１機械学習モデルにより予測した前記製品の正常音データの前記ずれ値のずれの程度を学習し、前記製品の動作音の前記ずれ値のずれの程度がしきい値より大きい場合に、前記製品の動作音を異常と予測する第２機械学習モデルと、で構成される判定アルゴリズムを利用する
    請求項１乃至５の何れか一項に記載の異常音判定システム。
  7. 　前記第１機械学習モデルは、自己符号化器（オートエンコーダ）を用いること
    を特徴とする請求項６記載の異常音判定システム。
  8. 　前記第２機械学習モデルは、局所外れ値因子法（Local Outlier Factor ：ＬＯＦ）を用いること
    を特徴とする請求項６又は７記載の異常音判定システム。
  9. 　製品の動作音データを取得する動作音データ取得手段と、
    　周囲音データを取得する周囲音データ取得手段と、
    　前記動作音データから前記周囲音データを修正する修正手段と、
    　前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定手段と、
    を備える異常音判定装置。
  10. 　コンピュータに、
    　製品の動作音データを取得する動作音データ取得ステップ、
    　周囲音データを取得する周囲音データ取得ステップ、
    　前記動作音データから前記周囲音データを修正する修正ステップ、
    　前記周囲音データを修正した前記動作音データで前記製品の動作音を判定する判定ステップ、
    を実行させるためのプログラム。
PCT/JP2022/005702 2021-02-15 2022-02-14 異常音判定システム、異常音判定装置、及びプログラム WO2022173041A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280013256.9A CN116848390A (zh) 2021-02-15 2022-02-14 异常声音判定系统、异常声音判定装置以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021022070 2021-02-15
JP2021-022070 2021-02-15

Publications (1)

Publication Number Publication Date
WO2022173041A1 true WO2022173041A1 (ja) 2022-08-18

Family

ID=82838367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005702 WO2022173041A1 (ja) 2021-02-15 2022-02-14 異常音判定システム、異常音判定装置、及びプログラム

Country Status (3)

Country Link
JP (1) JP7288218B2 (ja)
CN (1) CN116848390A (ja)
WO (1) WO2022173041A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7525137B1 (ja) 2024-02-22 2024-07-30 Ｓｉシナジーテクノロジー株式会社 学習済みオートエンコーダ、学習済みオートエンコーダの生成方法、非定常音の検出方法、非定常音の検出装置、並びにコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126141A (ja) * 2004-11-01 2006-05-18 Nidec Copal Corp 異音判定装置、異音判定方法及びプログラム
JP2007263639A (ja) * 2006-03-28 2007-10-11 Jfe Steel Kk 設備の異常診断方法及び装置
JP2019039901A (ja) * 2017-08-25 2019-03-14 地方独立行政法人東京都立産業技術研究センター 背景騒音下における対象音の近似官能評価方法および背景騒音下における対象音の近似官能評価システム
US20200401900A1 (en) * 2019-06-18 2020-12-24 Samsung Electronics Co., Ltd. Apparatus for performing class incremental learning and method of operating the apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126141A (ja) * 2004-11-01 2006-05-18 Nidec Copal Corp 異音判定装置、異音判定方法及びプログラム
JP2007263639A (ja) * 2006-03-28 2007-10-11 Jfe Steel Kk 設備の異常診断方法及び装置
JP2019039901A (ja) * 2017-08-25 2019-03-14 地方独立行政法人東京都立産業技術研究センター 背景騒音下における対象音の近似官能評価方法および背景騒音下における対象音の近似官能評価システム
US20200401900A1 (en) * 2019-06-18 2020-12-24 Samsung Electronics Co., Ltd. Apparatus for performing class incremental learning and method of operating the apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AOTO, YUTA; NAKAMURA, MASAMI; MAEDA, SHUNJI: "Proposal of outlier detection method for abnormal diagnosis of railway equipment", PROCEEDINGS OF THE 2020 JSPE SPRING MEETING, JAPAN SOCIETY FOR PRECISION ENGINEERING; MARCH 17-19, 2020, 1 March 2020 (2020-03-01), pages 602 - 603, XP009538972, DOI: 10.11522/pscjspe.2020S.0_602 *

Also Published As

Publication number Publication date
CN116848390A (zh) 2023-10-03
JP2022124477A (ja) 2022-08-25
JP7288218B2 (ja) 2023-06-07

Similar Documents

Publication Publication Date Title
US20200233397A1 (en) System, method and computer-accessible medium for machine condition monitoring
JP7304545B2 (ja) 異常予測システム及び異常予測方法
US11947863B2 (en) Intelligent audio analytic apparatus (IAAA) and method for space system
US20240046953A1 (en) Sound data processing method, sound data processing device, and program
JP5197853B2 (ja) モニタリング装置
WO2022173041A1 (ja) 異常音判定システム、異常音判定装置、及びプログラム
JP2020527816A (ja) 機械操作の音声ベースの監視のためのデバイスおよびその操作方法
JP7442102B2 (ja) 測定端末、測定システム、測定方法およびプログラム
JP2015114294A (ja) 音響装置の検査装置及び音響装置の検査方法並びに音響装置の検査プログラム
JPWO2015011791A1 (ja) 異常検知評価システム
US10887713B1 (en) Microphone defect detection
CN116564332A (zh) 频响分析方法、装置、设备及存储介质
JP2019185391A (ja) 状態判定装置
WO2019235035A1 (ja) 収音解析システム及び収音解析方法
US20230012559A1 (en) Abnormal sound identification device, abnormal sound identification method, and non-transitory storage medium
JP7383207B1 (ja) モータの異常判定システム
WO2019185015A1 (zh) 一种压电传感器信号噪声去除方法
JP2021156631A (ja) 異常検知装置および方法
WO2021074973A1 (ja) モデル生成方法、モデル生成装置、プログラム
KR20230152936A (ko) 인공지능 및 신호처리 기술을 이용한 비접촉식 전력설비 진단 방법 및 이를 이용한 장치
JP7251413B2 (ja) 疑似異音生成装置および制御プログラム
JP7334457B2 (ja) 異常検知システム、異常検知装置、異常検知方法およびプログラム
US20190350494A1 (en) Biological-sound analysis device, biological-sound analysis method, program, and storage medium
RU2793797C2 (ru) Интеллектуальное аудиоаналитическое устройство и способ для космического аппарата
US20240344933A1 (en) Method of identifying abnormal sound and abnormal sound identification device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752863

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202317051732

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 202280013256.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.11.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 22752863

Country of ref document: EP

Kind code of ref document: A1