WO2020158398A1 - 音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム - Google Patents

音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム Download PDF

Info

Publication number
WO2020158398A1
WO2020158398A1 PCT/JP2020/001149 JP2020001149W WO2020158398A1 WO 2020158398 A1 WO2020158398 A1 WO 2020158398A1 JP 2020001149 W JP2020001149 W JP 2020001149W WO 2020158398 A1 WO2020158398 A1 WO 2020158398A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
data
abnormal
abnormality
cluster
Prior art date
Application number
PCT/JP2020/001149
Other languages
English (en)
French (fr)
Inventor
悠馬 小泉
村田　伸
登 原田
翔一郎 齊藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/425,672 priority Critical patent/US11996120B2/en
Publication of WO2020158398A1 publication Critical patent/WO2020158398A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • the present invention relates to an abnormality detection technology for determining whether a monitoring target is in a normal state or an abnormal state.
  • abnormal sound detection This method solves the above problems by analyzing the operation sound picked up by the microphone and detecting a sound that seems to be abnormal (hereinafter called "abnormal sound") and raising an alert. To do. In this way, the technique of using sound to determine whether the monitoring target is in a normal state or an abnormal state is called abnormal sound detection.
  • Abnormal sound detection based on a statistical method is known as a solution to this problem (see Non-Patent Document 1, for example).
  • Abnormal sound detection based on statistical methods can be roughly classified into abnormal sound detection with a teacher and abnormal sound detection without a teacher.
  • the supervised abnormal sound detection a large amount of learning data of normal sound and abnormal sound is collected, and a discriminator is learned so as to maximize the discrimination rate.
  • the unsupervised abnormal sound detection the probability distribution (normal model) of the feature amount of the learning data of normal sound is learned, and if the newly collected sound is similar to the normal model (if the likelihood is high), it is regarded as normal. If not similar (if the likelihood is low), it is determined to be abnormal.
  • unsupervised abnormal sound detection is often used because it is difficult to collect a large amount of abnormal sound learning data.
  • an object of the present invention is to improve the accuracy of unsupervised abnormal sound detection by using a small number of obtained abnormal sound data.
  • the sound generation device of the first aspect of the present invention can be obtained from any device including a predetermined device, from a sound obtained from a predetermined device, and a predetermined device.
  • a sound generation device that generates a generated sound having a sound-likeness obtained from a device, a sound obtained from a predetermined device, and a probability distribution that a sound obtained from a desired device group including the predetermined device follows.
  • a generating unit that generates a generated sound by associating
  • the data generation device of the second aspect of the present invention from data belonging to a predetermined cluster, belongs to any cluster including a predetermined cluster, and data belonging to a predetermined cluster
  • a data generation device that generates generated data having a likelihood, and generates generated data by associating data belonging to a predetermined cluster with a probability distribution that data belonging to a desired cluster group including the predetermined cluster follows. It has a generator.
  • an abnormality degree calculation device of a third aspect of the present invention is an abnormality degree calculation device that calculates an abnormality degree of a determination target sound, and determines the determination target sound as at least an abnormal sound. It has a calculation unit that calculates the degree of abnormality by associating the degree of similarity with the registered sound group consisting of and the degree of dissimilarity with at least one normal sound.
  • the index value calculation device of the fourth aspect of the present invention is an index value calculation device for calculating the index value of the determination target data, the determination target data, the first It has a calculation unit that calculates the sum of the similarity with the data group of the cluster and the dissimilarity with the data group of the second cluster as an index value, and the first cluster belongs to the data to be determined.
  • the second cluster is a cluster for determining that the data to be determined does not belong.
  • the accuracy of abnormality detection is improved.
  • FIG. 1A is a diagram for explaining the concept of AUC maximization.
  • FIG. 1B is a diagram for explaining the concept of the Neyman-Pearson criterion.
  • FIG. 1C is a diagram for explaining the concept of conditional AUC maximization.
  • FIG. 2 is an experimental result showing the effect of the present invention.
  • FIG. 3 is a diagram illustrating a functional configuration of the abnormality score learning device.
  • FIG. 4 is a diagram illustrating a processing procedure of the abnormality score learning method.
  • FIG. 5 is a diagram illustrating a functional configuration of the abnormal sound detection device.
  • FIG. 6 is a diagram illustrating a processing procedure of the abnormal sound detection method.
  • the present invention provides a framework for improving the accuracy of unsupervised abnormal sound detection using the obtained small number of abnormal sound data.
  • a similarity function (or penalty) is estimated from a small number of abnormal sound data, and the abnormality score is calculated while using the similarity function.
  • the similarity function is defined as the similarity between a small number of abnormal sounds and the observed signal. That is, the observed signal similar to the abnormal sound obtained so far is given a penalty that makes it easy to determine that it is abnormal. Further, an observed signal that does not resemble a normal sound even if it does not resemble an abnormal sound obtained so far is given a penalty that makes it easier to determine that it is abnormal.
  • the false positive rate which is the probability that a normal observation signal is erroneously erroneously determined to be abnormal, is minimized under an abnormality determination threshold value that can determine all obtained abnormal data as abnormal.
  • An algorithm for optimizing the parameter of the abnormality score is provided.
  • Abnormal sound detection is a task that determines whether the status of the monitoring target that issued the input x is normal or abnormal.
  • x for example, as shown in Expression (1), a series of logarithmic amplitude spectra ln
  • Q is the number of past and future frames to consider in the input.
  • x is not limited to this, and may be the result of extracting the feature amount from the observed signal.
  • the abnormality degree A(x) is calculated from the input x as shown in the equation (2).
  • ⁇ ( ⁇ ) is a step function that returns 1 if the argument is nonnegative and 0 if it is negative. If the discrimination result is 1, it is determined that the observation signal is abnormal, and if it is 0, it is determined that it is normal.
  • the normal model and abnormal model In order to calculate equation (3), the normal model and abnormal model must be known. However, since each model is unknown, it needs to be estimated from the training data.
  • the normal model can be designed, for example, by learning the following Gaussian mixture model (GMM) from the operation sound data (normal data) in a normal state collected in advance.
  • GMM Gaussian mixture model
  • K is the number of mixtures
  • ⁇ , ⁇ ) is a Gaussian distribution with the mean vector ⁇ and the variance-covariance matrix ⁇ as parameters
  • w k is the weight of the kth distribution
  • ⁇ k is the kth distribution
  • ⁇ k is the variance-covariance matrix of the k-th distribution.
  • abnormality model While it is easy to collect a large amount of normal data, it is difficult to collect operating sound data (abnormal data) in an abnormal state. Therefore, in “unsupervised abnormal sound detection”, it is general to omit the abnormality model and define the abnormality degree A(x) as shown in Expression (5).
  • ⁇ Principle of the present invention When operating an unsupervised abnormal sound detection system in a real environment, there are times when abnormal data can be collected. For example, if the unsupervised abnormal sound detection system detects an abnormal state, abnormal data can be automatically obtained. Further, even if the unsupervised abnormal sound detection system misses the abnormal state, if the abnormal state is detected by a subsequent manual inspection or the like, the observation data up to that point can be used as the abnormal data. Especially in the latter case, it is necessary to update the system by using the observed abnormal data, because continuing to miss the abnormal condition will lead to a serious accident.
  • the present invention is a technique for improving the accuracy of abnormal sound detection by learning the parameters of the abnormality degree score using the abnormal data obtained during operation as described above.
  • ⁇ Design of abnormality score ⁇ a similarity function representing the similarity score of the k-th registered sound m k ⁇ R Q and the observation data X ⁇ R Q and S (x, m k, ⁇ S k).
  • ⁇ S k is a parameter of the similarity function.
  • the negative log-likelihood of the normal distribution learned from only normal data is set to -lnp(x
  • the abnormality degree B(x, ⁇ K ) can be calculated as equation (7) at any K.
  • the Kth abnormal sample can be registered without modifying the abnormality score obtained from the K-1th abnormal samples.
  • the anomaly score is defined as a function that calculates the weighted sum of the similarity between the obtained anomaly data and the observed signal, so that if the obtained anomaly data and the observed signal are similar,
  • the unsupervised abnormal sound detection system is updated/corrected by using it as a penalty term for inducing abnormal judgment.
  • the parameter to be obtained is ⁇ S k .
  • the horizontal axis is the false positive rate (FPR), which is the probability that a normal observation signal is mistakenly determined to be abnormal, and the vertical axis is determined to be an abnormal observation signal.
  • the objective function may be designed by using AUC (Area Under the Receiver Operating Characteristic Curve) which is the lower area of the curve when the true positive rate (TPR: True Positive Rate) which is the probability that can be achieved. If the degree of abnormality is defined by the equation (6), the true positive rate (TPR) and the false positive rate (FPR) can be defined by the equations (8) and (9).
  • z ⁇ 0) is the probability distribution that a non-normal sound follows.
  • K-TPR true positive rate for the newly obtained Kth abnormal sound
  • the expression (11) that minimizes the false positive rate (FPR) is defined as the objective function of the present invention. To do.
  • the objective function of Expression (11) will be referred to as “conditional AUC maximization”.
  • FIG. 1 is a diagram showing a difference in concept between the conventional “AUC maximization” (FIG. 1A) and “Neyman-Pearson criterion” (FIG. 1B) and the “conditional AUC maximization” (FIG. 1C) of the present invention.
  • the dotted line in the figure is the receiver operating characteristic (ROC) curve before learning, and the solid line is the ROC curve after learning.
  • AUC is the area of the region between the ROC curve and the x-axis, and learning is performed to increase this area when AUC is maximized.
  • the Neyman-Pearson criterion maximized the AUC by improving the TPR in the area where the false positive rate (FPR) was a certain value (left of the broken line, area A1).
  • conditional AUC maximization is equivalent to directly maximizing AUC in the area where the true positive rate (TPR) is 1.0 (right of the broken line, area A2). That is, the constraint term changes to the true positive rate (TPR) instead of the false positive rate (FPR).
  • conditional AUC maximization minimizes the probability that the objective function will erroneously determine normal data to be abnormal under the condition that abnormal data can be reliably determined to be abnormal.
  • Equation (11) can be written as Equation (13) if
  • the difficulty in obtaining the true positive rate (K-TPR) in equation (10) is that the above integration cannot be performed analytically. Therefore, in the present invention, the above integration is approximately performed by the sampling method.
  • the condition for satisfying Equation (12) using these samples is that ⁇ ⁇ is smaller than all the anomalies determined from the generated samples. Therefore, ⁇ ⁇ is determined as follows.
  • ⁇ is a positive constant.
  • ⁇ is a step size.
  • ⁇ ( ⁇ ) cannot obtain its gradient, it is approximated by a sigmoid function.
  • the objective function may be changed as shown in Expression (17).
  • the objective function is the abnormal data itself or the abnormal data pseudo-generated from the obtained abnormal data by using the variational auto-encoder, with the constraint that it can be reliably determined to be abnormal.
  • An abnormality degree score is learned so as to minimize the probability of erroneous determination as abnormality.
  • I represents properly selected I normal sound data.
  • 1 ⁇ D(x, y) ⁇ 2 is a function that returns a value close to 2 if x and y are similar, and a value close to 1 if x and y are not similar.
  • the similarity function is configured only from the viewpoint of whether x and m k are similar, it is impossible to detect an abnormal sound that is an abnormal sound but is not similar to the registered abnormal sound.
  • the similarity function of equation (18) is similar to the registered abnormal sound, but if it is not similar to the registered normal sound, the similarity score increases, so that it becomes an unknown unregistered abnormal sound. Also, the detection accuracy is improved.
  • FIG. 2 is an experimental result showing that the detection accuracy is improved by the present invention.
  • the “AE” in the table of FIG. 2 is a method of using the negative log-likelihood of the normal distribution learned from normal data as the abnormality score, and the “SNIPER” is a method using the above similarity function. Corresponding to. The higher the value, the higher the detection accuracy. It can be seen from FIG. 2 that the method of the present invention improves detection accuracy not only for registered class sounds (door or pageturn) but also for all abnormal sounds (all).
  • each parameter can be updated as follows. First, an abnormal sample is generated to obtain the threshold value ⁇ ⁇ .
  • an abnormal sample is generated using a variational auto encoder (see Reference 3 below).
  • Variational auto-encoders have the ability to generate data that is similar to the input (ie, while preserving the features of the input) but different. Using the feature, a variational auto encoder is learned so that any sound can be sampled. When a registered sound is obtained, a variational auto encoder is used to sample a sound similar to the registered sound.
  • ⁇ V be the encoder of the variational auto encoder (a neural network that outputs the mean and variance of hidden variables), and let D V be the decoder of the variational auto encoder.
  • D V the decoder of the variational auto encoder.
  • Gaussian is a normal distribution
  • ⁇ E V is an encoder parameter
  • ⁇ D V is a decoder parameter.
  • the embodiment of the present invention uses the abnormality score learning device 1 that learns the parameter of the abnormality score described above, and the abnormal sound that determines whether the observed signal is normal or abnormal using the parameter learned by the abnormality score learning device 1. And the detection device 2.
  • the abnormality score learning device 1 of the embodiment includes an input unit 11, an abnormal sound generation unit 12, a threshold value determination unit 13, a parameter update unit 14, a convergence determination unit 15, and an output unit 16 as illustrated in FIG. 3. ..
  • the abnormality degree score learning apparatus 1 implements the abnormality degree score learning method of the embodiment by performing the processing of each step illustrated in FIG. 4.
  • the abnormality score learning device 1 is configured by loading a special program into a known or dedicated computer having, for example, a central processing unit (CPU: Central Processing Unit) and a main storage device (RAM: Random Access Memory). It is a special device.
  • the abnormality score learning device 1 executes each process under the control of the central processing unit, for example.
  • the data input to the abnormality score learning device 1 and the data obtained in each process are stored in, for example, the main storage device, and the data stored in the main storage device is read to the central processing unit as necessary. And used for other processing.
  • At least a part of each processing unit of the abnormality score learning device 1 may be configured by hardware such as an integrated circuit.
  • the input unit 11 receives the normal model p(x
  • z 0), normal sound data, and abnormal sound data as inputs.
  • the normal sound data is a large amount of sound data in which sounds generated by a device in a normal state are recorded.
  • the abnormal sound data is a small amount of sound data in which sounds generated by an abnormal device are recorded.
  • the normal sound data to be input is preferably the same as the normal sound data used for learning the normal model p(x
  • z 0), but it does not necessarily have to be the same.
  • the threshold value determining unit 13 outputs the determined threshold value ⁇ ⁇ to the parameter updating unit 14.
  • step S14 the parameter updating unit 14 receives the threshold value ⁇ ⁇ from the threshold value determining unit 13 and updates the parameter ⁇ K based on the equation (11).
  • step S15 the convergence determination unit 15 determines whether or not a preset termination condition is satisfied.
  • the convergence determination unit 15 advances the process to step S16 if the ending condition is satisfied, and returns the process to step S12 if the ending condition is not satisfied.
  • the end condition may be set, for example, that steps S12 to S14 are repeated 500 times.
  • step S16 the output unit 16 outputs the learned parameter ⁇ K.
  • the abnormal sound detection device 2 of the embodiment includes a parameter storage unit 20, an input unit 21, an abnormality degree acquisition unit 22, a state determination unit 23, and an output unit 24.
  • the abnormal sound detection device 2 implements the abnormal sound detection method of the embodiment by performing the processing of each step illustrated in FIG. 6.
  • the abnormal sound detection device 2 is configured, for example, by loading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. It is a special device.
  • the abnormal sound detection device 2 executes each process under the control of the central processing unit, for example.
  • the data input to the abnormal sound detection device 2 and the data obtained in each process are stored in, for example, the main storage device, and the data stored in the main storage device are read to the central processing unit as necessary. Used for other processing.
  • At least a part of each processing unit of the abnormal sound detection device 2 may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the abnormal sound detection device 2 is, for example, a main storage device such as a RAM (Random Access Memory), an auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory), Alternatively, it can be configured by middleware such as a relational database or a key-value store.
  • a main storage device such as a RAM (Random Access Memory)
  • auxiliary storage device configured by a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory)
  • middleware such as a relational database or a key-value store.
  • the parameter storage unit 20 stores a normal model p(x
  • z 0), a learned parameter ⁇ K, and a threshold ⁇ .
  • the threshold value ⁇ may be the threshold value ⁇ ⁇ determined by the threshold value determining unit 13 of the abnormality degree score learning device 1 or may be a threshold value manually given in advance.
  • step S21 the input unit 21 receives as an input the observation signal x targeted for abnormal sound detection.
  • the input unit 21 outputs the observation signal x to the abnormality degree acquisition unit 22.
  • step S22 the abnormality degree acquisition unit 22 receives the observation signal x from the input unit 21, calculates the equation (6), and obtains the abnormality degree B(x, ⁇ K ).
  • the abnormality degree acquisition unit 22 outputs the obtained abnormality degree B(x, ⁇ K ) to the state determination unit 23.
  • step S23 the state determination unit 23 receives the abnormality degree B(x, ⁇ K ) from the abnormality degree acquisition unit 22, calculates equation (3), and determines whether the observation signal x is normal or abnormal.
  • the state determination unit 23 outputs a determination result, which is binary data indicating whether the observed signal x is normal or abnormal, to the output unit 24.
  • step S24 the output unit 24 receives the determination result from the state determination unit 23 and outputs the determination result as the output of the abnormal sound detection device 2.
  • the abnormality score learning device 1 has a configuration in which an abnormal sample is pseudo-generated to learn the parameter of the abnormality score, but an abnormal sound generation device having only a function of pseudo-generating an abnormal sample is configured. It is also possible to do so.
  • This abnormal sound generation device includes an abnormal sound generation unit 12 included in the abnormality score learning device 1 of the embodiment. In this abnormal sound generation device, for example, a small amount of abnormal data is input, the abnormal sound generation unit 12 pseudo-generates an abnormal sample using the abnormal data, and outputs the abnormal sample as an output of the abnormal sound generation device.
  • the abnormal sound detection device 2 calculates the abnormality score from the observation signal and determines whether the abnormality is normal or abnormal using the abnormality score.
  • the abnormality score is calculated from the observation signal. It is also possible to configure an abnormality degree calculating device having only the function.
  • This abnormality degree calculation device includes a parameter storage unit 20 and an abnormality degree acquisition unit 22 included in the abnormal sound detection device 2 of the embodiment.
  • This abnormality degree calculating device receives, for example, an observation signal, and the abnormality degree acquisition unit 22 calculates an abnormality degree score of the observation signal by using the learned parameter stored in the parameter storage unit 20.
  • the abnormality score is output from the abnormality calculation device.
  • the configuration in which the function of pseudo-generating an abnormal sample is used to learn the parameter of the abnormality degree score has been described, but the use of this function is not limited to this, and many of them having a specific feature are described. Any technique that requires a sample can be applied. Further, in the above-described embodiment, the configuration in which the function of calculating the abnormality score from the observed signal is used to determine whether the target device is normal or abnormal is described, but the use of this function is not limited to this. Instead, it can be applied as long as it is a technique for determining the state from the obtained sample.
  • the abnormality score learning device 1 and the abnormal sound detection device 2 are configured as separate devices.
  • the abnormality learning is performed using the function of learning the parameter of the abnormality score and the learned parameter.
  • the abnormal sound detection device of the modified example includes the input unit 11, the abnormal sound generation unit 12, the threshold value determination unit 13, the parameter update unit 14, the convergence determination unit 15, the parameter storage unit 20, the input unit 21, and the abnormality degree acquisition unit 22. , A state determination unit 23, and an output unit 24.
  • the abnormal sound detection targeting sound data has been described, but the present invention can be applied to other than sound data.
  • the present invention can be applied to time-series data other than sound data and image data.
  • x should be made suitable for the application target. If it is a vibration sensor or stock price data, it may be a collection of these time-series information or a Fourier transform of it, and if it is an image, the image feature amount or it is analyzed by a neural network or the like. It may be the result.
  • the abnormal sound detection device 2 determines whether the observation data is normal or abnormal by using a normal model that has learned normal data that is normal data and an abnormality degree score that has learned abnormal data that is abnormal data. It functions as a determination abnormality detection device.
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, or the like.
  • Distribution of this program is performed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage device. Then, when executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program.
  • a computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be sequentially executed.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by executing the instruction and acquiring the result without transferring the program from the server computer to this computer. May be It should be noted that the program in this embodiment includes information that is used for processing by an electronic computer and that is equivalent to the program (data that is not a direct command to a computer, but has the property of defining computer processing).
  • the device is configured by executing a predetermined program on the computer, but at least a part of the processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

教師なし異常音検知の精度を向上する。異常音生成部１２は、所定の機器から得られた音と所望の機器群から得られた音が従う確率分布とを関連付けることで疑似異常音を生成する。閾値設定部１３は、疑似異常音から算出される異常度すべてが異常と判定されるように閾値を設定する。パラメータ更新部１４は、得られた正常音と得られた異常音もしくは得られた異常音に基づく値と閾値とを用いて、異常音を確実に異常と判定し、かつ、正常音を異常と判定する確率を最小化するようにパラメータを更新する。

Description

音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム
　本発明は、監視対象が正常な状態か異常な状態かを判定する異常検知技術に関する。
　工場などに設置された大型の製造機や造型機などの業務用機器は、故障により稼働が停止するだけで業務に大きな支障をもたらす。そのため、その動作状況を日常的に監視し、異常が発生し次第ただちに対処を行う必要がある。解決案として、業務用機器の管理業者が、定期的に現場へ整備員を派遣し、パーツの摩耗などを確認する方法がある。しかし、多大な人件費や移動費、労力が掛かるため、すべての業務用機器や工場でこれを実施することは難しい。この解決手段として、業務用機器の内部にマイクロホンを設置し、その動作音を日常的に監視する方法がある。この方法では、マイクロホンで収音した動作音を解析し、異常と思われる音（以下、「異常音」と呼ぶ）が発生したら、それを検知し、アラートを上げることで、上記の問題を解決する。このように、音を利用して監視対象が正常な状態か異常な状態かを判定する技術は、異常音検知と呼ばれている。
　機器の種類や個体毎に異常音の種類と検出方法を設定するのではコストが掛かる。そのため、異常音を検知するルールを自動設計できることが望ましい。この解決方法として、統計的手法に基づく異常音検知が知られている（例えば、非特許文献１参照）。統計的手法に基づく異常音検知は、教師あり異常音検知と教師なし異常音検知とに大別できる。教師あり異常音検知では、正常音と異常音の学習データを大量に収集し、この識別率を最大化するように識別器を学習する。一方、教師なし異常音検知では、正常音の学習データの特徴量の確率分布（正常モデル）を学習し、新しく収集した音が正常モデルと類似していれば（尤度が高ければ）正常と判定し、類似していなければ（尤度が低ければ）異常と判定する。産業的応用では、異常音の学習データを大量に集めることが困難であるため、多くの場合、教師なし異常音検知が採用される。
井出剛、杉山将、"異常検知と変化検知"、講談社、pp. 6-7、2015年
　異常音検知システムを運用していると、稀に異常音を見逃してしまうことがある。異常音の見逃しを放置しておくと重大な事故につながる可能性があるため、収集できた異常音を用いて、同じ異常音を二度と見逃さないように異常音検知システムをアップデートする必要がある。しかしながら、得られる異常音のデータ量は、正常音のデータ量に比べて圧倒的に少なく、いまだ教師あり異常音検知を適用することは困難である。
　本発明の目的は、上記のような点に鑑みて、得られた少数の異常音データを用いて教師なし異常音検知の精度を向上することである。
　上記の課題を解決するために、本発明の第一の態様の音生成装置は、所定の機器から得られた音から、所定の機器を含むいずれかの機器から得られうる、かつ、所定の機器から得られた音らしさを有する生成音を生成する音生成装置であって、所定の機器から得られた音と、所定の機器を含む所望の機器群から得られた音が従う確率分布と、を関連付けることで生成音を生成する生成部を有する。
　上記の課題を解決するために、本発明の第二の態様のデータ生成装置は、所定のクラスタに属するデータから、所定のクラスタを含むいずれかのクラスタに属し、かつ、所定のクラスタに属するデータらしさを有する生成データを生成するデータ生成装置であって、所定のクラスタに属するデータと、所定のクラスタを含む所望のクラスタ群に属するデータが従う確率分布と、を関連付けることで生成データを生成する生成部を有する。
　上記の課題を解決するために、本発明の第三の態様の異常度算出装置は、判定対象の音の異常度を算出する異常度算出装置であって、判定対象の音を、少なくとも異常音からなる登録音群との類似度と、少なくとも１つの正常音との非類似度と、を関連付けることで異常度を算出する算出部を有する。
　上記の課題を解決するために、本発明の第四の態様の指標値算出装置は、判定対象のデータの指標値を算出する指標値算出装置であって、判定対象のデータを、第一のクラスタのデータ群との類似度と、第二のクラスタのデータ群との非類似度と、の和を指標値として算出する算出部を有し、第一のクラスタは判定対象のデータが属していることを判定するクラスタであり、第二のクラスタは判定対象のデータが属していないことを判定するクラスタである。
　本発明の異常検知技術によれば、異常検知の精度が向上する。
図１ＡはAUC最大化の概念を説明するための図である。図１Ｂはネイマン・ピアソン基準の概念を説明するための図である。図１Ｃは条件付きAUC最大化の概念を説明するための図である。 図２は本発明の効果を示す実験結果である。 図３は異常度スコア学習装置の機能構成を例示する図である。 図４は異常度スコア学習方法の処理手続きを例示する図である。 図５は異常音検知装置の機能構成を例示する図である。 図６は異常音検知方法の処理手続きを例示する図である。
　本発明では、得られた少数の異常音データを用いて教師なし異常音検知の精度を向上する枠組みを提供する。本発明では、少数の異常音データから類似度関数（もしくはペナルティ）を推定し、それを併用しながら異常度スコアを計算する。類似度関数は少数の異常音と観測信号の類似度として定義する。すなわち、今までに得ている異常音と類似した観測信号には、異常と判定しやすくなるペナルティを与える。また、今までに得ている異常音と類似しなくとも正常音と類似しない観測信号には、異常と判定しやすくなるペナルティを与える。この異常度スコアを学習するために、得られている異常データをすべて異常と判定できる異常判定閾値の下で、正常な観測信号を誤って異常と誤判定する確率である偽陽性率を最小化するように異常度スコアのパラメータを最適化するアルゴリズムを提供する。
　＜教師なし異常音検知＞
　異常音検知とは、入力xを発した監視対象の状況が正常か異常かを判定するタスクである。ここで、xには、例えば式（１）のように、観測信号の対数振幅スペクトルln|Xt,f|を並べたものを用いることができる。
Figure JPOXMLDOC01-appb-M000001
ここで、t={1, 2, …, T}は時間のインデックス、f={1, 2, …, F}は周波数のインデックス、Qは入力で考慮する過去と未来のフレーム数である。xはこれに限らず、観測信号から特徴量を抽出した結果でもよい。
　統計的手法に基づく異常音検知では、式（２）に示すように、入力xから異常度A(x)を算出する。
Figure JPOXMLDOC01-appb-M000002
ここで、p(x| z=0)は監視対象が正常状態のときにxを発する確率分布（正常モデル）、p(x| z=1)は監視対象が異常状態のときにxを発する確率分布（異常モデル）である。そして、式（３）に示すように、異常度A(x)が事前に定義した閾値φより大きければ監視対象は異常、小さければ正常と判断する。
Figure JPOXMLDOC01-appb-M000003
ここで、Η(・)は引数が非負なら１、負なら０を返すステップ関数である。識別結果が１ならば観測信号を異常と判定し、０ならば正常と判定する。
　式（３）を計算するためには、正常モデルと異常モデルとが既知でなくてはならない。しかしながら、各モデルは未知であるため、学習データから推定する必要がある。正常モデルは例えば、事前に収集した正常状態の動作音データ（正常データ）から、以下の混合ガウス分布（GMM: Gaussian Mixture Model）を学習することで設計できる。
Figure JPOXMLDOC01-appb-M000004
ただし、Kは混合数、Ν(x|μ, Σ)は平均ベクトルμと分散共分散行列Σとをパラメータとするガウス分布、wkはk番目の分布の重み、μkはk番目の分布の平均ベクトル、Σkはk番目の分布の分散共分散行列である。
　正常データは大量に収集することが容易な一方、異常状態の動作音データ（異常データ）を収集することは困難である。そこで、「教師なし異常音検知」では、異常モデルを省略し、式（５）に示すように異常度A(x)を定義することが一般的である。
Figure JPOXMLDOC01-appb-M000005
　つまり、教師なし異常音検知では、正常モデルと観測信号が類似しているならば正常と判定し、類似していないなら異常と判定する。
　＜本発明の原理＞
　実環境で教師なし異常音検知システムを運用していると、異常データを収集できるときがある。例えば、教師なし異常音検知システムが異常状態を検知すれば、自動的に異常データを得ることができる。また、教師なし異常音検知システムが異常状態を見逃したとしても、その後の人手の検査などで異常状態が発覚すれば、それまでの観測データを異常データとして用いることができる。特に後者のようなケースでは、異常状態の見逃しを続けると重大な事故に繋がるため、観測できた異常データを用いてシステムをアップデートすべきである。本発明は、上記のように運用中に得られた異常データを用いて異常度スコアのパラメータを学習することで、異常音検知の精度を向上させる技術である。
　≪異常度スコアの設計≫
　k番目の登録音mk∈RQと観測データx∈RQの類似度スコアを表す類似度関数をS(x, mk, θS k)とする。ここでθS kは類似度関数のパラメータである。正常データだけから学習した正常分布の負の対数尤度を-lnp(x|z=0, θA)とし、K-1個の異常音{mk}k=1 K-1が登録されているとすれば、異常度スコアB(x, θK-1)は式（６）として計算できる。
Figure JPOXMLDOC01-appb-M000006
ここで、θK-1={θA, θS 1, …, θS K-1}であり、γは類似度関数の重みである。例えば、γ=1とする。
　このとき、新たにK番目の異常音mKが得られた場合、任意のKで異常度B(x, θK)を式（７）として計算することができる。
Figure JPOXMLDOC01-appb-M000007
　このように異常度スコアを定義することで、逐次的な追加学習が可能となる。すなわち、K-1番目までの異常サンプルから得られた異常度スコアに手を加えることなく、K番目の異常サンプルを登録できる。
　つまり本発明では、異常度スコアを、得られた異常データと観測信号の類似度の重み付き和を算出する関数として定義することで、得られた異常データと観測信号とが類似しているならば異常と判定するように誘導するペナルティ項として用いて、教師なし異常音検知システムを更新／補正する。
　≪目的関数の設計≫
　本発明の異常度である式（６）において、求めるべきパラメータはθS kである。学習データを用いてパラメータを求めるためには、「どのようなパラメータがシステムにとって良いパラメータなのか」を数学的に記述した「目的関数」を適切に設計しなくてはならない。異常音検知の目的関数では、横軸を正常な観測信号を誤って異常と誤判定する確率である偽陽性率（FPR: False Positive Rate）とし、縦軸を異常な観測信号を正しく異常と判定できる確率である真陽性率（TPR: True Positive Rate）としたときの、曲線の下部面積であるAUC（Area Under the Receiver Operating Characteristic Curve）を利用して目的関数を設計することがある。なお、式（６）で異常度を定義するならば、真陽性率（TPR）と偽陽性率（FPR）は、式（８）（９）のように定義できる。
Figure JPOXMLDOC01-appb-M000008
ここで、p(x| z≠0)は正常音ではない音が従う確率分布である。
　初期の研究では、AUC全体を最大化するように学習が行われていた（下記参考文献１参照）。一方、近年の研究では、教師なし異常音検知を仮説検定とみなすことで、ある危険率（例えば、偽陽性率）に対する条件下で真陽性率を最大化するように教師なし異常音検知システムを学習することで、異常音検知の性能が向上することが明らかになっている（下記参考文献２参照）。このような概念は、「ネイマン・ピアソン基準」と呼ばれている。
　〔参考文献１〕A. P. Bradley, "The Use of the Area Under the ROC Curve in the Evaluation of Machine Learning Algorithms," Pattern Recognition, pp. 1145-1159, 1996.
　〔参考文献２〕Y. Koizumi, et al., "Optimizing Acoustic Feature Extractor for Anomalous Sound Detection Based on Neyman-Pearson Lemma," EUSIPCO, 2017.
　異常音検知システムにおいて、異常状態の見逃しを続けると重大な事故につながる可能性がある。監視対象機器が取り得るすべての異常データを得ることが困難なため、監視対象機器が取り得るすべての異常状態の見逃しを防ぐことは困難である。しかしながら、少なくとも得られている異常データと類似する異常状態は、必ず異常と判定するようにシステムを構築することは可能である。新たに得られたK番目の異常音に対する真陽性率をK-TPRとし、以下のように定義する。
Figure JPOXMLDOC01-appb-M000009
　このK番目に得られた異常音に対する真陽性率（K-TPR）が1.0となる条件のもとで、偽陽性率（FPR）を最小化する式（11）を、本発明の目的関数とする。以下、式（11）の目的関数を、「条件付きAUC最大化」と呼ぶことにする。
Figure JPOXMLDOC01-appb-M000010
　図１は、従来の「AUC最大化」（図１Ａ）や「ネイマン・ピアソン基準」（図１Ｂ）と、本発明の「条件付きAUC最大化」（図１Ｃ）との概念の違いを表す図である。図中の点線は学習前の受信者動作特性（ROC: Receiver Operating Characteristic）曲線であり、実線は学習後のROC曲線である。またAUCは、ROC曲線とx軸がはさむ領域の面積であり、AUC最大化ではこの面積を増加させるように学習を行う。ネイマン・ピアソン基準は、偽陽性率（FPR）が特定の値になる領域のTPRを向上させることで、AUCを最大化していた（破線より左、A1の領域）。一方、条件付きAUC最大化は、真陽性率（TPR）が1.0となる領域のAUCを直接最大化していることに等しい（破線より右、A2の領域）。すなわち、制約項が偽陽性率（FPR）でなく真陽性率（TPR）に変化している。つまり、条件付きAUC最大化では、目的関数を、異常データを確実に異常と判定できる条件下で、正常データを異常と誤判定する確率を最小化するものとしている。
　≪学習方法≫
　目的関数を計算機上で実現するアルゴリズムを考える。式（11）における制約項は、適切な閾値を設定することで満たすことができる。ここでφρが
Figure JPOXMLDOC01-appb-M000011
を満たすなら、式（11）は式（13）のように書くことができる。
Figure JPOXMLDOC01-appb-M000012
　したがって、上記のような閾値φρを求めることで、最適化は容易になる。
　式（10）で真陽性率（K-TPR）を求める上で困難になるのは、上記の積分が解析的に実行できない点にある。そこで本発明では、上記の積分をサンプリング法で近似的に実行する。まず、後述する変分オートエンコーダを用いて、I個の異常サンプルY:={yi}i=1 Iを擬似生成する。これらのサンプルを用いて式（12）を満たすための条件は、φρが、生成されたサンプルから求められるすべての異常度よりも小さいことである。そこで、φρを以下のように決定する。
Figure JPOXMLDOC01-appb-M000013
ここで、βは正の定数である。
　最後に、式（11）を最大化したいが、式（９）における偽陽性率（FPR）内の積分も解析的に計算できない。そこで、正常データの中から、ランダムにJ個を選択し、積分をそのデータから計算される値の和に近似して勾配を計算する確率的勾配法で最適化を行う。
Figure JPOXMLDOC01-appb-M000014
ここで、αはステップサイズである。ただし、ステップ関数であるΗ(・)はその勾配を求めることができないため、シグモイド関数で近似する。なお、目的関数は式（17）のように変更してもよい。
Figure JPOXMLDOC01-appb-M000015
　つまり本発明では、目的関数を、得られた異常データそのものまたは得られた異常データから変分オートエンコーダを用いて疑似生成した異常データを、確実に異常と判定できることを制約条件として、正常データを異常と誤判定する確率を最小化するものとして、異常度スコアを学習する。
　＜実装例＞
　上述した本発明の異常音検知の原理を実装する例を説明する。本発明における類似度関数を式（18）（19）（20）のように定義する。
Figure JPOXMLDOC01-appb-M000016
ここで、○は要素毎の乗算を表す。つまり類似度関数SのパラメータはθS k:={Wk, gk}であり、Wk∈RD×Qは次元圧縮行列、gk∈RQはxやmkの不要な要素（ノイズが乗りやすい要素）を事前に０に設定するためのマスクベクトルである。gkはなくてもよいが、ある方が動作は安定する。
　{ni}i=1 Iは適当に選択したI個の正常音データを表す。1≦D(x, y)≦2は、xとyが似ていれば２に近い値、xとyが似ていなければ１に近い値を返す関数である。
　類似度関数S(x, mk, θS k)を概念的に捉えると、定数を除けば以下のような意味である。
Figure JPOXMLDOC01-appb-M000017
　類似度関数をxとmkが似ているか、という観点のみで構成した場合、異常音ではあるものの登録された異常音と似ていない異常音については検知することができない。一方、式（18）の類似度関数は、登録された異常音と似ていない場合でも、登録された正常音と似ていなければ類似度スコアが上がるため、登録されていない未知の異常音に対しても検知精度が向上する。
　図２は本発明により検知精度が向上することを示す実験結果である。図２の表の“AE”が正常データから学習した正常分布の負の対数尤度を異常度スコアとする方法であり、“SNIPER”が上述の類似度関数を用いた方法であり、本発明に対応する。数値が高いほど検知精度が高いことを表す。図２によれば、本発明の方法では、登録されたクラスの音（doorまたはpageturn）だけでなく、すべての異常音（all）に対しても検知精度が向上していることがわかる。
　式（18）の類似度関数を用いた場合、各パラメータは以下のように更新することができる。まず、閾値φρを求めるために、異常サンプルを生成する。ここでは、変分オートエンコーダ（下記参考文献３参照）を用いて異常サンプルを生成する。
　〔参考文献３〕D. P. Kingma, and M. Welling, "Auto-Encoding Variational Bayes," in Proc. of International Conference on Learning Representations (ICLR), 2013.
　異常音はあらゆる音の一部である。そのため、あらゆる音をサンプリングできる関数があれば、異常音もサンプリングできることになる。変分オートエンコーダは、入力と似ている（すなわち、入力の特徴を保存しつつ）、かつ、それとは異なるデータを生成する機能を有する。その特徴を用いて、あらゆる音をサンプリングできるよう変分オートエンコーダを学習しておき、登録音が得られたら、変分オートエンコーダを用いてその登録音と類似した音をサンプリングする。
　εVを変分オートエンコーダのエンコーダ（隠れ変数の平均と分散を出力するニューラルネットワーク）、DVを変分オートエンコーダのデコーダとする。この変分オートエンコーダを用いてn番目の異常サンプルxn (K)を以下のようにサンプリングする。
Figure JPOXMLDOC01-appb-M000018
ここで、～は右辺の確率分布からのサンプリング、Gaussianは正規分布、θE Vはエンコーダのパラメータ、θD Vはデコーダのパラメータを表す。
　＜実施形態＞
　以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　本発明の実施形態は、上述した異常度スコアのパラメータを学習する異常度スコア学習装置１と、異常度スコア学習装置１が学習したパラメータを用いて観測信号が正常か異常かを判定する異常音検知装置２とからなる。
　≪異常度スコア学習装置≫
　実施形態の異常度スコア学習装置１は、図３に例示するように、入力部１１、異常音生成部１２、閾値決定部１３、パラメータ更新部１４、収束判定部１５、および出力部１６を備える。この異常度スコア学習装置１が、図４に例示する各ステップの処理を行うことにより実施形態の異常度スコア学習方法が実現される。
　異常度スコア学習装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。異常度スコア学習装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。異常度スコア学習装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。異常度スコア学習装置１の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
　以下、図４を参照して、実施形態の異常度スコア学習装置１が実行する異常度スコア学習方法について説明する。
　ステップＳ１１において、入力部１１は、正常モデルp(x| z=0)、正常音データ、および異常音データを入力として受け取る。正常モデルp(x| z=0)は、正常音データを用いて推定した確率分布であり、従来の教師なし異常音検知で用いるものと同様である。正常音データは正常状態の機器が発した音を収録した大量の音データである。異常音データは異常状態の機器が発した音を収録した少量の音データである。なお、入力される正常音データは、正常モデルp(x| z=0)を学習するために用いた正常音データと同じものであることが好ましいが、必ずしも同じものでなくてもよい。
　ステップＳ１２において、異常音生成部１２は、式（23）～（25）により、入力された異常音データから変分オートエンコーダを用いてN個の異常サンプル{yn}n=1 Nを疑似生成する。異常音生成部１２は、疑似生成した異常サンプル{yn}n=1 Nを閾値決定部１３へ出力する。
　ステップＳ１３において、閾値決定部１３は、異常音生成部１２から異常サンプル{yn}n=1 Nを受け取り、式（14）に基づいて閾値φρを設定する。閾値決定部１３は、決定した閾値φρをパラメータ更新部１４へ出力する。
　ステップＳ１４において、パラメータ更新部１４は、閾値決定部１３から閾値φρを受け取り、式（11）に基づいてパラメータθKを更新する。
　ステップＳ１５において、収束判定部１５は、あらかじめ設定した終了条件を満たしているか否かを判定する。収束判定部１５は、終了条件を満たしていればステップＳ１６へ処理を進め、満たしていなければステップＳ１２へ処理を戻す。終了条件は、例えば、ステップＳ１２～Ｓ１４の繰り返しを500回実行したこと、などと設定すればよい。
　ステップＳ１６において、出力部１６は、学習したパラメータθKを出力する。
　≪異常音検知装置≫
　実施形態の異常音検知装置２は、図５に例示するように、パラメータ記憶部２０、入力部２１、異常度取得部２２、状態判定部２３、および出力部２４を備える。この異常音検知装置２が、図６に例示する各ステップの処理を行うことにより実施形態の異常音検知方法が実現される。
　異常音検知装置２は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。異常音検知装置２は、例えば、中央演算処理装置の制御のもとで各処理を実行する。異常音検知装置２に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。異常音検知装置２の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。異常音検知装置２が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
　パラメータ記憶部２０には、正常モデルp(x| z=0)と学習済みのパラメータθKと閾値φとが記憶されている。正常モデルp(x| z=0)は、異常度スコア学習装置１と同様に、正常音データを用いて確率分布を推定したモデルであり、従来の教師なし異常音検知で用いるものと同様である。閾値φは、異常度スコア学習装置１の閾値決定部１３により決定された閾値φρであってもよいし、あらかじめ手動で与えた閾値であってもよい。
　以下、図６を参照して、実施形態の異常音検知装置２が実行する異常音検知方法について説明する。
　ステップＳ２１において、入力部２１は、異常音検知の対象とする観測信号xを入力として受け取る。入力部２１は、観測信号xを異常度取得部２２へ出力する。
　ステップＳ２２において、異常度取得部２２は、入力部２１から観測信号xを受け取り、式（６）を計算し、異常度B(x, θK)を得る。異常度取得部２２は、得られた異常度B(x, θK)を状態判定部２３へ出力する。
　ステップＳ２３において、状態判定部２３は、異常度取得部２２から異常度B(x, θK)を受け取り、式（３）を計算し、観測信号xが正常か異常かを判定する。状態判定部２３は、観測信号xが正常か異常かを示す二値データである判定結果を出力部２４へ出力する。
　ステップＳ２４において、出力部２４は、状態判定部２３から判定結果を受け取り、その判定結果を異常音検知装置２の出力とする。
　＜変形例＞
　上述の実施形態では、異常度スコア学習装置１が異常サンプルを疑似生成して異常度スコアのパラメータを学習する構成としたが、異常サンプルを疑似生成する機能のみを備えた異常音生成装置を構成することも可能である。この異常音生成装置は、実施形態の異常度スコア学習装置１が備える異常音生成部１２を備える。この異常音生成装置は、例えば、少量の異常データを入力とし、異常音生成部１２が、その異常データを用いて異常サンプルを疑似生成し、その異常サンプルを異常音生成装置の出力とする。
　上述の実施形態では、異常音検知装置２が観測信号から異常度スコアを計算し、その異常度スコアを用いて正常か異常かを判定する構成としたが、観測信号から異常度スコアを計算する機能のみを備えた異常度算出装置を構成することも可能である。この異常度算出装置は、実施形態の異常音検知装置２が備えるパラメータ記憶部２０と異常度取得部２２とを備える。この異常度算出装置は、例えば、観測信号を入力とし、異常度取得部２２がパラメータ記憶部２０に記憶されている学習済みのパラメータを用いて、その観測信号の異常度スコアを算出し、その異常度スコアを異常度算出装置の出力とする。
　上述の実施形態では、異常サンプルを疑似生成する機能を、異常度スコアのパラメータを学習するために用いる構成を説明したが、この機能の用途はこれに限定されず、特定の特徴をもつ多くのサンプルを必要とする技術であれば応用することが可能である。また、上述の実施形態では、観測信号から異常度スコアを計算する機能を、対象とする機器が正常か異常かを判定するために用いる構成を説明したが、この機能の用途はこれに限定されず、得られたサンプルから状態を判定する技術であれば応用することが可能である。
　上述の実施形態では、異常度スコア学習装置１と異常音検知装置２とを別個の装置として構成する例を説明したが、異常度スコアのパラメータを学習する機能と学習済みのパラメータを用いて異常音検知を行う機能とを兼ね備えた１台の異常音検知装置を構成することも可能である。すなわち、変形例の異常音検知装置は、入力部１１、異常音生成部１２、閾値決定部１３、パラメータ更新部１４、収束判定部１５、パラメータ記憶部２０、入力部２１、異常度取得部２２、状態判定部２３、および出力部２４を含む。
　上述の実施形態では、音データを対象とした異常音検知について説明したが、本発明は音データ以外へも適用することが可能である。例えば、本発明は音データ以外の時系列データや、画像データにも適用できる。これを適用するためには、xをその適用対象に適したものにすればよい。これは、振動センサや株価データであれば、これらの時系列情報をまとめたものや、それをフーリエ変換したものにすればよいし、画像であれば画像特徴量やそれをニューラルネットワークなどで分析した結果にしてもよい。この場合、異常音検知装置２は、正常時のデータである正常データを学習した正常モデルと異常時のデータである異常データを学習した異常度スコアとを用いて観測データが正常か異常かを判定する異常検知装置として機能する。
　以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　［プログラム、記録媒体］
　上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１　異常度スコア学習装置
１１　入力部
１２　異常音生成部
１３　閾値決定部
１４　パラメータ更新部
１５　収束判定部
１６　出力部
２　異常音検知装置
２０　パラメータ記憶部
２１　入力部
２２　異常度取得部
２３　状態判定部
２４　出力部

Claims (7)

  1. 　所定の機器から得られた音から、前記所定の機器を含むいずれかの機器から得られうる、かつ、前記所定の機器から得られた音らしさを有する生成音を生成する音生成装置であって、
    　前記所定の機器から得られた音と、前記所定の機器を含む所望の機器群から得られた音が従う確率分布と、を関連付けることで前記生成音を生成する生成部を有する、
    　音生成装置。
  2. 　請求項１に記載の音生成装置であって、
    　前記生成部は、前記所望の機器群から得られうるすべての音を生成可能に学習された変分オートエンコーダを用いて、前記所定の機器から得られた音から前記生成音を生成するものである、
    　音生成装置。
  3. 　所定のクラスタに属するデータから、前記所定のクラスタを含むいずれかのクラスタに属し、かつ、前記所定のクラスタに属するデータらしさを有する生成データを生成するデータ生成装置であって、
    　前記所定のクラスタに属するデータと、前記所定のクラスタを含む所望のクラスタ群に属するデータが従う確率分布と、を関連付けることで前記生成データを生成する生成部を有する、
    　データ生成装置。
  4. 　判定対象の音の異常度を算出する異常度算出装置であって、
    　判定対象の音を、少なくとも異常音からなる登録音群との類似度と、少なくとも１つの正常音との非類似度と、を関連付けることで異常度を算出する算出部を有する、
    　異常度算出装置。
  5. 　請求項４に記載の異常度算出装置であって、
    　前記算出部は、新たな異常音が得られたときに、前記登録音群との類似度と前記正常音との非類似度とを関連付けた異常度に、前記新たな異常音との類似度と前記正常音との非類似度とを関連付けた異常度を加算することで、前記異常度を算出するものである、
    　異常度算出装置。
  6. 　判定対象のデータの指標値を算出する指標値算出装置であって、
    　判定対象のデータを、第一のクラスタのデータ群との類似度と、第二のクラスタのデータ群との非類似度と、の和を指標値として算出する算出部を有し、
    　前記第一のクラスタは前記判定対象のデータが属していることを判定するクラスタであり、
    　前記第二のクラスタは前記判定対象のデータが属していないことを判定するクラスタである、
    　指標値算出装置。
  7. 　請求項１または２に記載の音生成装置もしくは請求項３に記載のデータ生成装置もしくは請求項４または５に記載の異常度算出装置もしくは請求項６に記載の指標値算出装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/001149 2019-01-30 2020-01-16 音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム WO2020158398A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/425,672 US11996120B2 (en) 2019-01-30 2020-01-16 Sound generation apparatus, data generation apparatus, anomaly score calculation apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019014000A JP7331369B2 (ja) 2019-01-30 2019-01-30 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
JP2019-014000 2019-01-30

Publications (1)

Publication Number Publication Date
WO2020158398A1 true WO2020158398A1 (ja) 2020-08-06

Family

ID=71840419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001149 WO2020158398A1 (ja) 2019-01-30 2020-01-16 音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム

Country Status (3)

Country Link
US (1) US11996120B2 (ja)
JP (1) JP7331369B2 (ja)
WO (1) WO2020158398A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863524A (zh) * 2021-01-21 2021-05-28 中国矿业大学(北京) 基于分解特征值的矿井爆炸灾害声音识别方法
WO2022134579A1 (zh) * 2020-12-22 2022-06-30 深圳壹账通智能科技有限公司 业务交易数据的异常检测方法、装置及计算机设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331369B2 (ja) * 2019-01-30 2023-08-23 日本電信電話株式会社 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
KR20230036384A (ko) * 2021-09-07 2023-03-14 현대자동차주식회사 이상 탐지 시스템 및 그의 임계치 설정 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092159A (ja) * 2008-10-06 2010-04-22 Fuji Xerox Co Ltd 画像データ判定装置、画像データ判定システム、及びプログラム
WO2016125256A1 (ja) * 2015-02-03 2016-08-11 三菱電機株式会社 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635614B2 (ja) 1999-01-26 2005-04-06 株式会社リコー 機械音処理装置
US7565335B2 (en) * 2006-03-15 2009-07-21 Microsoft Corporation Transform for outlier detection in extract, transfer, load environment
US7792770B1 (en) * 2007-08-24 2010-09-07 Louisiana Tech Research Foundation; A Division Of Louisiana Tech University Foundation, Inc. Method to indentify anomalous data using cascaded K-Means clustering and an ID3 decision tree
JP5292136B2 (ja) * 2009-03-16 2013-09-18 オルガノ株式会社 溶存窒素濃度の測定方法及び溶存窒素濃度の測定装置
JP5767825B2 (ja) * 2011-02-28 2015-08-19 綜合警備保障株式会社 音処理装置および音処理方法
CN103703487B (zh) * 2011-07-25 2016-11-02 国际商业机器公司 信息识别方法以及系统
JP6340236B2 (ja) * 2014-04-15 2018-06-06 三菱重工工作機械株式会社 工作機械の診断方法及びシステム
US10147049B2 (en) * 2015-08-31 2018-12-04 International Business Machines Corporation Automatic generation of training data for anomaly detection using other user's data samples
CN107458383B (zh) * 2016-06-03 2020-07-10 法拉第未来公司 使用音频信号的车辆故障自动检测
CN110100216A (zh) * 2016-10-26 2019-08-06 罗伯特·博世有限公司 移动并且自主的音频感测和分析系统以及方法
US10594640B2 (en) * 2016-12-01 2020-03-17 Oath Inc. Message classification
US11625625B2 (en) * 2018-12-13 2023-04-11 Diveplane Corporation Synthetic data generation in computer-based reasoning systems
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
US20190219994A1 (en) * 2018-01-18 2019-07-18 General Electric Company Feature extractions to model large-scale complex control systems
JP2019164107A (ja) * 2018-03-20 2019-09-26 本田技研工業株式会社 異音判定装置および判定方法
GB2590555B (en) * 2018-06-08 2022-06-08 Schlumberger Technology Bv Methods for characterizing and evaluating well integrity using unsupervised machine learning of acoustic data
US11146580B2 (en) * 2018-09-28 2021-10-12 Adobe Inc. Script and command line exploitation detection
US11410047B2 (en) * 2018-12-31 2022-08-09 Paypal, Inc. Transaction anomaly detection using artificial intelligence techniques
JP7331369B2 (ja) * 2019-01-30 2023-08-23 日本電信電話株式会社 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
JP7060535B2 (ja) * 2019-02-27 2022-04-26 ファナック株式会社 工作機械の加工不良発生予測システム
US11374952B1 (en) * 2019-09-27 2022-06-28 Amazon Technologies, Inc. Detecting anomalous events using autoencoders
US11063965B1 (en) * 2019-12-19 2021-07-13 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
JP7409080B2 (ja) * 2019-12-27 2024-01-09 富士通株式会社 学習データ生成方法、学習データ生成プログラムおよび情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092159A (ja) * 2008-10-06 2010-04-22 Fuji Xerox Co Ltd 画像データ判定装置、画像データ判定システム、及びプログラム
WO2016125256A1 (ja) * 2015-02-03 2016-08-11 三菱電機株式会社 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOIZUMI , YUMA ET AL.: "Abnormal Sound Detection in Machine Operation Sounds Using Deep Learning", PROCEEDINGS OF THE 2017 SPRING MEETING OF THE ACOUSTICAL SOCIETY OF JAPAN, March 2017 (2017-03-01), pages 473 - 476 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134579A1 (zh) * 2020-12-22 2022-06-30 深圳壹账通智能科技有限公司 业务交易数据的异常检测方法、装置及计算机设备
CN112863524A (zh) * 2021-01-21 2021-05-28 中国矿业大学(北京) 基于分解特征值的矿井爆炸灾害声音识别方法

Also Published As

Publication number Publication date
JP2020123094A (ja) 2020-08-13
US11996120B2 (en) 2024-05-28
US20220122629A1 (en) 2022-04-21
JP7331369B2 (ja) 2023-08-23

Similar Documents

Publication Publication Date Title
JP6947219B2 (ja) 異常音検知装置、異常モデル学習装置、異常検知装置、異常音検知方法、異常音生成装置、異常データ生成装置、異常音生成方法、およびプログラム
WO2020158398A1 (ja) 音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム
JP7223839B2 (ja) 異常検出および／または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
JP6709277B2 (ja) 異常音検出装置、異常音検出学習装置、異常音サンプリング装置、これらの方法及びプログラム
WO2018150616A1 (ja) 異常音検出装置、異常度計算装置、異常音生成装置、異常音検出学習装置、異常信号検出装置、異常信号検出学習装置、これらの方法及びプログラム
CN111538311B (zh) 一种基于数据挖掘的机械设备柔性多状态自适应预警方法及装置
CN112414694B (zh) 基于多元状态估计技术的设备多级异常状态识别方法及装置
Mousavi et al. A new intelligent intrusion detector based on ensemble of decision trees
CN112714130A (zh) 一种基于大数据自适应网络安全态势感知方法
CN113364751A (zh) 网络攻击预测方法、计算机可读存储介质及电子设备
CN117741514A (zh) 一种船用线缆的状态检测方法及系统
JP6472417B2 (ja) 特徴量抽出装置、特徴量抽出関数情報生成装置、これらの方法及びプログラム
Thi et al. One-class collective anomaly detection based on long short-term memory recurrent neural networks
CN115208651B (zh) 基于逆习惯化机制的流聚类异常检测方法及系统
CN117076869A (zh) 旋转机械时频域融合故障诊断方法及系统
Guan et al. A method of false alarm recognition based on k-nearest neighbor
Musthafa et al. Evaluation of IDS model by improving accuracy and reducing overfitting using stacking LSTM
CN117792933B (zh) 一种基于深度学习的网络流量优化方法及系统
Raeiszadeh et al. A Deep Learning Approach for Real-Time Application-Level Anomaly Detection in IoT Data Streaming
US20170286856A1 (en) Trend analysis for a neuro-linguistic behavior recognition system
Fan et al. Unsupervised Online Concept Drift Detection Based on Divergence and EWMA
US20230281314A1 (en) Malware risk score determination
Alippi et al. Adaptive classifiers for nonstationary environments
Gao et al. Remaining useful life prediction method of rolling bearings based on improved 3σ and DBO-HKELM
Gupta et al. Detecting anomalous sensor readings in wireless networks for remote area

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20748055

Country of ref document: EP

Kind code of ref document: A1