WO2020017285A1 - 異常検知装置、異常検知方法、およびプログラム - Google Patents

異常検知装置、異常検知方法、およびプログラム Download PDF

Info

Publication number
WO2020017285A1
WO2020017285A1 PCT/JP2019/026027 JP2019026027W WO2020017285A1 WO 2020017285 A1 WO2020017285 A1 WO 2020017285A1 JP 2019026027 W JP2019026027 W JP 2019026027W WO 2020017285 A1 WO2020017285 A1 WO 2020017285A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
encoder
abnormal
data
learning
Prior art date
Application number
PCT/JP2019/026027
Other languages
English (en)
French (fr)
Inventor
祐太 河内
悠馬 小泉
登 原田
村田　伸
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/260,956 priority Critical patent/US20210326728A1/en
Publication of WO2020017285A1 publication Critical patent/WO2020017285A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Definitions

  • the present invention relates to an abnormality detection technique for determining an abnormal state such as a failure from the operation sound of a machine or the like.
  • abnormality detection a field of anomaly detection for detecting an "abnormality" which is a deviation from a normal state by using an electric circuit or a program using a sensor or the like.
  • a device using a sensor such as a microphone that converts sound into electricity is called abnormal sound detection.
  • normal data data such as sound waveforms (hereinafter referred to as “normal data”) which are considered to be in a normal state where no failure or the like has occurred, and uses a regression model or the like.
  • This is a technique for deriving a distribution followed by normal data and determining an abnormality based on a small generation probability and a large regression error of a sample for which it is unknown whether the data is normal or abnormal.
  • there is one using the reconstruction probability and reconstruction error of a variational auto encoder see Non-Patent Document 1) (see Non-Patent Document 2).
  • abnormal data a very small amount of data such as a sound waveform (hereinafter, referred to as “abnormal data”) corresponding to an abnormal state such as a failure may be collected.
  • abnormal data a sound waveform
  • there is a technique for performing manifold learning using both data see Non-Patent Document 3).
  • one-dimensional waveforms are not treated as input features as they are, but high-dimensional acoustic features such as Mel-Frequency Cepstrum Coefficients (MFCC) based on discrete Fourier transform are used.
  • MFCC Mel-Frequency Cepstrum Coefficients
  • the latent space in a variational auto-encoder is a Euclidean space that can take positive and negative infinity, and if the representative point of normal is the origin, etc., the point farthest from normal will be at infinity. , The detection performance improves, and inconveniences such as overflow occur in the processing on the computer.
  • an object of the present invention is to limit a region where an encoding result of an abnormal sample can be taken in anomaly detection using a variational auto-encoder, and to avoid a computer disadvantage such as an overflow. That is.
  • an abnormality detection device sets a latent space as a closed manifold, and sets a normal distribution in which normal data is learned and an abnormal distribution in which abnormal data is learned on the manifold.
  • An encoder for projecting the input feature amount to the latent space; a decoder for storing a decoder for reconstructing the output of the encoder; and a decoder for outputting the feature amount of the target data to the encoder.
  • An encoding unit that obtains a configuration result, and an abnormality degree calculation unit that calculates an abnormality degree of target data based on a distance between the reconstruction result and a normal distribution or an abnormal distribution are included.
  • the area in which the result of encoding an abnormal sample can be obtained is limited, and computer problems such as overflow are unlikely to occur.
  • FIG. 1 is a diagram for explaining a learning process of the variational auto encoder.
  • FIG. 2 is a conceptual diagram visualizing the encoding result of the variational auto encoder.
  • FIG. 3 is a diagram for explaining a simple implementation of the variational auto encoder.
  • FIG. 4 is a diagram illustrating a functional configuration of the abnormality detection device.
  • FIG. 5 is a diagram illustrating a processing procedure of the abnormality detection method.
  • the projection is performed on a closed manifold, for example, a hypersphere, instead of the conventional Euclidean space.
  • Two points on the manifold are set as representative points of normality / abnormality, and the abnormality is determined based on a measure such as proximity to each point.
  • the representative points of normality / abnormality for example, two points farthest from each other corresponding to the North Pole and the South Pole of the earth may be set.
  • the adoption of the latent space of the hypersphere is because the latent space on the sphere is finite, so with some learning, the latent space can be completely filled with cluster destinations, and the target data is surely clustered in any one This is because you can do it.
  • the latent space is filled with known patterns, so it is necessary to know that it is unknown using the difference from the reconstructed pattern Is also possible.
  • Variational auto-encoder uses multidimensional normal distribution on Euclidean space as latent variable prior distribution. On the hypersphere, the von Mises-Fisher distribution corresponds to this. The following describes the theory of abnormality detection when the von Mises-Fisher distribution is used.
  • the encoder shall output the angle parameter and the concentration parameter in the latent space.
  • the angle is expressed by, for example, a canonical Euler angle.
  • the output variable may fall within the range of -180 degrees to +180 degrees or -90 degrees to +90 degrees so that the output variable falls within the range.
  • a rotation matrix is constructed using the output angle parameters. The rotation matrix is multiplied by a value obtained by using a random number generated from a von Mises-Fisher distribution having a desired direction vector (parameter) and an appropriate concentration parameter, which is a latent variable prior distribution.
  • the direction parameter of the prior distribution may be a direction of a point representing normal or abnormal, and the concentration parameter may be an arbitrary constant.
  • a random number centering on the direction output by the encoder, not the direction set by the prior distribution is obtained.
  • a variational auto encoder is configured.
  • Method 2 ⁇ Method of approximating distribution of concentration parameter by normal distribution (method 2) ⁇
  • the encoder outputs the angle parameter and the concentration parameter in the latent space as in the method 1. Since the von Mises-Fisher distribution is expected to be regarded as a normal distribution when the degree of concentration parameter is large (see Reference 3), a method of performing learning using normal random numbers can be considered. First, random numbers are generated from a multivariate standard normal distribution in which the number of dimensions is the same as the angle parameter, the mean is a zero vector, and the variance-covariance matrix is a unit matrix.
  • This random number and the concentration parameter of the encoder output were converted according to a certain rule (for example, using a relationship such that the concentration parameter corresponds to the reciprocal of the variance of the normal distribution to convert it to the standard deviation equivalent of the normal distribution, etc.
  • the value obtained by multiplying this value by the value of the encoder is added to the angle parameter of the encoder output.
  • the scalar value output by the encoder may be treated as the logarithmic variance of the normal distribution, in which case, to convert it to the concentration parameter passed to the KL divergence term, take the exponent of that value and then take the reciprocal What should I do?
  • This processing may be used together with clipping similar to the method 1, or may be performed before or after.
  • a rotation matrix is constructed from the vectors obtained in this way, and a fixed vector having an arbitrary value common to the whole (the length can be arbitrary, but is set to 1 for simplicity) is defined for the rotation matrix.
  • a vector on the unit hypersphere is obtained.
  • a variational auto-encoder can be configured. The remaining details are the same as in method 1. The above processing is shown in FIG.
  • FIG. 2 shows the concept of projection onto a latent space when training is performed with one prior distribution.
  • FIG. 2A is a conceptual diagram in which the latent space of the encoding result of the closed manifold auto-encoder is visualized when training is performed with the direction parameter of the prior distribution being [0, 0, 1] (left is before training, right is after training) ).
  • FIG. 2B is a conceptual diagram visualizing the latent space of the encoding result of the closed manifold auto-encoder when training is performed with the direction parameter of the prior distribution being [1, [0, 0] (left is before training, right is after training) ).
  • the encoder outputs an angle parameter of the number of latent dimensions (for example, 3) and a scalar parameter corresponding to the logarithmic variance of the normal distribution.
  • a rotation matrix is constructed from the angle parameters and multiplied by a fixed vector having an arbitrary value common to the whole to obtain a vector on the unit hypersphere.
  • the inner product of the vector on the unit hypersphere and the vector (prior distribution direction vector) on the unit hypersphere representing the normal or abnormal state of the prior distribution given in advance is taken as the similarity to the prior distribution direction vector.
  • This similarity is multiplied by a prior distribution concentration value (for example, 1) of the prior distribution given in advance.
  • this value may be subtracted from the index of the scalar parameter (which may be multiplied by any constant) from the encoder, and this value may be used as a substitute for the original KL divergence cost. Specifically, it is as shown in FIG.
  • the abnormality detection apparatus and method of the embodiment learns a variation auto-encoder using learning data including normal data and abnormality data, and uses the variation auto-encoder to determine whether input data to be subjected to abnormality detection is normal or abnormal. Is output.
  • the abnormality detection device includes three AD conversion units 10-1 to 10-3, a normal data storage unit 11-1, an abnormal data storage unit 11-2, and three features. It includes extraction units 12-1 to 12-3, an encoder learning unit 13, an encoder storage unit 14, an encoding unit 15, an abnormality degree calculation unit 16, and an abnormality determination unit 17. Further, the encoder learning unit 13 includes a prior distribution setting unit 131, a first learning unit 132, and a second learning unit 133.
  • the abnormality detection method of the embodiment is realized by the abnormality detection device performing the processing of each step illustrated in FIG.
  • the anomaly detection device is, for example, a special or special computer that is configured by reading a special program into a known or dedicated computer having a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. Device.
  • the abnormality detection device executes each process under the control of the central processing unit, for example.
  • the data input to the abnormality detection device and the data obtained in each process are stored in, for example, a main storage device, and the data stored in the main storage device is read out to a central processing unit as needed, and is stored in another storage device. Used for processing.
  • At least a part of each processing unit of the abnormality detection device may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the abnormality detection device includes, for example, a main storage device such as a random access memory (RAM), an auxiliary storage device including a semiconductor memory element such as a hard disk, an optical disk, or a flash memory, or a relational device. It can be configured by middleware such as a database and a key-value store.
  • a main storage device such as a random access memory (RAM)
  • an auxiliary storage device including a semiconductor memory element such as a hard disk, an optical disk, or a flash memory
  • middleware such as a database and a key-value store.
  • step S10-1 the AD conversion unit 10-1 performs analog-to-digital conversion of a sound waveform (hereinafter, referred to as a “normal sound waveform”) such as a normal operation sound of a machine or the like to be subjected to abnormality detection at a predetermined sampling frequency. Then, quantized waveform data (hereinafter, referred to as “normal data”) is generated. The AD conversion unit 10-1 stores the generated normal data in the normal data storage unit 11-1.
  • a sound waveform hereinafter, referred to as a “normal sound waveform”
  • normal data quantized waveform data
  • step S10-2 the AD conversion unit 10-2 performs analog-to-digital conversion of a sound waveform (hereinafter, referred to as “abnormal sound waveform”) such as a failure sound of a machine or the like to be subjected to abnormality detection at a predetermined sampling frequency. , And generates quantized waveform data (hereinafter, referred to as “abnormal data”).
  • the AD conversion unit 10-2 stores the generated abnormal data in the abnormal data storage unit 11-2.
  • the feature extraction unit 12-1 extracts a feature amount from the normal data stored in the normal data storage unit 11-1.
  • the feature amount may be extracted by treating the waveform data as it is as data in which one-dimensional values are arranged in a time series, or by multi-dimensionally expanding by connecting a plurality of samples, discrete Fourier transform, filter bank processing, or the like. It is also possible to perform extraction processing, calculate the average and variance of the data, and normalize the value range.
  • the feature extracting unit 12-1 outputs the feature amount of the extracted normal data to the encoder learning unit 13.
  • step S12-2 the feature extracting unit 12-2 extracts a feature amount from the abnormal data stored in the abnormal data storage unit 11-2.
  • the feature amount is extracted in the same manner as in the feature extracting unit 12-1.
  • the feature extracting unit 12-2 outputs the extracted feature amount of the abnormal data to the encoder learning unit 13.
  • step S13 the encoder learning unit 13 sequentially executes the prior distribution setting unit 131, the first learning unit 132, and the second learning unit 133, and performs a single variation so as to reconstruct normal data and abnormal data. Learn auto encoder.
  • the encoder learning unit 13 stores the learned variational auto encoder in the encoder storage unit 14.
  • step S131 the prior distribution setting unit 131 of the encoder learning unit 13 sets two different distributions on the closed manifold as a latent variable prior distribution of normal data and a latent variable prior distribution of abnormal data.
  • the parameter representing the center of the von Mises-Fisher distribution may be the farthest point on the spherical surface, and the concentration parameter may be set to a predetermined constant (for example, 1).
  • step S132 the first learning unit 132 of the encoder learning unit 13 sets the learning data including the feature amount of the normal data output by the feature extraction unit 12-1 and the feature amount of the abnormal data output by the feature extraction unit 12-2.
  • Learning is performed by a method (method 1) for fixing the concentration parameter described above.
  • step S133 the second learning unit 133 of the encoder learning unit 13 sets the learning data including the feature amount of the normal data output by the feature extraction unit 12-1 and the feature amount of the abnormal data output by the feature extraction unit 12-2.
  • Learning is performed by a method (method 2) in which the distribution of the concentration parameter is approximated by a normal distribution.
  • the normal data and the abnormal data may be learned alternately, or the normal data and the abnormal data may be included in one batch process to determine the prior distribution for the normal data and the prior distribution for the abnormal data. Learning may be performed so as to minimize the sum of the respective losses at the time of setting.
  • step S10-3 the AD conversion unit 10-3 performs analog-to-digital conversion of a sound waveform (hereinafter, referred to as “target sound waveform”) such as an operation sound of a machine or the like to be detected as an abnormality at a predetermined sampling frequency. , And generates quantized waveform data (hereinafter, referred to as “target data”).
  • target sound waveform a sound waveform
  • the AD conversion unit 10-3 outputs the generated target data to the feature extraction unit 12-3.
  • step S12-3 the feature extraction unit 12-3 extracts a feature amount from the target data output from the AD conversion unit 10-3.
  • the feature amount is extracted in the same manner as in the feature extracting unit 12-1.
  • the feature extracting unit 12-3 outputs the extracted feature amount of the target data to the encoding unit 15.
  • step S15 the encoding unit 15 inputs the feature amount of the target data output from the feature extraction unit 12-3 to the learned variational auto-encoder stored in the encoder storage unit 14, and at least outputs the latent variable vector and A reconstruction result including a reconstruction error is obtained.
  • the encoding unit 15 outputs the obtained reconstruction result to the abnormality degree calculation unit 16.
  • the abnormality degree calculation unit 16 calculates the abnormality degree of the target data from the reconstruction result output from the encoding unit 15.
  • the degree of abnormality is defined using a prior distribution for normal data in the latent space and a proximity to the prior distribution for abnormal data. In brief, a ratio of proximity to the position of each prior distribution may be used. The closeness may be defined by a Euclidean length, or the upper limit of KL divergence used in the loss function may be used. Further, it may be combined with other indices by an arbitrary method, for example, by combining the reconstruction error with addition or the like to configure the degree of abnormality.
  • the abnormality degree calculation unit 16 outputs the calculated abnormality degree of the target data to the abnormality determination unit 17.
  • step S17 the abnormality determination unit 17 determines whether the machine or the like to be subjected to abnormality detection is in a normal state or an abnormal state based on the abnormality degree of the target data output from the abnormality degree calculation unit 16, and determines whether the state is normal or abnormal. Output the abnormality judgment result shown.
  • the determination of whether the state is normal or abnormal is, for example, comparing the degree of abnormality of the target data with a predetermined threshold. Good.
  • the abnormality detection using the variational auto encoder is configured as follows.
  • the latent space is a closed manifold
  • the latent variable prior is a probability distribution on the closed manifold.
  • Two latent variable prior distributions corresponding to normal and abnormal are set, and a single model is updated using both normal and abnormal data. For that model, an abnormality is detected using information on which distribution the encoder output of the unknown sample is closer to.
  • the present invention is similarly applicable to any abnormality detection domain for any sensor data other than sound, such as temperature, pressure, displacement, etc., and traffic data, such as network traffic.
  • a program describing this processing content can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
  • the distribution of the program is performed by selling, transferring, lending, or the like, a portable recording medium such as a DVD or a CD-ROM on which the program is recorded.
  • the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • the computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, at the time of executing the process, the computer reads the program stored in its own storage device and executes the process according to the read program. As another execution form of the program, the computer may directly read the program from the portable recording medium and execute processing according to the program, and further, the program may be transferred from the server computer to the computer. Each time, the processing according to the received program may be sequentially executed.
  • ASP Application ⁇ Service ⁇ Provider
  • the program in the present embodiment includes information used for processing by the computer and which is similar to the program (data that is not a direct command to the computer but has characteristics that define the processing of the computer).
  • the present apparatus is configured by executing a predetermined program on a computer, but at least a part of the processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

異常サンプルのエンコード結果の取り得る領域を限定する。エンコーダ記憶部１４は、潜在空間を閉じた多様体とし、正常データを学習した正常分布と異常データを学習した異常分布とを多様体上にもち、入力された特徴量を潜在空間に射影するエンコーダと、エンコーダの出力を再構成するデコーダとを記憶する。エンコード部１５は、対象データの特徴量をエンコーダへ入力したときにデコーダが出力する再構成結果を得る。異常度算出部１６は、再構成結果と正常分布および異常分布との距離に基づいて対象データの異常度を算出する。

Description

異常検知装置、異常検知方法、およびプログラム
　この発明は、機械等の動作音から、故障等の異常な状態を判別する異常検知技術に関する。
　機械等の故障を故障前に予見、または故障後に素早く発見することは、業務の継続性の観点で重要である。これを省力化するための方法として、センサ等を用いて電気回路やプログラム等により、正常状態からの乖離である「異常」を発見する異常検知という分野が存在する。特に、マイクロフォン等の音を電気に変換するセンサを用いるものを異常音検知と呼ぶ。
　従来の代表的な異常音検知は、故障等の発生していない通常の状態であると考えられる音波形等のデータ（以下、「正常データ」と呼ぶ）を収集し、回帰モデル等を用いて正常データが従う分布を導出し、正常か異常かが未知であるサンプルに対する生成確率の小ささや回帰誤差の大きさを異常の度合いとして、異常を判定する技術である。例として、変分オートエンコーダ（非特許文献１参照）の再構成確率や再構成誤差を用いたもの（非特許文献２参照）がある。
　異常音検知システムを実運用すると、正常データ以外に、故障時等の異常な状態に対応するごく少量の音波形等のデータ（以下、「異常データ」と呼ぶ）が収集できることがある。しかしながら、データ量が正常と異常との間で著しく偏っているため、単純に判別問題として異常データを学習に用いることは難しい。これを解決する技術として、両方のデータを用いて多様体学習を行う技術（非特許文献３参照）等がある。
KingmaP Diederik and Max Welling, "Auto-encoding variational bayes," arXiv preprint arXiv:1312.6114, 2013. An Jinwon and Sungzoon Cho, "Variational Autoencoder based Anomaly Detection using Reconstruction Probability," Technical Report, 2015. Bo Du and Liangpei Zhang, "A discriminative metric learning based anomaly detection method," IEEE Transactions on Geoscience and Remote Sensing, vol. 52, no. 11, pp. 6844-6857, 2014.
　一般に音響信号処理では、１次元の波形をそのまま入力特徴として扱うのではなく、離散フーリエ変換をベースとした、メル周波数ケプストラム係数（MFCC: Mel-Frequency Cepstrum Coefficients）等の高次元音響特徴を用いることが多い。元々の音響特徴量等の特徴量空間自体ではなく、それを何らかの射影関数でうつした先で異常検知を行うことにより、「次元の呪い」と呼ばれる高次元に起因する様々な不都合を回避することができる。低次元化する場合には計算量削減効果も期待できる。したがって、特徴量を低次元潜在空間に射影するエンコーダを持つ変分オートエンコーダを用いて、正常な特徴を中心付近に集め、異常な特徴を遠ざけるように学習することによって、未知サンプルに対する特徴量をエンコードした結果の中心への近さ等の尺度で、不都合を回避しつつ異常を検出することができると考えられる。しかしながら、変分オートエンコーダにおける潜在空間は正負無限大を取り得るユークリッド空間であり、正常の代表点を原点等とした場合、正常から最も遠い点は無限遠点になるため、異常を無限遠点に近づけるほど検出性能が向上することになり、計算機上での処理にオーバーフロー等の不都合が生じる。
　この発明の目的は、上記のような技術的課題に鑑みて、変分オートエンコーダを用いた異常検知において、異常サンプルのエンコード結果の取り得る領域を限定し、オーバーフロー等の計算機的不都合を回避することである。
　上記の課題を解決するために、この発明の一態様の異常検知装置は、潜在空間を閉じた多様体とし、正常データを学習した正常分布と異常データを学習した異常分布とを多様体上にもち、入力された特徴量を潜在空間に射影するエンコーダと、エンコーダの出力を再構成するデコーダとを記憶するエンコーダ記憶部と、対象データの特徴量をエンコーダへ入力したときにデコーダが出力する再構成結果を得るエンコード部と、再構成結果と正常分布および異常分布との距離に基づいて対象データの異常度を算出する異常度算出部と、を含む。
　この発明によれば、異常サンプルのエンコード結果の取り得る領域が限定され、オーバーフロー等の計算機的不都合が発生しにくくなる。
図１は変分オートエンコーダの学習処理を説明するための図である。 図２は変分オートエンコーダのエンコード結果を可視化した概念図である。 図３は変分オートエンコーダの簡易実装を説明するための図である。 図４は異常検知装置の機能構成を例示する図である。 図５は異常検知方法の処理手続きを例示する図である。
　以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　この発明では、変分オートエンコーダ学習において、従来のユークリッド空間ではなく、閉じた多様体、例えば、超球上に射影することを考える。その多様体上の２点を正常・異常の代表点とし、それぞれへの近さ等の尺度を持って異常を判定する。正常・異常の代表点は、例えば、地球の北極や南極に相当する、互いに最も離れた二点を設定すればよい。超球面の潜在空間を採用するのは、球面上の潜在空間は有限であるため、ある程度学習を進めると潜在空間すべてをクラスタ先で埋め尽くすことができ、対象データを確実にいずれかにクラスタリングすることができるためである。また、訓練に用いたデータから大きく外れる、つまり未知なデータが出現した場合、潜在空間が既知パターンで埋め尽くされていることから、再構成パターンとの差異を用いて未知であることを知ることも可能である。
　変分オートエンコーダではユークリッド空間上の多次元正規分布を潜在変数事前分布として用いる。超球上ではフォンミーゼス・フィッシャー分布がこれに相当する。以下にフォンミーゼス・フィッシャー分布を用いる場合の異常検知理論について説明する。
　＜学習基準の定義＞
　潜在空間を超球面とした場合、超球面上での扱いが簡単な、平面上における正規分布に相当するものとして、フォンミーゼス・フィッシャー分布が有名である。変分オートエンコーダの事前分布をフォンミーゼス・フィッシャー分布とした場合、事後分布と事前分布との間のKLダイバージェンスを求める必要がある。これを解析的に求めることは困難だが、上限値は既に求められているため（参考文献１参照）、これを代わりに用いればよい。
　〔参考文献１〕Diethe, Tom, "A Note on the Kullback-Leibler Divergence for the von Mises-Fisher distribution," arXiv preprint arXiv:1502.07104, 2015.
　＜モデル構造＞
　フォンミーゼス・フィッシャー分布は、正規分布のように、他の確率分布に変換できる関係がないことが予想される（参考文献２参照）。したがって、素直にいわゆるreparametrization trickを用いて、多次元正規分布を用いた変分オートエンコーダと同様のモデル構造を取ることができない。そこで、それを回避する２つの構造を用いる。例えば学習の進み具合に応じて構造を切り替えることで、この問題を回避する。
　〔参考文献２〕四辻哲章，“計算機シミュレーションのため確率分布乱数生成法”，p. 396，2013年
　≪集中度パラメータを固定する方式（方式１）≫
　エンコーダは、潜在空間での角度パラメータと集中度パラメータとを出力するものとする。この方式ではエンコーダの出力する集中度パラメータは無視する。角度の表現には、例えば正準オイラー角等を用いる。出力される変数がその範囲内に収まるように、クリッピング等を用いて、-180度から+180度や-90度から+90度の範囲に収まるようにしてもよい。出力された角度パラメータを用いて回転行列を構成する。この回転行列に対して、潜在変数事前分布である、所望の方向ベクトル(パラメータ)と適当な集中度パラメータとをもったフォンミーゼス・フィッシャー分布から生成した乱数を用いて得た値を乗じる。事前分布の方向パラメータは、正常か異常かを代表する点の持つ方向とし、集中度パラメータは任意の定数としてよい。それにより、事前分布で設定した方向ではなく、エンコーダの出力した方向を中心とする乱数が得られるため、それをデコーダに入力することによって変分オートエンコーダを構成する。上記の処理を、計算グラフを用いて構成することで、通常の変分オートエンコーダと同様に勾配を用いた学習を行うことができる。
　≪集中度パラメータの分布を正規分布で近似する方式（方式２）≫
　エンコーダは、方式１同様、潜在空間での角度パラメータと集中度パラメータとを出力するものとする。フォンミーゼス・フィッシャー分布は、集中度パラメータが大きい場合に正規分布と見なせると予想されるから（参考文献３参照）、正規乱数を用いて学習を行う方法が考えられる。まず、次元数が角度パラメータと同じ、平均がゼロベクトルであり、分散共分散行列が単位行列である多変量標準正規分布から乱数を生成する。この乱数と、エンコーダ出力の集中度パラメータをある規則に応じて変換した(集中度パラメータが正規分布の分散の逆数に対応するなどの関係性を用いて正規分布の標準偏差相当に変換するなどを指す)値とを乗じた値を、エンコーダ出力の角度パラメータと加算する。逆にエンコーダが出力するスカラー値を正規分布の対数分散等として扱ってもよく、その場合KLダイバージェンス項に渡す集中度パラメータに変換するにはその値の指数を取った後逆数を取るなどの変換をすればよい。この処理は、方式１と同様のクリッピングと併用してもよく、前後どちらでもよい。そのようにして得られたベクトルから回転行列を構成し、その回転行列に対して、全体で共通した任意の値を持つ固定ベクトル（長さは任意でよいが、簡単のため１とする)を乗じると単位超球面上のベクトルが得られる。その単位超球面上のベクトルをデコーダに入力することで変分オートエンコーダを構成できる。残りの詳細は方式１と同様である。以上の処理を図１に示す。
　一つの事前分布で訓練した際の潜在空間への射影の概念を図２に示す。図２Ａは、事前分布の方向パラメータを[0, 0, 1]として訓練したときの閉多様体オートエンコーダのエンコード結果の潜在空間を可視化した概念図である（左は訓練前、右は訓練後）。図２Ｂは、事前分布の方向パラメータを[1, 0, 0]として訓練したときの閉多様体オートエンコーダのエンコード結果の潜在空間を可視化した概念図である（左は訓練前、右は訓練後）。
　≪方式２の簡易実装≫
　方式２において、KLダイバージェンス値の計算を簡略化するため、以下のヒューリスティクスを導入してもよい。まず、エンコーダからは、潜在次元数（例えば３)の角度パラメータと、正規分布の対数分散に相当するようなスカラーパラメータを出力する。角度パラメータから回転行列を構成し、全体で共通した任意の値を持つ固定ベクトルと乗算し単位超球面上のベクトルを得ておく。単位超球面上のベクトルと、事前に与えた事前分布のもつ正常または異常を代表する単位超球面上のベクトル（事前分布方向ベクトル)の内積をとり、事前分布方向ベクトルとの類似度とする。この類似度に、事前に与えた事前分布のもつ事前分布集中度値（例えば１)を乗算する。最後に、エンコーダからのスカラーパラメータ（任意の定数倍してよい)の指数を取ったものからこの値を引き、この値を本来のKLダイバージェンスコストの代わりとして用いてもよい。具体的には図３のようになる。
　≪２方式の組み合わせ方法≫
　ニューラルネットワークパラメータが乱数か、それに近い学習初期は、潜在空間への射影先が多様体上に薄く広がるような分布になることがあり得るから、集中度パラメータを固定した方式である方式１が適していると想定される。ある程度訓練が進んでいれば、潜在空間内で正常・異常に対応するクラスタが構成されると考えられる。そのような状況、つまり射影結果の分布がある程度狭まっていると考えられる状況では集中度パラメータを大きいと見做して考え、方式２が適していると考えられる。したがって、乱数パラメータを持ったネットワークから学習を開始し、はじめは方式１を用いて学習し、ある程度学習が進んだところで、例えばあらかじめエポック数（学習データを１周する回数）などを決めておき、方式２に切り替える方法が適していると考えられる。
　２つの方式を用いて学習する理由を以下にまとめる。従来の変分オートエンコーダは潜在変数事前分布として正規分布を用いる。しかしながら潜在変数事前分布を超球面とすると正規分布を扱うことができない。そのため、方式１により軸を固定し２次元空間として扱えるようにする。これにより正規分布を扱うことができるようになるため、その後方式２により学習を行うものとした。
　＜ジンバルロック現象の回避＞
　90度に近い出力がある場合に、「ジンバルロック」と呼ばれる不都合が発生することが知られている。これを回避するために、角度パラメータに対して、90度を避けるように、90度やそれに近い値に対して高い値を持つようなコスト関数を設定し、そのコストを損失関数に加算等で追加してもよい。
　［実施形態］
　実施形態の異常検知装置および方法は、正常データおよび異常データからなる学習データを用いて変分オートエンコーダを学習し、その変分オートエンコーダを用いて異常検知の対象とする入力データが正常か異常かを示す異常判定結果を出力する。実施形態の異常検知装置は、図４に例示するように、３個のＡＤ変換部１０－１～１０－３、正常データ記憶部１１－１、異常データ記憶部１１－２、３個の特徴抽出部１２－１～１２－３、エンコーダ学習部１３、エンコーダ記憶部１４、エンコード部１５、異常度算出部１６、および異常判定部１７を備える。さらに、エンコーダ学習部１３は、事前分布設定部１３１、第一学習部１３２、および第二学習部１３３を備える。この異常検知装置が、図５に例示する各ステップの処理を行うことにより実施形態の異常検知方法が実現される。
　異常検知装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。異常検知装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。異常検知装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。異常検知装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。異常検知装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
　以下、図５を参照して、実施形態の異常検知装置が実行する異常検知方法について説明する。
　ステップＳ１０－１において、ＡＤ変換部１０－１は、異常検知の対象とする機械等の正常動作音等の音波形（以下、「正常音波形」と呼ぶ）を所定のサンプリング周波数でアナログデジタル変換し、量子化した波形データ（以下、「正常データ」と呼ぶ）を生成する。ＡＤ変換部１０－１は、生成した正常データを正常データ記憶部１１－１へ記憶する。
　ステップＳ１０－２において、ＡＤ変換部１０－２は、異常検知の対象とする機械等の故障音等の音波形（以下、「異常音波形」と呼ぶ）を所定のサンプリング周波数でアナログデジタル変換し、量子化した波形データ（以下、「異常データ」と呼ぶ）を生成する。ＡＤ変換部１０－２は、生成した異常データを異常データ記憶部１１－２へ記憶する。
　ステップＳ１２－１において、特徴抽出部１２－１は、正常データ記憶部１１－１に記憶されている正常データから特徴量を抽出する。特徴量の抽出は、波形データをそのまま１次元の値が時系列に並んだデータとして扱ってもよいし、複数サンプルの連結、離散フーリエ変換、フィルタバンク処理等を用いて多次元に拡張する特徴抽出処理や、データの平均、分散を計算して値の取り幅を正規化する等を行ってもよい。特徴抽出部１２－１は、抽出した正常データの特徴量をエンコーダ学習部１３へ出力する。
　ステップＳ１２－２において、特徴抽出部１２－２は、異常データ記憶部１１－２に記憶されている異常データから特徴量を抽出する。特徴量の抽出は、特徴抽出部１２－１と同様に行う。特徴抽出部１２－２は、抽出した異常データの特徴量をエンコーダ学習部１３へ出力する。
　ステップＳ１３において、エンコーダ学習部１３は、事前分布設定部１３１、第一学習部１３２、および第二学習部１３３を順に実行し、正常データと異常データとを再構成するように単一の変分オートエンコーダを学習する。エンコーダ学習部１３は、学習済みの変分オートエンコーダをエンコーダ記憶部１４へ記憶する。
　ステップＳ１３１において、エンコーダ学習部１３の事前分布設定部１３１は、閉じた多様体上の相異なる２つの分布を、正常データの潜在変数事前分布と異常データの潜在変数事前分布として設定する。例えば、潜在空間を球状とすれば、フォンミーゼス・フィッシャー分布の中心を表現するパラメータを球面上でそれぞれ最も遠い点とし、集中度パラメータを所定の定数（例えば１）に設定すればよい。
　ステップＳ１３２において、エンコーダ学習部１３の第一学習部１３２は、特徴抽出部１２－１が出力する正常データの特徴量と特徴抽出部１２－２が出力する異常データの特徴量とからなる学習データを用いて、上述の集中度パラメータを固定する方式（方式１）による学習を行う。
　ステップＳ１３３において、エンコーダ学習部１３の第二学習部１３３は、特徴抽出部１２－１が出力する正常データの特徴量と特徴抽出部１２－２が出力する異常データの特徴量とからなる学習データを用いて、上述の集中度パラメータの分布を正規分布で近似する方式（方式２）による学習を行う。
　ステップＳ１３２およびＳ１３３において、正常データと異常データとを交互に学習してもよいし、正常データと異常データとを１つのバッチ処理に含めて、正常データに対する事前分布と異常データに対する事前分布とを設定した時のそれぞれの損失の和を最小化するように学習してもよい。
　ステップＳ１０－３において、ＡＤ変換部１０－３は、異常検知の対象とする機械等の動作音等の音波形（以下、「対象音波形」と呼ぶ）を所定のサンプリング周波数でアナログデジタル変換し、量子化した波形データ（以下、「対象データ」と呼ぶ）を生成する。ＡＤ変換部１０－３は、生成した対象データを特徴抽出部１２－３へ出力する。
　ステップＳ１２－３において、特徴抽出部１２－３は、ＡＤ変換部１０－３が出力する対象データから特徴量を抽出する。特徴量の抽出は、特徴抽出部１２－１と同様に行う。特徴抽出部１２－３は、抽出した対象データの特徴量をエンコード部１５へ出力する。
　ステップＳ１５において、エンコード部１５は、特徴抽出部１２－３が出力する対象データの特徴量を、エンコーダ記憶部１４に記憶されている学習済みの変分オートエンコーダへ入力し、少なくとも潜在変数ベクトルおよび再構成誤差を含む再構成結果を得る。エンコード部１５は、得た再構成結果を異常度算出部１６へ出力する。
　ステップＳ１６において、異常度算出部１６は、エンコード部１５が出力する再構成結果から対象データの異常度を算出する。異常度は、潜在空間上での正常データに対する事前分布や、異常データに対する事前分布への近さを用いて定義する。簡単には、それぞれの事前分布の位置への近さの比などを用いればよい。近さはユークリッド的な長さで定義してもよいし、損失関数内で用いたKLダイバージェンスの上限値を用いてもよい。また、再構成誤差と加算等で組み合わせて異常度を構成する等、他の指標と任意の方法で組み合わせてもよい。異常度算出部１６は、算出した対象データの異常度を異常判定部１７へ出力する。
　ステップＳ１７において、異常判定部１７は、異常度算出部１６が出力する対象データの異常度から異常検知の対象とする機械等が正常な状態か異常な状態かを判定し、正常か異常かを示す異常判定結果を出力する。正常な状態か異常な状態かの判定は、例えば対象データの異常度を予め定めた閾値と比較して、異常度が閾値未満であれば正常、閾値以上であれば異常のように判定すればよい。
　この発明では、変分オートエンコーダを用いた異常検知を以下のように構成した。潜在空間を閉じた多様体とし、潜在変数事前分布を閉じた多様体上の確率分布とする。正常・異常それぞれに対応する２つの潜在変数事前分布を設定し、正常・異常両方のデータを用いて単一のモデルを更新する。そのモデルに対し、未知サンプルのエンコーダ出力がどちらの分布に近いかの情報を用いて異常を検知する。このように構成することで、この発明によれば、異常サンプルのエンコード結果の取り得る領域が限定され、結果として、オーバーフロー等の計算機的不都合が発生しにくくなる。
　本発明は音以外の、温度、圧力、変位、等の任意のセンサデータ、ネットワーク通信量等のトラフィックデータ等を対象とした任意の異常検知ドメインに対しても同様に適用可能である。
　以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　［プログラム、記録媒体］
　上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１０－１，１０－２，１０－３　ＡＤ変換部
１１－１　正常データ記憶部
１１－２　異常データ記憶部
１２－１，１２－２，１２－３　特徴抽出部
１３　エンコーダ学習部
１３１　事前分布設定部
１３２　第一学習部
１３３　第二学習部
１４　エンコーダ記憶部
１５　エンコード部
１６　異常度算出部
１７　異常判定部

Claims (8)

  1. 　潜在空間を閉じた多様体とし、正常データを学習した正常分布と異常データを学習した異常分布とを上記多様体上にもち、入力された特徴量を上記潜在空間に射影するエンコーダと、上記エンコーダの出力を再構成するデコーダとを記憶するエンコーダ記憶部と、
    　対象データの特徴量を上記エンコーダへ入力したときに上記デコーダが出力する再構成結果を得るエンコード部と、
    　上記再構成結果と上記正常分布および上記異常分布との距離に基づいて上記対象データの異常度を算出する異常度算出部と、
    　を含む異常検知装置。
  2. 　請求項１に記載の異常検知装置であって、
    　上記エンコーダは角度パラメータと集中度パラメータとを出力するものであり、
    　上記多様体上の相異なる２つの分布を上記正常分布の事前分布および上記異常分布の事前分布として設定する事前分布設定部と、
    　上記正常データおよび上記異常データからなる学習データの特徴量を入力したときの上記エンコーダの出力のうち上記集中度パラメータを所定の定数として上記正常分布および上記異常分布を学習する第一学習部と、
    　上記学習データの特徴量を入力したときに上記エンコーダが出力する上記角度パラメータから構成した回転行列と全体で共通した任意の値を持つ固定ベクトルとを乗算したベクトルと、上記事前分布のもつ方向ベクトルと、上記事前分布のもつ集中度パラメータとから計算したKLダイバージェンス上限値を用いて、上記学習データの特徴量を入力したときに上記エンコーダが出力する上記集中度パラメータを正規分布の標準偏差相当に変換した値に正規分布から生成した乱数を乗じた値を上記エンコーダが出力する上記角度パラメータに加算したベクトルを用いて回転行列を構成し上記正常分布および上記異常分布を学習する第二学習部と、
    　をさらに含む異常検知装置。
  3. 　請求項１に記載の異常検知装置であって、
    　上記エンコーダは角度パラメータと正規分布の対数分散に相当するスカラーパラメータとを出力するものであり、
    　上記多様体上の相異なる２つの分布を上記正常分布の事前分布および上記異常分布の事前分布として設定する事前分布設定部と、
    　上記正常データおよび上記異常データからなる学習データの特徴量を入力したときの上記エンコーダの出力のうち上記集中度パラメータを所定の定数として上記正常分布および上記異常分布を学習する第一学習部と、
    　上記学習データの特徴量を入力したときに上記エンコーダが出力する上記角度パラメータから構成した回転行列と全体で共通した任意の値を持つ固定ベクトルとを乗算した単位超球面上のベクトルを得、その単位超球面上のベクトルと上記事前分布のもつ方向ベクトルとの内積に上記事前分布のもつ集中度パラメータを乗算した値を、上記学習データの特徴量を入力したときに上記エンコーダが出力する上記スカラーパラメータの指数から減算した値をKLダイバージェンス値として、上記学習データの特徴量を入力したときに上記エンコーダが出力する上記スカラーパラメータに正規分布から生成した乱数を乗じた値を上記エンコーダが出力する上記角度パラメータに加算したベクトルを用いて回転行列を構成し上記正常分布および上記異常分布を学習する第二学習部と、
    　をさらに含む異常検知装置。
  4. 　請求項２または３に記載の異常検知装置であって、
    　上記学習データを用いた上記第一学習部による上記正常分布および上記異常分布の学習を所定の回数繰り返し実行した後、上記学習データを用いた上記第二学習部による上記正常分布および上記異常分布の学習を実行する、
    　異常検知装置。
  5. 　請求項２から４のいずれかに記載の異常検知装置であって、
    　上記エンコーダは、上記角度パラメータに90度近傍の値に対して高い値をもつコスト関数が設定されている、
    　異常検知装置。
  6. 　請求項１から５のいずれかに記載の異常検知装置であって、
    　上記潜在空間を超球面とし、
    　上記正常分布および上記異常分布をフォンミーゼス・フィッシャー分布とする、
    　異常検知装置。
  7. 　エンコーダ記憶部に、潜在空間を閉じた多様体とし、正常データを学習した正常分布と異常データを学習した異常分布とを上記多様体上にもち、入力された特徴量を上記潜在空間に射影するエンコーダと、上記エンコーダの出力を再構成するデコーダとが記憶されており、
    　エンコード部が、対象データの特徴量を上記エンコーダへ入力したときに上記デコーダが出力する再構成結果を得、
    　異常度算出部が、上記再構成結果と上記正常分布および上記異常分布との距離に基づいて上記対象データの異常度を算出する、
    　異常検知方法。
  8. 　請求項１から６のいずれかに記載の異常検知装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/026027 2018-07-20 2019-07-01 異常検知装置、異常検知方法、およびプログラム WO2020017285A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/260,956 US20210326728A1 (en) 2018-07-20 2019-07-01 Anomaly detection apparatus, anomaly detection method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136642A JP6930503B2 (ja) 2018-07-20 2018-07-20 異常検知装置、異常検知方法、およびプログラム
JP2018-136642 2018-07-20

Publications (1)

Publication Number Publication Date
WO2020017285A1 true WO2020017285A1 (ja) 2020-01-23

Family

ID=69164299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026027 WO2020017285A1 (ja) 2018-07-20 2019-07-01 異常検知装置、異常検知方法、およびプログラム

Country Status (3)

Country Link
US (1) US20210326728A1 (ja)
JP (1) JP6930503B2 (ja)
WO (1) WO2020017285A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111174905A (zh) * 2020-02-13 2020-05-19 欧朗电子科技有限公司 低功耗物联网振动异常检测装置及其检测方法
CN111709491A (zh) * 2020-06-30 2020-09-25 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
CN112393860A (zh) * 2020-12-09 2021-02-23 杭州拓深科技有限公司 一种基于类内距离约束自编码器的消防管网漏水监测方法
CN112702329A (zh) * 2020-12-21 2021-04-23 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质
CN113190797A (zh) * 2021-04-18 2021-07-30 宁波大学科学技术学院 一种基于在线滚动判别特征分析的pta装置粗差判别方法
JP2021143844A (ja) * 2020-03-10 2021-09-24 エヌ・ティ・ティ・アドバンステクノロジ株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
CN113670434A (zh) * 2021-06-21 2021-11-19 深圳供电局有限公司 变电站设备声音异常识别方法、装置和计算机设备
WO2024180681A1 (ja) * 2023-02-28 2024-09-06 日本電信電話株式会社 学習装置、推定装置、学習方法、及び学習プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4216215A1 (en) * 2018-08-10 2023-07-26 Nippon Telegraph And Telephone Corporation Data transformation apparatus
US20200097879A1 (en) * 2018-09-25 2020-03-26 Oracle International Corporation Techniques for automatic opportunity evaluation and action recommendation engine
US11467803B2 (en) 2019-09-13 2022-10-11 Oracle International Corporation Identifying regulator and driver signals in data systems
WO2021038755A1 (ja) * 2019-08-28 2021-03-04 三菱電機株式会社 異常部分検知装置、異常部分検知方法及びプログラム
JP7540209B2 (ja) 2020-06-23 2024-08-27 富士通株式会社 最適解獲得プログラム、最適解獲得方法および情報処理装置
US11443758B2 (en) * 2021-02-09 2022-09-13 International Business Machines Corporation Anomalous sound detection with timbre separation
US11843623B2 (en) * 2021-03-16 2023-12-12 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for anomaly detection
US11763086B1 (en) * 2021-03-29 2023-09-19 Amazon Technologies, Inc. Anomaly detection in text
CN114462617A (zh) * 2021-12-21 2022-05-10 北京理工大学 一种基于蒸馏机制的数据异常检测方法
CN114297036B (zh) * 2022-01-05 2023-06-09 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及可读存储介质
CN114330597B (zh) * 2022-01-14 2022-08-19 阿里巴巴达摩院(杭州)科技有限公司 用户聚类方法、数据聚类方法、装置、电子设备
CN115034282A (zh) * 2022-04-13 2022-09-09 国家电网有限公司信息通信分公司 异常数据检测模型的构建方法、异常数据检测方法及系统
WO2024009442A1 (ja) * 2022-07-06 2024-01-11 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
KR102654240B1 (ko) * 2022-10-26 2024-04-04 주식회사 에이아이네이션 딥러닝, 머신러닝 및 통계 모델을 이용한 산업설비 이상 감지 장치 및 시스템
WO2024181037A1 (ja) * 2023-03-01 2024-09-06 日本電気株式会社 データ処理装置、データ処理方法及びプログラム
CN116662811B (zh) * 2023-06-13 2024-02-06 无锡物联网创新中心有限公司 一种工业设备的时序状态数据重构方法及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019070965A (ja) * 2017-10-10 2019-05-09 日本電信電話株式会社 学習装置、学習方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015030804A1 (en) * 2013-08-30 2015-03-05 Hewlett-Packard Development Company, L.P. Identifying anomalous behavior of a monitored entity
WO2018047804A1 (ja) * 2016-09-08 2018-03-15 日本電気株式会社 異常検出装置、異常検出方法、及び記録媒体
US11403531B2 (en) * 2017-07-19 2022-08-02 Disney Enterprises, Inc. Factorized variational autoencoders
US10373056B1 (en) * 2018-01-25 2019-08-06 SparkCognition, Inc. Unsupervised model building for clustering and anomaly detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019070965A (ja) * 2017-10-10 2019-05-09 日本電信電話株式会社 学習装置、学習方法、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVIDSON, TIM R. ET AL.: "Hyperspherical Variational Auto-Encoders", ARXIV.ORG, 3 April 2018 (2018-04-03), pages 1 - 19, XP080867109 *
SAITO YUMA: "Detection of abnormal sound of equipment operation sound using deep learning", LECTURE PROCEEDINGS CD-ROM OF 2017 SPRING RESEARCH CONFERENCE OF THE ACOUSTICAL SOCIETY OF JAPAN, 1 March 2017 (2017-03-01), pages 473 - 476, ISSN: 1880-7658 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111174905A (zh) * 2020-02-13 2020-05-19 欧朗电子科技有限公司 低功耗物联网振动异常检测装置及其检测方法
CN111174905B (zh) * 2020-02-13 2023-10-31 欧朗电子科技有限公司 低功耗物联网振动异常检测装置及其检测方法
JP2021143844A (ja) * 2020-03-10 2021-09-24 エヌ・ティ・ティ・アドバンステクノロジ株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
CN111709491A (zh) * 2020-06-30 2020-09-25 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
WO2021139236A1 (zh) * 2020-06-30 2021-07-15 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
CN111709491B (zh) * 2020-06-30 2024-05-14 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
CN112393860A (zh) * 2020-12-09 2021-02-23 杭州拓深科技有限公司 一种基于类内距离约束自编码器的消防管网漏水监测方法
CN112393860B (zh) * 2020-12-09 2022-12-20 杭州拓深科技有限公司 一种基于类内距离约束自编码器的消防管网漏水监测方法
CN112702329A (zh) * 2020-12-21 2021-04-23 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质
CN113190797A (zh) * 2021-04-18 2021-07-30 宁波大学科学技术学院 一种基于在线滚动判别特征分析的pta装置粗差判别方法
CN113670434A (zh) * 2021-06-21 2021-11-19 深圳供电局有限公司 变电站设备声音异常识别方法、装置和计算机设备
WO2024180681A1 (ja) * 2023-02-28 2024-09-06 日本電信電話株式会社 学習装置、推定装置、学習方法、及び学習プログラム

Also Published As

Publication number Publication date
US20210326728A1 (en) 2021-10-21
JP6930503B2 (ja) 2021-09-01
JP2020013449A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
WO2020017285A1 (ja) 異常検知装置、異常検知方法、およびプログラム
US10387768B2 (en) Enhanced restricted boltzmann machine with prognosibility regularization for prognostics and health assessment
JP6881207B2 (ja) 学習装置、プログラム
WO2022105062A1 (zh) 用于光学量测的方法、系统、计算设备和存储介质
WO2019160003A1 (ja) モデル学習装置、モデル学習方法、プログラム
US20200265307A1 (en) Apparatus and method with multi-task neural network
CN114297036A (zh) 数据处理方法、装置、电子设备及可读存储介质
US11688403B2 (en) Authentication method and apparatus with transformation model
US20220114453A1 (en) Method and apparatus with neural network pruning
Lee et al. An enhanced binary particle swarm optimization for optimal feature selection in bearing fault diagnosis of electrical machines
JP6943067B2 (ja) 異常音検知装置、異常検知装置、プログラム
Kalpana et al. Multiple parametric fault diagnosis using computational intelligence techniques in linear filter circuit
US20210397973A1 (en) Storage medium, optimum solution acquisition method, and optimum solution acquisition apparatus
JP7392366B2 (ja) 最適解獲得プログラム、最適解獲得方法および情報処理装置
Caillerie et al. Model selection for simplicial approximation
Wang et al. Functional sufficient dimension reduction for functional data classification
CN110941542A (zh) 基于弹性网络的序列集成高维数据异常检测系统及方法
Zhang et al. Time series classification by shapelet dictionary learning with SVM‐based ensemble classifier
Oyedotun et al. A closer look at autoencoders for unsupervised anomaly detection
Guo et al. Dual Class Token Vision Transformer for Direction of Arrival Estimation in Low SNR
Zheng et al. Using Neural Networks for Novelty-based Test Selection to Accelerate Functional Coverage Closure
CN111832596B (zh) 数据处理方法、电子设备及计算机可读介质
US20240028872A1 (en) Estimation apparatus, learning apparatus, methods and programs for the same
Niveditha et al. Kernelized Deep Networks for Speech Signal Segmentation Using Clustering and Artificial Intelligence in Neural Networks
Aremu et al. Machine learning-based embedding for discontinuous time series machine data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19837795

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19837795

Country of ref document: EP

Kind code of ref document: A1