WO2019073923A1 - 異常品判定方法 - Google Patents

異常品判定方法 Download PDF

Info

Publication number
WO2019073923A1
WO2019073923A1 PCT/JP2018/037352 JP2018037352W WO2019073923A1 WO 2019073923 A1 WO2019073923 A1 WO 2019073923A1 JP 2018037352 W JP2018037352 W JP 2018037352W WO 2019073923 A1 WO2019073923 A1 WO 2019073923A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoder
data
normal
distribution
discriminator
Prior art date
Application number
PCT/JP2018/037352
Other languages
English (en)
French (fr)
Inventor
邦人 加藤
俊介 中塚
宏旭 相澤
Original Assignee
国立大学法人岐阜大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人岐阜大学 filed Critical 国立大学法人岐阜大学
Priority to JP2019548177A priority Critical patent/JP7177498B2/ja
Publication of WO2019073923A1 publication Critical patent/WO2019073923A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an abnormal item determination method for determining whether an object to be determined is a normal item or an abnormal item.
  • an abnormal item determination method for determining whether an object to be determined is a normal item or an abnormal item.
  • the feature when the determination object is a normal item is digitized, and the determination object is based on this feature.
  • the present invention relates to a method of determining an abnormal item by which a computer determines whether the item is a normal item or an abnormal item.
  • the computer statistically extracts features included in the data as numerical values or mathematical expressions, and there is machine learning as a method of performing identification using the extracted features.
  • an encoder called an auto encoder (self-coder) and a method of extracting feature quantities using a decoder structure network are known.
  • the auto encoder is a neural network that learns so that the input and the output are the same.
  • the feature quantity which represents the input well is extracted while the encoder repeatedly drops the input into a feature of a small dimension and outputs the input so as to reproduce the input.
  • an abnormal product can be accurately determined and extracted from an assembly of determination objects in which a normal product and an abnormal product are mixed. Is possible.
  • Non-Patent Document 1 discloses a technique related to "Convolutional Neural Network (hereinafter also referred to as convolutional neural network)" which is a type of neural network.
  • CNN is a neural network mainly used in the field of image recognition, and is characterized by a structure in which a convolutional layer responsible for local feature extraction of an image and a pooling layer for collecting local features are repeated.
  • supervised learning using a large amount of training samples is required for learning of neural networks including CNN.
  • Non-Patent Document 2 discloses a technique related to "Autoencoder (hereinafter also referred to as an auto encoder and a self encoder)" which is a type of neural network.
  • the neural network disclosed in Non-Patent Document 2 performs resupervised learning by supervised learning after initializing parameters of a multi-layered neural network by unsupervised learning.
  • the auto encoder of Non-Patent Document 2 dimensionally compresses an input, converts an abstract feature of the input into a feature vector which is a vector quantity, and reproduces the input from the feature vector.
  • Non-Patent Document 3 discloses a technique relating to "Adversarial Autoencoder (hereinafter, also referred to as a hostile self-coder)" which is a type of neural network.
  • the hostile self-coder is a technology that applies hostile learning to the auto-encoder to extract features that well represent the input and follow the features in an arbitrary distribution.
  • Non-Patent Document 4 is a document disclosing T 2 method Hotelling.
  • the T 2 method detects abnormal data by creating a normal model from feature vectors using only a large amount of normal data or a large amount of normal data and a small amount of abnormal data, and calculating the individual abnormality degree of unknown data Statistical method.
  • the distribution of feature quantities of data follows a normal distribution, if the data does not follow a normal distribution, sufficient detection can not be performed.
  • the present invention has been made to solve the above problems, and is a case where machine learning of a neural network is performed using only a large amount of normal data, or a large amount of normal data and a small number of abnormal data. Also, the present invention provides an abnormal item determination method capable of accurately determining an abnormal item.
  • the present invention relates to an abnormal item determination method for performing hostile learning using an encoder, a network having a decoder structure, and a network of discriminators to determine whether an object to be determined is a normal item or an abnormal item.
  • the data of a plurality of determination objects are input to an encoder and a decoder structure network, and the features of the determination object are extracted, and the discriminator distributes the features of the determination object Determining whether the distribution follows a normal distribution, and repeating each of the updating of the encoder and decoder structure network, the updating of the discriminator, and the updating of the encoder to minimize the feature extraction error
  • the step of determining whether the discriminator according to the abnormal item determination method of the present invention follows the normal distribution
  • the step of determining whether the distribution of the features of the object to be determined follows the normal distribution inputs data according to the normal distribution to the discriminator. This is a step of calculating an error between the encoder and the feature of the determination object extracted by the decoder structure network.
  • data of a plurality of determination objects input to the encoder-decoder network to extract features is data including more normal items than abnormal items.
  • data to be input to the discriminator is a random vector according to a multivariate standard normal distribution.
  • the data according to the normal distribution input to the discriminator is most preferably a vector having random numbers obtained from the standard normal distribution as components.
  • the histogram as the whole of the data has almost the same distribution as a normal distribution with an average value of 0 and a standard deviation of 1, the data may be pseudo random numbers, and the method of generating the data is not particularly limited.
  • the abnormal item determination method of the present invention accurately determines the abnormal item even when machine learning of a neural network is performed using only a large amount of normal data or a large amount of normal data and a very small number of abnormal data. It can be carried out.
  • FIG. 1 is a block diagram showing a conceptual configuration of a neural network that executes the abnormal item determination method of the present invention.
  • FIG. 2 is a flowchart of the abnormal item determination method of the present invention.
  • FIG. 3 is a flowchart of the hostile learning process of the present invention.
  • FIG. 4 is a diagram illustrating an example of an image data group input to a network having an encoder and a decoder for determination of an abnormal product of white rice in the first embodiment.
  • FIG. 5 is a model diagram of the neural network used in the first embodiment.
  • FIG. 6 is a diagram showing the distribution of the degree of abnormality of white rice in the case of the number of latent dimensions Z min of 2 in the first embodiment.
  • FIG. 1 is a block diagram showing a conceptual configuration of a neural network that executes the abnormal item determination method of the present invention.
  • FIG. 2 is a flowchart of the abnormal item determination method of the present invention.
  • FIG. 3 is a flowchart of the hostile learning process of the
  • FIG. 8 is a view showing the distribution of the degree of abnormality of white rice when the number of latent dimensions Z min is 8 according to the first embodiment.
  • FIG. 10 shows image data of a group of white rice determined to be a normal product by the abnormal product determination method of the first embodiment.
  • FIG. 11 shows image data of a group of white rice determined to be an abnormal product by the abnormal product determination method of the first embodiment.
  • FIG. 13 is a diagram showing the distribution of the degree of abnormality of white rice in the case
  • FIG. 16 is a ROC curve showing the comparison result of the accuracy of the abnormal item determination between the example and the comparative example.
  • FIG. 17 is a diagram illustrating an example of a signal data group input to a network having an encoder and a decoder for determination of an abnormality in striking sound in the second embodiment.
  • FIG. 18 is a model diagram of the neural network used in the second embodiment.
  • FIG. 19 is a ROC curve showing the comparison result of the accuracy of the abnormal item determination between the embodiment 2 and the comparative example.
  • FIG. 1 is a block diagram conceptually showing the configuration of a neural network 1 that executes the abnormal item determination method of the present invention.
  • the neural network 1 of the present invention comprises an encoder, a network of auto encoders 2 which is a network of decoder structures, and a network of discriminators 3.
  • the auto encoder 2 includes an encoder 11 and a decoder 12.
  • the encoder 11 dimensionally compresses the input data and extracts a feature vector representing a feature of the input data.
  • the decoder 12 restores input data using the feature vector extracted by the encoder 11.
  • the discriminator (discriminator) 3 receives the features extracted by the encoder and vectors sampled from the normal distribution, and each vector received is a vector extracted from the features extracted by the encoder or the normal distribution The decision is made and the discriminator is updated so that the decision can be made well using the decision result.
  • the feature extracted by the encoder is again input to the discriminator, it is determined whether it is a vector sampled from a normal distribution, and the encoder 2 is able to perform feature extraction according to the normal distribution using the result of the determination. Update Such processing of the auto encoder 2 and the discriminator 3 is referred to as hostile learning.
  • the abnormal item determination method includes a step of inputting data of a plurality of determination objects (step S1), and a step of performing hostile learning between the auto encoder 2 of the neural network 1 and the discriminator 3 Step S2), a step of extracting a feature from unknown data using a feature obtained by hostile learning (step S3), and a step of calculating the degree of abnormality of each judgment object by the encoder 11 (step S4) And a process (step S5) of determining whether the judgment object is a normal product or an abnormal product by threshold processing, and a process (step S6) of outputting a result.
  • step S1 data of a plurality of determination objects are input to a network having an encoder and a decoder structure, that is, the auto encoder 2.
  • the data of the plurality of determination objects is data including more normal products than abnormal products. In a preferred embodiment, the ratio of abnormal products to normal products is 5 to 20%.
  • the hostile learning in step S2 is performed using the data of the determination target including more normal products than the abnormal products.
  • hostile learning it is possible to correct, optimize and extract the features of the determination object used to calculate the degree of abnormality.
  • the abnormal item determination method of the present invention is characterized in that the features of the extracted determination object are distributed according to a normal distribution. The contents of the hostile learning will be described in detail below with reference to FIG.
  • the characteristics of the judgment object extracted by hostile learning are usually multivariate. Therefore, the extracted features are distributed according to the following multivariate normal distribution equation.
  • x is a random variable
  • ⁇ is a variance-covariance
  • ⁇ is an average
  • M is the number of dimensions of x.
  • step S3 the abnormal item determination method of the present invention extracts the feature x 'from the data whose normal or abnormal item is unknown.
  • the Mahalanobis distance a (x ') formula can be used to calculate the degree of abnormality.
  • p is a probability density function
  • D is a data group.
  • the distribution of the anomalous degree a (x ′) follows a chi-square distribution with M degrees of freedom when the number of data is sufficiently large. Therefore, the threshold value of the abnormal product is determined in step S5, and when the abnormality degree of the unknown data x 'is smaller than the threshold value, it is determined as a normal product, and when it is larger than the threshold value By determining the product as an article, it can be accurately determined whether the unknown data is a normal article or an abnormal article.
  • NB_EPOCH is a prescribed number of times for training a data set
  • STEPS_PER_EPOCH is a prescribed number of times for determining how many times a parameter of the network is updated in one learning.
  • a vector batch is a collection of vectors input in one update
  • an image batch is a collection of images input in one update.
  • the encoder 11 of the auto encoder 2 inputs data of a plurality of determination objects, and extracts features of the determination objects.
  • the decoder 12 uses the features extracted by the encoder 11 to restore input data. In order to quantitatively confirm the extent of this reconstruction, the following equation of squared error is used.
  • y is a collection of restored images (batch)
  • t is a collection of teacher images (input images) (batch)
  • BS is the number of batches.
  • y is a group (batch) of output signals of the discriminator 3
  • t is a group (batch) of teacher signals
  • BS is the number of batches.
  • the auto encoder 2 simultaneously performs optimization for the encoder 11 to extract a feature that well represents the input and optimization for the decoder 12 to successfully recover the input from the feature using the following loss function Loss AE .
  • MSE is a square error
  • En is an operation for inputting an image and encoding the input image
  • De is an operation for decoding a vector obtained by encoding in En and obtaining an image.
  • x is an image batch.
  • the vector input to the discriminator 3 is preferably a random vector according to a multivariate standard normal distribution.
  • the multivariate standard normal distribution is a multivariate normal distribution in which the mean vector of multivariate random variables is a zero vector and the variance covariance matrix is an identity matrix.
  • Each component of the random vector according to the multivariate standard normal distribution is a normal distribution with an average of zero and a variance of 1, that is, a random number according to the standard normal distribution.
  • the discriminator 3 determines whether or not the input determination target vector follows a normal distribution, and outputs a value between 0 and 1 as a determination result.
  • the discriminator is updated so that the feature vector extracted by the auto encoder and the vector sampled from the normal distribution can be determined using the following loss function Loss Dis .
  • Loss dis is an index indicating the degree of discrimination of discriminator
  • BCE is cross entropy
  • Dis is an operation that receives a vector and outputs whether it is derived from an auto encoder or a normal distribution
  • En is an image Is an operation to input and encode
  • x is a collection of input images (batch)
  • z is a collection of vectors sampled from a normal distribution (batch)
  • O is a vector in which all elements are 0 and
  • I is a vector whose elements are all 1's.
  • the encoder 11 outputs the extracted features to the discriminator 3.
  • the discriminator 3 determines whether or not the distribution of the features of the input determination object follows a normal distribution, and outputs a value between 0 and 1 as a determination result.
  • the encoder 11 is updated using the following loss function Loss En .
  • BCE is the cross entropy
  • Dis is an operation that receives a vector and outputs whether it is derived from an auto encoder or a normal distribution
  • En is an operation that inputs and encodes an image
  • x is an input image It is a collection (batch)
  • I is a vector whose elements are all 1's.
  • the features extracted by the auto encoder 2 become features according to the normal distribution. Since the degree of abnormality is calculated using the feature according to the normal distribution extracted by the encoder, a large amount of normal data, or a large amount of normal data and a very small amount of abnormal data are used to calculate the neural network Even when learning is performed, it is possible to determine an abnormal product with high accuracy.
  • Example 1 The Example which applied the abnormal item determination method of this invention to the determination of the abnormal item of white rice is shown.
  • FIG. 4 is a view showing an example of an image data group of white rice input to the neural network 1 for determination of an abnormal product.
  • Image data is represented as a pixel value including luminance values and chromaticity values of pixels arranged in a two-dimensional array.
  • FIG. 5 is a model diagram showing the hierarchical structure and dimensions of each of the neural networks 1 used in the embodiment.
  • the encoder performs two-dimensional convolution processing to extract feature quantities from image data. By performing a two-dimensional convolution process, a feature having a two-dimensional spatial spread is extracted in consideration of the target pixel and its surrounding pixels.
  • 29194 points of white rice image data are used for hostile learning. And it judged with respect to the data of the white rice in which it is unknown whether 8679 normal goods or abnormal goods were.
  • FIG. 6 shows the distribution of the feature amount and the degree of abnormality of white rice when the number of latent dimensions Z min is 2.
  • the number of latent dimensions is the number of dimensions of feature vectors extracted by the encoder 11.
  • FIG. 7 shows the distribution of feature quantities of white rice when the number of latent dimensions Z min is 4.
  • FIG. 8 shows the distribution of feature quantities of white rice when the number of latent dimensions Z min is set to 8.
  • FIG. 9b shows a scatter diagram and a frequency distribution table of a part of the distribution.
  • the vertical axis of each scatter plot shows components of one dimension, and the horizontal axis shows components of another dimension.
  • the vertical axis of the frequency distribution table indicates the number of samples, and the horizontal axis indicates the feature amount.
  • data indicated by light colored points are white rice judged to be normal products, and data indicated by dark colored points are white rice judged to be abnormal products.
  • FIG. 10 shows image data of a group of white rice determined to be a normal product by the abnormal product determination method of the embodiment.
  • FIG. 11 shows image data of a group of white rice determined to be an abnormal product by the abnormal product determination method of the embodiment.
  • White rice judged to be an abnormal product has white turbidity and cracks
  • white rice judged to be a normal product has no white turbidity and has a color close to normal transparency, and no cracks and chips were found. From this, it became clear that the neural network correctly judged the defective product of white rice.
  • FIG. 12 shows the distribution of the feature amount and the degree of abnormality of white rice when the latent dimension number Zmin of the auto encoder is set to 2.
  • FIG. 16 also refers to the overdetection rate (False Positive Rate, also referred to as the false positive rate, the probability of determining a normal product as an abnormal product) and the detection rate (True Poaitive Rate, sensitivity) of each of the example and the comparative example.
  • the overdetection rate False Positive Rate, also referred to as the false positive rate, the probability of determining a normal product as an abnormal product
  • the detection rate True Poaitive Rate, sensitivity
  • ROC curve receiveriver operating characteristic curve
  • the separation performance can be quantitatively evaluated by contrasting AUC (Area Under the Curve) which is the area under the ROC curve. While the AUC of the determination method of the comparative example was 0.508, the AUC of the example was 0.920. Also from this, it is clear that the abnormal item determination method of the present invention can accurately determine an abnormal item.
  • Example 2 The Example which applied the abnormal item determination method of this invention to audio
  • the voice data is an impact sound when striking a tightened "screw".
  • a screw is used that is fixed with the correct strength when tightened with 70N and 80N tightening force.
  • FIG. 17 shows data of a group of audio signals input to the neural network 1 for determination of an abnormal product.
  • the screw was tightened by applying five levels of tightening force of 40N, 50N, 60N, 70N, and 80N, and then an impact was applied, and audio signal data was recorded over a fixed period after the impact.
  • FIG. 17 shows the relationship between the recording time and the signal strength of data obtained by recording the impact sound of a screw at a sampling rate of 22.05 kHz.
  • the number of samples used for hostile learning is 120 for the 40N to 60N clamping force, 1042 for the 70N clamping force, and 1036 for the 80N clamping force. Among them, samples with a tightening force of 40N to 60N are abnormal products, and samples with a tightening force of 70N and 80N are normal products.
  • FIG. 18 shows a model diagram of the neural network used in the present embodiment.
  • the input data is data of an audio signal, so that one-dimensional convolution processing is performed. It has been confirmed that the distribution of feature quantities obtained by the determination of the present embodiment follows a normal distribution. Furthermore, as a result of judging whether it is a normal product or an abnormal product with respect to data obtained by measuring the impact sound of the screw 2186 times, the abnormal product judgment method of the embodiment is that the screw with a tightening force is attached. It was confirmed that the voice data was correctly determined.
  • FIG. 19 shows the relationship between the over detection rate (False Positive Rate) and the detection rate (True Poaitive Rate) of the example by a solid line, and shows the relationship between the over detection rate and the detection rate of the comparative example by a broken line.
  • AUC Absolute Under the Curve
  • the AUC of the determination method of the comparative example was 0.1211, while the AUC of the example was 0.9571. From this, it was verified that the abnormal item determination method of the present invention can accurately determine an abnormal item.
  • the availability of the abnormal item determination method of the present invention is not limited to image data and voice data.
  • the present invention can be applied to all articles and data for identifying and extracting abnormal products with high accuracy from an assembly in which normal products and abnormal products are mixed.
  • the appearance inspection of industrial products and agricultural products whose number of abnormal products is very small compared to the number of normal products, detection of abnormal scenes in image data, and processes that may cause abnormal conditions to be reflected in voice Etc. can be suitably used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

大量の正常データと少数の異常データを用いて機械学習を行い、異常品の判定を精度高く行うことのできる異常品判定方法を提供する。 複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して判定対象物の特徴を抽出し、ディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定し、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返して、特徴の抽出の誤差を最小化する。エンコーダが、更新により得た特徴を用いて、判定対象物の異常度を算出し、異常度のしきい値処理を行って、判定対象物が正常品であるか異常品であるかを判定する。判定対象物の特徴の分布が正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、このデータとエンコーダ、デコーダ構造ネットワークが抽出した判定対象物の特徴との間の誤差を算出する工程である。ディスクリミネータの判定結果を用いることで、エンコーダが異常度の算出に用いる判定対象物の特徴が正規分布に従って分布するように収束する。

Description

異常品判定方法
　本発明は、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。特に、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行うことにより、判定対象物が正常品であるときの特徴を数値化し、この特徴に基づいて判定対象物が正常品であるか異常品であるかをコンピュータが判定する異常品の判定方法に関する。
　コンピュータにデータを繰り返し学習させることで、データに含まれる特徴を数値または数式としてコンピュータが統計的に抽出し、さらに、抽出した特徴を用いて、識別を行う手法として機械学習がある。
　機械学習の一つの方法として、オートエンコーダ（自己符号化器）と呼ばれるエンコーダ、デコーダ構造ネットワークを用いた特徴量の抽出方法が知られている。オートエンコーダとは、入力と出力とが同じになるように学習させるニューラルネットワークである。エンコーダで入力を少ない次元の特徴に一旦落とし込み、デコーダで入力を再現するように出力することを繰り返すなかで、入力をよく表す特徴量が抽出される。
　オートエンコーダを用いて正常品の特徴を抽出することができれば、この特徴を用いて、正常品と異常品とが混在する判定対象物の集合体から、異常品を精度高く判定して抽出することが可能となる。
　非特許文献１は、ニューラルネットワークの一種である「Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（以下、畳み込みニューラルネットワークとも言う）」に関する技術を開示している。ＣＮＮは、主に画像認識の分野で用いられるニューラルネットワークで、画像の局所的な特徴抽出を担う畳み込み層と、局所ごとの特徴をまとめるプーリング層とを繰り返した構造が特徴である。一般に、ＣＮＮを含めたニューラルネットワークの学習のためには、大量の訓練サンプルを用いた教師あり学習が必要となる。しかし、異常品のサンプル数を学習に十分な数だけ確保することが難しい場合には、学習をうまく行うことができないという問題がある。
　非特許文献２は、ニューラルネットワークの一種である「Ａｕｔｏｅｎｃｏｄｅｒ（以下、オートエンコーダ、自己符号化器とも言う）」に関する技術を開示している。非特許文献２が開示するニューラルネットワークは、多階層のニューラルネットワークのパラメータを教師なし学習で初期化した後に、教師あり学習により再学習している。非特許文献２のオートエンコーダは、入力を次元圧縮し、入力の抽象的な特徴をベクトル量である特徴ベクトルに変換し、その特徴ベクトルから入力を再現する。しかし、オートエンコーダで得られる特徴がどのような分布となるかは、これまで操作することができなかった。
　非特許文献３は、ニューラルネットワークの一種である「Ａｄｖｅｒｓａｒｉａｌ　Ａｕｔｏｅｎｃｏｄｅｒ（以下、敵対的自己符号化器とも言う）」に関する技術を開示している。敵対的自己符号化器は、オートエンコーダに敵対的学習を取り入れることで、入力をよく表す特徴を抽出しつつ、その特徴を任意の分布に従わせる技術である。
　非特許文献４は、ホテリングのＴ２法を開示した文献である。Ｔ２法は、大量の正常データのみ、もしくは大量の正常データと少量の異常データを用いた特徴ベクトルから正常モデルを作成し、未知データの個々の異常度を算出することにより、異常データを検出する統計的手法である。しかし、データの特徴量の分布が正規分布に従っていることを仮定しているため、データが正規分布に従っていない場合、十分な検出を行うことはできない。ホテリングのＴ２法を画像認識分野に適用する場合には、正規分布に従う特徴を選択する必要がある。
「ＩｍａｇｅＮｅｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｗｉｔｈ　Ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ」Ａｌｅｘ　Ｋｒｉｚｈｅｖｓｋｙ、Ｉｌｙａ　Ｓｕｔｓｋｅｖｅｒ、Ｇｅｏｆｆｒｅｙ　Ｈｉｎｔｏｎ著、Ａｄｖａｎｃｅｓ　ｉｎ　ｎｅｕｒａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ　ｓｙｓｔｅｍ，１０９７－１１０５頁（２０１２年）． 「Ｒｅｄｕｃｉｎｇ　ｔｈｅ　ｄｉｍｅｎｓｉｎａｌｉｔｙ　ｏｆ　ｄａｔａ　ｗｉｔｈ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ」Ｇｅｏｆｆｒｅｙ　Ｈｉｎｔｏｎ、Ｒｕｓｌａｎ　Ｓａｌａｋｈｕｔｄｉｎｏｖ著、Ｓｃｉｅｎｃｅ，３１３号、５０４－５０７頁（２００６年）． 「Ａｄｖｅｒｓａｒｉａｌ　ａｕｔｏｅｎｃｏｄｅｒｓ」Ａｌｉｒｅｚａ　Ｍａｋｈｚａｎｉ、Ｊｏｎａｔｈｏｎ　Ｓｈｌｅｎｓ、Ｎａｖｄｅｅｐ　Ｊａｉｔｌｙ，Ｉａｎ　Ｇｏｏｄｆｅｌｌｏｗ、Ｂｒｅｎｄａｎ　Ｆｒｅｙ著、ＡｒＸｉｖ　ｐｒｅｐｒｉｎｔ，ａｒＸｉｖ：１５１１．０５６４４（２０１５年） 「Ｔｈｅ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ｏｆ　Ｓｔｕｄｅｎｔ’ｓ　ｒａｔｉｏ」Ｈａｒｏｌｄ　Ｈｏｔｅｌｌｉｎｇ著、Ａｎｎａｌｓ　ｏｆ　Ｍａｔｈｅｍａｔｉｃａｌ　Ｓｔａｔｉｓｔｉｃｓ，２：３６０－３７８頁（１９３１年）．
　正常品と異常品が混在する判定対象物の集合のデータをニューラルネットワークに入力し、学習によって正常品の特徴ベクトルを得ようとする場合、異常品の数が正常品よりも極めて少ない場合には学習を効果的に行うことができず、結果として異常品の判定精度が低くなる場合があった。
　本発明は、上記課題を解決するためになされたものであって、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことのできる異常品判定方法を提供するものである。
　本発明は、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。本発明の異常品判定方法は、複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して、判定対象物の特徴を抽出する工程と、ディスクリミネータが、判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程と、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返し、特徴の抽出の誤差を最小化する工程と、エンコーダが、更新によって得られた特徴を用いて、判定対象物の異常度を算出する工程と、算出した異常度のしきい値処理を行うことによって、判定対象物が正常品であるか異常品であるかを判定する工程と、を備えている。本発明の異常品判定方法のディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、このデータとエンコーダ、デコーダ構造ネットワークが抽出した判定対象物の特徴との間の誤差を算出する工程である。ディスクリミネータの判定結果を用いていることで、エンコーダが異常度の算出に用いる判定対象物の特徴が正規分布に従って分布するように収束させられる。
　本発明の異常品判定方法は、特徴を抽出するためにエンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることが好ましい。
　本発明の異常品判定方法は、ディスクリミネータに入力するデータが、多変量の標準正規分布に従ったランダムベクターであることが好ましい。なお、ディスクリミネータに入力する正規分布に従ったデータは、標準正規分布から得た乱数を成分とするベクトルであることが最も好ましい。しかしながら、そのデータの全体としてのヒストグラムが平均値０、標準偏差１の正規分布とほぼ同様になるのであれば、データは疑似乱数であっても良く、データの発生方法は特に限定されない。
　本発明の異常品判定方法は、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことができる。
図１は、本発明の異常品判定方法を実行するニューラルネットワークの概念的な構成を示すブロック図である。 図２は、本発明の異常品判定方法のフローチャートである。 図３は、本発明の敵対的学習工程のフローチャートである。 図４は、実施例１で白米の異常品の判定のために、エンコーダ、デコーダ構造のネットワークに入力した画像データ群の一例を示す図である。 図５は、実施例１で用いたニューラルネットワークのモデル図である。 図６は、実施例１の潜在次元数Ｚｍｉｎ＝２の場合の白米の異常度の分布を示す図である。 図７は、実施例１の潜在次元数Ｚｍｉｎ＝４の場合の白米の異常度の分布を示す図である。 図８は、実施例１の潜在次元数Ｚｍｉｎ＝８の場合の白米の異常度の分布を示す図である。 図９ａは、実施例１の潜在次元数Ｚｍｉｎ＝１６の場合の白米の異常度の分布を示す図である。 図９ｂは、実施例１の潜在次元数Ｚｍｉｎ＝１６の場合の白米の異常度の分布を示す図である。 図１０は、実施例１の異常品判定方法によって、正常品と判定された一群の白米の画像データである。 図１１は、実施例１の異常品判定方法によって、異常品と判定された一群の白米の画像データである。 図１２は、比較例の潜在次元数Ｚｍｉｎ＝２の場合の白米の異常度の分布を示す図である。 図１３は、比較例の潜在次元数Ｚｍｉｎ＝４の場合の白米の異常度の分布を示す図である。 図１４は、比較例の潜在次元数Ｚｍｉｎ＝８の場合の白米の異常度の分布を示す図である。 図１５は、比較例の潜在次元数Ｚｍｉｎ＝１６の場合の白米の異常度の分布を示す図である。 図１６は、実施例と比較例との異常品判定の精度の比較結果を示すＲＯＣ曲線である。 図１７は、実施例２で打撃音の異常の判定のために、エンコーダ、デコーダ構造のネットワークに入力した信号データ群の一例を示す図である。 図１８は、実施例２で用いたニューラルネットワークのモデル図である。 図１９は、実施例２と比較例との異常品判定の精度の比較結果を示すＲＯＣ曲線である。
　以下、本発明の異常品判定方法の実施形態を、図面を参照しつつ詳細に述べる。
　図１に、本発明の異常品判定方法を実行するニューラルネットワーク１の構成を概念的に表したブロック図を示す。本発明のニューラルネットワーク１は、エンコーダ、デコーダ構造のネットワークであるオートエンコーダ２のネットワークと、ディスクリミネータ３のネットワークとを備えている。
　オートエンコーダ２は、エンコーダ（ｅｎｃｏｄｅｒ、符号化器）１１とデコーダ（ｄｅｃｏｒｄｅｒ、復号器）１２とを備えている。エンコーダ１１は、入力されたデータの次元圧縮を行い、入力データの特徴を表す特徴ベクトルを抽出する。デコーダ１２は、エンコーダ１１が抽出した特徴ベクトルを用いて、入力データを復元する。ディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ、識別器）３には、エンコーダが抽出した特徴と正規分布からサンプリングされたベクトルが入力され、入力された各ベクトルが、エンコーダが抽出した特徴か正規分布からサンプリングされたベクトルかを判定し、判定の結果を用いて、うまくその判定が行えるようにディスクリミネータを更新する。再度エンコーダが抽出した特徴をディスクリミネータに入力し、正規分布からサンプリングされたベクトルであるかを判定し、その判定の結果を用いてエンコーダ２が正規分布に従う特徴抽出を行えるように、エンコーダ２を更新する。このようなオートエンコーダ２とディスクリミネータ３の処理を、敵対的学習という。
　ニューラルネットワーク１上で実行する本発明の異常品判定方法のフローチャートを図２に示す。本発明の異常品判定方法は、複数の判定対象物のデータを入力する工程（ステップＳ１）と、ニューラルネットワーク１のオートエンコーダ２とディスクリミネータ３との間で敵対的学習を行わせる工程（ステップＳ２）と、敵対的学習によって得られた特徴を用いて未知のデータから特徴を抽出する工程（ステップＳ３）と、エンコーダ１１によって個々の判定対象物の異常度を算出する工程（ステップＳ４）と、しきい値処理によって判定対象物が正常品であるか異常品であるかを判定する工程（ステップＳ５）と、結果を出力する工程（ステップＳ６）と、を備えている。
　本発明の異常品判定方法は、ステップＳ１で、エンコーダ、デコーダ構造のネットワークすなわちオートエンコーダ２に、複数の判定対象物のデータを入力する。この複数の判定対象物のデータは、異常品よりも正常品を多く含むデータである。好ましい実施形態として、正常品に対する異常品の割合は５～２０％である。
　異常品よりも正常品を多く含む判定対象物のデータを用いて、ステップＳ２の敵対的学習を実行する。敵対的学習によって、異常度の算出に用いる判定対象物の特徴を、修正し最適化して抽出することができる。本発明の異常品判定方法は、抽出した判定対象物の特徴が、正規分布に従って分布していることを特徴とする。なお、敵対的学習の内容については、図３を参照しつつ以下に詳細に説明する。
　敵対的学習によって抽出される判定対象物の特徴は、通常、多変量となる。従って、抽出した特徴は、以下の多変量正規分布の式に従って分布する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｘは確率変数であり、Σは分散共分散であり、μは平均であり、Ｍはｘの次元数である。
　予め敵対的学習を行ったニューラルネットワーク１を用いて、正常品か異常品かが未知である判定対象物の判定を行うことができる。ステップＳ３で、本発明の異常品判定方法は、正常品か異常品かが未知であるデータから、エンコーダ１１により特徴ｘ’を抽出する。
　異常度の算出には、マハラノビス距離ａ（ｘ’）の公式を用いることができる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｐは確率密度関数であり、Ｄはデータ群である。
　非特許文献４に開示されているホテリングのＴ２理論を適用すると、異常度ａ（ｘ’）の分布は、データの数が十分多い場合、自由度Ｍのカイ二乗分布に従う。そこで、ステップＳ５で異常品のしきい値を決定し、未知データｘ’の異常度がしきい値よりも小さい場合には正常品と判定し、しきい値よりも大きい場合にはこれを異常品と判定することで、未知データが正常品であるか異常品であるかを正確に判定することができる。
　本発明の異常品判定方法において、正規分布に従う判定対象物の特徴を抽出するための、敵対的学習の内容を図３のフローチャートに示す。図３において、ＮＢ＿ＥＰＯＣＨとはデータセットを学習させる規定の回数であり、ＳＴＥＰＳ＿ＰＥＲ＿ＥＰＯＣＨとは１回の学習の中で何回ネットワークのパラメータを更新するかを決定する規定の回数である。また、ベクターバッチとは１回の更新で入力されるベクターの集まりであり、イメージバッチとは１回の更新で入力される画像の集まりである。
　本発明における敵対的学習では、オートエンコーダ２とディスクリミネータ３内のデータの更新が、別々に行われる。オートエンコーダ２のエンコーダ１１は、複数の判定対象物のデータを入力して、判定対象物の特徴を抽出する。デコーダ１２は、エンコーダ１１の抽出した特徴を用いて、入力データを復元する。この復元の程度を定量的に確認するために、以下の二乗誤差の式を用いる。
Figure JPOXMLDOC01-appb-M000003
 　ここで、ｙは復元画像の集まり（バッチ）であり、ｔは教師画像（入力画像）の集まり（バッチ）であり、ＢＳはバッチの枚数である。
　また、ディスクリミネータ３の判定が教師信号に対してどれほど正確かを以下の交差エントロピーを用いて評価する。
Figure JPOXMLDOC01-appb-M000004
 　ここで、ｙはディスクリミネータ３の出力信号の集まり（バッチ）であり、ｔは教師信号の集まり（バッチ）であり、ＢＳはバッチの枚数である。
　オートエンコーダ２は、以下の損失関数ＬｏｓｓＡＥを用いて、エンコーダ１１が入力をよく表す特徴を抽出するための最適化とデコーダ１２がその特徴から入力をうまく復元するための最適化を同時に行う。
Figure JPOXMLDOC01-appb-M000005
 　ここで、ＭＳＥとは二乗誤差であり、Ｅｎとは画像を入力し、入力画像を符号化する演算であり、ＤｅとはＥｎ演算で符号化され得られたベクターを復号化し画像を得る演算であり、ｘはイメージバッチである。
　エンコーダ１１により抽出された特徴の集まりと、正規分布からサンプリングしたベクターの集まりを連結させ、ディスクリミネータ３に入力するためのベクターバッチを作成する。ここで、ディスクリミネータ３に入力するベクターは、多変量標準正規分布に従ったランダムベクターであることが好ましい。多変量標準正規分布とは、多変量の確率変数の平均ベクトルがゼロベクトルで、分散共分散行列が単位行列の多変量正規分布である。多変量標準正規分布に従ったランダムベクターの各成分は平均がゼロで分散が１の正規分布、つまり標準正規分布に従った乱数となる。ディスクリミネータ３は、入力された判定対象ベクターが正規分布に従っているのか否かを判定して、０から１の間の値を判定結果として出力する。以下の損失関数ＬｏｓｓＤｉｓを用いて、オートエンコーダが抽出した特徴ベクトルと正規分布からサンプリングされたベクターとを判定できるようディスクリミネータを更新する。
Figure JPOXMLDOC01-appb-M000006
 　ここで、Ｌｏｓｓｄｉｓはディスクリミネータの判別の程度を表す指標であり、ＢＣＥは交差エントロピーであり、Ｄｉｓはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Ｅｎは画像を入力して符号化する演算であり、ｘは入力画像の集まり（バッチ）であり、ｚは正規分布からサンプリングされたベクターの集まり（バッチ）であり、Ｏは要素がすべて０のベクターであり、Ｉは要素がすべて１のベクターである。
　エンコーダ１１は、ディスクリミネータ３に抽出した特徴を出力する。ディスクリミネータ３は、入力された判定対象物の特徴の分布が正規分布に従っているのか否かを判定して、０から１の間の値を判定結果として出力する。
　更に、以下の損失関数ＬｏｓｓＥｎを用いて、エンコーダ１１を更新する。
Figure JPOXMLDOC01-appb-M000007
 　ここで、ＢＣＥは交差エントロピーであり、Ｄｉｓはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Ｅｎは画像を入力して符号化する演算であり、ｘは入力画像の集まり（バッチ）であり、Ｉは要素がすべて１のベクターである。　
　以上の学習により、オートエンコーダ２が抽出する特徴は正規分布に従った特徴となる。エンコーダにより抽出された、正規分布に従った特徴を利用して異常度の算出を行うこととなるため、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの学習を行った場合であっても、異常品の判定を精度高く行うことができる。
　（実施例１）
　本発明の異常品判定方法を、白米の異常品の判定に適用した実施例を示す。図４は、異常品の判定のために、ニューラルネットワーク１に入力した白米の画像データ群の一例を示す図である。画像データは、二次元配列されている画素の輝度値、色度値を含む画素値として表される。図５は、実施例で用いたニューラルネットワーク１のそれぞれの階層構造と次元を示したモデル図である。エンコーダは、画像データから特徴量を抽出するために、二次元の畳み込み処理を行っている。二次元の畳み込み処理をすることによって、対象の画素とその周囲の画素を考慮した、二次元の空間的な広がりを持つ特徴を抽出する。
　本実施例では、敵対的学習に、２９１９４点の白米の画像データを用いた。そして、８６７９点の正常品か異常品かが未知である白米のデータに対して、判定を行った。
　図６に、潜在次元数Ｚｍｉｎ＝２とした場合の白米の特徴量と異常度の分布を示す。潜在次元数とはエンコーダ１１により抽出された特徴ベクターの次元数である。　図７に、潜在次元数Ｚｍｉｎ＝４とした場合の、白米の特徴量の分布を示す。図８に、潜在次元数Ｚｍｉｎ＝８とした場合の白米の特徴量の分布を示す。図９ａに、潜在次元数Ｚｍｉｎ＝１６の場合の白米の特徴量の分布を示し、図９ｂには、その一部の散布図と度数分布表を拡大表示している。それぞれの散布図の縦軸はある次元の成分を示し、横軸は別の次元の成分を示している。度数分布表の縦軸はサンプル数を示し、横軸は特徴量を示している。図において、薄い色の点で示したデータは、正常品と判定された白米であり、濃い色の点で示したデータは、異常品と判定された白米である。これらのグラフによって、抽出されたいずれの特徴量の分布も、正規分布に従っていることが示されている。
　図１０は、実施例の異常品判定方法によって、正常品と判定された一群の白米の画像データである。図１１は、実施例の異常品判定方法によって、異常品と判定された一群の白米の画像データである。異常品と判定された白米は白濁りや割れがみられるのに対し、正常品と判定された白米は、白濁がなく通常の透明に近い色調を有し、割れや欠けが認められなかった。このことから、ニューラルネットワークは、白米の異常品を正しく判定していることが明らかとなった。
　（比較例）
　比較例として、従来のオートエンコーダによって、同一の白米の画像データを判定した結果を示す。従来のオートエンコーダは、本発明のディスクリミネータによる敵対的学習をおこなわず、従って特徴の分布が正規分布に従うことが保証されない。図１２は、オートエンコーダの潜在次元数Ｚｍｉｎ＝２とした場合の白米の特徴量と異常度の分布を示す。　図１３に、潜在次元数Ｚｍｉｎ＝４とした場合の、白米の特徴量の分布を示す。図１４に、潜在次元数Ｚｍｉｎ＝８とした場合の白米の特徴量の分布を示す。図１５に、潜在次元数Ｚｍｉｎ＝１６の場合の白米の特徴量の分布を示す。
　図１６に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度の比較結果を示す。図１６は、実施例と比較例のそれぞれの過検出率（Ｆａｌｓｅ　Ｐｏｓｉｔｉｖｅ　Ｒａｔｅ，偽陽性率とも言う。ここでは、正常品を異常品と判定する確率）と検出率（Ｔｒｕｅ　Ｐｏａｉｔｉｖｅ　Ｒａｔｅ，感度とも言う。ここでは、異常品を正しく異常品と判定する確率）の関係を示したＲＯＣ曲線（受信者動作特性曲線）である。ＲＯＣ曲線は、点（０，　１）に近いほど分離性能が高い。ＲＯＣ曲線の下側の面積であるＡＵＣ（Ａｒｅａ　Ｕｎｄｅｒ　ｔｈｅ　Ｃｕｒｖｅ）の対比により、分離性能を定量的に評価することができる。比較例の判定方法のＡＵＣが０．５０８であったのに対し、実施例のＡＵＣは０．９２０であった。このことからも、本発明の異常品判定方法が精度高く異常品を判定できることは明らかである。
　（実施例２）
　本発明の異常品判定方法を、音声データに適用した実施例を示す。音声データは、締付け固定した「ねじ」を打撃したときの打撃音である。本実施例では、７０Ｎと８０Ｎの締付け力で締めたときに正しい強度で固定されるねじを用いている。
　図１７に、異常品の判定のために、ニューラルネットワーク１に入力した一群の音声信号のデータを示す。本実施例では、ねじに４０Ｎ、５０Ｎ、６０Ｎ、７０Ｎ、８０Ｎの５水準の締付け力を与えて締め付けた後に打撃を加え、打撃後の一定期間に亘る音声信号のデータを記録した。図１７は、ねじの打撃音をサンプリングレート２２．０５ｋＨｚで記録したデータの、記録時間と信号強度の関係を示している。敵対的学習に用いたサンプル数は、４０Ｎから６０Ｎの締付け力のサンプル数が１２０、７０Ｎの締付け力のサンプル数が１０４２、８０Ｎの締付け力のサンプル数が１０３６である。このうち、４０Ｎから６０Ｎの締付け力のサンプルが異常品であり、７０Ｎと８０Ｎの締付け力のサンプルが正常品である。
　図１８に、本実施例で用いたニューラルネットワークのモデル図を示す。画像データを扱った実施例１と異なる点は、入力するデータが音声信号のデータであるため、一次元の畳み込み処理を行っている点である。本実施例の判定によって得られた特徴量の分布は、正規分布に従っていることが確認された。さらにねじの打撃音を２１８６回測定して得られたデータに対して、正常品か異常品かの判定を行った結果、実施例の異常品判定方法は、締付け力が付属しているねじの音声データを正しく判定していることが確認された。
　比較例として、従来のオートエンコーダによって、同一の音声データを判定した。図１９に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度をＲＯＣ曲線で示した比較結果を示す。図１９は、実施例の過検出率（Ｆａｌｓｅ　Ｐｏｓｉｔｉｖｅ　Ｒａｔｅ）と検出率（Ｔｒｕｅ　Ｐｏａｉｔｉｖｅ　Ｒａｔｅ）の関係を実線で示し、比較例の過検出率と検出率との関係を破線で示している。ＲＯＣ曲線の下側の面積であるＡＵＣ（Ａｒｅａ　Ｕｎｄｅｒ　ｔｈｅ　Ｃｕｒｖｅ）を比較すると、比較例の判定方法のＡＵＣが０．１２１１であったのに対し、実施例のＡＵＣは０．９５７１であった。このことから、本発明の異常品判定方法が精度高く異常品を判定できることが検証された。
　本発明の異常品判定方法の利用可能性は、画像データおよび音声データに限定されない。正常品と異常品とが混在する集合体から異常品を精度高く識別して抽出する全ての物品やデータに適用することができる。特に、異常品の数が正常品の数と比較して非常に少ない工業製品や農産物の外観検査、画像データの中の異常な場面の検出、異常な状態が音声に反映させる可能性のある工程等に好適に利用することができる。
　１　ニューラルネットワーク
　２　オートエンコーダ
　３　ディスクリミネータ
　１１　エンコーダ
　１２　デコーダ

Claims (3)

  1. 　エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する判定方法であって、
    　複数の判定対象物のデータを前記エンコーダ、デコーダ構造ネットワークに入力して、前記判定対象物の特徴を抽出する工程と、
    　前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程と、
    　前記エンコーダ、デコーダ構造ネットワークの更新と、前記ディスクリミネータの更新と、前記エンコーダの更新と、をそれぞれ繰り返し、前記特徴の抽出の誤差を最小化する工程と、
    　前記エンコーダが、更新によって得られた前記特徴を用いて、判定対象物の異常度を算出する工程と、
    　算出した前記異常度のしきい値処理を行うことによって、前記判定対象物が正常品であるか異常品であるかを判定する工程と、
    　を備えており、
    　前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、前記データと前記エンコーダ、デコーダ構造ネットワークが抽出した前記判定対象物の前記特徴との間の誤差を算出する工程であり、
    　前記ディスクリミネータの判定結果を用いていることで、前記エンコーダが異常度の算出に用いる前記判定対象物の前記特徴が正規分布に従って分布するように収束させられていることを特徴とする異常品の判定方法。
  2. 　前記特徴を抽出するために前記エンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることを特徴とする請求項１に記載の異常品の判定方法。
  3. 　前記ディスクリミネータに入力する正規分布に従った前記データは、多変量の標準正規分布に従ったランダムベクターであることを特徴とする請求項１または２に記載の異常品の判定方法。
PCT/JP2018/037352 2017-10-10 2018-10-05 異常品判定方法 WO2019073923A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019548177A JP7177498B2 (ja) 2017-10-10 2018-10-05 異常品判定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017196758 2017-10-10
JP2017-196758 2017-10-10

Publications (1)

Publication Number Publication Date
WO2019073923A1 true WO2019073923A1 (ja) 2019-04-18

Family

ID=66100873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037352 WO2019073923A1 (ja) 2017-10-10 2018-10-05 異常品判定方法

Country Status (2)

Country Link
JP (1) JP7177498B2 (ja)
WO (1) WO2019073923A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215341A (zh) * 2019-07-11 2021-01-12 富士通株式会社 非暂态计算机可读记录介质、机器学习方法和装置
JP2021047676A (ja) * 2019-09-19 2021-03-25 コニカミノルタ株式会社 機械学習装置、機械学習方法及び機械学習プログラム
WO2021095519A1 (ja) * 2019-11-14 2021-05-20 オムロン株式会社 情報処理装置
JP2021196960A (ja) * 2020-06-16 2021-12-27 Kddi株式会社 機械学習装置、機械学習方法及び機械学習プログラム
WO2022172330A1 (ja) * 2021-02-09 2022-08-18 日本電信電話株式会社 学習装置、異常検知装置、学習方法、異常検知方法、及びプログラム
JP7453136B2 (ja) 2020-12-25 2024-03-19 株式会社日立製作所 異常検出装置、異常検出方法及び異常検出システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017096655A (ja) * 2015-11-18 2017-06-01 三菱重工業株式会社 状態評価システム及び状態評価方法
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017096655A (ja) * 2015-11-18 2017-06-01 三菱重工業株式会社 状態評価システム及び状態評価方法
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAKHZANI, ALIREZA ET AL., ADVERSARIAL AUTOENCODERS, 25 May 2016 (2016-05-25), pages 1 - 16, XP055532752, Retrieved from the Internet <URL:https://arxiv.org/pdf/1511.05644.pdf> [retrieved on 20181204] *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215341A (zh) * 2019-07-11 2021-01-12 富士通株式会社 非暂态计算机可读记录介质、机器学习方法和装置
JP2021015425A (ja) * 2019-07-11 2021-02-12 富士通株式会社 学習方法、学習プログラム及び学習装置
JP2021047676A (ja) * 2019-09-19 2021-03-25 コニカミノルタ株式会社 機械学習装置、機械学習方法及び機械学習プログラム
JP7375403B2 (ja) 2019-09-19 2023-11-08 コニカミノルタ株式会社 機械学習装置、機械学習方法及び機械学習プログラム
WO2021095519A1 (ja) * 2019-11-14 2021-05-20 オムロン株式会社 情報処理装置
JP7409027B2 (ja) 2019-11-14 2024-01-09 オムロン株式会社 情報処理装置
JP2021196960A (ja) * 2020-06-16 2021-12-27 Kddi株式会社 機械学習装置、機械学習方法及び機械学習プログラム
JP7290608B2 (ja) 2020-06-16 2023-06-13 Kddi株式会社 機械学習装置、機械学習方法及び機械学習プログラム
JP7453136B2 (ja) 2020-12-25 2024-03-19 株式会社日立製作所 異常検出装置、異常検出方法及び異常検出システム
WO2022172330A1 (ja) * 2021-02-09 2022-08-18 日本電信電話株式会社 学習装置、異常検知装置、学習方法、異常検知方法、及びプログラム

Also Published As

Publication number Publication date
JP7177498B2 (ja) 2022-11-24
JPWO2019073923A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
WO2019073923A1 (ja) 異常品判定方法
US10769530B2 (en) Method for training artificial neural network using histograms and distributions to deactivate at least one hidden node
CN111860236B (zh) 一种基于迁移学习的小样本遥感目标检测方法及系统
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
Jeong et al. Semi-local structure patterns for robust face detection
CN110827265B (zh) 基于深度学习的图片异常检测方法
JP2018026122A5 (ja)
CN111343182B (zh) 一种基于灰度图的异常流量检测方法
WO2020202505A1 (en) Image processing apparatus, image processing method and non-transitoty computer readable medium
CN115205604A (zh) 基于改进YOLOv5的化工生产过程中安全防护品佩戴检测方法
JP7392488B2 (ja) 遺留物誤検出の認識方法、装置及び画像処理装置
US10580127B2 (en) Model generation apparatus, evaluation apparatus, model generation method, evaluation method, and storage medium
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Pulgarin-Giraldo et al. GMM background modeling using divergence-based weight updating
Shi et al. Optimization and data mining for fracture prediction in geosciences
CN113065395A (zh) 一种基于生成对抗网络的雷达目标新类检测方法
CN117409347A (zh) 一种基于esnn的早期火灾检测方法
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
Dionelis et al. Few-shot adaptive detection of objects of concern using generative models with negative retraining
WO2020137228A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
JP2020173496A (ja) 異常品判定方法
CN111292346A (zh) 一种噪声环境下浇铸箱体轮廓的检测方法
Piuri et al. Computational intelligence in industrial quality control
Mishne et al. Multi-channel wafer defect detection using diffusion maps
Faula et al. One-Class Detection and Classification of Defects on Concrete Surfaces

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18866693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019548177

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18866693

Country of ref document: EP

Kind code of ref document: A1