JP7047372B2 - Data identification device and data identification method - Google Patents

Data identification device and data identification method Download PDF

Info

Publication number
JP7047372B2
JP7047372B2 JP2017244811A JP2017244811A JP7047372B2 JP 7047372 B2 JP7047372 B2 JP 7047372B2 JP 2017244811 A JP2017244811 A JP 2017244811A JP 2017244811 A JP2017244811 A JP 2017244811A JP 7047372 B2 JP7047372 B2 JP 7047372B2
Authority
JP
Japan
Prior art keywords
data
neural network
acquired
identification
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017244811A
Other languages
Japanese (ja)
Other versions
JP2019113914A (en
Inventor
慎吾 水田
真治 岡谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toray Industries Inc
Original Assignee
Toray Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toray Industries Inc filed Critical Toray Industries Inc
Priority to JP2017244811A priority Critical patent/JP7047372B2/en
Publication of JP2019113914A publication Critical patent/JP2019113914A/en
Application granted granted Critical
Publication of JP7047372B2 publication Critical patent/JP7047372B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、生産工程から定常的に取得されるデータ、または過去に取得されたデータに対して、そのデータが正常データか異常データを識別する異常検出装置、異常検知方法、および異常検知プログラムに関する。 The present invention relates to an abnormality detection device, an abnormality detection method, and an abnormality detection program for discriminating whether the data is normal data or abnormal data with respect to data constantly acquired from a production process or data acquired in the past. ..

あるデータ群に含まれるデータについて、正常なデータか否かを識別する機械学習の手法が知られており、大きく教師あり異常検知手法と教師なし異常検知手法の2つに分けられる。教師あり異常検知手法としては特許文献1に記載のような手法が知られている。しかし教師あり異常検知において、十分な識別精度を得るためにはあらかじめ正常なデータと異常なデータを同程度用意する必要がある。 Machine learning methods for identifying whether or not data contained in a certain data group are normal data are known, and can be broadly divided into two methods: supervised anomaly detection method and unsupervised anomaly detection method. As a supervised abnormality detection method, a method as described in Patent Document 1 is known. However, in supervised anomaly detection, it is necessary to prepare normal data and abnormal data to the same extent in advance in order to obtain sufficient identification accuracy.

しかし、製品の生産設備から得られる製品のほとんどが良品であり不良品の発生率が低い場合、生産設備から得られるデータの大半が、良品から得られる正常データであり、不良品から得られる異常データ少ない場合がある。このような場合、教師あり異常検知手法を用いた場合、異常データが十分に得られないことから、異常データの特徴を十分に捉えることができず、異常データに対する識別精度が低くなってしまうという課題がある。 However, if most of the products obtained from the production equipment of the product are non-defective and the incidence of defective products is low, most of the data obtained from the production equipment is normal data obtained from good products, and abnormalities obtained from defective products. There may be little data. In such a case, when the supervised anomaly detection method is used, the anomaly data cannot be sufficiently obtained, so that the characteristics of the anomaly data cannot be sufficiently grasped, and the identification accuracy for the anomaly data becomes low. There are challenges.

教師なし異常検知技術は学習データとして、正常データを用いる異常検知手法であるため異常データを学習に用いず、正常データと異なる状態として異常データを識別できるという利点がある。教師なし異常検知技術を用いた異常検知手法としては特許文献2に提案されている。 Since the unsupervised anomaly detection technique is an anomaly detection method that uses normal data as learning data, there is an advantage that the anomaly data can be identified as a state different from the normal data without using the anomaly data for learning. Patent Document 2 proposes an anomaly detection method using an unsupervised anomaly detection technique.

特開2014-26455号公報Japanese Unexamined Patent Publication No. 2014-26455 特開2017-97718号公報Japanese Unexamined Patent Publication No. 2017-97718


しかし、上記教師なし異常検知の技術を製品の生産工程等で利用する場合、環境条件の経時変化等で取得されるデータが変化することや、生産装置、周辺機器の更新などで取得されるデータに影響を与えることなどがあり、上記教師なし異常検知技術のみではこの変化に対応することができず、正確な判断を行なえない場合がある。

However, when the above unsupervised anomaly detection technology is used in the production process of products, the data acquired may change due to changes in environmental conditions over time, or the data acquired by updating production equipment and peripheral equipment. The above-mentioned unsupervised anomaly detection technology alone cannot cope with this change, and it may not be possible to make an accurate judgment.

本発明は上記の点を鑑みてなされたもので、環境条件の経時変化するような条件であっても教師なし異常検知手法を用いて正確に異常検知を行うことを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to accurately detect anomalies using an unsupervised anomaly detection method even under conditions where environmental conditions change over time.

上記課題を解決するために、本発明は、入力されるデータがデータ群中の特異データであるか否かを識別するデータ識別装置であって、
入力されたデータから、第1のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第2のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の2つのモードを独立に、あるいは、同時に動作させる制御手段と、を備えている。
In order to solve the above problems, the present invention is a data identification device that discriminates whether or not the input data is peculiar data in the data group.
A feature amount extraction means for extracting a feature amount from the input data using the first neural network,
A data reconstruction means for generating reconstruction data having the same size as the input data using the second neural network from the feature amount,
A parameter determining means for determining the parameters of the first neural network and the parameters of the second neural network by the error back propagation method from the error between the reconstructed data and the input data.
A data evaluation means for evaluating the magnitude of the error between the reconstructed data and the input data, and
An identification means for discriminating whether or not the input data is singular data by comparing the evaluation value calculated by the evaluation means with a preset threshold value.
A learning mode in which the feature amount extraction means, the data reconstruction means, and the parameter determination means are operated, and a data identification mode in which the feature amount extraction means, the data reconstruction means, the data evaluation means, and the identification means are operated. It is provided with a control means for operating the two modes of, independently or simultaneously.

上記本発明のデータ識別装置は、前記データ群が、連続的に搬送される識別対象に由来するものであり、
前記データ識別装置が、前記識別対象に関するデータを取得するデータ取得手段と、前記データ取得手段が取得したデータを蓄積するデータ蓄積手段と、をさらに備え、
前記制御手段が、前記識別対象が搬送状態の時は、前記データ取得手段により取得されるデータを前記特徴量抽出手段に入力して、前記データ識別モードを動作させ、前記識別対象が搬送状態でない時は、前記識別対象が搬送状態の時に前記データ蓄積手段により蓄積されたデータを前記特徴量抽出手段に入力して、前記学習モードを動作させる、ことが好ましい。
In the data identification device of the present invention, the data group is derived from an identification target that is continuously conveyed.
The data identification device further includes a data acquisition means for acquiring data related to the identification target and a data storage means for accumulating the data acquired by the data acquisition means.
When the identification target is in the transport state, the control means inputs the data acquired by the data acquisition means to the feature amount extraction means to operate the data identification mode, and the identification target is not in the transport state. At times, it is preferable that the data accumulated by the data storage means is input to the feature amount extraction means when the identification target is in the transport state to operate the learning mode.

上記本発明のデータ識別装置は、前記識別対象が、搬送ベルトで搬送される搬送品、樹脂または糸条であることが好ましい。 In the data identification device of the present invention, it is preferable that the identification target is a conveyed product, a resin or a thread conveyed by a conveying belt.

また、上記課題を解決するために、本発明は、第1のニューラルネットワークと第2のニューラルネットワークに、一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって、下記の工程1および工程2を行う。
(工程1)
一定期間取得して蓄積されたデータから第1のニューラルネットワークを用いて特徴量1を抽出し、
前記特徴量1から第2のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、
前記再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定する。
(工程2)
前記工程1により決定されたパラメータが設定された前記第1のニューラルネットワークを用いて、取得中のデータから特徴量2を抽出し、
前記工程1により決定されたパラメータが設定された前記第2のニューラルネットワークを用いて、前記特徴量2から前記取得中のデータと同じサイズの再構成データを生成し、
前記再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する。
Further, in order to solve the above problems, the present invention causes the first neural network and the second neural network to learn the data acquired and accumulated for a certain period of time, so that the data currently being acquired is included in the data group. This is a data identification method for identifying whether or not the data is peculiar to the above, and the following steps 1 and 2 are performed.
(Step 1)
Feature 1 is extracted from the data acquired and accumulated for a certain period of time using the first neural network.
Using the feature quantity 1 to the second neural network, reconstruction data having the same size as the accumulated data is generated.
From the error between the reconstructed data and the accumulated data, the parameters of the first neural network and the parameters of the second neural network are determined by the error back propagation method.
(Step 2)
Using the first neural network in which the parameters determined in the step 1 are set, the feature amount 2 is extracted from the data being acquired, and the feature amount 2 is extracted.
Using the second neural network in which the parameters determined in the step 1 are set, reconstruction data having the same size as the data being acquired is generated from the feature amount 2.
Whether or not the data being acquired is singular data is identified from the magnitude of the error between the reconstructed data and the data being acquired.

本発明のデータ識別方法は、以下のいずれかの方法を行うと好ましい。
・前記工程1を最初に一度だけ行い、その後前記工程2を連続して行う方法。
・前記工程2を連続して行いつつ、前記工程1をあらかじめ定めた周期で繰り返し行う方法で、前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである。
・前記工程1をあらかじめ定めた周期で繰り返し行い、前記工程2を前記工程1が行われていない間に連続して行う方法で、前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである。
The data identification method of the present invention is preferably any of the following methods.
-A method in which the step 1 is first performed only once, and then the step 2 is continuously performed.
-In a method in which the step 1 is repeated in a predetermined cycle while the step 2 is continuously performed, the data acquired and accumulated for the fixed period used in the step 1 is the step 1 and the step 1. It is the data obtained in the process of step 2 performed continuously with the process 1 performed immediately before, and is set in the first neural network and the second neural network in the step 2. The parameters are the parameters determined by the step 1 performed most recently in the step 2.
-Data acquired and accumulated for the fixed period used in the step 1 by a method in which the step 1 is repeated at a predetermined cycle and the step 2 is continuously performed while the step 1 is not performed. Is the data obtained in the process of step 2 continuously performed between the step 1 and the step 1 performed immediately before the step 1, and the first neural network and the first neural network in the step 2 and The parameters set in the second neural network are the parameters determined by the most recent step 1 of the step 2, respectively.

本発明によれば、教師なし異常検知手法を使用して、対象から取得されるデータが正常か異常かを判定し、環境条件の経時変化等で取得されるデータが変化することや、生産装置、周辺機器の更新などで取得されるデータに影響を与える系においても適切な周期で再学習する機能を備えることにより、変化に対応した判定を実施することが可能となる。 According to the present invention, an unsupervised abnormality detection method is used to determine whether the data acquired from a target is normal or abnormal, and the acquired data changes due to changes in environmental conditions over time, or a production device. By providing a function to relearn at an appropriate cycle even in a system that affects the data acquired by updating peripheral devices, it is possible to make a judgment corresponding to the change.

図1は、本発明のデータ識別装置を示した図である。FIG. 1 is a diagram showing a data identification device of the present invention. 図2は、本発明のデータ識別装置の概略構成図である。FIG. 2 is a schematic configuration diagram of the data identification device of the present invention. 図3は、特徴量抽出部11に用いる第1のニューラルネットワークの例を示す図である。FIG. 3 is a diagram showing an example of a first neural network used for the feature amount extraction unit 11. 図4は、データ再構成部12に用いる第2のニューラルネットワークの例を示す図である。FIG. 4 is a diagram showing an example of a second neural network used for the data reconstruction unit 12. 図5は、特徴量抽出部11で用いる第1のニューラルネットワークおよびデータ再構成部12で用いる第2のニューラルネットワークを結合したニューラルネットワークの例を示す図である。FIG. 5 is a diagram showing an example of a neural network in which a first neural network used in the feature amount extraction unit 11 and a second neural network used in the data reconstruction unit 12 are combined. 図6は、本発明のデータ識別装置が学習モードで動作する場合の動作フロー図である。FIG. 6 is an operation flow diagram when the data identification device of the present invention operates in the learning mode. 図7は、本発明のデータ識別装置が識別モードで動作する場合の動作フロー図である。FIG. 7 is an operation flow diagram when the data identification device of the present invention operates in the identification mode. 図8は、本発明の実施方法の1つを示した図である。FIG. 8 is a diagram showing one of the methods for carrying out the present invention. 図9は、本発明の実施方法の1つにおいて取得された各時刻の識別データである。FIG. 9 is identification data of each time acquired in one of the methods of carrying out the present invention. 図10は、本発明の実施方法の1つにおいてデータ識別方法Aを用いた場合に出力された評価値の時間変化を示した図である。FIG. 10 is a diagram showing the time change of the evaluation value output when the data identification method A is used in one of the implementation methods of the present invention. 図11は、本発明の実施方法の1つにおいてデータ識別方法Bを用いた場合に出力された評価値の時間変化を示した図である。FIG. 11 is a diagram showing the time change of the evaluation value output when the data identification method B is used in one of the implementation methods of the present invention. 図12は、本発明の実施方法の1つにおいてデータ識別方法Cを用いた場合に出力された評価値の時間変化を示した図である。FIG. 12 is a diagram showing a time change of the evaluation value output when the data identification method C is used in one of the implementation methods of the present invention.

以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

<装置構成>
図1に、本発明の実施にかかるデータ識別装置の実施形態の一例を示す。本データ識別装置は、演算装置1とデータ取得装置2と表示装置3を有している。演算装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)により構成されたメモリ、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記録装置から構成されたPC(Personal Computer)等であり、記録装置からプログラムやデータをメモリに呼び出し、CPUにて演算を実施する。記録装置としては、図示している構成に限られるものではなく、演算装置1の外部にHDDを接続することやCD、DVD、Blu-ray(登録商標)、などを利用することもできる。データ取得装置2はカメラやマイク等に代表されるセンサであり、演算装置1と電気的に接続されている。表示装置3はディスプレイ等であり演算装置1と電気的に接続されており、識別対象の判定結果を表示する構成等とすることができる。
<Device configuration>
FIG. 1 shows an example of an embodiment of a data identification device according to the embodiment of the present invention. This data identification device has an arithmetic unit 1, a data acquisition device 2, and a display device 3. The arithmetic unit 1 is a PC (Personal) Co Etc., the program or data is called from the recording device to the memory, and the CPU performs the calculation. The recording device is not limited to the configuration shown in the figure, and an HDD can be connected to the outside of the arithmetic unit 1, a CD, a DVD, a Blu-ray (registered trademark), or the like can be used. The data acquisition device 2 is a sensor typified by a camera, a microphone, or the like, and is electrically connected to the arithmetic unit 1. The display device 3 is a display or the like and is electrically connected to the arithmetic unit 1, and can be configured to display the determination result of the identification target.

図2は、図1のデータ識別装置の内部構成の概略を具体的に示したものである。演算装置1には、データ取得部10、特徴量抽出部11、データ再構成部12、データ評価部13、パラメータ決定部14、判定部15、結果出力部16、制御部17が含まれている。データ取得部10、特徴量抽出部11、データ再構成部12データ評価部13、パラメータ決定部14、判定部15、結果出力部16、制御部17は、演算装置1に保存された1つまたは複数からなるプログラムまたは演算回路である。 FIG. 2 specifically shows an outline of the internal configuration of the data identification device of FIG. 1. The arithmetic unit 1 includes a data acquisition unit 10, a feature amount extraction unit 11, a data reconstruction unit 12, a data evaluation unit 13, a parameter determination unit 14, a determination unit 15, a result output unit 16, and a control unit 17. .. The data acquisition unit 10, the feature amount extraction unit 11, the data reconstruction unit 12, the data evaluation unit 13, the parameter determination unit 14, the determination unit 15, the result output unit 16, and the control unit 17 are one or one stored in the arithmetic unit 1. It is a program or arithmetic circuit consisting of multiple elements.

<機能構成>
データ取得部10は、データ取得装置2を介して識別対象データを取得し、メモリ等に一次的に記録する機能を持つものとする。また、データ取得部10は、演算装置内部または外部の記録装置に識別対象データを保存する機能をもたせることが望ましい。
<Functional configuration>
The data acquisition unit 10 has a function of acquiring identification target data via the data acquisition device 2 and temporarily recording the data in a memory or the like. Further, it is desirable that the data acquisition unit 10 has a function of storing the identification target data in a recording device inside or outside the arithmetic unit.

特徴量抽出部11は、第1のニューラルネットワークを利用して識別対象データを示す低次元の特徴量を抽出する。識別対象データとなるセンサにより取得されるデータは、多次元のベクトルとして扱うことができ、第1のニューラルネットワークにおけるニューロンの値を1つのベクトルと解釈する。具体的には、図3に示すようなニューラルネットワークが考えられる。特徴量抽出部11に用いる第1のニューラルネットワークへの制約として、入力層におけるニューロンの数は識別対象データの次元nと一致させる必要がある。さらに抽出する特徴量の数mはnより必ず小さくする必要がある。第1のニューラルネットワークの層数や中間層に用いるニューロンの数に制約はないが、識別対象データの次元数に合せてその数を増やすことが望ましい。また、識別対象データが画像や動画などの場合には、取得されるデータの隣接するニューロン間の相互関係が重要であるので、ニューロン間の結合に制約をもたせた畳み込み層(Convolution Layer)を用いることで、より重要な特徴を抽出することが可能になる。 The feature amount extraction unit 11 extracts a low-dimensional feature amount indicating the identification target data by using the first neural network. The data acquired by the sensor as the identification target data can be treated as a multidimensional vector, and the value of the neuron in the first neural network is interpreted as one vector. Specifically, a neural network as shown in FIG. 3 can be considered. As a constraint on the first neural network used in the feature amount extraction unit 11, the number of neurons in the input layer needs to match the dimension n of the identification target data. Further, the number m of the feature amount to be extracted must be smaller than n. There are no restrictions on the number of layers of the first neural network or the number of neurons used in the intermediate layer, but it is desirable to increase the number according to the number of dimensions of the data to be identified. In addition, when the data to be identified is an image or a moving image, the interrelationship between adjacent neurons of the acquired data is important, so a convolution layer (Convolution Layer) with restrictions on the connection between neurons is used. This makes it possible to extract more important features.

データ再構成部12は、第2のニューラルネットワークを利用して特徴量抽出部11より抽出した特徴量から識別対象データと同じn次元のデータを再構成する。具体的には、図4に示すような構成のニューラルネットワークとする。データ再構成部12に用いる第2のニューラルネットワークに対しての制約は、出力層のニューロンの数が識別対象データと同じであることである。第2のニューラルネットワークの層数や中間層に用いるニューロンの数に制約はないが、識別対象データが画像や動画などの場合には、取得されるデータの隣接するニューロン間の相互関係が重要で、ニューロン間の結合に制約をもたせた逆畳み込み層(Deconvolution Layer)を用いることで、より高精度にデータを再構成することが可能になる。特徴量抽出部11とデータ再構成部12は、図5に示すように1つのニューラルネットワークとして使用することも可能である。 The data reconstruction unit 12 reconstructs the same n-dimensional data as the identification target data from the feature amount extracted from the feature amount extraction unit 11 using the second neural network. Specifically, the neural network has the configuration shown in FIG. The constraint on the second neural network used in the data reconstructing unit 12 is that the number of neurons in the output layer is the same as the data to be identified. There are no restrictions on the number of layers in the second neural network or the number of neurons used in the intermediate layer, but when the data to be identified is an image or video, the interrelationship between adjacent neurons of the acquired data is important. By using a deconvolution layer with restrictions on the connections between neurons, it is possible to reconstruct data with higher accuracy. The feature amount extraction unit 11 and the data reconstruction unit 12 can also be used as one neural network as shown in FIG.

データ評価部13は、識別対象データと、データ再構成部12で得られた再構成データの差異を評価する。2つのデータの差異の評価方法としては、SSD(Sum of Squared Difference)もしくはSAD(Sum of Absolute Difference)などがある。いずれの指標も、識別対象データと再構成データが一致する時に0となる指標であり、数値が大きいほどデータ間の差異が大きいことを示す。 The data evaluation unit 13 evaluates the difference between the identification target data and the reconstruction data obtained by the data reconstruction unit 12. As a method for evaluating the difference between the two data, there are SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference). Each index is an index that becomes 0 when the identification target data and the reconstructed data match, and the larger the numerical value, the larger the difference between the data.

パラメータ決定部14は、データ評価部13の結果に基づいて、特徴量抽出部11、データ再構成部12に用いるニューラルネットワークのパラメータを決定する。ここでニューラルネットワークのパラメータとは重みとバイアスのことである。重みとはニューラルネットワークの各ニューロン間の結合強度を示す数値であり、バイアスとはニューロン間の情報の伝達時に加算されるニューロンの値とは無関係な定数である。 The parameter determination unit 14 determines the parameters of the neural network used for the feature amount extraction unit 11 and the data reconstruction unit 12 based on the results of the data evaluation unit 13. Here, the parameters of the neural network are weights and biases. The weight is a numerical value indicating the connection strength between each neuron of the neural network, and the bias is a constant independent of the value of the neuron added when information is transmitted between the neurons.

データ評価部13より計算した識別対象データと再構成データの誤差から誤差逆伝播法によりパラメータの修正を行なう。この場合は識別対象データを取得し、蓄積しておいた複数のデータを用いて、同様の処理を繰り返す。ニューラルネットワークで学習を行なう場合には、ミニバッチ確率的勾配降下法を用いることが効果的であることが知られており、識別対象データを複数個組み合わせて、ミニバッチを作成し同時に誤差を算出し、それらの合計値を用いてパラメータ修正を行なうことが効果的である。誤差逆伝播法による学習を行なう場合には、徐々にパラメータ修正を繰り返しながら最終的なパラメータを決定することが好ましい。 The parameters are corrected by the error back propagation method from the error between the identification target data and the reconstructed data calculated by the data evaluation unit 13. In this case, the identification target data is acquired, and the same process is repeated using the accumulated data. It is known that it is effective to use the mini-batch stochastic gradient descent method when learning with a neural network. By combining multiple pieces of data to be identified, a mini-batch is created and the error is calculated at the same time. It is effective to correct the parameters using the total value of them. When learning by the error back propagation method, it is preferable to determine the final parameter while gradually repeating the parameter correction.

判定部15は、誤差のデータ評価部13により算出した誤差の値とあらかじめ設定した閾値とを比較し、識別対象データが正常か異常かを判定する。誤差の大きいデータは、元の識別対象データと、再構成データの差異が大きいデータであるため、過去に十分に学習していないデータ、すなわち異常データであると判断される。誤差の小さいデータは、十分に学習したデータと判断される。閾値は、正常データの平均値や中央値にその標準偏差の定数倍を加えた値とする。識別対象データ、または蓄積データの中に異常データがあることが分かっている場合には、異常データから特徴量抽出部11、データ再構成部12を使用しデータ評価部13により算出した誤差の最低値を設定することなどができる。 The determination unit 15 compares the error value calculated by the error data evaluation unit 13 with the preset threshold value, and determines whether the identification target data is normal or abnormal. Since the data having a large error is the data in which the difference between the original identification target data and the reconstructed data is large, it is determined that the data has not been sufficiently learned in the past, that is, the abnormal data. Data with a small error is judged to be sufficiently learned data. The threshold value is the average value or median value of normal data plus a constant multiple of the standard deviation. If it is known that there is abnormal data in the identification target data or accumulated data, the minimum error calculated by the data evaluation unit 13 using the feature amount extraction unit 11 and the data reconstruction unit 12 from the abnormal data. You can set the value and so on.

結果出力部16は、判定部15の結果を通知あるいは表示する。判定部15が異常と判定した場合、結果出力部16は、画面上に識別対象データを表示する、演算装置からの異常信号を出力するなどで外部に知らせる。 The result output unit 16 notifies or displays the result of the determination unit 15. When the determination unit 15 determines that the abnormality is determined, the result output unit 16 notifies the outside by displaying the identification target data on the screen, outputting an abnormality signal from the arithmetic unit, or the like.

制御部17は、上述の各部を状態に応じた制御を行って、本発明のデータ識別装置を動作させる。学習モード(工程1)と識別モード(工程2)の2つの制御モードで制御する。それぞれの制御モードに応じてデータ取得部10、特徴量抽出部11、データ再構成部12、データ評価部13、パラメータ決定部14、判定部15、結果出力部16の処理手順または動作順序を制御する。 The control unit 17 controls each of the above-mentioned units according to the state to operate the data identification device of the present invention. Control is performed in two control modes, a learning mode (process 1) and an identification mode (process 2). The processing procedure or operation order of the data acquisition unit 10, the feature amount extraction unit 11, the data reconstruction unit 12, the data evaluation unit 13, the parameter determination unit 14, the determination unit 15, and the result output unit 16 is controlled according to each control mode. do.

<データ識別装置の動作>
本発明のデータ識別装置が学習モード(工程1)で動作する場合の動作フローを図6に示し、また、識別モード(工程2)で動作する場合の動作フローを図7に示す。
<Operation of data identification device>
FIG. 6 shows an operation flow when the data identification device of the present invention operates in the learning mode (step 1), and FIG. 7 shows an operation flow when the data identification device operates in the identification mode (step 2).

本発明のデータ識別装置を利用してデータ識別するにはまず、学習モードで動作させた後に、識別モードで動作させる。 In order to identify data using the data identification device of the present invention, first, the data is operated in the learning mode and then in the identification mode.

図6を用いて学習モード(工程1)で動作させる場合の動作フローを説明する。学習モードにおける処理ステップに入る前に、まず、ステップS10において蓄積データをあらかじめ定めた値の単位(2~64)に分割する。分割した単位をミニバッチと呼称する。ミニバッチの数をN-bとして、ミニバッチ数の規定値とする。また第1のニューラルネットワークのパラメータ修正は繰り返し実施する必要があるため、あらかじめ繰り返し回数の規定値Nを設定しておく。まず、現在処理中のミニバッチ数を示すミニバッチ数カウンタnおよび現在の繰り返し回数を示す繰り返し回数カウンタnの値を初期化し、以下のステップS11を開始する前に、これらの値に1を加算する。次に、ステップS11において、データ取得部10から識別対象データ群を取得し、ステップS12では、特徴量抽出部11を用いて識別対象データ群を表現する特徴量1群を抽出する。ステップS13では、得られた特徴量1群からデータ再構成部12の第2のニューラルネットワークにより再構成データ群を生成する。次にステップS14では、データ評価部13から識別対象データと再構成データの誤差を算出する。ステップS15では、ミニバッチに含まれる識別対象データ全ての誤差を算出し終えた段階で、誤差の平均値を算出した誤差から誤差逆伝播法により特徴量抽出部11の第1のニューラルネットワークおよびデータ再構成部12の第2のニューラルネットワークのパラメータ修正を行い、パラメータを決定する。
これらの一連の処理を処理中のミニバッチ数カウンタnがミニバッチ数規定値Nになるまで繰り返し、全てのミニバッチに対して上記ステップS11~ステップS15の処理繰り返す。ミニバッチ数が規定値以上になったら、繰り返し回数カウンタnの値が繰り返し回数規定値以上かどうかの判断を行ない、Neが繰り返し回数以下の場合は、nの値に1を加算し、Nの値を初期化した後、再度ステップS11~ステップS15の処理を繰り返す。この処理を繰り返しnの値がNe以上となったところで処理を終了する。以下ではこの一連の流れを学習と呼称する。
The operation flow in the case of operating in the learning mode (step 1) will be described with reference to FIG. Before entering the processing step in the learning mode, first, in step S10, the accumulated data is divided into units (2 to 64) of predetermined values. The divided unit is called a mini-batch. Let the number of mini-batch be N- b and set the specified value of the number of mini-batch. Further, since it is necessary to repeatedly correct the parameters of the first neural network, a specified value Ne for the number of repetitions is set in advance. First, the values of the mini-batch counter n b indicating the number of mini-batch currently being processed and the repetition counter ne indicating the current number of repetitions are initialized, and 1 is added to these values before starting the following step S11. do. Next, in step S11, the identification target data group is acquired from the data acquisition unit 10, and in step S12, the feature amount extraction unit 11 is used to extract the feature amount 1 group representing the identification target data group. In step S13, a reconstruction data group is generated from the obtained feature quantity 1 group by the second neural network of the data reconstruction unit 12. Next, in step S14, the error between the identification target data and the reconstructed data is calculated from the data evaluation unit 13. In step S15, when the error of all the identification target data included in the mini-batch has been calculated, the first neural network of the feature quantity extraction unit 11 and the data re-reproduction by the error back propagation method from the error obtained by calculating the average value of the error. The parameters of the second neural network of the component 12 are modified to determine the parameters.
These series of processes are repeated until the mini-batch number counter n b being processed reaches the mini-batch number specified value N b , and the processes of steps S11 to S15 are repeated for all mini-batch. When the number of mini-batch exceeds the specified value, it is determined whether the value of the repetition counter ne is equal to or more than the specified number of repetitions. If Ne is less than or equal to the specified number of repetitions, 1 is added to the value of ne . After initializing the value of N b , the processes of steps S11 to S15 are repeated again. This process is repeated and the process ends when the value of ne becomes N e or more. Hereinafter, this series of flows is referred to as learning.

制御部は、入力層に識別対象データ、目標出力に識別対象データとし、ニューラルネットワークを学習させることで、識別対象データから、識別対象データを表現する重要なパラメータを抽出し、識別対象データに近い再構成データを得られるようになる。識別対象データに近い再構成データを得られるようになると、学習したデータに対して算出される誤差の値が小さくなる。 The control unit uses the input layer as the identification target data and the target output as the identification target data, and trains the neural network to extract important parameters expressing the identification target data from the identification target data and is close to the identification target data. Reconstruction data can be obtained. When the reconstructed data close to the identification target data can be obtained, the error value calculated for the learned data becomes smaller.

次に、識別モード(工程2)で動作させることによってデータ識別を行なう。図7を用いて識別モードで動作させる場合の動作フローについて説明する。まず、ステップS20では、データ取得部10により識別対象データとなるデータを取得する。次に、ステップS21では、ステップS20で取得した識別対象データから特徴量抽出部11の第1のニューラルネットワークにより特徴量2を抽出し、ステップS22では、データ再構成部12の第2のニューラルネットワークにより再構成データを作成する。ステップS23では、データ評価部13により作成した再構成データと識別対象データの差異を評価する。ステップS24では、判定部15によりステップS23で算出された誤差と閾値を比較し、判定を実施する。ステップS25では、結果出力部16によりステップS24で得られた判定結果を出力する。この一連の流れを識別と呼称する。ステップS20が取得するデータは、カメラやマイク等によりリアルタイムのデータを取得してもよいし、あらかじめ取得しておいたデータを読み込んでもよいし、それらに対する識別処理を行なうことができる。 Next, data identification is performed by operating in the identification mode (step 2). The operation flow in the case of operating in the identification mode will be described with reference to FIG. 7. First, in step S20, the data acquisition unit 10 acquires data to be identified. Next, in step S21, the feature amount 2 is extracted from the identification target data acquired in step S20 by the first neural network of the feature amount extraction unit 11, and in step S22, the second neural network of the data reconstruction unit 12 is extracted. Create reconstruction data by. In step S23, the difference between the reconstructed data created by the data evaluation unit 13 and the identification target data is evaluated. In step S24, the determination unit 15 compares the error calculated in step S23 with the threshold value, and makes a determination. In step S25, the result output unit 16 outputs the determination result obtained in step S24. This series of flows is called identification. As the data acquired in step S20, real-time data may be acquired by a camera, a microphone, or the like, data acquired in advance may be read, and identification processing may be performed on them.

<データ識別方法>
本発明のデータ識別装置が行うデータ識別方法は、以下に記載の3通りの方法で行われる。
<Data identification method>
The data identification method performed by the data identification device of the present invention is performed by the following three methods.

・データ識別方法A
1つ目のデータ識別方法は、あらかじめ取得しておいた学習データを使用して学習モードで動作させ、パラメータ決定部14により、特徴量抽出部11およびデータ再構成部12のパラメータを決定しておく(工程1)。その後、決定したパラメータを用いて識別モードで動作させることである(工程2)。この時、識別モードが識別する識別対象データは、データ取得部10により逐次取得されるデータに対してデータ識別を行なってもよいし、あらかじめ取得しておき演算装置1の内部、もしくは外部に保存されている識別対象データ群を取得してデータ識別を行ってもよい。
-Data identification method A
The first data identification method operates in the learning mode using the learning data acquired in advance, and the parameter determination unit 14 determines the parameters of the feature amount extraction unit 11 and the data reconstruction unit 12. (Step 1). After that, it is operated in the identification mode using the determined parameters (step 2). At this time, the identification target data identified by the identification mode may be data-identified with respect to the data sequentially acquired by the data acquisition unit 10, or may be acquired in advance and stored inside or outside the arithmetic unit 1. Data identification may be performed by acquiring the identification target data group.

このデータ識別方法は、識別対象データが常に同一の条件で取得されるデータや過去に取得したデータに対して好適である。 This data identification method is suitable for data in which the identification target data is always acquired under the same conditions or data acquired in the past.

・データ識別方法B
2つ目のデータ識別方法は、学習モードと識別モードを並行して動作させる。この時、データ評価部13により算出される評価結果はパラメータ決定部14と判定部15に伝達され、判定とパラメータ修正とが同時に行うことが可能である。修正したパラメータは次のデータ取得からの一連の流れを実施する前に更新することも可能であるが、一定量の識別対象データを学習させた後に特徴量抽出部11、データ再構成部12で用いるパラメータを更新する。このデータ識別方法は、生産工程が常時稼動しているような系に対して有効である。このデータ識別方法においては、学習モード、識別モードを並行して動作させるため、データ識別方法Aに比べて好適に状態変化に対応させられる。学習モードと識別モードを並行して動作する場合、演算装置における計算負荷が高くなり、識別モードの動作に影響を及ぼす場合は演算装置を2つ用意し、それぞれにおいて学習モードと識別モードを並行して動作させることも可能である。この場合、学習モードの動作が、識別モードに影響を与えなくなるため、識別モードの動作安定性を確保することができる。
-Data identification method B
The second data identification method operates the learning mode and the identification mode in parallel. At this time, the evaluation result calculated by the data evaluation unit 13 is transmitted to the parameter determination unit 14 and the determination unit 15, and the determination and the parameter correction can be performed at the same time. The modified parameters can be updated before executing a series of flows from the next data acquisition, but after learning a certain amount of identification target data, the feature quantity extraction unit 11 and the data reconstruction unit 12 Update the parameters used. This data identification method is effective for a system in which the production process is always in operation. In this data identification method, since the learning mode and the identification mode are operated in parallel, the state change can be more preferably dealt with than the data identification method A. When the learning mode and the identification mode are operated in parallel, the calculation load on the arithmetic unit becomes high, and if it affects the operation of the identification mode, two arithmetic units are prepared, and the learning mode and the identification mode are performed in parallel in each. It is also possible to operate it. In this case, since the operation of the learning mode does not affect the identification mode, the operation stability of the identification mode can be ensured.

・データ識別方法C
3つ目のデータ識別方法は、特に識別対象データが生産工程から取得される場合において、生産工程が稼動、停止を繰り返す場合であれば、制御部17は、生産工程の稼動時には識別モードを動作させて、演算装置1の内部または外部の記録装置に識別対象データを記録し、生産工程が停止した際には学習モードを動作させる方法である。学習モードにより得られたパラメータを識別モードに利用する場合には、テストデータを用意し得られる評価値を事前に確認、判断した後に識別モードで用いるニューラルネットワークのパラメータを更新することが望ましい。このデータ識別方法は、生産工程が停止と運転を繰り返す場合に、演算装置1を効率的に活用できるため好適である。このデータ識別方法において、識別モードで動作させた際に取得した識別対象データを保存し、蓄積データを作成し、学習モードで動作させる際にこの蓄積データを利用し、学習を実施することで、次回の運転時には直近の生産状態を反映させることが可能である。これにより、生産工程で経時的、あるいは突発的な変化が発生していても、次回以降の生産時にはその変化状態を反映させることができる。
・ Data identification method C
In the third data identification method, the control unit 17 operates the identification mode when the production process is in operation, especially when the identification target data is acquired from the production process and the production process is repeatedly operated and stopped. This is a method of recording the identification target data in a recording device inside or outside the arithmetic unit 1 and operating the learning mode when the production process is stopped. When the parameters obtained in the learning mode are used in the identification mode, it is desirable to prepare test data, confirm the obtained evaluation values in advance, make a judgment, and then update the parameters of the neural network used in the identification mode. This data identification method is suitable because the arithmetic unit 1 can be efficiently utilized when the production process is repeatedly stopped and operated. In this data identification method, the identification target data acquired when operating in the identification mode is saved, accumulated data is created, and this accumulated data is used when operating in the learning mode to perform learning. It is possible to reflect the latest production status at the next operation. As a result, even if a change occurs over time or suddenly in the production process, the change state can be reflected in the next and subsequent productions.

以下に本発明を実施例によって具体的に説明する。ただし、本発明はこれに限定されるものではない。 Hereinafter, the present invention will be specifically described with reference to Examples. However, the present invention is not limited to this.

<実施例1>
本実施例ではデータ識別方法Aを用いるものとする。本実施例では図8に示される構成により、データ取得装置2にあたるカメラで、搬送される製品の画像を取得し、演算装置1としてPCに保存されたデータ識別プログラムを用いて製品の外観検査を実施し、結果を表示装置3であるディスプレイに表示するものである。ここでは時刻T1までの蓄積データを用いて学習した識別装置を用いて時刻T1から時刻T6まで連続して生産され、搬送される製品から取得される識別対象データに対して、識別モードで動作をさせ、搬送される製品が正常か異常かを識別させるものとした。
<Example 1>
In this embodiment, the data identification method A is used. In this embodiment, according to the configuration shown in FIG. 8, the image of the product to be conveyed is acquired by the camera corresponding to the data acquisition device 2, and the appearance inspection of the product is performed using the data identification program stored in the PC as the arithmetic unit 1. It is carried out and the result is displayed on the display which is the display device 3. Here, the operation is performed in the identification mode for the identification target data acquired from the products that are continuously produced from the time T1 to the time T6 and transported by using the identification device learned by using the accumulated data up to the time T1. It was decided to identify whether the product to be transported was normal or abnormal.

この時、照明の劣化により微小な光量の低下が発生した。光量の低下によって発生する撮像条件の変化により撮像画像がT1からT6までの時刻において図9のように変化し、評価値の時間変化は図10のようになった。また時刻T1以前においては照明の劣化は発生しなかった。本識別装置には時刻T1以前の画像を学習させていたため、製品は正常であっても撮像画像に生じている撮像条件の変化より評価部13の算出する評価値の値は図11の時刻T1から時刻T3ように徐々に上昇していくことになった。図のように識別対象データの取得される条件変化が続くと、学習に用いた蓄積データと取得される識別対象データの差異が大きくなり評価値は上昇を続けた。このため、時刻T5以降において評価値が閾値以上となってしまったが、時効T5までは正常に判定ができていたので、撮像条件の変化が緩やかな場合や、連続して生産する時間が短い場合ななどでは、データ識別方法Aでも十分に製品が正常か異常かを識別できる。 At this time, a slight decrease in the amount of light occurred due to deterioration of the lighting. The captured image changed as shown in FIG. 9 at the time from T1 to T6 due to the change in the imaging condition generated by the decrease in the amount of light, and the time change of the evaluation value became as shown in FIG. Further, the deterioration of the lighting did not occur before the time T1. Since the identification device was trained to learn the image before the time T1, even if the product is normal, the value of the evaluation value calculated by the evaluation unit 13 from the change in the imaging condition occurring in the captured image is the time T1 in FIG. It was decided to gradually rise from time to time T3. As the conditions for acquiring the identification target data continued to change as shown in the figure, the difference between the accumulated data used for learning and the acquired identification target data became large, and the evaluation value continued to increase. For this reason, the evaluation value became equal to or higher than the threshold value after the time T5, but since the determination was normally made up to the aging T5, the change in the imaging conditions is gradual or the continuous production time is short. In some cases, the data identification method A can sufficiently identify whether the product is normal or abnormal.

<実施例2>
本実施例ではデータ識別方法Bを用いるものとする。ここでは図8の構成を用いて時刻T1~T6において製品は連続的に生産され、搬送される製品の画像を取得し、製品の外観検査を実施する。本実施例には演算装置1としてPC1とPC2を利用する。PC1は実施例1と同様にカメラから取得された識別対象データに対して識別モードで動作させるものとし、PC2では逐次PC1に保存された識別対象データ群を蓄積データとして使用し、あらかじめ定めた時刻において学習モードで動作させるものとする。
<Example 2>
In this embodiment, the data identification method B is used. Here, using the configuration of FIG. 8, the products are continuously produced at times T1 to T6, images of the products to be transported are acquired, and the appearance inspection of the products is performed. In this embodiment, PC1 and PC2 are used as the arithmetic unit 1. Similar to the first embodiment, the PC1 is operated in the identification mode for the identification target data acquired from the camera, and the PC2 sequentially uses the identification target data group stored in the PC1 as the accumulated data at a predetermined time. It shall be operated in the learning mode in.

ここでは、データ識別方法Bを用いることから、あらかじめ定められた時刻T2、T4で学習を実施するものとした。また実施例1と同様に時刻T1以降において照明の劣化により微小な光量の低下が発生したため、得られる識別対象データは図9のようになり、評価値の時間変化は図11のようになった。 Here, since the data identification method B is used, it is assumed that the learning is performed at predetermined times T2 and T4. Further, as in Example 1, since the amount of light was slightly reduced due to the deterioration of the lighting after the time T1, the obtained identification target data was as shown in FIG. 9, and the time change of the evaluation value was as shown in FIG. ..

時刻T1より製品の外観検査を開始したところ、図11のように時刻T1から時刻T3までの間において、評価値は実施例1と同様に上昇を続けた。ここで時刻T2において、時刻T1からT2までの蓄積データを用いて学習を実施する。本識別装置において直近の時刻の蓄積データで学習することで、学習に用いた蓄積データと取得される識別対象データにおける照明条件の差異が小さくすることができた。この時学習によって得られたパラメータで、時刻T3において特徴量抽出部11、データ再構成部12のパラメータを更新することで、時刻T3以降において、時刻T3以前よりも評価値の値を低下させることができた。このため時刻T3以降は評価値の上昇を抑えることが可能となった。同様に時刻T4においても再び学習し、時刻T5において特徴量抽出部12、データ再構成部13のパラメータを更新することで、評価値の上昇を抑えることが可能となった。結果として、時刻T1~T6において、評価値が閾値以上とはならず正確に判定を実施することができた。 When the appearance inspection of the product was started from the time T1, the evaluation value continued to increase from the time T1 to the time T3 as in the first embodiment as shown in FIG. Here, at time T2, learning is performed using the accumulated data from time T1 to T2. By learning with the accumulated data of the latest time in this identification device, the difference in lighting conditions between the accumulated data used for learning and the acquired identification target data could be reduced. By updating the parameters of the feature amount extraction unit 11 and the data reconstruction unit 12 at the time T3 with the parameters obtained by the learning at this time, the value of the evaluation value is lowered after the time T3 than before the time T3. Was done. Therefore, it is possible to suppress the increase in the evaluation value after the time T3. Similarly, by learning again at time T4 and updating the parameters of the feature amount extraction unit 12 and the data reconstruction unit 13 at time T5, it became possible to suppress the increase in the evaluation value. As a result, at times T1 to T6, the evaluation value did not exceed the threshold value, and the determination could be performed accurately.

<実施例3>
本実施例ではデータ識別方法Cを用いるものとする。ここでも実施例1、実施例2と同様に図8の構成により搬送される製品の画像を取得し、製品の外観検査を実施する。特に本実施例において、製品は断続的に生産された。具体的には時刻T1から時刻T2、時刻T3から時刻T4、時刻T5から時刻T6において生産が実施され、製品が搬送されており、時刻T2から時刻T3、時刻T4から時刻T5において生産は実施されておらず、製品の搬送は停止された。本実施例においては、製品の搬送停止時間において、学習モードを動作させるものとした。
<Example 3>
In this embodiment, the data identification method C is used. Here, as in the first and second embodiments, the images of the products transported according to the configuration of FIG. 8 are acquired, and the appearance inspection of the products is performed. Especially in this example, the product was produced intermittently. Specifically, production is carried out from time T1 to time T2, time T3 to time T4, and time T5 to time T6, and the product is transported. Production is carried out from time T2 to time T3 and from time T4 to time T5. The delivery of the product was stopped. In this embodiment, the learning mode is operated during the product transport stop time.

ここで、時刻T1以降において照明の劣化により微小な光量の低下が発生したため得られる識別対象データは図9のようになり、評価の時間変化は図12のようになった。時刻T1より製品の外観検査を開始したところ、時刻T1から時刻T2までの間において、評価値は上昇を続けた。しかし時刻T2~時刻T3の間に時刻T1から時刻T2の間に取得された蓄積データに対して本データ識別装置の学習モードを使用することで、学習に用いた蓄積データと取得される識別対象データにおける照明条件の差異が小さくなったことから評価値の値を低下させることができた。このため時刻T3以降は評価値の上昇を抑えることが可能となった。同様に時刻T4から時刻T5においても学習を実施することで時刻T5以降おいても正確に判定を実施することができた。 Here, the identification target data obtained is as shown in FIG. 9 and the time change of the evaluation is as shown in FIG. 12 because a minute decrease in the amount of light occurs due to the deterioration of the lighting after the time T1. When the appearance inspection of the product was started from the time T1, the evaluation value continued to increase from the time T1 to the time T2. However, by using the learning mode of this data identification device for the accumulated data acquired between the time T1 and the time T2 between the time T2 and the time T3, the accumulated data used for the learning and the acquired identification target are used. Since the difference in lighting conditions in the data became smaller, the value of the evaluation value could be reduced. Therefore, it is possible to suppress the increase in the evaluation value after the time T3. Similarly, by performing learning from time T4 to time T5, it was possible to accurately perform the determination even after time T5.

以上のことからデータ識別方法Aは蓄積データなどで変化しない場合は有効であるが、実施例1のように取得されるデータが経時変化し、学習を行わずに連続して検査を続ける時間に対してデータの経時変化の程度が大きい場合は、識別精度に問題が生じる場合がある。このため、取得されるデータが経時変化する場合や生産装置、周辺機器の更新などで取得されるデータが影響を受ける場合はデータ識別方法B、データ識別方法Cを用いることが好ましい。特に生産設備が連続生産を実施する場合、常時識別モードで動作させる必要があるため、識別モードと並行して学習モードでも動作させる必要がある。このため実施例2で用いたデータ識別方法Bを用いることが好ましいと考える。生産設備がバッチ生産の場合は装置停止時に学習を実施することで演算装置を有効活用できるため、実施例3のようにデータ識別方法Cを用いることが望ましいといえる。 From the above, the data identification method A is effective when it does not change due to accumulated data or the like, but the acquired data changes over time as in Example 1, and the time is such that continuous inspection is continued without learning. On the other hand, if the degree of change over time of the data is large, a problem may occur in the identification accuracy. Therefore, it is preferable to use the data identification method B and the data identification method C when the acquired data changes with time or when the acquired data is affected by the update of the production equipment or peripheral equipment. In particular, when the production equipment carries out continuous production, it is necessary to operate in the identification mode at all times, so it is necessary to operate in the learning mode in parallel with the identification mode. Therefore, it is preferable to use the data identification method B used in Example 2. When the production equipment is batch production, the arithmetic unit can be effectively utilized by performing learning when the equipment is stopped, so it can be said that it is desirable to use the data identification method C as in the third embodiment.

本発明は、生産工程において、搬送ベルトで搬送される搬送品、樹脂または糸条の異常検出に有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for detecting abnormalities in a transported product, resin or thread transported by a transport belt in a production process.

1 演算装置
2 データ取得装置
3 表示装置
10 データ取得部
11 特徴量抽出部
12 データ再構成部
13 データ評価部
14 パラメータ決定部
15 判定部
16 結果出力部
17 制御部
1 Arithmetic logic unit 2 Data acquisition device 3 Display device 10 Data acquisition unit 11 Feature quantity extraction unit 12 Data reconstruction unit 13 Data evaluation unit 14 Parameter determination unit 15 Judgment unit 16 Result output unit 17 Control unit

Claims (4)

生産工程において取得されて入力されるデータがデータ群中の特異データであるか否かを識別する、生産工程用データ識別装置であって、
生産工程において取得されて入力されたデータから、第1のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第2のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の2つのモードを独立に、あるいは、同時に動作させる制御手段と、を備え
前記制御手段が、
前記データ識別モードを連続して動作させつつ、前記学習モードをあらかじめ定めた周期で繰り返し動作させ、
前記学習モードで用いるデータを、その学習モードとその学習モードの直前に動作させた学習モードとの間で連続して動作させたデータ識別モードの過程で得られた、一定期間取得して蓄積されたデータとし、
前記データ識別モードで前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定するパラメータを、それぞれそのデータ識別モードの直近に動作させた学習モードにより決定したパラメータとする、ように制御を行う、
生産工程用データ識別装置。
A data identification device for a production process that identifies whether or not the data acquired and input in the production process is peculiar data in the data group.
A feature amount extraction means for extracting a feature amount from the data acquired and input in the production process using the first neural network, and
A data reconstruction means for generating reconstruction data having the same size as the input data using the second neural network from the feature amount,
A parameter determining means for determining the parameters of the first neural network and the parameters of the second neural network by the error back propagation method from the error between the reconstructed data and the input data.
A data evaluation means for evaluating the magnitude of the error between the reconstructed data and the input data, and
An identification means for discriminating whether or not the input data is singular data by comparing the evaluation value calculated by the evaluation means with a preset threshold value.
A learning mode in which the feature amount extraction means, the data reconstruction means, and the parameter determination means are operated, and a data identification mode in which the feature amount extraction means, the data reconstruction means, the data evaluation means, and the identification means are operated. It is equipped with a control means for operating the two modes of, independently or simultaneously .
The control means
While continuously operating the data identification mode, the learning mode is repeatedly operated at a predetermined cycle.
The data used in the learning mode is acquired and accumulated for a certain period of time obtained in the process of the data identification mode in which the learning mode is continuously operated between the learning mode and the learning mode operated immediately before the learning mode. Data
Control is performed so that the parameters set in the first neural network and the second neural network in the data identification mode are the parameters determined by the learning mode operated most recently in the data identification mode.
Data identification device for production process .
入力されるデータがデータ群中の特異データであるか否かを識別するデータ識別装置であって、It is a data identification device that identifies whether or not the input data is singular data in the data group.
入力されたデータから、第1のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、A feature amount extraction means for extracting a feature amount from the input data using the first neural network,
前記特徴量から、第2のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、A data reconstruction means for generating reconstruction data having the same size as the input data using the second neural network from the feature amount,
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定するパラメータ決定手段と、A parameter determining means for determining the parameters of the first neural network and the parameters of the second neural network by the error back propagation method from the error between the reconstructed data and the input data.
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、A data evaluation means for evaluating the magnitude of the error between the reconstructed data and the input data, and
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、An identification means for discriminating whether or not the input data is singular data by comparing the evaluation value calculated by the evaluation means with a preset threshold value.
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の2つのモードを独立に、あるいは、同時に動作させる制御手段と、を備え、A learning mode in which the feature amount extraction means, the data reconstruction means, and the parameter determination means are operated, and a data identification mode in which the feature amount extraction means, the data reconstruction means, the data evaluation means, and the identification means are operated. It is equipped with a control means for operating the two modes of, independently or simultaneously.
前記制御手段が、The control means
前記学習モードをあらかじめ定めた周期で繰り返し動作させ、前記データ識別モードを前記学習モードを動作させていない間に連続して動作させ、The learning mode is repeatedly operated at a predetermined cycle, and the data identification mode is continuously operated while the learning mode is not operated.
前記学習モードで用いるデータを、その学習モードとその学習モードの直前に動作させた学習モードとの間で連続して動作させたデータ識別モードの過程で得られた、一定期間取得して蓄積されたデータとし、The data used in the learning mode is acquired and accumulated for a certain period of time obtained in the process of the data identification mode in which the learning mode is continuously operated between the learning mode and the learning mode operated immediately before the learning mode. Data
前記データ識別モードで前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定するパラメータを、それぞれそのデータ識別モードの直近に動作させた学習モードにより決定したパラメータとする、ように制御を行う、Control is performed so that the parameters set in the first neural network and the second neural network in the data identification mode are the parameters determined by the learning mode operated most recently in the data identification mode.
データ識別装置。Data identification device.
第1のニューラルネットワークと第2のニューラルネットワークに、生産工程において一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって
生産工程において一定期間取得して蓄積されたデータから第1のニューラルネットワークを用いて特徴量1を抽出し、当該特徴量1から第2のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、当該再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定する工程1と、
前記工程1により決定されたパラメータが設定された前記第1のニューラルネットワークを用いて、生産工程において取得中のデータから特徴量2を抽出し、前記工程1により決定されたパラメータが設定された前記第2のニューラルネットワークを用いて、前記特徴量2から前記取得中のデータと同じサイズの再構成データを生成し、当該再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する工程2と、を有し、
前記工程2を連続して行いつつ、前記工程1をあらかじめ定めた周期で繰り返し行い、
前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、
前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである、データ識別方法。
By having the first neural network and the second neural network learn the data acquired and accumulated for a certain period in the production process, it is possible to identify whether or not the data currently being acquired is singular data in the data group. It is a data identification method
Feature 1 is extracted from the data acquired and accumulated for a certain period in the production process using the first neural network, and the same size as the accumulated data is extracted from the feature 1 to the second neural network. Reconstruction data is generated, and the parameters of the first neural network and the parameters of the second neural network are determined by the error back propagation method from the error between the reconstruction data and the accumulated data. Step 1 and
Using the first neural network in which the parameters determined in the step 1 are set, the feature amount 2 is extracted from the data being acquired in the production process, and the parameters determined in the step 1 are set. Using the second neural network, reconstruction data having the same size as the data being acquired is generated from the feature amount 2, and the acquisition is based on the magnitude of the error between the reconstruction data and the data being acquired. It has a step 2 of identifying whether or not the data in the data is singular data.
While performing the step 2 continuously, the step 1 is repeated at a predetermined cycle.
The data used in the step 1 acquired and accumulated for a certain period of time is obtained in the process of the step 2 continuously performed between the step 1 and the step 1 performed immediately before the step 1. Data
A data identification method in which the parameters set in the first neural network and the second neural network in the step 2 are the parameters determined by the step 1 performed most recently in the step 2, respectively.
第1のニューラルネットワークと第2のニューラルネットワークに、一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって、
一定期間取得して蓄積されたデータから第1のニューラルネットワークを用いて特徴量1を抽出し、当該特徴量1から第2のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、当該再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定する工程1と、
前記工程1により決定されたパラメータが設定された前記第1のニューラルネットワークを用いて、取得中のデータから特徴量2を抽出し、前記工程1により決定されたパラメータが設定された前記第2のニューラルネットワークを用いて、前記特徴量2から前記取得中のデータと同じサイズの再構成データを生成し、当該再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する工程2と、を有し、
前記工程1をあらかじめ定めた周期で繰り返し行い、前記工程2を前記工程1が行われていない間に連続して行
前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、
前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである、データ識別方法。
A data identification method for discriminating whether or not the data currently being acquired is singular data in a data group by having the first neural network and the second neural network learn the data acquired and accumulated for a certain period of time. And
Feature 1 is extracted from the data acquired and accumulated for a certain period of time using the first neural network, and the reconstruction data of the same size as the accumulated data is extracted from the feature 1 to the second neural network. And the step 1 of determining the parameters of the first neural network and the parameters of the second neural network by the error back propagation method from the error between the reconstructed data and the accumulated data. ,
Using the first neural network in which the parameters determined in the step 1 are set, the feature amount 2 is extracted from the data being acquired, and the second one in which the parameters determined in the step 1 are set. Using a neural network, reconstruction data of the same size as the data being acquired is generated from the feature amount 2, and the data being acquired is based on the magnitude of the error between the reconstruction data and the data being acquired. Has a step 2 of identifying whether or not is singular data.
The step 1 is repeated at a predetermined cycle, and the step 2 is continuously performed while the step 1 is not performed.
The data used in the step 1 acquired and accumulated for a certain period of time is obtained in the process of the step 2 continuously performed between the step 1 and the step 1 performed immediately before the step 1. Data
A data identification method in which the parameters set in the first neural network and the second neural network in the step 2 are the parameters determined by the step 1 performed most recently in the step 2, respectively.
JP2017244811A 2017-12-21 2017-12-21 Data identification device and data identification method Active JP7047372B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017244811A JP7047372B2 (en) 2017-12-21 2017-12-21 Data identification device and data identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017244811A JP7047372B2 (en) 2017-12-21 2017-12-21 Data identification device and data identification method

Publications (2)

Publication Number Publication Date
JP2019113914A JP2019113914A (en) 2019-07-11
JP7047372B2 true JP7047372B2 (en) 2022-04-05

Family

ID=67222557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017244811A Active JP7047372B2 (en) 2017-12-21 2017-12-21 Data identification device and data identification method

Country Status (1)

Country Link
JP (1) JP7047372B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7460391B2 (en) 2020-02-26 2024-04-02 株式会社Screenホールディングス LEARNING DEVICE, IMAGE INSPECTION DEVICE, PROGRAM, AND LEARNING METHOD
JP2022017847A (en) 2020-07-14 2022-01-26 富士通株式会社 Information processing apparatus, information processing method, and information processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097718A (en) 2015-11-26 2017-06-01 株式会社リコー Identification processing device, identification system, identification method, and program
US20170169357A1 (en) 2015-12-15 2017-06-15 Deep Instinct Ltd. Methods and systems for data traffic analysis
CN107437094A (en) 2017-07-12 2017-12-05 北京木业邦科技有限公司 Plank method for sorting and system based on machine learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10171993A (en) * 1996-12-10 1998-06-26 Oki Electric Ind Co Ltd Authenticity discriminating device for medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097718A (en) 2015-11-26 2017-06-01 株式会社リコー Identification processing device, identification system, identification method, and program
US20170169357A1 (en) 2015-12-15 2017-06-15 Deep Instinct Ltd. Methods and systems for data traffic analysis
CN107437094A (en) 2017-07-12 2017-12-05 北京木业邦科技有限公司 Plank method for sorting and system based on machine learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中野 雄介 Yuusuke Nakano,オートエンコーダによるネットワーク異常検知,電子情報通信学会2017年総合大会講演論文集 通信2 PROCEEDINGS OF THE 2017 IEICE GENERAL CONFERENCE,一般社団法人電子情報通信学会,2017年03月23日,P.126,ISSN:1349-1369

Also Published As

Publication number Publication date
JP2019113914A (en) 2019-07-11

Similar Documents

Publication Publication Date Title
US11645744B2 (en) Inspection device and inspection method
US10997711B2 (en) Appearance inspection device
CN111902781B (en) Apparatus and method for controlling a system
JP7074460B2 (en) Image inspection equipment and methods
EP3800588A1 (en) System and method using knowledge distillation for training a machine learning classifier
CN109685097B (en) Image detection method and device based on GAN
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
KR101992970B1 (en) Apparatus And Method for Detecting A Surface Defect Using A Deep Neural Network And Noise Reduction
US11435719B2 (en) System and method for identifying manufacturing defects
WO2019176990A1 (en) Inspection device, image discriminating device, discriminating device, inspection method, and inspection program
JP2017097718A (en) Identification processing device, identification system, identification method, and program
US20230222645A1 (en) Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program
JP7047372B2 (en) Data identification device and data identification method
CA3166581A1 (en) Method and system for training inspection equipment for automatic defect classification
KR102523458B1 (en) Method, computing device and computer program for detecting abnormal behavior of process equipment
Brandsæter et al. An application of sensor-based anomaly detection in the maritime industry
CN112801122B (en) Training method of anomaly detection model and electronic device using the method
JP7298176B2 (en) Defect inspection device and trained model
WO2019176988A1 (en) Inspection system, identification system, and device for evaluating identification apparatus
JP7459697B2 (en) Anomaly detection system, learning device, anomaly detection program, learning program, anomaly detection method, and learning method
KR102623389B1 (en) Method, apparatus and program for checking consistency among a plurality of manufacturing process equipment based on sensor data
CN114666571B (en) Video sensitive content detection method and system
CN117408931A (en) Image defect detecting system, its producing method and computer readable recording medium
JP7118365B2 (en) Image inspection device
KR20220118140A (en) Deep learning based injection quality inspection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R151 Written notification of patent or utility model registration

Ref document number: 7047372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151