WO2018092747A1 - 学習済モデル生成方法、学習済モデル生成装置、信号データ判別方法、信号データ判別装置及び信号データ判別プログラム - Google Patents

学習済モデル生成方法、学習済モデル生成装置、信号データ判別方法、信号データ判別装置及び信号データ判別プログラム Download PDF

Info

Publication number
WO2018092747A1
WO2018092747A1 PCT/JP2017/040841 JP2017040841W WO2018092747A1 WO 2018092747 A1 WO2018092747 A1 WO 2018092747A1 JP 2017040841 W JP2017040841 W JP 2017040841W WO 2018092747 A1 WO2018092747 A1 WO 2018092747A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal data
data
distance
distance value
normal
Prior art date
Application number
PCT/JP2017/040841
Other languages
English (en)
French (fr)
Inventor
真樹 齋藤
Original Assignee
株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ filed Critical 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
Priority to CN201780070171.3A priority Critical patent/CN109983482A/zh
Priority to DE112017005011.1T priority patent/DE112017005011T5/de
Publication of WO2018092747A1 publication Critical patent/WO2018092747A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to generation of a learned model to be applied to a discriminating device for discriminating whether signal data is normal or abnormal as in visual inspection based on image data, and signal data to which the learned model is applied
  • the present invention relates to a discrimination device.
  • the difference detection method is not limited to the appearance inspection, and is a method for performing determination based on a difference between two similar signals. It is known that various problems such as appearance inspection and abnormality detection can be dealt with by detecting a slight essential difference between two signals. For example, in the problem of visual inspection that identifies whether a target product contains scratches, by measuring the difference between an “image captured from a normal product” and an “image captured from the same viewpoint”, It can be determined whether or not the object is scratched.
  • the abnormality detection problem for identifying whether the target product is normal can be solved by comparing the difference between the “normal signal acquired from the sensor” and the “current signal”. Such a methodology for comparing the difference between two samples is generally called difference detection.
  • difference detection There are a wide variety of problems that can be solved by difference detection, such as surveillance camera video recognition, remote sensing, and automatic driving.
  • the machine learning method learns a model that identifies whether the target data is normal or abnormal from a large number of learning samples with normal or abnormal label information, which can be used for problems such as appearance inspection and abnormality detection. It is a method to apply. Although a large amount of sample data and calculation time are required for learning, once a learned model that has been learned once is generated, a highly accurate determination can be made.
  • Patent Document 1 As a technique for such appearance inspection, for example, a surface quality evaluation apparatus described in Patent Document 1 has already been proposed.
  • the surface quality evaluation apparatus described in Patent Document 1 is for automatically evaluating the quality of a metal in consideration of the thickness distribution of the oxide film formed on the surface, Uses machine learning evaluation.
  • the above-mentioned difference detection method is a general method that has been known for a long time in the field of computer vision, and when compared with the machine learning method, many models do not need to be trained. And the time to add annotations can be reduced, but one of the most important issues in difference detection is the problem of properly identifying whether the obtained differences are inherently important differences. .
  • a difference between two images may be caused by non-essential causes such as lighting fluctuations and individual differences as well as scratches.
  • a typical method used for this problem is to extract feature vectors that are robust to non-essential differences such as light source fluctuations for each sample and calculate those differences.
  • the machine learning method described above is expected to obtain a model that is robust against non-essential fluctuations such as light source fluctuations. Learning data and detailed annotation data indicating which part of the signal is an abnormal value are required. Preparing a large amount of learning data including abnormal parts and giving detailed annotations to each of them has a problem of requiring a great deal of time and cost.
  • the present invention has been made in view of the above problems, and provides a signal data discriminating apparatus that is robust against non-essential fluctuations such as light source fluctuations and that can accurately discriminate with a small amount of learning data as compared with the prior art.
  • the purpose is to do.
  • the learned model generation method is a learned model generation method for applying to a discriminating apparatus for determining whether signal data is normal or abnormal, and whether the signal data is normal or abnormal
  • a feature map generation procedure for generating a feature map by extracting a feature amount of each sample data using a learning device for a plurality of sample data to which a teacher signal is attached, and a teacher signal is normal among the plurality of sample data
  • a distance map generation procedure for generating a distance map by taking a difference with respect to the feature map for a combination of samples or a combination of a sample with a normal teacher signal and an abnormal sample, and a distance value for each combination from the distance map The distance value calculation procedure to be obtained, and the distance value is compared with a predetermined threshold value.
  • the distance value discrimination procedure for discriminating whether the combination of each other or the teacher signal above the threshold is a combination of a normal sample and an abnormal sample, and the discrimination result in the distance value discrimination procedure match the teacher signal combination of the sample data As described above, it includes a parameter correction procedure for performing learning by correcting the operation parameters of the learning device.
  • the learned model generation method is characterized in that the distance value calculation procedure calculates a distance value from a distance map by a pooling function.
  • the learned model generation device is a learned model generation device for application to a determination device that determines whether signal data is normal or abnormal, and is normal or abnormal.
  • a feature map generating unit that extracts a feature amount for each sample data using a learning device and generates a feature map
  • a teacher signal of the plurality of sample data includes a teacher signal
  • a distance map generation unit that generates a distance map by taking a difference with respect to the feature map for a combination of normal samples or a combination of a sample with a normal teacher signal and an abnormal sample, and a distance for each combination from the distance map
  • a distance value calculating unit for obtaining a value, and comparing the distance value with a predetermined threshold value and a teacher signal whose combination is less than the threshold value is normal
  • a distance value discriminating unit that discriminates between a combination of each other or whether a teacher signal equal to or greater than a threshold is a combination of a normal sample and an abnormal sample, and
  • the signal data discriminating method learns in advance based on a signal data input procedure for inputting signal data to be discriminated and a plurality of sample data to which a normal or abnormal teacher signal is attached.
  • a feature map generation procedure for generating a feature map by extracting a feature amount from the signal data using the performed learning device, and a plurality of sample data generated based on a plurality of sample data to which normal teacher signals are attached Using the feature map data and the feature map of the signal data generated in the feature map generation procedure, a distance is obtained by taking the difference of the feature map between the combination of each sample data and the signal data that generated the feature map.
  • a signal data discriminating apparatus learns in advance based on a signal data input unit for inputting signal data to be discriminated and a plurality of sample data to which a teacher signal indicating whether it is normal or abnormal is attached.
  • a feature map generation unit that extracts a feature amount from the signal data and generates a feature map using the performed learning device, and a plurality of pieces of data generated based on a plurality of sample data to which normal teacher signals are attached Using the feature map data and the feature map of the signal data generated by the feature map generator, the difference between the feature map between the combination of each sample data and the signal data that generated the feature map is used to obtain a distance.
  • a distance map generating unit for generating a map, a distance value calculating unit for obtaining a distance value between the signal data and the sample data from the distance map, and the distance value based on the distance value Characterized in that said signal data are formed by and a signal data discriminating unit for discriminating whether it is normal or abnormal.
  • the distance value calculation unit includes a combination unit distance value calculation process for obtaining a distance value for each combination from a difference value for each feature of the distance map, and the signal data and the sample data.
  • the distance value of the signal data is calculated by the signal data unit distance value calculation processing for obtaining the distance value of the signal data unit based on the distance values of all combinations.
  • the signal data discriminating apparatus is characterized in that the combination unit distance value calculation processing in the distance value calculation unit calculates a distance value from a distance map by a pooling function.
  • the signal data unit distance value calculation process in the distance value calculation unit calculates an average of the distance values of all the combinations and sets the average value as the distance value of the signal data. It is characterized by that.
  • the present invention there is no need to pre-process input data for dealing with non-essential fluctuations such as light source fluctuations as in the difference detection method, and a large amount of detailed annotations are added as in the conventional machine learning method. If you prepare a small amount of sample data with weak annotations such as normal or abnormal, you can perform highly accurate learning. Can save a lot of time and money.
  • the data set is created by combining the samples, the number of samples in the data set increases as compared with the case where learning is performed using a single sample. In particular, in a situation where the number of abnormal products is much smaller than normal products, it is difficult to prepare a large number of abnormal product samples when learning using a single sample.
  • the number of normal-abnormal product pairs is relatively larger than the number of normal-normal product pairs. Therefore, even in a situation where the number of abnormal products is very small, it is possible to measure the accuracy and efficiency of learning. In addition, since learning can be performed with high accuracy if the number of pairs is large, the number of samples can be significantly reduced as compared with the conventional machine learning method.
  • FIG. 1 is a block diagram showing a configuration of a signal data discrimination device 10 according to the present invention. It is explanatory drawing showing the outline
  • FIG. 4 is an explanatory diagram showing an outline up to a distance value calculation used for determination in the signal data determination device 10. It is a flowchart figure showing the flow of the production
  • FIG. 1 is a block diagram showing the configuration of a signal data discriminating apparatus 10 according to the present invention.
  • the signal data discriminating apparatus 10 may be an apparatus designed as a dedicated machine, but can be realized by a general computer.
  • the signal data discriminating apparatus 10 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a memory, and a hard disk drive that a general computer would normally have. Etc. (not shown). Further, it goes without saying that various processes are executed by a program in order to cause these general computers to function as the signal data discriminating apparatus 10 of this example.
  • the signal data discrimination device 10 includes at least a signal data input unit 11, a feature map generation unit 12, a distance map generation unit 13, a distance value calculation unit 14, a signal data determination unit 15, and a storage unit 16. Yes.
  • the signal data input unit 11 has a function of inputting signal data 19 to be discriminated as normal or abnormal in the signal data discriminating apparatus 10 according to the present invention.
  • the input of the signal data 19 may be acquired in real time by wire or wireless and input each time, or after the acquired signal data 19 is stored in the storage unit 16 described later, at the timing of determination. You may make it read.
  • the feature map generation unit 12 has a function of generating feature maps by extracting feature amounts of signal data based on a learning device for signal data 19 to be discriminated. Any learning device may be used as long as it can generate a feature map.
  • a convolutional neural network CNN
  • the feature map is generated by taking an inner product between the input signal data and the weighting filter, or the feature map and weighting filter in the middle, and repeatedly performing convolution processing by raster scanning. Get a feature map.
  • the learning device in the feature map generation unit 12 performs learning in advance so as to generate a feature map that can be accurately determined finally, and stores the learned map 17 in the storage unit 16. Details of generation of the learned model 17 will be described later.
  • the feature map generator 12 in order to determine signal data, a plurality of sample data to which normal teacher signals are attached is required, and each of the plurality of sample data to which normal teacher signals are attached is also necessary.
  • the feature map generator 12 generates a feature map.
  • the plurality of sample data with teacher signal 18 are stored in the storage unit 16, and a feature map corresponding to each of the sample data with teacher signal 18 may be generated in advance and stored in the storage unit 16.
  • the feature map may also be generated for the sample data with teacher signal 18 at the generation timing of the feature map of the signal data.
  • the distance map generation unit 13 uses a plurality of feature map data generated based on the sample data with teacher signal 18 to which a normal teacher signal is attached, and a feature map generated based on the signal data.
  • the distance map is generated by taking the difference of the feature map between each combination of the sample data with teacher signal 18 and the signal data.
  • the distance value calculation unit 14 has a function of obtaining a distance value between the signal data and the sample data from the distance map.
  • the signal data determination unit 15 has a function of determining whether the signal data is normal or abnormal based on the distance value between the signal data and the sample data obtained by the distance value calculation unit 14. Specifically, for example, the distance value obtained by the distance value calculation unit 14 is compared with a predetermined threshold value, and if it is less than the threshold value, it is determined that the signal data is normal, and if it is equal to or greater than the threshold value, the signal is determined. A method for determining that the data is abnormal can be considered. Note that the present invention can be applied not only to normal / abnormal discrimination but also to classification, and in the case of classification, a method of classifying signal data according to the magnitude of a distance value. Can be adopted.
  • the storage unit 16 stores information necessary for processing in the signal data discriminating apparatus 10, such as a learned model 17, sample data 18 with a teacher signal, and signal data 19.
  • FIG. 2 is an explanatory diagram showing an outline of generation of the learned model 17 used in the learning device of the feature map generation unit 12.
  • a learning method according to a learning device to be used needs to be employed.
  • the learning device here will be described as an example in which a convolutional neural network (hereinafter, CNN) is employed.
  • CNN convolutional neural network
  • a loss function can be used for learning, and various loss functions such as TripletTloss function, siamese loss function, and sigmoid cross entropy loss function can be adopted.
  • parameters are appropriately allocated (for example, randomly) to the CNN at the time of the first learning.
  • a plurality of sample data (X 1 to X 4 ) with a teacher signal indicating whether normal (0) or abnormal (1) is input to the CNN for generating a feature map, respectively.
  • Each feature map (h 1 to h 4 ) is generated.
  • two teacher signals (0) and (1) are used.
  • the number of teacher signals increases. It will be.
  • a distance map is generated by taking the difference, and distance values (d 12 , d 13 , d 14 , d 23 , d 24 ) for each combination are calculated from the distance map.
  • a global pooling function such as global max pooling, global average pooling, and global Lp pooling is used.
  • the distance value for each combination (d 12 , d 13 , d 14 , d 23 , d 24 ) is compared with a predetermined threshold value, and if the distance value is less than the threshold value, the distance value is that of a normal combination. If it is equal to or greater than the threshold, it is determined that the distance value is a combination of normal and abnormal.
  • the discrimination accuracy for the distance value is compared with the teacher signal of the sample data to evaluate the discrimination accuracy. As an example, it is conceivable whether or not the correct answer rate of the determination has a predetermined probability or more. If the discrimination accuracy does not satisfy the predetermined condition, the CNN parameter is corrected and the learning process is performed from the beginning. In this way, learning is repeated, and when the discrimination accuracy satisfies a predetermined condition, the learning process is finished to obtain a learned model.
  • FIG. 3 is an explanatory diagram showing an outline up to the calculation of the distance value used for discrimination in the signal data discrimination device 10.
  • signal data (X) is input to a CNN using a learned model obtained by performing learning in advance to generate a feature map (h).
  • a plurality of sample data (X 1 to X N ) to which normal teacher signals are attached are prepared, and the feature map generator 12 also features each of the plurality of sample data to which normal teacher signals are attached.
  • a map is generated to obtain a feature map (h 1 to h N ).
  • the difference of the feature map between the combination of the feature map (h 1 to h N ) corresponding to the sample data (X 1 to X N ) and the feature map (h) corresponding to the signal data (X) is calculated.
  • obtained from the generated distance map for example, using a global max pooling function, the distance values between the signal data (X) and each sample data (X 1 ⁇ X N) and (d 1 ⁇ d N).
  • processing such as obtaining an average value of the obtained distance values (d 1 to d N ) is performed to obtain a distance value d for use in discrimination.
  • the distance value d is compared with a predetermined threshold value to determine signal data.
  • FIG. 4 is a flowchart showing the flow of generating a learned model.
  • a teacher signal step S11
  • a plurality of sample data are prepared for each of normal and abnormal teacher signals.
  • a feature map is generated from the prepared plurality of sample data (step S12).
  • the feature map is generated by, for example, extracting a plurality of feature amounts by CNN.
  • the initial CNN parameters are assigned at random, for example. As this initial CNN parameter, another learned parameter of CNN used in another appearance inspection problem may be used.
  • a distance map is generated by taking the difference between the feature maps for the combination of normal teacher signals or the combination of normal and abnormal (step S13). Then, a distance value for each combination is calculated from the distance map (step S14). The calculation of the distance value at this time is performed using, for example, a global max pooling function. The obtained distance value is compared with a predetermined threshold value to determine normality / abnormality for each combination (step S15).
  • step S16 the discrimination result for each combination is compared with the teacher signal to obtain the discrimination accuracy (step S16). Then, it is determined whether or not the discrimination accuracy satisfies a predetermined condition (step S17).
  • the learning device for generating the feature map for example, the parameter of the CNN is corrected (step S18), and then the learning in steps S12 to S16 is performed. Process. If it is determined in step S17 that the discrimination accuracy satisfies a predetermined condition, a learned model consisting of the parameters of the learning device at that time is obtained and the process ends.
  • FIG. 5 is a flowchart showing the flow of signal data discrimination processing.
  • signal data is input (step S21).
  • the feature map about signal data is produced
  • the feature map is generated by, for example, extracting a plurality of feature amounts by CNN.
  • a plurality of sample data to which normal teacher signals are attached is prepared, and a feature map is generated for each of the plurality of sample data to which normal teacher signals are attached.
  • a difference map is generated between the feature map of each of the plurality of sample data with normal teacher signals and the feature map of the signal data to generate a distance map for each combination (step S23). Then, a distance value is calculated from the distance map for each combination (step S24). The calculation at this time is performed using, for example, a global max pooling function. Based on the obtained distance values of all the combinations, the distance value of the signal data is determined (step S25). Here, for example, calculation is performed using the average value of the distance values of all combinations as the distance value of the signal data.
  • the distance value of the signal data is compared with a predetermined threshold value to determine whether the signal data is normal or abnormal (step S26). For example, if the distance value of the signal data is less than the threshold value, it is determined that the signal data is normal, and if it is equal to or greater than the threshold value, it is determined that the signal data is abnormal. Then, the determination result is output and the process ends (step S27).
  • the signal data discriminating apparatus 10 of the present example configured as described above has the following effects.
  • a machine learning machine is provided in the feature extraction part and feature extraction is performed using a learned model. If feature extraction is performed using a learned model, light source fluctuations, etc. Robust discrimination against non-essential fluctuations is possible.
  • (3) Learning is possible only with weak annotation information such as whether or not an abnormal part is included in a sample. That is, since it is not necessary to annotate the abnormal part in detail for each sample, it is easy to prepare sample data for learning.
  • the number of samples in the data set increases as compared with the case of learning using a single sample.
  • the number of abnormal products is much smaller than normal products, it is difficult to prepare a large number of abnormal product samples when learning using a single sample.
  • the number of normal-abnormal product pairs is relatively larger than the number of normal-normal product pairs. Therefore, even in a situation where the number of abnormal products is very small, it is possible to measure the accuracy and efficiency of learning.
  • learning can be performed with high accuracy if the number of pairs is large, the number of samples can be significantly reduced as compared with the conventional machine learning method.
  • the signal data discriminating apparatus of this example there is no need for preprocessing for input data for dealing with non-essential fluctuations such as light source fluctuations as in the difference detection method, and the details as in the conventional machine learning method. It is possible to perform highly accurate learning by preparing a small amount of sample data with weak annotations such as normal or abnormal, compared to the conventional one, without requiring a large amount of sample data with simple annotations. Therefore, a great deal of time and cost can be reduced compared to the conventional case.
  • the distance value is calculated between each normal sample data with teacher signal and the signal data, and the average of the distance values of all combinations is obtained.
  • the explanation was made assuming that an inference process is performed from the average value.
  • this inference can be applied not only to the average but also to various methods depending on the situation. For example, an anomaly detection system with distance correction by Local ⁇ Outlier Factor can be applied after obtaining a feature map. If the distance between each sample in the data set and the unknown sample is regarded as the score function of the weak classifier, ensemble learning such as bagging can be applied.
  • the signal data discriminating apparatus 10 has been described as performing inference processing for discriminating whether the signal data is normal or abnormal.
  • the signal data is divided into a plurality of items. It is also possible to perform inference processing such as classifying.
  • various types of signal data can be targeted. For example, it is a technique applicable in various fields, such as appearance inspection based on images of products, detection of abnormal sounds based on audio signal data, and discrimination / classification of facial features in a face authentication system.
  • the obtained distance value is compared with a predetermined threshold value. Is determined to be normal, and if it is equal to or greater than the threshold, the signal data is determined to be abnormal.
  • the present invention not only determines whether the target signal data is normal or abnormal, If so, it can be extended to output what kind of abnormality is occurring. In that case, the signal data discriminating unit 15 can be expanded to output a plurality of distance values corresponding to the type of abnormality from the signal data.
  • the teacher signal in the case of determining only whether it is normal or abnormal is distinguished by binary values such as normal (0) and abnormal (1), but depending on the type of abnormality,
  • the teacher signals are distinguished such as abnormal (1), abnormal (2),..., Abnormal (k).
  • a plurality of configurations for obtaining the distance value as shown in FIG. 3 are prepared, and the distance value (1) based on the comparison between the normal (0) and abnormal (1) teacher-sampled sample data and the signal data is normal.
  • Distance value (2) based on comparison of sample data with teacher signal and signal data of (0) and abnormality (2), ..., sample data with teacher signal of normal (0) and abnormality (k), and signal data
  • a distance value is calculated for each type of abnormality such as a distance value (k) based on comparison.
  • the kind of abnormality For each of the distance value (1) to the distance value (k), for example, it is determined whether or not the kind of abnormality is included by comparing with a threshold value. If it is determined that all types of abnormality are normal, the signal data is determined to be normal, and if any type of abnormality is determined to be abnormal, it is determined that the signal data is abnormal. At the same time, the type of abnormality can be specified. In addition, when a plurality of abnormalities are included, this point can be recognized.
  • the configuration of the signal data input unit 11, the feature map generation unit 12, the distance map generation unit 13, the distance value calculation unit 14, and the signal data determination unit 15 in the signal data determination device 10 described in the first embodiment is as follows. Provided for each type of abnormality to be discriminated, and by performing learning of the learning device in each feature map generation unit 12 with sample data corresponding to the type of abnormality, a plurality of abnormality types are provided. Based on the determination result of the signal data determination unit, it is possible to determine whether the signal data is normal and to specify the type of abnormality in the case of abnormality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

【課題】光源変動など本質的でない変動に頑健であり、かつ、従来に比較して少ない学習データ量で精度良く判別可能な信号データ判別装置を提供すること。 【解決手段】判別対象である信号データを入力する信号データ入力部と、正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、正常の教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと信号データの特徴マップとを用いて、各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成部と、距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算部と、距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別部とを具備してなる。

Description

学習済モデル生成方法、学習済モデル生成装置、信号データ判別方法、信号データ判別装置及び信号データ判別プログラム
　本発明は、画像データに基づく外観検査のように信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデルの生成、及び、学習済モデルを適用した信号データ判別装置に関するものである。
　従来、製品の外観検査や異常検出に対処するために、製品を撮影した画像に基づく検査法が検討されてきた。対象製品の画像を正常品を撮影した画像と比較することで対象製品が正常品であるか異常品であるかを判別するという方法が一般的であるが、その際の判別手法として代表的なものとして、差分検知法と機械学習法とが存在する。
　差分検知法は、外観検査に限らず、類似した２つの信号の差分に基づいて判定を行う手法である。２つの信号間のわずかな本質的な違いを検出することで、外観検査や異常検知などの多様な問題に対処できることが知られている。例えば、対象の製品に傷が含まれるかどうかを識別する外観検査の問題では、「正常品が撮像された画像」と「同一視点から撮像された画像」間の差異を測ることで、対象の物体に傷があるかどうかを判定できる。対象の製品が正常であるかどうかを識別する異常検知問題は、「センサから取得された正常な信号」と「現在の信号」との差異を比較することで解決できる。このような二つのサンプル間の差分を比較する方法論は、一般に差分検知（Change detection）と呼ばれる。差分検知で解決できる問題は幅広く、例として監視カメラの動画認識、リモートセンシング、自動運転などが挙げられる。
　機械学習法は、正常か異常かのラベル情報の付された大量の学習サンプルから対象のデータが正常値か異常値かを識別するモデルを学習させ、それを外観検査や異常検知などの問題に適用する方法である。学習のためには大量のサンプルデータと演算時間を必要とするが、一度学習を終えた学習済モデルを生成してしまえば、精度の高い判定が可能となる。
　このような外観検査のための技術として、例えば、特許文献１に記載の表面品質評価装置が既に提案されている。この特許文献１に記載の表面品質評価装置は、表面に形成された酸化被膜の厚さの分布を考慮して金属の品質を自動的に評価することができるようにするためのものであり、機械学習による評価を採用している。
特開２０１１－１９１２５２号公報
　前述の差分検知法は、コンピュータビジョンの領域において古くから知られている一般的な方法であり、機械学習法と比較した場合、多くはモデルの学習を必要としないため、学習サンプルを取得する手間やアノテーションを付与するための時間が削減できるという利点があるが、差分検知における特に重要な課題の一つとして、得られた差分が本質的に重要な差異かどうか適切に識別する問題が挙げられる。例えば、外観検査では二枚の画像間の差分は傷だけでなく照明変動や個体差などの本質的でない原因から生じる場合がある。この問題に対して用いられる典型的な方法は、各サンプルに対して光源変動など本質的でない差分に頑健な特徴ベクトルを抽出し、それらの差分を計算するものである。しかし、どのような差分が本質的に重要なのかは扱う問題の内容によって異なるため、差分検知を用いた手法の多くは問題に応じて適切な差分を出せるようにする前処理を各サンプルに対して行う必要があるという問題があった。例えば、外観検査の例では光源変動を抑えるため、適切に明るさとコントラストを調整した後で画像間の差分を取っていた。しかしながら、この手法は前処理では対応できない変動を適切に抑えられない欠点がある。また、人間の変動に対する価値基準を適切な前処理として設計することが難しい問題もある。
　他方、前述の機械学習法は、差分検知法とは異なり、光源変動など本質的でない変動に頑健なモデルが学習によって得られることが期待されるものの、そのようなモデルを作るためには大量の学習データと、信号のうちどの箇所が異常値であるかを示した詳細なアノテーションデータが必要となる。異常個所を含む学習データを大量に用意し、かつ、それぞれに詳細なアノテーションを付与することは、多大な時間とコストを要するという問題があった。
　本発明は、上記問題点に鑑みなされたものであり、光源変動など本質的でない変動に頑健であり、かつ、従来に比較して少ない学習データ量で精度良く判別可能な信号データ判別装置を提供することを目的とする。
　本発明に係る学習済モデル生成方法は、信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデル生成方法であって、正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成手順と、前記距離マップから組合せごとの距離値を求める距離値演算手順と、前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別手順と、前記距離値判別手順における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正手順とを含むことを特徴とする。
　また、本発明に係る学習済モデル生成方法は、前記距離値演算手順は、プーリング関数によって距離マップから距離値を演算するようにしたことを特徴とする。
　また、本発明に係る学習済モデル生成装置は、信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデル生成装置であって、正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成部と、前記距離マップから組合せごとの距離値を求める距離値演算部と、前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別部と、前記距離値判別部における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正部とを具備してなることを特徴とする。
　本発明に係る信号データ判別方法は、判別対象である信号データを入力する信号データ入力手順と、正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成手順で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成手順と、前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算手順と、前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別手順とを含むことを特徴とする。
　本発明に係る信号データ判別装置は、判別対象である信号データを入力する信号データ入力部と、正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成部で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成部と、前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算部と、前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別部とを具備してなることを特徴とする。
　また、本発明に係る信号データ判別装置は、前記距離値演算部は、前記距離マップの特徴毎の差分値から組合せごとの距離値を求める組合せ単位距離値演算処理と、信号データとサンプルデータの全組合せの距離値に基づいて信号データ単位の距離値を求める信号データ単位距離値演算処理とによって、信号データの距離値を演算するようにしたことを特徴とする。
　また、本発明に係る信号データ判別装置は、前記距離値演算部における組合せ単位距離値演算処理は、プーリング関数によって距離マップから距離値を演算するようにしたことを特徴とする。
　また、本発明に係る信号データ判別装置は、前記距離値演算部における信号データ単位距離値演算処理は、全組合せの距離値の平均を演算して平均値を信号データの距離値とするようにしたことを特徴とする。
　本発明によれば、差分検知法のように光源変動など本質的でない変動に対処するための入力データに対する前処理の必要がなく、従来の機械学習法のように詳細なアノテーションの付された大量のサンプルデータを必要とせず、正常か異常かといった弱いアノテーションの付されたサンプルデータを従来に比較して少ない量だけ用意すれば高精度の学習を行うことが可能となるため、従来に比較して多大な時間とコストを削減することができる。また、サンプル間の組み合わせによってデータセットを作成するため、単一のサンプルを用いて学習する場合よりもデータセットのサンプル数が増大する。特に、正常品よりも異常品の数が非常に少ない状況においては、単一のサンプルを用いて学習する場合には異常品のサンプルを多数準備することが困難であるが、本発明においては、正常品－異常品のペアの数が、正常品－正常品のペアの数よりも相対的に多くなる。よって、異常品の数が非常に少ない状況においても、学習の高精度化、効率化を測ることができる。また、ペアの数が多ければ学習を高精度に行えるので、従来の機械学習の手法と比較してサンプル数を大幅に減らすことが可能となる。
本発明に係る信号データ判別装置１０の構成を表したブロック図である。 特徴マップ生成部１２の学習器において使用する学習済モデル１７の生成の概要を表した説明図である。 信号データ判別装置１０における判別に使用する距離値演算までの概要を表した説明図である。 学習済モデルの生成の流れを表したフローチャート図である。 信号データの判別処理の流れを表したフローチャート図である。
［第１の実施の形態］
　以下、図面を参照しながら、第１の実施の形態に係る信号データ判別装置の例について説明する。図１は、本発明に係る信号データ判別装置１０の構成を表したブロック図である。なお、信号データ判別装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、信号データ判別装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の信号データ判別装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。
　信号データ判別装置１０は、信号データ入力部１１と、特徴マップ生成部１２と、距離マップ生成部１３と、距離値演算部１４と、信号データ判別部１５と、記憶部１６とを少なくとも備えている。
　信号データ入力部１１は、本発明に係る信号データ判別装置１０において正常であるか異常であるかを判別したい信号データ１９を入力する機能を有する。信号データ１９の入力は、有線又は無線によってリアルタイムに取得してその都度入力するものであってもよいし、取得した信号データ１９を後述する記憶部１６に記憶させたうえで、判別のタイミングで読み出すようにしてもよい。
　特徴マップ生成部１２は、判別対象の信号データ１９について学習器に基づいて信号データの特徴量を抽出して特徴マップを生成する機能を有する。特徴マップを生成可能なものであればどのような学習器であってもよいが、例えば、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）を学習器として採用することが考えられる。特徴マップの生成は、例えば、畳み込みニューラルネットワークの場合には、入力信号データと重みフィルタ、或いは、途中経過での特徴マップと重みフィルタとで内積をとり、ラスタスキャンによって繰り返し畳み込み処理を行うことで特徴マップを得る。なお、この特徴マップ生成部１２における学習器は、最終的な判別が精度良く行えるような特徴マップが生成できるように予め学習を行って、学習済モデル１７として記憶部１６に記憶させておく。学習済モデル１７の生成の詳細については後述する。
　また、本発明においては、信号データについて判別を行うために、正常である教師信号の付された複数のサンプルデータを必要とし、それらの正常の教師信号の付された複数のサンプルデータそれぞれについても特徴マップ生成部１２において特徴マップを生成する。複数の教師信号付サンプルデータ１８は記憶部１６に記憶されており、教師信号付サンプルデータ１８のそれぞれに対応した特徴マップを予め生成して記憶部１６に記憶させておくようにしてもよいし、信号データの特徴マップの生成のタイミングで教師信号付サンプルデータ１８についても特徴マップを生成するようにしてもよい。
　距離マップ生成部１３は、正常である教師信号の付された教師信号付サンプルデータ１８に基づいて生成された複数の特徴マップのデータと、信号データに基づいて生成された特徴マップとを用いて、教師信号付サンプルデータ１８のそれぞれと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する機能を有する。
　距離値演算部１４は、距離マップから信号データとサンプルデータとの間の距離値を求める機能を有する。
　信号データ判別部１５は、距離値演算部１４で求めた信号データとサンプルデータとの間の距離値に基づいて信号データが正常であるか異常であるかの判別を行う機能を有する。具体的には、例えば、距離値演算部１４で求めた距離値を予め設定した所定の閾値と比較して、閾値未満であれば信号データは正常であると判別し、閾値以上であれば信号データは異常であると判別する手法が考えられる。なお、本発明は、正常、異常の判別の場合のみならず、分類を行うような場合にも適用可能であり、分類の場合には、距離値の大きさに応じて信号データを分類する手法が採用し得る。
　記憶部１６は、学習済モデル１７、教師信号付サンプルデータ１８、信号データ１９など、信号データ判別装置１０における処理に必要な情報が記憶されている。
　図２は、特徴マップ生成部１２の学習器において使用する学習済モデル１７の生成の概要を表した説明図である。使用される学習器に応じた学習方法が採用される必要があるが、ここでの学習器は、一例として、畳み込みニューラルネットワーク（以下、ＣＮＮ）を採用する場合について説明を行う。なお、学習には、例えば、ロス関数を採用することができ、Triplet loss関数、siamese loss関数、sigmoid cross entropy loss関数など様々なロス関数を採用し得る。また、学習の前段階として、最初の学習時のＣＮＮには、適当に（例えば、ランダムによって）パラメータを割り振っておく。
　学習は、先ず、正常（０）であるか異常（１）であるかの教師信号の付された複数のサンプルデータ（Ｘ1～Ｘ4）をそれぞれ特徴マップ生成のためのＣＮＮに入力し、それぞれの特徴マップ（ｈ1～ｈ4）を生成する。なお、本例では、正常と異常の区別ができればよいので教師信号として（０）と（１）の２つを用いたが、複数項目に分類するような場合には、教師信号の種類も増えることになる。
　次に、それぞれがサンプルデータに対応した特徴マップ（ｈ1～ｈ4）について、教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、特徴マップについて差分をとって距離マップを生成し、距離マップから組合せごとの距離値（ｄ12、ｄ13、ｄ14、ｄ23、ｄ24）を演算する。距離マップから距離値を算出する手法としては、例えば、global max pooling、global average pooling、global Lp poolingなどのglobal pooling関数を用いる。
　そして、組合せごとの距離値（ｄ12、ｄ13、ｄ14、ｄ23、ｄ24）を予め設定した所定の閾値と比較して、閾値未満であればその距離値は正常同士の組合せのものであると判別し、閾値以上であればその距離値は正常と異常の組合せのものであると判別する。このような距離値に対する判別結果とサンプルデータの教師信号を比較して、判別精度を評価する。一例としては、判別の正答率が所定以上の確率となるか否かが考えられる。判別精度が所定条件を充足していない場合には、ＣＮＮのパラメータを修正して、また最初から学習処理を行う。このように学習を繰り返して、判別精度が所定条件を充足したときに学習処理を終えて、学習済モデルを得る。
　図３は、信号データ判別装置１０における判別に使用する距離値演算までの概要を表した説明図である。信号データの判別処理は、先ず、予め学習を行って得た学習済モデルを利用したＣＮＮに対して信号データ（Ｘ）を入力して特徴マップ（ｈ）を生成する。また、正常である教師信号の付された複数のサンプルデータ（Ｘ1～ＸN）を用意し、それらの正常の教師信号の付された複数のサンプルデータそれぞれについても特徴マップ生成部１２において特徴マップを生成して、特徴マップ（ｈ1～ｈN）を得る。
　次に、サンプルデータ（Ｘ1～ＸN）に対応した特徴マップ（ｈ1～ｈN）と、信号データ（Ｘ）に対応した特徴マップ（ｈ）との組合せの間で特徴マップの差分をとって距離マップを生成する。そして、生成した距離マップから、例えば、global max pooling関数を用いて、信号データ（Ｘ）と各サンプルデータ（Ｘ1～ＸN）との間の距離値（ｄ1～ｄN）を得る。そして、得られた距離値（ｄ1～ｄN）の平均値を求めるなどの処理を行って、判別に用いるための距離値ｄを得る。この距離値ｄを所定の閾値と比較して信号データの判別を行う。
　図４は、学習済モデルの生成の流れを表したフローチャート図である。この図４に示すように、学習器に対する学習処理のためには、先ず、教師信号の付された複数のサンプルデータを準備する必要がある（ステップＳ１１）。複数のサンプルデータは、教師信号が正常のものと異常のものをそれぞれ複数準備する。そして、準備した複数のサンプルデータから特徴マップを生成する（ステップＳ１２）。特徴マップの生成は、例えば、ＣＮＮによって複数の特徴量を抽出することで行われる。また、初期のＣＮＮのパラメータは、例えば、ランダムに割り振っておく。この初期のＣＮＮのパラメータは他の外観検査の問題で使用した別のＣＮＮの学習済みパラメータを用いても良い。
　次に、教師信号が正常同士の組合せ又は正常と異常の組合せについて特徴マップの差分をとって距離マップを生成する（ステップＳ１３）。そして、距離マップから組合せごとの距離値を演算する（ステップＳ１４）。この時の距離値の演算は、例えば、global max pooling関数を用いて行われる。求めた距離値を所定の閾値と比較して組合せごとに正常・異常を判別する（ステップＳ１５）。
　最後に、組合せごとの判別結果を教師信号と比較して、判別精度を求める（ステップＳ１６）。そして、判別精度が所定の条件を充足したか否かを判定する（ステップＳ１７）。ここで、判別精度が所定の条件を充足していない場合には、特徴マップ生成のための学習器、例えば、ＣＮＮのパラメータを修正して（ステップＳ１８）、その後に、ステップＳ１２～Ｓ１６の学習処理を行う。ステップＳ１７において判別精度が所定の条件を充足したと判定した場合には、その時点での学習器のパラメータからなる学習済モデルを得て終了する。
　図５は、信号データの判別処理の流れを表したフローチャート図である。この図５に示すように、信号データの判別処理のためには、先ず、信号データの入力を行う（ステップＳ２１）。そして、学習済モデルを利用した学習器、例えば、ＣＮＮを用いて、信号データについての特徴マップを生成する（ステップＳ２２）。特徴マップの生成は、例えば、ＣＮＮによって複数の特徴量を抽出することで行われる。また、正常である教師信号の付された複数のサンプルデータを用意し、それらの正常の教師信号の付された複数のサンプルデータそれぞれについても特徴マップを生成しておく。
　次に、教師信号が正常である複数のサンプルデータのそれぞれの特徴マップと信号データの特徴マップとの間で差分をとって、組合せごとの距離マップを生成する（ステップＳ２３）。そして、各組合せごとに距離マップから距離値を演算する（ステップＳ２４）。この時の演算は、例えば、global max pooling関数を用いて行われる。得られた全組合せの距離値に基づいて、信号データの距離値を決定する（ステップＳ２５）。ここでは、例えば、全組合せの距離値の平均値を信号データの距離値とする演算を行う。
　最後に、信号データの距離値を所定の閾値と比較して、信号データが正常であるか異常であるかを判別する（ステップＳ２６）。例えば、信号データの距離値が閾値未満であれば信号データは正常であると判別し、閾値以上であれば信号データは異常であると判別する。そして、判別結果を出力して終了する（ステップＳ２７）。
　以上のような構成からなる本例の信号データ判別装置１０は、以下の効果がある。
（１）従来の差分検知の手法と異なり、特徴抽出部分に機械学習による学習器を設けて学習済モデルによって特徴抽出を行うようにしているので、学習済モデルによって特徴抽出を行えば光源変動など本質的でない変動に頑健な判別が可能となる。
（２）直接サンプルを与え識別する従来の機械学習の手法と異なり、正常品との差異を明示的に捉えることで、わずかな差異であったとしても正しく捉えることができる。
（３）サンプルに異常箇所が含まれるかどうかといった弱いアノテーション情報だけで学習できる。すなわち、サンプル毎に異常箇所を詳細にアノテーションする必要がないため、学習のためのサンプルデータの準備が容易になる。
（４）サンプル間の組み合わせによってデータセットを作成するため、単一のサンプルを用いて学習する場合よりもデータセットのサンプル数が増大する。特に、正常品よりも異常品の数が非常に少ない状況においては、単一のサンプルを用いて学習する場合には異常品のサンプルを多数準備することが困難であるが、本発明においては、正常品－異常品のペアの数が、正常品－正常品のペアの数よりも相対的に多くなる。よって、異常品の数が非常に少ない状況においても、学習の高精度化、効率化を測ることができる。また、ペアの数が多ければ学習を高精度に行えるので、従来の機械学習の手法と比較してサンプル数を大幅に減らすことが可能となる。
　すなわち、本例の信号データ判別装置によれば、差分検知法のように光源変動など本質的でない変動に対処するための入力データに対する前処理の必要がなく、従来の機械学習法のように詳細なアノテーションの付された大量のサンプルデータを必要とせず、正常か異常かといった弱いアノテーションの付されたサンプルデータを従来に比較して少ない量だけ用意すれば高精度の学習を行うことが可能となるため、従来に比較して多大な時間とコストを削減することができる。
　前記第１の実施の形態においては、図３にしめすように、正常の教師信号付サンプルデータそれぞれと信号データとの間で距離値を演算し、全組合せの距離値の平均を求めて、距離値の平均値から推論処理を行うものとして説明を行った。しかし、この推論は平均だけでなく、状況に応じて様々な手法を適用することができる。例えば、Local Outlier Factorによる距離補正を伴う異常検知システムを特徴マップを求めた後に適用することもできる。また、データセット中の各サンプルと未知のサンプル間の距離を弱識別器のスコア関数とみなせば、バギングなどのアンサンブル学習を適用することもできる。
　前記第１の実施の形態においては、信号データが正常であるか異常であるかを判別する推論処理を行うためのものとして信号データ判別装置１０の説明を行ったが、信号データを複数の項目に分類するような推論処理も可能である。また、信号データとしても様々な種類のものを対象とすることが可能である。例えば、製品を撮影した画像に基づく外観検査、音声信号データに基づく異常音の検出、顔認証システムにおける顔の特徴の判別・分類など、様々な分野において適用可能な技術である。
［第２の実施の形態］
　前記第１の実施の形態においては、対象の信号データが正常か異常かを判別するために、例えば、求めた距離値を予め設定した所定の閾値と比較して、閾値未満であれば信号データは正常であると判別し、閾値以上であれば信号データは異常であると判別するようにしていたが、本発明は、対象の信号データが正常か異常かを判別するだけでなく、異常であればどのような種類の異常が生じているのか出力するよう拡張することもできる。その場合には、信号データからその異常の種類に応じた距離値を複数個出力するよう、信号データ判別部１５を拡張することで対応し得る。
　具体的には、正常であるか異常であるかのみを判定する場合の教師信号は正常（０）と異常（１）というように２値で区別していたが、異常の種類に応じて、異常（１）、異常（２）、・・・、異常（ｋ）といったように、教師信号を区別するようにする。そして、図３に示すような距離値を得るための構成を複数用意して、正常（０）と異常（１）の教師信号付サンプルデータと信号データの比較に基づく距離値（１）、正常（０）と異常（２）の教師信号付サンプルデータと信号データの比較に基づく距離値（２）、・・・、正常（０）と異常（ｋ）の教師信号付サンプルデータと信号データの比較に基づく距離値（ｋ）、といったように、異常の種類ごとに距離値を算出するようにする。距離値（１）～距離値（ｋ）のそれぞれについて、例えば、閾値と比較することでその種類の異常を含むか否かを判別するようにする。全ての異常の種類について正常と判断されればその信号データは正常であることが判明し、何れかの異常の種類について異常であると判断されればその信号データの異常であることが判明するとともに異常の種類を特定することができる。また、複数の異常を含む場合には、その点についても認識することが可能となる。
　すなわち、第１の実施の形態において説明した信号データ判別装置１０における信号データ入力部１１、特徴マップ生成部１２、距離マップ生成部１３、距離値演算部１４及び信号データ判別部１５の構成を、判別対象の異常の種類ごとに設けるとともに、各特徴マップ生成部１２における学習器の学習を異常の種類に対応したサンプルデータによって行うようにすることで、異常の種類の数だけ設けられた複数の信号データ判別部の判別結果に基づいて、信号データが正常であるか否かの判別と、異常の場合における異常の種類を特定可能とすることができる。
　１０　　　　　　信号データ判別装置
　１１　　　　　　信号データ入力部
　１２　　　　　　特徴マップ生成部
　１３　　　　　　距離マップ生成部
　１４　　　　　　距離値演算部
　１５　　　　　　信号データ判別部
　１６　　　　　　記憶部
　１７　　　　　　学習済モデル
　１８　　　　　　教師信号付サンプルデータ
　１９　　　　　　信号データ

Claims (10)

  1. 　信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデル生成方法であって、
    　正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、
    　複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成手順と、
    　前記距離マップから組合せごとの距離値を求める距離値演算手順と、
    　前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別手順と、
    　前記距離値判別手順における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正手順と
    　を含む学習済モデル生成方法。
  2. 　前記距離値演算手順は、プーリング関数によって距離マップから距離値を演算するようにした
    　請求項１記載の学習済モデル生成方法。
  3. 　信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデル生成装置であって、
    　正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、
    　複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成部と、
    　前記距離マップから組合せごとの距離値を求める距離値演算部と、
    　前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別部と、
    　前記距離値判別部における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正部と
    　を具備してなる学習済モデル生成装置。
  4. 　判別対象である信号データを入力する信号データ入力手順と、
    　正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、
    　正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成手順で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成手順と、
    　前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算手順と、
    　前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別手順
    　とを含む信号データ判別方法。
  5. 　判別対象である信号データを入力する信号データ入力部と、
    　正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、
    　正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成部で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成部と、
    　前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算部と、
    　前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別部
    　とを具備してなる信号データ判別装置。
  6. 　前記距離値演算部は、前記距離マップから組合せごとの距離値を求める組合せ単位距離値演算処理と、信号データとサンプルデータの全組合せの距離値に基づいて信号データ単位の距離値を求める信号データ単位距離値演算処理とによって、信号データの距離値を演算するようにした
    　請求項５記載の信号データ判別装置。
  7. 　前記距離値演算部における組合せ単位距離値演算処理は、プーリング関数によって距離マップから距離値を演算するようにした
    　請求項６記載の信号データ判別装置。
  8. 　前記距離値演算部における信号データ単位距離値演算処理は、全組合せの距離値の平均を演算して平均値を信号データの距離値とするようにした
    　請求項６又は７記載の信号データ判別装置。
  9. 　前記請求項５から請求項８の何れかに記載の信号データ判別装置における信号データ入力部、特徴マップ生成部、距離マップ生成部、距離値演算部及び信号データ判別部の構成を、判別対象の異常の種類ごとに設けるとともに、各特徴マップ生成部における学習器の学習を異常の種類に対応したサンプルデータによって行うようにし、異常の種類の数だけ設けられた複数の信号データ判別部の判別結果に基づいて、信号データが正常であるか否かの判別と、異常の場合における異常の種類を特定可能とした信号データ判別装置。
  10. 　判別対象の信号データが正常であるか異常であるかを判別するための機能をコンピュータに実現させるための信号データ判別プログラムであって、
    　前記コンピュータに、
    　判別対象である信号データを入力する信号データ入力機能と、
    　正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成機能と、
    　正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成部で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成機能と、
    　前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算機能と、
    　前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別機能と
    　を実現させる信号データ判別プログラム。
PCT/JP2017/040841 2016-11-15 2017-11-14 学習済モデル生成方法、学習済モデル生成装置、信号データ判別方法、信号データ判別装置及び信号データ判別プログラム WO2018092747A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780070171.3A CN109983482A (zh) 2016-11-15 2017-11-14 已学习模型生成方法、已学习模型生成装置、信号数据判别方法、信号数据判别装置以及信号数据判别程序
DE112017005011.1T DE112017005011T5 (de) 2016-11-15 2017-11-14 Verfahren zum Erzeugen eines eingelernten Modells, Vorrichtung zum Erzeugen eines eingelernten Modells, Verfahren zum Unterscheiden von Signaldaten, Vorrichtung zum Unterscheiden von Signaldaten und Programm zum Unterscheiden von Signaldaten

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016222489A JP6216024B1 (ja) 2016-11-15 2016-11-15 学習済モデル生成方法及び信号データ判別装置
JP2016-222489 2016-11-15

Publications (1)

Publication Number Publication Date
WO2018092747A1 true WO2018092747A1 (ja) 2018-05-24

Family

ID=60107420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040841 WO2018092747A1 (ja) 2016-11-15 2017-11-14 学習済モデル生成方法、学習済モデル生成装置、信号データ判別方法、信号データ判別装置及び信号データ判別プログラム

Country Status (4)

Country Link
JP (1) JP6216024B1 (ja)
CN (1) CN109983482A (ja)
DE (1) DE112017005011T5 (ja)
WO (1) WO2018092747A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021033239A1 (ja) * 2019-08-19 2021-02-25

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229910A1 (ja) * 2018-05-30 2019-12-05 株式会社ウフル 顔認証を用いた入国審査システム、入国審査方法、プログラム、および認証装置
JP7070157B2 (ja) * 2018-06-29 2022-05-18 富士通株式会社 画像処理プログラム、画像処理装置及び画像処理方法
JP7046760B2 (ja) * 2018-08-23 2022-04-04 アンリツ株式会社 信号解析装置及び信号解析方法並びに信号解析プログラム
CN113646800A (zh) 2018-09-27 2021-11-12 株式会社OPTiM 物体状况判断系统、物体状况判断方法以及程序
EP3637303B1 (en) * 2018-10-09 2024-02-14 Naver Corporation Methods for generating a base of training images, for training a cnn and for detecting a poi change in a pair of inputted poi images using said cnn
JP2020112483A (ja) * 2019-01-15 2020-07-27 春江 姚 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
CN114051443A (zh) * 2019-07-03 2022-02-15 首选网络株式会社 信息处理装置、机器人系统以及信息处理方法
WO2022038660A1 (ja) 2020-08-17 2022-02-24 日本電信電話株式会社 情報処理装置、情報処理方法、および、情報処理プログラム
JP7391907B2 (ja) 2021-03-16 2023-12-05 株式会社東芝 異常検出装置、異常検出方法、および異常検出プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145337A (ja) * 1997-07-28 1999-02-16 Matsushita Electric Works Ltd 塗装システム
JP2001022926A (ja) * 1999-07-06 2001-01-26 Mitsubishi Electric Corp 画像認識方法および画像認識装置
JP2002259948A (ja) * 2001-03-02 2002-09-13 Tdk Corp 次処理決定方法、検査方法および検査装置
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2016118918A (ja) * 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145337A (ja) * 1997-07-28 1999-02-16 Matsushita Electric Works Ltd 塗装システム
JP2001022926A (ja) * 1999-07-06 2001-01-26 Mitsubishi Electric Corp 画像認識方法および画像認識装置
JP2002259948A (ja) * 2001-03-02 2002-09-13 Tdk Corp 次処理決定方法、検査方法および検査装置
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2016118918A (ja) * 2014-12-19 2016-06-30 ヤフー株式会社 モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラム
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MURATA, TOMOKAZU ET AL.: "The 22nd Symposium on Sensing via Image Information (SSII2016", CNN-BASED FEATURE EXTRACTION AND EXTERNAL SENSING WITH SVM, 8 June 2016 (2016-06-08) *
OKATANI, TAKAYUKI: "Image Recognition with Deep Learning--Convolutional Network Functionality and Limits", INFORMATION PROCESSING, vol. 56, no. 7, 15 June 2015 (2015-06-15), pages 634 - 639 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021033239A1 (ja) * 2019-08-19 2021-02-25
WO2021033239A1 (ja) * 2019-08-19 2021-02-25 富士通株式会社 情報処理装置、情報処理プログラム、及び、情報処理方法
JP7197021B2 (ja) 2019-08-19 2022-12-27 富士通株式会社 情報処理装置、情報処理プログラム、及び、情報処理方法

Also Published As

Publication number Publication date
DE112017005011T5 (de) 2019-07-04
CN109983482A (zh) 2019-07-05
JP6216024B1 (ja) 2017-10-18
JP2018081442A (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
JP6216024B1 (ja) 学習済モデル生成方法及び信号データ判別装置
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
US11417148B2 (en) Human face image classification method and apparatus, and server
KR100442834B1 (ko) 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한얼굴 검출 방법 및 시스템
JP2018026122A5 (ja)
US11403560B2 (en) Training apparatus, image recognition apparatus, training method, and program
CN110418204B (zh) 基于微表情的视频推荐方法、装置、设备和存储介质
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN110276252B (zh) 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
JP2020184331A (ja) ライブネス検査方法及び装置、顔認証方法及び装置
CN112215201A (zh) 评估人脸识别模型、针对图像的分类模型的方法及装置
CN114842343A (zh) 一种基于ViT的航空图像识别方法
Silva et al. POEM-based facial expression recognition, a new approach
Sauter et al. Defect detection of metal nuts applying convolutional neural networks
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN113139932B (zh) 一种基于集成学习的深度学习缺陷图像识别方法及系统
CN115457620A (zh) 用户表情识别方法、装置、计算机设备及存储介质
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN113011370A (zh) 一种基于深度学习的多状态人脸识别方法
JP2021105758A (ja) 物品検査装置
CN113837174A (zh) 目标对象识别方法、装置及计算机设备
Madake et al. Vision-based Monitoring of Student Attentiveness in an E-Learning Environment
WO2022185474A1 (ja) 学習装置、学習方法、検査装置、検査方法、及び、記録媒体
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质
WO2022185481A1 (ja) 検査装置、検査方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17872239

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17872239

Country of ref document: EP

Kind code of ref document: A1