JP6216024B1 - Trained model generation method and signal data discrimination device - Google Patents
Trained model generation method and signal data discrimination device Download PDFInfo
- Publication number
- JP6216024B1 JP6216024B1 JP2016222489A JP2016222489A JP6216024B1 JP 6216024 B1 JP6216024 B1 JP 6216024B1 JP 2016222489 A JP2016222489 A JP 2016222489A JP 2016222489 A JP2016222489 A JP 2016222489A JP 6216024 B1 JP6216024 B1 JP 6216024B1
- Authority
- JP
- Japan
- Prior art keywords
- signal data
- distance
- data
- distance value
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
【課題】光源変動など本質的でない変動に頑健であり、かつ、従来に比較して少ない学習データ量で精度良く判別可能な信号データ判別装置を提供すること。【解決手段】判別対象である信号データを入力する信号データ入力部と、正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、正常の教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと信号データの特徴マップとを用いて、各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成部と、距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算部と、距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別部とを具備してなる。【選択図】図１To provide a signal data discriminating apparatus that is robust against non-essential fluctuations such as light source fluctuations and that can discriminate accurately with less learning data amount as compared with the prior art. A signal data input unit that inputs signal data to be discriminated, and a learning device that performs learning in advance based on a plurality of sample data with a teacher signal indicating whether the signal is normal or abnormal. A feature map generating unit that extracts a feature amount from signal data and generates a feature map; and features of a plurality of feature maps and signal data generated based on a plurality of sample data with normal teacher signals A distance map generating unit that generates a distance map by taking a difference of a feature map between a combination of each sample data and signal data using a map, and a distance value between the signal data and the sample data from the distance map And a signal data discrimination unit for discriminating whether the signal data is normal or abnormal based on the distance value. [Selection] Figure 1
Description
本発明は、画像データに基づく外観検査のように信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデルの生成、及び、学習済モデルを適用した信号データ判別装置に関するものである。 The present invention relates to generation of a learned model to be applied to a discriminating device for discriminating whether signal data is normal or abnormal as in visual inspection based on image data, and signal data to which the learned model is applied The present invention relates to a discrimination device.
従来、製品の外観検査や異常検出に対処するために、製品を撮影した画像に基づく検査法が検討されてきた。対象製品の画像を正常品を撮影した画像と比較することで対象製品が正常品であるか異常品であるかを判別するという方法が一般的であるが、その際の判別手法として代表的なものとして、差分検知法と機械学習法とが存在する。 Conventionally, in order to deal with appearance inspection and abnormality detection of products, inspection methods based on images obtained by photographing products have been studied. A common method is to determine whether the target product is normal or abnormal by comparing the image of the target product with an image of a normal product. There are a difference detection method and a machine learning method.
差分検知法は、外観検査に限らず、類似した２つの信号の差分に基づいて判定を行う手法である。２つの信号間のわずかな本質的な違いを検出することで、外観検査や異常検知などの多様な問題に対処できることが知られている。例えば、対象の製品に傷が含まれるかどうかを識別する外観検査の問題では、「正常品が撮像された画像」と「同一視点から撮像された画像」間の差異を測ることで、対象の物体に傷があるかどうかを判定できる。対象の製品が正常であるかどうかを識別する異常検知問題は、「センサから取得された正常な信号」と「現在の信号」との差異を比較することで解決できる。このような二つのサンプル間の差分を比較する方法論は、一般に差分検知（Change detection）と呼ばれる。差分検知で解決できる問題は幅広く、例として監視カメラの動画認識、リモートセンシング、自動運転などが挙げられる。 The difference detection method is not limited to the appearance inspection, and is a method of performing determination based on a difference between two similar signals. It is known that various problems such as appearance inspection and abnormality detection can be dealt with by detecting a slight essential difference between two signals. For example, in the problem of visual inspection that identifies whether a target product contains scratches, by measuring the difference between an “image captured from a normal product” and an “image captured from the same viewpoint”, It can be determined whether or not the object is scratched. The abnormality detection problem for identifying whether the target product is normal can be solved by comparing the difference between the “normal signal acquired from the sensor” and the “current signal”. Such a methodology for comparing differences between two samples is generally referred to as difference detection. There are a wide variety of problems that can be solved by difference detection, such as surveillance camera video recognition, remote sensing, and automatic driving.
機械学習法は、正常か異常かのラベル情報の付された大量の学習サンプルから対象のデータが正常値か異常値かを識別するモデルを学習させ、それを外観検査や異常検知などの問題に適用する方法である。学習のためには大量のサンプルデータと演算時間を必要とするが、一度学習を終えた学習済モデルを生成してしまえば、精度の高い判定が可能となる。 The machine learning method learns a model that identifies whether the target data is normal or abnormal from a large number of learning samples with normal or abnormal label information, which can be used for problems such as appearance inspection and abnormality detection. It is a method to apply. Although a large amount of sample data and calculation time are required for learning, once a learned model that has been learned once is generated, a highly accurate determination can be made.
このような外観検査のための技術として、例えば、特許文献１に記載の表面品質評価装置が既に提案されている。この特許文献１に記載の表面品質評価装置は、表面に形成された酸化被膜の厚さの分布を考慮して金属の品質を自動的に評価することができるようにするためのものであり、機械学習による評価を採用している。
As a technique for such appearance inspection, for example, a surface quality evaluation apparatus described in
前述の差分検知法は、コンピュータビジョンの領域において古くから知られている一般的な方法であり、機械学習法と比較した場合、多くはモデルの学習を必要としないため、学習サンプルを取得する手間やアノテーションを付与するための時間が削減できるという利点があるが、差分検知における特に重要な課題の一つとして、得られた差分が本質的に重要な差異かどうか適切に識別する問題が挙げられる。例えば、外観検査では二枚の画像間の差分は傷だけでなく照明変動や個体差などの本質的でない原因から生じる場合がある。この問題に対して用いられる典型的な方法は、各サンプルに対して光源変動など本質的でない差分に頑健な特徴ベクトルを抽出し、それらの差分を計算するものである。しかし、どのような差分が本質的に重要なのかは扱う問題の内容によって異なるため、差分検知を用いた手法の多くは問題に応じて適切な差分を出せるようにする前処理を各サンプルに対して行う必要があるという問題があった。例えば、外観検査の例では光源変動を抑えるため、適切に明るさとコントラストを調整した後で画像間の差分を取っていた。しかしながら、この手法は前処理では対応できない変動を適切に抑えられない欠点がある。また、人間の変動に対する価値基準を適切な前処理として設計することが難しい問題もある。 The above-mentioned difference detection method is a general method that has been known for a long time in the field of computer vision, and when compared with the machine learning method, many models do not need to be trained. And the time to add annotations can be reduced, but one of the most important issues in difference detection is the problem of properly identifying whether the obtained differences are inherently important differences. . For example, in an appearance inspection, a difference between two images may be caused by non-essential causes such as lighting fluctuations and individual differences as well as scratches. A typical method used for this problem is to extract feature vectors that are robust to non-essential differences such as light source fluctuations for each sample and calculate those differences. However, since what kind of difference is intrinsically important depends on the content of the problem to be handled, many methods using difference detection perform preprocessing on each sample so that an appropriate difference can be output according to the problem. There was a problem that had to be done. For example, in the example of the appearance inspection, the difference between images is taken after appropriately adjusting the brightness and contrast in order to suppress the light source fluctuation. However, this method has a drawback that fluctuations that cannot be dealt with by preprocessing cannot be suppressed appropriately. In addition, there is a problem that it is difficult to design a value standard for human variation as an appropriate pre-processing.
他方、前述の機械学習法は、差分検知法とは異なり、光源変動など本質的でない変動に頑健なモデルが学習によって得られることが期待されるものの、そのようなモデルを作るためには大量の学習データと、信号のうちどの箇所が異常値であるかを示した詳細なアノテーションデータが必要となる。異常個所を含む学習データを大量に用意し、かつ、それぞれに詳細なアノテーションを付与することは、多大な時間とコストを要するという問題があった。 On the other hand, unlike the difference detection method, the machine learning method described above is expected to obtain a model that is robust against non-essential fluctuations such as light source fluctuations. Learning data and detailed annotation data indicating which part of the signal is an abnormal value are required. Preparing a large amount of learning data including abnormal parts and giving detailed annotations to each of them has a problem of requiring a great deal of time and cost.
本発明は、上記問題点に鑑みなされたものであり、光源変動など本質的でない変動に頑健であり、かつ、従来に比較して少ない学習データ量で精度良く判別可能な信号データ判別装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a signal data discriminating apparatus that is robust against non-essential fluctuations such as light source fluctuations and that can accurately discriminate with a small amount of learning data as compared with the prior art. The purpose is to do.
本発明に係る学習済モデル生成方法は、信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデル生成方法であって、正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成手順と、前記距離マップから組合せごとの距離値を求める距離値演算手順と、前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別手順と、前記距離値判別手順における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正手順とを含むことを特徴とする。 The learned model generation method according to the present invention is a learned model generation method for applying to a discriminating apparatus for determining whether signal data is normal or abnormal, and whether the signal data is normal or abnormal A feature map generation procedure for generating a feature map by extracting a feature amount of each sample data using a learning device for a plurality of sample data to which a teacher signal is attached, and a teacher signal is normal among the plurality of sample data A distance map generation procedure for generating a distance map by taking a difference with respect to the feature map for a combination of samples or a combination of a sample with a normal teacher signal and an abnormal sample, and a distance value for each combination from the distance map The distance value calculation procedure to be obtained and a sample in which the teacher signal whose comparison is less than the threshold is normal by comparing the distance value with a predetermined threshold The distance value determination procedure for determining whether the combination of the master or the teacher signal above the threshold is a combination of a normal sample and an abnormal sample, and the determination result in the distance value determination procedure matches the combination of the teacher signal of the sample data As described above, it includes a parameter correction procedure for performing learning by correcting the operation parameters of the learning device.
また、本発明に係る学習済モデル生成方法は、前記距離値演算手順は、プーリング関数によって距離マップから距離値を演算するようにしたことを特徴とする。 The learned model generation method according to the present invention is characterized in that the distance value calculation procedure calculates a distance value from a distance map by a pooling function.
また、本発明に係る学習済モデル生成装置は、信号データが正常であるか異常であるかを判別する判別装置に適用するための学習済モデル生成装置であって、正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成部と、前記距離マップから組合せごとの距離値を求める距離値演算部と、前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別部と、前記距離値判別部における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正部とを具備してなることを特徴とする。 The learned model generation device according to the present invention is a learned model generation device for application to a determination device that determines whether signal data is normal or abnormal, and is normal or abnormal. For a plurality of sample data to which such a teacher signal is attached, a feature map generating unit that extracts a feature amount for each sample data using a learning device and generates a feature map, and a teacher signal of the plurality of sample data includes a teacher signal A distance map generation unit that generates a distance map by taking a difference with respect to the feature map for a combination of normal samples or a combination of a sample with a normal teacher signal and an abnormal sample, and a distance for each combination from the distance map A distance value calculation unit for obtaining a value, and a sample in which the distance is compared with a predetermined threshold and the teacher signal whose combination is less than the threshold is normal A distance value discriminating unit that discriminates whether the combination of the master or the teacher signal equal to or higher than the threshold is a combination of a normal sample and an abnormal sample, and the discrimination result in the distance value discriminating unit matches the combination of the teacher signal of sample data As described above, the learning device includes a parameter correcting unit that corrects the arithmetic parameters of the learning device to perform learning.
本発明に係る信号データ判別方法は、判別対象である信号データを入力する信号データ入力手順と、正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成手順で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成手順と、前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算手順と、前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別手順とを含むことを特徴とする。 The signal data discriminating method according to the present invention learns in advance based on a signal data input procedure for inputting signal data to be discriminated and a plurality of sample data to which a normal or abnormal teacher signal is attached. A feature map generation procedure for generating a feature map by extracting a feature amount from the signal data using the performed learning device, and a plurality of sample data generated based on a plurality of sample data to which normal teacher signals are attached Using the feature map data and the feature map of the signal data generated in the feature map generation procedure, a distance is obtained by taking the difference of the feature map between the combination of each sample data and the signal data that generated the feature map. A distance map generation procedure for generating a map, a distance value calculation procedure for obtaining a distance value between the signal data and the sample data from the distance map, and the distance value Zui the signal data, characterized in that it comprises a signal data determination procedure for determining whether it is normal or abnormal by.
本発明に係る信号データ判別装置は、判別対象である信号データを入力する信号データ入力部と、正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成部で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成部と、前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算部と、前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別部とを具備してなることを特徴とする。 A signal data discriminating apparatus according to the present invention learns in advance based on a signal data input unit for inputting signal data to be discriminated and a plurality of sample data to which a teacher signal indicating whether it is normal or abnormal is attached. A feature map generation unit that extracts a feature amount from the signal data and generates a feature map using the performed learning device, and a plurality of pieces of data generated based on a plurality of sample data to which normal teacher signals are attached Using the feature map data and the feature map of the signal data generated by the feature map generator, the difference between the feature map between the combination of each sample data and the signal data that generated the feature map is used to obtain a distance. A distance map generating unit that generates a map, a distance value calculating unit that obtains a distance value between the signal data and the sample data from the distance map, and based on the distance value Wherein the signal data is comprises a signal data discriminating unit for discriminating whether it is normal or abnormal.
また、本発明に係る信号データ判別装置は、前記距離値演算部は、前記距離マップの特徴毎の差分値から組合せごとの距離値を求める組合せ単位距離値演算処理と、信号データとサンプルデータの全組合せの距離値に基づいて信号データ単位の距離値を求める信号データ単位距離値演算処理とによって、信号データの距離値を演算するようにしたことを特徴とする。 Further, in the signal data discriminating apparatus according to the present invention, the distance value calculation unit includes a combination unit distance value calculation process for obtaining a distance value for each combination from a difference value for each feature of the distance map, and the signal data and the sample data. The distance value of the signal data is calculated by the signal data unit distance value calculation processing for obtaining the distance value of the signal data unit based on the distance values of all combinations.
また、本発明に係る信号データ判別装置は、前記距離値演算部における組合せ単位距離値演算処理は、プーリング関数によって距離マップから距離値を演算するようにしたことを特徴とする。 The signal data discriminating apparatus according to the present invention is characterized in that the combination unit distance value calculation processing in the distance value calculation unit calculates a distance value from a distance map by a pooling function.
また、本発明に係る信号データ判別装置は、前記距離値演算部における信号データ単位距離値演算処理は、全組合せの距離値の平均を演算して平均値を信号データの距離値とするようにしたことを特徴とする。 In the signal data discriminating apparatus according to the present invention, the signal data unit distance value calculation process in the distance value calculation unit calculates an average of the distance values of all the combinations and sets the average value as the distance value of the signal data. It is characterized by that.
本発明によれば、差分検知法のように光源変動など本質的でない変動に対処するための入力データに対する前処理の必要がなく、従来の機械学習法のように詳細なアノテーションの付された大量のサンプルデータを必要とせず、正常か異常かといった弱いアノテーションの付されたサンプルデータを従来に比較して少ない量だけ用意すれば高精度の学習を行うことが可能となるため、従来に比較して多大な時間とコストを削減することができる。また、サンプル間の組み合わせによってデータセットを作成するため、単一のサンプルを用いて学習する場合よりもデータセットのサンプル数が増大する。特に、正常品よりも異常品の数が非常に少ない状況においては、単一のサンプルを用いて学習する場合には異常品のサンプルを多数準備することが困難であるが、本発明においては、正常品−異常品のペアの数が、正常品−正常品のペアの数よりも相対的に多くなる。よって、異常品の数が非常に少ない状況においても、学習の高精度化、効率化を測ることができる。また、ペアの数が多ければ学習を高精度に行えるので、従来の機械学習の手法と比較してサンプル数を大幅に減らすことが可能となる。 According to the present invention, there is no need to pre-process input data for dealing with non-essential fluctuations such as light source fluctuations as in the difference detection method, and a large amount of detailed annotations are added as in the conventional machine learning method. If you prepare a small amount of sample data with weak annotations such as normal or abnormal, you can perform highly accurate learning. Can save a lot of time and money. In addition, since the data set is created by combining the samples, the number of samples in the data set increases as compared with the case where learning is performed using a single sample. In particular, in a situation where the number of abnormal products is much smaller than normal products, it is difficult to prepare a large number of abnormal product samples when learning using a single sample. The number of normal-abnormal product pairs is relatively larger than the number of normal-normal product pairs. Therefore, even in a situation where the number of abnormal products is very small, it is possible to measure the accuracy and efficiency of learning. In addition, since learning can be performed with high accuracy if the number of pairs is large, the number of samples can be significantly reduced as compared with the conventional machine learning method.
［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る信号データ判別装置の例について説明する。図１は、本発明に係る信号データ判別装置１０の構成を表したブロック図である。なお、信号データ判別装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、信号データ判別装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の信号データ判別装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。
[First Embodiment]
Hereinafter, an example of the signal data discriminating apparatus according to the first embodiment will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a signal data
信号データ判別装置１０は、信号データ入力部１１と、特徴マップ生成部１２と、距離マップ生成部１３と、距離値演算部１４と、信号データ判別部１５と、記憶部１６とを少なくとも備えている。
The signal
信号データ入力部１１は、本発明に係る信号データ判別装置１０において正常であるか異常であるかを判別したい信号データ１９を入力する機能を有する。信号データ１９の入力は、有線又は無線によってリアルタイムに取得してその都度入力するものであってもよいし、取得した信号データ１９を後述する記憶部１６に記憶させたうえで、判別のタイミングで読み出すようにしてもよい。
The signal
特徴マップ生成部１２は、判別対象の信号データ１９について学習器に基づいて信号データの特徴量を抽出して特徴マップを生成する機能を有する。特徴マップを生成可能なものであればどのような学習器であってもよいが、例えば、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）を学習器として採用することが考えられる。特徴マップの生成は、例えば、畳み込みニューラルネットワークの場合には、入力信号データと重みフィルタ、或いは、途中経過での特徴マップと重みフィルタとで内積をとり、ラスタスキャンによって繰り返し畳み込み処理を行うことで特徴マップを得る。なお、この特徴マップ生成部１２における学習器は、最終的な判別が精度良く行えるような特徴マップが生成できるように予め学習を行って、学習済モデル１７として記憶部１６に記憶させておく。学習済モデル１７の生成の詳細については後述する。
The feature
また、本発明においては、信号データについて判別を行うために、正常である教師信号の付された複数のサンプルデータを必要とし、それらの正常の教師信号の付された複数のサンプルデータそれぞれについても特徴マップ生成部１２において特徴マップを生成する。複数の教師信号付サンプルデータ１８は記憶部１６に記憶されており、教師信号付サンプルデータ１８のそれぞれに対応した特徴マップを予め生成して記憶部１６に記憶させておくようにしてもよいし、信号データの特徴マップの生成のタイミングで教師信号付サンプルデータ１８についても特徴マップを生成するようにしてもよい。
Further, in the present invention, in order to determine signal data, a plurality of sample data to which normal teacher signals are attached is required, and each of the plurality of sample data to which normal teacher signals are attached is also necessary. The
距離マップ生成部１３は、正常である教師信号の付された教師信号付サンプルデータ１８に基づいて生成された複数の特徴マップのデータと、信号データに基づいて生成された特徴マップとを用いて、教師信号付サンプルデータ１８のそれぞれと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する機能を有する。
The distance
距離値演算部１４は、距離マップから信号データとサンプルデータとの間の距離値を求める機能を有する。
The distance
信号データ判別部１５は、距離値演算部１４で求めた信号データとサンプルデータとの間の距離値に基づいて信号データが正常であるか異常であるかの判別を行う機能を有する。具体的には、例えば、距離値演算部１４で求めた距離値を予め設定した所定の閾値と比較して、閾値未満であれば信号データは正常であると判別し、閾値以上であれば信号データは異常であると判別する手法が考えられる。なお、本発明は、正常、異常の判別の場合のみならず、分類を行うような場合にも適用可能であり、分類の場合には、距離値の大きさに応じて信号データを分類する手法が採用し得る。
The signal
記憶部１６は、学習済モデル１７、教師信号付サンプルデータ１８、信号データ１９など、信号データ判別装置１０における処理に必要な情報が記憶されている。
The
図２は、特徴マップ生成部１２の学習器において使用する学習済モデル１７の生成の概要を表した説明図である。使用される学習器に応じた学習方法が採用される必要があるが、ここでの学習器は、一例として、畳み込みニューラルネットワーク（以下、ＣＮＮ）を採用する場合について説明を行う。なお、学習には、例えば、ロス関数を採用することができ、Triplet loss関数、siamese loss関数、sigmoid cross entropy loss関数など様々なロス関数を採用し得る。また、学習の前段階として、最初の学習時のＣＮＮには、適当に（例えば、ランダムによって）パラメータを割り振っておく。
FIG. 2 is an explanatory diagram showing an outline of generation of the learned
学習は、先ず、正常（０）であるか異常（１）であるかの教師信号の付された複数のサンプルデータ（Ｘ1〜Ｘ4）をそれぞれ特徴マップ生成のためのＣＮＮに入力し、それぞれの特徴マップ（ｈ1〜ｈ4）を生成する。なお、本例では、正常と異常の区別ができればよいので教師信号として（０）と（１）の２つを用いたが、複数項目に分類するような場合には、教師信号の種類も増えることになる。 In learning, first, a plurality of sample data (X 1 to X 4 ) with a teacher signal indicating whether normal (0) or abnormal (1) is input to the CNN for generating a feature map, respectively. Each feature map (h 1 to h 4 ) is generated. In this example, since it is only necessary to distinguish between normal and abnormal, two teacher signals (0) and (1) are used. However, in the case of classification into a plurality of items, the number of teacher signals increases. It will be.
次に、それぞれがサンプルデータに対応した特徴マップ（ｈ1〜ｈ4）について、教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、特徴マップについて差分をとって距離マップを生成し、距離マップから組合せごとの距離値（ｄ12、ｄ13、ｄ14、ｄ23、ｄ24）を演算する。距離マップから距離値を算出する手法としては、例えば、global max pooling、global average pooling、global Lp poolingなどのglobal pooling関数を用いる。 Next, regarding the feature map (h 1 to h 4 ) corresponding to each sample data, the combination of samples with normal teacher signals, or the combination of samples with normal teacher signals and abnormal samples, A distance map is generated by taking the difference, and distance values (d 12 , d 13 , d 14 , d 23 , d 24 ) for each combination are calculated from the distance map. As a method for calculating the distance value from the distance map, for example, a global pooling function such as global max pooling, global average pooling, and global Lp pooling is used.
そして、組合せごとの距離値（ｄ12、ｄ13、ｄ14、ｄ23、ｄ24）を予め設定した所定の閾値と比較して、閾値未満であればその距離値は正常同士の組合せのものであると判別し、閾値以上であればその距離値は正常と異常の組合せのものであると判別する。このような距離値に対する判別結果とサンプルデータの教師信号を比較して、判別精度を評価する。一例としては、判別の正答率が所定以上の確率となるか否かが考えられる。判別精度が所定条件を充足していない場合には、ＣＮＮのパラメータを修正して、また最初から学習処理を行う。このように学習を繰り返して、判別精度が所定条件を充足したときに学習処理を終えて、学習済モデルを得る。 Then, the distance value for each combination (d 12 , d 13 , d 14 , d 23 , d 24 ) is compared with a predetermined threshold value, and if the distance value is less than the threshold value, the distance value is that of a normal combination. If it is equal to or greater than the threshold, it is determined that the distance value is a combination of normal and abnormal. The discrimination accuracy for the distance value is compared with the teacher signal of the sample data to evaluate the discrimination accuracy. As an example, it is conceivable whether or not the correct answer rate of the determination has a predetermined probability or more. If the discrimination accuracy does not satisfy the predetermined condition, the CNN parameter is corrected and the learning process is performed from the beginning. In this way, learning is repeated, and when the discrimination accuracy satisfies a predetermined condition, the learning process is finished to obtain a learned model.
図３は、信号データ判別装置１０における判別に使用する距離値演算までの概要を表した説明図である。信号データの判別処理は、先ず、予め学習を行って得た学習済モデルを利用したＣＮＮに対して信号データ（Ｘ）を入力して特徴マップ（ｈ）を生成する。また、正常である教師信号の付された複数のサンプルデータ（Ｘ1〜ＸN）を用意し、それらの正常の教師信号の付された複数のサンプルデータそれぞれについても特徴マップ生成部１２において特徴マップを生成して、特徴マップ（ｈ1〜ｈN）を得る。
FIG. 3 is an explanatory diagram showing an outline up to the calculation of the distance value used for discrimination in the signal
次に、サンプルデータ（Ｘ1〜ＸN）に対応した特徴マップ（ｈ1〜ｈN）と、信号データ（Ｘ）に対応した特徴マップ（ｈ）との組合せの間で特徴マップの差分をとって距離マップを生成する。そして、生成した距離マップから、例えば、global max pooling関数を用いて、信号データ（Ｘ）と各サンプルデータ（Ｘ1〜ＸN）との間の距離値（ｄ1〜ｄN）を得る。そして、得られた距離値（ｄ1〜ｄN）の平均値を求めるなどの処理を行って、判別に用いるための距離値ｄを得る。この距離値ｄを所定の閾値と比較して信号データの判別を行う。 Next, the sample data (X 1 ~X N) to the feature map corresponding (h 1 ~h N), the difference between the feature map between a combination of said map corresponding to the signal data (X) (h) Take a distance map. Then, obtained from the generated distance map, for example, using a global max pooling function, the distance values between the signal data (X) and each sample data (X 1 ~X N) and (d 1 ~d N). Then, by performing processing such as an average value of the obtained distance values (d 1 to d N), to obtain a distance value d for use in determination. The distance value d is compared with a predetermined threshold value to determine signal data.
図４は、学習済モデルの生成の流れを表したフローチャート図である。この図４に示すように、学習器に対する学習処理のためには、先ず、教師信号の付された複数のサンプルデータを準備する必要がある（ステップＳ１１）。複数のサンプルデータは、教師信号が正常のものと異常のものをそれぞれ複数準備する。そして、準備した複数のサンプルデータから特徴マップを生成する（ステップＳ１２）。特徴マップの生成は、例えば、ＣＮＮによって複数の特徴量を抽出することで行われる。また、初期のＣＮＮのパラメータは、例えば、ランダムに割り振っておく。 FIG. 4 is a flowchart showing the flow of generating a learned model. As shown in FIG. 4, in order to perform the learning process for the learning device, first, it is necessary to prepare a plurality of sample data with a teacher signal (step S11). A plurality of sample data are prepared for each of normal and abnormal teacher signals. Then, a feature map is generated from the prepared plurality of sample data (step S12). The feature map is generated by, for example, extracting a plurality of feature amounts by CNN. The initial CNN parameters are assigned at random, for example.
次に、教師信号が正常同士の組合せ又は正常と異常の組合せについて特徴マップの差分をとって距離マップを生成する（ステップＳ１３）。そして、距離マップから組合せごとの距離値を演算する（ステップＳ１４）。この時の距離値の演算は、例えば、global max pooling関数を用いて行われる。求めた距離値を所定の閾値と比較して組合せごとに正常・異常を判別する（ステップＳ１５）。 Next, a distance map is generated by taking a difference between feature maps for a combination of normal teacher signals or a combination of normal and abnormal (step S13). Then, a distance value for each combination is calculated from the distance map (step S14). The calculation of the distance value at this time is performed using, for example, a global max pooling function. The obtained distance value is compared with a predetermined threshold value to determine normality / abnormality for each combination (step S15).
最後に、組合せごとの判別結果を教師信号と比較して、判別精度を求める（ステップＳ１６）。そして、判別精度が所定の条件を充足したか否かを判定する（ステップＳ１７）。ここで、判別精度が所定の条件を充足していない場合には、特徴マップ生成のための学習器、例えば、ＣＮＮのパラメータを修正して（ステップＳ１８）、その後に、ステップＳ１２〜Ｓ１６の学習処理を行う。ステップＳ１７において判別精度が所定の条件を充足したと判定した場合には、その時点での学習器のパラメータからなる学習済モデルを得て終了する。 Finally, the discrimination result for each combination is compared with the teacher signal to obtain the discrimination accuracy (step S16). Then, it is determined whether or not the discrimination accuracy satisfies a predetermined condition (step S17). Here, when the discrimination accuracy does not satisfy the predetermined condition, the learning device for generating the feature map, for example, the parameter of the CNN is corrected (step S18), and then the learning in steps S12 to S16 is performed. Process. If it is determined in step S17 that the discrimination accuracy satisfies a predetermined condition, a learned model consisting of the parameters of the learning device at that time is obtained and the process ends.
図５は、信号データの判別処理の流れを表したフローチャート図である。この図５に示すように、信号データの判別処理のためには、先ず、信号データの入力を行う（ステップＳ２１）。そして、学習済モデルを利用した学習器、例えば、ＣＮＮを用いて、信号データについての特徴マップを生成する（ステップＳ２２）。特徴マップの生成は、例えば、ＣＮＮによって複数の特徴量を抽出することで行われる。また、正常である教師信号の付された複数のサンプルデータを用意し、それらの正常の教師信号の付された複数のサンプルデータそれぞれについても特徴マップを生成しておく。 FIG. 5 is a flowchart showing the flow of signal data discrimination processing. As shown in FIG. 5, in order to determine signal data, first, signal data is input (step S21). And the feature map about signal data is produced | generated using the learning device using the learned model, for example, CNN (step S22). The feature map is generated by, for example, extracting a plurality of feature amounts by CNN. Also, a plurality of sample data to which normal teacher signals are attached is prepared, and a feature map is generated for each of the plurality of sample data to which normal teacher signals are attached.
次に、教師信号が正常である複数のサンプルデータのそれぞれの特徴マップと信号データの特徴マップとの間で差分をとって、組合せごとの距離マップを生成する（ステップＳ２３）。そして、各組合せごとに距離マップから距離値を演算する（ステップＳ２４）。この時の演算は、例えば、global max pooling関数を用いて行われる。得られた全組合せの距離値に基づいて、信号データの距離値を決定する（ステップＳ２５）。ここでは、例えば、全組合せの距離値の平均値を信号データの距離値とする演算を行う。 Next, a difference map is generated between each feature map of the plurality of sample data with normal teacher signals and the feature map of the signal data, and a distance map for each combination is generated (step S23). Then, a distance value is calculated from the distance map for each combination (step S24). The calculation at this time is performed using, for example, a global max pooling function. Based on the obtained distance values of all the combinations, the distance value of the signal data is determined (step S25). Here, for example, calculation is performed using the average value of the distance values of all combinations as the distance value of the signal data.
最後に、信号データの距離値を所定の閾値と比較して、信号データが正常であるか異常であるかを判別する（ステップＳ２６）。例えば、信号データの距離値が閾値未満であれば信号データは正常であると判別し、閾値以上であれば信号データは異常であると判別する。そして、判別結果を出力して終了する（ステップＳ２７）。 Finally, the distance value of the signal data is compared with a predetermined threshold value to determine whether the signal data is normal or abnormal (step S26). For example, if the distance value of the signal data is less than the threshold value, it is determined that the signal data is normal, and if it is equal to or greater than the threshold value, it is determined that the signal data is abnormal. Then, the determination result is output and the process ends (step S27).
以上のような構成からなる本例の信号データ判別装置１０は、以下の効果がある。
（１）従来の差分検知の手法と異なり、特徴抽出部分に機械学習による学習器を設けて学習済モデルによって特徴抽出を行うようにしているので、学習済モデルによって特徴抽出を行えば光源変動など本質的でない変動に頑健な判別が可能となる。
（２）直接サンプルを与え識別する従来の機械学習の手法と異なり、正常品との差異を明示的に捉えることで、わずかな差異であったとしても正しく捉えることができる。
（３）サンプルに異常箇所が含まれるかどうかといった弱いアノテーション情報だけで学習できる。すなわち、サンプル毎に異常箇所を詳細にアノテーションする必要がないため、学習のためのサンプルデータの準備が容易になる。
（４）サンプル間の組み合わせによってデータセットを作成するため、単一のサンプルを用いて学習する場合よりもデータセットのサンプル数が増大する。特に、正常品よりも異常品の数が非常に少ない状況においては、単一のサンプルを用いて学習する場合には異常品のサンプルを多数準備することが困難であるが、本発明においては、正常品−異常品のペアの数が、正常品−正常品のペアの数よりも相対的に多くなる。よって、異常品の数が非常に少ない状況においても、学習の高精度化、効率化を測ることができる。また、ペアの数が多ければ学習を高精度に行えるので、従来の機械学習の手法と比較してサンプル数を大幅に減らすことが可能となる。
The signal
(1) Unlike conventional differential detection methods, a machine learning machine is provided in the feature extraction part and feature extraction is performed using a learned model. If feature extraction is performed using a learned model, light source fluctuations, etc. Robust discrimination against non-essential fluctuations is possible.
(2) Unlike the conventional machine learning method that directly gives and identifies samples, it is possible to correctly grasp even a slight difference by explicitly capturing the difference from the normal product.
(3) Learning is possible only with weak annotation information such as whether or not an abnormal part is included in a sample. That is, since it is not necessary to annotate the abnormal part in detail for each sample, it is easy to prepare sample data for learning.
(4) Since the data set is created by combining the samples, the number of samples in the data set increases as compared with the case of learning using a single sample. In particular, in a situation where the number of abnormal products is much smaller than normal products, it is difficult to prepare a large number of abnormal product samples when learning using a single sample. The number of normal-abnormal product pairs is relatively larger than the number of normal-normal product pairs. Therefore, even in a situation where the number of abnormal products is very small, it is possible to measure the accuracy and efficiency of learning. In addition, since learning can be performed with high accuracy if the number of pairs is large, the number of samples can be significantly reduced as compared with the conventional machine learning method.
すなわち、本例の信号データ判別装置によれば、差分検知法のように光源変動など本質的でない変動に対処するための入力データに対する前処理の必要がなく、従来の機械学習法のように詳細なアノテーションの付された大量のサンプルデータを必要とせず、正常か異常かといった弱いアノテーションの付されたサンプルデータを従来に比較して少ない量だけ用意すれば高精度の学習を行うことが可能となるため、従来に比較して多大な時間とコストを削減することができる。 That is, according to the signal data discriminating apparatus of this example, there is no need for preprocessing for input data for dealing with non-essential fluctuations such as light source fluctuations as in the difference detection method, and the details as in the conventional machine learning method. It is possible to perform highly accurate learning by preparing a small amount of sample data with weak annotations such as normal or abnormal, compared to the conventional one, without requiring a large amount of sample data with simple annotations. Therefore, a great deal of time and cost can be reduced compared to the conventional case.
前記第１の実施の形態においては、図３にしめすように、正常の教師信号付サンプルデータそれぞれと信号データとの間で距離値を演算し、全組合せの距離値の平均を求めて、距離値の平均値から推論処理を行うものとして説明を行った。しかし、この推論は平均だけでなく、状況に応じて様々な手法を適用することができる。例えば、Local Outlier Factorによる距離補正を伴う異常検知システムを特徴マップを求めた後に適用することもできる。また、データセット中の各サンプルと未知のサンプル間の距離を弱識別器のスコア関数とみなせば、バギングなどのアンサンブル学習を適用することもできる。 In the first embodiment, as shown in FIG. 3, the distance value is calculated between each normal sample data with teacher signal and the signal data, and the average of the distance values of all combinations is obtained. The explanation was made assuming that an inference process is performed from the average value. However, this inference can be applied not only to the average but also to various methods depending on the situation. For example, an anomaly detection system with distance correction by Local Outlier Factor can be applied after obtaining a feature map. If the distance between each sample in the data set and the unknown sample is regarded as the score function of the weak classifier, ensemble learning such as bagging can be applied.
前記第１の実施の形態においては、信号データが正常であるか異常であるかを判別する推論処理を行うためのものとして信号データ判別装置１０の説明を行ったが、信号データを複数の項目に分類するような推論処理も可能である。また、信号データとしても様々な種類のものを対象とすることが可能である。例えば、製品を撮影した画像に基づく外観検査、音声信号データに基づく異常音の検出、顔認証システムにおける顔の特徴の判別・分類など、様々な分野において適用可能な技術である。
In the first embodiment, the signal
１０ 信号データ判別装置
１１ 信号データ入力部
１２ 特徴マップ生成部
１３ 距離マップ生成部
１４ 距離値演算部
１５ 信号データ判別部
１６ 記憶部
１７ 学習済モデル
１８ 教師信号付サンプルデータ
１９ 信号データ
DESCRIPTION OF
Claims (8)
正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、
複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成手順と、
前記距離マップから組合せごとの距離値を求める距離値演算手順と、
前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別手順と、
前記距離値判別手順における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正手順と
を含む学習済モデル生成方法。 A learned model generation method for applying to a discriminating apparatus for discriminating whether signal data is normal or abnormal,
A feature map generation procedure for generating a feature map by extracting a feature amount for each sample data using a learning device for a plurality of sample data with a normal or abnormal teacher signal,
A distance map generation procedure for generating a distance map by taking a difference with respect to the feature map for a combination of samples with a normal teacher signal among a plurality of sample data or a combination of a sample with a normal teacher signal and an abnormal sample; ,
A distance value calculation procedure for obtaining a distance value for each combination from the distance map;
A distance value determination that compares the distance value with a predetermined threshold value and determines whether the combination is a combination of normal samples with less than the threshold teacher signal or a combination of a normal sample and an abnormal sample with a teacher signal greater than the threshold value Procedure and
A learned model generation method comprising: a parameter correction procedure for performing learning by correcting operation parameters of the learning device such that a discrimination result in the distance value discrimination procedure matches a combination of teacher signals of sample data.
請求項１記載の学習済モデル生成方法。 The learned model generation method according to claim 1, wherein the distance value calculation procedure calculates a distance value from a distance map by a pooling function.
正常であるか異常であるかの教師信号の付された複数のサンプルデータについて、学習器を用いてそれぞれのサンプルデータについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、
複数のサンプルデータのうち教師信号が正常のサンプル同士の組合せ、若しくは、教師信号が正常のサンプルと異常のサンプルの組合せについて、前記特徴マップについて差分をとって距離マップを生成する距離マップ生成部と、
前記距離マップから組合せごとの距離値を求める距離値演算部と、
前記距離値を所定の閾値と比較して当該組み合わせが閾値未満の教師信号が正常のサンプル同士の組合せか、閾値以上の教師信号が正常のサンプルと異常のサンプルの組合せかを判別する距離値判別部と、
前記距離値判別部における判別結果が、サンプルデータの教師信号の組合せと一致するように、前記学習器の演算パラメータを修正して学習を行うパラメータ修正部と
を具備してなる学習済モデル生成装置。 A learned model generation device for applying to a determination device for determining whether signal data is normal or abnormal,
For a plurality of sample data with a normal or abnormal teacher signal attached, a feature map generation unit that extracts a feature amount for each sample data using a learning device and generates a feature map;
A distance map generation unit that generates a distance map by taking a difference with respect to the feature map for a combination of samples with a normal teacher signal among a plurality of sample data, or a combination of a sample with a normal teacher signal and an abnormal sample; ,
A distance value calculation unit for obtaining a distance value for each combination from the distance map;
A distance value determination that compares the distance value with a predetermined threshold value and determines whether the combination is a combination of normal samples with less than the threshold teacher signal or a combination of a normal sample and an abnormal sample with a teacher signal greater than the threshold value And
A learned model generation device comprising: a parameter correction unit that performs learning by correcting operation parameters of the learning device so that a determination result in the distance value determination unit matches a combination of teacher signals of sample data .
正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成手順と、
正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成手順で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成手順と、
前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算手順と、
前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別手順
とを含む信号データ判別方法。 A signal data input procedure for inputting signal data to be discriminated;
A feature map that generates a feature map by extracting feature amounts of the signal data using a learning device that has previously learned based on a plurality of sample data to which teacher signals that are normal or abnormal are attached Generation procedure,
A feature map is generated using a plurality of feature map data generated based on a plurality of sample data to which normal teacher signals are attached and a feature map of signal data generated in the feature map generation procedure. A distance map generation procedure for generating a distance map by taking the difference of the feature map between the combination of each sample data and signal data;
A distance value calculation procedure for obtaining a distance value between the signal data and the sample data from the distance map;
And a signal data determination procedure for determining whether the signal data is normal or abnormal based on the distance value.
正常であるか異常であるかの教師信号の付された複数のサンプルデータに基づいて予め学習を行った学習器を用いて、前記信号データについて特徴量を抽出して特徴マップを生成する特徴マップ生成部と、
正常である教師信号の付された複数のサンプルデータに基づいて生成された複数の特徴マップのデータと、前記特徴マップ生成部で生成された信号データの特徴マップとを用いて、特徴マップを生成した各サンプルデータと信号データとの組合せの間で特徴マップの差分をとって距離マップを生成する距離マップ生成部と、
前記距離マップから信号データとサンプルデータとの間の距離値を求める距離値演算部と、
前記距離値に基づいて当該信号データが正常であるか異常であるかを判別する信号データ判別部
とを具備してなる信号データ判別装置。 A signal data input unit for inputting signal data to be discriminated, and
A feature map that generates a feature map by extracting feature amounts of the signal data using a learning device that has previously learned based on a plurality of sample data to which teacher signals that are normal or abnormal are attached A generator,
A feature map is generated by using a plurality of feature map data generated based on a plurality of sample data with normal teacher signals and a feature map of the signal data generated by the feature map generation unit. A distance map generation unit that generates a distance map by taking the difference of the feature map between the combination of each sample data and signal data,
A distance value calculation unit for obtaining a distance value between the signal data and the sample data from the distance map;
A signal data discrimination device comprising: a signal data discrimination unit that discriminates whether the signal data is normal or abnormal based on the distance value.
請求項５記載の信号データ判別装置。 The distance value calculation unit is a combination unit distance value calculation process for obtaining a distance value for each combination from the distance map, and signal data for obtaining a distance value in signal data units based on distance values of all combinations of signal data and sample data. The signal data discriminating apparatus according to claim 5, wherein the distance value of the signal data is calculated by unit distance value calculation processing.
請求項６記載の信号データ判別装置。 The signal data discriminating apparatus according to claim 6, wherein the combination unit distance value calculation processing in the distance value calculation unit calculates a distance value from a distance map by a pooling function.
請求項６又は７記載の信号データ判別装置。
8. The signal data discriminating apparatus according to claim 6, wherein the signal data unit distance value calculation processing in the distance value calculation unit calculates an average of all combinations of distance values and uses the average value as the distance value of the signal data. .
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016222489A JP6216024B1 (en) | 2016-11-15 | 2016-11-15 | Trained model generation method and signal data discrimination device |
| CN201780070171.3A CN109983482A (en) | 2016-11-15 | 2017-11-14 | Learning model generation method, learning model generating means, signal data method of discrimination, signal data discriminating gear and signal data discriminating program |
| DE112017005011.1T DE112017005011T5 (en) | 2016-11-15 | 2017-11-14 | Method for generating a taught-in model, device for generating a taught-in model, method for distinguishing signal data, device for distinguishing signal data and program for distinguishing signal data |
| PCT/JP2017/040841 WO2018092747A1 (en) | 2016-11-15 | 2017-11-14 | Learned model generation method, learned model generation device, signal data discrimination method, signal data discrimination device, and signal data discrimination program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016222489A JP6216024B1 (en) | 2016-11-15 | 2016-11-15 | Trained model generation method and signal data discrimination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6216024B1 true JP6216024B1 (en) | 2017-10-18 |
| JP2018081442A JP2018081442A (en) | 2018-05-24 |
Family
ID=60107420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016222489A Active JP6216024B1 (en) | 2016-11-15 | 2016-11-15 | Trained model generation method and signal data discrimination device |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP6216024B1 (en) |
| CN (1) | CN109983482A (en) |
| DE (1) | DE112017005011T5 (en) |
| WO (1) | WO2018092747A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210335B2 (en) | 2018-09-27 | 2021-12-28 | Optim Corporation | System and method for judging situation of object |
| JP7391907B2 (en) | 2021-03-16 | 2023-12-05 | 株式会社東芝 | Anomaly detection device, anomaly detection method, and anomaly detection program |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019229910A1 (en) * | 2018-05-30 | 2019-12-05 | 株式会社ウフル | Immigration inspection system in which face authentication is used, immigration inspection method, program, and authentication device |
| JP7070157B2 (en) * | 2018-06-29 | 2022-05-18 | 富士通株式会社 | Image processing program, image processing device and image processing method |
| JP7046760B2 (en) * | 2018-08-23 | 2022-04-04 | アンリツ株式会社 | Signal analysis device, signal analysis method, and signal analysis program |
| EP3637303B1 (en) * | 2018-10-09 | 2024-02-14 | Naver Corporation | Methods for generating a base of training images, for training a cnn and for detecting a poi change in a pair of inputted poi images using said cnn |
| JP2020112483A (en) * | 2019-01-15 | 2020-07-27 | 春江 姚 | Exterior appearance inspection system, calculation model construction method and calculation model construction program |
| WO2021002465A1 (en) * | 2019-07-03 | 2021-01-07 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Information processing device, robot system, and information processing method |
| WO2021033239A1 (en) * | 2019-08-19 | 2021-02-25 | 富士通株式会社 | Information processing device, information processing program, and information processing method |
| US20230306259A1 (en) | 2020-08-17 | 2023-09-28 | Nippon Telegraph And Telephone Corporation | Information processing apparatus, information processing method and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1145337A (en) * | 1997-07-28 | 1999-02-16 | Matsushita Electric Works Ltd | Coating system |
| JP2001022926A (en) * | 1999-07-06 | 2001-01-26 | Mitsubishi Electric Corp | Method and device for image recognition |
| JP2002259948A (en) * | 2001-03-02 | 2002-09-13 | Tdk Corp | Next process determining method, inspection method and inspection device |
| JP2005156334A (en) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | Pseudo defective image automatic creation device and imaging inspection device |
| JP2011214903A (en) * | 2010-03-31 | 2011-10-27 | Denso It Laboratory Inc | Appearance inspection apparatus, and apparatus, method and program for generating appearance inspection discriminator |
| JP2016118918A (en) * | 2014-12-19 | 2016-06-30 | ヤフー株式会社 | Model generation apparatus, information distribution apparatus, model generation method, information distribution method, model generation program, and information distribution program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9436895B1 (en) * | 2015-04-03 | 2016-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarity of objects represented in images |
-
2016
- 2016-11-15 JP JP2016222489A patent/JP6216024B1/en active Active
-
2017
- 2017-11-14 DE DE112017005011.1T patent/DE112017005011T5/en active Pending
- 2017-11-14 WO PCT/JP2017/040841 patent/WO2018092747A1/en active Application Filing
- 2017-11-14 CN CN201780070171.3A patent/CN109983482A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1145337A (en) * | 1997-07-28 | 1999-02-16 | Matsushita Electric Works Ltd | Coating system |
| JP2001022926A (en) * | 1999-07-06 | 2001-01-26 | Mitsubishi Electric Corp | Method and device for image recognition |
| JP2002259948A (en) * | 2001-03-02 | 2002-09-13 | Tdk Corp | Next process determining method, inspection method and inspection device |
| JP2005156334A (en) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | Pseudo defective image automatic creation device and imaging inspection device |
| JP2011214903A (en) * | 2010-03-31 | 2011-10-27 | Denso It Laboratory Inc | Appearance inspection apparatus, and apparatus, method and program for generating appearance inspection discriminator |
| JP2016118918A (en) * | 2014-12-19 | 2016-06-30 | ヤフー株式会社 | Model generation apparatus, information distribution apparatus, model generation method, information distribution method, model generation program, and information distribution program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210335B2 (en) | 2018-09-27 | 2021-12-28 | Optim Corporation | System and method for judging situation of object |
| JP7391907B2 (en) | 2021-03-16 | 2023-12-05 | 株式会社東芝 | Anomaly detection device, anomaly detection method, and anomaly detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109983482A (en) | 2019-07-05 |
| DE112017005011T5 (en) | 2019-07-04 |
| JP2018081442A (en) | 2018-05-24 |
| WO2018092747A1 (en) | 2018-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6216024B1 (en) | Trained model generation method and signal data discrimination device | |
| US11417148B2 (en) | Human face image classification method and apparatus, and server | |
| CN107358223B (en) | Face detection and face alignment method based on yolo | |
| WO2018028546A1 (en) | Key point positioning method, terminal, and computer storage medium | |
| CN111401324A (en) | Image quality evaluation method, device, storage medium and electronic equipment | |
| KR20040008792A (en) | Method and system for face detecting using classifier learned decision boundary with face/near-face images | |
| WO2012132418A1 (en) | Characteristic estimation device | |
| JP2018026122A5 (en) | ||
| US11403560B2 (en) | Training apparatus, image recognition apparatus, training method, and program | |
| CN111415339B (en) | Image defect detection method for complex texture industrial product | |
| CN112150450A (en) | Image tampering detection method and device based on dual-channel U-Net model | |
| CN111339832A (en) | Method and device for detecting face synthetic image | |
| CN110059607B (en) | Living body multiplex detection method, living body multiplex detection device, computer equipment and storage medium | |
| JP2020184331A (en) | Liveness detection method and apparatus, face authentication method and apparatus | |
| CN110276252B (en) | Anti-expression-interference face recognition method based on generative countermeasure network | |
| Silva et al. | POEM-based facial expression recognition, a new approach | |
| TWI425429B (en) | Image texture extraction method, image identification method and image identification apparatus | |
| JP2009098901A (en) | Method, device and program for detecting facial expression | |
| CN113033587A (en) | Image recognition result evaluation method and device, electronic equipment and storage medium | |
| CN115457620A (en) | User expression recognition method and device, computer equipment and storage medium | |
| JP2021105758A (en) | Article inspection device | |
| CN113837174A (en) | Target object identification method and device and computer equipment | |
| RU2774624C1 (en) | Method and system for determining synthetic changes of faces in video | |
| CN117474915B (en) | Abnormality detection method, electronic equipment and storage medium | |
| Nallapati et al. | Identification of Deepfakes using Strategic Models and Architectures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170921 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6216024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |