WO2023053216A1 - 機械学習プログラム、機械学習方法および機械学習装置 - Google Patents

機械学習プログラム、機械学習方法および機械学習装置 Download PDF

Info

Publication number
WO2023053216A1
WO2023053216A1 PCT/JP2021/035678 JP2021035678W WO2023053216A1 WO 2023053216 A1 WO2023053216 A1 WO 2023053216A1 JP 2021035678 W JP2021035678 W JP 2021035678W WO 2023053216 A1 WO2023053216 A1 WO 2023053216A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
machine learning
learning model
abnormal
unit
Prior art date
Application number
PCT/JP2021/035678
Other languages
English (en)
French (fr)
Inventor
佳寛 大川
泰斗 横田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2023550801A priority Critical patent/JPWO2023053216A1/ja
Priority to PCT/JP2021/035678 priority patent/WO2023053216A1/ja
Publication of WO2023053216A1 publication Critical patent/WO2023053216A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to machine learning technology using training data.
  • Machine learning models when judging and classifying data. Since machine learning models make judgments and classifications based on training data used for machine learning, if data trends change during operation, the performance of machine learning models will deteriorate.
  • Figs. 18 and 19 are diagrams for explaining a conventional technique for automatically assigning correct labels to data.
  • a device that implements the prior art is referred to as a "prior art device.”
  • the vertical axis in FIG. 18 is the axis corresponding to the density of data in the feature space.
  • the horizontal axis is an axis corresponding to feature amounts (coordinates in feature space).
  • Line 1 shows the relationship between coordinates in feature space and the density of data corresponding to the coordinates.
  • Conventional devices map the data before the trend changes to the feature space and calculate the density of each mapped data.
  • the conventional apparatus performs clustering, and records the number of clusters and the center coordinates of the regions where the density is equal to or greater than the threshold value Dth in each cluster.
  • data in the feature space are classified into cluster A and cluster B.
  • cluster A the center coordinates of the region where the density is equal to or greater than the threshold value D th are defined as XA .
  • cluster B let X B be the center coordinates of the region where the density is equal to or greater than the threshold value D th .
  • the conventional apparatus records the number of clusters "2", the central coordinates X A of cluster A, and the central coordinates X B of cluster B.
  • the processing after starting operation will be described with reference to FIG.
  • the vertical axis in FIG. 19 is the axis corresponding to the density of data in the feature space.
  • the horizontal axis is an axis corresponding to feature amounts (coordinates in feature space).
  • Line 2 shows the relationship between the feature space coordinates and the density of the data corresponding to the coordinates.
  • the number of clusters before starting operation is "2".
  • the conventional apparatus gradually lowers the density threshold and sets the threshold to D, thereby adjusting the number of clusters of data used in operation (data mapped to the feature space) to "2".
  • the conventional device extracts (clusters) the data contained in the area 2-1 and the data contained in the area 2-2.
  • Conventional devices assign correct labels to data by performing matching based on the total distance moved between the center coordinates stored before operation and the center coordinates of the cluster after operation starts. For example, such matching associates clusters in region 2-1 with cluster A and clusters in region 2-2 with cluster B. FIG. In this case, the conventional device assigns the correct label "class A” to each data in the area 2-1, and assigns the correct label "class B" to each data in the area 2-2.
  • the conventional technology described above has the problem that if the number of data belonging to a certain class is small, a correct label cannot be automatically assigned.
  • FIG. 20 is a diagram for explaining problems of the conventional technology.
  • the vertical axis in FIG. 20 is the axis corresponding to the density of data in the feature space.
  • the horizontal axis is an axis corresponding to feature amounts (coordinates in feature space).
  • Line 3 shows the relationship between the feature space coordinates and the density of the data corresponding to the coordinates.
  • the data is classified into either the "normal data” class or the "abnormal data” class.
  • the object of the present invention is to provide a machine learning program, a machine learning method, and a machine learning apparatus capable of automatically assigning a correct label even when the number of data belonging to a certain class is small. do.
  • the machine learning program inputs multiple data into the machine learning model and causes the computer to execute the process of obtaining multiple prediction results for the multiple data.
  • the machine learning program causes the computer to execute a process of generating one or a plurality of data based on first data, the prediction result of which indicates a first group, among the plurality of data.
  • the machine learning program clusters the plurality of data and the one or more data based on the plurality of feature amounts of each of the plurality of data and the one or more data obtained based on the parameters of the machine learning model.
  • the machine learning program causes the computer to execute a process of updating the parameters of the machine learning model based on training data including a plurality of data and one or a plurality of data with clustering results as correct labels.
  • FIG. 1 is a diagram for explaining an approach and problems in generating pseudo-abnormal data.
  • FIG. 2 is a diagram for explaining the process of generating pseudo-abnormal data.
  • FIG. 3 is a functional block diagram showing the configuration of the machine learning device according to this embodiment.
  • FIG. 4 is a diagram showing an example of the data structure of training data.
  • FIG. 5 is a diagram (1) for explaining the processing of the label assigning unit.
  • FIG. 6 is a diagram (2) for explaining the processing of the labeling unit.
  • FIG. 7 is a diagram (3) for explaining the processing of the label assigning unit.
  • FIG. 8 is a diagram (4) for explaining the processing of the labeling unit.
  • FIG. 9 is a diagram (5) for explaining the processing of the label assigning unit.
  • FIG. 10 is a diagram for explaining deterioration determination by the deterioration detection unit.
  • FIG. 11 is a flow chart showing the processing procedure of the machine learning device according to this embodiment.
  • FIG. 12 is a diagram showing changes in data trends due to changes in the external environment.
  • FIG. 13 is a diagram (1) showing verification results.
  • FIG. 14 is a diagram showing an example of changes in camera AUC scores.
  • FIG. 15 is a diagram showing an example of data generated by different generation methods.
  • FIG. 16 is a diagram (2) showing verification results.
  • FIG. 17 is a diagram illustrating an example of a hardware configuration of a computer that implements functions similar to those of the machine learning device of the embodiment;
  • FIG. 18 is a diagram (1) for explaining a conventional technique for automatically assigning a correct label to data.
  • FIG. 19 is a diagram (2) for explaining a conventional technique for automatically assigning a correct label to data.
  • FIG. 20 is a diagram for explaining the problem of the conventional technology.
  • the machine learning device uses a machine learning model that classifies input data into either an abnormal class or a normal class.
  • the data input to the machine learning model is image data or the like.
  • the machine learning model is a DNN (Deep Neural Network) or the like.
  • Data classified into the normal class are referred to as "normal data”.
  • Data classified into the abnormal class are referred to as "abnormal data”.
  • the machine learning device generates pseudo-abnormal data using the abnormal data and normal data classified during operation, and performs clustering including the pseudo-abnormal data, thereby automatically assigning correct labels to the data.
  • pseudo-abnormal data is referred to as "pseudo-abnormal data”.
  • Fig. 1 is a diagram for explaining the approach and issues in generating pseudo-abnormal data.
  • generating pseudo-abnormal data it may not be possible to automatically assign a correct label depending on the generation method.
  • the vertical axes of graphs G1, G2, and G3 are axes corresponding to the density of data in the data feature space.
  • the horizontal axis is an axis corresponding to feature amounts (coordinates in feature space).
  • data is input to a machine learning model, and a vector output from a layer that is a predetermined number before the output layer of the machine learning model becomes a feature amount.
  • the coordinates of the data on the feature space are determined according to the feature amount.
  • distribution dis1a indicates “distribution of normal data”. Illustration of normal data in the feature space is omitted.
  • the distribution dis1b indicates the “distribution of true abnormal data”. For example, let abnormal data 10, 11, 12, 13, and 14 be abnormal data in the feature space. If the number of abnormal data is small, the distribution of abnormal data will not be like the distribution dis1b, and as described with reference to FIG. 20, correct labels cannot be assigned automatically.
  • the distribution of the abnormal data is shown in the graph
  • the distributions dis2a, dis2b, dis2c, dis2d, and dis2e shown in G2 are obtained. Since the distributions dis2a, dis2b, dis2c, dis2d, and dis2e are different from the true abnormal data distribution dis1b, the clustering fails, and the correct label cannot be automatically assigned to the data.
  • the machine learning device generates pseudo-abnormal data such that the distribution of the abnormal data approaches the distribution dis1b of the true abnormal data, as shown in the graph G3 of FIG.
  • the machine learning device executes the processing described later with reference to FIG. 2 to generate pseudo-abnormal data, so that the distribution of the abnormal data becomes the distribution dis3.
  • FIG. 2 is a diagram for explaining the process of generating pseudo-abnormal data.
  • the machine learning device performs processing in order of steps S1 and S2 when generating pseudo-abnormal data.
  • the machine learning device maps a plurality of data included in the operational data to the feature space F.
  • a machine learning device inputs data to a machine learning model, and uses a feature quantity output from a layer that is a predetermined number before the output layer of the machine learning model as a value obtained by mapping the data.
  • the coordinates of the feature space F are determined by the feature amount.
  • Abnormal data mapped to the feature space F are assumed to be abnormal data 20 and 21 . Let the normal data mapped in the feature space F be normal data 31 , 32 , 33 , 34 , 35 , 36 , 37 , 38 , and 39 .
  • the processing of the machine learning device will be described using abnormal data 20, 21 and normal data 30-39.
  • the machine learning device selects normal data similar to abnormal data in feature space F.
  • the normal data whose distance from the abnormal data is less than the threshold is defined as normal data similar to the abnormal data.
  • the machine learning device compares the abnormal data 20 with the normal data 30 to 39 and selects normal data 30, 31, 32, 34 similar to the abnormal data 20.
  • the machine learning device compares the abnormal data 21 with the normal data 30 to 39 and selects normal data 30, 32, 33, 35 similar to the abnormal data 21.
  • step S2 executed by the machine learning device.
  • the machine learning device uses a uniform random number as the ratio ⁇ for each of the normal data selected in step S1, synthesizes the abnormal data and the normal data by linear combination, and generates pseudo-abnormal data. For example, the machine learning device generates pseudo-abnormality data using ⁇ -blending or the like.
  • the machine learning device generates pseudo-abnormal data 51 corresponding to the coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 20 and the normal data 30 by "1- ⁇ : ⁇ ".
  • the machine learning device generates pseudo-abnormal data 52 corresponding to coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 20 and the normal data 34 by "1- ⁇ : ⁇ ”.
  • the machine learning device generates pseudo-abnormal data 53 corresponding to coordinates (feature amounts) obtained by dividing a line segment connecting the abnormal data 20 and the normal data 32 by "1- ⁇ : ⁇ ”.
  • the machine learning device generates pseudo-abnormal data 54 corresponding to the coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 20 and the normal data 31 by "1- ⁇ : ⁇ ".
  • the machine learning device generates pseudo-abnormal data 55 corresponding to the coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 21 and the normal data 30 by "1- ⁇ : ⁇ ".
  • the machine learning device generates pseudo-abnormal data 56 corresponding to coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 21 and the normal data 32 by "1- ⁇ : ⁇ ”.
  • the machine learning device generates pseudo-abnormal data 57 corresponding to coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 21 and the normal data 35 by "1- ⁇ : ⁇ ”.
  • the machine learning device generates pseudo-abnormal data 58 corresponding to coordinates (feature amounts) obtained by dividing the line segment connecting the abnormal data 21 and the normal data 33 by "1- ⁇ : ⁇ ".
  • the distribution of the abnormal data including the pseudo-abnormal data becomes the distribution dis3 described with reference to FIG. Therefore, when the machine learning device performs clustering based on each feature amount of normal data, abnormal data, and pseudo-abnormal data, it can associate the result of clustering based on the feature amount of training data. Therefore, even if the number of data (for example, abnormal data) belonging to a certain class is small, a correct label can be automatically assigned.
  • FIG. 3 is a functional block diagram showing the configuration of the machine learning device according to this embodiment.
  • this machine learning device 100 has a communication section 110 , an input section 120 , a display section 130 , a storage section 140 and a control section 150 .
  • the communication unit 110 performs data communication with an external device via a network.
  • the communication unit 110 receives training data 141, operation data 143, and the like from an external device.
  • the machine learning device 100 may receive the training data 141 and the operational data 143 from the input unit 120, which will be described later.
  • the input unit 120 is an interface for inputting data.
  • Input unit 120 receives data input via an input device such as a mouse and a keyboard.
  • the display unit 130 is an interface for outputting data.
  • display unit 130 outputs data to an output device such as a display.
  • the storage unit 140 has training data 141 , machine learning models 142 , operational data 143 , retraining data 144 and cluster-related data 145 .
  • the storage unit 140 is an example of a storage device such as a memory.
  • the training data 141 is used when executing machine learning for the machine learning model 142.
  • FIG. 4 is a diagram showing an example of the data structure of training data. As shown in FIG. 4, the training data associates item numbers, data, and correct labels.
  • the item number is a number that identifies the record of the training data 141 .
  • the data is image data.
  • a correct label is a label indicating whether the data is normal or abnormal.
  • the correct label for the data with the item number "1” is “normal”, so the data with the item number "1” is normal data. Since the correct label of the data with the item number "3" is "abnormal”, the data with the item number "3" is abnormal data.
  • the machine learning model 142 is a DNN or the like, and has an input layer, a hidden layer, and an output layer.
  • the machine learning model 142 is subjected to machine learning based on error backpropagation or the like.
  • the operational data 143 is a data set containing multiple data used during operation.
  • the retraining data 144 is training data used when performing machine learning of the machine learning model 142 again.
  • the cluster-related data 145 has the number of clusters when each data included in the training data 141 is mapped onto the feature space, and the central coordinates of the regions whose density is equal to or greater than the threshold in each cluster.
  • the cluster-related data 145 also has center coordinates of each cluster based on the clustering result of the labeling unit 156, which will be described later.
  • the control unit 150 has an acquisition unit 151 , a machine learning unit 152 , a preprocessing unit 153 , an inference unit 154 , a generation unit 155 , a labeling unit 156 and a deterioration detection unit 157 .
  • the acquisition unit 151 acquires the training data 141 from the external device or the input unit 120 and stores the training data 141 in the storage unit 140 .
  • Acquisition unit 151 acquires operation data 143 from an external device or input unit 120 and stores operation data 143 in storage unit 140 .
  • the machine learning unit 152 uses the training data 141 to perform machine learning for the machine learning model 142 by error backpropagation.
  • the machine learning unit 152 performs machine learning so that when each data of the training data 141 is input to the input layer of the machine learning model 142, the output result output from the output layer approaches the correct label of the input data. Train model 142 .
  • the machine learning unit 152 verifies the machine learning model 142 using the verification data.
  • the pre-processing unit 153 maps the data of the training data 141 to the feature space and performs clustering, so that the number of clusters of the data before the start of operation and the center of the region where the density is equal to or higher than the threshold in the cluster Identify coordinates.
  • the preprocessing unit 153 records the number of clusters and the center coordinates of each cluster in the cluster-related data 145 .
  • the preprocessing unit 153 maps each data included in the training data 141 to the feature space. For example, the preprocessing unit 153 inputs each data of the training data 141 to the machine learning model 142, and maps the feature amount output from the layer a predetermined number before the output layer of the machine learning model 142 to the data. value. This feature quantity is a value obtained based on the parameters of the trained machine learning model 142 . The coordinates of the feature space F are determined by the feature amount.
  • the preprocessing unit 153 calculates the density of data in the feature space using Equation (1).
  • N indicates the total number of data
  • ⁇ indicates standard deviation
  • x is the expected value (average value) of the feature amount of the data
  • x j indicates the feature amount of the j-th data.
  • the preprocessing unit 153 calculates the Gaussian density as the density of the data has been described, but it is not limited to this, and eccentricity, KNN distance (K-Nearest Neighbor Algorithm), etc. Density may be calculated.
  • the preprocessing unit 153 generates a graph in which the vertical axis is the density and the horizontal axis is the feature amount.
  • a graph generated by the preprocessing unit 153 corresponds to the graph described with reference to FIG. 18 .
  • the pre-processing unit 153 performs clustering, and records the number of clusters and the center coordinates of regions where the density is equal to or greater than the threshold value Dth in each cluster.
  • cluster A is a cluster to which normal data belongs.
  • Cluster B is a cluster to which abnormal data belongs.
  • the center coordinates of the region where the density is equal to or greater than the threshold value D th are defined as XA .
  • X B be the center coordinates of the region where the density is equal to or greater than the threshold value D th .
  • the preprocessing unit 153 records the number of clusters “2”, the center coordinates X A of cluster A, and the center coordinates X B of cluster B in the cluster related data 145 .
  • the preprocessing unit 153 specifies the number of clusters and the central coordinates of each cluster has been described, but the number of clusters and the central coordinates of each cluster may be obtained in advance from an external device.
  • the inference unit 154 obtains data from the operational data 143 and inputs the obtained data to the machine learning model 142 to infer whether the input data is normal data or abnormal data.
  • the inference unit 154 repeatedly executes the above process for each data included in the operational data 143 .
  • the inference unit 154 sets an estimation result as to whether the data is normal data or abnormal data for each data of the operation data 143 , and outputs the result to the generation unit 155 .
  • the inference unit 154 may output the inference result to the display unit 130 to display the inference result.
  • the generating unit 155 generates pseudo-abnormal data by executing the process described in FIG. An example of processing of the generation unit 155 will be described below.
  • the generation unit 155 maps a plurality of data included in the operational data 143 to the feature space F. For example, the generation unit 155 inputs data to the machine learning model 142, and sets the feature amount output from the layer a predetermined number before the output layer of the machine learning model 142 as the value obtained by mapping the data. This feature quantity is a value obtained based on the parameters of the trained machine learning model 142 .
  • the abnormal data and normal data mapped to the feature space are abnormal data 20 and 21 and normal data 30 to 39 shown in FIG.
  • the generation unit 155 identifies whether the data is abnormal data or normal data based on the inference result of the inference unit 154 .
  • the generation unit 155 selects normal data similar to abnormal data in the feature space F.
  • the normal data whose distance from the abnormal data is less than the threshold is defined as normal data similar to the abnormal data.
  • generation unit 155 selects normal data 30, 31, 32, and 34 as normal data similar to abnormal data 20 in FIG.
  • the generator 155 selects normal data 30 , 32 , 33 , and 35 as normal data similar to the abnormal data 21 .
  • the generation unit 155 generates pseudo-abnormal data by synthesizing the abnormal data and the normal data by linearly combining the ratio ⁇ of each of the normal data selected by the above process as a uniform random number. For example, the generator 155 generates pseudo-abnormal data using ⁇ -blending or the like. The generation unit 155 generates the pseudo-abnormality data 51 to 58 by executing the processing described with reference to FIG.
  • the generation unit 155 outputs the feature amount of abnormal data, the feature amount of normal data, and the feature amount of pseudo-abnormal data to the labeling unit 156 .
  • the label assigning unit 156 performs clustering based on the feature amount of abnormal data, the feature amount of normal data, and the feature amount of pseudo-abnormal data, and assigns a correct label to the data according to the clustering result.
  • the label assigning unit 156 registers each piece of data to which the correct label is assigned in the storage unit 140 as the retraining data 144 . An example of the processing of the labeling unit 156 will be described below.
  • the label assigning unit 156 also assigns correct labels to the pseudo-abnormal data generated by the ⁇ blending, and registers them in the retraining data 144 .
  • FIG. 5 is a diagram (1) for explaining the processing of the label assigning unit.
  • the labeling unit 156 generates a graph G10 in which the vertical axis is the density and the horizontal axis is the feature amount based on the feature amount of the abnormal data, the feature amount of the normal data, and the feature amount of the pseudo-abnormal data (step S10).
  • the labeling unit 156 calculates the density of data (normal data, abnormal data, and pseudo-abnormal data) based on Equation (1).
  • the labeling unit 156 decreases the threshold value corresponding to the density by a predetermined value, and searches for the minimum threshold value that is the same as the number of clusters recorded in advance in the cluster-related data 145 (step S11).
  • the number of clusters recorded in the cluster-related data 145 in advance is assumed to be "2".
  • the labeling unit 156 performs persistent homology transformation (PH transformation) on the feature amount of the data that is equal to or greater than the threshold, and refers to the 0-dimensional connected component.
  • the labeling unit 156 calculates and identifies clusters depending on whether or not the number of bars having a radius equal to or greater than a predetermined threshold matches a preset number of clusters (step S12).
  • the labeling unit 156 reduces the threshold by a predetermined value and repeats the process (step S13).
  • the labeling unit 156 performs the processing of lowering the density threshold to extract data having a density equal to or higher than the threshold and the processing of calculating the number of clusters by PH conversion processing on the extracted data. Repeat until the numbers match.
  • the labeling unit 156 specifies the central coordinates C1 and C2 of the data area having a density equal to or higher than the threshold (density) at that time, and records them in the cluster-related data 145 .
  • the labeling unit 156 records the center coordinates in the cluster-related data 145 each time the clustering process is performed.
  • the PH conversion performed by the labeling unit 156 is, for example, the PH conversion described in Patent Document 1 (International Publication No. 2021/079442).
  • the label assigning unit 156 assigns a correct label to each data included in the operational data 143 based on the result of the above clustering process.
  • the labeling unit 156 generates the retraining data 144 by performing correct labeling based on the cluster to which each of the data whose density determined by the clustering process is equal to or higher than the threshold value.
  • FIG. 6 is a diagram (2) for explaining the processing of the labeling unit.
  • the description regarding the graph G10 in FIG. 6 is the same as the description regarding the graph G10 in FIG.
  • the labeling unit 156 identifies the data exceeding the minimum threshold when the number of clusters is 2, and the two central coordinates C1 and C2.
  • the labeling unit 156 determines the cluster to which each of the two center coordinates belongs based on the history of the center coordinates recorded in the cluster-related data 145 and the matching process.
  • FIG. 7 is a diagram (3) for explaining the processing of the labeling unit. An example of matching processing will be described with reference to FIG.
  • the labeling unit 156 maps the central coordinates of each cluster identified up to the present into the feature space, estimates the traveling direction, and calculates the currently extracted 2 clusters. Determine a cluster for each of the two central coordinates (C1, C2).
  • FIG. 7(a) when the center coordinates are fluctuating and two new points are newly matched, matching at close points results in FIG. 7(b), which is the direction of change. It is an unnatural movement from It is more natural to fluctuate as shown in FIG. 7(c).
  • the labeling unit 156 introduces a correction distance. For example, when moving in the direction of travel, a mechanism is introduced to determine that the point is closer. identify.
  • the label assigning unit 156 selects the closest point using the value obtained by multiplying the distance between the two points with c as the value of the inner product and (tan(c)+1)/2 as the weight as the correction distance.
  • the corrected distance is obtained by multiplying the distance between the center coordinates Cb1 and C1 by a weight ((tan(c)+1)/2) based on the inner product c of the vector v1 and the vector v2.
  • the labeling unit 156 calculates the correction distance between the center coordinates, and repeats the process of matching the center coordinates with a close correction distance.
  • Cb3-1 be the central coordinates of cluster A identified by the clustering result of the preprocessing unit 153
  • Cb3-2 be the central coordinates of cluster B.
  • the central coordinates Cb3-1 and Cb2-1 are matched, the central coordinates Cb2-1 and Cb1-1 are matched, and the central coordinates Cb1-1 and C1 are matched by the labeling unit 156, the central coordinates C1 is associated with cluster A.
  • the class corresponding to cluster A is called the "normal class".
  • the central coordinates C2 is associated with cluster B;
  • the class corresponding to cluster B is defined as an "abnormal class".
  • cluster A normal class
  • a cluster B abnormal class
  • the labeling unit 156 sets the correct label “normal” to data included in the operational data 143 that has a density equal to or greater than the threshold value and belongs to the same cluster as the central coordinate C1.
  • the labeling unit 156 sets the correct label “abnormal” to the data included in the operational data 143 whose density is equal to or greater than the threshold and which belongs to the same cluster as the central coordinate C2.
  • FIG. 8 is a diagram (4) for explaining the processing of the labeling unit.
  • the labeling unit 156 measures the distance to the center coordinate C1 and the distance to C2 of each cluster for each data not extracted, and the second closest distance is the maximum distance between the centers of the clusters. If it is larger, it is determined as data belonging to the closest cluster.
  • the labeling unit 156 extracts the data of the area P outside the area X, out of the areas other than the area X (cluster A) and the area Y (cluster B) whose clusters are determined by the above method. is determined as cluster A.
  • the labeling unit 156 determines that the data in the area Q outside the area Y is cluster B.
  • the labeling unit 156 determines that the data of the region Z (in the middle of a plurality of clusters) where the second closest distance is smaller than the maximum value of the distance between the centers of the clusters is mixed with data of a plurality of nearby clusters. It is determined that In this case, the label assigning unit 156 measures and assigns the probability of each cluster with respect to each data. For example, the labeling unit 156 calculates the probability of belonging to each cluster for each piece of data belonging to the region Z using the k-nearest neighbor method, the uniform probability method, the distribution ratio holding method, etc. probability, abnormal class probability, other class probability) are generated and given.
  • FIG. 9 shows correct label information that the label assigning unit 156 assigns to each data by estimating by the above-described method.
  • FIG. 9 is a diagram (5) for explaining the processing of the label assigning unit.
  • the estimated correct label is assigned with the probability of belonging to each cluster (probability of belonging to normal class, probability of belonging to abnormal class, probability of belonging to other class).
  • an estimated label (correct label) [1, 0, 0] is given to each data of the region X and the region P, and an estimated label [ 0, 1, 0] are given, and each input data in the region Z is given an estimated label [a, b, c].
  • a, b, and c are probabilities calculated by a method such as the k-nearest neighbor method.
  • the labeling unit 156 stores the retraining data 144 in which each data and the estimated label are associated in the storage unit 140 .
  • the deterioration detection unit 157 detects accuracy deterioration of the machine learning model 142 .
  • the deterioration detection unit 157 detects accuracy deterioration of the machine learning model 142 by comparing the determination result of the machine learning model 142 and the estimation result (retraining data 144) generated by the labeling unit 156.
  • FIG. 10 is a diagram for explaining deterioration determination by the deterioration detection unit.
  • the deterioration detection unit 157 determines the determination result [1, 0, 0] based on the output result (normal class) when data (operation data 143 data) is input to the machine learning model 142. Generate.
  • the deterioration detection unit 157 obtains the estimation result [1, 0, 0] when the data belongs to the region X or the region P, and the estimation result [0 , 1, 0] or an estimation result [a, b, c] when belonging to the region Z is acquired.
  • the deterioration detection unit 157 acquires the determination result and the estimation result for each input data, and performs deterioration determination by comparing these. For example, the deterioration detection unit 157 uses the sum (inner product) of the component products of the vector representation of the determination result by the machine learning model 142 for the probability vector of each data (each point) indicated by each estimation result as the score of that point. , the sum of the scores divided by the number of data is compared with a threshold value to determine deterioration.
  • the deterioration detection unit 157 may detect accuracy deterioration of the machine learning model 142 by executing the following processing.
  • the deterioration detection unit 157 refers to the cluster-related data 145, and compares the central coordinates of the cluster A identified by the clustering processing of the training data 141 and the central coordinates of the cluster A identified by the clustering processing of the current operational data 143. The reciprocal of the distance is calculated as the score.
  • the deterioration detection unit 157 determines that the accuracy of the machine learning model 142 has deteriorated when the score is less than the threshold.
  • the deterioration detection unit 157 outputs a machine learning re-execution request to the machine learning unit 152 when the accuracy deterioration of the machine learning model 142 is detected.
  • the machine learning unit 152 receives a machine learning re-execution request from the deterioration detection unit 157 , the machine learning unit 152 uses the retraining data 144 to execute the machine learning of the machine learning model 142 again.
  • FIG. 11 is a flow chart showing the processing procedure of the machine learning device according to this embodiment.
  • the machine learning unit 152 of the machine learning device 100 performs machine learning of the machine learning model 142 using the training data 141 (step S101).
  • the preprocessing unit 153 of the machine learning device 100 identifies the number of clusters and the center coordinates of each cluster based on the training data 141, and records them in the cluster related data 145 (step S102).
  • the acquisition unit 151 of the machine learning device 100 acquires the operational data 143 and stores it in the storage unit 140 (step S103).
  • the inference unit 154 of the machine learning device 100 inputs the data of the operational data 143 to the machine learning model 142 and estimates the class of the data (step S104).
  • the generation unit 155 of the machine learning device 100 generates pseudo-abnormality data based on the feature amount of the normal data and the feature amount of the abnormal data (step S105).
  • the labeling unit 156 of the machine learning device 100 performs clustering processing based on each feature amount of normal data, abnormal data, and pseudo-abnormal data (step S106). Based on the result of the clustering process, the label assigning unit 156 assigns a correct label to the data to generate the retraining data 144 (step S107).
  • the deterioration detection unit 157 of the machine learning device 100 calculates a score regarding the performance of the machine learning model 142 (step S108). When the score is not less than the threshold (step S109, No), the machine learning device 100 proceeds to step S103. On the other hand, when the score is less than the threshold (step S109, Yes), the machine learning device 100 proceeds to step S110.
  • the machine learning unit 152 re-executes machine learning of the machine learning model 142 based on the retraining data 144 (step S110), and proceeds to step S103.
  • the machine learning device 100 specifies feature amounts of normal data and abnormal data by inputting data of the operational data 143 into the trained machine learning model 142 .
  • the machine learning device 100 generates pseudo-abnormal data based on the feature amounts of normal data and abnormal data, and performs clustering based on the feature amounts of normal data, abnormal data, and pseudo-abnormal data.
  • the machine learning device 100 generates retraining data 144 by assigning a correct label based on the clustering result to each data of the operational data and the pseudo-abnormal data, and based on the retraining data 144, the machine learning model. Update parameters. As described above, by generating pseudo-abnormal data based on the feature values of normal data and abnormal data, it is possible to automatically assign a correct label when the number of data belonging to a certain class is small. can.
  • the machine learning device 100 can automatically generate the retraining data 144 by automatically assigning the correct label, and use the retraining data 144 to perform the machine learning of the machine learning model 142 again. It can be executed to suppress the accuracy deterioration of the machine learning model 142 .
  • the machine learning device 100 selects normal data similar to abnormal data in the feature space, and generates pseudo-abnormal data between the abnormal data and the selected normal data. As a result, the distribution of the data in the feature space can be made a distribution to which correct labels can be automatically assigned.
  • the machine learning device 100 described above generates pseudo-abnormal data based on the feature amounts of normal data and abnormal data in the feature space
  • the present invention is not limited to this.
  • the generating unit 155 of the machine learning device 100 may duplicate abnormal data among the data included in the operational data 143, and add noise such as Gaussian noise to the duplicated abnormal data to generate abnormal data.
  • noise data abnormal data to which noise is added is referred to as noise data.
  • the label assigning unit 156 of the machine learning device 100 performs clustering processing based on the feature amount of the abnormal data, the feature amount of the noise data, and the feature amount of the normal data, and assigns a correct label to the data according to the clustering result. do.
  • the feature amount of noise data is a feature amount output from a layer a predetermined number before the output layer of the machine learning model 142 when the noise data is input to the trained machine learning model 142 .
  • the machine learning device 100 described above generates pseudo-abnormal data when there is a difference between the number of abnormal data and the number of normal data in the operational data 143, but the present invention is not limited to this. Even if there is a difference between the number of abnormal data and the number of normal data in the training data 141, the generation unit 155 of the machine learning device 100 generates the feature amount of the abnormal data in the training data 141 and the feature amount of the normal data. may be used to generate pseudo-anomaly data and use it for machine learning of the machine learning model 142 .
  • the machine learning device 100 As a verification condition, the machine learning model is DNN, and the machine learning model 142 is pre-trained to classify data as abnormal data or normal data.
  • an anomaly detection AI Artificial Intelligence
  • FIG. 12 is a diagram showing changes in data trends due to changes in the external environment.
  • Im1-0 to Im1-8 are normal data. Assume that the abnormal data are Im2-0 to Im2-8.
  • Normal data Im1-0 is normal data (original image data) of the 0th batch.
  • Abnormal data Im2-0 is abnormal data (original image data) of the 0th batch.
  • Normal data Im1-1 is the first batch of normal data (image with a brightness of 90%).
  • Abnormal data Im2-1 is abnormal data of the first batch (image data with a brightness of 90%).
  • Normal data Im1-2 is the second batch of normal data (80% brightness image).
  • Abnormal data Im2-2 is the second batch of abnormal data (image data with a brightness of 80%).
  • the normal data Im1-3 are the normal data of the third batch (image with a brightness of 70%).
  • Abnormal data Im2-3 is the third batch of abnormal data (image data with a brightness of 70%).
  • Normal data Im1-4 are normal data of the fourth batch (images with a brightness of 60%).
  • Abnormal data Im2-4 is abnormal data of the fourth batch (image data with a brightness of 60%).
  • the normal data Im1-5 is the fifth batch of normal data (image with a brightness of 50%).
  • the abnormal data Im2-5 is the fifth batch of abnormal data (image data with a brightness of 50%).
  • the normal data Im1-6 is the sixth batch of normal data (image with a brightness of 40%).
  • Abnormal data Im2-6 is abnormal data of the sixth batch (image data with a brightness of 40%).
  • Normal data Im1-7 is normal data of the 7th batch (image with a brightness of 30%).
  • Abnormal data Im2-7 is abnormal data of the seventh batch (image data with a brightness of 30%).
  • Normal data Im1-8 is normal data (image with 20% brightness) of the eighth batch.
  • Abnormal data Im2-8 is the eighth batch of abnormal data (image data with a brightness of 20%).
  • AUC rea Under Curve
  • An anomaly detection AI that applies the machine learning device 100 of the present embodiment to an anomaly detection data set (operational data) of seven cameras (camera IDs 1 to 7) in the factory, and an anomaly detection AI that does not perform retraining.
  • the AUC score with was the verification result shown in FIG. 13 .
  • FIG. 13 is a diagram (1) showing the verification results.
  • the verification results in FIG. 13 show the AUC scores in the final batch (8th batch).
  • Baseline represents the anomaly detection AI without retraining.
  • the proposed method shows anomaly detection AI to which the machine learning device 100 of this embodiment is applied. As shown in FIG. 13, the AUC scores of the proposed method exceed the baseline AUC scores for all cameras, and the detection performance is maintained even in dark conditions (data trends change).
  • FIG. 14 is a diagram showing an example of changes in camera AUC scores.
  • a graph G20 in FIG. 14 represents the transition of the AUC score for camera ID "3".
  • the vertical axis of the graph G20 is the axis corresponding to the AUC score, and the horizontal axis is the axis corresponding to the batch (batch number).
  • Line segment 20a shows the transition of the AUC score in each batch of baseline.
  • a line segment 20b indicates the transition of the AUC score in each batch of the proposed method.
  • Graph G21 in FIG. 14 represents the transition of the AUC score for camera ID "6".
  • the vertical axis of the graph G21 is the axis corresponding to the AUC score, and the horizontal axis is the axis corresponding to the batch (batch number).
  • a line segment 21a indicates the transition of the AUC score in each batch of baseline.
  • a line segment 21b indicates the transition of the AUC score in each batch of the proposed method.
  • the anomaly detection AI to which the machine learning device 100 of this embodiment is applied maintains its detection performance even in dark conditions.
  • the data is classified into abnormal data or normal data, and the number of abnormal data is small compared to the number of normal data.
  • FIG. 15 is a diagram showing an example of data generated by different generation methods.
  • Data D1-1 is normal data.
  • Data D1-2 is abnormal data.
  • Data D(1) is data generated by the generation method (1).
  • Data D(2) is data generated by the generation method (2).
  • Data D(3) is data generated by the generation method (3).
  • Data D(4) is data generated by the generation method (4).
  • Data D(5) is data generated by the generation method (5).
  • FIG. 16 is a diagram (2) showing the verification results.
  • the verification results in FIG. 16 show average AUC scores for all batches by camera ID when the generation methods (1) to (5) are used.
  • generation method (5) maintains the highest or second highest AUC score compared to other generation methods (1) to (4).
  • data is classified into abnormal data or normal data, and the number of abnormal data is smaller than the number of normal data.
  • a small number compared to the number is equally applicable.
  • data is classified into abnormal data or normal data, but the data is not limited to this, and may be classified into other classes.
  • FIG. 17 is a diagram illustrating an example of a hardware configuration of a computer that implements functions similar to those of the machine learning device of the embodiment.
  • the computer 200 has a CPU 201 that executes various arithmetic processes, an input device 202 that receives data input from the user, and a display 203 .
  • the computer 200 also has a communication device 204 and an interface device 205 for exchanging data with an external device or the like via a wired or wireless network.
  • the computer 200 also has a RAM 206 that temporarily stores various information, and a hard disk device 207 . Each device 201 - 207 is then connected to a bus 208 .
  • the hard disk device 207 has an acquisition program 207a, a machine learning program 207b, a preprocessing program 207c, an inference program 207d, a generation program 207e, a labeling program 207f, and a deterioration detection program 207g. Further, the CPU 201 reads each program 207a to 207g and develops them in the RAM 206. FIG.
  • the acquisition program 207a functions as an acquisition process 206a.
  • Machine learning program 207b functions as machine learning process 206b.
  • the preprocessing program 207c functions as a preprocessing process 206c.
  • the inference program 207d functions as an inference process 206d.
  • the generation program 207e functions as a generation process 206e.
  • Labeling program 207f functions as labeling process 206f.
  • the degradation detection program 207g functions as a degradation detection process 206g.
  • the processing of the acquisition process 206a corresponds to the processing of the acquisition unit 151.
  • Processing of the machine learning process 206 b corresponds to processing of the machine learning unit 152 .
  • the processing of the preprocessing process 206 c corresponds to the processing of the preprocessing unit 153 .
  • the processing of the inference process 206 d corresponds to the processing of the inference section 154 .
  • Processing of the generation process 206 e corresponds to processing of the generation unit 155 .
  • the processing of the labeling process 206f corresponds to the processing of the labeling unit 156.
  • the processing of the deterioration detection process 206g corresponds to the processing of the deterioration detection unit 157.
  • each program 207a to 207g do not necessarily have to be stored in the hard disk device 207 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), CD-ROM, DVD, magneto-optical disk, IC card, etc. inserted into the computer 200 .
  • the computer 200 may read and execute each of the programs 207a-207g.
  • machine learning device 110 communication unit 120 input unit 130 display unit 140 storage unit 141 training data 142 machine learning model 143 operation data 144 retraining data 145 cluster related data 150 control unit 151 acquisition unit 152 machine learning unit 153 preprocessing unit 154 inference Section 155 Generation Section 156 Labeling Section 157 Degradation Detection Section

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

機械学習装置は、複数のデータを機械学習モデルに入力して、複数のデータの複数の予測結果を取得する。機械学習装置は、複数のデータのうち予測結果が第１のグループを示す第１のデータに基づいて、一又は複数のデータを生成する。機械学習装置は、機械学習モデルのパラメータに基づいて得られた、複数のデータと一又は複数のデータとのそれぞれの複数の特徴量に基づいて、複数のデータと一又は複数のデータとのクラスタリングを実行する。機械学習装置は、クラスタリングの結果を正解ラベルとする複数のデータと一又は複数のデータとを含む訓練データに基づいて、機械学習モデルのパラメータを更新する。

Description

機械学習プログラム、機械学習方法および機械学習装置
　本発明は、訓練データを用いた機械学習の技術に関する。
　企業等の情報システムでは、データの判定や分類を行う場合に、機械学習モデルを利用する。機械学習モデルは、機械学習に利用した訓練データに基づいて判定や分類を行うため、運用中にデータの傾向が変化すると、機械学習モデルの性能か低下する。
　機械学習モデルの性能を維持するため、機械学習モデルの正解率等が低下した場合には、正解ラベル付けを行ったデータを生成し、機械学習モデルの機械学習を再度実行している。
　図１８および図１９は、自動で正解ラベルをデータに付与する従来技術を説明するための図である。従来技術を実行する装置を「従来装置」と表記する。
　運用を開始する前の処理を、図１８について説明する。図１８の縦軸は、特徴空間のデータの密度に対応する軸である。横軸は、特徴量（特徴空間の座標）に対応する軸である。線１は、特徴空間の座標と、座標に対応するデータの密度との関係を示す。従来装置は、傾向が変化する前のデータを特徴空間に写像して、写像した各データの密度を計算する。従来装置は、クラスタリングを実行し、クラスタ数と、各クラスタ中で密度が閾値Ｄｔｈ以上となる領域の中心座標を記録する。
　図１８に示す例では、特徴空間のデータが、クラスタＡおよびクラスタＢに分類されている。クラスタＡについて、密度が閾値Ｄｔｈ以上となる領域の中心座標をＸＡとする。クラスタＢについて、密度が閾値Ｄｔｈ以上となる領域の中心座標をＸＢとする。この場合には、従来装置は、クラスタ数「２」と、クラスタＡの中心座標ＸＡと、クラスタＢの中心座標ＸＢとを記録する。
　運用を開始した後の処理を、図１９について説明する。図１９の縦軸は、特徴空間のデータの密度に対応する軸である。横軸は、特徴量（特徴空間の座標）に対応する軸である。線２は、特徴空間の座標と、座標に対応するデータの密度との関係を示す。従来装置は、運用を開始した後に、運用で使用しているデータを特徴空間に写像し、写像した各データの密度を計算する。従来装置は、密度の閾値を下げていき、クラスタ数が、運用を開始する前に記録したクラスタ数と同じになる最小の閾値を探索する。
　図１８で説明した例を用いて、運用を開始する前のクラスタ数を「２」とする。従来装置は、密度の閾値を徐々に下げていき、閾値をＤに設定することで、運用で使用しているデータ（特徴空間に写像したデータ）のクラスタ数を「２」に調整する。従来装置は、領域２－１に含まれるデータと、領域２－２に含まれるデータとをそれぞれ抽出（クラスタリング）する。
　従来装置は、運用前に記憶しておいた中心座標と、運用を開始した後のクラスタの中心座標との移動距離の合計等に基づくマッチングを行うことで、データに正解ラベルを付与する。たとえば、かかるマッチングによって、領域２－１のクラスタが、クラスタＡに対応付けられ、領域２－２のクラスタが、クラスタＢに対応付けられる。この場合、従来装置は、領域２－１の各データに、正解ラベル「クラスＡ」を付与し、領域２－２の各データに、正解ラベル「クラスＢ」を付与する。
国際公開第２０２１／０７９４４２号
　しかしながら、上述した従来技術では、あるクラスに属するデータの数が少ない場合には、自動的に正解ラベルを付与することができないという問題がある。
　図２０は、従来技術の課題を説明するための図である。図２０の縦軸は、特徴空間のデータの密度に対応する軸である。横軸は、特徴量（特徴空間の座標）に対応する軸である。線３は、特徴空間の座標と、座標に対応するデータの密度との関係を示す。図２０に示す例では、データを機械学習モデルに入力した場合に、データが「正常データ」または「異常データ」のいずれかのクラスに分類されるものとする。
　図２０では、領域３－１に含まれるデータが「正常データ」のクラスに属し、領域３－２に含まれるデータが「異常データ」のクラスに属するものとする。領域３－２に含まれるデータが極端に少ないと、図１９で説明したように、閾値を下げても、クラスタ数が、運用を開始する前に記録したクラスタ数と同じにならず、クラスタリングを正しく行うことができない。このため、あるクラスに属するデータ数が少ない場合には、自動的に正解ラベルを付与することができない。
　なお、運用中のデータを機械学習モデルに入力した際に分類されるクラス間のサンプル数が極端に異なる場合も、クラスタリングを正しく行えず、自動的に正解ラベルを付与することができない。
　１つの側面では、本発明は、あるクラスに属するデータの数が少ない場合でも、自動的に正解ラベルを付与することができる機械学習プログラム、機械学習方法および機械学習装置を提供することを目的とする。
　第１の案では、機械学習プログラムは、複数のデータを機械学習モデルに入力して、複数のデータの複数の予測結果を取得する処理をコンピュータに実行させる。機械学習プログラムは、複数のデータのうち予測結果が第１のグループを示す第１のデータに基づいて、一又は複数のデータを生成する処理をコンピュータに実行させる。機械学習プログラムは、機械学習モデルのパラメータに基づいて得られた、複数のデータと一又は複数のデータとのそれぞれの複数の特徴量に基づいて、複数のデータと一又は複数のデータとのクラスタリングを実行する処理をコンピュータに実行させる。機械学習プログラムは、クラスタリングの結果を正解ラベルとする複数のデータと一又は複数のデータとを含む訓練データに基づいて、機械学習モデルのパラメータを更新する処理をコンピュータに実行させる。
　あるクラスに属するデータの数が少ない場合でも、自動的に正解ラベルを付与することができる。
図１は、疑似異常データを生成する際のアプローチと課題を説明するための図である。 図２は、疑似異常データを生成する処理を説明するための図である。 図３は、本実施例に係る機械学習装置の構成を示す機能ブロック図である。 図４は、訓練データのデータ構造の一例を示す図である。 図５は、ラベル付与部の処理を説明するための図（１）である。 図６は、ラベル付与部の処理を説明するための図（２）である。 図７は、ラベル付与部の処理を説明するための図（３）である。 図８は、ラベル付与部の処理を説明するための図（４）である。 図９は、ラベル付与部の処理を説明するための図（５）である。 図１０は、劣化検出部の劣化判定を説明するための図である。 図１１は、本実施例に係る機械学習装置の処理手順を示すフローチャートである。 図１２は、外部環境の変化によるデータの傾向の変化を示す図である。 図１３は、検証結果を示す図（１）である。 図１４は、カメラのＡＵＣスコアの推移の一例を示す図である。 図１５は、異なる生成方法によって生成したデータの一例を示す図である。 図１６は、検証結果を示す図（２）である。 図１７は、実施例の機械学習装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１８は、自動で正解ラベルをデータに付与する従来技術を説明するための図（１）である。 図１９は、自動で正解ラベルをデータに付与する従来技術を説明するための図（２）である。 図２０は、従来技術の課題を説明するための図である。
　以下に、本願の開示する機械学習プログラム、機械学習方法および機械学習装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　本実施例に係る機械学習装置は、入力されたデータを異常クラスまたは正常クラスのうちいずれかのクラスに分類する機械学習モデルを利用するものとする。たとえば、機械学習モデルに入力するデータは、画像データ等である。機械学習モデルは、ＤＮＮ（Deep　Neural　Network）等である。正常クラスに分類されたデータを「正常データ」と表記する。異常クラスに分類されたデータを「異常データ」と表記する。
　機械学習装置は、運用時に分類した異常データと正常データとを用いて疑似的な異常データを生成し、疑似的な異常データを含めてクラスタリングを実行することで、自動的にデータに正解ラベルを付与する。以下の説明では、疑似的な異常データを「疑似異常データ」と表記する。
　図１は、疑似異常データを生成する際のアプローチと課題を説明するための図である。疑似異常データを生成する場合に、生成方法によっては、自動的に正解ラベルを付与することができない場合がある。
　図１において、グラフＧ１，Ｇ２，Ｇ３の縦軸はデータの特徴空間のデータの密度に対応する軸である。横軸は、特徴量（特徴空間の座標）に対応する軸である。たとえば、データを機械学習モデルに入力し、機械学習モデルの出力層よりも所定数前の層から出力されるベクトルが特徴量となる。特徴量に応じて、データの特徴空間上の座標が決まる。
　グラフＧ１において、分布ｄｉｓ１ａは、「正常データの分布」を示す。特徴空間における正常データの図示を省略する。分布ｄｉｓ１ｂは、「真の異常データの分布」を示す。たとえば、特徴空間における異常データを、異常データ１０，１１，１２，１３，１４とする。異常データの数が少ないと、異常データの分布は、分布ｄｉｓ１ｂのようにならず、図２０で説明したように、自動的に正解ラベルを付与することができない。
　ここで、異常データの数を増やすために、単純に、異常データ１０，１１，１２，１３，１４に対応するデータ（画像データ）と同一の画像データを複製すると、異常データの分布は、グラフＧ２に示す、分布ｄｉｓ２ａ，ｄｉｓ２ｂ，ｄｉｓ２ｃ，ｄｉｓ２ｄ，ｄｉｓ２ｅとなる。分布ｄｉｓ２ａ，ｄｉｓ２ｂ，ｄｉｓ２ｃ，ｄｉｓ２ｄ，ｄｉｓ２ｅは、真の異常データの分布ｄｉｓ１ｂとは異なるため、クラスタリングが失敗し、自動的にデータに正解ラベルを付与することができない。
　一方、機械学習装置は、図１のグラフＧ３に示すように、異常データの分布が、真の異常データの分布ｄｉｓ１ｂに近づくように、疑似異常データを生成する。たとえば、後述する図２で説明する処理を、機械学習装置が実行し、疑似異常データを生成することで、異常データの分布は、分布ｄｉｓ３となる。
　図２は、疑似異常データを生成する処理を説明するための図である。たとえば、機械学習装置は、疑似異常データを生成する場合に、ステップＳ１、Ｓ２の順に処理を実行する。
　機械学習装置が実行するステップＳ１の処理について説明する。機械学習装置は、運用データに含まれる複数のデータを、特徴空間Ｆに写像する。たとえば、機械学習装置は、データを機械学習モデルに入力し、機械学習モデルの出力層よりも所定数前の層から出力される特徴量を、データを写像した値とする。特徴量により、特徴空間Ｆの座標が決まる。特徴空間Ｆに写像された異常データを、異常データ２０，２１とする。特徴空間Ｆの写像された正常データを、正常データ３１，３２，３３，３４，３５，３６，３７，３８，３９とする。異常データ２０，２１、正常データ３０～３９を用いて、機械学習装置の処理について説明する。
　機械学習装置は、特徴空間Ｆにおいて、異常データと類似する正常データを選択する。特徴空間Ｆにおいて、異常データとの距離が閾値未満となる正常データを、異常データに類似する正常データとする。
　機械学習装置は、異常データ２０と、正常データ３０～３９とを比較して、異常データ２０に類似する正常データ３０，３１，３２，３４を選択する。機械学習装置は、異常データ２１と、正常データ３０～３９とを比較して、異常データ２１に類似する正常データ３０，３２，３３，３５を選択する。
　機械学習装置が実行するステップＳ２の処理について説明する。機械学習装置は、ステップＳ１で選択した正常データそれぞれに対し、割合αを一様乱数とし、異常データと正常データとの線形結合により合成して、疑似異常データを生成する。たとえば、機械学習装置は、αブレンディング等を用いて、疑似異常データを生成する。
　機械学習装置は、異常データ２０と、正常データ３０とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５１を生成する。機械学習装置は、異常データ２０と、正常データ３４とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５２を生成する。機械学習装置は、異常データ２０と、正常データ３２とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５３を生成する。機械学習装置は、異常データ２０と、正常データ３１とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５４を生成する。
　機械学習装置は、異常データ２１と、正常データ３０とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５５を生成する。機械学習装置は、異常データ２１と、正常データ３２とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５６を生成する。機械学習装置は、異常データ２１と、正常データ３５とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５７を生成する。機械学習装置は、異常データ２１と、正常データ３３とを結ぶ線分を「１－α：α」で分割した座標（特徴量）に対応する、疑似異常データ５８を生成する。
　機械学習装置が、図２で説明した処理を実行して疑似異常データを生成すると、疑似異常データを含む異常データの分布が、図１で説明した分布ｄｉｓ３となる。このため、機械学習装置は、正常データ、異常データ、疑似異常データの各特徴量を基にして、クラスタリングを実行すると、訓練データの特徴量に基づくクラスタリング結果と対応付けることができる。したがって、あるクラスに属するデータ（たとえば、異常データ）の数が少ない場合でも、自動的に正解ラベルを付与することができる。
　次に、本実施例に係る機械学習装置の構成の一例について説明する。図３は、本実施例に係る機械学習装置の構成を示す機能ブロック図である。図３に示すように、この機械学習装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０を有する。
　通信部１１０は、ネットワークを介して、外部装置との間でデータ通信を行う。通信部１１０は、外部装置から、訓練データ１４１、運用データ１４３等を受信する。機械学習装置１００は、訓練データ１４１、運用データ１４３を、後述する入力部１２０から受け付けてもよい。
　入力部１２０は、データを入力するためのインタフェースである。入力部１２０は、マウス、およびキーボードなどの入力装置を介してデータの入力を受け付ける。
　表示部１３０は、データを出力するためのインタフェースである。たとえば、表示部１３０は、ディスプレイなどの出力装置にデータを出力する。
　記憶部１４０は、訓練データ１４１、機械学習モデル１４２、運用データ１４３、再訓練データ１４４、クラスタ関連データ１４５を有する。記憶部１４０は、メモリ等の記憶装置の一例である。
　訓練データ１４１は、機械学習モデル１４２の機械学習を実行する場合に用いられる。図４は、訓練データのデータ構造の一例を示す図である。図４に示すように、訓練データは、項番と、データと、正解ラベルとを対応付ける。項番は、訓練データ１４１のレコードを識別する番号である。データは、画像データである。正解ラベルは、データが正常であるか、異常であるかを示すラベルである。
　たとえば、項番「１」のデータの正解ラベルは「正常」であるため、項番「１」のデータは、正常データである。項番「３」のデータの正解ラベルは「異常」であるため、項番「３」のデータは、異常データである。
　機械学習モデル１４２は、ＤＮＮ等であり、入力層、隠れ層、出力層を有する。機械学習モデル１４２は、誤差逆伝播法等に基づいて機械学習が実行される。
　機械学習モデル１４２に、データを入力すると、入力されたデータが正常であるか異常であるかの分類結果が出力される。
　運用データ１４３は、運用時に利用する複数のデータを含むデータセットである。
　再訓練データ１４４は、機械学習モデル１４２の機械学習を再度実行する場合に用いられる訓練データである。
　クラスタ関連データ１４５は、訓練データ１４１に含まれる各データを特徴空間に写像した場合における、クラスタ数と、各クラスタ中で密度が閾値以上となる領域の中心座標とを有する。また、クラスタ関連データ１４５は、後述するラベル付与部１５６のクラスタリング結果に基づく各クラスタの中心座標を有する。
　制御部１５０は、取得部１５１、機械学習部１５２、事前処理部１５３、推論部１５４、生成部１５５、ラベル付与部１５６、劣化検出部１５７を有する。
　取得部１５１は、外部装置または入力部１２０から、訓練データ１４１を取得し、訓練データ１４１を記憶部１４０に格納する。取得部１５１は、外部装置または入力部１２０から、運用データ１４３を取得し、運用データ１４３を記憶部１４０に格納する。
　機械学習部１５２は、訓練データ１４１を用いて、誤差逆伝播法により、機械学習モデル１４２の機械学習を実行する。機械学習部１５２は、訓練データ１４１の各データを、機械学習モデル１４２の入力層に入力した場合に、出力層から出力される出力結果が、入力したデータの正解ラベルに近づくように、機械学習モデル１４２を訓練する。機械学習部１５２は、検証データを用いて、機械学習モデル１４２の検証を行う。
　事前処理部１５３は、訓練データ１４１のデータを特徴空間に写像して、クラスタリングを実行することで、運用を開始する前のデータのクラスタ数と、クラスタ中で密度が閾値以上となる領域の中心座標を特定する。事前処理部１５３は、クラスタ数と、各クラスタの中心座標を、クラスタ関連データ１４５に記録する。
　事前処理部１５３は、訓練データ１４１に含まれる各データを、特徴空間に写像する。たとえば、事前処理部１５３は、訓練データ１４１の各データを、機械学習モデル１４２に入力し、機械学習モデル１４２の出力層よりも所定数前の層から出力される特徴量を、データを写像した値とする。この特徴量は、訓練された機械学習モデル１４２のパラメータに基づいて得られる値である。特徴量により、特徴空間Ｆの座標が決まる。
　事前処理部１５３は、式（１）を用いて、特徴空間におけるデータの密度を算出する。式（１）において、Ｎはデータの総数を示し、σは標準偏差を示す。ｘは、データの特徴量の期待値（平均値）であり、ｘｊは、ｊ番目のデータの特徴量を示す。
Figure JPOXMLDOC01-appb-M000001
　ここでは、事前処理部１５３は、データの密度として、ガウス密度を算出する場合について説明したが、これに限定されるものではなく、eccentricityや、ＫＮＮ距離（K-Nearest　Neighbor　Algorithm）等を用いて密度を計算してもよい。
　事前処理部１５３は、縦軸を密度、横軸を特徴量とするグラフを生成する。事前処理部１５３によって生成されるグラフは、図１８で説明したグラフに対応する。事前処理部１５３は、クラスタリングを実行し、クラスタ数と、各クラスタ中で密度が閾値Ｄｔｈ以上となる領域の中心座標を記録する。
　図１８に示す例では、特徴空間のデータが、クラスタＡおよびクラスタＢに分類されている。たとえば、クラスタＡは、正常データの属するクラスタである。クラスタＢは、異常データの属するクラスタである。クラスタＡについて、密度が閾値Ｄｔｈ以上となる領域の中心座標をＸＡとする。クラスタＢについて、密度が閾値Ｄｔｈ以上となる領域の中心座標をＸＢとする。この場合には、事前処理部１５３は、クラスタ数「２」と、クラスタＡの中心座標ＸＡと、クラスタＢの中心座標ＸＢとを、クラスタ関連データ１４５に記録する。
　ここでは、事前処理部１５３が、クラスタ数と、各クラスタの中心座標を特定する場合について説明したが、クラスタ数および各クラスタの中心座標を、外部装置から事前に取得しておいてもよい。
　推論部１５４は、運用データ１４３からデータを取得し、取得したデータを機械学習モデル１４２に入力することで、入力したデータが、正常データであるか、異常データであるかを推論する。推論部１５４は、運用データ１４３に含まる各データについて、上記処理を繰り返し実行する。推論部１５４は、運用データ１４３の各データについて、データが正常データであるか異常データであるかの推定結果を設定し、生成部１５５に出力する。推論部１５４は、推論結果を、表示部１３０に出力して、推論結果を表示させてもよい。
　生成部１５５は、図２で説明した処理を実行することで、疑似異常データを生成する。以下において、生成部１５５の処理の一例について説明する。
　生成部１５５は、運用データ１４３に含まれる複数のデータを、特徴空間Ｆに写像する。たとえば、生成部１５５は、データを機械学習モデル１４２に入力し、機械学習モデル１４２の出力層よりも所定数前の層から出力される特徴量を、データを写像した値とする。この特徴量は、訓練された機械学習モデル１４２のパラメータに基づいて得られる値である。たとえば、特徴空間に写像された異常データ、正常データは、図２に示す、異常データ２０，２１、正常データ３０～３９となる。生成部１５５は、データが異常データであるか、正常データであるかを、推論部１５４の推論結果を基にして特定する。
　生成部１５５は、特徴空間Ｆにおいて、異常データと類似する正常データを選択する。特徴空間Ｆにおいて、異常データとの距離が閾値未満となる正常データを、異常データに類似する正常データとする。たとえば、生成部１５５は、図２において、異常データ２０に類似する正常データとして、正常データ３０，３１，３２，３４を選択する。生成部１５５は、異常データ２１に類似する正常データとして、正常データ３０，３２，３３，３５を選択する。
　生成部１５５は、上記処理によって選択した正常データそれぞれに対し、割合αを一様乱数とし、異常データと正常データとの線形結合により合成して、疑似異常データを生成する。たとえば、生成部１５５は、αブレンディング等を用いて、疑似異常データを生成する。生成部１５５は、図２で説明した処理を実行することで、疑似異常データ５１～５８を生成する。
　生成部１５５は、異常データの特徴量、正常データの特徴量、疑似異常データの特徴量を、ラベル付与部１５６に出力する。
　ラベル付与部１５６は、異常データの特徴量、正常データの特徴量、疑似異常データの特徴量に基づいて、クラスタリングを実行し、クラスタリング結果に応じて、データに正解ラベルを付与する。ラベル付与部１５６は、正解ラベルを付与した各データを、再訓練データ１４４として、記憶部１４０に登録する。以下において、ラベル付与部１５６の処理の一例について説明する。ラベル付与部１５６は、αブレンディングによって生成した疑似異常データについても、正解ラベルを付与して、再訓練データ１４４に登録する。
　ラベル付与部１５６が実行するクラスタリング処理を実行する。図５は、ラベル付与部の処理を説明するための図（１）である。ラベル付与部１５６は、異常データの特徴量、正常データの特徴量、疑似異常データの特徴量に基づいて、縦軸を密度、横軸を特徴量とするグラフＧ１０を生成する（ステップＳ１０）。ラベル付与部１５６は、事前処理部１５３と同様にして、式（１）を基にして、データ（正常データ、異常データおよび疑似異常データ）の密度を算出する。
　ラベル付与部１５６は、密度に対応する閾値を所定値ごとに下げていき、クラスタ関連データ１４５に記録された事前のクラスタ数と同じになる最小の閾値を探索する（ステップＳ１１）。ここでは、クラスタ関連データ１４５に記録された事前のクラスタ数を「２」とする。
　ラベル付与部１５６は、閾値以上であるデータの特徴量に対してパーシステントホモロジ変換（ＰＨ変換）を実行して、０次元の連結成分を参照する。ラベル付与部１５６は、予め定めた閾値以上の半径を有するバー（ｂａｒ）の数が事前に設定したクラスタ数と一致するか否かにより、クラスタの計算および特定を実行する（ステップＳ１２）。
　ラベル付与部１５６は、閾値を超えるバーの数が事前のクラスタ数と一致しない場合は、閾値を所定値下げて、処理を繰り返す（ステップＳ１３）。
　上記のように、ラベル付与部１５６は、密度の閾値を下げて密度が閾値以上のデータを抽出する処理と、抽出されたデータに対するＰＨ変換処理によりクラスタ数を計算する処理とを、事前のクラスタ数と一致するまで繰り返す。ラベル付与部１５６は、クラスタ数が一致した場合に、その時の閾値（密度）以上の密度を有するデータ領域の中心座標Ｃ１、Ｃ２を特定し、クラスタ関連データ１４５に記録する。ラベル付与部１５６は、クラスタリング処理を行うたびに、中心座標を、クラスタ関連データ１４５に記録する。
　ラベル付与部１５６が実行するＰＨ変換は、たとえば、特許文献１（国際公開第２０２１／０７９４４２号）に記載されたＰＨ変換である。
　ラベル付与部１５６は、上記のクラスタリング処理の結果を基にして、運用データ１４３に含まれる各データに正解ラベルを付与する。ラベル付与部１５６は、クラスタリング処理によって決定された密度が閾値以上のデータに対して、それぞれが属するクラスタに基づく正解ラベル付けを行うことで、再訓練データ１４４を生成する。
　図６は、ラベル付与部の処理を説明するための図（２）である。図６のグラフＧ１０に関する説明は、図５のグラフＧ１０に関する説明と同様である。ラベル付与部１５６は、上記のクラスタリング処理を実行することで、クラスタ数が２の状態で最小となった閾値以上となったデータと、２つの中心座標Ｃ１、Ｃ２を特定する。ラベル付与部１５６は、クラスタ関連データ１４５に記録された中心座標の履歴と、マッチング処理に基づき、２つの中心座標それぞれが属するクラスタを決定する。
　図７は、ラベル付与部の処理を説明するための図（３）である。図７を用いて、マッチング処理の一例について説明する。ラベル付与部１５６は、機械学習モデル１４２の訓練が完了してから、現在に至るまでに特定された各クラスタの中心座標を特徴空間にマッピングし、進行方向を推定して、現在抽出された２つの中心座標（Ｃ１，Ｃ２）それぞれのクラスタを決定する。
　単に一番近い中心座標のマッチングでは、中心座標の変動を加味すると妥当でないことがある。図７の（ａ）のように、中心座標が変動していて、新しい２点を新たにマッチングする場合、近い点でマッチングすると図７の（ｂ）のようになるが、これは変動の方向からは不自然な動きである。図７の（ｃ）のように、変動する方が自然である。
　このため、ラベル付与部１５６は、補正距離を導入する。たとえば、進行方向に進む場合はより近い点と判定する仕組みを導入し、前回の座標からの進行方向ベクトルと、前回の座標から今回の座標を結ぶベクトルとの内積を計算することで、進行方向を特定する。ラベル付与部１５６は、内積の値をｃとして、（ｔａｎ（ｃ）＋１）／２を重みとして２点間の距離に乗算した値を補正距離として、最近傍点を選択する。たとえば、中心座標Ｃｂ１および中心座標Ｃ１の距離に、ベクトルｖ１およびベクトルｖ２の内積ｃに基づく重み（（ｔａｎ（ｃ）＋１）／２）を乗算した値が、補正距離となる。
　ラベル付与部１５６は、クラスタの中心座標が特定される度に、中心座標間の補正距離を算出し、補正距離の近い中心座標同士をマッチングする処理を繰り返し実行する。
　たとえば、事前処理部１５３のクラスタリング結果により特定されたクラスタＡの中心座標をＣｂ３－１とし、クラスタＢの中心座標をＣｂ３－２とする。ラベル付与部１５６によって、中心座標Ｃｂ３－１とＣｂ２－１とがマッチングされ、中心座標Ｃｂ２－１とＣｂ１－１とがマッチングされ、中心座標Ｃｂ１－１とＣ１とがマッチングされたとすると、中心座標Ｃ１は、クラスタＡに対応付けられる。本実施例では、クラスタＡに対応するクラスを「正常クラス」とする。
　ラベル付与部１５６によって、中心座標Ｃｂ３－２とＣｂ２－２とがマッチングされ、中心座標Ｃｂ２－２とＣｂ１－２とがマッチングされ、中心座標Ｃｂ１－２とＣ２とがマッチングされたとすると、中心座標Ｃ２は、クラスタＢに対応付けられる。本実施例では、クラスタＢに対応するクラスを「異常クラス」とする。
　図６の説明に戻る。図６に示す例では、中心座標Ｃ１にクラスタＡ（正常クラス）が対応付けられる。中心座標Ｃ２にクラスタＢ（異常クラス）が対応付けられる。この場合、ラベル付与部１５６は、運用データ１４３に含まれるデータのうち、密度が閾値以上かつ、中心座標Ｃ１と同じクラスタに属するデータに、正解ラベル「正常」を設定する。一方、ラベル付与部１５６は、運用データ１４３に含まれるデータのうち、密度が閾値以上かつ、中心座標Ｃ２と同じクラスタに属するデータに、正解ラベル「異常」を設定する。
　続いて、ラベル付与部１５６は、クラスタリング処理によって抽出されなかった閾値未満のデータそれぞれに正解ラベルを付与する。図８は、ラベル付与部の処理を説明するための図（４）である。ラベル付与部１５６は、抽出されなかった各データについて、各クラスタの中心座標Ｃ１との距離およびＣ２との距離をそれぞれ計測し、２番目に近い距離が各クラスタの中心間の距離の最大値より大きい場合は、一番近いクラスタに属するデータと決定する。
　図８の例の場合、ラベル付与部１５６は、上記手法によりクラスタが決定された領域Ｘ（クラスタＡ）と領域Ｙ（クラスタＢ）以外の領域のうち、領域Ｘよりも外側の領域Ｐのデータについては、クラスタＡと決定する。ラベル付与部１５６は、領域Ｙよりも外側の領域Ｑのデータについては、クラスタＢと決定する。
　ラベル付与部１５６は、２番目に近い距離が各クラスタの中心間の距離の最大値より小さい（複数のクラスタの中間にある）領域Ｚのデータについては、近くにある複数のクラスタのデータが混在していると判定する。この場合、ラベル付与部１５６は、各データに関して各クラスタの確率を測定して付与する。たとえば、ラベル付与部１５６は、ｋ近傍法、一様確率法、分布比率保持法などを用いて、領域Ｚに属する各データについて、各クラスタに属する確率を算出し、確率的なラベル（正常クラスの確率、異常クラスの確率、他のクラスの確率）を生成して付与する。
　ラベル付与部１５６は、領域Ｚに属する各入力データに対して、そのデータに近傍に位置するすでにラベル付けされたデータをｋ個抽出し、その割合が正常クラス＝０．６、異常クラス＝０．４、他のクラス＝０であれば、その割合をラベルとして付与する。
　ラベル付与部１５６は、領域Ｚに属する各データに対して、各クラスタにすべて同じ確率を付与する。例えば、ラベル付与部１５６は、２クラス分類の場合には、正常クラス＝０．５、異常クラス＝０．５をラベルとして付与し、３クラス分類の場合には、正常クラス＝０．３、異常クラス＝０．３、他のクラス＝０．３などをラベルとして付与する。
　上述した手法により推定して、ラベル付与部１５６が、各データに付与する正解ラベルの情報が図９である。図９は、ラベル付与部の処理を説明するための図（５）である。推定された正解ラベルは、各クラスタに属する確率（正常クラスに属する確率，異常クラスに属する確率，他のクラスに属する確率）で付与される。図９に示すように、領域Ｘと領域Ｐの各データには、推定ラベル（正解ラベル）［１，０，０］が付与され、領域Ｙと領域Ｑの各入力データには、推定ラベル［０，１，０］が付与され、領域Ｚの各入力データには、推定ラベル［ａ，ｂ，ｃ］が付与される。なお、ａ，ｂ，ｃは、ｋ近傍法などの手法により算出される確率である。そして、ラベル付与部１５６は、各データと推定ラベルとの対応付けた再訓練データ１４４を、記憶部１４０に格納する。
　図３の説明に戻る。劣化検出部１５７は、機械学習モデル１４２の精度劣化を検出する。たとえば、劣化検出部１５７は、機械学習モデル１４２の判定結果と、ラベル付与部１５６により生成された推定結果（再訓練データ１４４）とを比較して、機械学習モデル１４２の精度劣化を検出する。
　図１０は、劣化検出部の劣化判定を説明するための図である。図１０に示すように、劣化検出部１５７は、データ（運用データ１４３のデータ）を機械学習モデル１４２に入力した場合の出力結果（正常クラス）に基づき、判定結果［１，０，０］を生成する。一方で、劣化検出部１５７は、データに対する上記推定処理により、領域Ｘまたは領域Ｐに属した場合の推定結果［１，０，０］、領域Ｙまたは領域Ｑに属した場合の推定結果［０，１，０］、または、領域Ｚに属した場合の推定結果［ａ，ｂ，ｃ］を取得する。
　劣化検出部１５７は、各入力データについて、判定結果と推定結果とを取得し、これらの比較により劣化判定を実行する。例えば、劣化検出部１５７は、各推定結果で示される各データ（各点）の確率ベクトルに対し、機械学習モデル１４２による判定結果のベクトル表示の成分積の和（内積）をその点のスコアとし、そのスコアの合計をデータ数で割った値と閾値との比較により、劣化判定を実行する。
　なお、劣化検出部１５７は、次の処理を実行して、機械学習モデル１４２の精度劣化を検出してもよい。劣化検出部１５７は、クラスタ関連データ１４５を参照し、訓練データ１４１のクラスタリング処理によって特定されるクラスタＡの中心座標と、現在の運用データ１４３のクラスタリング処理によって特定されるクラスタＡの中心座標との距離の反数を、スコアとして算出する。劣化検出部１５７は、かかるスコアが閾値未満である場合に、機械学習モデル１４２の精度が劣化したと判定する。
　劣化検出部１５７は、機械学習モデル１４２の精度劣化を検出した場合に、機械学習部１５２に対して、機械学習の再実行依頼を出力する。機械学習部１５２は、劣化検出部１５７から、機械学習の再実行依頼を受け付けた場合、再訓練データ１４４を用いて、機械学習モデル１４２の機械学習を再度実行する。
　次に、本実施例に係る機械学習装置１００の処理手順について説明する。図１１は、本実施例に係る機械学習装置の処理手順を示すフローチャートである。図１１に示すように、機械学習装置１００の機械学習部１５２は、訓練データ１４１を用いて、機械学習モデル１４２の機械学習を実行する（ステップＳ１０１）。
　機械学習装置１００の事前処理部１５３は、訓練データ１４１を基にして、クラスタ数、各クラスタの中心座標を特定し、クラスタ関連データ１４５に記録する（ステップＳ１０２）。機械学習装置１００の取得部１５１は、運用データ１４３を取得し、記憶部１４０に格納する（ステップＳ１０３）。
　機械学習装置１００の推論部１５４は、運用データ１４３のデータを、機械学習モデル１４２に入力し、データのクラスを推定する（ステップＳ１０４）。機械学習装置１００の生成部１５５は、正常データの特徴量、異常データの特徴量を基にして、異常疑似データを生成する（ステップＳ１０５）。
　機械学習装置１００のラベル付与部１５６は、正常データ、異常データ、疑似異常データの各特徴量を基にして、クラスタリング処理を実行する（ステップＳ１０６）。ラベル付与部１５６は、クラスタリング処理の結果を基にして、データに正解ラベルを付与し、再訓練データ１４４を生成する（ステップＳ１０７）。
　機械学習装置１００の劣化検出部１５７は、機械学習モデル１４２の性能に関するスコアを算出する（ステップＳ１０８）。機械学習装置１００は、スコアが閾値未満でない場合には（ステップＳ１０９，Ｎｏ）、ステップＳ１０３に移行する。一方、機械学習装置１００は、スコアが閾値未満である場合には（ステップＳ１０９，Ｙｅｓ）、ステップＳ１１０に移行する。
　機械学習部１５２は、再訓練データ１４４を基にして、機械学習モデル１４２の機械学習を再度実行し（ステップＳ１１０）、ステップＳ１０３に移行する。
　次に、本実施例に係る機械学習装置１００の効果について説明する。機械学習装置１００は、訓練済みの機械学習モデル１４２に、運用データ１４３のデータを入力することで、正常データおよび異常データの特徴量を特定する。機械学習装置１００は、正常データおよび異常データの特徴量を基にして、疑似異常データを生成し、正常データ、異常データ、疑似異常データの各特徴量を基にして、クラスタリングを実行する。機械学習装置１００は、クラスタリング結果に基づく正解ラベルを、運用データおよび疑似異常データの各データに付与することで、再訓練データ１４４を生成し、再訓練データ１４４を基にして、機械学習モデルのパラメータを更新する。上記のように、正常データおよび異常データの特徴量を基にして、疑似異常データを生成することで、あるクラスに属するデータの数が少ない場合には、自動的に正解ラベルを付与することができる。
　機械学習装置１００は、上記のように、自動的に正解ラベルを付与することで、自動的に再訓練データ１４４を生成でき、再訓練データ１４４を用いて、機械学習モデル１４２の機械学習を再度実行して、機械学習モデル１４２の精度劣化を抑止することができる。
　機械学習装置１００は、特徴空間において、異常データに類似する正常データを選択し、異常データと選択した正常データとの間に、疑似異常データを生成する。これによって、特徴空間のデータの分布を、自動的に正解ラベルを付与することが可能な分布とすることができる。
　次に、機械学習装置１００が実行するその他の処理（１）、（２）について説明する。
　その他の処理（１）について説明する。上述した機械学習装置１００は、特徴空間において、正常データと異常データの特徴量を基にして、疑似異常データを生成していたが、これに限定されるものではない。たとえば、機械学習装置１００の生成部１５５は、運用データ１４３に含まれるデータのうち、異常データを複製し、複製した異常データに、ガウシアンノイズ等のノイズを付与した異常データを生成してもよい。以下の説明では、ノイズを付与した異常データを、ノイズデータと表記する。
　機械学習装置１００のラベル付与部１５６は、異常データの特徴量、ノイズデータの特徴量、正常データの特徴量に基づいて、クラスタリング処理を実行し、クラスタリング結果に応じて、データに正解ラベルを付与する。ノイズデータの特徴量は、ノイズデータを、訓練済みの機械学習モデル１４２に入力した場合に、機械学習モデル１４２の出力層よりも所定数前の層から出力される特徴量である。
　その他の処理（２）について説明する。上述した機械学習装置１００は、運用データ１４３について、異常データの数と、正常データの数とに差異がある場合に、疑似異常データを生成していたが、これに限定されるものではない。機械学習装置１００の生成部１５５は、訓練データ１４１について、異常データの数と、正常データの数とに差異がある場合でも、訓練データ１４１の異常データの特徴量と、正常データの特徴量とを用いて、疑似異常データを生成し、機械学習モデル１４２の機械学習に利用してもよい。
　次に、本実施例に係る機械学習装置１００を、ある工場における異常検知ＡＩ（Artificial　Intelligence）に適用して性能を検証した結果について説明する。検証条件として、機械学習モデルをＤＮＮとし、データを異常データまたは正常データに分類するように、機械学習モデル１４２を事前に訓練する。
　運用時想定シナリオとして、証明器具の寿命により、徐々に暗くなることを想定する。バッチ（batch）毎に１０％ずつ明度が低下する。各バッチにおいて、運用データとして、正常データを８０枚、異常データを５枚取得する。
　図１２は、外部環境の変化によるデータの傾向の変化を示す図である。正常データを、Ｉｍ１－０～Ｉｍ１－８とする。異常データを、Ｉｍ２－０～Ｉｍ２－８とする。正常データＩｍ１－０は、０バッチ目の正常なデータ（元画像データ）である。異常データＩｍ２－０は、０バッチ目の異常なデータ（元画像データ）である。
　正常データＩｍ１－１は、１バッチ目の正常なデータ（明度９０％の画像）である。異常データＩｍ２－１は、１バッチ目の異常なデータ（明度９０％の画像データ）である。正常データＩｍ１－２は、２バッチ目の正常なデータ（明度８０％の画像）である。異常データＩｍ２－２は、２バッチ目の異常なデータ（明度８０％の画像データ）である。
　正常データＩｍ１－３は、３バッチ目の正常なデータ（明度７０％の画像）である。異常データＩｍ２－３は、３バッチ目の異常なデータ（明度７０％の画像データ）である。正常データＩｍ１－４は、４バッチ目の正常なデータ（明度６０％の画像）である。異常データＩｍ２－４は、４バッチ目の異常なデータ（明度６０％の画像データ）である。
　図示を省略するが、正常データＩｍ１－５は、５バッチ目の正常なデータ（明度５０％の画像）である。異常データＩｍ２－５は、５バッチ目の異常なデータ（明度５０％の画像データ）である。図示を省略するが、正常データＩｍ１－６は、６バッチ目の正常なデータ（明度４０％の画像）である。異常データＩｍ２－６は、６バッチ目の異常なデータ（明度４０％の画像データ）である。
　正常データＩｍ１－７は、７バッチ目の正常なデータ（明度３０％の画像）である。異常データＩｍ２－７は、７バッチ目の異常なデータ（明度３０％の画像データ）である。正常データＩｍ１－８は、８バッチ目の正常なデータ（明度２０％の画像）である。異常データＩｍ２－８は、８バッチ目の異常なデータ（明度２０％の画像データ）である。
　評価指標として、データを機械学習モデルに入力し、入力したデータが正常データであるか異常データであるかを判定し、各バッチにおけるＡＵＣ（Area　Under　Curve）スコアを算出する。ＡＵＣスコアが高いほど、機械学習モデルの検知性能が維持されていることを示す。工場の７か所のカメラ（カメラＩＤ１～７）の異常検知データセット（運用データ）に対して、本実施例の機械学習装置１００を適用した異常検知ＡＩと、再訓練を行わない異常検知ＡＩとのＡＵＣスコアは、図１３に示す検証結果となった。
　図１３は、検証結果を示す図（１）である。図１３の検証結果は、最終バッチ（８バッチ目）におけるＡＵＣスコアを示す。ベースラインは、再訓練を行わない異常検知ＡＩを示す。提案手法は、本実施例の機械学習装置１００を適用した異常検知ＡＩを示す。図１３に示すように、全てのカメラにおいて、提案手法のＡＵＣスコアは、ベースラインのＡＵＣスコアを上回っており、暗い状態（データの傾向が変化）でも、検知性能を維持している。
　図１４は、カメラのＡＵＣスコアの推移の一例を示す図である。図１４のグラフＧ２０は、カメラＩＤ「３」のＡＵＣスコアの推移を表す。グラフＧ２０の縦軸は、ＡＵＣスコアに対応する軸であり、横軸はバッチ（batch　number）に対応する軸である。線分２０ａは、ベースラインの各バッチにおけるＡＵＣスコアの推移を示す。線分２０ｂは、提案手法の各バッチにおけるＡＵＣスコアの推移を示す。
　図１４のグラフＧ２１は、カメラＩＤ「６」のＡＵＣスコアの推移を表す。グラフＧ２１の縦軸は、ＡＵＣスコアに対応する軸であり、横軸はバッチ（batch　number）に対応する軸である。線分２１ａは、ベースラインの各バッチにおけるＡＵＣスコアの推移を示す。線分２１ｂは、提案手法の各バッチにおけるＡＵＣスコアの推移を示す。
　図１４のグラフＧ２０、Ｇ２１に示すように、本実施例の機械学習装置１００を適用した異常検知ＡＩは、暗い状態でも検知性能を維持している。
　続いて、生成方法（１）～（５）によって、疑似異常データを生成し、機械学習モデル１４２の性能を検証した結果について説明する。前提条件として、データは、異常データまたは正常データに分類され、異常データの数が、正常データの数と比較して少ないものとする。
（１）同一の異常データを複製する。
（２）（１）で複製した異常データにガウシアンノイズ（ノイズ強度：弱＜標準偏差σ＝０．０１＞）を付加したノイズデータを生成する。
（３）（１）で複製した異常データにガウシアンノイズ（ノイズ強度：中＜標準偏差σ＝０．１＞）を付加したノイズデータを生成する。
（４）（１）で複製した異常データにガウシアンノイズ（ノイズ強度：強＜標準偏差σ＝１＞）を付加したノイズデータを生成する。
（５）機械学習装置１００のαブレンディングにより、異常データと、異常データに類似の正常データとを合成した疑似異常データを生成する。
　図１５は、異なる生成方法によって生成したデータの一例を示す図である。データＤ１－１は、正常データである。データＤ１－２は、異常データである。データＤ（１）は、生成方法（１）により生成したデータである。データＤ（２）は、生成方法（２）により生成したデータである。データＤ（３）は、生成方法（３）により生成したデータである。データＤ（４）は、生成方法（４）により生成したデータである。データＤ（５）は、生成方法（５）により生成したデータである。
　図１６は、検証結果を示す図（２）である。図１６の検証結果は、生成方法（１）～（５）を用いた場合において、全バッチのカメラＩＤ別の平均ＡＵＣスコアを示す。図１６に示すように、生成方法（５）は、他の生成方法（１）～（４）と比較して、ＡＵＣスコアが、最高値または次点の性能維持を達成している。
　なお、本実施例では一例として、データが異常データまたは正常データに分類され、異常データの数が、正常データの数と比較して少ない場合について説明したが、正常データの数が、異常データの数と比較して少ない場合も同様に適用可能である。また、本実施例では、データが、異常データまたは正常データに分類される場合について説明したが、これに限定されるものではなく、他のクラスに分類されてもよい。
　次に、上記実施例に示した機械学習装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１７は、実施例の機械学習装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図１７に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
　ハードディスク装置２０７は、取得プログラム２０７ａ、機械学習プログラム２０７ｂ、事前処理プログラム２０７ｃ、推論プログラム２０７ｄ、生成プログラム２０７ｅ、ラベル付与プログラム２０７ｆ、劣化検出プログラム２０７ｇを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｇを読み出してＲＡＭ２０６に展開する。
　取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。機械学習プログラム２０７ｂは、機械学習プロセス２０６ｂとして機能する。事前処理プログラム２０７ｃは、事前処理プロセス２０６ｃとして機能する。推論プログラム２０７ｄは、推論プロセス２０６ｄとして機能する。生成プログラム２０７ｅは、生成プロセス２０６ｅとして機能する。ラベル付与プログラム２０７ｆは、ラベル付与プロセス２０６ｆとして機能する。劣化検出プログラム２０７ｇは、劣化検出プロセス２０６ｇとして機能する。
　取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。機械学習プロセス２０６ｂの処理は、機械学習部１５２の処理に対応する。事前処理プロセス２０６ｃの処理は、事前処理部１５３の処理に対応する。推論プロセス２０６ｄの処理は、推論部１５４の処理に対応する。生成プロセス２０６ｅの処理は、生成部１５５の処理に対応する。ラベル付与プロセス２０６ｆの処理は、ラベル付与部１５６の処理に対応する。劣化検出プロセス２０６ｇの処理は、劣化検出部１５７の処理に対応する。
　なお、各プログラム２０７ａ～２０７ｇについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｇを読み出して実行するようにしてもよい。
　１００　　機械学習装置
　１１０　　通信部
　１２０　　入力部
　１３０　　表示部
　１４０　　記憶部
　１４１　　訓練データ
　１４２　　機械学習モデル
　１４３　　運用データ
　１４４　　再訓練データ
　１４５　　クラスタ関連データ
　１５０　　制御部
　１５１　　取得部
　１５２　　機械学習部
　１５３　　事前処理部
　１５４　　推論部
　１５５　　生成部
　１５６　　ラベル付与部
　１５７　　劣化検出部

Claims (12)

  1. 　複数のデータを機械学習モデルに入力して、前記複数のデータの複数の予測結果を取得し、
    　前記複数のデータのうち予測結果が第１のグループを示す第１のデータに基づいて、一又は複数のデータを生成し、
    　前記機械学習モデルのパラメータに基づいて得られた、前記複数のデータと前記一又は複数のデータとのそれぞれの複数の特徴量に基づいて、前記複数のデータと前記一又は複数のデータとのクラスタリングを実行し、
    　前記クラスタリングの結果を正解ラベルとする前記複数のデータと前記一又は複数のデータとを含む訓練データに基づいて、前記機械学習モデルのパラメータを更新する、
    　処理をコンピュータに実行させることを特徴とする機械学習プログラム。
  2. 　前記生成する処理は、前記複数のデータのうち前記複数の予測結果が第２のグループを示す第１の複数のデータのうち、前記第１のデータに類似する第２のデータを選択し、前記第１のデータの特徴量と前記第２のデータの特徴量との間の特徴量に対応する前記一又は複数のデータを生成する処理を含む、
    　ことを特徴とする請求項１に記載の機械学習プログラム。
  3. 　前記生成する処理は、前記第１のデータを複製することによって得られた第３のデータにノイズを付加することで、前記一又は複数のデータを生成する処理を含む、
    　ことを特徴とする請求項１に記載の機械学習プログラム。
  4. 　前記予測結果と、前記訓練データに含まれる正解ラベルとを基にして、前記機械学習モデルのパラメータを更新するか否かを判定する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の機械学習プログラム。
  5. 　複数のデータを機械学習モデルに入力して、前記複数のデータの複数の予測結果を取得し、
    　前記複数のデータのうち予測結果が第１のグループを示す第１のデータに基づいて、一又は複数のデータを生成し、
    　前記機械学習モデルのパラメータに基づいて得られた、前記複数のデータと前記一又は複数のデータとのそれぞれの複数の特徴量に基づいて、前記複数のデータと前記一又は複数のデータとのクラスタリングを実行し、
    　前記クラスタリングの結果を正解ラベルとする前記複数のデータと前記一又は複数のデータとを含む訓練データに基づいて、前記機械学習モデルのパラメータを更新する、
    　処理をコンピュータが実行することを特徴とする機械学習方法。
  6. 　前記生成する処理は、前記複数のデータのうち前記複数の予測結果が第２のグループを示す第１の複数のデータのうち、前記第１のデータに類似する第２のデータを選択し、前記第１のデータの特徴量と前記第２のデータの特徴量との間の特徴量に対応する前記一又は複数のデータを生成する処理を含む、
    　ことを特徴とする請求項５に記載の機械学習方法。
  7. 　前記生成する処理は、前記第１のデータを複製することによって得られた第３のデータにノイズを付加することで、前記一又は複数のデータを生成する処理を含む、
    　ことを特徴とする請求項５に記載の機械学習方法。
  8. 　前記予測結果と、前記訓練データに含まれる正解ラベルとを基にして、前記機械学習モデルのパラメータを更新するか否かを判定する処理を更にコンピュータが実行することを特徴とする請求項５に記載の機械学習方法。
  9. 　複数のデータを機械学習モデルに入力して、前記複数のデータの複数の予測結果を取得し、
    　前記複数のデータのうち予測結果が第１のグループを示す第１のデータに基づいて、一又は複数のデータを生成し、
    　前記機械学習モデルのパラメータに基づいて得られた、前記複数のデータと前記一又は複数のデータとのそれぞれの複数の特徴量に基づいて、前記複数のデータと前記一又は複数のデータとのクラスタリングを実行し、
    　前記クラスタリングの結果を正解ラベルとする前記複数のデータと前記一又は複数のデータとを含む訓練データに基づいて、前記機械学習モデルのパラメータを更新する、
    　処理を実行する制御部を有する機械学習装置。
  10. 　前記生成する処理は、前記複数のデータのうち前記複数の予測結果が第２のグループを示す第１の複数のデータのうち、前記第１のデータに類似する第２のデータを選択し、前記第１のデータの特徴量と前記第２のデータの特徴量との間の特徴量に対応する前記一又は複数のデータを生成する処理を含む、
    　ことを特徴とする請求項９に記載の機械学習装置。
  11. 　前記生成する処理は、前記第１のデータを複製することによって得られた第３のデータにノイズを付加することで、前記一又は複数のデータを生成する処理を含む、
    　ことを特徴とする請求項９に記載の機械学習装置。
  12. 　前記制御部は、前記予測結果と、前記訓練データに含まれる正解ラベルとを基にして、前記機械学習モデルのパラメータを更新するか否かを判定する処理を更に実行することを特徴とする請求項９に記載の機械学習装置。
PCT/JP2021/035678 2021-09-28 2021-09-28 機械学習プログラム、機械学習方法および機械学習装置 WO2023053216A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023550801A JPWO2023053216A1 (ja) 2021-09-28 2021-09-28
PCT/JP2021/035678 WO2023053216A1 (ja) 2021-09-28 2021-09-28 機械学習プログラム、機械学習方法および機械学習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035678 WO2023053216A1 (ja) 2021-09-28 2021-09-28 機械学習プログラム、機械学習方法および機械学習装置

Publications (1)

Publication Number Publication Date
WO2023053216A1 true WO2023053216A1 (ja) 2023-04-06

Family

ID=85781501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035678 WO2023053216A1 (ja) 2021-09-28 2021-09-28 機械学習プログラム、機械学習方法および機械学習装置

Country Status (2)

Country Link
JP (1) JPWO2023053216A1 (ja)
WO (1) WO2023053216A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018134952A1 (ja) * 2017-01-19 2018-07-26 株式会社島津製作所 分析データ解析方法および分析データ解析装置
WO2021059509A1 (ja) * 2019-09-27 2021-04-01 日本電気株式会社 学習装置、判別システム、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体
JP2021057042A (ja) * 2019-10-01 2021-04-08 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 製品の分類システムおよび製品の分類方法
WO2021079442A1 (ja) 2019-10-23 2021-04-29 富士通株式会社 推定プログラム、推定方法、情報処理装置、再学習プログラムおよび再学習方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018134952A1 (ja) * 2017-01-19 2018-07-26 株式会社島津製作所 分析データ解析方法および分析データ解析装置
WO2021059509A1 (ja) * 2019-09-27 2021-04-01 日本電気株式会社 学習装置、判別システム、学習方法及び学習プログラムが格納された非一時的なコンピュータ可読媒体
JP2021057042A (ja) * 2019-10-01 2021-04-08 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 製品の分類システムおよび製品の分類方法
WO2021079442A1 (ja) 2019-10-23 2021-04-29 富士通株式会社 推定プログラム、推定方法、情報処理装置、再学習プログラムおよび再学習方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AJINKYA MORE: "Survey of resampling techniques for improving classification performance in unbalanced datasets", , CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 22 August 2016 (2016-08-22), XP080721470 *

Also Published As

Publication number Publication date
JPWO2023053216A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
JP2020119543A (ja) 分類モデルを訓練する装置及び方法
CN108647583B (zh) 一种基于多目标学习的人脸识别算法训练方法
CN103136504B (zh) 人脸识别方法及装置
US8626682B2 (en) Automatic data cleaning for machine learning classifiers
CN111339990A (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
JP2015087903A (ja) 情報処理装置及び情報処理方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN111834010A (zh) 一种基于属性约简和XGBoost的COVID-19检测假阴性识别方法
US20220245405A1 (en) Deterioration suppression program, deterioration suppression method, and non-transitory computer-readable storage medium
WO2020190480A1 (en) Classifying an input data set within a data category using multiple data recognition tools
WO2021079442A1 (ja) 推定プログラム、推定方法、情報処理装置、再学習プログラムおよび再学習方法
CN112668482B (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN113469091B (zh) 人脸识别方法、训练方法、电子设备及存储介质
JP2019067299A (ja) ラベル推定装置及びラベル推定プログラム
WO2023053216A1 (ja) 機械学習プログラム、機械学習方法および機械学習装置
CN112380374A (zh) 一种基于语义扩充的零样本图像分类方法
CN112561073A (zh) 使用基于批次的主动学习方案训练机器学习模型
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN112738724B (zh) 一种区域目标人群的精准识别方法、装置、设备和介质
CN112346126B (zh) 低级序断层的识别方法、装置、设备及可读存储介质
Lipor et al. Margin-based active subspace clustering
US20230027309A1 (en) System and method for image de-identification to humans while remaining recognizable by machines
Luebke et al. Linear dimension reduction in classification: adaptive procedure for optimum results
CN112905166A (zh) 人工智能编程系统、计算机设备、计算机可读存储介质
Atallah et al. NEURAL NETWORK WITH AGNOSTIC META-LEARNING MODEL FOR FACE-AGING RECOGNITION

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959264

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550801

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021959264

Country of ref document: EP

Effective date: 20240429