WO2021079482A1 - 生成方法、生成プログラムおよび情報処理装置 - Google Patents

生成方法、生成プログラムおよび情報処理装置 Download PDF

Info

Publication number
WO2021079482A1
WO2021079482A1 PCT/JP2019/041804 JP2019041804W WO2021079482A1 WO 2021079482 A1 WO2021079482 A1 WO 2021079482A1 JP 2019041804 W JP2019041804 W JP 2019041804W WO 2021079482 A1 WO2021079482 A1 WO 2021079482A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
data
class
inspector
detection model
Prior art date
Application number
PCT/JP2019/041804
Other languages
English (en)
French (fr)
Inventor
泰斗 横田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2019/041804 priority Critical patent/WO2021079482A1/ja
Priority to JP2021553248A priority patent/JP7207565B2/ja
Publication of WO2021079482A1 publication Critical patent/WO2021079482A1/ja
Priority to US17/708,126 priority patent/US20220222582A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the present invention relates to a generation method, a generation program, and an information processing device.
  • models For information systems used by companies, etc., the introduction of machine learning models (hereinafter, may be simply referred to as "models") for data judgment and classification functions is progressing. Since the machine learning model makes judgments and classifications according to the teacher data learned at the time of system development, if the tendency (data distribution) of the input data changes during system operation, the accuracy of the machine learning model deteriorates.
  • model accuracy deterioration detection during system operation is a method of manually checking the correctness of the model output result by a human being to calculate the correct answer rate and detecting the accuracy deterioration from the decrease in the correct answer rate. Is used.
  • the T 2 statistic (Hotelling's T-squre) is known as a technique for automatically detecting the accuracy deterioration of a machine learning model during system operation.
  • the input data and the normal data (training data) group are analyzed for principal components, and the T 2 statistic of the input data, which is the sum of the squares of the distances from the origins of each standardized principal component, is calculated.
  • the change in the ratio of the outlier data is detected, and the accuracy deterioration of the model is automatically detected.
  • the T 2 statistic uses the distance of the main component from the training data group for measurement, if the training data contains data groups of multiple categories (multi-class), it is judged as normal data. The range to be done becomes wide. Therefore, the abnormal data cannot be detected, and the accuracy deterioration detection of the model cannot be realized.
  • the training data used by the computer in the trained model is used in the generation method for generating the detection model that detects the accuracy deterioration of the trained model based on the time change of the tendency of the data streamed. Execute the process to acquire.
  • the computer learns the detection model based on the training data, determines the over-learning state of the learned detection model, and features the detection model when the determined over-learning state satisfies a preset condition. Is acquired, and a process of generating a detection model based on the acquired feature quantity is executed.
  • deterioration in accuracy can be detected even for a machine learning model that executes classification of high-dimensional data or multi-class classification.
  • FIG. 1 is a diagram illustrating an accuracy deterioration detection device according to the first embodiment.
  • FIG. 2 is a diagram for explaining accuracy deterioration.
  • FIG. 3 is a diagram illustrating an inspector model according to the first embodiment.
  • FIG. 4 is a functional block diagram showing a functional configuration of the accuracy deterioration detection device according to the first embodiment.
  • FIG. 5 is a diagram showing an example of information stored in the teacher data DB.
  • FIG. 6 is a diagram showing an example of information stored in the input data DB.
  • FIG. 7 is a diagram showing the relationship between the number of training data and the applicable range.
  • FIG. 8 is a diagram illustrating detection of accuracy deterioration.
  • FIG. 9 is a diagram illustrating a change in the distribution of the matching rate.
  • FIG. 1 is a diagram illustrating an accuracy deterioration detection device according to the first embodiment.
  • FIG. 2 is a diagram for explaining accuracy deterioration.
  • FIG. 3 is a diagram illustrating an inspector
  • FIG. 10 is a flowchart showing the flow of processing.
  • FIG. 11 is a diagram illustrating a comparison result of accuracy deterioration detection of high-dimensional data.
  • FIG. 12 is a diagram illustrating a comparison result of accuracy deterioration detection of multi-class classification.
  • FIG. 13 is a diagram illustrating a specific example using an image classifier.
  • FIG. 14 is a diagram illustrating a specific example of teacher data.
  • FIG. 15 is a diagram illustrating an execution result of accuracy deterioration detection.
  • FIG. 16 is a diagram illustrating a control example of the model application area.
  • FIG. 17 is a diagram illustrating an example of generating an inspector model according to the second embodiment.
  • FIG. 18 is a diagram illustrating a change in validation accuracy.
  • FIG. 11 is a diagram illustrating a comparison result of accuracy deterioration detection of high-dimensional data.
  • FIG. 12 is a diagram illustrating a comparison result of accuracy deterioration detection of multi-class classification.
  • FIG. 19 is a diagram illustrating the generation of an inspector model using validation accuracy.
  • FIG. 20 is a diagram illustrating an example in which the boundary position between the machine learning model and the inspector model does not change.
  • FIG. 21 is a diagram illustrating an inspector model of the third embodiment.
  • FIG. 22 is a diagram illustrating deterioration detection of the third embodiment.
  • FIG. 23 is a diagram illustrating an example of teacher data of another class (class 10).
  • FIG. 24 is a diagram illustrating the effect of the third embodiment.
  • FIG. 25 is a diagram illustrating a hardware configuration example.
  • FIG. 1 is a diagram illustrating an accuracy deterioration detection device 10 according to the first embodiment.
  • the accuracy deterioration detection device 10 shown in FIG. 1 executes determination (classification) of input data using a trained machine learning model (hereinafter, may be simply referred to as a “model”), while machine learning.
  • model a trained machine learning model
  • This is an example of a computer device that monitors the accuracy of a model and detects accuracy deterioration.
  • a machine learning model is trained using image data with an explanatory variable as image data and teacher data with an objective variable as a clothing name during training, and when image data is input as input data during operation, a "shirt” or the like is used. It is an image classifier that outputs the judgment result.
  • the machine learning model is an example of an image classifier that performs classification of high-dimensional data and multi-class classification.
  • the machine learning model learned by machine learning or deep learning is learned based on the teacher data that is a combination of the training data and the labeling, it functions only within the range included in the teacher data.
  • the machine learning model it is assumed that the same kind of data as at the time of learning is input after operation, but in reality, the state of the input data changes and the machine learning model functions properly. It may disappear. That is, "model accuracy deterioration" occurs.
  • FIG. 2 is a diagram for explaining the deterioration of accuracy.
  • FIG. 2 is information organized by excluding unnecessary data of the input data, and shows a feature space in which the machine learning model classifies the input input data.
  • FIG. 2 illustrates the feature space classified into class 0, class 1, and class 2.
  • the accuracy deterioration detection device 10 solves the same problem as the machine learning model to be monitored, and at least one inspector generated by using a DNN (Deep Neural Network). Use a model (monitor, sometimes referred to simply as "inspector” below). Specifically, the accuracy deterioration detection device 10 aggregates the matching rate between the output of the machine learning model and the output of each inspector model for each output class of the machine learning model, thereby changing the distribution of the matching rate, that is, inputting. Detect changes in data distribution.
  • DNN Deep Neural Network
  • FIG. 3 is a diagram illustrating an inspector model according to the first embodiment.
  • the inspector model is an example of a detection model generated under different conditions (different model application domain (Applicability Domain)) from the machine learning model. That is, each area (each feature amount) judged by the inspector model as class 0, class 1, and class 2 is narrower than each area judged by the machine learning model as class 0, class 1, and class 2. , The inspector model is generated.
  • different model application domain Applicability Domain
  • the machine learning model determines that the input data is class 0, and the inspector model is also class 0. Is determined. That is, both are within the model application area of class 0, and the output values always match, so that the matching rate does not decrease.
  • the machine learning model determines that the input data is class 0, but the inspector model is an area outside the model application range of each class. Therefore, it is not always judged as class 0. That is, since the output values do not always match, the matching rate decreases.
  • the accuracy deterioration detection device 10 is a class based on the inspector model trained so as to have a model application area narrower than the model application area of the machine learning model in parallel with the class determination by the machine learning model. Execute the judgment and calculate the match rate of both class judgments. Then, since the accuracy deterioration detection device 10 detects the distribution change of the input data by the change of the matching rate, it is possible to detect the accuracy deterioration of the machine learning model that executes the classification of high-dimensional data and the multi-class classification.
  • FIG. 4 is a functional block diagram showing a functional configuration of the accuracy deterioration detection device 10 according to the first embodiment.
  • the accuracy deterioration detection device 10 includes a communication unit 11, a storage unit 12, and a control unit 209.
  • the communication unit 11 is a processing unit that controls communication with other devices, such as a communication interface. For example, the communication unit 11 receives various instructions from an administrator terminal or the like. In addition, the communication unit 11 receives input data to be determined from various terminals.
  • the storage unit 12 is an example of a storage device that stores data, a program executed by the control unit 20, and the like, such as a memory and a hard disk.
  • the storage unit 12 stores the teacher data DB 13, the input data DB 14, the machine learning model 15, and the inspector model DB 16.
  • the teacher data DB 13 is a database that stores teacher data used for learning a machine learning model and is also used for learning an inspector model.
  • FIG. 5 is a diagram showing an example of information stored in the teacher data DB 13. As shown in FIG. 5, the teacher data DB 13 stores the data ID and the teacher data in association with each other.
  • the data ID stored here is an identifier that identifies the teacher data.
  • the teacher data is training data used for learning or verification data used for verification at the time of learning.
  • the training data X whose data ID is “A1” and the verification data Y whose data ID is “B1” are illustrated.
  • the training data and the verification data are data in which the image data, which is an explanatory variable, and the correct answer information (label), which is an objective variable, are associated with each other.
  • the input data DB 14 is a database that stores the input data to be determined. Specifically, the input data DB 14 is image data input to the machine learning model, and stores image data to be image-classified.
  • FIG. 6 is a diagram showing an example of information stored in the input data DB 14. As shown in FIG. 6, the input data DB 14 stores the data ID and the input data in association with each other.
  • the data ID stored here is an identifier that identifies the input data.
  • the input data is image data to be classified. In the example of FIG. 6, the input data 1 whose data ID is “01” is illustrated.
  • the input data does not need to be stored in advance and may be transmitted as a data stream from another terminal.
  • the machine learning model 15 is a learned machine learning model, and is a model to be monitored by the accuracy deterioration detection device 10. It is also possible to store a machine learning model 15 such as a neural network or a support vector machine in which trained parameters are set, and a trained parameter that can be constructed by the trained machine learning model 15 is stored. May be good.
  • the inspector model DB 16 is a database that stores information on at least one inspector model used for detecting accuracy deterioration.
  • the inspector model DB 16 is a parameter for constructing each of the five inspector models, and stores various parameters of the DNN generated (optimized) by machine learning by the control unit 20 described later.
  • the inspector model DB 16 can also store the trained parameters, and can also store the inspector model itself (DNN) in which the trained parameters are set.
  • the control unit 20 is a processing unit that controls the entire accuracy deterioration detection device 10, such as a processor.
  • the control unit 20 includes an inspector model generation unit 21, a threshold value setting unit 22, and a deterioration detection unit 23.
  • the inspector model generation unit 21, the threshold value setting unit 22, and the deterioration detection unit 23 are examples of electronic circuits included in the processor, examples of processes executed by the processor, and the like.
  • the inspector model generation unit 21 is a processing unit that generates an inspector model, which is an example of a monitor and a detection model that detects accuracy deterioration of the machine learning model 15. Specifically, the inspector model generation unit 21 generates a plurality of inspector models having different model application ranges by deep learning using the teacher data used for learning the machine learning model 15. Then, the inspector model generation unit 21 stores various parameters for constructing each inspector model (each DNN) having a different model application range obtained by deep learning in the inspector model DB 16.
  • the inspector model generation unit 21 generates a plurality of inspector models having different application ranges by controlling the number of training data.
  • FIG. 7 is a diagram showing the relationship between the number of training data and the applicable range.
  • FIG. 7 illustrates the feature space of the three class classifications of class 0, class 1, and class 2.
  • the larger the number of training data the more features are learned. Therefore, more comprehensive learning is executed and a model with a wide model application range is generated. Will be done.
  • the feature amount of the teacher data to be learned is smaller, so that the range (feature amount) that can be covered is limited, and a model with a narrow model application range is generated.
  • the inspector model generation unit 21 generates a plurality of inspector models by changing the number of training data while keeping the number of trainings the same. For example, consider a case where five inspector models are generated in a state where the machine learning model 15 is trained by the number of trainings (100 epochs) and the number of training data (1000 pieces / class). In this case, the inspector model generation unit 21 sets the number of training data of the inspector model 1 to "500 / class", the number of training data of the inspector model 2 to "400 / class", and the number of training data of the inspector model 3.
  • the teacher data is obtained from the teacher data DB13. Randomly select and learn each with 100 epochs.
  • the inspector model generation unit 21 stores various parameters of the learned inspector models 1, 2, 3, 4, and 5 in the inspector model DB 16. In this way, the inspector model generation unit 21 can generate five inspector models having a model application range narrower than the application range of the machine learning model 15 and having different model application ranges.
  • the inspector model generation unit 21 can learn each inspector model by using a method such as error back propagation, and other methods can also be adopted. For example, the inspector model generator updates the DNN parameters so that the error between the output result obtained by inputting the training data into the inspector model and the label of the input training data becomes small, so that the inspector model can be used. (DNN) learning is performed.
  • the threshold value setting unit 22 sets a threshold value for determining the accuracy deterioration of the machine learning model 15 and is used for determining the matching rate. For example, the threshold setting unit 22 reads the machine learning model 15 from the storage unit 12 and reads various parameters from the inspector model DB 16 to construct five trained inspector models. Then, the threshold value setting unit 22 reads out each verification data stored in the teacher data DB 13, inputs them into the machine learning model 15 and each inspector model, and enters the model application area based on each output result (classification result). Get the distribution result.
  • the threshold setting unit 22 sets the matching rate of each class between the machine learning model 15 and the inspector model 1 with respect to the verification data, the matching rate of each class between the machine learning model 15 and the inspector model 2, and the machine learning model 15.
  • the matching rate of each class between the inspector model 3 and the matching rate of each class between the machine learning model 15 and the inspector model 4 and the matching rate of each class between the machine learning model 15 and the inspector model 5 are calculated.
  • the threshold value setting unit 22 sets the threshold value using each matching rate. For example, the threshold value setting unit 22 displays each match rate on a display or the like and accepts the threshold value setting from the user. Further, the threshold value setting unit 22 is arbitrarily selected and set according to the deterioration state requested by the user, such as the average value of each matching rate, the maximum value of each matching rate, and the minimum value of each matching rate. Can be done.
  • the deterioration detection unit 23 has a classification unit 24, a monitoring unit 25, and a notification unit 26, and compares the output result of the machine learning model 15 with respect to the input data with the output result of each inspector model for machine learning.
  • This is a processing unit that detects deterioration in the accuracy of the model 15.
  • the classification unit 24 is a processing unit that inputs input data to each of the machine learning model 15 and each inspector model and acquires each output result (classification result). For example, when the learning of each inspector model is completed, the classification unit 24 acquires the parameters of each inspector model from the inspector model DB 16 to construct each inspector model, and executes the machine learning model 15.
  • the classification unit 24 inputs the input data to the machine learning model 15 and acquires the output result, and transfers the input data to each of the five inspector models from the inspector model 1 (DNN1) to the inspector model 5 (DNN5). Input and get each output result. After that, the classification unit 24 stores the input data and each output result in association with each other in the storage unit 12, and outputs the input data to the monitoring unit 25.
  • the monitoring unit 25 is a processing unit that monitors the accuracy deterioration of the machine learning model 15 by using the output results of each inspector model. Specifically, the monitoring unit 25 measures the distribution change of the matching rate between the output of the machine learning model 15 and the output of the inspector model for each class. For example, the monitoring unit 25 calculates the matching rate between the output result of the machine learning model 15 and the output result of each inspector model for each input data, and detects the deterioration of the accuracy of the machine learning model 15 when the matching rate decreases. To do. The monitoring unit 25 outputs the detection result to the notification unit 26.
  • FIG. 8 is a diagram for explaining the detection of accuracy deterioration.
  • FIG. 8 illustrates the output result of the machine learning model 15 to be monitored and the output result of the inspector model for the input data.
  • the output of the inspector model is calculated with respect to the output of the machine learning model 15 to be monitored by using one inspector model as an example and the data distribution to the model application area in the feature space.
  • the monitoring unit 25 has six input data belonging to the model application area of class 0 and six to the model application area of class 1 from the machine learning model 15 to be monitored. It is acquired that the input data belongs and eight input data belong to the model application area of the class 2. On the other hand, from the inspector model, the monitoring unit 25 has 6 input data belonging to the model application area of class 0, 6 input data belonging to the model application area of class 1, and 8 to the model application area of class 2. Gets that two input data belong.
  • the monitoring unit 25 calculates the matching rate as 100% because the matching rate of each class of the machine learning model 15 and the inspector model matches. At this timing, the classification results match.
  • the monitoring unit 25 receives from the machine learning model 15 to be monitored that six input data belong to the model application area of class 0 and six input data belong to the model application area of class 1. It is acquired that eight input data belong to the model application area of class 2. On the other hand, from the inspector model, the monitoring unit 25 has three input data belonging to the model application area of class 0, six input data belonging to the model application area of class 1, and eight to the model application area of class 2. Gets that two input data belong.
  • the monitoring unit 25 calculates the match rate as 50% ((3/6) ⁇ 100) for class 0, and calculates the match rate as 100% for class 1 and class 2. That is, a change in the class 0 data distribution is detected. At this timing, the inspector model is not always classified into class 0 with respect to the three input data not classified into class 0.
  • the monitoring unit 25 belongs to the machine learning model 15 to be monitored, and three input data belong to the model application area of class 0, and six input data belong to the model application area of class 1. , Acquire that eight input data belong to the model application area of class 2.
  • the monitoring unit 25 has one input data belonging to the model application area of class 0, six input data belonging to the model application area of class 1, and eight to the model application area of class 2. Gets that two input data belong.
  • the monitoring unit 25 calculates the match rate as 33% ((1/3) ⁇ 100) for class 0, and calculates the match rate as 100% for class 1 and class 2. That is, it is determined that the class 0 data distribution has changed.
  • the input data that should be classified as class 0 is not classified as class 0, and in the inspector model, the five input data that are not classified as class 0 are classified as class 0. It is not always classified.
  • FIG. 9 is a diagram illustrating a change in the distribution of the matching rate.
  • the horizontal axis is each inspector model and the vertical axis is the match rate (match rate), and shows the change in the match rate between each of the five inspector models and the machine learning model 15 for a certain class.
  • the size of the model application area of the inspector model 1, 2, 3, 4, 5 is assumed to be the widest in the inspector model 1 and the narrowest in the inspector model 5. In this case, as time elapses from the initial stage of the start of operation, the narrower the model application area of the inspector model, the more sensitively it reacts to the distribution of data, so that the matching rate of the inspector models 5 and 4 decreases.
  • the monitoring unit 25 can detect the occurrence of accuracy deterioration by detecting that the matching rate of the inspector models 5 and 4 is below the threshold value. In addition, the monitoring unit 25 can detect a change in the tendency of the input data by detecting that the matching rate of most of the inspector models is below the threshold value.
  • the notification unit 26 is a processing unit that notifies a predetermined device of an alert or the like when an accuracy deterioration of the machine learning model 15 is detected. For example, the notification unit 26 notifies an alert when an inspector model having a matching rate lower than the threshold value is detected, or when a predetermined number or more of inspector models having a matching rate lower than the threshold value are detected.
  • the notification unit 26 can also notify an alert for each class. For example, the notification unit 26 notifies an alert when a predetermined number or more of inspector models whose matching rate is lower than the threshold value are detected for a certain class.
  • the monitoring items can be arbitrarily set for each class or each inspector model. Also, for each inspector model, the average matching rate for each class can be used as the matching rate for each inspector model.
  • FIG. 10 is a flowchart showing the flow of processing.
  • the inspector model generation unit 21 when the process is started (S101: Yes), the inspector model generation unit 21 generates teacher data for each inspector model (S102), and uses the training data in the generated teacher data. Then, the training for each inspector model is executed to generate each inspector model (S103).
  • the threshold value setting unit 22 calculates the match rate of the output result obtained by inputting the verification data in the teacher data into the machine learning model 15 and each inspector model (S104), and sets the threshold value based on the match rate. (S105).
  • the deterioration detection unit 23 inputs the input data to the machine learning model 15 to acquire the output result (S106), and inputs the input data to each inspector model to acquire the output result (S107).
  • the deterioration detection unit 23 accumulates the comparison of the output results, that is, the distribution of the model application area in the feature amount space (S108), and repeats S106 and subsequent steps until the accumulated number reaches the specified number (S109: No).
  • the deterioration detection unit 23 calculates the matching rate between each inspector model and the machine learning model 15 for each class (S110).
  • the accuracy deterioration detection device 10 generates at least one or more inspector models in which the range of the model application area is narrower than that of the machine learning model to be monitored. Then, the accuracy deterioration detection device 10 measures the distribution change of the matching rate between the output of the machine learning model and the output of each inspector model for each class. As a result, the accuracy deterioration detection device 10 can detect the model accuracy deterioration even for the multi-class classification problem of high-dimensional data, and the tendency of the input data without using the correctness information of the machine learning model 15 output. It is possible to detect the functional deterioration of the trained model due to the time change of.
  • FIG. 11 is a diagram illustrating a comparison result of accuracy deterioration detection of high-dimensional data.
  • the machine learning model 15 is trained using the image data of a cat whose background is often green as training data, and the accuracy deterioration detection by a general technique such as T 2 statistics and the method according to the first embodiment ( Use the inspector model) to compare with accuracy deterioration detection.
  • the horizontal axis and vertical axis of each graph in FIG. 11 also show the feature amount.
  • the machine learning model 15 learns that the training data has a large number of green components and white components as feature quantities. Therefore, in the above general technique for performing principal component analysis, even if image data of a dog having a large amount of green components is input, it is determined to be in the cat class. Further, in the case of image data having an abnormally large amount of white, even if it is a cat image, it cannot be detected as a cat class because the amount of white features is too large.
  • the inspector model according to the first embodiment has a narrower model application area than the machine learning model 15. Therefore, the inspector model can determine that the cat is not in the cat class even if the image data of the dog with a large amount of green component is input, and further, even if the image data of the cat has an abnormally large amount of white, the image data of the cat Since the feature amount can be learned accurately, it can be detected as a cat class.
  • the inspector model of the accuracy deterioration detection device 10 can detect input data having a feature amount different from that of the training data with high accuracy as compared with the general technique. Therefore, the accuracy deterioration detection device 10 can follow the distribution change of the input data by the matching rate between the machine learning model 15 and the inspector model, and can detect the accuracy deterioration of the machine learning model 15.
  • FIG. 12 is a diagram illustrating a comparison result of accuracy deterioration detection of multi-class classification.
  • accuracy deterioration detection by a general technique such as T 2 statistics is compared with accuracy deterioration detection by a method according to Example 1 (using an inspector model).
  • the inspector model according to the first embodiment has a narrower model application area than the machine learning model 15. Therefore, the model application area of class 0, the model application area of class 1, and the model application area of class 2 can be distinguished. Therefore, data belonging to areas other than the model application area can be accurately detected as abnormal. Therefore, since it is possible to detect that the input data has changed to the abnormal value data shown in FIG. 12, it is possible to realize the accuracy deterioration detection of the model.
  • the image classifier is a machine learning model that classifies input images by class (category). For example, on a mail-order site for apparel or an auction site for buying and selling clothing between individuals, an image of clothing is uploaded to the site and the category of the clothing is registered on the site. In order to automatically register the category of the image uploaded to the site, the machine learning model is used to predict the clothing category from the image. If the tendency (data distribution) of the uploaded clothing image changes during system operation, the accuracy of the machine learning model deteriorates.
  • the correctness of the prediction result is manually confirmed, the correct answer rate is calculated, and the deterioration of model accuracy is detected. Therefore, by applying the method according to the first embodiment, the deterioration of the model accuracy is detected without using the correctness information of the prediction result.
  • FIG. 13 is a diagram illustrating a specific example using an image classifier. As shown in FIG. 13, in the system shown in the specific example, input data is input to each of the image classifier, the inspector model 1, and the inspector model 2, and the data distribution of the model application area between the image classifier and each inspector model is distributed. It is a system that detects the deterioration of the accuracy of the image classifier using the match rate and outputs an alert.
  • FIG. 14 is a diagram illustrating a specific example of teacher data.
  • the teacher data of the specific example shown in FIG. 13 is a T-shirt with a label of class 0, trousers with a label of class 1, a proover with a label of class 2, and a label of class 3. Then, each image data of the dress and the coat whose label is class 4 is used. Further, image data of sandals having a label of class 5, shirts having a label of class 6, sneakers having a label of class 7, bags having a label of class 8, and ankle boots having a label of class 9 are used.
  • the image classifier is a classifier using DNN that classifies 10 classes, and is trained with 1000 teacher data / class and 100 epochs of training times.
  • the inspector model 1 is a detector using DNN that classifies 10 classes, and is trained with 200 teacher data / class and 100 epochs of training times.
  • the inspector model 2 is a detector using a DNN that classifies 10 classes, and is trained with 100 teacher data per class and 100 training times as 100 epochs.
  • the model application area is narrowed in the order of the image classifier, the inspector model 1, and the inspector model 2.
  • the teacher data was randomly selected from the teacher data of the image classifier. Further, the threshold value of the match rate of each class is 0.7 for both the inspector model 1 and the inspector model 2.
  • the input data of the system shown in FIG. 13 uses the image (grayscale) of the clothing (any of the 10 classes) as well as the teacher data.
  • the input image may be in color.
  • Input data matched to the image classifier (machine learning model 15) to be monitored is used.
  • the accuracy deterioration detection device 10 inputs the data input to the image classifier to be monitored to each inspector model, executes an output comparison, and compares each output class of the image classifier. Accumulate results (matched or unmatched). Then, the accuracy deterioration detection device 10 calculates the match rate of each class from the accumulated comparison results (for example, the latest 100 pieces / class), and determines whether the match rate is less than the threshold value. Then, when the value is less than the threshold value, the accuracy deterioration detection device 10 outputs an alert for accuracy deterioration detection.
  • FIG. 15 is a diagram for explaining the execution result of the accuracy deterioration detection.
  • FIG. 15 shows the execution result of the case where only the class 0 (T-shirt) image of the input data is gradually rotated and the tendency is changed.
  • the accuracy deterioration detection device 10 notified the alert when the match rate (0.69) of the inspector model 2 fell below the threshold value (for example, 0.7) when the class 0 data was rotated by 10 degrees.
  • the threshold value for example, 0.7
  • the accuracy deterioration detection device 10 was able to detect the accuracy deterioration of the model when the accuracy rate of the image classifier decreased slightly.
  • Example 1 an example in which each inspector model in which the model application area is reduced is generated by reducing the training data, which is the opposite of the data expansion, which is a method of increasing the training data in order to expand the model application area.
  • the model application area may not necessarily be narrowed.
  • FIG. 16 is a diagram illustrating a control example of the model application area.
  • the training data of the inspector model is randomly reduced, and the number of training data to be reduced is changed for each inspector model to reduce the model application area. Generated an inspector model.
  • the model application area of the inspector model generated by reducing the training data is not narrowed. In this way, if the model application area is not narrowed, it takes man-hours for remaking.
  • the model application area is surely narrowed by overfitting using the same training data as the machine learning model to be monitored.
  • the size of the model application area is arbitrarily adjusted by the value of validation accuracy (correct answer rate for verification data).
  • FIG. 17 is a diagram illustrating an example of generating an inspector model according to the second embodiment.
  • the validation accuracy at that time is calculated and held at the timing when the training of the inspector model is executed by 30 epochs using the training data.
  • the validation accuracy at that time is calculated and held using the verification data, and at the timing when the learning of the inspector model is executed at 100 epochs, at that time.
  • the validation accuracy of is calculated and retained.
  • the state of the inspector model for example, the DNN feature amount
  • the validation accuracy of the inspector model during training is monitored, and it is intentionally over-learned until it drops to an arbitrary validation accuracy value, so that it is over-learned. It causes a state in which generalization performance deteriorates. That is, by holding the state of the inspector model with an arbitrary validation accuracy value, an inspector model in which the size of the model application area is arbitrarily adjusted is generated.
  • FIG. 18 is a diagram illustrating changes in validation accuracy.
  • FIG. 18 shows the relationship between the number of trainings and the learning curve during learning.
  • the inspector model generation unit 21 of the accuracy deterioration detection device 10 according to the second embodiment surely narrows the model application area by over-learning using the same training data as the machine learning model to be monitored.
  • the DNN used for the inspector model is optimized for training data as it is overfitted, and the model application area is reduced.
  • the correct answer rate gradually increases as the number of trainings increases.
  • the training accuracy (correct answer rate for training data) gradually increases, but overfitting progresses, so the validation accuracy decreases. ..
  • the more overfitted, the narrower the model application area, and the smaller the change in the input data the lower the accuracy rate. This is because the generalization performance is lost due to overfitting, and the accuracy rate for data other than training data decreases. Since it can be confirmed that the model application area is narrowed due to the decrease in the validation accuracy value, it is possible to generate a plurality of inspector models having different model application areas by monitoring the validation accuracy value.
  • FIG. 19 is a diagram illustrating the generation of an inspector model using validation accuracy.
  • FIG. 19 shows the relationship between the number of trainings and the learning curve during learning.
  • the size of the model application area of the inspector model can be measured by the high and low values of validation accuracy.
  • the inspector model generation unit 21 learns the inspector model (DNN) using the training data, and acquires various parameters of the DNN1 when the validation accuracy value becomes 0.9. And hold.
  • the inspector model generation unit 21 continues further training, and various parameters of DNN2 when the value of validation accuracy becomes 0.8, various parameters of DNN3 when the value of validation accuracy becomes 0.6, and validation accuracy.
  • various parameters of DNN4 when the value of is 0.4 and various parameters of DNN5 when the value of validation accuracy is 0.2 are acquired and held.
  • the inspector model generation unit 21 can generate DNN1, DNN2, DNN3, DNN4, and DNN5 in which the model application areas are surely different.
  • "matching rate ⁇ (validation accuracy) x correct answer rate of the model to be monitored” That is, the distribution of the match rate is proportional to the validation accuracy of the inspector model, as shown in the graph in the lower figure of FIG.
  • the accuracy deterioration detection device 10 can always narrow the model application area of the inspector model, it is possible to reduce the man-hours such as recreating the inspector model required when the model application area is not narrowed. Further, since the accuracy deterioration detection device 10 can measure the size of the model application area by the high and low values of the validation accuracy, it is possible to always create an inspector model of a different model application area by changing the value of the validation accuracy. The requirement "multiple inspector models in different model application areas" required for accuracy deterioration detection can be surely satisfied.
  • the accuracy deterioration detection device 10 detects the accuracy deterioration of the machine learning model 15 by using a plurality of inspector models generated by the above-described method, so that the accuracy is higher than that of the first embodiment. High detection can be achieved.
  • the position of the decision boundary of each class may not change even if the number of training data is reduced. If the position of the decision boundary does not change, that is, if the output of the inspector model is exactly the same as the output of the machine learning model to be monitored even outside the model application area and all match, the change in the tendency of the input data is changed. Cannot be detected.
  • FIG. 20 is a diagram illustrating an example in which the boundary position between the machine learning model and the inspector model does not change.
  • the position of the determination boundary changes, so that the model accuracy deterioration can be detected by the change in the matching rate.
  • the outputs of all the input data match, and the deterioration of model accuracy cannot be detected.
  • Example 3 an "unknown class" is newly established in the classification class of the inspector model. Then, the inspector model is trained using the teacher data obtained by adding the training data of other classes to the same training data set as the machine learning model to be monitored. For the training data of other classes, data unrelated to the original training data set is used. Specifically, data randomly extracted from an unrelated data set having the same format, or data automatically generated by setting a random value for each item is adopted. If the output of the inspector model is in another class, the input data is determined to be outside the model application area.
  • FIG. 21 is a diagram illustrating the inspector model of the third embodiment.
  • the normal inspector model described in the first and second embodiments classifies the feature space into a class 0 model application area, a class 1 model application area, and a class 2 model application area. It was done. Therefore, a normal inspector model can guarantee the class to be classified for the data corresponding to these model application areas, but classify the data not corresponding to these model application areas into which class. I can't guarantee that. For example, if the input data to be classified into class 0 is classified as class 1 in the machine learning model 15 and classified as class 1 in the inspector model, it will match as the classification result of class 1 and the matching rate will decrease. do not.
  • the inspector model of the third embodiment classifies the feature space into a class 0 model application area, a class 1 model application area, and a class 2 model application area, and does not belong to any of the classes. Areas are classified as class 10 model application areas (other classes). Therefore, the inspector model of the third embodiment can guarantee the class to be classified for the data corresponding to the model application area of each class, and the data not corresponding to the model application area of each class is classified into the class 10. Can be guaranteed to classify.
  • the accuracy deterioration detection device 10 according to the third embodiment has, for each inspector model, in addition to the output class of the machine learning model 15 to be monitored, other classes representing data outside the model application area (for example, class 10) will be newly established.
  • the accuracy deterioration detection device 10 according to the third embodiment treats the input data determined to be in the other class as "non-matching" in the model accuracy deterioration detection mechanism.
  • FIG. 22 is a diagram illustrating deterioration detection of the third embodiment. As shown in FIG. 22, in the initial stage of operation, the deterioration detection unit 23 has a matching rate of each of the monitored machine learning model 15 and the inspector model because each input data belongs to the model application range of each class. It remains high.
  • the deterioration detection unit 23 has input data in which each input data belongs to the model application range of each class for the machine learning model 15 to be monitored, but is classified into class 10 (other classes) for the inspector model. Appears.
  • the input data classified into the class 10 is a class that is not classified by the machine learning model 15, and therefore does not match. That is, the match rate gradually decreases.
  • the deterioration detection unit 23 has input data in which each input data belongs to the model application range of each class for the machine learning model 15 to be monitored, but is classified into class 10 (other classes) for the inspector model. Occurs frequently. Therefore, the deterioration detection unit 23 can detect that the accuracy is deteriorated because the matching rate is below the threshold value.
  • FIG. 23 is a diagram illustrating an example of teacher data of another class (class 10).
  • the inspector model generation unit 21 uses the image data shown in FIG. 23 in addition to the image data described in FIG. 14 as the teacher data of the inspector model to obtain the model application area of the class 10. Train the inspector model. That is, the inspector model generation unit 21 randomly sets features different from the first training data used in the machine learning model 15, and determines data that has not been trained in the machine learning model 15. An inspector model is generated by learning using the second training data having.
  • teacher data for class 10 1000 images randomly selected from 1000 types of images published on the Internet are used.
  • image data in a category different from the clothing shown in FIG. 14, such as an apple image, a baby image, a bear image, a bed image, a bicycle image, and a fish image in other words, the clothing includes the image data.
  • the inspector model is trained in the model application area of the class 10 by using the image data in which the non-label is set.
  • the image classifier is a classifier using DNN that classifies 10 classes, and trains with 1000 teacher data / class and 100 epochs of training times.
  • the inspector model is a detector using DNN that classifies 11 classes, and trains with 1000 teacher data / 1 class and 1000 other classes, and the number of trainings is 100 epochs.
  • the teacher data was randomly selected from the teacher data of the image classifier.
  • the accuracy deterioration detection device 10 inputs the data input to the image classifier to be monitored into the inspector model, executes an output comparison, and compares the comparison results for each output class of the image classifier ( Accumulate (matched or unmatched). Then, the accuracy deterioration detection device 10 calculates the match rate of each class from the accumulated comparison results (for example, the latest 100 pieces / class), and determines whether the match rate is less than the threshold value. Then, when the value is less than the threshold value, the accuracy deterioration detection device 10 outputs an alert for accuracy deterioration detection.
  • FIG. 24 is a diagram illustrating the effect of the third embodiment.
  • FIG. 24 shows the execution result of the case where only the class 0 (T-shirt) image of the input data is gradually rotated and the tendency is changed.
  • the accuracy deterioration detection device 10 notified the alert when the match rate (0.68) of the inspector model fell below the threshold value (for example, 0.7) when the class 0 data was rotated 5 degrees. In other words, the deterioration of the accuracy of the model could be detected when the accuracy rate of the image classifier decreased slightly.
  • the accuracy deterioration detection device 10 according to the third embodiment has high accuracy capable of detecting accuracy deterioration even in the case of training data in which the characteristics of each class are clearly separated, that is, even when the determination boundary does not change. You can generate an inspector model. Further, the accuracy deterioration detection device 10 according to the third embodiment can sensitively detect a change in the distribution of input data by using an inspector model capable of detecting other classes. The accuracy deterioration detection device 10 according to the third embodiment can detect the accuracy deterioration based on the matching rate of each class, and can also detect the accuracy deterioration when the number of appearances of the other classes exceeds the threshold value. ..
  • the match rate was calculated by focusing on class 0, but each class can also be focused on.
  • the monitoring unit 25 after the lapse of time, the monitoring unit 25 has 6 input data belonging to the model application area of class 0 from the machine learning model 15 to be monitored, and 6 in the model application area of class 1. It is acquired that one input data belongs and eight input data belong to the model application area of class 2.
  • the monitoring unit 25 has three input data belonging to the model application area of class 0, nine input data belonging to the model application area of class 1, and eight to the model application area of class 2. Gets that two input data belong. In this case, the monitoring unit 25 can detect a decrease in the matching rate for each of the class 0 and the class 1.
  • the accuracy deterioration detection device 10 can relearn the machine learning model 15 by using the determination result of the inspector model as correct answer information. For example, the accuracy deterioration detection device 10 can relearn the machine learning model 15 by generating relearning data using each input data as an explanatory variable and the determination result of the inspector model for each input data as an objective variable. When there are a plurality of inspector models, an inspector model having a low matching rate with the machine learning model 15 can be adopted.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution and integration of each device is not limited to the one shown in the figure. That is, all or a part thereof can be functionally or physically distributed / integrated in any unit according to various loads, usage conditions, and the like.
  • a device that executes the machine learning model 15 to classify input data and a device that detects accuracy deterioration can be realized in separate housings.
  • each processing function performed by each device can be realized by a CPU and a program that is analyzed and executed by the CPU, or can be realized as hardware by wired logic.
  • FIG. 25 is a diagram illustrating a hardware configuration example.
  • the accuracy deterioration detection device 10 includes a communication device 10a, an HDD (Hard Disk Drive) 10b, a memory 10c, and a processor 10d. Further, the parts shown in FIG. 25 are connected to each other by a bus or the like.
  • HDD Hard Disk Drive
  • the communication device 10a is a network interface card or the like, and communicates with other devices.
  • the HDD 10b stores a program or DB that operates the function shown in FIG.
  • the processor 10d reads a program that executes the same processing as each processing unit shown in FIG. 4 from the HDD 10b or the like and expands it in the memory 10c to operate a process that executes each function described in FIG. 4 or the like. For example, this process executes the same function as each processing unit of the accuracy deterioration detection device 10. Specifically, the processor 10d reads a program having the same functions as the inspector model generation unit 21, the threshold value setting unit 22, the deterioration detection unit 23, and the like from the HDD 10b and the like. Then, the processor 10d executes a process of executing the same processing as the inspector model generation unit 21, the threshold value setting unit 22, the deterioration detection unit 23, and the like.
  • the accuracy deterioration detection device 10 operates as an information processing device that executes the accuracy deterioration detection determination method by reading and executing the program. Further, the accuracy deterioration detection device 10 can realize the same function as that of the above-described embodiment by reading the program from the recording medium by the medium reading device and executing the read program.
  • the program referred to in the other embodiment is not limited to being executed by the accuracy deterioration detection device 10.
  • the present invention can be similarly applied when another computer or server executes a program, or when they execute a program in cooperation with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

精度劣化検出装置は、学習済みモデルで用いた訓練データを取得する。そして、精度劣化検出装置は、訓練データに基づいて検出モデルを学習する。続いて、精度劣化検出装置は、学習した検出モデルの過学習の状態を判定する。その後、精度劣化検出装置は、判定した過学習の状態が予め設定された条件を満たすときの検出モデルの特徴量を取得する。そして、精度劣化検出装置は、取得した特徴量に基づいて検出モデルを生成する。

Description

生成方法、生成プログラムおよび情報処理装置
　本発明は、生成方法、生成プログラムおよび情報処理装置に関する。
　企業等で利用されている情報システムに対して、データの判定や分類機能などへの機械学習モデル（以下では、単に「モデル」と記載する場合がある）の導入が進んでいる。機械学習モデルは、システム開発時に学習させた教師データの通りに判定や分類を行うので、システム運用中に入力データの傾向（データ分布）が変化すると、機械学習モデルの精度が劣化する。
　一般的に、システム運用中のモデル精度劣化検知は、定期的に手動で、モデルの出力結果の正誤を人間が確認することで正解率を算出し、正解率の低下から精度劣化を検知する手法が利用される。
　近年では、システム運用中の機械学習モデルの精度劣化を自動で検出する技術として、Ｔ２統計量（Hotelling’s　T-squre）が知られている。例えば、入力データと正常データ（訓練データ）群を主成分分析し、標準化した各主成分の原点からの距離の二乗の合計である、入力データのＴ２統計量を算出する。そして、入力データ群のＴ２統計量の分布に基づき、異常値データの割合の変化を検出して、モデルの精度劣化を自動で検知する。
A.　Shabbak　and　H．Midi,"An　Improvement　of　the　Hotelling　Statistic　in　Monitoring　Multivariate　Quality　Characteristics"，　Mathematical　Problems　in　Engineering　（２０１２）　１－１５．
　しかしながら、上記技術では、精度劣化の検出対象とする機械学習モデルに制限が多く、汎用的に使用することが難しい。
　例えば、元々の情報量が非常に大きい数千から数万次元の高次元データを処理対象とするモデルに適用した場合、主成分分析により数次元まで次元削減すると、ほとんどの情報が失われてしまう。このため、分類や判定に重要な情報である特徴量まで失われてしまい、異常データを上手く検知することができず、モデルの精度劣化検知を実現できない。
　また、Ｔ２統計量では、訓練データ群との主成分の距離を測定に利用しているので、訓練データ内に複数のカテゴリ（多クラス）のデータ群が混ざっている場合、正常データと判定される範囲が広くなってしまう。このため、異常データを検知することができず、モデルの精度劣化検知を実現できない。
　一つの側面では、高次元データの分類や多クラス分類を実行する機械学習モデルに対しても精度の劣化を検出することができる生成方法、生成プログラムおよび情報処理装置を提供することを目的とする。
　第１の案では、データストリーム処理されるデータの傾向の時間変化に基づく、学習済みモデルの精度劣化を検出する検出モデルを生成する生成方法において、コンピュータが、学習済みモデルで用いた訓練データを取得する処理を実行する。コンピュータが、前記訓練データに基づいて検出モデルを学習し、学習した前記検出モデルの過学習の状態を判定し、判定した過学習の状態が予め設定された条件を満たすときの検出モデルの特徴量を取得し、取得した前記特徴量に基づいて検出モデルを生成する処理を実行する。
　一実施形態によれば、高次元データの分類や多クラス分類を実行する機械学習モデルに対しても精度の劣化を検出することができる。
図１は、実施例１にかかる精度劣化検出装置を説明する図である。 図２は、精度劣化を説明する図である。 図３は、実施例１にかかるインスペクターモデルを説明する図である。 図４は、実施例１にかかる精度劣化検出装置の機能構成を示す機能ブロック図である。 図５は、教師データＤＢに記憶される情報の例を示す図である。 図６は、入力データＤＢに記憶される情報の例を示す図である。 図７は、訓練データ数と適用範囲との関係を示す図である。 図８は、精度劣化の検出を説明する図である。 図９は、合致率の分布変化を説明する図である。 図１０は、処理の流れを示すフローチャートである。 図１１は、高次元データの精度劣化検出の比較結果を説明する図である。 図１２は、多クラス分類の精度劣化検出の比較結果を説明する図である。 図１３は、画像分類器を用いた具体例を説明する図である。 図１４は、教師データの具体例を説明する図である。 図１５は、精度劣化検出の実行結果を説明する図である。 図１６は、モデル適用領域の制御例を説明する図である。 図１７は、実施例２によるインスペクターモデルの生成例を説明する図である。 図１８は、validation　accuracyの変化を説明する図である。 図１９は、validation　accuracyを用いたインスペクターモデルの生成を説明する図である。 図２０は、機械学習モデルとインスペクターモデルの境界位置が変わらない例を説明する図である。 図２１は、実施例３のインスペクターモデルを説明する図である。 図２２は、実施例３の劣化検出を説明する図である。 図２３は、その他クラス（クラス１０）の教師データの例を説明する図である。 図２４は、実施例３による効果を説明する図である。 図２５は、ハードウェア構成例を説明する図である。
　以下に、本発明にかかる生成方法、生成プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
［精度劣化検出装置の説明］
　図１は、実施例１にかかる精度劣化検出装置１０を説明する図である。図１に示す精度劣化検出装置１０は、学習済みの機械学習モデル（以下では、単に「モデル」と記載する場合がある）を用いて入力データの判定（分類）を実行する一方で、機械学習モデルの精度を監視して精度劣化を検出するコンピュータ装置の一例である。
　例えば、機械学習モデルは、学習時には、説明変数を画像データ、目的変数を衣料名とする教師データを用いて学習され、運用時には、入力データとして画像データが入力されると、「シャツ」などの判定結果を出力する画像分類器である。つまり、機械学習モデルは、高次元データの分類や多クラス分類を実行する画像分類器の一例である。
　ここで、機械学習や深層学習などで学習された機械学習モデルは、訓練データとラベル付けの組み合わせた教師データを元に学習されるので、教師データが含む範囲でのみ機能する。一方、機械学習モデルは、運用後に、学習時と同種のデータが入力されることが想定されているが、現実には入力されるデータの状態が変化して、機械学習モデルが適切に機能しなくなることがある。すなわち、「モデルの精度劣化」が発生する。
　図２は、精度劣化を説明する図である。図２では、入力データの余計なデータを除いて整理した情報であり、機械学習モデルが入力された入力データを分類する、特徴量空間を示している。図２では、クラス０、クラス１、クラス２に分類する特徴量空間を図示している。
　図２に示すように、システム運用初期（学習完了時）は、全ての入力データが正常な位置であり、各クラスの決定境界の内側に分類される。その後の時間経過が進むと、クラス０の入力データの分布が変化する。つまり、学習されたクラス０の特徴量では、クラス０と分類することが難しい入力データが入力されはじめる。さらにその後、クラス０の入力データが決定境界を跨ぎ、機械学習モデルの正解率が低下する。つまり、クラス０と分類すべき入力データの特徴量が変化する。
　このように、システム運用開始後に、入力データの分布が学習時から変化すると、結果として、機械学習モデルの正解率が低下し、機械学習モデルの精度劣化が発生する。
　そこで、図１に示すように、実施例１にかかる精度劣化検出装置１０は、監視対象の機械学習モデルと同様の問題を解く、ＤＮＮ（Deep　Neural　Network）を用いて生成された少なくとも１つのインスペクターモデル（監視器、以下では単に「インスペクター」と記載する場合がある）を用いる。具体的には、精度劣化検出装置１０は、機械学習モデルの出力と各インスペクターモデルの出力との合致率を、機械学習モデルの出力クラスごとに集計することで、合致率の分布変化、すなわち入力データ分布の変化を検出する。
　ここで、インスペクターモデルについて説明する。図３は、実施例１にかかるインスペクターモデルを説明する図である。インスペクターモデルは、機械学習モデルとは異なる条件（異なるモデル適用領域（Applicability　Domain））で生成される検出モデルの一例である。つまり、インスペクターモデルがクラス０、クラス１、クラス２と判定する各領域（各特徴量）は、機械学習モデルがクラス０、クラス１、クラス２と判定する各領域よりも狭い範囲となるように、インスペクターモデルが生成される。
　これは、モデル適用領域が狭いほど、入力データの小さな変化で出力が敏感に変化するためである。そのため、監視対象の機械学習モデルよりもインスペクターモデルのモデル適用領域の狭くすることで、入力データの小さな変化でインスペクターモデルの出力値が変動し、機械学習モデルの出力値との合致率でデータの傾向の変化を測定することができる。
　具体的には、図３に示すように、入力データがインスペクターモデルのモデル適用領域の範囲内である場合、当該入力データに対して、機械学習モデルはクラス０と判定し、インスペクターモデルもクラス０と判定する。つまり、両方ともクラス０のモデル適用領域内となり、出力値は必ず合致するので、合致率は低下しない。
　一方、入力データがインスペクターモデルのモデル適用領域の範囲外である場合、当該入力データに対して、機械学習モデルはクラス０と判定するが、インスペクターモデルは各クラスのモデル適用範囲外の領域であることから、必ずしもクラス０と判定するとは限らない。つまり、出力値は必ずしも合致しないので、合致率が低下する。
　このように、実施例１にかかる精度劣化検出装置１０は、機械学習モデルによるクラス判定に並行して、機械学習モデルのモデル適用領域より狭いモデル適用領域を有するように学習されたインスペクターモデルによるクラス判定を実行し、両クラス判定の合致率を計算する。そして、精度劣化検出装置１０は、合致率の変化により、入力データの分布変化を検出するので、高次元データの分類や多クラス分類を実行する機械学習モデルの精度劣化を検出することができる。
［精度劣化検出装置の機能構成］
　図４は、実施例１にかかる精度劣化検出装置１０の機能構成を示す機能ブロック図である。図４に示すように、精度劣化検出装置１０は、通信部１１、記憶部１２、制御部２０９を有する。
　通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、管理者端末などから各種指示を受信する。また、通信部１１は、各種端末から、判定対象の入力データを受信する。
　記憶部１２は、データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部１２は、教師データＤＢ１３、入力データＤＢ１４、機械学習モデル１５、インスペクターモデルＤＢ１６を記憶する。
　教師データＤＢ１３は、機械学習モデルの学習に利用された教師データであって、インスペクターモデルの学習にも利用される教師データを記憶するデータベースである。図５は、教師データＤＢ１３に記憶される情報の例を示す図である。図５に示すように、教師データＤＢ１３は、データＩＤと教師データとを対応付けて記憶する。
　ここで記憶されるデータＩＤは、教師データを識別する識別子である。教師データは、学習に利用される訓練データまたは学習時の検証に利用される検証データである。図５の例では、データＩＤが「Ａ１」である訓練データＸと、データＩＤが「Ｂ１」である検証データＹを図示している。なお、訓練データや検証データは、説明変数である画像データと、目的変数である正解情報（ラベル）とが対応付けられたデータである。
　入力データＤＢ１４は、判定対象の入力データを記憶するデータベースである。具体的には、入力データＤＢ１４は、機械学習モデルへ入力される画像データであって、画像分類を行う対象の画像データを記憶する。図６は、入力データＤＢ１４に記憶される情報の例を示す図である。図６に示すように、入力データＤＢ１４は、データＩＤと入力データとを対応付けて記憶する。
　ここで記憶されるデータＩＤは、入力データを識別する識別子である。入力データは、分類対象の画像データである。図６の例では、データＩＤが「０１」である入力データ１を図示している。入力データは、予め記憶する必要はなく、他の端末からデータストリームとして送信されてもよい。
　機械学習モデル１５は、学習された機械学習モデルであり、精度劣化検出装置１０による監視対象となるモデルである。なお、学習済みのパラメータが設定されたニューラルネットワークやサポートベクタマシンなどの機械学習モデル１５を記憶することもでき、学習済みの機械学習モデル１５が構築可能な学習済みのパラメータなどを記憶していてもよい。
　インスペクターモデルＤＢ１６は、精度劣化検出に利用する少なくとも１つのインスペクターモデルに関する情報を記憶するデータベースである。例えば、インスペクターモデルＤＢ１６は、５つのインスペクターモデルそれぞれを構築するためのパラメータであって、後述する制御部２０によって機械学習によって生成（最適化）されたＤＮＮの各種パラメータを記憶する。なお、インスペクターモデルＤＢ１６は、学習済みのパラメータを記憶することもでき、学習済みのパラメータが設定されたインスペクターモデルそのもの（ＤＮＮ）を記憶することもできる。
　制御部２０は、精度劣化検出装置１０全体を司る処理部であり、例えばプロセッサなどである。この制御部２０は、インスペクターモデル生成部２１、閾値設定部２２、劣化検出部２３を有する。なお、インスペクターモデル生成部２１、閾値設定部２２、劣化検出部２３は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例などである。
　インスペクターモデル生成部２１は、機械学習モデル１５の精度劣化を検出する監視器や検出モデルの一例であるインスペクターモデルを生成する処理部である。具体的には、インスペクターモデル生成部２１は、機械学習モデル１５の学習に利用された教師データを用いた深層学習により、モデル適用範囲の異なる複数のインスペクターモデルを生成する。そして、インスペクターモデル生成部２１は、深層学習によって得られた、モデル適用範囲が異なる各インスペクターモデル（各ＤＮＮ）を構築するための各種パラメータをインスペクターモデルＤＢ１６に格納する。
　例えば、インスペクターモデル生成部２１は、訓練データの数を制御することで、適用範囲の異なる複数のインスペクターモデルを生成する。図７は、訓練データ数と適用範囲との関係を示す図である。図７では、クラス０、クラス１、クラス２の３クラス分類の特徴量空間を図示している。
　図７に示すように、一般的には、訓練データの数が多いほど、多くの特徴量を多く学習することになるので、より網羅的な学習が実行され、モデル適用範囲が広いモデルが生成される。一方で、訓練データの数が少ないほど、学習する教師データの特徴量が少ないので、網羅できる範囲（特徴量）が限定的になり、モデル適用範囲が狭いモデルが生成される。
　そこで、インスペクターモデル生成部２１は、訓練回数は同じにして、訓練データの数を変更することで、複数のインスペクターモデルを生成する。例えば、機械学習モデル１５が訓練回数（１００エポック）、訓練データ数（１０００個／１クラス）で学習された状態で、５つのインスペクターモデルを生成する場合を考える。この場合、インスペクターモデル生成部２１は、インスペクターモデル１の訓練データ数を「５００個／１クラス」、インスペクターモデル２の訓練データ数を「４００個／１クラス」、インスペクターモデル３の訓練データ数を「３００個／１クラス」、インスペクターモデル４の訓練データ数を「２００個／１クラス」、インスペクターモデル５の訓練データ数を「１００個／１クラス」と決定し、教師データＤＢ１３から教師データを無作為に選択して、それぞれを１００エポックで学習する。
　その後、インスペクターモデル生成部２１は、学習されたインスペクターモデル１、２、３、４、５それぞれの各種パラメータをインスペクターモデルＤＢ１６に格納する。このようにして、インスペクターモデル生成部２１は、機械学習モデル１５の適用範囲よりも狭いモデル適用範囲を有するとともに、それぞれのモデル適用範囲が異なる５つのインスペクターモデルを生成することができる。
　なお、インスペクターモデル生成部２１は、誤差逆伝搬などの手法を用いて、各インスペクターモデルを学習することができ、他の手法を採用することもできる。例えば、インスペクターモデル生成部は、訓練データをインスペクターモデルに入力して得られる出力結果と、入力された訓練データのラベルとの誤差が小さくなるように、ＤＮＮのパラメータを更新することで、インスペクターモデル（ＤＮＮ）の学習を実行する。
　図４に戻り、閾値設定部２２は、機械学習モデル１５の精度劣化を判定する閾値であって、合致率の判定に利用する閾値を設定する。例えば、閾値設定部２２は、記憶部１２から機械学習モデル１５を読み出すとともに、インスペクターモデルＤＢ１６から各種パラメータを読み出して学習済みの５つのインスペクターモデルを構築する。そして、閾値設定部２２は、教師データＤＢ１３に記憶される各検証データを読み出して、機械学習モデル１５と各インスペクターモデルに入力して、それぞれの出力結果（分類結果）に基づくモデル適用領域への分布結果を取得する。
　その後、閾値設定部２２は、検証データに対する機械学習モデル１５とインスペクターモデル１と間の各クラスの合致率、機械学習モデル１５とインスペクターモデル２と間の各クラスの合致率、機械学習モデル１５とインスペクターモデル３と間の各クラスの合致率、機械学習モデル１５とインスペクターモデル４と間の各クラスの合致率、機械学習モデル１５とインスペクターモデル５と間の各クラスの合致率を算出する。
　そして、閾値設定部２２は、各合致率を用いて閾値を設定する。例えば、閾値設定部２２は、各合致率をディスプレイ等に表示して、ユーザから閾値の設定を受け付ける。また、閾値設定部２２は、各合致率の平均値、各合致率の最大値、各合致率の最小値など、ユーザが検出を要求する劣化状態に応じて、任意に選択して設定することができる。
　図４に戻り、劣化検出部２３は、分類部２４、監視部２５、報知部２６を有し、入力データに対する機械学習モデル１５の出力結果と各インスペクターモデルの出力結果とを比較し、機械学習モデル１５の精度の劣化を検出する処理部である。
　分類部２４は、入力データを機械学習モデル１５と各インスペクターモデルとのそれぞれに入力して、それぞれの出力結果（分類結果）を取得する処理部である。例えば、分類部２４は、各インスペクターモデルの学習が完了すると、各インスペクターモデルのパラメータをインスペクターモデルＤＢ１６から取得して各インスペクターモデルを構築するとともに、機械学習モデル１５を実行する。
　そして、分類部２４は、入力データを機械学習モデル１５に入力してその出力結果を取得するとともに、当該入力データをインスペクターモデル１（ＤＮＮ１）からインスペクターモデル５（ＤＮＮ５）の５つのインスペクターモデルそれぞれに入力して各出力結果を取得する。その後、分類部２４は、入力データと各出力結果とを対応付けて記憶部１２に格納するとともに、監視部２５に出力する。
　監視部２５は、各インスペクターモデルの出力結果を用いて、機械学習モデル１５の精度劣化を監視する処理部である。具体的には、監視部２５は、クラスごとに機械学習モデル１５の出力と、インスペクターモデルの出力との合致率の分布変化を測定する。例えば、監視部２５は、各入力データに対する機械学習モデル１５の出力結果と各インスペクターモデルの出力結果との合致率を算出し、合致率が低下した場合に、機械学習モデル１５の精度劣化を検出する。なお、監視部２５は、検出結果を報知部２６に出力する。
　図８は、精度劣化の検出を説明する図である。図８では、入力データに対する監視対象の機械学習モデル１５の出力結果とインスペクターモデルの出力結果とを図示している。ここでは、説明を分かりやすくするため、１つのインスペクターモデルを例に、特徴量空間におけるモデル適用領域へのデータ分布を用いて、監視対象の機械学習モデル１５の出力に対してインスペクターモデルの出力が合致する確率を説明する。
　図８に示すように、監視部２５は、運用開始時、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。
　つまり、監視部２５は、機械学習モデル１５とインスペクターモデルとの各クラスの合致率が一致することから合致率を１００％と算出する。このタイミングでは、それぞれの分類結果が一致する。
　時間経過が進むと、監視部２５は、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には３つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。
　つまり、監視部２５は、クラス０については合致率を５０％（（３／６）×１００）と算出し、クラス１とクラス２については合致率を１００％と算出する。すなわち、クラス０のデータ分布の変化が検出される。このタイミングでは、インスペクターモデルは、クラス０に分類されなかった３つの入力データに対して、クラス０に分類するとは限らない状態である。
　さらに時間経過が進むと、監視部２５は、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には３つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には１つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。
　つまり、監視部２５は、クラス０については合致率を３３％（（１／３）×１００）と算出し、クラス１とクラス２については合致率を１００％と算出する。すなわち、クラス０のデータ分布が変化したと判定される。このタイミングでは、機械学習モデル１５では、クラス０と分類されるべき入力データがクラス０と分類されず、インスペクターモデルでは、クラス０に分類されなかった５つの入力データに対しては、クラス０に分類されるとは限らない状態である。
　ここで、合致率の分布の変化を説明する。図９は、合致率の分布変化を説明する図である。図９では、横軸が各インスペクターモデル、縦軸が合致率（合致した割合）であり、あるクラスに対する５つのインスペクターモデルそれぞれと機械学習モデル１５との合致率の変化を示している。
　インスペクターモデル１、２、３、４、５のモデル適用領域の大きさをインスペクターモデル１が最も広く、インスペクターモデル５が最も狭いとする。この場合、運用開始の初期段階から時間経過が進むと、モデル適用領域が狭いインスペクターモデルほどデータの分布に敏感に反応するので、インスペクターモデル５や４の合致率が低下する。監視部２５は、インスペクターモデル５や４の合致率が閾値を下回ったことを検出することで、精度劣化発生を検出することができる。また、監視部２５は、ほとんどのインスペクターモデルの合致率が閾値を下回ったことを検出することで、入力データの傾向変化を検出することができる。
　図４に戻り、報知部２６は、機械学習モデル１５の精度劣化が検出された場合に、アラート等を所定装置に報知する処理部である。例えば、報知部２６は、合致率が閾値を下回るインスペクターモデルが検出された場合、または、合致率が閾値を下回るインスペクターモデルが所定数以上検出された場合、アラートを報知する。
　また、報知部２６は、クラスごとにアラートを報知することもできる。例えば、報知部２６は、あるクラスについて、合致率が閾値を下回るインスペクターモデルの数が所定数以上検出された場合に、アラートを報知する。なお、監視項目は、クラスごとやインスペクターモデルごとなど任意に設定することができる。また、各インスペクターモデルについて、クラスごとの合致率の平均を各インスペクターモデルの合致率とすることもできる。
［処理の流れ］
　図１０は、処理の流れを示すフローチャートである。図１０に示すように、処理が開始されると（Ｓ１０１：Ｙｅｓ）、インスペクターモデル生成部２１は、各インスペクターモデル用の教師データを生成し（Ｓ１０２）、生成した教師データ内の訓練データを用いて、各インスペクターモデル用の訓練を実行して、各インスペクターモデルを生成する（Ｓ１０３）。
　続いて、閾値設定部２２は、教師データ内の検証データを機械学習モデル１５と各インスペクターモデルに入力して得られる出力結果の合致率を算出し（Ｓ１０４）、合致率に基づき閾値を設定する（Ｓ１０５）。
　その後、劣化検出部２３は、入力データを機械学習モデル１５に入力して出力結果を取得し（Ｓ１０６）、入力データを各インスペクターモデルに入力して出力結果を取得する（Ｓ１０７）。
　そして、劣化検出部２３は、出力結果の比較、すなわち特徴量空間におけるモデル適用領域の分布を蓄積し（Ｓ１０８）、蓄積数が規定数に到達するまで（Ｓ１０９：Ｎｏ）、Ｓ１０６以降を繰り返す。
　その後、劣化検出部２３は、蓄積数が規定数に到達すると（Ｓ１０９：Ｙｅｓ）、クラスごとに各インスペクターモデルと機械学習モデル１５との合致率を算出する（Ｓ１１０）。
　ここで、合致率が検出条件を満たなさない場合（Ｓ１１１：Ｎｏ）、Ｓ１０６以降が繰り返され、合致率が検出条件を満たす場合（Ｓ１１１：Ｙｅｓ）、劣化検出部２３は、アラートを報知する（Ｓ１１２）。
［効果］
　上述したように、精度劣化検出装置１０は、モデル適用領域の範囲を監視対象の機械学習モデルより狭めた少なくとも１つ以上のインスペクターモデルを生成する。そして、精度劣化検出装置１０は、クラスごとに機械学習モデルの出力と各インスペクターモデルの出力との合致率の分布変化を測定する。この結果、精度劣化検出装置１０は、高次元データの多クラス分類問題に対しても、モデル精度劣化を検出することができ、機械学習モデル１５出力の正誤情報を用いずに、入力データの傾向の時間変化に起因する学習済みモデルの機能劣化を検出することができる。
　図１１は、高次元データの精度劣化検出の比較結果を説明する図である。図１１では、背景に緑色が多く利用される猫の画像データを訓練データに用いて機械学習モデル１５を学習し、Ｔ２統計量などの一般技術による精度劣化検出と、実施例１による手法（インスペクターモデルの利用）で精度劣化検出とを比較する。なお、図１１の各グラフの横軸、縦軸も特徴量を示している。
　図１１に示すように、機械学習モデル１５は、訓練データに緑の成分と白の成分とが多いことを特徴量として学習する。したがって、主成分分析を行う上記一般技術では、緑成分の多い犬の画像データが入力された場合でも、猫クラスと判定してしまう。さらに、白が異常に多い画像データの場合には、それが猫の画像であっても、白の特徴量が多すぎることから、猫クラスと検出できない。
　一方、実施例１によるインスペクターモデルは、機械学習モデル１５よりもモデル適用領域が狭い。このため、インスペクターモデルは、緑成分の多い犬の画像データが入力された場合でも、猫クラスではない判定することができ、さらに、白が異常に多い猫の画像データであっても、猫の特徴量を正確に学習できているので、猫クラスと検出することができる。
　このように、精度劣化検出装置１０のインスペクターモデルは、一般技術として比較して、学習データとは特徴量が異なる入力データを高精度に検出することができる。したがって、精度劣化検出装置１０は、機械学習モデル１５とインスペクターモデルとの合致率により、入力データの分布変化に追従することができ、機械学習モデル１５の精度低下を検出することができる。
　図１２は、多クラス分類の精度劣化検出の比較結果を説明する図である。図１２では、図１１と同様、Ｔ２統計量などの一般技術による精度劣化検出と、実施例１による手法（インスペクターモデルの利用）で精度劣化検出とを比較する。
　図１２に示す一般技術では、訓練データ群との主成分の距離を測定に利用しているため、訓練データ内に多クラスのデータ群が混ざっていると、正常データと判定される範囲が広くなってしまい、異常データを検知することができない。つまり、クラス０、クラス１、クラス２それぞれの正常データの範囲が決定されると、ほとんどデータがその範囲内に属してしまい、いずれにも属さないはずの異常値データを異常と判定することが難しい。このため、入力データが図１２に示す異常値データに変化したことを検出することができないので、モデルの精度劣化検知を実現できない。
　一方、実施例１によるインスペクターモデルは、機械学習モデル１５よりもモデル適用領域が狭い。このため、クラス０のモデル適用領域、クラス１のモデル適用領域、クラス２のモデル適用領域を区別することができる。したがって、モデル適用領域以外に属するデータは、異常と正確に検出することができる。このため、入力データが図１２に示す異常値データに変化したことを検出することができるので、モデルの精度劣化検知を実現することができる。
［具体例］
　次に、機械学習モデル１５として画像分類器を用いて、インスペクターモデルによる精度劣化を検出する具体例を説明する。画像分類器とは、入力した画像をクラス（カテゴリ）ごとに分類する機械学習モデルである。例えば、アパレルの通信販売サイトや個人間で衣料品を売買するオークションサイト等では、衣料品の画像をサイトにアップロードし、その衣料品のカテゴリをサイト上に登録する。サイトにアップロードした画像のカテゴリの自動登録を行うために、機械学習モデルを用いて、画像から衣料品のカテゴリの予測を行っている。システム運用中に、アップロードする衣料品の画像の傾向（データ分布）が変化すると、機械学習モデルの精度が劣化していく。一般技術では、手動で予測結果の正誤を確認し、正解率を算出して、モデル精度劣化を検知していた。そこで、実施例１による手法を適用することで、予測結果の正誤情報を用いることなく、モデル精度劣化を検知する。
　図１３は、画像分類器を用いた具体例を説明する図である。図１３に示すように、具体例で示すシステムは、入力データを画像分類器、インスペクターモデル１、インスペクターモデル２のそれぞれに入力し、画像分類器と各インスペクターモデルとのモデル適用領域のデータ分布の合致率を用いて、画像分類器の精度劣化を検出して、アラートを出力するシステムである。
　次に、教師データを説明する。図１４は、教師データの具体例を説明する図である。図１４に示すように、図１３に示した具体例の教師データは、ラベルがクラス０であるＴ－シャツ、ラベルがクラス１であるズボン、ラベルがクラス２であるプロオーバー、ラベルがクラス３ではドレス、ラベルがクラス４であるコートの各画像データを用いる。また、ラベルがクラス５であるサンダル、ラベルがクラス６であるシャツ、ラベルがクラス７であるスニーカー、ラベルがクラス８ではバッグ、ラベルがクラス９であるアンクルブーツの各画像データを用いる。
　ここで、画像分類器は、１０クラス分類を行うＤＮＮを用いた分類器であり、教師データを１０００個／１クラス、訓練回数を１００エポックとして訓練されている。また、インスペクターモデル１は、１０クラス分類を行うＤＮＮを用いた検出器であり、教師データを２００個／１クラス、訓練回数を１００エポックとして訓練されている。インスペクターモデル２は、１０クラス分類を行うＤＮＮを用いた検出器であり、教師データを１００個／１クラス、訓練回数を１００エポックとして訓練されている。
　つまり、モデル適用領域は、画像分類器、インスペクターモデル１、インスペクターモデル２の順に狭くなっている。なお、教師データは、画像分類器の教師データの中から無作為に選択した。また、各クラスの合致率の閾値は、インスペクターモデル１、インスペクターモデル２のいずれも０．７とする。
　このような状態において、図１３に示すシステムの入力データは、教師データ同様、衣料品（１０クラスのいずれか）の画像（グレースケール）を利用する。なお、入力画像はカラーでも良い。監視対象の画像分類器（機械学習モデル１５）に合わせた入力データを用いる。
　このような状態において、精度劣化検出装置１０は、監視対象の画像分類器に入力したデータを、各インスペクターモデルに入力して、出力の比較を実行し、画像分類器の出力クラスごとに、比較結果（合致または非合致）を蓄積する。そして、精度劣化検出装置１０は、蓄積している比較結果（例えば、直近１００個／クラス）から、各クラスの合致率を算出し、合致率が閾値未満か判定する。そして、精度劣化検出装置１０は、閾値未満の場合、精度劣化検知のアラートを出力する。
　図１５は、精度劣化検出の実行結果を説明する図である。図１５には、入力データのうち、クラス０（Ｔ－シャツ）の画像のみ、徐々に画像が回転していき、傾向が変化したケースの実行結果を示している。精度劣化検出装置１０は、クラス０のデータが１０度回転した時点で、インスペクターモデル２の合致率（０．６９）が閾値（例えば０．７）を下回り、アラートを通知した。なお、クラス０のデータが１５度回転した時点で、インスペクターモデル２だけではなくインスペクターモデル１の合致率も低下している。つまり、精度劣化検出装置１０は、画像分類器の正解率がわずかに下がった段階で、モデルの精度劣化を検出できた。
　ところで、実施例１では、モデル適用領域を拡大するために訓練データを増やす方法であるデータ拡張の反対である訓練データの削減を行うことによりモデル適用領域を縮小させた各インスペクターモデルを生成する例を説明した。しかし、訓練データ数を削減しても、必ずしもモデル適用領域が狭くならない場合がある。
　図１６は、モデル適用領域の制御例を説明する図である。図１６の上図に示すように、実施例１では、インスペクターモデルの訓練データをランダムに削減し、インスペクターモデルごとに削減する訓練データ数を変更することで、モデル適用領域を縮小させた複数のインスペクターモデルを生成した。ところが、どの訓練データを削減すればモデル適用領域がどの程度狭くなるか未知であることから、モデルの適用領域を意図的に任意の広さに調整することが必ずしも成功するとか限らない。そのため、図１６の下図に示すように、訓練データを削減して生成したインスペクターモデルのモデル適用領域が狭くならないケースがある。このように、モデル適用領域が狭くならなかった場合、作り直しの工数がかかる。
　そこで、実施例２では、監視対象の機械学習モデルと同じ訓練データを用いて過学習させることで、モデル適用領域を確実に狭める。このとき、validation　accuracy（検証データに対する正解率）の値でモデル適用領域の広さを任意に調整する。
　図１７は、実施例２によるインスペクターモデルの生成例を説明する図である。図１７に示すように、実施例２では、訓練データを用いてインスペクターモデルの学習を３０エポック実行したタイミングで、検証データを用いて、そのときのvalidation　accuracyを算出して保持する。さらに、訓練データを用いてインスペクターモデルの学習を７０エポック実行したタイミングで、検証データを用いてそのときのvalidation　accuracyを算出して保持し、インスペクターモデルの学習を１００エポック実行したタイミングで、そのときのvalidation　accuracyを算出して保持する。そして、各validation　accuracyのときのインスペクターモデルの状態（例えばＤＮＮの特徴量）を保持する。
　このように、訓練データによる学習を実行する過程で、学習途中のインスペクターモデルのvalidation　accuracyを監視し、任意のvalidation　accuracyの値に低下するまで、意図的に過学習させることで、学習させすぎて汎化性能が低下する状態を発生させる。つまり、任意のvalidation　accuracyの値のインスペクターモデルの状態を保持することで、モデル適用領域の広さを任意に調整したインスペクターモデルを生成する。
　図１８は、validation　accuracyの変化を説明する図である。図１８では、訓練回数と学習時の学習曲線の関係を示している。実施例２にかかる精度劣化検出装置１０のインスペクターモデル生成部２１は、監視対象の機械学習モデルと同じ訓練データを用いて過学習させることで、モデル適用領域を確実に狭める。一般的に、インスペクターモデルに用いるＤＮＮは、過学習させるほど、訓練データに最適化し、モデル適用領域が縮小する。
　図１８に示すように、正解率が０．９までは訓練回数を増やすほど、徐々に正解率が上がっていく。しかし、正解率が０．９となった訓練回数からさらに訓練回数を増やしていくと、training　accuracy（訓練データに対する正解率）は徐々に上昇するが、過学習が進むので、validation　accuracyは低下する。つまり、過学習するほどモデル適用領域が狭まり、入力データの小さな変化で正解率が下がる。これは、過学習により汎化性能が失われ、訓練データ以外のデータに対する正解率が低下するためである。このvalidation　accuracyの値の低下によって、モデル適用領域が狭まっていることを確認できるので、validation　accuracyの値を監視することで、モデル適用領域が異なる複数のインスペクターモデルを生成することができる。
　図１９は、validation　accuracyを用いたインスペクターモデルの生成を説明する図である。図１９では、訓練回数と学習時の学習曲線の関係を示している。上述したように、インスペクターモデルのモデル適用領域の大小は、validation　accuracyの値の高低で測定できる。validation　accuracyの値が異なるインスペクターモデルを複数作成することで、各インスペクターモデルのモデル適用領域が異なることを保証できる。
　図１９に示すように、インスペクターモデル生成部２１は、訓練データを用いて、インスペクターモデル（ＤＮＮ）を学習していき、validation　accuracyの値が０．９となった時点のＤＮＮ１の各種パラメータを取得して保持する。インスペクターモデル生成部２１は、さらに訓練を続け、validation　accuracyの値が０．８となった時点のＤＮＮ２の各種パラメータ、validation　accuracyの値が０．６となった時点のＤＮＮ３の各種パラメータ、validation　accuracyの値が０．４となった時点のＤＮＮ４の各種パラメータ、validation　accuracyの値が０．２となった時点のＤＮＮ５の各種パラメータを取得して保持する。
　この結果、インスペクターモデル生成部２１は、モデル適用領域が確実に異なるＤＮＮ１、ＤＮＮ２、ＤＮＮ３、ＤＮＮ４、ＤＮＮ５を生成することができる。入力データが、学習データと同じ分布の場合、「合致率≒（validation　accuracy）×監視対象のモデルの正解率」となる。つまり、合致率の分布は、図１９の下図のグラフのように、インスペクターモデルのvalidation　accuracyに比例した形になる。
　実施例２にかかる精度劣化検出装置１０は、インスペクターモデルのモデル適用領域を必ず狭めることができるので、モデル適用領域が狭まらなかった場合に必要なインスペクターモデルの作り直しなどの工数を削減できる。また、精度劣化検出装置１０は、モデル適用領域の大小を、validation　accuracyの値の高低で測定できるので、validation　accuracyの値を変えることで、必ず異なるモデル適用領域のインスペクターモデルを作成できるため、モデル精度劣化検知で求められる要件「異なるモデル適用領域の複数のインスペクターモデル」を必ず満たすことができる。
　また、実施例２にかかる精度劣化検出装置１０は、上述した手法により生成した複数のインスペクターモデルを用いて、機械学習モデル１５の精度劣化を検出することで、実施例１と比べて、より精度の高い検出を実現することができる。
　ところで、実施例２では、過学習によりモデル適用領域を狭くする例を説明したが、モデル適用領域が狭くなっても、各クラスの決定境界の位置が変わらず、入力データの傾向の変化を検知できない事象が発生する可能性がある。
　例えば、各クラスの特徴がはっきり分かれている訓練データの場合、訓練データ数を減らして訓練しても、各クラスの決定境界の位置が変わらない場合がある。決定境界の位置が変わらない場合、つまり、モデル適用領域外でもインスペクターモデルの出力が監視対象の機械学習モデルの出力と全く同じになり全て合致してしまう状態の場合、入力データの傾向の変化を検出できない。
　図２０は、機械学習モデルとインスペクターモデルの境界位置が変わらない例を説明する図である。図２０のＯＫ例の場合、訓練データ数を削減して訓練すると、決定境界の位置が変わることから、合致率の変化でモデル精度劣化を検出できる。一方、図２０のＮＧ例の場合、決定境界の位置が変わらないことから、全入力データの出力が合致してしまい、モデル精度劣化を検出できない。
　そこで、実施例３では、インスペクターモデルの分類クラスに「その他（unknown）クラス」を新設する。そして、監視対象の機械学習モデルと同じ訓練データセットに、その他クラスの訓練データを追加した教師データを用いて、インスペクターモデルを訓練する。その他クラスの訓練データは、元々の訓練データセットとは無関係なデータを利用する。具体的には、同形式であるが無関係なデータセットからランダムに抽出したデータ、あるいは、各項目にランダムな値を設定して自動生成したデータなどを採用する。インスペクターモデルの出力がその他クラスだった場合は、その入力データはモデル適用領域外と判定する。
　図２１は、実施例３のインスペクターモデルを説明する図である。図２１に示すように、実施例１や実施例２で説明した通常のインスペクターモデルは、特徴量空間を、クラス０のモデル適用領域、クラス１のモデル適用領域、クラス２のモデル適用領域に分類したものである。このため、通常のインスペクターモデルは、これらのモデル適用領域に該当するデータについては、分類先のクラスを保証することができるが、これらのモデル適用領域に該当しないデータについては、どのクラスに分類するかを保証できない。例えば、クラス０に分類すべき入力データが、機械学習モデル１５ではクラス１と分類され、インスペクターモデルにおいてもクラス１と分類されると、クラス１の分類結果として合致してしまい、合致率が低下しない。
　これに対して、実施例３のインスペクターモデルは、特徴量空間を、クラス０のモデル適用領域、クラス１のモデル適用領域、クラス２のモデル適用領域に分類するとともに、いずれのクラスにも属さない領域をクラス１０のモデル適用領域（その他クラス）と分類する。このため、実施例３のインスペクターモデルは、各クラスのモデル適用領域に該当するデータについて、分類先のクラスを保証することができるとともに、各クラスのモデル適用領域に該当しないデータについて、クラス１０に分類することを保証できる。
　上述したように、実施例３にかかる精度劣化検出装置１０は、各インスペクターモデルに対して、監視対象である機械学習モデル１５の出力クラスの他に、モデル適用領域外のデータを表すその他クラス（例えばクラス１０）を新設する。実施例３にかかる精度劣化検出装置１０は、その他クラスと判定された入力データを、モデル精度劣化検出の仕組みでは「非合致」と扱う。
　図２２は、実施例３の劣化検出を説明する図である。図２２に示すように、劣化検出部２３は、運用開始初期では、監視対象の機械学習モデル１５とインスペクターモデルとのそれぞれについて、各入力データが各クラスのモデル適用範囲に属するので、合致率は高いままである。
　その後、時間が経過すると、入力データの分布が変化し始める。この場合、劣化検出部２３は、監視対象の機械学習モデル１５については、各入力データが各クラスのモデル適用範囲に属するが、インスペクターモデルについては、クラス１０（その他クラス）に分類される入力データが出現する。ここで、クラス１０に分類される入力データは、機械学習モデル１５では分類されないクラスなので、合致することはない。つまり、合致率が徐々に低下する。
　その後、さらに時間が経過すると、入力データの分布がさらに変化し始める。この場合、劣化検出部２３は、監視対象の機械学習モデル１５については、各入力データが各クラスのモデル適用範囲に属するが、インスペクターモデルについては、クラス１０（その他クラス）に分類される入力データが多発する。したがって、劣化検出部２３は、合致率が閾値を下回り、精度劣化と検出することができる。
　ここで、図１４で説明した具体例を用いて、実施例３にかかるインスペクターモデルの生成例を説明する。図２３は、その他クラス（クラス１０）の教師データの例を説明する図である。図２３に示すように、インスペクターモデル生成部２１は、インスペクターモデルの教師データとして、図１４で説明した画像データ以外にも図２３に示した画像データを用いることで、クラス１０のモデル適用領域をインスペクターモデルに学習させる。つまり、インスペクターモデル生成部２１は、機械学習モデル１５で利用された第一の訓練データとは異なる特徴をランダムに設定するとともに、機械学習モデル１５で学習されていないデータを判定することを示すラベルを有する第二の訓練データを用いて、インスペクターモデルを学習により生成する。
　具体的には、クラス１０用の教師データとして、インターネット上に公開されている１０００種類のカテゴリの画像から、無作為に抽出した１０００枚の画像を利用する。例えば、リンゴの画像、赤ちゃんの画像、熊の画像、ベッドの画像、自転車の画像、魚の画像のように、図１４に示した衣料品とは異なるカテゴリの画像データ、言い換えると衣料品には含まれないラベルが設定される画像データを用いることで、クラス１０のモデル適用領域をインスペクターモデルに学習させる。
　実施例３では、画像分類器は、１０クラス分類を行うＤＮＮを用いた分類器であり、教師データを１０００個／１クラス、訓練回数を１００エポックとして訓練する。また、インスペクターモデルは、１１クラス分類を行うＤＮＮを用いた検出器であり、教師データを１０００個／１クラスとその他クラス１０００個、訓練回数を１００エポックとして訓練する。なお、教師データは、画像分類器の教師データの中から無作為に選択した。
　このような状態において、精度劣化検出装置１０は、監視対象の画像分類器に入力したデータをインスペクターモデルに入力して、出力の比較を実行し、画像分類器の出力クラスごとに、比較結果（合致または非合致）を蓄積する。そして、精度劣化検出装置１０は、蓄積している比較結果（例えば、直近１００個／クラス）から、各クラスの合致率を算出し、合致率が閾値未満か判定する。そして、精度劣化検出装置１０は、閾値未満の場合、精度劣化検知のアラートを出力する。
　図２４は、実施例３による効果を説明する図である。図２４には、入力データのうち、クラス０（Ｔ－シャツ）の画像のみ、徐々に画像が回転していき、傾向が変化したケースの実行結果を示している。精度劣化検出装置１０は、クラス０のデータが５度回転した時点で、インスペクターモデルの合致率（０．６８）が閾値（例えば０．７）を下回り、アラートを通知した。つまり、画像分類器の正解率がわずかに下がった段階で、モデルの精度劣化を検出できた。
　上述したように、実施例３にかかる精度劣化検出装置１０は、各クラスの特徴がはっきり分かれている訓練データの場合でも、つまり決定境界が変わらない場合でも、精度劣化を検出可能な高精度なインスペクターモデルを生成することができる。また、実施例３にかかる精度劣化検出装置１０は、その他クラスを検出可能なインスペクターモデルを用いることで、入力データの分布変化を鋭敏に検出することができる。なお、実施例３にかかる精度劣化検出装置１０は、各クラスの合致率により精度劣化を検出することもでき、その他クラスの出現数が閾値を越えた場合に、精度劣化と検出することもできる。
　さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
［数値等］
　また、上記実施例で用いたデータ例、数値、各閾値、特徴量空間、ラベル数、インスペクターモデル数、具体例等は、あくまで一例であり、任意に変更することができる。また、入力データや学習方法などもあくまで一例であり、任意に変更することができる。また、学習モデルには、ニューラルネットワークなど様々な手法を採用することができる。
［モデル適用範囲等］
　実施例１では、教師データの数を削減することで、モデル適用範囲の異なる複数のインスペクターモデルを生成する例を説明したが、これに限定されるものではなく、例えば訓練回数（エポック数）を削減することで、モデル適用範囲の異なる複数のインスペクターモデルを生成することもできる。また、教師データの数ではなく、教師データに含まれる訓練データの数を削減することで、モデル適用範囲の異なる複数のインスペクターモデルを生成することもできる。
［合致率］
　例えば、上記実施例では、各クラスのモデル適用領域に属する入力データの合致率を求める例を説明したが、これに限定されるものではない。例えば、機械学習モデル１５の出力結果とインスペクターモデルの出力結果との合致率により精度劣化を検出することもできる。
　また、図８の例では、クラス０に着目して合致率を算出したが、各クラスに着目することもできる。例えば、図８の例では、時間経過後、監視部２５は、監視対象の機械学習モデル１５から、クラス０のモデル適用領域には６つの入力データが属し、クラス１のモデル適用領域には６つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。一方、監視部２５は、インスペクターモデルから、クラス０のモデル適用領域には３つの入力データが属し、クラス１のモデル適用領域には９つの入力データが属し、クラス２のモデル適用領域には８つの入力データが属することを取得する。この場合、監視部２５は、クラス０とクラス１のそれぞれについて、合致率の低下を検出することができる。
［その他クラス］
　実施例３では、その他クラスの訓練データには、元々の訓練データセットと同形式であるが無関係なデータセットからランダムに抽出した画像データを用いる具体例を説明したが、これに限定されるものではない。例えば、表などのデータの場合には、各項目にランダムな値を設定した、その他クラスの教師データを生成することもできる。
［再学習］
　また、精度劣化検出装置１０は、精度劣化が検出された場合に、インスペクターモデルの判定結果を正解情報として、機械学習モデル１５を再学習することもできる。例えば、精度劣化検出装置１０は、各入力データを説明変数、各入力データに対するインスペクターモデルの判定結果を目的変数とした再学習データを生成して、機械学習モデル１５を再学習することもできる。なお、インスペクターモデルが複数ある場合は、機械学習モデル１５との合致率が低いインスペクターモデルを採用することができる。
［システム］
　上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、機械学習モデル１５を実行して入力データを分類する装置と、精度劣化を検出する装置とを別々の筐体で実現することもできる。
　さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
　図２５は、ハードウェア構成例を説明する図である。図２５に示すように、精度劣化検出装置１０は、通信装置１０ａ、ＨＤＤ（Hard　Disk　Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２５に示した各部は、バス等で相互に接続される。
　通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。
　プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、精度劣化検出装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、インスペクターモデル生成部２１、閾値設定部２２、劣化検出部２３等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、インスペクターモデル生成部２１、閾値設定部２２、劣化検出部２３等と同様の処理を実行するプロセスを実行する。
　このように、精度劣化検出装置１０は、プログラムを読み出して実行することで精度劣化検出定方法を実行する情報処理装置として動作する。また、精度劣化検出装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、精度劣化検出装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
　１０　精度劣化検出装置
　１１　通信部
　１２　記憶部
　１３　教師データＤＢ
　１４　入力データＤＢ
　１５　機械学習モデル
　１６　インスペクターモデルＤＢ
　２０　制御部
　２１　インスペクターモデル生成部
　２２　閾値設定部
　２３　劣化検出部
　２４　分類部
　２５　監視部
　２６　報知部

Claims (5)

  1. 　データストリーム処理されるデータの傾向の時間変化に基づく、学習済みモデルの精度劣化を検出する検出モデルを生成する生成方法において、
    　コンピュータが、
    　学習済みモデルで用いた訓練データを取得し、
    　前記訓練データに基づいて検出モデルを学習し、
    　学習した前記検出モデルの過学習の状態を判定し、
    　判定した過学習の状態が予め設定された条件を満たすときの検出モデルの特徴量を取得し、
    　取得した前記特徴量に基づいて検出モデルを生成する
    　処理を実行することを特徴とする生成方法。
  2. 　前記取得する処理は、前記学習済みモデルの学習に利用された教師データのうちの前記訓練データを取得し、
    　前記判定する処理は、学習途中の検出モデルに、前記教師データのうちの検証データを入力したときの正解率に基づき、前記過学習の状態を判定することを特徴とする請求項１に記載の生成方法。
  3. 　前記取得する処理は、前記正解率が第一の値となったときの前記検出モデルの第一の特徴量を保持し、前記正解率が第二の値となったときの前記検出モデルの第二の特徴量を保持し、
    　前記生成する処理は、前記第一の特徴量を用いた第一の検出モデルを生成し、前記第二の特徴量を用いた第二の検出モデルを生成することを特徴とする請求項２に記載の生成方法。
  4. 　データストリーム処理されるデータの傾向の時間変化に基づく、学習済みモデルの精度劣化を検出する検出モデルを生成する生成プログラムにおいて、
    　コンピュータに、
    　学習済みモデルで用いた訓練データを取得し、
    　前記訓練データに基づいて検出モデルを学習し、
    　学習した前記検出モデルの過学習の状態を判定し、
    　判定した過学習の状態が予め設定された条件を満たすときの検出モデルの特徴量を取得し、
    　取得した前記特徴量に基づいて検出モデルを生成する
    　処理を実行させることを特徴とする生成プログラム。
  5. 　データストリーム処理されるデータの傾向の時間変化に基づく、学習済みモデルの精度劣化を検出する検出モデルを生成する情報処理装置において、
    　学習済みモデルで用いた訓練データを取得する取得部と、
    　前記訓練データに基づいて検出モデルを学習する学習部と、
    　学習した前記検出モデルの過学習の状態を判定する判定部と、
    　判定した過学習の状態が予め設定された条件を満たすときの検出モデルの特徴量を取得する取得部と、
    　取得した前記特徴量に基づいて検出モデルを生成する生成部と
    　を有することを特徴とする情報処理装置。
PCT/JP2019/041804 2019-10-24 2019-10-24 生成方法、生成プログラムおよび情報処理装置 WO2021079482A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/041804 WO2021079482A1 (ja) 2019-10-24 2019-10-24 生成方法、生成プログラムおよび情報処理装置
JP2021553248A JP7207565B2 (ja) 2019-10-24 2019-10-24 生成方法、生成プログラムおよび情報処理装置
US17/708,126 US20220222582A1 (en) 2019-10-24 2022-03-30 Generation method, computer-readable recording medium storing generation program, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/041804 WO2021079482A1 (ja) 2019-10-24 2019-10-24 生成方法、生成プログラムおよび情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/708,126 Continuation US20220222582A1 (en) 2019-10-24 2022-03-30 Generation method, computer-readable recording medium storing generation program, and information processing apparatus

Publications (1)

Publication Number Publication Date
WO2021079482A1 true WO2021079482A1 (ja) 2021-04-29

Family

ID=75619761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041804 WO2021079482A1 (ja) 2019-10-24 2019-10-24 生成方法、生成プログラムおよび情報処理装置

Country Status (3)

Country Link
US (1) US20220222582A1 (ja)
JP (1) JP7207565B2 (ja)
WO (1) WO2021079482A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6513314B1 (ja) * 2018-07-30 2019-05-15 楽天株式会社 判定システム、判定方法及びプログラム
JP2019164774A (ja) * 2018-03-15 2019-09-26 富士通株式会社 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019164774A (ja) * 2018-03-15 2019-09-26 富士通株式会社 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム
JP6513314B1 (ja) * 2018-07-30 2019-05-15 楽天株式会社 判定システム、判定方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KADAM SHWETA: "A Survey on Classification of Concept Drift with Stream Data", HAL ARCHIVES- OUVERTES.FR, HAL CCSD, 9 March 2019 (2019-03-09), XP055819282, Retrieved from the Internet <URL:https://hal.archives-ouvertes.fr/hal-02062610/document> [retrieved on 20210629] *

Also Published As

Publication number Publication date
US20220222582A1 (en) 2022-07-14
JPWO2021079482A1 (ja) 2021-04-29
JP7207565B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
US10777470B2 (en) Selective inclusion/exclusion of semiconductor chips in accelerated failure tests
US20220222545A1 (en) Generation method, non-transitory computer-readable storage medium, and information processing device
US20240103950A1 (en) Method, computing device and computer program for detecting abnormal behavior of process equipment
US20220222581A1 (en) Creation method, storage medium, and information processing apparatus
Dong et al. Wafer yield prediction using derived spatial variables
US20220230027A1 (en) Detection method, storage medium, and information processing apparatus
US20220230028A1 (en) Determination method, non-transitory computer-readable storage medium, and information processing device
US20220222580A1 (en) Deterioration detection method, non-transitory computer-readable storage medium, and information processing device
JP7363910B2 (ja) 表示方法、表示プログラム及び情報処理装置
WO2021079482A1 (ja) 生成方法、生成プログラムおよび情報処理装置
WO2021079473A1 (ja) 生成方法、生成プログラムおよび情報処理装置
WO2021079483A1 (ja) 生成方法、生成プログラムおよび情報処理装置
WO2021079481A1 (ja) 劣化検出方法、劣化検出プログラムおよび情報処理装置
JP7371695B2 (ja) 劣化検出方法、劣化検出プログラムおよび情報処理装置
WO2022079919A1 (ja) 検知プログラム、検知方法および検知装置
JP7400827B2 (ja) 検出方法、検出プログラムおよび情報処理装置
JP7363912B2 (ja) 表示方法、表示プログラム及び情報処理装置
JP2022147502A (ja) 機械学習プログラム、機械学習方法および情報処理装置
Turek et al. Automated classification of electroluminescence images using artificial neural networks in correlation to solar cell performance parameters
WO2021079446A1 (ja) 表示方法、表示プログラム及び情報処理装置
JP7287093B2 (ja) 学習プログラム、学習方法および学習装置
TWI832403B (zh) 用於多維動態部件平均測試之方法、設備及非暫時性電腦可讀媒體
JP7448026B2 (ja) 検知プログラム、モデル生成プログラム、検知方法、モデル生成方法、検知装置及びモデル生成装置
Shin et al. A framework for detecting unknown defect patterns on wafer bin maps using active learning
JP2023112250A (ja) データ処理装置、データ処理システム、及び、データ処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949825

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021553248

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949825

Country of ref document: EP

Kind code of ref document: A1