WO2024034451A1 - 学習済みモデルの生成方法、判定装置、判定方法、及びプログラム - Google Patents

学習済みモデルの生成方法、判定装置、判定方法、及びプログラム Download PDF

Info

Publication number
WO2024034451A1
WO2024034451A1 PCT/JP2023/027975 JP2023027975W WO2024034451A1 WO 2024034451 A1 WO2024034451 A1 WO 2024034451A1 JP 2023027975 W JP2023027975 W JP 2023027975W WO 2024034451 A1 WO2024034451 A1 WO 2024034451A1
Authority
WO
WIPO (PCT)
Prior art keywords
negative
error
data
positive
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/027975
Other languages
English (en)
French (fr)
Inventor
哲生 田中
強 芦田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022182474A external-priority patent/JP7731641B2/ja
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Priority to CN202380055017.4A priority Critical patent/CN119522446A/zh
Publication of WO2024034451A1 publication Critical patent/WO2024034451A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present disclosure relates to a learned model generation method, determination device, determination method, and program.
  • Patent Document 1 discloses that a plurality of object images are used as learning data, and the average, variance, and height of a distribution approximated by a specific distribution are calculated for each unit pixel so that the error between input and output is small.
  • a technique is disclosed for training a variational autoencoder to output an order statistic.
  • a trained model for binary classification may be used for testing to determine pass/fail of a product.
  • binary classification not only true positives (TP) and true negatives (TN), but also false positives (FP) and false negatives (FN) can occur (see Figure 2). ).
  • False positive is classifying something that is negative (fail) as positive (pass).
  • False positive rate is expressed as FP/(FP+TN).
  • a false negative is the classification of something that is positive (pass) as negative (fail).
  • False Negative Rate is expressed as FN/(FN+TP).
  • FNR false negative rate
  • the present disclosure has been made in view of the above problems.
  • the main purpose of the present disclosure is to provide a trained model generation method, determination device, determination method, and program that can reduce at least one of a false positive rate and a false negative rate to a predetermined value or less.
  • a method for generating a trained model is a method for generating a trained model for binary classification, in which the error and learning when the training data is positive is positive is At least one of the weighting parameter that weights one error more than the other error in the loss function that adds up the errors when the data for which the data is negative, and the determination threshold for determining whether the data is positive or negative are set to Hyper.
  • Set as a parameter perform machine learning on the learning model to output the probability that the learning data is positive or negative using the loss function, and make sure that at least one of the false positive rate and false negative rate is below a predetermined value. Then, the hyperparameter search is performed. According to this, it is possible to reduce at least one of the false positive rate and the false negative rate to a predetermined value or less.
  • the loss function may include a corrected probability in which the probability output by the trained model is corrected by the determination threshold. According to this, it is possible to obtain a threshold value suitable for classification.
  • the generation of the trained model includes a learning step in which the judgment threshold is provisionally set and a learning model is trained using the loss function determined by the judgment threshold, and a false positive is detected from the classification result of the learning model.
  • the weighting parameter is set to weight an error when the learning data is negative in the loss function more than an error when the learning data is positive, and the determination threshold is set as a predetermined fixed value.
  • the weighting parameter may be searched until the false positive rate becomes equal to or less than a predetermined value. According to this, it is possible to generate a trained model that guarantees that the false positive rate is below a predetermined value.
  • a common determination threshold can be used even when a plurality of trained models are generated, and management can be simplified.
  • the determination threshold to a fixed value, there is no need to search for the determination threshold.
  • the weighting in the search for the weighting parameter, may be increased each time the weighting parameter is updated. According to this, by increasing the weighting each time an update is made, it is possible to quickly search for a weighting parameter whose false positive rate is equal to or less than a predetermined value.
  • a plurality of the weighting parameters may be prepared, machine learning of the learning model may be performed in parallel for the plurality of weighting parameters, and a trained model having the false positive rate below a predetermined value may be extracted. According to this, by performing machine learning on a learning model in parallel for a plurality of weighting parameters, it is possible to reduce the number of searches.
  • the trained model may output a determination result of pass/fail of a product included in the image data. According to this, it is possible to determine whether a product is acceptable or not so that at least one of the false positive rate and the false negative rate is below a predetermined value.
  • a determination device includes an acquisition unit that acquires determination data, and a loss function that adds an error when the learning data is positive and an error when the learning data is negative. At least one of a weighting parameter that weights one error more than the other error and a determination threshold for determining whether the error is positive or negative is set as a hyperparameter, and the learning data is calculated using the loss function.
  • a trained model that is generated by performing machine learning on a learning model to output a positive or negative probability, and searching for the hyperparameters so that at least one of the false positive rate and false negative rate is below a predetermined value.
  • a determination unit that determines whether the determination data is positive or negative using the determination data. According to this, it is possible to reduce at least one of the false positive rate and the false negative rate to a predetermined value or less.
  • the loss function includes a corrected probability in which the probability output by the learned model is corrected by the determination threshold, and the determination unit is configured to determine whether the determination data output from the trained model is corrected by the determination threshold.
  • the probability of being positive or negative may be compared to the threshold. According to this, it is possible to obtain a threshold value suitable for determination.
  • the learned model may output a judgment result of pass/fail of the product included in the image data. According to this, it is possible to determine whether a product is acceptable or not so that at least one of the false positive rate and the false negative rate is below a predetermined value.
  • determination data is acquired, and one of the errors in a loss function is obtained by adding an error when the learning data is positive and an error when the learning data is negative.
  • At least one of a weighting parameter that weights one error more than another error and a determination threshold for determining whether the error is positive or negative is set as a hyperparameter, and the loss function is used to determine whether the learning data is positive or negative.
  • Machine learning of the learning model is performed to output a probability of , it is determined whether the determination data is positive or negative. According to this, it is possible to reduce at least one of the false positive rate and the false negative rate to a predetermined value or less.
  • a program includes obtaining determination data, and one part of a loss function that adds an error when the learning data is positive and an error when the learning data is negative.
  • At least one of a weighting parameter that weights one error more than the other error and a determination threshold for determining whether the error is positive or negative is set as a hyperparameter, and the loss function is used to determine whether the learning data is positive or negative.
  • the present disclosure it is possible to reduce either the false positive rate or the false negative rate to a predetermined value or less.
  • FIG. 1 is a diagram showing a configuration example of a determination system.
  • FIG. 3 is a diagram for explaining binary classification. It is a figure for explaining an ROC curve.
  • FIG. 3 is a diagram illustrating a procedure example of a method for generating a trained model.
  • FIG. 3 is a diagram for explaining a loss function.
  • FIG. 3 is a diagram for explaining a determination method. It is a figure which shows the example of a procedure of a determination method.
  • FIG. 3 is a diagram for explaining an example of a determination result.
  • FIG. 3 is a diagram illustrating a procedure example of a method for generating a trained model.
  • FIG. 3 is a diagram for explaining a search for weighting parameters. It is a figure which shows the example of a procedure of a determination method.
  • FIG. 1 is a block diagram showing an example of the configuration of the determination system 10. As shown in FIG.
  • the determination system 10 includes a determination device 1, a storage section 2, a camera 3, and a display section 4.
  • the determination system 10 is an appearance inspection system in which the determination device 1 determines whether a product imaged by the camera 3 is acceptable or not.
  • the determination device 1 is a computer including a CPU, RAM, ROM, nonvolatile memory, input/output interface, and the like.
  • the CPU of the determination device 1 executes information processing according to a program loaded into the RAM from the ROM or nonvolatile memory.
  • the program may be supplied via an information storage medium such as an optical disk or a memory card, or may be supplied via a communication network such as the Internet or LAN.
  • the storage unit 2 is a storage device such as an HDD or an SDD.
  • the storage unit 2 stores learned models, threshold values, and the like used for determination by the determination device 1.
  • the learned model and threshold are generated in the learning phase described below.
  • the camera 3 is a digital camera that images the product and generates image data.
  • the camera 3 outputs the generated image data to the determination device 1.
  • the display unit 4 is a display device such as a liquid crystal display.
  • the display unit 4 outputs the determination result by the determination device 1 on a screen.
  • the determination device 1 includes an acquisition section 11 and a determination section 12. These functional units are realized by the CPU of the determination device 1 executing information processing according to a program loaded into the RAM from the ROM or nonvolatile memory.
  • the acquisition unit 11 acquires determination data. Specifically, the acquisition unit 11 acquires image data generated by the camera 3.
  • the image data is an example of determination data and includes a product to be determined.
  • the determination unit 12 determines whether the determination data is positive or negative using the learned model. Specifically, the determination unit 12 uses the trained model and threshold value stored in the storage unit 2 to determine whether the product included in the image data is acceptable. Details of the determination will be described later.
  • the trained model is a trained model for binary classification.
  • the trained model is, for example, an image discrimination model such as a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a deep neural network in which neurons are combined in multiple stages is suitable for the neural network.
  • the trained model When the trained model receives image data as judgment data, it outputs a judgment result of pass/fail of the product included in the image data. For example, a sigmoid function is used as the output element of the learned model, and a value between 0 and 1 representing the probability of acceptance of the product is output.
  • a failing product may be judged as passing (false positive, i.e., FP), or an acceptable product may be judged as failing (false negative, i.e., FN) (see Figure 2). ).
  • FPR false positive rate
  • FPR false negative rate
  • the present embodiment aims to suppress the false positive rate (FPR) to a predetermined value a1 or less from the viewpoint of quality assurance, and at the same time suppress the false negative rate (FNR) as much as possible.
  • the recall rate (TPR) may not be sufficient in the range of FPR ⁇ a 1 , so in this embodiment, FPR ⁇ a 1
  • the purpose is to improve the recall rate (TPR) as much as possible within the range of , that is, to suppress the false negative rate (FNR) as much as possible.
  • FIG. 4 is a flow diagram illustrating a procedure example of a method for generating a trained model. Each step shown in the figure is realized by information processing by a computer.
  • the TNR tends to increase. Therefore, in this embodiment, in order to preferentially improve the TPR, that is, to suppress the FNR preferentially, the error when the learning data is passed (positive) is compared to the error when the learning data is failed (negative).
  • the model is trained using a loss function that is weighted more than the error at a certain time.
  • the probability of passing (positive) or failing (negative) is set in the loss function according to the relationship with a given threshold value ⁇ .
  • the corrected probability is included.
  • the threshold value ⁇ is a threshold value for determining failure (negative)
  • threshold value 1 ⁇ is a threshold value for determining pass (positive)
  • the learning data is divided into model parameter learning data and tuning data (S11).
  • the learning data is a data set in which learning images are associated with pass/fail labels.
  • the learning data may further include verification data for verifying the accuracy of the model.
  • verification data for verifying the accuracy of the model.
  • 80% may be model parameter learning data
  • 10% may be tuning data
  • 10% may be verification data (overfitting evaluation data).
  • the threshold value ⁇ model is temporarily set to a certain value (S12).
  • the threshold value ⁇ model may be determined, for example, as a positive constant times a value based on a weighting coefficient in the loss function, as described later.
  • a learning step is performed using the model parameter learning data (S13).
  • the model is trained using a loss function determined by the temporarily set threshold value ⁇ model .
  • a loss function is calculated from the pass/fail probability obtained by inputting the training image into the model and the pass/fail label associated with the training image, and the model parameters are set to minimize the loss function. This is done by updating.
  • an adjustment step is executed using the tuning data (S14).
  • an adjustment threshold ⁇ tune that satisfies FPR ⁇ a 1 is determined from the determination result of the model.
  • the determination result of the model is the probability of pass/fail obtained by inputting the learning image of the tuning data into the model. Based on the obtained pass/fail probability and the pass/fail label associated with the learning image, the boundary of the probability that FPR ⁇ a 1 can be determined as the adjustment threshold ⁇ tune .
  • the threshold ⁇ model is a hyperparameter and cannot be searched using a loss function
  • the threshold ⁇ model is updated using, for example, a dichotomy method. Specifically, ( ⁇ model + ⁇ tune )/2 is used as the new threshold value ⁇ model .
  • ⁇ model + ⁇ tune a dichotomy method.
  • the learning step (S13) and the adjustment step (S14) are repeated until the difference between the threshold value ⁇ model and the adjustment threshold value ⁇ tune becomes equal to or less than the predetermined value c. That is, the process is repeated until the threshold value ⁇ model approaches the adjustment threshold value ⁇ tune within an appropriate range.
  • this embodiment uses a loss function that can weight the error when the learning data is passed (positive) more than the error when the learning data is failed (negative).
  • a loss function that can weight the error when the learning data is passed (positive) more than the error when the learning data is failed (negative).
  • BCE Binary Cross Entropy
  • Logistic Loss which allows such weighting
  • p is a weighting coefficient, and by selecting a value larger than 1, the first term can be weighted. Note that if a value smaller than 1 is selected for p, the second term will be weighted. Since p is a hyperparameter and cannot be searched using this loss function, it may be set to an appropriate value that satisfies the conditions described below.
  • x is the output value of the model, and ⁇ (x) is the probability of predicting passing (correct).
  • the first term in the square brackets of Equation 1 represents the error when the learning data is passed (positive), and the second term represents the error when the learning data is failed (negative).
  • the weighting coefficient p is included in the first term.
  • This loss function is configured so that the loss increases as the model's prediction differs from the correct answer in the class (that is, FP or FN), and when p is a value larger than 1, the loss increases as the predicted class is FN. .
  • ⁇ n ( ⁇ ) is a corrected probability obtained by correcting ⁇ 0 according to the relationship with the threshold value ⁇ .
  • ⁇ n ( ⁇ ) is discontinuous before and after the threshold value 1 ⁇ .
  • Equation 5 the condition for the weighting coefficient p such that the loss function monotonically decreases is expressed by Equation 5.
  • FIG. 6 is a diagram for explaining the determination method.
  • FIG. 7 is a flow diagram showing an example of the procedure of the determination method.
  • FIG. 8 is a diagram for explaining an example of the determination result.
  • the determination device 1 functions as an acquisition unit 11 and a determination unit 12 by executing the information processing shown in FIG. 6 according to a program.
  • the determination device 1 acquires image data captured by the camera 3 (S21, function as the acquisition unit 11).
  • the determination device 1 determines whether the product included in the image data is OK (passed) using the learned model and threshold value ⁇ generated in the learning phase and stored in the storage unit 2 (see FIG. 1). It is determined whether the result is NG (fail) (S22-S26, function as the determination unit 12).
  • the determination device 1 inputs the image data into the learned model and calculates the OK probability p2 that the product is OK (passed) (S22).
  • the output element of the trained model is composed of a sigmoid function, and the OK probability p2 is output as a value of 0 or more and 1 or less.
  • the determination device 1 calculates the NG probability p 1 that the product is NG (rejected) from the OK probability p 2 (S23).
  • the NG probability p 1 is expressed as 1-p 2 .
  • the OK probability p 2 or the NG probability p 1 is an example of the result of determining whether the product included in the image data is acceptable.
  • the determination device 1 compares the NG probability p 1 with the threshold value ⁇ , and makes a determination based on the magnitude relationship between the NG probability p 1 and the threshold value ⁇ (S24).
  • the determination device 1 determines that the product is NG (rejected) (S25).
  • the determination device 1 determines that the product is OK (passed) (S26).
  • images A and D for which the NG probability p 1 is 5% or more are determined to be NG (fail), and the NG probability p 1 is less than 5%.
  • Images B and C are determined to be OK (pass).
  • the purpose is to suppress the false positive rate (FPR) to a predetermined value a1 or less while also suppressing the false negative rate (FNR).
  • the purpose may be to suppress the false positive rate (FPR) while suppressing the predetermined value b to 1 or less.
  • TPR tends to increase. Therefore, in this modification, in order to preferentially improve the TNR, that is, to preferentially suppress the FPR, the error when the learning data is a fail (negative) is replaced by the error when the learning data is a pass (positive). ), the model is trained using a loss function that is weighted more than the error when .
  • the weighting coefficient p is included not in the first term but in the second term in square brackets that represents the error when the training data is failed (negative). .
  • the model is trained using such a loss function.
  • an adjustment threshold ⁇ tune that satisfies FNR ⁇ b 1 is determined from the model determination result.
  • image data is used as the determination data, but the present invention is not limited to this, and various types of data can be used as the determination data.
  • the NG probability p 1 is calculated and compared with the threshold ⁇ for determining NG (fail), but the present invention is not limited to this. ) may be compared with a threshold value 1- ⁇ for determining.
  • a loss function in which the error when the training data is passed (positive) is weighted more than the error when the training data is failed (negative) is used to develop the model so that the FNR is below a predetermined value. You can also study.
  • FIG. 9 is a flow diagram illustrating a procedure example of a method for generating a trained model according to the second embodiment. Each step shown in the figure is realized by information processing by a computer.
  • a weighting parameter r is set as a hyperparameter that weights the error when the training data is rejected (negative) more than the error when the training data is passed (positive) in the loss function.
  • the determination threshold ⁇ is set as a predetermined fixed value. Then, machine learning is performed on the learning model using the loss function, and a search for the weighting parameter r is performed until the FPR becomes equal to or less than the predetermined value ⁇ .
  • the learning data is divided into model learning data, tuning data, and test data (S31).
  • the learning data is a data set in which learning images are associated with pass/fail labels.
  • 80% may be model learning data
  • 10% may be tuning data
  • 10% may be test data (overfitting evaluation data).
  • the weighting parameter r is set to a certain value r0 (S32). r 0 is a value greater than 1.
  • model parameters are learned using the model learning data (S33). Specifically, learning is performed based on a loss function that includes a weighting parameter r that weights the error when the training data is failed (negative) more than the error when the training data is passed (positive). , the learned parameter k r (hat is omitted in the main text) is obtained.
  • the learned parameter k r is expressed by Equation 6 below.
  • DT represents all learning data.
  • r is a weighting parameter and has a value greater than 1.
  • Y l is a pass/fail label of the learning data (1: pass, 0: fail).
  • l 0 is the number of failed (negative) learning data
  • l 1 is the number of passed (positive) learning data. Since it is difficult to prepare the passing learning data and the failing learning data equally, the weights l 0 and l 1 of the number of data are adopted for the purpose of suppressing the influence caused by the bias.
  • This formula 6 is configured so that the weighting parameter r is set to be larger than 1, so that when the learning data fails and the prediction deviates, the loss becomes relatively large. Therefore, under this loss function, learning is performed to make the FPR as small as possible.
  • Equation 7 the value of y for FPR confirmation is calculated from the determination result using the tuning data based on the model including the learned parameter k ro (S34). y is represented by Equation 7 below.
  • FPR is the FPR calculated from the determination result of the model including the learned parameter k ro .
  • ⁇ is a preset value, and is appropriately selected based on the level of FPR required for the model.
  • a search for the weighting parameter r is performed.
  • the search for the weighting parameter r is performed until the value of y can be approximately regarded as 0 (S35: YES), that is, until the FPR becomes equal to or less than a predetermined value.
  • a method such as a straight line search method is used to search for the weighting parameter r.
  • the value of y often oscillates due to fluctuations in data selection, etc., so multiple weighting parameters r are prepared and learning is performed on them in parallel.
  • the weighting parameter r may be determined by comparing the values of y. In this case, it is expected that the number of search loops can be reduced.
  • the weighting parameter r should be kept at the minimum value within the range that satisfies FPR ⁇ . , it is desirable to suppress the increase in FNR. This makes it possible to suppress FNR while ensuring that FPR ⁇ .
  • the search ends.
  • it is preferable to compare with a value smaller than that in S35 above. For example, when it is determined in S35 above whether the value of y is less than or equal to 0, it is determined in S38 whether or not the value of y is less than or equal to a value a that is slightly smaller than 0 (for example, a -0.01). is preferred.
  • FIG. 11 is a diagram illustrating a procedure example of a determination method according to the second embodiment using a trained model generated by the trained model generation method according to the second embodiment.
  • the determination device 1 executes the information processing shown in the figure according to a program.
  • the determination device 1 acquires image data captured by the camera 3 (S41, function as the acquisition unit 11).
  • the determination device 1 determines whether the product included in the image data is OK (pass) or NG (fail) using the learned model (S42-S45, the function as the determination unit 12 ).
  • the determination device 1 inputs the image data into the learned model and calculates the OK probability p2 that the product is OK (passed) (S42).
  • the output element of the trained model is composed of a sigmoid function, and the OK probability p2 is output as a value of 0 or more and 1 or less.
  • the determination device 1 compares the OK probability p 2 with the determination threshold value ⁇ f and determines the OK probability p 2 based on the magnitude relationship of the determination threshold value ⁇ f (S43).
  • the determination threshold value ⁇ f is a predetermined fixed value.
  • the determination device 1 determines that the product is OK (passed) (S44).
  • the determination device 1 determines that the product is NG (rejected) (S45).
  • the judgment was made by comparing the OK probability p 2 and the judgment threshold ⁇ f , but the invention is not limited to this, and similarly to the first embodiment, the NG probability p 1 and the judgment threshold 1 - ⁇ f are compared. The determination may be made by comparison.
  • a method for generating a trained model according to the present disclosure includes: A method for generating a trained model for binary classification, the method comprising: A weighting parameter that weights one error more than the other error in a loss function that adds the error when the training data is positive and the error when the training data is negative, and determines whether it is positive or negative.
  • a weighting parameter that weights one error more than the other error in a loss function that adds the error when the training data is positive and the error when the training data is negative, and determines whether it is positive or negative.
  • the loss function may include a corrected probability in which the probability output by the learning model is corrected by the determination threshold.
  • Aspect 3 The method for generating the trained model of Aspect 2 is as follows: a learning step of provisionally setting the determination threshold and learning a learning model using the loss function determined by the determination threshold; an adjustment step of determining an adjustment determination threshold at which a false positive rate or a false negative rate is below a predetermined value from the classification results of the learning model; including; The learning step and the adjusting step may be repeated until the difference between the determination threshold and the adjustment determination threshold becomes a predetermined value or less.
  • the method for generating a trained model according to any one of aspects 1 to 3 is as follows: setting the weighting parameter that weights an error when the learning data is negative in the loss function more than an error when the learning data is positive; setting the determination threshold as a predetermined fixed value; The weighting parameter may be searched until the false positive rate becomes equal to or less than a predetermined value.
  • Aspect 6 The method for generating the trained model of Aspect 4 or Aspect 5 is as follows: Prepare a plurality of weighting parameters, Machine learning of the learning model is performed in parallel for a plurality of the weighting parameters, A trained model whose false positive rate is less than or equal to a predetermined value may be extracted.
  • the determination device (1) includes: an acquisition unit (11) that acquires determination data; A weighting parameter that weights one error more than the other error in a loss function that adds the error when the training data is positive and the error when the training data is negative, and determines whether it is positive or negative. At least one of the judgment threshold and the judgment threshold for a determination unit (12) that determines whether the determination data is positive or negative using a trained model generated by searching the hyperparameters so that at least one of the false negative rates is less than or equal to a predetermined value; )and, Equipped with.
  • the loss function includes a corrected probability in which the probability output by the learned model is corrected by the determination threshold,
  • the determination unit may compare a probability that the determination data output from the trained model is positive or negative with the determination threshold.
  • Aspect 10 In the determination device (1) of Aspect 8 or Aspect 9, when image data as the determination data is input, the trained model determines the pass/fail determination result of the product included in the image data. You can also output it.
  • the determination method includes: Obtain judgment data, A weighting parameter that weights one error more than the other error in a loss function that adds the error when the training data is positive and the error when the training data is negative, and determines whether it is positive or negative. At least one of the judgment threshold and the judgment threshold for It is determined whether the determination data is positive or negative using a trained model generated by searching the hyperparameters so that at least one of the false negative rates is equal to or less than a predetermined value.
  • the program according to the present disclosure includes: Obtaining data for determination, and a weighting parameter that weights one error more than the other error in a loss function that adds the error when the training data is positive and the error when the training data is negative. and a determination threshold for determining that the data is positive or negative are set as hyperparameters, and the learning model is configured to output the probability that the training data is positive or negative using the loss function.
  • a trained model generated by performing machine learning and searching for the hyperparameters so that at least one of the false positive rate and the false negative rate is below a predetermined value it is determined whether the determination data is positive or negative. to determine whether have the computer execute it.
  • 1 Judgment device 1 Judgment device, 2 Storage unit, 3 Camera, 4 Display unit, 10 Judgment system, 11 Acquisition unit, 12 Judgment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

学習済みモデルの生成方法は、二値分類のための学習済みモデルの生成方法であって、学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行う。

Description

学習済みモデルの生成方法、判定装置、判定方法、及びプログラム
　本開示は、学習済みモデルの生成方法、判定装置、判定方法、及びプログラムに関する。
　特許文献１には、複数の対象物画像を学習用データとし、入力と出力の誤差が小さくなるように、かつ、単位画素ごとに、特定の分布で近似された分布の平均、分散、および高次統計量を出力するように、変分オートエンコーダを学習する技術が開示されている。
特開２０２１－１４４３１４号公報
　製品の合否を判定する検査には、二値分類のための学習済みモデルが用いられることがある。二値分類では、真陽性（ＴＰ：True Positive）及び真陰性（ＴＮ：True Negative）だけでなく、偽陽性（ＦＰ：False Positive）及び偽陰性（ＦＮ：False Negative）も起こり得る（図２参照）。
　偽陽性（ＦＰ）は、負（不合格）であるものを正（合格）に分類することである。偽陽性率（ＦＰＲ：False Positive Rate）は、ＦＰ／（ＦＰ＋ＴＮ）で表される。偽陰性（ＦＮ）は、正（合格）であるものを負（不合格）に分類することである。偽陰性率（ＦＮＲ：False Negative Rate）は、ＦＮ／（ＦＮ＋ＴＰ）で表される。
　製品の合否を判定する検査では、品質を保証するために、偽陽性率（ＦＰＲ）を低くすることが求められる。しかしながら、従来の学習モデルは、正解率（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）を高くするように学習しているため、偽陽性率（ＦＰＲ）に求められる要求水準（ＦＰＲ≦α）を満足することを保証しない。
　また、検査の作業効率性の観点から、偽陰性率（ＦＮＲ）もできるだけ低い方がよい。
　本開示は、上記課題に鑑みてなされている。本開示の主な目的は、偽陽性率及び偽陰性率の少なくとも一方を所定以下にすることが可能な学習済みモデルの生成方法、判定装置、判定方法、及びプログラムを提供することにある。
　上記課題を解決するため、本開示の一の態様の学習済みモデルの生成方法は、二値分類のための学習済みモデルの生成方法であって、学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行う。これによると、偽陽性率及び偽陰性率の少なくとも一方を所定以下にすることが可能となる。
　上記態様において、前記損失関数は、前記学習済みモデルが出力する前記確率が前記判定閾値によって補正された補正確率を含んでもよい。これによると、分類に適した閾値を得ることが可能となる。
　上記態様において、前記学習済みモデルの生成は、前記判定閾値を仮設定し、前記判定閾値により定まる前記損失関数を用いて学習モデルの学習を行う学習ステップと、前記学習モデルの分類結果から偽陽性率又は偽陰性率が所定以下となる調整用判定閾値を求める調整ステップと、を含み、前記学習ステップと前記調整ステップは、前記判定閾値と前記調整用判定閾値の差が所定以下となるまで繰り返されてもよい。これによると、分類に適した閾値を得ることが可能となる。
　上記態様において、前記損失関数において学習用データが負であるときの誤差を学習用データが正であるときの誤差よりも重み付けする前記重み付けパラメータを設定し、前記判定閾値を所定の固定値として設定し、前記偽陽性率が所定以下となるまで前記重み付けパラメータの探索を行ってもよい。これによると、偽陽性率が所定以下となることを保証する学習済みモデルを生成することが可能となる。また、判定閾値を固定値とすることで、複数の学習済みモデルを生成しても共通の判定閾値を利用でき、管理を簡便にすることが可能となる。さらに、判定閾値を固定値とすることで、判定閾値の探索が不要となる。
　上記態様において、前記重み付けパラメータの探索では、前記重み付けパラメータを更新する度に重み付けを大きくしてもよい。これによると、更新の度に重み付けを大きくすることで、偽陽性率が所定以下となる重み付けパラメータを早く探索することが可能となる。
　上記態様において、複数の前記重み付けパラメータを用意し、複数の前記重み付けパラメータについて並列して学習モデルの機械学習を行い、前記偽陽性率が所定以下となる学習済みモデルを抽出してもよい。これによると、複数の重み付けパラメータについて並列して学習モデルの機械学習を行うことで、探索の回数を低減することが可能となる。
　上記態様において、前記学習済みモデルは、画像データが入力されると、前記画像データに含まれる製品の合否の判定結果を出力してもよい。これによると、偽陽性率及び偽陰性率の少なくとも一方を所定以下にするように、製品の合否を判定することが可能となる。
　また、本開示の他の態様の判定装置は、判定用データを取得する取得部と、学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定する判定部と、を備える。これによると、偽陽性率及び偽陰性率の少なくとも一方を所定以下にすることが可能となる。
　上記態様において、前記損失関数は、前記学習済みモデルが出力する前記確率が前記判定閾値によって補正された補正確率を含み、前記判定部は、前記学習済みモデルから出力される、前記判定用データが正又は負である確率を、前記閾値と比較してもよい。これによると、判定に適した閾値を得ることが可能となる。
　上記態様において、前記学習済みモデルは、前記判定用データとしての画像データが入力されると、前記画像データに含まれる製品の合否の判定結果を出力してもよい。これによると、偽陽性率及び偽陰性率の少なくとも一方を所定以下にするように、製品の合否を判定することが可能となる。
　また、本開示の他の態様の判定方法は、判定用データを取得し、学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定する。これによると、偽陽性率及び偽陰性率の少なくとも一方を所定以下にすることが可能となる。
　また、本開示の他の態様のプログラムは、判定用データを取得すること、及び学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定すること、をコンピュータに実行させる。これによると、偽陽性率及び偽陰性率の少なくとも一方を所定以下にすることが可能となる。
　本開示によれば、偽陽性率及び偽陰性率の一方を所定以下にすることが可能となる。
判定システムの構成例を示す図である。 二値分類を説明するための図である。 ＲＯＣ曲線を説明するための図である。 学習済みモデルの生成方法の手順例を示す図である。 損失関数を説明するための図である。 判定方法を説明するための図である。 判定方法の手順例を示す図である。 判定結果の例を説明するための図である。 学習済みモデルの生成方法の手順例を示す図である。 重み付けパラメータの探索を説明するための図である。 判定方法の手順例を示す図である。
［第１実施形態］
　以下、本開示の第１実施形態について、図面を参照しながら説明する。
［システム構成］
　図１は、判定システム１０の構成例を示すブロック図である。判定システム１０は、判定装置１、記憶部２、カメラ３、及び表示部４を備えている。判定システム１０は、カメラ３により撮像された製品の合否を判定装置１により判定する外観検査システムである。
　判定装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。判定装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
　記憶部２は、ＨＤＤ又はＳＤＤ等の記憶装置である。記憶部２は、判定装置１による判定に用いられる学習済みモデル及び閾値などを記憶している。学習済みモデル及び閾値は、後述の学習フェーズにおいて生成されたものである。
　カメラ３は、製品を撮像して画像データを生成するデジタルカメラである。カメラ３は、生成した画像データを判定装置１に出力する。表示部４は、液晶表示ディスプレイ等の表示装置である。表示部４は、判定装置１による判定結果を画面に出力する。
　判定装置１は、取得部１１及び判定部１２を備えている。これらの機能部は、判定装置１のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。
　取得部１１は、判定用データを取得する。具体的には、取得部１１は、カメラ３により生成された画像データを取得する。画像データは、判定用データの一例であり、判定対象の製品を含んでいる。
　判定部１２は、学習済みモデルを用いて、判定用データが正であるか負であるか判定する。具体的には、判定部１２は、記憶部２に記憶された学習済みモデル及び閾値を用いて、画像データに含まれる製品の合否を判定する。判定の詳細については後述する。
　学習済みモデルは、二値分類のための学習済みモデルである。本実施形態では、学習済みモデルは、例えば畳み込みニューラルネットワーク（ＣＮＮ）等の画像判別モデルである。ニューラルネットワークには、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。
　学習済みモデルは、判定データとしての画像データが入力されると、画像データに含まれる製品の合否の判定結果を出力する。学習済みモデルの出力要素には、例えばシグモイド関数が用いられ、製品の合否の確率を表す０以上１以下の値が出力される。
［本実施形態の目的］
　学習済みモデルの生成方法を説明する前に、本実施形態の目的について説明する。
　製品の合否を判定する検査においては、不合格品を合格と判定すること（偽陽性、すなわちＦＰ）、合格品を不合格と判定すること（偽陰性、すなわちＦＮ）が起こり得る（図２参照）。品質を保証するためには、偽陽性率（ＦＰＲ）を低くすることが求められるが、偽陽性率（ＦＰＲ）を低くすると、偽陰性率（ＦＮＲ）が高くなるおそれがある。
　そこで、本実施形態では、品質保証の観点から偽陽性率（ＦＰＲ）を所定値ａ１以下に抑えることを達成すると同時に、偽陰性率（ＦＮＲ）もできる限り抑えることを目的としている。
　図３のＲＯＣ曲線（Receiver Operating Characteristic curve）を用いて説明すると、従来例では、ＦＰＲ≦ａ１の範囲で再現率（ＴＰＲ）が十分でないことがあるため、本実施形態では、ＦＰＲ≦ａ１の範囲で再現率（ＴＰＲ）をできる限り向上させること、つまり偽陰性率（ＦＮＲ）をできる限り抑えることを目的としている。
［学習フェーズ］
　以下、機械学習による学習済みモデルの生成方法について説明する。図４は、学習済みモデルの生成方法の手順例を示すフロー図である。同図に示す各工程は、コンピュータによる情報処理によって実現される。
　ＦＰＲ≦ａ１を保証するようにモデルを学習させると、ＴＮＲが高くなりやすい。そこで、本実施形態では、ＴＰＲを優先的に向上させるため、すなわちＦＮＲを優先的に抑制するため、学習用データが合格（正）であるときの誤差を学習用データが不合格（負）であるときの誤差よりも重み付けした損失関数を用いて、モデルの学習を行う。
　また、本実施形態では、上記の目的を実現する適切な閾値θを得るため、損失関数に、合格（正）又は不合格（負）である確率を所与の閾値θとの関係に応じて補正した補正確率を含めている。閾値θは、不合格（負）を判定するための閾値である（閾値１－θは、合格（正）を判定するための閾値となる）。損失関数の詳細については後述する。
　図４に示すように、まず、学習用データをモデルパラメータ学習用データとチューニング用データに分ける（Ｓ１１）。学習用データは、学習用画像と合否のラベルとを関連付けたデータセットである。
　学習用データは、モデルの精度を検証するための検証用データをさらに含んでもよい。例えば、学習用データのうち、８割がモデルパラメータ学習用データ、１割がチューニング用データ、１割が検証用データ（過学習評価用データ）であってもよい。
　次に、閾値θmodelを或る値に仮設定する（Ｓ１２）。閾値θmodelは、例えば後述するように損失関数における重み付け係数に基づく値の正の定数倍として定めてもよい。
　次に、モデルパラメータ学習用データを用いて学習ステップを実行する（Ｓ１３）。学習ステップでは、仮設定された閾値θmodelにより定まる損失関数を用いてモデルの学習が行われる。
　モデルの学習は、学習用画像をモデルに入力して得られる合否の確率と、学習用画像に関連付けられた合否のラベルとから損失関数を求め、損失関数を最小化するようにモデルのパラメータを更新することによって行われる。
　次に、チューニング用データを用いて調整ステップを実行する（Ｓ１４）。調整ステップでは、モデルの判定結果からＦＰＲ≦ａ１となる調整用閾値θtuneが求められる。
　モデルの判定結果は、チューニング用データの学習用画像をモデルに入力して得られる合否の確率である。得られた合否の確率と、学習用画像に関連付けられた合否のラベルとに基づいて、ＦＰＲ≦ａ１となる確率の境界が調整用閾値θtuneとして求められ得る。
　次に、閾値θmodelと調整用閾値θtuneの差が所定値ｃ以下であるか否か判定する（Ｓ１５）。閾値θmodelと調整用閾値θtuneの差が所定値ｃ超過である場合（Ｓ１５：ＮＯ）、閾値θmodelを更新して（Ｓ１６）、学習ステップ（Ｓ１３）及び調整ステップ（Ｓ１４）を再度実行する。
　閾値θmodelはハイパーパラメータであり、損失関数によって探索できないため、閾値θmodelの更新は、例えば２分法によって行われる。具体的には、（θmodel＋θtune）／２が新たな閾値θmodelとして用いられる。例えば、後述するようにＦＮＲがθに対して単調減少となる下限値を推定し、その下限値以上となるθをＦＮＲの単調減少性から２分法で探索する。
　学習ステップ（Ｓ１３）及び調整ステップ（Ｓ１４）は、閾値θmodelと調整用閾値θtuneの差が所定値ｃ以下となるまで繰り返される。すなわち、閾値θmodelが適切な範囲内で調整用閾値θtuneに近づくまで繰り返される。
　閾値θmodelと調整用閾値θtuneの差が所定値ｃ以下になると（Ｓ１５：ＹＥＳ）、検証用データを用いてモデルの判定精度、ＦＰＲ、及びＦＮＲ等を確認した上で、全ての工程が終了する。これにより、ＦＰＲ≦ａ１を達成しつつＦＮＲも抑えることが可能な学習済みモデルと、合否判定に適切な閾値θとを得ることができる。
［損失関数］
　以下、学習ステップ（Ｓ１３）に用いられる損失関数について説明する。
　上述したように、本実施形態では、学習用データが合格（正）であるときの誤差を学習用データが不合格（負）であるときの誤差よりも重み付けできる損失関数を用いている。例えば、そのような重み付けが可能なＢＣＥ（Binary Cross Entropy） with Logistic Loss が損失関数として用いられる（数式１参照）。
Figure JPOXMLDOC01-appb-M000001
　ｐは、重み付け係数であり、１より大きい値を選ぶことで第一項を重み付けすることができる。なお、ｐに１より小さい値を選んだ場合は第二項を重み付けすることになる。ｐは、ハイパーパラメータであり、この損失関数より探索することはできないので、後述の条件に当てはまる適当な値を設定してよい。ｘはモデルの出力値、σ（ｘ）は合格（正）と予測する確率である。数式１の角括弧内の第１項は、学習用データが合格（正）であるときの誤差を表し、第２項は、学習用データが不合格（負）であるときの誤差を表す。重み付け係数ｐは第１項に含まれる。この損失関数ではモデルの予測が正解と異なるクラス（すなわちＦＰまたはＦＮである）ほど損失が大きくなるよう構成され、ｐが１より大きい値であるときは予測クラスがＦＮであるほど損失が拡大する。
　σ０をｙ＝１（合格）である確率、１－σ０をｙ＝０（不合格）である確率として、閾値θに対する判定を数式２のように定める（図５参照）。なお、閾値θは、不合格（負）を判定するための閾値であり、閾値１－θは、合格（正）を判定するための閾値である。
Figure JPOXMLDOC01-appb-M000002
　σｎ（θ）は、σ０を閾値θとの関係に応じて補正した補正確率である。σｎ（θ）は、閾値１－θの前後で非連続となっている。
　或るθ、Δθ＞０において損失関数の差がｌ（θ＋Δθ）－ｌ（θ）＜０となる重み付け係数ｐであれば、ＦＮＲは単調減少となる。ｙ＝１の場合は数式３、ｙ＝０の場合は数式４で表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　よって、θを変えることによる損失関数の差はσ０～１－θ近傍でしか起こらない。通常、Ｎｙ＝１＞Ｎｙ＝０であるから、σ０～１－θとなるものは、合格（正）と不合格（負）で同数と仮定できる。よって、損失関数が単調減少となる重み付け係数ｐの条件は、数式５で表される。
Figure JPOXMLDOC01-appb-M000005
　この式に基づいて閾値θが満たすべき数値範囲を確認することができる。
［推論フェーズ］
　以下、判定システム１０（図１参照）において実現される、学習フェーズで生成された学習済みモデル及び閾値θを用いた判定方法について説明する。図６は、判定方法を説明するための図である。図７は、判定方法の手順例を示すフロー図である。図８は、判定結果の例を説明するための図である。
　判定装置１は、図６に示す情報処理をプログラムに従って実行することで、取得部１１及び判定部１２として機能する。
　まず、判定装置１は、カメラ３により撮像された画像データを取得する（Ｓ２１、取得部１１としての機能）。
　次に、判定装置１は、学習フェーズで生成され、記憶部２（図１参照）に記憶された学習済みモデル及び閾値θを用いて、画像データに含まれる製品がＯＫ（合格）であるかＮＧ（不合格）であるか判定する（Ｓ２２－Ｓ２６、判定部１２としての機能）。
　具体的には、判定装置１は、画像データを学習済みモデルに入力し、製品がＯＫ（合格）であるＯＫ確率ｐ２を計算する（Ｓ２２）。学習済みモデルの出力要素はシグモイド関数で構成され、ＯＫ確率ｐ２は０以上１以下の値で出力される。
　次に、判定装置１は、ＯＫ確率ｐ２から、製品がＮＧ（不合格）であるＮＧ確率ｐ１を計算する（Ｓ２３）。ＮＧ確率ｐ１は、１－ｐ２で表される。ＯＫ確率ｐ２又はＮＧ確率ｐ１は、画像データに含まれる製品の合否の判定結果の例である。
　次に、判定装置１は、ＮＧ確率ｐ１を閾値θと比較し、ＮＧ確率ｐ１と閾値θの大小関係で判定を行う（Ｓ２４）。
　ＮＧ確率ｐ１が閾値θ以上である場合には（Ｓ２４：ＹＥＳ）、判定装置１は、製品がＮＧ（不合格）であると判定する（Ｓ２５）。
　一方、ＮＧ確率ｐ１が閾値θ未満である場合には（Ｓ２４：ＮＯ）、判定装置１は、製品がＯＫ（合格）であると判定する（Ｓ２６）。
　図８の例に示すように、閾値θが５％であるとき、ＮＧ確率ｐ１が５％以上である画像Ａ及びＤはＮＧ（不合格）と判定され、ＮＧ確率ｐ１が５％未満である画像Ｂ及びＣはＯＫ（合格）と判定される。
　以上に説明した第１実施形態によれば、画像データに含まれる製品がＯＫ（合格）であるかＮＧ（不合格）であるか判定する検査において、ＦＰＲ≦ａ１を達成しつつＦＮＲも抑えることが可能となる。
［変形例］
　上記第１実施形態では、偽陽性率（ＦＰＲ）を所定値ａ１以下に抑えつつ偽陰性率（ＦＮＲ）も抑えることを目的としたが、これとは反対に、偽陰性率（ＦＮＲ）を所定値ｂ１以下に抑えつつ偽陽性率（ＦＰＲ）も抑えることを目的としてもよい。
　ＦＮＲ≦ｂ１を保証するようにモデルを学習させると、ＴＰＲが高くなりやすい。そこで、本変形例では、ＴＮＲを優先的に向上させるために、すなわちＦＰＲを優先的に抑制するために、学習用データが不合格（負）であるときの誤差を学習用データが合格（正）であるときの誤差よりも重み付けした損失関数を用いて、モデルの学習を行う。
　具体的には、上記数式１で表す損失関数において、重み係数ｐを、第１項ではなく、学習用データが不合格（負）であるときの誤差を表す角括弧内の第２項に含める。
　学習ステップ（Ｓ１３）では、そのような損失関数を用いてモデルの学習が行われる。調整ステップ（Ｓ１４）では、モデルの判定結果からＦＮＲ≦ｂ１となる調整用閾値θtuneが求められる。
　以上、本開示の第１実施形態について説明したが、本開示は以上に説明した実施形態に限定されず、種々の変更が当業者にとって可能である。
　上記実施形態では、判定用データとして画像データを用いているが、これに限られず、判定用データには種々のデータを用いることができる。
　上記実施形態では、ＮＧ確率ｐ１を算出して、ＮＧ（不合格）を判定するための閾値θと比較しているが、これに限らず、ＯＫ確率ｐ２を算出して、ＯＫ（合格）を判定するための閾値１－θと比較してもよい。
　その他、学習用データが合格（正）であるときの誤差を学習用データが不合格（負）であるときの誤差よりも重み付けした損失関数を用いて、ＦＮＲが所定以下となるようにモデルの学習を行ってもよい。
　また、学習用データが不合格（負）であるときの誤差を学習用データが合格（正）であるときの誤差よりも重み付けした損失関数を用いて、ＦＰＲが所定以下となるようにモデルの学習を行ってもよい。
［第２実施形態］
　以下、第２実施形態について説明する。図９は、第２実施形態に係る学習済みモデルの生成方法の手順例を示すフロー図である。同図に示す各工程は、コンピュータによる情報処理によって実現される。
　第２実施形態では、損失関数において学習用データが不合格（負）であるときの誤差を学習用データが合格（正）であるときの誤差よりも重み付けする重み付けパラメータｒをハイパーパラメータとして設定し、判定閾値θを所定の固定値として設定する。そして、損失関数を用いて学習モデルの機械学習を行い、ＦＰＲが所定値α以下となるまで重み付けパラメータｒの探索を行う。
　図９に示すように、まず、学習用データを、モデル学習用データと、チューニング用データと、テストデータとに分ける（Ｓ３１）。学習用データは、学習用画像と合否のラベルとを関連付けたデータセットである。例えば、学習用データのうち、８割がモデル学習用データ、１割がチューニング用データ、１割がテストデータ（過学習評価用データ）であってもよい。
　次に、重み付けパラメータｒを或る値ｒ０に設定する（Ｓ３２）。ｒ０は、１より大きい値である。
　次に、モデル学習用データを用いてモデルパラメータの学習を行う（Ｓ３３）。具体的には、学習用データが不合格（負）であるときの誤差を学習用データが合格（正）であるときの誤差よりも重み付けする重み付けパラメータｒを含む損失関数に基づいて学習を行い、学習済みパラメータｋｒ（本文ではハットを省略）を得る。学習済みパラメータｋｒは、下記数式６で表される。
Figure JPOXMLDOC01-appb-M000006
　ここで、ＤＴは全学習用データを表す。ｒは、重み付けパラメータであり、１よりも大きい値である。Ｙｌは、学習用データの合否ラベルである（１：合格、０：不合格）。ｐｌ（ｋ）は、データｌがＹ＝１（合格）又はＹ＝０（不合格）と判定される予測値（確率）である。
　ｌ０は不合格（負）の学習用データ数であり、ｌ１は合格（正）の学習用データ数である。合格の学習用データと不合格の学習用データは均等に用意することが難しいため、その偏りに伴う影響を抑制する目的で、データ数の重みｌ０，ｌ１が採用されている。
　この数式６は、重み付けパラメータｒが１よりも大きく設定されることで、学習用データが不合格である場合に予測が乖離すると、損失が相対的に大きくなるよう構成されている。したがって、この損失関数の元では、ＦＰＲをなるべく小さくするように学習することになる。
　Ｓ３２及びＳ３３では、重み付けパラメータｒ＝ｒ０が設定され、その上で、モデル学習用データを用いてモデルパラメータの学習が行われ、学習済みパラメータｋｒｏが得られる。
　次に、学習済みパラメータｋｒｏを含むモデルによるチューニング用データを用いた判定結果から、ＦＰＲ確認のためのｙの値を算出する（Ｓ３４）。ｙは、下記数式７で表される。
Figure JPOXMLDOC01-appb-M000007
　ここで、ＦＰＲは、学習済みパラメータｋｒｏを含むモデルの判定結果から算出されたＦＰＲである。αは、予め設定される値であって、モデルに要求されるＦＰＲの水準から適宜選択される。
　次に、ｙの値が近似的に０に見なせるか否か判定する（Ｓ３５）。具体的には、ｙの値が０を含む所定の範囲内であるか否かを判定する。
　ｙの値が近似的に０に見なせない場合（Ｓ３５：ＮＯ）重み付けパラメータｒを更新して（Ｓ３６）、モデルパラメータの学習（Ｓ３３）及びｙの値の算出（Ｓ３４）を再度行う。
　このようにＳ３３－Ｓ３６の処理を繰り返すことで、重み付けパラメータｒの探索が行われる。重み付けパラメータｒの探索は、ｙの値が近似的に０に見なせるまで（Ｓ３５：ＹＥＳ）、すなわちＦＰＲが所定以下となるまで行われる。
　重み付けパラメータｒの探索には、例えば直線探索法などの手法が利用される。図１０中に実線で示すように、一般的な傾向として、重み付けパラメータｒが大きくなるほどｙの値が小さくなることが期待されるので、重み付けパラメータｒを更新する度に重み付けを大きくすることが好ましい。
　但し、図１０中に破線で示すように、実際の学習においてはデータ選択の揺らぎ等によりｙの値が振動することがよくあるため、複数の重み付けパラメータｒを用意し、それらについて並列して学習を行った後にｙの値を比較することで、重み付けパラメータｒを決定してもよい。この場合、探索のループ回数を減らせることが期待される。
　なお、重み付けパラメータｒを大きくし過ぎると、損失関数の第一項の影響が相対的に小さくなってＦＮＲが大きくなり易いので、重み付けパラメータｒはＦＰＲ≦αを満たす範囲で最小の値に留めて、ＦＮＲの増大を抑制することが望ましい。これにより、ＦＰＲ≦αを保証しつつＦＮＲも抑えることができる。
　ｙの値が近似的に０に見なせる場合（Ｓ３５：ＹＥＳ）、探索により得られた学習済みパラメータｋｒを用いて同様の検証を行う。すなわち、テストデータを用いた判定結果から、再度ｙの値を算出し（Ｓ３７）、ｙの値が近似的に０に見なせるか否か判定する（Ｓ３８）。
　ｙの値が近似的に０に見なせる場合（Ｓ３８：ＹＥＳ）、探索は終了する。ここでは、上記Ｓ３５よりも小さい値と比較することが好ましい。例えば、上記Ｓ３５でｙの値が０以下であるか判定した場合、Ｓ３８では、ｙの値が０よりも少し小さい値ａ（例えばａ＝－０．０１）以下であるか否か判定することが好ましい。
　ｙの値が近似的に０に見なせない場合には（Ｓ３８：ＮＯ）、Ｓ３２－Ｓ３６の処理をやり直す。
　以上の手順により、ＦＰＲ≦αを保証しつつＦＮＲも抑えた、ＦＰＲとＦＮＲのバランスに優れた学習済みモデルを得ることが可能となる。
　図１１は、上記第２実施形態に係る学習済みモデルの生成方法により生成された学習済みモデルを用いた、第２実施形態に係る判定方法の手順例を示す図である。判定装置１は、同図に示す情報処理をプログラムに従って実行する。
　まず、判定装置１は、カメラ３により撮像された画像データを取得する（Ｓ４１、取得部１１としての機能）。
　次に、判定装置１は、学習済みモデルを用いて、画像データに含まれる製品がＯＫ（合格）であるかＮＧ（不合格）であるか判定する（Ｓ４２－Ｓ４５、判定部１２としての機能）。
　具体的には、判定装置１は、画像データを学習済みモデルに入力し、製品がＯＫ（合格）であるＯＫ確率ｐ２を計算する（Ｓ４２）。学習済みモデルの出力要素はシグモイド関数で構成され、ＯＫ確率ｐ２は０以上１以下の値で出力される。
　次に、判定装置１は、ＯＫ確率ｐ２を判定閾値θｆと比較し、ＯＫ確率ｐ２を判定閾値θｆの大小関係で判定を行う（Ｓ４３）。第２実施形態では、判定閾値θｆは所定の固定値である。
　Ｓ４３においてＯＫ確率ｐ２が判定閾値θｆ以上である場合には、判定装置１は、製品がＯＫ（合格）であると判定する（Ｓ４４）。
　一方、Ｓ４３においてＯＫ確率ｐ２が判定閾値θｆ未満である場合には、判定装置１は、製品がＮＧ（不合格）であると判定する（Ｓ４５）。
　なお、ここでは、ＯＫ確率ｐ２と判定閾値θｆを比較して判定を行ったが、これに限られず、上記第１実施形態と同様に、ＮＧ確率ｐ１と判定閾値１－θｆを比較して判定を行ってもよい。
［態様のまとめ］
　以上の説明から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。
（態様１）本開示に係る学習済みモデルの生成方法は、
　二値分類のための学習済みモデルの生成方法であって、
　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、
　前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、
　偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行う。
（態様２）態様１の学習済みモデルの生成方法において、前記損失関数は、前記学習モデルが出力する前記確率が前記判定閾値によって補正された補正確率を含んでもよい。
（態様３）態様２の学習済みモデルの生成方法は、
　　前記判定閾値を仮設定し、前記判定閾値により定まる前記損失関数を用いて学習モデルの学習を行う学習ステップと、
　　前記学習モデルの分類結果から偽陽性率又は偽陰性率が所定以下となる調整用判定閾値を求める調整ステップと、
　を含み、
　前記学習ステップと前記調整ステップは、前記判定閾値と前記調整用判定閾値の差が所定以下となるまで繰り返されてもよい。
（態様４）態様１から態様３のいずれかの学習済みモデルの生成方法は、
　前記損失関数において学習用データが負であるときの誤差を学習用データが正であるときの誤差よりも重み付けする前記重み付けパラメータを設定し、
　前記判定閾値を所定の固定値として設定し、
　前記偽陽性率が所定以下となるまで前記重み付けパラメータの探索を行ってもよい。
（態様５）態様４の学習済みモデルの生成方法は、前記重み付けパラメータの探索では、前記重み付けパラメータを更新する度に重み付けを大きくしてもよい。
（態様６）態様４又は態様５の学習済みモデルの生成方法は、
　複数の前記重み付けパラメータを用意し、
　複数の前記重み付けパラメータについて並列して学習モデルの機械学習を行い、
　前記偽陽性率が所定以下となる学習済みモデルを抽出してもよい。
（態様７）態様１から態様６のいずれかの学習済みモデルの生成方法において、前記学習済みモデルは、画像データが入力されると、前記画像データに含まれる製品の合否の判定結果を出力してもよい。
（態様８）本開示に係る判定装置（１）は、
　判定用データを取得する取得部（１１）と、
　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定する判定部（１２）と、
　を備える。
（態様９）態様８の判定装置（１）において、
　前記損失関数は、前記学習済みモデルが出力する前記確率が前記判定閾値によって補正された補正確率を含み、
　前記判定部は、前記学習済みモデルから出力される、前記判定用データが正又は負である確率を、前記判定閾値と比較してもよい。
（態様１０）態様８又は態様９の判定装置（１）において、前記学習済みモデルは、前記判定用データとしての画像データが入力されると、前記画像データに含まれる製品の合否の判定結果を出力してもよい。
（態様１１）本開示に係る判定方法は、
　判定用データを取得し、
　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定する。
（態様１２）本開示に係るプログラムは、
　判定用データを取得すること、及び
　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定すること、
　をコンピュータに実行させる。
［関連出願への相互参照］
　本出願は、２０２２年８月８日に日本特許庁に出願された特願２０２２－１２６０８８号に対する優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。本出願は、２０２２年１１月１５日に日本特許庁に出願された特願２０２２－１８２４７４号に対する優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
１　判定装置、２　記憶部、３　カメラ、４　表示部、１０　判定システム、１１　取得部、１２　判定部

Claims (12)

  1. 　二値分類のための学習済みモデルの生成方法であって、
    　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、
    　前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、
    　偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行う、
    　学習済みモデルの生成方法。
  2. 　前記損失関数は、前記学習モデルが出力する前記確率が前記判定閾値によって補正された補正確率を含む、
    　請求項１に記載の学習済みモデルの生成方法。
  3. 　前記学習済みモデルの生成は、
    　　前記判定閾値を仮設定し、前記判定閾値により定まる前記損失関数を用いて学習モデルの学習を行う学習ステップと、
    　　前記学習モデルの分類結果から偽陽性率又は偽陰性率が所定以下となる調整用判定閾値を求める調整ステップと、
    　を含み、
    　前記学習ステップと前記調整ステップは、前記判定閾値と前記調整用判定閾値の差が所定以下となるまで繰り返される、
    　請求項２に記載の学習済みモデルの生成方法。
  4. 　前記損失関数において学習用データが負であるときの誤差を学習用データが正であるときの誤差よりも重み付けする前記重み付けパラメータを設定し、
    　前記判定閾値を所定の固定値として設定し、
    　前記偽陽性率が所定以下となるまで前記重み付けパラメータの探索を行う、
    　請求項１に記載の学習済みモデルの生成方法。
  5. 　前記重み付けパラメータの探索では、前記重み付けパラメータを更新する度に重み付けを大きくする、
    　請求項４に記載の学習済みモデルの生成方法。
  6. 　複数の前記重み付けパラメータを用意し、
    　複数の前記重み付けパラメータについて並列して学習モデルの機械学習を行い、
    　前記偽陽性率が所定以下となる学習済みモデルを抽出する、
    　請求項４に記載の学習済みモデルの生成方法。
  7. 　前記学習済みモデルは、画像データが入力されると、前記画像データに含まれる製品の合否の判定結果を出力する、
    　請求項１に記載の学習済みモデルの生成方法。
  8. 　判定用データを取得する取得部と、
    　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定する判定部と、
    　を備える、判定装置。
  9. 　前記損失関数は、前記学習済みモデルが出力する前記確率が前記判定閾値によって補正された補正確率を含み、
    　前記判定部は、前記学習済みモデルから出力される、前記判定用データが正又は負である確率を、前記判定閾値と比較する、
    　請求項８に記載の判定装置。
  10. 　前記学習済みモデルは、前記判定用データとしての画像データが入力されると、前記画像データに含まれる製品の合否の判定結果を出力する、
    　請求項８に記載の判定装置。
  11. 　判定用データを取得し、
    　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定する、
    　判定方法。
  12. 　判定用データを取得すること、及び
    　学習用データが正であるときの誤差と学習用データが負であるときの誤差を足し合わせた損失関数における一方の誤差を他方の誤差よりも重み付けする重み付けパラメータと、正又は負であると判定するための判定閾値と、の少なくとも一方をハイパーパラメータとして設定し、前記損失関数を用いて学習用データが正又は負である確率を出力するように学習モデルの機械学習を行い、偽陽性率及び偽陰性率の少なくとも一方が所定以下となるように前記ハイパーパラメータの探索を行って生成された学習済みモデルを用いて、前記判定用データが正であるか負であるか判定すること、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2023/027975 2022-08-08 2023-07-31 学習済みモデルの生成方法、判定装置、判定方法、及びプログラム Ceased WO2024034451A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380055017.4A CN119522446A (zh) 2022-08-08 2023-07-31 学习完毕模型的生成方法、判定装置、判定方法以及程序

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022-126088 2022-08-08
JP2022126088 2022-08-08
JP2022182474A JP7731641B2 (ja) 2022-08-08 2022-11-15 学習済みモデルの生成方法、判定装置、判定方法、及びプログラム
JP2022-182474 2022-11-15

Publications (1)

Publication Number Publication Date
WO2024034451A1 true WO2024034451A1 (ja) 2024-02-15

Family

ID=89851636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027975 Ceased WO2024034451A1 (ja) 2022-08-08 2023-07-31 学習済みモデルの生成方法、判定装置、判定方法、及びプログラム

Country Status (2)

Country Link
CN (1) CN119522446A (ja)
WO (1) WO2024034451A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798378B1 (en) * 2009-12-07 2014-08-05 Google Inc. Scene classification for place recognition
JP2021144314A (ja) * 2020-03-10 2021-09-24 株式会社Ｓｃｒｅｅｎホールディングス 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798378B1 (en) * 2009-12-07 2014-08-05 Google Inc. Scene classification for place recognition
JP2021144314A (ja) * 2020-03-10 2021-09-24 株式会社Ｓｃｒｅｅｎホールディングス 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法

Also Published As

Publication number Publication date
CN119522446A (zh) 2025-02-25

Similar Documents

Publication Publication Date Title
US11580456B2 (en) System to correct model drift in machine learning application
US9189750B1 (en) Methods and systems for sequential feature selection based on significance testing
US20220129758A1 (en) Clustering autoencoder
US12141238B2 (en) Deep neural network hardener
CN104539484B (zh) 一种动态评估网络连接可信度的方法及系统
Haroush et al. A statistical framework for efficient out of distribution detection in deep neural networks
JP2021184139A (ja) 管理計算機、管理プログラム、及び管理方法
CN110322055B (zh) 一种提高数据风险模型评分稳定性的方法和系统
CN113899577A (zh) 异常声音探测装置、异常声音生成装置及异常声音生成方法
JP7040619B2 (ja) 学習装置、学習方法及び学習プログラム
US20210326755A1 (en) Learning model creation device, material property prediction device, and learning model creation method and program
US10803403B2 (en) Method for adaptive tuning via automated simulation and optimization
CN108764290B (zh) 模型异动的原因确定方法及装置和电子设备
US12585918B2 (en) ML model drift detection using modified GAN
Orriols-Puig et al. Bounding XCS's parameters for unbalanced datasets
JP2024023115A (ja) 学習済みモデルの生成方法、判定装置、判定方法、及びプログラム
Hwang et al. T-cil: Temperature scaling using adversarial perturbation for calibration in class-incremental learning
US20260141284A1 (en) Trained model generation method, determination device, determination method, and program
CN119522446A (zh) 学习完毕模型的生成方法、判定装置、判定方法以及程序
US20220222546A1 (en) Evaluating Supervised Learning Models Through Comparison of Actual and Predicted Model Outputs
JP7495874B2 (ja) プラント制御システム、プラント制御方法及びプログラム
JP7668726B2 (ja) シミュレーションモデルの推定方法及び推定装置
JP7535475B2 (ja) プラント制御システム、プラント制御方法及びプログラム
JP7687518B2 (ja) 推定装置
Sulaiman et al. Gflc: Graph-based fairness-aware label correction for fair classification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852423

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18879315

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202380055017.4

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380055017.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23852423

Country of ref document: EP

Kind code of ref document: A1