WO2021132024A1 - 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム - Google Patents

学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム Download PDF

Info

Publication number
WO2021132024A1
WO2021132024A1 PCT/JP2020/047188 JP2020047188W WO2021132024A1 WO 2021132024 A1 WO2021132024 A1 WO 2021132024A1 JP 2020047188 W JP2020047188 W JP 2020047188W WO 2021132024 A1 WO2021132024 A1 WO 2021132024A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
data
trained model
parameters
learning
Prior art date
Application number
PCT/JP2020/047188
Other languages
English (en)
French (fr)
Inventor
太一 佐藤
本村　秀人
良介 後藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021567367A priority Critical patent/JP7320705B2/ja
Priority to CN202080083371.4A priority patent/CN114746875A/zh
Priority to US17/756,538 priority patent/US20230033495A1/en
Publication of WO2021132024A1 publication Critical patent/WO2021132024A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure generally relates to a learning data evaluation method, a program, a learning data generation method, a trained model generation method, and a learning data evaluation system. More specifically, the present disclosure relates to an evaluation method of learning data used for machine learning of a model, a program thereof, a method of generating learning data, a method of generating a trained model, and an evaluation system of learning data.
  • Non-Patent Document 1 discloses a data expansion method for improving the accuracy of a modern image classifier.
  • the present disclosure discloses a learning data evaluation method, a program, a learning data generation method, a trained model generation method, and a training data evaluation method that can easily generate learning data that can contribute to improving the recognition rate of the model.
  • the purpose is to provide a system.
  • the evaluation method of learning data includes a first evaluation step and a second evaluation step.
  • the first evaluation step is a step of evaluating the performance of the machine-learned trained model using the training data generated by the data expansion process.
  • the second evaluation step is a step of evaluating the parameters based on the evaluation in the first evaluation step and the possible range of the parameters of the data expansion process.
  • the program according to another aspect of the present disclosure causes one or more processors to execute the above-mentioned evaluation method of learning data.
  • the learning data generation method includes a first evaluation step, a second evaluation step, an update step, and a data generation step.
  • the first evaluation step is a step of evaluating the performance of the machine-learned trained model using the training data generated by the data expansion process.
  • the second evaluation step is a step of evaluating the parameters based on the evaluation in the first evaluation step and the possible range of the parameters of the data expansion process.
  • the update step is a step of updating the parameters based on the evaluation in the second evaluation step.
  • the data generation step is a step of generating training data by data expansion processing based on the parameters updated in the update step.
  • the trained model generation method includes a first evaluation step, a second evaluation step, an update step, a data generation step, and a model generation step.
  • the first evaluation step is a step of evaluating the performance of the machine-learned trained model using the training data generated by the data expansion process.
  • the second evaluation step is a step of evaluating the parameters based on the evaluation in the first evaluation step and the possible range of the parameters of the data expansion process.
  • the update step is a step of updating the parameters based on the evaluation in the second evaluation step.
  • the data generation step is a step of generating training data by data expansion processing based on the parameters updated in the update step.
  • the model generation step is a step of generating a trained model by machine learning using the learning data generated in the data generation step.
  • the learning data evaluation system includes a first evaluation unit and a second evaluation unit.
  • the first evaluation unit evaluates the performance of the machine-learned trained model using the training data generated by the data expansion process.
  • the second evaluation unit evaluates the parameters based on the evaluation in the first evaluation unit and the possible range of the parameters of the data expansion processing.
  • This disclosure has the advantage that it is easy to generate learning data that can contribute to improving the recognition rate of the model.
  • FIG. 1 is a block diagram showing a model generation system including an evaluation system for learning data according to an embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of an example of the recognition target of the trained model in the model generation system of the above.
  • FIG. 3A is an explanatory diagram of an example of a defective product to be recognized as above.
  • FIG. 3B is an explanatory diagram of another example of the defective product to be recognized as above.
  • FIG. 3C is an explanatory diagram of still another example of the defective product to be recognized as above.
  • FIG. 4 is a schematic diagram showing an example of image data included in the original learning data in the model generation system described above.
  • FIG. 5 is a schematic diagram showing an example of image data included in the learning data generated based on the original learning data in the model generation system of the same.
  • FIG. 6A is a schematic view showing an example of image data obtained by imaging a non-defective bead in the model generation system of the same.
  • FIG. 6B is a schematic diagram showing an example of image data included in the learning data generated by adding an additional image to the image data shown in FIG. 6A.
  • FIG. 7 is a flowchart showing the operation of the model generation system of the above.
  • the learning data evaluation method is a method for evaluating the learning data used for machine learning the model.
  • the "model” referred to in the present disclosure is a program that estimates the state of the recognition target and outputs the estimation result when the data regarding the recognition target is input.
  • a model for which machine learning using training data has been completed is referred to as a "trained model”.
  • the "learning data” referred to in the present disclosure is a data set in which the input information (image data in the present embodiment) input to the model and the label attached to the input information are combined, and is a so-called teacher. It is data. That is, in the present embodiment, the trained model is a model in which machine learning by supervised learning is completed.
  • the learning data evaluation method is realized by the learning data evaluation system 10 (hereinafter, also simply referred to as “evaluation system 10”) shown in FIG.
  • FIG. 1 is a block diagram showing a model generation system 100 including a learning data evaluation system 10 according to an embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of an example of a recognition target of the trained model in the model generation system 100 shown in FIG.
  • the recognition target is the bead B1 formed at the welded portion when two or more members (here, the first plate B11 and the second plate B12) are welded.
  • the trained model M1 estimates the state of the bead B1 and outputs the estimation result.
  • the trained model M1 outputs, as an estimation result, whether the bead B1 is a non-defective product or a defective product, or if it is a defective product, the type of the defective product. That is, the trained model M1 is used for a weld appearance inspection to inspect whether the bead B1 is a non-defective product, in other words, whether or not welding is performed correctly.
  • the bead B1 is a good product is, for example, the length of the bead B1, the height of the bead B1, the rising angle of the bead B1, the throat thickness of the bead B1, the surplus of the bead B1, and the welding of the bead B1. It is determined by whether or not the misalignment of the portion (including the misalignment of the start end of the bead B1) is within the permissible range. For example, if any one of the conditions listed above does not fall within the permissible range, the bead B1 is determined to be defective.
  • 3A to 3C are explanatory views of an example of a defective product of the bead B1 to be recognized.
  • 3A to 3C are cross-sectional views including the bead B1.
  • the bead B1 is a non-defective product is determined by, for example, the presence or absence of undercut B2 (see FIG. 3A) of the bead B1, the presence or absence of the pit B3 (see FIG. 3B) of the bead B1, and the spatter B4 of the bead B1 (see FIG. 3C). ), And the presence or absence of protrusions on the bead B1.
  • the bead B1 is determined to be a defective product.
  • the learning data D1 obtained by actually imaging the bead B1 with the imaging device (hereinafter, the learning data obtained by actually imaging the bead B1 with the imaging device is also referred to as "original learning data”. It is conceivable to increase the number of training data D1 and perform machine learning of the model by executing the data augmentation process.
  • the "data expansion process” referred to here is a process of artificially inflating the learning data by adding processing such as translation, enlargement / reduction, rotation, inversion, or addition of noise to the learning data D1. To say.
  • the trained model is obtained by performing machine learning using the newly generated learning data D1.
  • the recognition rate of M1 may decrease. That is, it is desirable to expand the data so that the learning data D1 suitable for machine learning of the model can be generated, which can contribute to the improvement of the recognition rate of the trained model M1.
  • FIG. 7 is a flowchart showing the operation of the model generation system 100.
  • the evaluation method of the learning data D1 of the present embodiment includes a first evaluation step ST1 (see FIG. 7) and a second evaluation step ST2 (see FIG. 7).
  • the first evaluation step ST1 is a step of evaluating the performance of the trained model M1 that has been machine-learned using the learning data D1 generated by the data expansion process.
  • the learning data D1 is newly generated based on the parameters of the data expansion process without using the original learning data. May include processing to do.
  • CG Computer Graphics
  • CG Computer Graphics
  • the second evaluation step ST2 is a step of evaluating the parameters (of the data expansion process) based on the evaluation in the first evaluation step ST1 and the possible range of the parameters of the data expansion process.
  • the "parameter of data expansion processing" referred to in the present disclosure is the degree of data expansion processing such as translation, enlargement / reduction, rotation, inversion, or addition of noise executed for a part or all of the data to be processed. To say.
  • the parameters of the data expansion processing may include the amount of movement to move the protrusions, the dimensions of the protrusions, the amount of rotation of the protrusions, and the like. ..
  • the parameters of data expansion processing are set in a range that can be changed for each type of processing.
  • the parameter is the movement amount for moving the protrusion
  • the movement amount can be changed in the range of 0 to several tens of mm.
  • the parameter of the data expansion process may be one value, that is, one predetermined value. Further, the parameters of the data expansion process are determined between the upper limit value and the lower limit value in the predetermined process.
  • the value of the parameter may be randomly determined within the range of the upper limit value and the lower limit value.
  • the parameter of the data expansion process may be a statistical value such as an average or a variance taken by a value such as a movement amount when the data is expanded.
  • the performance of the trained model M1 is evaluated, and the parameters of the data expansion processing are evaluated based on the evaluation. Therefore, in the present embodiment, it is possible to indirectly evaluate whether or not the learning data D1 generated by the data expansion process is appropriate data for generating the trained model M1. As a result, in the present embodiment, the learning data D1 that can contribute to the improvement of the recognition rate of the model is generated by updating the parameters of the data expansion processing from the next time onward based on the evaluation of the parameters of the data expansion processing. It has the advantage of being easy.
  • the model generation system 100 includes an evaluation system 10, an update unit 3, a data generation unit 4, a model generation unit 5, and a storage unit 6. Further, the evaluation system 10 includes a first evaluation unit 1 and a second evaluation unit 2.
  • the model generation system 100 (including the evaluation system 10) mainly includes a computer system having one or more processors and memories, except for the storage unit 6. Therefore, when one or more processors execute the program recorded in the memory, they function as the first evaluation unit 1, the second evaluation unit 2, the update unit 3, the data generation unit 4, and the model generation unit 5.
  • the program may be pre-recorded in a memory, provided through a telecommunication line such as the Internet, or may be recorded and provided on a non-temporary recording medium such as a memory card.
  • the data generation unit 4 generates the learning data D1 by the data expansion process based on the parameters updated by the update unit 3.
  • new learning data is updated by updating the existing learning data D1. It may include producing D1.
  • the data generation unit 4 generates the learning data D1 by the data expansion process based on the preset initial parameters at the initial time before the parameters are updated by the update unit 3.
  • the data generation unit 4 executes data expansion processing on arbitrary original learning data.
  • the data generation unit 4 sequentially executes data expansion processing on the original learning data while changing the processing amount of one or more of the plurality of types of parameters within a changeable range.
  • the data generation unit 4 can generate a large number of learning data D1s based on one original learning data.
  • FIG. 4 is a schematic diagram showing an example of image data included in the original learning data in the model generation system 100.
  • FIG. 5 is a schematic diagram showing an example of image data included in the learning data generated based on the original learning data in the model generation system 100.
  • the data generation unit 4 can generate image data as shown in FIG. 5 by executing, for example, a data expansion process for moving the protrusion C1 in parallel with the image data.
  • the protrusion C1 before the execution of the data expansion process is represented by a chain double-dashed line.
  • the protrusion after the execution of the data expansion process is represented by “C2”.
  • the data generation unit 4 generates the learning data D1 by giving the image data the same label as the original learning data, "defective product: with protrusions".
  • the data generation unit 4 generates a large number of learning data D1 in which the positions of the protrusions C1 are different from each other by gradually changing the amount of movement of the protrusions C1 in parallel within a changeable range.
  • the data generation unit 4 adds an image showing the characteristics of the defective product (for example, an image of a protrusion of the bead B1) to the original learning data including the image data of the bead B1 of the good product. Therefore, the learning data D1 including the image data of the defective bead B1 is generated. That is, the training data D1 is generated by adding the additional image D11 based on the parameter (of the data expansion process) to the image data including the recognition target (here, the bead B1) of the trained model M1. ..
  • FIG. 6A is a schematic diagram showing an example of image data obtained by imaging a non-defective product of bead B1 in the model generation system 100.
  • FIG. 6B is a schematic diagram showing an example of image data included in the learning data generated by adding an additional image to the image data shown in FIG. 6A.
  • original learning data including image data as shown in FIG. 6A.
  • This image data is the data of a non-defective bead B1. Therefore, the label of this original learning data is "good”.
  • the data generation unit 4 generates image data as shown in FIG.
  • the data generation unit 4 generates the learning data D1 by adding a label "protrusion (defective product)" different from the original learning data to the image data.
  • the label for the learning data D1 is the range of E1 (D11) and the position of the defect type "projection".
  • the model generation unit 5 generates the trained model M1 by machine learning using the learning data D1 generated by the data generation unit 4.
  • the "generation of a trained model” referred to in the present disclosure is a new trained model by updating an existing trained model M1 in addition to generating a new trained model M1 separately from the existing trained model M1. It may include producing M1.
  • the model generation unit 5 generates the trained model M1 by the former method.
  • the model generation unit 5 generates, for example, a linear model such as SVM (Support Vector Machine), a model using a neural network, a model by deep learning using a multi-layer neural network, or the like as a trained model M1. To do.
  • the model generation unit 5 generates a model using the neural network as the trained model M1.
  • the neural network may include, for example, a CNN (Convolutional Neural Network) or a BNN (Bayesian Neural Network).
  • the storage unit 6 has one or more storage devices.
  • the storage device is, for example, a RAM (Random Access Memory), an EEPROM (Electrically Erasable Programmable Read Only Memory), or the like.
  • the storage unit 6 stores a Q table, which will be described later.
  • the first evaluation unit 1 evaluates the performance of the trained model M1 that has been machine-learned using the learning data D1 generated by the data expansion process. That is, the first evaluation unit 1 is the execution subject of the first evaluation step ST1. The first evaluation unit 1 evaluates the performance of the trained model M1 based on the output of the trained model M1 obtained by inputting the evaluation data D2 into the trained model M1.
  • the evaluation data D2 is a data set in which the input information (image data in the present embodiment) input to the trained model M1 and the label attached to the input information are combined.
  • the evaluation data D2 is a combination of image data obtained by actually photographing the bead B1, such as original learning data, and a label given to the image data.
  • the label is, for example, information on whether the bead B1 included in the image data is a non-defective product or a defective product. Further, as an example, when the bead B1 included in the image data is a defective product, the label is information on what kind of defect (having undercut B2, pit B3, spatter B4, etc.). is there.
  • the first evaluation unit 1 sequentially inputs a plurality of evaluation data D2 into the trained model M1, and whether the estimation result of the trained model M1 matches the label of the input evaluation data D2. Judge whether or not. Then, the first evaluation unit 1 sets the recognition rate of the trained model M1 for the plurality of evaluation data D2 (that is, (number of correct answers) / (number of all evaluation data) ⁇ 100) of the trained model M1. Output as a performance evaluation.
  • the configuration may be such that the similarity between the training data D1 and the evaluation data D2 is used as the first evaluation. ..
  • the degree of similarity between the learning data D1 and the evaluation data D2 is a value at which the recognition rate at the time of estimation with respect to the recognition target becomes high if there is data similar to the evaluation data D2 in the learning data D1. That is, in the first evaluation, the higher the degree of similarity between each element constituting the evaluation data D2 and the learning data D1, the higher the value.
  • the similarity between the elements constituting the evaluation data D2 and the training data D1 here is, for example, the data most similar to the evaluation data D2 among the data included in the training data D1 and the evaluation data.
  • the evaluation data D2 is composed of a plurality of data, and each element is one data constituting the evaluation data D2.
  • the learning data D1 consists of N + 1 image data.
  • N + 1 image data be image D1_0 ,,, and image D1_N, respectively.
  • the evaluation data D2 is composed of M + 1 image data.
  • M + 1 image data be image D2_0 ,,, and image D2_M, respectively.
  • the first evaluation calculates the similarity between the image D2_0 and the image X as H_0.
  • the first evaluation unit 1 calculates H_1 ,,, H_M, and sets H_0 + ,,, + H_M as the first evaluation.
  • MSE Mel Squared Error
  • SSIM structural similarity
  • the first evaluation may be an evaluation based on the distance of the vector of the image feature amount constructed by deep learning created by learning with a large number of general object images. With such a configuration, the first evaluation can be obtained in a shorter time than when learning is performed each time using the learning data D1.
  • the above is an example of a method for evaluating the similarity between the learning data D1 and the evaluation data.
  • Other similarity evaluation methods may be used.
  • the second evaluation unit 2 evaluates the parameters (of the data expansion processing) based on the evaluation in the first evaluation unit 1 and the possible range of the parameters of the data expansion processing.
  • the second evaluation unit 2 evaluates the parameters of the data expansion process by using Q-learning, which is a kind of reinforcement learning.
  • the second evaluation unit 2 determines the evaluation in the first evaluation unit 1 (that is, the recognition rate of the trained model M1) as the "state", and changing the parameters of the data expansion processing as the "action”, and selects the action. Gives a "reward" for the transition from the current state to the next state.
  • the second evaluation unit 2 gives a reward of “+ ⁇ ” (“ ⁇ ” is a natural number) when the recognition rate of the trained model M1 is improved by machine learning after changing the parameters of the data expansion process, and learns.
  • ⁇ is a natural number
  • the second evaluation unit 2 expands the data by updating the state action value (Q value) of each cell (field) of the Q table shown in the following Table 1 stored in the storage unit 6. Evaluate processing parameters.
  • the Q values of all cells in the Q table are initial values (zero).
  • "x1" to “x5" represent the states, respectively.
  • “x1” is a state in which the recognition rate of the trained model M1 is less than 25%
  • “x2” is a state in which the recognition rate of the trained model M1 is 25% or more and less than 50%
  • “x3” is a state. It represents a state in which the recognition rate of the trained model M1 is 50% or more and less than 75%
  • "x4" represents a state in which the recognition rate of the trained model M1 is 75% or more and less than 95%
  • "x5" represents a state in which the recognition rate of the trained model M1 is 95% or more.
  • y11 +", “y11-”, “y12 +”, “y12-”, “y21 +”, “y21-”, “y22 +”, and “y22-” represent actions, respectively. .. Specifically, “y11 +” is an action to raise the upper limit value of the first parameter, “y11-” is an action to lower the upper limit value of the first parameter, “y12 +” is an action to raise the lower limit value of the first parameter, and "y12". -"Represents the action of lowering the lower limit of the first parameter.
  • the first parameter is a range in which the diameter dimension of the protrusion C1 protruding from the surface of the bead B1 can be changed.
  • y21 + is an action of raising the upper limit value of the second parameter
  • y21- is an action of lowering the upper limit value of the second parameter
  • y22 + is an action of raising the lower limit value of the second parameter
  • y22- is an action of raising the lower limit value of the second parameter. It represents the action of lowering the lower limit of the second parameter.
  • the second parameter is a range in which the amount of movement when the protrusion C1 is translated is changeable.
  • the action “y12-” is selected in the state “x3” to transition to the state "x4".
  • the second evaluation unit 2 gives a reward of “+ ⁇ ” to the transition from the state “x3” to the state “x4”. Then, the second evaluation unit 2 updates the Q value in the cell where the row of the state “x3” and the column of the action “y12-” intersect with reference to the above reward and the like.
  • the update unit 3 updates the parameters of the data expansion process based on the evaluation by the second evaluation unit 2.
  • the update unit 3 is the execution subject of the update step ST3 that updates the parameters based on the evaluation in the second evaluation unit 2 (second evaluation step ST2). That is, the evaluation method of the learning data D1 of the present embodiment further includes the update step ST3.
  • the update unit 3 updates the parameters of the data expansion process by selecting an action according to a predetermined algorithm in the Q table. In the initial state of the Q table, the update unit 3 randomly selects an arbitrary action from a plurality of actions. After that, the update unit 3 selects one action from the plurality of actions according to the ⁇ -greedy method as an example.
  • the update unit 3 generates a random number between 0 and 1 when selecting an action, randomly selects an action if the generated random number is “ ⁇ ” or less, and the generated random number is from “ ⁇ ”. If is also large, select an action with a large Q value. This has the advantage that learning of appropriate Q values for various actions can easily proceed without depending on the initial value of Q values.
  • the first evaluation unit 1 evaluates the performance of the trained model M1 (S1).
  • the process S1 corresponds to the first evaluation step ST1.
  • the first evaluation unit 1 obtains the recognition rate of the trained model M1 with respect to the plurality of evaluation data D2 by inputting the plurality of evaluation data D2 into the trained model M1.
  • the second evaluation unit 2 performs the trained model M1 in the first evaluation unit 1.
  • the parameters of the data expansion process are evaluated based on the evaluation of (S3).
  • Process S3 corresponds to the second evaluation step ST2. Specifically, the second evaluation unit 2 updates the Q value of the corresponding cell in the Q table stored in the storage unit 6.
  • the model generation system 100 stops its operation. In other words, the machine learning of the model is complete. That is, the evaluation system 10 stops its operation when the evaluation by the first evaluation unit 1 reaches the target (here, the correct answer is given to all the evaluation data), in other words, the first evaluation unit 1 and The second evaluation unit 2 is stopped.
  • the evaluation system 10 stops its operation when the evaluation by the first evaluation unit 1 reaches the target (here, the correct answer is given to all the evaluation data), in other words, the first evaluation unit 1 and The second evaluation unit 2 is stopped.
  • the evaluation step ST1 and the second evaluation step ST2 are stopped.
  • the update unit 3 updates the parameters (of the data expansion process) based on the evaluation of the parameters of the data expansion process by the second evaluation unit 2 (S4).
  • Process S4 corresponds to update step ST3. Specifically, the update unit 3 updates the parameters by selecting an action according to a predetermined algorithm in the Q table.
  • the data generation unit 4 generates the learning data D1 by the data expansion process based on the parameters updated by the update unit 3 (S5).
  • the process S5 corresponds to the data generation step ST4 described later.
  • the model generation unit 5 generates the trained model M1 by machine learning using the learning data D1 generated by the data generation unit 4 (S6).
  • Process S6 corresponds to model generation step ST5, which will be described later.
  • the trained model M1 is evaluated, and the parameters of the data expansion process are evaluated based on the evaluation. Therefore, in the present embodiment, it is possible to indirectly evaluate whether or not the learning data D1 generated by the data expansion process is appropriate data for generating the trained model M1. As a result, in the present embodiment, the learning data D1 that can contribute to the improvement of the recognition rate of the model is generated by updating the parameters of the data expansion processing from the next time onward based on the evaluation of the parameters of the data expansion processing. It has the advantage of being easy.
  • the present embodiment it is possible to search for the optimum parameters of the data expansion process by repeating trial and error by the computer system. Then, in the present embodiment, it becomes easy to generate the learning data D1 that can contribute to the improvement of the recognition rate of the trained model based on the parameters obtained by the search. As a result, in the present embodiment, by executing machine learning of the model using the generated learning data D1, it becomes easy to generate the trained model M1 having a desired recognition rate.
  • the above-described embodiment is only one of the various embodiments of the present disclosure.
  • the above-described embodiment can be changed in various ways depending on the design and the like as long as the object of the present disclosure can be achieved.
  • the same function as the evaluation system 10 of the learning data D1 according to the above-described embodiment is realized by a computer program, a non-temporary recording medium on which the computer program is recorded, or the like, in addition to the evaluation method of the learning data D1. It may be converted.
  • the (computer) program according to one aspect causes one or more processors to execute the above-mentioned evaluation method of learning data D1.
  • the same function as the model generation system 100 according to the above-described embodiment may be embodied by a method for generating the trained model M1, a computer program, a non-temporary recording medium on which the computer program is recorded, or the like.
  • the function similar to the configuration for generating the learning data D1 in the model generation system 100 according to the above-described embodiment is a non-temporary recording medium in which the learning data D1 generation method, the computer program, or the computer program is recorded. Etc. may be embodied.
  • the method for generating the learning data D1 includes a first evaluation step ST1, a second evaluation step ST2, an update step ST3, and a data generation step ST4.
  • the first evaluation step ST1 is a step of evaluating the performance of the trained model M1 that has been machine-learned using the learning data D1 generated by the data expansion process.
  • the second evaluation step ST2 is a step of evaluating the parameters based on the evaluation in the first evaluation step ST1 and the possible range of the parameters of the data expansion process.
  • the update step ST3 is a step of updating the parameters based on the evaluation in the second evaluation step ST2.
  • the data generation step ST4 is a step of generating the learning data D1 by the data expansion process based on the parameters updated in the update step ST3.
  • the execution subject of the data generation step ST4 is the data generation unit 4.
  • the method of generating the trained model M1 includes a first evaluation step ST1, a second evaluation step ST2, an update step ST3, a data generation step ST4, and a model generation step ST5.
  • the first evaluation step ST1 is a step of evaluating the performance of the trained model M1 that has been machine-learned using the learning data D1 generated by the data expansion process.
  • the second evaluation step ST2 is a step of evaluating the parameters based on the evaluation in the first evaluation step ST1 and the possible range of the parameters of the data expansion process.
  • the update step ST3 is a step of updating the parameters based on the evaluation in the second evaluation step ST2.
  • the data generation step ST4 is a step of generating the learning data D1 by the data expansion process based on the parameters updated in the update step ST3.
  • the model generation step ST5 is a step of generating the trained model M1 by machine learning using the learning data D1 generated in the data generation step ST4.
  • the execution subject of the model generation step ST5 is the model generation unit 5.
  • the model generation system 100 in the present disclosure includes, for example, a computer system in the first evaluation unit 1, the second evaluation unit 2, the update unit 3, the data generation unit 4, the model generation unit 5, and the like.
  • a computer system mainly consists of a processor and a memory as hardware.
  • the processor executes the program recorded in the memory of the computer system, the function as the model generation system 100 in the present disclosure is realized.
  • the program may be pre-recorded in the memory of the computer system, may be provided through a telecommunications line, and may be recorded on a non-temporary recording medium such as a memory card, optical disk, hard disk drive, etc. that can be read by the computer system. May be provided.
  • a processor in a computer system is composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • the integrated circuit such as IC or LSI referred to here has a different name depending on the degree of integration, and includes an integrated circuit called a system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration).
  • an FPGA Field-Programmable Gate Array
  • a logical device capable of reconfiguring the junction relationship inside the LSI or reconfiguring the circuit partition inside the LSI should also be adopted as a processor. Can be done.
  • a plurality of electronic circuits may be integrated on one chip, or may be distributed on a plurality of chips.
  • the plurality of chips may be integrated in one device, or may be distributed in a plurality of devices.
  • the computer system referred to here includes a microprocessor having one or more processors and one or more memories. Therefore, the microprocessor is also composed of one or a plurality of electronic circuits including a semiconductor integrated circuit or a large-scale integrated circuit.
  • model generation system 100 it is not an essential configuration for the model generation system 100 that a plurality of functions in the model generation system 100 are integrated in one housing, and the components of the model generation system 100 are dispersed in a plurality of housings. May be provided. Further, at least a part of the functions of the model generation system 100 may be realized by a cloud (cloud computing) or the like.
  • the evaluation system 10 may be configured to stop the operation when the evaluation by the first evaluation unit 1 does not reach the target but converges to a constant value, in other words, the first. 1
  • the evaluation unit 1 and the second evaluation unit 2 may be stopped.
  • the first evaluation step ST1 and the second evaluation step ST2 may be stopped.
  • the first evaluation unit 1 evaluates the recognition rate when all the evaluation data D2 are input to the trained model M1 as the performance of the trained model M1, but is not limited to this.
  • the first evaluation unit 1 may evaluate the performance of the trained model M1 for each of the plurality of evaluation data D2 input to the trained model M1.
  • the first evaluation step ST1 evaluates the performance of the trained model M1 for each of the plurality of evaluation data D2 input to the trained model M1. You may.
  • the second evaluation unit 2 performs data expansion processing by updating the state behavior value (Q value) of each cell (field) of the Q table shown in Table 2 below, which is stored in the storage unit 6. Evaluate the parameters of.
  • the Q values of all cells in the Q table are initial values (zero).
  • the training data D1 that can contribute to the improvement of the recognition rate of the model is further obtained as compared with the above-described embodiment. It has the advantage of being easier to generate.
  • the second evaluation unit 2 may evaluate the parameters of the data expansion processing based on the preprocessing parameters related to the preprocessing.
  • the pre-processing is a process executed on the learning data D1 (here, image data) in the process of performing machine learning using the learning data D1.
  • the pretreatment includes a smoothing treatment such as removing white noise.
  • the second evaluation step ST2 may evaluate the parameter (of the data expansion process) based on the preprocessing parameter.
  • the data expansion process includes a process of adding white noise to the image data
  • removing the white noise in the preprocessing may invalidate the data expansion process.
  • the parameters of the data expansion processing are evaluated based on the preprocessing parameters as described above, the action of adding white noise in the data expansion processing is not selected, and the invalidation of the data expansion processing is avoided. It has the advantage of being easy.
  • the number of states is 5 (“x1” to “x5”), but it may be less than 5, or even more. Good.
  • the number of types of parameters for data expansion processing is two (first parameter and second parameter), but it may be one or more. ..
  • the second evaluation unit 2 evaluates the parameters of the data expansion process by updating the Q value of each cell in the Q table, but the present invention is not limited to this.
  • the second evaluation unit 2 may evaluate the parameters of the data expansion process by updating the state value function or the state action value function instead of the Q table.
  • the state value function is a function that defines the value of being in a certain state.
  • the state action value function is a function that defines the value of selecting a certain action in a certain state.
  • the second evaluation unit 2 may evaluate the parameters of the data expansion process by using DQN (Deep Q Network) instead of the Q table.
  • the first evaluation unit 1 may evaluate the performance of the trained model M1 by the loss instead of the recognition rate.
  • the “loss” referred to in the present disclosure refers to the degree of deviation between the label of the evaluation data D2 and the estimation result of the trained model M1 when the evaluation data D2 is input to the trained model M1.
  • the trained model M1 estimates that the bead B1 has the spatter B4 with an 80% probability.
  • the update unit 3 may update the parameters of the data expansion process so as to minimize the loss of the trained model M1.
  • the model generation system 100 discards the trained model M1 before the update and newly generates the trained model M1 every time the update unit 3 updates the parameters of the data expansion process. ..
  • the time required to complete machine learning tends to be long.
  • the model generation system 100 stores the trained model M1 before the update in the storage unit 6 and recycles the trained model M1 before the update. You may learn.
  • the recognition rate of the trained model M1 is lowered in the first evaluation unit 1, the trained model M1 is discarded and re-learned using the trained model M1 stored in the storage unit 6. Just do.
  • This aspect has an advantage that the time required to complete machine learning can be easily shortened as compared with the case where the trained model M1 is newly generated each time the parameters of the data expansion process are updated.
  • the learning data D1 is generated by adding an additional image D11 representing the characteristics of the defective product to the image data of the bead B1 of the non-defective product, but the present invention is not limited to this.
  • the learning data D1 may be generated by changing the portion representing the characteristic of the defective product with respect to the image data of the bead B1 of the defective product.
  • the learning data D1 may be generated by removing a portion representing the characteristic of the defective product from the image data of the bead B1 of the defective product.
  • the trained model M1 is used for welding appearance inspection to inspect whether the bead B1 is a non-defective product, in other words, whether welding is performed correctly, but is limited to this. Absent. That is, the evaluation system 10 may be used for the trained model M1 as long as it can evaluate the parameters of the data expansion process.
  • the first evaluation unit 1 evaluates the recognition rate when all the evaluation data D2 are input to the trained model M1 as the performance of the trained model M1, but is not limited to this. This point will be described in detail below.
  • the data expansion process is performed when the evaluation data D2 is small, and in most cases, only a small number of evaluation data D2 can be collected in the first place.
  • the recognition rate of the trained model M1 does not change even if the parameters of the data expansion process are slightly changed, or the amount of change is small even if the parameters are changed. Therefore, no matter how the upper limit value or the lower limit value of the parameter is changed, the evaluation in the second evaluation unit 2 does not change, or even if it changes, the amount of change is small, so that learning such as reinforcement learning progresses. The problem of becoming difficult can occur.
  • the second evaluation unit 2 when the recognition rates of the trained model M1 are the same (or similar), the second evaluation unit 2 so that the wider the range in which the parameters can be taken, the higher the evaluation. You may evaluate it. Specifically, the second evaluation unit 2 evaluates the recognition rate of the trained model M1 and the diversity of the data generated by the data expansion process (in other words, the diversity of the parameters). That is, the evaluation of the second evaluation unit 2 is expressed by the following equation (1).
  • equation (1) "E1" is the evaluation of the second evaluation unit 2
  • R1 is the recognition rate of the trained model M1
  • PD 1 , PD 2 , ..., PD n "("n” is a natural number). It represents the variety of each parameter.
  • ⁇ 1 , ⁇ 2 , ..., ⁇ n is a correlation coefficient between the recognition rate of the trained model M1 and the diversity of parameters, and as an example, 0.01 to 0. It can take a value of .001.
  • the k-th parameter (“k” is a natural number of “n” or less) is a value indicating the enlargement ratio when performing data expansion processing, and the upper limit value and the lower limit value thereof are “P k _max”, respectively. Assume that it is "P k _min”.
  • the kth parameter is a value indicating the size of grains to be added as noise when performing data expansion processing, and the upper limit value and the lower limit value are "P k _max" and "P k _min”, respectively.
  • the diversity PD k of this parameter can be expressed by the above equation.
  • the k-th parameter (“k” is a natural number of “n” or less) is a value indicating the enlargement ratio when performing data expansion processing, and the variance thereof is “ ⁇ ”.
  • the variance is an example and may be a statistical value indicating the diversity of other distributions.
  • the kth parameter is a value indicating the rotation angle when performing data expansion processing
  • the upper limit value and the lower limit value thereof are "P k _max” and "P k _min”, respectively.
  • the diversity PD k of this parameter can be expressed by the above equation.
  • a positive reward is given when the diversity of parameters increases, and a negative reward is given when the diversity of parameters decreases.
  • the reward when the recognition rate of the trained model M1 increases is +1 and the reward when it decreases is -1, the recognition rate does not change but the reward when the diversity of parameters increases is +0.2, and the recognition rate does not change.
  • the reward when the diversity of parameters is reduced is -0.2.
  • the second evaluation unit 2 evaluates the parameters of the data expansion processing based on the recognition rate of the trained model M1 and the diversity of the data generated by the data expansion processing (in other words, the diversity of the parameters). You may go.
  • This aspect has an advantage that the parameters can be easily optimized even when the evaluation data D2 is small. In particular, it is evaluated that the higher the diversity of the parameters, the higher the evaluation of the parameters, and the lower the diversity of the parameters, the lower the evaluation of the parameters, thereby generating the learning data D1 which is not similar to the evaluation data D2. Therefore, there is an advantage that it is easy to generate a trained model M1 having high generalization performance.
  • the method for evaluating the learning data according to the first aspect includes a first evaluation step (ST1) and a second evaluation step (ST2).
  • the first evaluation step (ST1) is a step of evaluating the performance of the trained model (M1) machine-learned using the learning data (D1) generated by the data expansion process.
  • the second evaluation step (ST2) is a step of evaluating the parameters based on the evaluation in the first evaluation step (ST1) and the possible range of the parameters of the data expansion process.
  • the evaluation in the second evaluation step (ST2) is higher as the evaluation of the performance in the first evaluation step (ST1) is higher.
  • the evaluation in the second evaluation step (ST2) is higher as the range of parameters that can be taken is wider.
  • the learning data evaluation method further includes an update step (ST3), a storage step, and a comparison step in the first or second aspect.
  • the update step (ST3) is a step of updating the parameters based on the evaluation in the second evaluation step (ST2).
  • the storage step is a step of storing the trained model (M1) before the update step (ST3) is executed.
  • the comparison step is a step of comparing the trained model (M1) after the execution of the update step (ST3) with the trained model (M1) stored in the storage step.
  • the learning data (D1) is an image data (D10) including a recognition target of the trained model (M1). It is generated by adding an additional image (D11) based on the parameter.
  • the model can be machine-learned using a type of learning data (D1) that does not exist in the existing learning data (D1).
  • the first evaluation step (ST1) when the evaluation in the first evaluation step (ST1) reaches the target, the first evaluation step (ST1) and The second evaluation step (ST2) is stopped.
  • the first evaluation step (ST1) when the evaluation in the first evaluation step (ST1) converges to a constant value, the first evaluation step (ST1) And the second evaluation step (ST2) is stopped.
  • the first evaluation step (ST1) is a plurality of evaluation data input to the trained model (M1). For each of (D2), the performance of the trained model (M1) is evaluated.
  • the second evaluation step (ST2) evaluates the parameters based on the preprocessing parameters related to the preprocessing.
  • the pre-processing is a process executed on the learning data (D1) in the process of performing machine learning using the learning data (D1).
  • the program according to the ninth aspect causes one or more processors to execute the learning data evaluation method of any one of the first to eighth aspects.
  • the learning data generation method includes a first evaluation step (ST1), a second evaluation step (ST2), an update step (ST3), and a data generation step (ST4).
  • the first evaluation step (ST1) is a step of evaluating the performance of the trained model (M1) machine-learned using the learning data (D1) generated by the data expansion process.
  • the second evaluation step (ST2) is a step of evaluating the parameters based on the evaluation in the first evaluation step (ST1) and the possible range of the parameters of the data expansion process.
  • the update step (ST3) is a step of updating the parameters based on the evaluation in the second evaluation step (ST2).
  • the data generation step (ST4) is a step of generating learning data (D1) by data expansion processing based on the parameters updated in the update step (ST3).
  • the trained model generation method includes a first evaluation step (ST1), a second evaluation step (ST2), an update step (ST3), a data generation step (ST4), and a model generation step. (ST5) and.
  • the first evaluation step (ST1) is a step of evaluating the performance of the trained model (M1) machine-learned using the learning data (D1) generated by the data expansion process.
  • the second evaluation step (ST2) is a step of evaluating the parameters based on the evaluation in the first evaluation step (ST1) and the possible range of the parameters of the data expansion process.
  • the update step (ST3) is a step of updating the parameters based on the evaluation in the second evaluation step (ST2).
  • the data generation step (ST4) is a step of generating learning data (D1) by data expansion processing based on the parameters updated in the update step (ST3).
  • the model generation step (ST5) is a step of generating a trained model (M1) by machine learning using the learning data (D1) generated in the data generation step (ST4).
  • the learning data evaluation system (10) includes a first evaluation unit (1) and a second evaluation unit (2).
  • the first evaluation unit (1) evaluates the performance of the machine-learned trained model (M1) using the learning data (D1) generated by the data expansion process.
  • the second evaluation unit (2) evaluates the parameters based on the evaluation in the first evaluation unit (1) and the possible range of the parameters of the data expansion processing.
  • the methods according to the second to eighth aspects are not essential methods for the evaluation method of learning data, and can be omitted as appropriate.
  • the learning data can contribute to the improvement of the recognition rate of the model. It has the advantage of being easy to generate data. Therefore, the invention according to the present disclosure contributes to the efficiency of defective product analysis and the like, and is industrially useful.
  • Evaluation system 1 1st evaluation unit 2 2nd evaluation unit ST1 1st evaluation step ST2 2nd evaluation step ST3 Update step ST4 Data generation step ST5 Model generation step D1 Learning data D11 Additional image D2 Evaluation data M1 Trained model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

モデルの認識率の向上に寄与し得る学習用データを生成しやすくする学習用データの評価方法を提供する。学習用データの評価方法は、第１評価ステップと、第２評価ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。

Description

学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム
　本開示は、一般に学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムに関する。より詳細には、本開示は、モデルの機械学習に用いられる学習用データの評価方法、そのプログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムに関する。
　非特許文献１には、現代画像分類器の精度を改善するためのデータ拡張の手法が開示されている。
Ekin D. Cubuk et al., "AutoAugment: Learning Augmentation Strategies from Data", arXiv:1805.09501v3[cs.CV], 11 Apr 2019
　本開示は、モデルの認識率の向上に寄与し得る学習用データを生成しやすい学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムを提供することを目的とする。
　本開示の一態様に係る学習用データの評価方法は、第１評価ステップと、第２評価ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価するステップである。
　本開示の別の一態様に係るプログラムは、１以上のプロセッサに、上記の学習用データの評価方法を実行させる。
　本開示の別の一態様に係る学習用データの生成方法は、第１評価ステップと、第２評価ステップと、更新ステップと、データ生成ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップは、第２評価ステップでの評価に基づいて、パラメータを更新するステップである。データ生成ステップは、更新ステップで更新されたパラメータに基づくデータ拡張処理により、学習用データを生成するステップである。
　本開示の別の一態様に係る学習済みモデルの生成方法は、第１評価ステップと、第２評価ステップと、更新ステップと、データ生成ステップと、モデル生成ステップと、を有する。第１評価ステップは、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価するステップである。第２評価ステップは、第１評価ステップでの評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップは、第２評価ステップでの評価に基づいて、パラメータを更新するステップである。データ生成ステップは、更新ステップで更新されたパラメータに基づくデータ拡張処理により、学習用データを生成するステップである。モデル生成ステップは、データ生成ステップで生成された学習用データを用いて機械学習することにより、学習済みモデルを生成するステップである。
　本開示の別の一態様に係る学習用データの評価システムは、第１評価部と、第２評価部と、を備える。第１評価部は、データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する。第２評価部は、第１評価部での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価する。
　本開示は、モデルの認識率の向上に寄与し得る学習用データを生成しやすい、という利点がある。
図１は、本開示の一実施形態に係る学習用データの評価システムを含むモデル生成システムを示すブロック図である。 図２は、同上のモデル生成システムにおいて、学習済みモデルの認識対象の一例の概要図である。 図３Ａは、同上の認識対象の不良品の一例の説明図である。 図３Ｂは、同上の認識対象の不良品の他の一例の説明図である。 図３Ｃは、同上の認識対象の不良品の更に他の一例の説明図である。 図４は、同上のモデル生成システムにおいて、オリジナル学習用データに含まれる画像データの一例を示す概要図である。 図５は、同上のモデル生成システムにおいて、オリジナル学習用データに基づいて生成された学習用データに含まれる画像データの一例を示す概要図である。 図６Ａは、同上のモデル生成システムにおいて、ビードの良品を撮像した画像データの一例を示す概要図である。 図６Ｂは、図６Ａに示す画像データに付加画像を追加して生成された学習用データに含まれる画像データの一例を示す概要図である。 図７は、同上のモデル生成システムの動作を示すフローチャートである。
　（１）概要
　本実施形態に係る学習用データの評価方法は、モデルを機械学習するために用いられる学習用データを評価するための方法である。本開示でいう「モデル」は、認識対象に関するデータが入力されると、認識対象がどのような状態にあるかを推定し、推定結果を出力するプログラムである。以下では、学習用データを用いた機械学習が完了したモデルを「学習済みモデル」という。また、本開示でいう「学習用データ」は、モデルに入力される入力情報（本実施形態では、画像データ）と、入力情報に付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルは、教師あり学習による機械学習が完了したモデルである。本実施形態では、学習用データの評価方法は、図１に示す学習用データの評価システム１０（以下、単に「評価システム１０」ともいう）により実現される。図１は、本開示の一実施形態に係る学習用データの評価システム１０を含むモデル生成システム１００を示すブロック図である。図２は、図１に示すモデル生成システム１００において、学習済みモデルの認識対象の一例の概要図である。
　本実施形態では、認識対象は、図２に示すように、２以上の部材（ここでは、第１板Ｂ１１及び第２板Ｂ１２）を溶接した際に溶接箇所に形成されるビードＢ１である。そして、学習済みモデルＭ１（図１参照）は、ビードＢ１を含む画像データが入力されると、ビードＢ１の状態を推定し、推定結果を出力する。具体的には、学習済みモデルＭ１は、推定結果として、ビードＢ１が良品であるか不良品であるか、不良品である場合は不良品の種類を出力する。つまり、学習済みモデルＭ１は、ビードＢ１が良品であるか否か、言い換えれば溶接が正しく行われたか否かを検査する溶接外観検査のために用いられる。
　ビードＢ１が良品であるか否かは、一例として、ビードＢ１の長さ、ビードＢ１の高さ、ビードＢ１の立ち上がりの角度、ビードＢ１ののど厚、ビードＢ１の余盛、及びビードＢ１の溶接箇所の位置ずれ（ビードＢ１の始端のずれを含む）が許容範囲に収まっているか否かにより判定される。例えば、上記に列挙した条件のうち１つでも許容範囲に収まっていなければ、ビードＢ１が不良品であると判定される。図３Ａ～図３Ｃは、認識対象であるビードＢ１の不良品の例の説明図である。図３Ａ～図３Ｃは、ビードＢ１を含む断面図である。ビードＢ１が良品であるか否かは、一例として、ビードＢ１のアンダーカットＢ２（図３Ａ参照）の有無、ビードＢ１のピットＢ３（図３Ｂ参照）の有無、ビードＢ１のスパッタＢ４（図３Ｃ参照）の有無、及びビードＢ１の突起の有無に基づいて判定される。例えば、上記に列挙した不良部分のうち１つでも発生した場合、ビードＢ１が不良品であると判定される。
　ここで、モデルの機械学習を行うためには、認識対象の不良品を含む多数の画像データを学習用データＤ１（図１参照）として用意する必要がある。しかしながら、認識対象の不良品が発生する頻度が少ない場合、認識率の高い学習済みモデルＭ１を生成するために必要な学習用データＤ１が不足しがちである。そこで、実際にビードＢ１を撮像装置により撮像することで得られる学習用データＤ１（以下、実際にビードＢ１を撮像装置により撮像することで得られる学習用データのことを「オリジナル学習用データ」ともいう）についてデータ拡張（Data Augmentation）処理を実行することにより、学習用データＤ１の数を増やしてモデルの機械学習を行うことが考えられる。ここでいう「データ拡張処理」は、学習用データＤ１に対して平行移動、拡大・縮小、回転、反転、又はノイズの付与等の処理を加えることで、学習用データを人為的に水増しする処理をいう。
　しかしながら、単にオリジナル学習用データとしての学習用データＤ１についてデータ拡張処理を行えばよいわけではなく、場合によっては新たに生成された学習用データＤ１を用いて機械学習を行うことで、学習済みモデルＭ１の認識率が低下する可能性もある。つまり、学習済みモデルＭ１の認識率の向上に寄与し得る、モデルの機械学習に適切な学習用データＤ１を生成できるようなデータ拡張を行うのが望ましい。
　そこで、本実施形態では、学習用データＤ１の評価方法により学習用データＤ１を評価することにより、モデルの機械学習に適切な学習用データＤ１をデータ拡張処理にて生成しやすくしている。図７は、モデル生成システム１００の動作を示すフローチャートである。本実施形態の学習用データＤ１の評価方法は、第１評価ステップＳＴ１（図７参照）と、第２評価ステップＳＴ２（図７参照）と、を有している。
　第１評価ステップＳＴ１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価するステップである。本開示でいう「データ拡張処理」は、オリジナル学習用データに対して実行される処理の他、オリジナル学習用データを用いずに、データ拡張処理のパラメータに基づいて新たに学習用データＤ１を生成する処理を含み得る。例えば、データ拡張処理は、ＣＧ（Computer Graphics）技術により、オリジナル学習用データとしての学習用データＤ１を用いずに良品のビードＢ１を含む画像データ、又は不良品のビードＢ１を含む画像データを生成する処理を含んでいてもよい。
　第２評価ステップＳＴ２は、第１評価ステップＳＴ１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、（データ拡張処理の）パラメータを評価するステップである。本開示でいう「データ拡張処理のパラメータ」は、処理対象のデータの一部又は全部に対して実行される平行移動、拡大・縮小、回転、反転、又はノイズの付与等のデータ拡張処理の度合いをいう。例えば、表面に突起を有する不良品のビードＢ１の画像データを処理対象のデータとした場合、データ拡張処理のパラメータは、突起を移動させる移動量、突起の寸法、突起の回転量等を含み得る。
　ここで、データ拡張処理のパラメータは、処理の種類ごとに変更可能な範囲が設定されている。例えば、パラメータが突起を移動させる移動量の場合、移動量は、０～数十ｍｍの範囲で変更可能である。なお、データ拡張処理のパラメータは、１値すなわち所定の１つの値であってもよい。また、データ拡張処理のパラメータは、所定の処理における上限値と下限値との間で決定される。データ拡張を行う際、当該パラメータは、上限値、下限値の範囲内でランダムに値を決定されてもよい。また、データ拡張処理のパラメータは、データ拡張を行う際に移動量等の値がとる平均、分散などの統計値であってもよい。
　上述のように、本実施形態では、学習済みモデルＭ１の性能を評価し、その評価に基づいてデータ拡張処理のパラメータを評価する。このため、本実施形態では、データ拡張処理により生成された学習用データＤ１が、学習済みモデルＭ１の生成にあたって適切なデータであったか否かを間接的に評価することが可能である。その結果、本実施形態では、データ拡張処理のパラメータの評価に基づいて次回以降のデータ拡張処理のパラメータを更新する等して、モデルの認識率の向上に寄与し得る学習用データＤ１を生成しやすい、という利点がある。
　（２）詳細
　以下、本実施形態の学習用データの評価方法を実現するための評価システム１０、及び評価システム１０を用いて学習済みモデルＭ１を生成するモデル生成システム１００について図１を参照して詳しく説明する。モデル生成システム１００は、図１に示すように、評価システム１０と、更新部３と、データ生成部４と、モデル生成部５と、記憶部６と、を備えている。また、評価システム１０は、第１評価部１と、第２評価部２と、を備えている。
　本実施形態では、モデル生成システム１００（評価システム１０を含む）は、記憶部６を除いて、１以上のプロセッサ及びメモリを有するコンピュータシステムを主構成とする。そのため、１以上のプロセッサがメモリに記録されているプログラムを実行することにより、第１評価部１、第２評価部２、更新部３、データ生成部４、及びモデル生成部５として機能する。プログラムはメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。
　データ生成部４は、更新部３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成する。本開示でいう「学習用データの生成」は、既存の学習用データＤ１とは別に新しい学習用データＤ１を生成することの他に、既存の学習用データＤ１を更新することにより新しい学習用データＤ１を生成することを含み得る。また、データ生成部４は、更新部３によりパラメータを更新する前の初期時においては、あらかじめ設定された初期パラメータに基づくデータ拡張処理により、学習用データＤ１を生成する。
　本実施形態では、データ拡張処理のパラメータは、複数種類存在する。そして、複数種類のパラメータは、それぞれ変更可能な範囲が設定されている。ここで、一例として、データ生成部４が任意のオリジナル学習用データにデータ拡張処理を実行する、と仮定する。この場合、データ生成部４は、複数種類のパラメータのうち１以上のパラメータについて、変更可能な範囲内で処理量を変更させながら、このオリジナル学習用データに対してデータ拡張処理を順次実行する。これにより、データ生成部４は、１つのオリジナル学習用データを基にして、多数の学習用データＤ１を生成することが可能である。
　図４は、モデル生成システム１００において、オリジナル学習用データに含まれる画像データの一例を示す概要図である。図５は、モデル生成システム１００において、オリジナル学習用データに基づいて生成された学習用データに含まれる画像データの一例を示す概要図である。一例として、図４に示すような画像データを含むオリジナル学習用データが存在する、と仮定する。この画像データは、ビードＢ１の表面から突起Ｃ１が突出している、不良品のビードＢ１のデータである。したがって、このオリジナル学習用データのラベルは、「不良品：突起有り」である。データ生成部４は、この画像データに対して、例えば突起Ｃ１を平行移動させるデータ拡張処理を実行することで、図５に示すような画像データを生成することが可能である。図５に示す例では、データ拡張処理の実行前の突起Ｃ１を二点鎖線で表している。また、図５に示す例では、データ拡張処理の実行後の突起を「Ｃ２」で表している。
　そして、データ生成部４は、この画像データに対して、オリジナル学習用データと同じラベルである「不良品：突起有り」を付与することで、学習用データＤ１を生成する。ここで、データ生成部４は、突起Ｃ１を平行移動させる移動量を変更可能な範囲内で段階的に変更することで、突起Ｃ１の位置が互いに異なる多数の学習用データＤ１を生成する。
　本実施形態では、データ生成部４は、良品のビードＢ１の画像データを含むオリジナル学習用データに対して、不良品の特徴を表す画像（例えば、ビードＢ１の突起等の画像）を付加することで、不良品のビードＢ１の画像データを含む学習用データＤ１を生成している。つまり、学習用データＤ１は、学習済みモデルＭ１の認識対象（ここでは、ビードＢ１）を含む画像データに対して、（データ拡張処理の）パラメータに基づく付加画像Ｄ１１を追加することで生成される。
　図６Ａは、モデル生成システム１００において、ビードＢ１の良品を撮像した画像データの一例を示す概要図である。図６Ｂは、図６Ａに示す画像データに付加画像を追加して生成された学習用データに含まれる画像データの一例を示す概要図である。一例として、図６Ａに示すような画像データを含むオリジナル学習用データが存在する、と仮定する。この画像データは、良品のビードＢ１のデータである。したがって、このオリジナル学習用データのラベルは、「良品」である。データ生成部４は、この画像データに対して、例えば付加画像Ｄ１１として、ビードＢ１の表面から突出する突起Ｅ１を追加するデータ拡張処理を実行することで、図６Ｂに示すような画像データを生成することが可能である。そして、データ生成部４は、この画像データに対して、オリジナル学習用データと異なるラベルである「突起（不良品）」を付与することで、学習用データＤ１を生成する。なお、不良の位置と種別を認識するセマンティックセグメンテーションを学習の対象とする場合には、学習用データＤ１に対するラベルは、Ｅ１（Ｄ１１）の範囲と、不良種別「突起」の位置とする。
　モデル生成部５は、データ生成部４で生成された学習用データＤ１を用いて機械学習することにより、学習済みモデルＭ１を生成する。本開示でいう「学習済みモデルの生成」は、既存の学習済みモデルＭ１とは別に新しい学習済みモデルＭ１を生成することの他に、既存の学習済みモデルＭ１を更新することにより新しい学習済みモデルＭ１を生成することを含み得る。本実施形態では、モデル生成部５は、前者の方式にて学習済みモデルＭ１を生成している。
　モデル生成部５は、例えばＳＶＭ（Support Vector Machine）等の線形モデルの他、ニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）によるモデル等を学習済みモデルＭ１として生成する。本実施形態では、モデル生成部５は、ニューラルネットワークを用いたモデルを、学習済みモデルＭ１として生成する。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。
　記憶部６は、１以上の記憶装置を有している。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等である。記憶部６は、後述するＱテーブルを記憶する。
　第１評価部１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価する。つまり、第１評価部１は、第１評価ステップＳＴ１の実行主体である。第１評価部１は、評価用データＤ２を学習済みモデルＭ１に入力することで得られる、学習済みモデルＭ１の出力に基づいて、学習済みモデルＭ１の性能を評価する。
　評価用データＤ２は、学習済みモデルＭ１に入力される入力情報（本実施形態では、画像データ）と、入力情報に付与されたラベルと、を組み合わせたデータセットである。本実施形態では、評価用データＤ２は、例えばオリジナル学習用データ等、実際にビードＢ１を撮像することで得られる画像データと、この画像データに付与されるラベルと、の組み合わせである。ラベルは、一例として、画像データに含まれるビードＢ１が良品であるか不良品であるかの情報である。また、ラベルは、一例として、画像データに含まれるビードＢ１が不良品である場合は、どのような種類の不良（アンダーカットＢ２、ピットＢ３、又はスパッタＢ４を有する等）であるかの情報である。
　本実施形態では、第１評価部１は、複数の評価用データＤ２を学習済みモデルＭ１に順次入力し、学習済みモデルＭ１の推定結果と、入力した評価用データＤ２のラベルとが一致するか否かを判定する。そして、第１評価部１は、複数の評価用データＤ２に対する学習済みモデルＭ１の認識率（つまり、（正解数）／（全ての評価用データの数）×１００）を、学習済みモデルＭ１の性能の評価として出力する。
　第一評価値は、学習用データＤ１の中に、評価用データＤ２に類似するデータがあれば、認識対象に対する推定時の認識率が高くなる。そこで、第１評価を複数の評価用データＤ２に対する学習済みモデルＭ１の認識率とする代わりに、学習用データＤ１と評価用データＤ２との類似度を第一評価とする構成であっても良い。学習用データＤ１と評価用データＤ２との類似度は、学習用データＤ１の中に評価用データＤ２に類似するデータがあれば、認識対象に対する推定時の認識率が高くなる値である。すなわち、第１評価は評価用データＤ２を構成する各要素と学習データＤ１の類似度が高い程、高い値である。また、ここでの、評価用データＤ２を構成する要素と学習データＤ１の類似度とは、例えば、学習データＤ１に含まれるデータのうち、評価用データＤ２と最も類似するデータと、評価用データＤ２との類似度である。評価用データＤ２は複数のデータからなり、各要素とは評価用データＤ２を構成する１つのデータである。
　具体例を説明する。学習用データＤ１はＮ＋１個の画像データからなるとする。Ｎ＋１個の画像データを、それぞれ画像Ｄ１＿０、、、画像Ｄ１＿Ｎとする。同様に評価用データＤ２はＭ＋１個の画像データからなるとする。Ｍ＋１個の画像データを、それぞれ画像Ｄ２＿０、、、画像Ｄ２＿Ｍとする。学習用データＤ１の中で、画像Ｄ２＿０と最も類似する画像を画像Ｘとしたとき、第１評価は、画像Ｄ２＿０と画像Ｘの類似度をＨ＿０として計算する。同様に、第１評価部１は、Ｈ＿１、、、Ｈ＿Ｍを算出し、Ｈ＿０＋、、、＋Ｈ＿Ｍを第一評価とする。ここで、類似度の算出はＭＳＥ（Mean Squared Error）、ＳＳＩＭ（structural similarity）などを用いる。
　または、第１評価は、大量の一般物体画像で学習をおこなって作成したディープラーニングによって構築させる画像特徴量のベクトルの距離による評価であってもよい。このような構成を用いれば、学習用データＤ１を用いて毎回学習を行うよりも短い時間で第１評価を得る事ができる。
　上記は、学習用データＤ１と評価用データの類似度を評価する方法の一例である。他の類似度の評価方法であってもよい。
　第２評価部２は、第１評価部１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、（データ拡張処理の）パラメータを評価する。本実施形態では、第２評価部２は、強化学習の一種であるＱ学習を用いて、データ拡張処理のパラメータを評価する。第２評価部２は、第１評価部１での評価（つまり、学習済みモデルＭ１の認識率）を「状態」、データ拡張処理のパラメータを変更することを「行動」として、行動の選択による現在の状態から次状態への遷移に対して「報酬」を与える。例えば、第２評価部２は、データ拡張処理のパラメータの変更後の機械学習により、学習済みモデルＭ１の認識率が向上した場合に“＋α”（“α”は自然数）の報酬を与え、学習済みモデルＭ１の認識率が低下した場合に“－β”（“β”は自然数）の報酬を与える。
　本実施形態では、第２評価部２は、記憶部６に記憶されている以下の表１に示すＱテーブルの各セル（フィールド）の状態行動価値（Ｑ値）を更新することにより、データ拡張処理のパラメータを評価する。表１に示す例では、Ｑテーブルの全てのセルのＱ値は、初期値（零）である。
Figure JPOXMLDOC01-appb-T000001
　表１に示す例では、“ｘ１”～“ｘ５”は、それぞれ状態を表している。具体的には、“ｘ１”は学習済みモデルＭ１の認識率が２５％未満である状態、“ｘ２”は学習済みモデルＭ１の認識率が２５％以上５０％未満である状態、“ｘ３”は学習済みモデルＭ１の認識率が５０％以上７５％未満である状態を表している。また、“ｘ４”は学習済みモデルＭ１の認識率が７５％以上９５％未満である状態、“ｘ５”は学習済みモデルＭ１の認識率が９５％以上である状態を表している。
　表１に示す例では、“ｙ１１＋”、“ｙ１１－”、“ｙ１２＋”、“ｙ１２－”、“ｙ２１＋”、“ｙ２１－”、“ｙ２２＋”，“ｙ２２－”は、それぞれ行動を表している。具体的には、“ｙ１１＋”は第１パラメータの上限値を上げる行動、“ｙ１１－”は第１パラメータの上限値を下げる行動、“ｙ１２＋”は第１パラメータの下限値を上げる行動、“ｙ１２－”は第１パラメータの下限値を下げる行動を表している。ここでは、第１パラメータは、ビードＢ１の表面から突出する突起Ｃ１の径寸法の変更可能な範囲である。また、“ｙ２１＋”は第２パラメータの上限値を上げる行動、“ｙ２１－”は第２パラメータの上限値を下げる行動、“ｙ２２＋”は第２パラメータの下限値を上げる行動、“ｙ２２－”は第２パラメータの下限値を下げる行動を表している。ここでは、第２パラメータは、突起Ｃ１を平行移動させる場合の移動量の変更可能な範囲である。
　例えば、状態“ｘ３”において行動“ｙ１２－”が選択されることで、状態“ｘ４”に遷移した、と仮定する。この場合、第２評価部２は、学習済みモデルＭ１の認識率が向上しているので、状態“ｘ３”から状態“ｘ４”への遷移に対して、“＋α”の報酬を与える。そして、第２評価部２は、状態“ｘ３”の行と、行動“ｙ１２－”の列とが交差するセルにおけるＱ値を、上記の報酬等を参照して更新する。
　更新部３は、第２評価部２での評価に基づいて、データ拡張処理のパラメータを更新する。言い換えれば、更新部３は、第２評価部２（第２評価ステップＳＴ２）での評価に基づいて、パラメータを更新する更新ステップＳＴ３の実行主体である。つまり、本実施形態の学習用データＤ１の評価方法は、更新ステップＳＴ３を更に有している。本実施形態では、更新部３は、Ｑテーブルにて所定のアルゴリズムに従って行動を選択することにより、データ拡張処理のパラメータを更新する。更新部３は、Ｑテーブルの初期状態においては、複数の行動のうちから任意の行動をランダムで選択する。その後、更新部３は、一例としてε－ｇｒｅｅｄｙ法に従って、複数の行動のうちから一の行動を選択する。つまり、更新部３は、行動を選択する際に０～１の間の乱数を生成し、生成した乱数が“ε”以下であればランダムに行動を選択し、生成した乱数が“ε”よりも大きければＱ値の大きい行動を選択する。これにより、Ｑ値の初期値に依存することなく、種々の行動に対する適切なＱ値の学習が進みやすい、という利点がある。
　（３）動作
　以下、本実施形態のモデル生成システム１００（評価システム１０を含む）の動作の一例について、図７を用いて説明する。前提として、データ生成部４がオリジナル学習用データに基づいてデータ拡張処理を実行することにより、モデルを機械学習するのに十分な数の学習用データＤ１を用意している、と仮定する。そして、モデル生成部５が、用意された学習用データＤ１を用いて、あらかじめ学習済みモデルＭ１を生成している、と仮定する。また、第２評価部２で参照するＱテーブルにおいて、初期状態は“ｘ１”であると仮定する。
　まず、第１評価部１が、学習済みモデルＭ１の性能を評価する（Ｓ１）。処理Ｓ１は、第１評価ステップＳＴ１に相当する。具体的には、第１評価部１は、複数の評価用データＤ２を学習済みモデルＭ１に入力することにより、複数の評価用データＤ２に対する学習済みモデルＭ１の認識率を求める。
　ここで、学習済みモデルＭ１の認識率が目標（ここでは、１００％）に達していなければ（Ｓ２：Ｎｏ）、第２評価部２は、第１評価部１での学習済みモデルＭ１の性能の評価に基づいて、データ拡張処理のパラメータを評価する（Ｓ３）。処理Ｓ３は、第２評価ステップＳＴ２に相当する。具体的には、第２評価部２は、記憶部６に記憶されているＱテーブルにおいて、対応するセルのＱ値を更新する。
　一方、学習済みモデルＭ１の認識率が目標に達していれば（Ｓ２：Ｙｅｓ）、モデル生成システム１００（つまり、評価システム１０）は、その動作を停止する。言い換えれば、モデルの機械学習が完了する。つまり、評価システム１０は、第１評価部１での評価が目標（ここでは、全ての評価用データに対して正解すること）に到達すると、動作を停止する、言い換えれば第１評価部１及び第２評価部２を停止する。このように、本実施形態の学習用データＤ１の評価方法では、第１評価ステップＳＴ１での評価が目標に到達すると、第１評価ステップＳＴ１及び第２評価ステップＳＴ２を停止する。
　処理Ｓ３を経た場合、更新部３が、第２評価部２でのデータ拡張処理のパラメータの評価に基づいて、（データ拡張処理の）パラメータを更新する（Ｓ４）。処理Ｓ４は、更新ステップＳＴ３に相当する。具体的には、更新部３は、Ｑテーブルにて所定のアルゴリズムに従って行動を選択することにより、パラメータを更新する。
　そして、データ生成部４が、更新部３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成する（Ｓ５）。処理Ｓ５は、後述するデータ生成ステップＳＴ４に相当する。その後、モデル生成部５が、データ生成部４で生成された学習用データＤ１を用いて機械学習することにより、学習済みモデルＭ１を生成する（Ｓ６）。処理Ｓ６は、後述するモデル生成ステップＳＴ５に相当する。
　以下、処理Ｓ２にて学習済みモデルＭ１の認識率が目標に達するまで、処理Ｓ１～Ｓ６を繰り返す。
　（４）利点
　上述のように、本実施形態では、学習済みモデルＭ１を評価し、その評価に基づいてデータ拡張処理のパラメータを評価する。このため、本実施形態では、データ拡張処理により生成された学習用データＤ１が、学習済みモデルＭ１の生成にあたって適切なデータであったか否かを間接的に評価することが可能である。その結果、本実施形態では、データ拡張処理のパラメータの評価に基づいて次回以降のデータ拡張処理のパラメータを更新する等して、モデルの認識率の向上に寄与し得る学習用データＤ１を生成しやすい、という利点がある。
　つまり、本実施形態では、コンピュータシステムにより試行錯誤を繰り返すことで、データ拡張処理の最適なパラメータを探索することが可能である。そして、本実施形態では、探索により得られたパラメータに基づいて、学習済みモデルの認識率の向上に寄与し得る学習用データＤ１を生成しやすくなる。その結果、本実施形態では、生成した学習用データＤ１を用いてモデルの機械学習を実行することで、所望の認識率を有する学習済みモデルＭ１を生成しやすくなる。
　（５）変形例
　上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上述の実施形態に係る学習用データＤ１の評価システム１０と同様の機能は、学習用データＤ１の評価方法の他に、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る（コンピュータ）プログラムは、１以上のプロセッサに、上記の学習用データＤ１の評価方法を実行させる。
　また、上述の実施形態に係るモデル生成システム１００と同様の機能は、学習済みモデルＭ１の生成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。さらに、上述の実施形態に係るモデル生成システム１００のうち学習用データＤ１を生成する構成と同様の機能は、学習用データＤ１の生成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
　一態様に係る学習用データＤ１の生成方法は、第１評価ステップＳＴ１と、第２評価ステップＳＴ２と、更新ステップＳＴ３と、データ生成ステップＳＴ４と、を有する。第１評価ステップＳＴ１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価するステップである。第２評価ステップＳＴ２は、第１評価ステップＳＴ１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップＳＴ３は、第２評価ステップＳＴ２での評価に基づいて、パラメータを更新するステップである。データ生成ステップＳＴ４は、更新ステップＳＴ３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成するステップである。上述の実施形態では、データ生成ステップＳＴ４の実行主体は、データ生成部４である。
　一態様に係る学習済みモデルＭ１の生成方法は、第１評価ステップＳＴ１と、第２評価ステップＳＴ２と、更新ステップＳＴ３と、データ生成ステップＳＴ４と、モデル生成ステップＳＴ５と、を有する。第１評価ステップＳＴ１は、データ拡張処理により生成される学習用データＤ１を用いて機械学習された学習済みモデルＭ１の性能を評価するステップである。第２評価ステップＳＴ２は、第１評価ステップＳＴ１での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップＳＴ３は、第２評価ステップＳＴ２での評価に基づいて、パラメータを更新するステップである。データ生成ステップＳＴ４は、更新ステップＳＴ３で更新されたパラメータに基づくデータ拡張処理により、学習用データＤ１を生成するステップである。モデル生成ステップＳＴ５は、データ生成ステップＳＴ４で生成された学習用データＤ１を用いて機械学習することにより、学習済みモデルＭ１を生成するステップである。上述の実施形態では、モデル生成ステップＳＴ５の実行主体は、モデル生成部５である。
　以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
　本開示におけるモデル生成システム１００は、例えば、第１評価部１、第２評価部２、更新部３、データ生成部４、及びモデル生成部５等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるモデル生成システム１００としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１または複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１または複数の電子回路で構成される。
　また、モデル生成システム１００における複数の機能が、１つの筐体内に集約されていることはモデル生成システム１００に必須の構成ではなく、モデル生成システム１００の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、モデル生成システム１００の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
　上述の実施形態において、評価システム１０は、第１評価部１での評価が目標に到達しなくても、一定値に収束すると、動作を停止するように構成されていてもよい、言い換えれば第１評価部１及び第２評価部２を停止するように構成されていてもよい。言い換えれば、本実施形態の学習用データＤ１の評価方法では、第１評価ステップＳＴ１での評価が一定値に収束すると、第１評価ステップＳＴ１及び第２評価ステップＳＴ２を停止してもよい。
　上述の実施形態において、第１評価部１は、学習済みモデルＭ１に全ての評価用データＤ２を入力した場合の認識率を学習済みモデルＭ１の性能として評価しているが、これに限らない。例えば、第１評価部１は、学習済みモデルＭ１に入力される複数の評価用データＤ２の各々について、学習済みモデルＭ１の性能を評価してもよい。言い換えれば、本実施形態の学習用データＤ１の評価方法では、第１評価ステップＳＴ１は、学習済みモデルＭ１に入力される複数の評価用データＤ２の各々について、学習済みモデルＭ１の性能を評価してもよい。
　この態様では、第２評価部２は、記憶部６に記憶されている以下の表２に示すＱテーブルの各セル（フィールド）の状態行動価値（Ｑ値）を更新することにより、データ拡張処理のパラメータを評価する。表２に示す例では、Ｑテーブルの全てのセルのＱ値は、初期値（零）である。ここでは、説明を簡単にするために、複数の評価用データＤ２が第１評価用データ及び第２評価用データの２つのみである、と仮定する。
Figure JPOXMLDOC01-appb-T000002
　表２に示す例では、“ｘ１０，ｘ２０”、“ｘ１０，ｘ２１”“ｘ１１，ｘ２０”、“ｘ１１，ｘ２１”は、それぞれ状態を表している。“ｘ１０”は第１評価用データに対する学習済みモデルＭ１の認識が正しいこと、“ｘ１１”は第１評価用データに対する学習済みモデルＭ１の認識が誤っていることを表している。また、“ｘ２０”は第２評価用データに対する学習済みモデルＭ１の認識が正しいこと、“ｘ２１”は第２評価用データに対する学習済みモデルＭ１の認識が誤っていることを表している。つまり、この態様では、Ｑテーブルにおける状態の数は、複数の評価用データＤ２の数を“ｎ（ｎは自然数）”とすると、“２ｎ”となる。
　この態様では、複数の評価用データＤ２の各々について学習済みモデルＭ１の性能を評価することから、上述の実施形態と比較して、モデルの認識率の向上に寄与し得る学習用データＤ１を更に生成しやすくなる、という利点がある。
　上述の実施形態において、第２評価部２は、前処理に関する前処理パラメータに基づいて、データ拡張処理のパラメータを評価してもよい。前処理は、学習用データＤ１を用いて機械学習を行う過程で学習用データＤ１（ここでは、画像データ）に対して実行される処理である。一例として、前処理には、ホワイトノイズを除去する等のスムージング処理が含まれる。言い換えれば、本実施形態の学習用データＤ１の評価方法では、第２評価ステップＳＴ２は、前処理パラメータに基づいて、（データ拡張処理の）パラメータを評価してもよい。
　例えば、画像データにホワイトノイズを加えるという処理がデータ拡張処理に含まれている場合、前処理にてホワイトノイズを除去すると、データ拡張処理が無効化される可能性がある。このような場合に、上記のように前処理パラメータに基づいてデータ拡張処理のパラメータを評価すれば、データ拡張処理においてホワイトノイズを加えるという行動が選択されなくなり、データ拡張処理の無効化を回避しやすい、という利点がある。
　上述の実施形態において、表１に示すＱテーブルの例では、状態数が５つ（“ｘ１”～“ｘ５”）であるが、５つ未満であってもよいし、更に多数であってもよい。また、表１に示す例では、データ拡張処理のパラメータの種類の数が２つ（第１パラメータ及び第２パラメータ）であるが、１つであってもよいし、更に多数であってもよい。
　上述の実施形態では、第２評価部２は、Ｑテーブルの各セルのＱ値を更新することにより、データ拡張処理のパラメータを評価しているが、これに限らない。例えば、第２評価部２は、Ｑテーブルの代わりに、状態価値関数又は状態行動価値関数を更新することにより、データ拡張処理のパラメータを評価してもよい。ここで、状態価値関数は、ある状態にいることの価値を定義する関数である。また、状態行動価値関数は、ある状態において、ある行動を選択することの価値を定義する関数である。また、例えば、第２評価部２は、Ｑテーブルの代わりに、ＤＱＮ（Deep Q Network）を用いることにより、データ拡張処理のパラメータを評価してもよい。これらの態様は、状態の種類と行動の種類との組み合わせの数が膨大である場合に有効である。
　上述の実施形態において、第１評価部１は、認識率の代わりに、損失により学習済みモデルＭ１の性能を評価してもよい。本開示でいう「損失」は、学習済みモデルＭ１に評価用データＤ２を入力した場合における、評価用データＤ２のラベルと、学習済みモデルＭ１の推定結果とのずれの度合いをいう。例えば、スパッタＢ４を有するビードＢ１の画像データを含む評価用データＤ２を学習済みモデルＭ１に入力した場合に、８０％の確率でビードＢ１がスパッタＢ４を有する、という推定結果を学習済みモデルＭ１が出力された、と仮定する。この場合、第１評価部１は、この評価用データＤ２に対する学習済みモデルＭ１の損失は、２０％（＝１００％－８０％）であると評価する。この態様では、更新部３は、学習済みモデルＭ１の損失が最小化するように、データ拡張処理のパラメータを更新すればよい。
　上述の実施形態では、モデル生成システム１００は、更新部３にてデータ拡張処理のパラメータを更新するごとに、更新前の学習済みモデルＭ１を破棄して新たに学習済みモデルＭ１を生成している。しかしながら、この態様では、機械学習を完了するまでに要する時間が長くなりがちである。
　そこで、モデル生成システム１００は、更新部３にてデータ拡張処理のパラメータを更新するごとに、更新前の学習済みモデルＭ１を記憶部６に記憶しておき、更新前の学習済みモデルＭ１を再学習してもよい。この態様では、第１評価部１にて学習済みモデルＭ１の認識率が低下した場合、この学習済みモデルＭ１を破棄して、記憶部６に記憶されている学習済みモデルＭ１を用いて再学習を行えばよい。この態様では、データ拡張処理のパラメータを更新するごとに学習済みモデルＭ１を別途新たに生成する場合と比較して、機械学習を完了するまでに要する時間を短くしやすい、という利点がある。
　上述の実施形態において、学習用データＤ１は、良品のビードＢ１の画像データに対して、不良品の特徴を表す付加画像Ｄ１１を付加することで生成されているが、これに限らない。例えば、学習用データＤ１は、不良品のビードＢ１の画像データに対して、不良品の特徴を表す箇所を変更することで生成されてもよい。また、学習用データＤ１は、不良品のビードＢ１の画像データから不良品の特徴を表す箇所を除去することで生成されてもよい。
　上述の実施形態では、学習済みモデルＭ１は、ビードＢ１が良品であるか否か、言い換えれば溶接が正しく行われたか否かを検査する溶接外観検査のために用いられているが、これに限らない。つまり、評価システム１０は、データ拡張処理のパラメータを評価できる態様であれば、学習済みモデルＭ１の用途は問わない。
　上述の実施形態において、第１評価部１は、学習済みモデルＭ１に全ての評価用データＤ２を入力した場合の認識率を学習済みモデルＭ１の性能として評価しているが、これに限らない。以下、この点について詳細に説明する。
　上述の実施形態のように、データ拡張処理を行うのは、評価用データＤ２が少ない場合であり、そもそも評価用データＤ２を少数しか集められない場合が殆どである。この場合には、データ拡張処理のパラメータを多少変動させても、学習済みモデルＭ１の認識率は変化しないか、又は変化しても変化量が小さい。このため、パラメータの上限値又は下限値をどのように変化させても、第２評価部２での評価が変化しないか、又は変化しても変化量が小さいので、強化学習等の学習が進みにくくなる、という問題が生じ得る。
　そこで、上述の実施形態において、学習済みモデルＭ１の認識率が同じ場合（又は同程度である場合）には、パラメータの取り得る範囲が広い程、高い評価となるように第２評価部２で評価してもよい。具体的には、第２評価部２は、学習済みモデルＭ１の認識率と、データ拡張処理により生成するデータの多様度（言い換えれば、パラメータの多様度）と、で評価する。すなわち、第２評価部２の評価は、以下の式（１）で表される。式（１）において、“Ｅ１”は第２評価部２の評価、“Ｒ１”は学習済みモデルＭ１の認識率、“ＰＤ１，ＰＤ２，…，ＰＤｎ”（“ｎ”は自然数）は各パラメータの多様度を表している。また、式（１）において、“γ１，γ２，…，γｎ”は学習済みモデルＭ１の認識率とパラメータの多様度との相関係数であって、一例として、０．０１～０．００１の値を取り得る。
Figure JPOXMLDOC01-appb-M000003
　ここで、例えば第ｋパラメータ（“ｋ”は“ｎ”以下の自然数）が、データ拡張処理を行う際の拡大率を示す値であり、その上限値、下限値がそれぞれ“Ｐｋ_ｍａｘ”、“Ｐｋ_ｍｉｎ”であると仮定する。この場合、第ｋパラメータの多様度ＰＤｋは、“ＰＤｋ＝Ｐｋ_ｍａｘ／Ｐｋ_ｍｉｎ”という式で表される。なお、第ｋパラメータがデータ拡張処理を行う際にノイズとして追加する粒のサイズを示す値であって、その上限値、下限値がそれぞれ“Ｐｋ_ｍａｘ”、“Ｐｋ_ｍｉｎ”である場合にも、このパラメータの多様度ＰＤｋを上記の式で表すことができる。ここで、例えば第ｋパラメータ（“ｋ”は“ｎ”以下の自然数）が、データ拡張処理を行う際の拡大率を示す値であり、その分散が “σ”であると仮定する。この場合、第ｋパラメータの多様度ＰＤｋは、“ＰＤｋ＝σ”という式で表される。分散は一例であって、他の分布の多様性を示す統計値であってもよい。
　また、例えば第ｋパラメータが、データ拡張処理を行う際の回転角を示す値であり、その上限値、下限値がそれぞれ“Ｐｋ_ｍａｘ”、“Ｐｋ_ｍｉｎ”であると仮定する。この場合、第ｋパラメータの多様度ＰＤｋは、“ＰＤｋ＝｜Ｐｋ_ｍａｘ－Ｐｋ_ｍｉｎ｜”という式で表される。なお、第ｋパラメータがデータ拡張処理を行う際の平行移動のシフト量を示す値であって、その上限値、下限値がそれぞれ“Ｐｋ_ｍａｘ”、“Ｐｋ_ｍｉｎ”である場合にも、このパラメータの多様度ＰＤｋを上記の式で表すことができる。
　また、強化学習で学習を行う場合には、パラメータの多様度が増える場合に正の報酬として、パラメータの多様度が減る場合には負の報酬とする。例えば、学習済みモデルＭ１の認識率が上がる場合の報酬を＋１、下がる場合の報酬を－１、認識率は変化しないがパラメータの多様度が増える場合の報酬を＋０．２、認識率は変化しないがパラメータの多様度が減る場合の報酬を－０．２とする。
　上述のように、第２評価部２は、学習済みモデルＭ１の認識率と、データ拡張処理により生成するデータの多様度（言い換えれば、パラメータの多様度）によって、データ拡張処理のパラメータの評価を行ってもよい。この態様では、評価用データＤ２が少ない場合においてもパラメータの最適化を図りやすい、という利点がある。特に、パラメータの多様度が高い程パラメータの評価を高く、パラメータの多様度が低い程パラメータの評価を低くすることで、評価用データＤ２とは似ていない学習用データＤ１を生成することが評価されるので、汎化性能が高い学習済みモデルＭ１を生成しやすい、という利点がある。
　（まとめ）
　以上述べたように、第１の態様に係る学習用データの評価方法は、第１評価ステップ（ＳＴ１）と、第２評価ステップ（ＳＴ２）と、を有する。第１評価ステップ（ＳＴ１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップ（ＳＴ２）は、第１評価ステップ（ＳＴ１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。
　この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。
　第２の態様に係る学習用データの評価方法は、第１の態様において、第２評価ステップ（ＳＴ２）での評価は、第１評価ステップ（ＳＴ１）での性能の評価が高い程高い。第２評価ステップ（ＳＴ２）での評価は、パラメータの取り得る範囲が広い程高い。
　この態様によれば、学習済みモデル（Ｍ１）に入力される評価用データ（Ｄ２）の数が少ない場合であっても、パラメータの最適化を図りやすい、という利点がある。
　第３の態様に係る学習用データの評価方法は、第１又は第２の態様において、更新ステップ（ＳＴ３）と、記憶ステップと、比較ステップと、を更に有する。更新ステップ（ＳＴ３）は、第２評価ステップ（ＳＴ２）での評価に基づいて、パラメータを更新するステップである。記憶ステップは、更新ステップ（ＳＴ３）が実行される前に学習済みモデル（Ｍ１）を記憶するステップである。比較ステップは、更新ステップ（ＳＴ３）の実行後の学習済みモデル（Ｍ１）と、記憶ステップで記憶された学習済みモデル（Ｍ１）とを比較するステップである。
　この態様によれば、パラメータを更新するごとに学習済みモデル（Ｍ１）を別途新たに生成する場合と比較して、機械学習を完了するまでに要する時間を短くしやすい、という利点がある。
　第４の態様に係る学習用データの評価方法では、第１～第３のいずれかの態様において、学習用データ（Ｄ１）は、学習済みモデル（Ｍ１）の認識対象を含む画像データ（Ｄ１０）に対して、パラメータに基づく付加画像（Ｄ１１）を追加することで生成される。
　この態様によれば、既存の学習用データ（Ｄ１）には存在しない種類の学習用データ（Ｄ１）を用いてモデルを機械学習することが可能になる、という利点がある。
　第５の態様に係る学習用データの評価方法では、第１～第４のいずれかの態様において、第１評価ステップ（ＳＴ１）での評価が目標に到達すると、第１評価ステップ（ＳＴ１）及び第２評価ステップ（ＳＴ２）を停止する。
　この態様によれば、学習済みモデル（Ｍ１）の性能が目標に到達しても学習し続けることによる過学習を防ぎやすい、という利点がある。
　第６の態様に係る学習用データの評価方法では、第１～第４のいずれかの態様において、第１評価ステップ（ＳＴ１）での評価が一定値に収束すると、第１評価ステップ（ＳＴ１）及び第２評価ステップ（ＳＴ２）を停止する。
　この態様によれば、学習済みモデル（Ｍ１）の性能が飽和しても学習し続けることによる過学習を防ぎやすい、という利点がある。
　第７の態様に係る学習用データの評価方法では、第１～第６のいずれかの態様において、第１評価ステップ（ＳＴ１）は、学習済みモデル（Ｍ１）に入力される複数の評価用データ（Ｄ２）の各々について、学習済みモデル（Ｍ１）の性能を評価する。
　この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を更に生成しやすい、という利点がある。
　第８の態様に係る学習用データの評価方法では、第１～第７のいずれかの態様において、第２評価ステップ（ＳＴ２）は、前処理に関する前処理パラメータに基づいて、パラメータを評価する。前処理は、学習用データ（Ｄ１）を用いて機械学習を行う過程で学習用データ（Ｄ１）に対して実行される処理である。
　この態様によれば、前処理によるデータ拡張処理の無効化を回避しやすい、という利点がある。
　第９の態様に係るプログラムは、１以上のプロセッサに、第１～第８のいずれかの態様の学習用データの評価方法を実行させる。
　この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。
　第１０の態様に係る学習用データの生成方法は、第１評価ステップ（ＳＴ１）と、第２評価ステップ（ＳＴ２）と、更新ステップ（ＳＴ３）と、データ生成ステップ（ＳＴ４）と、を有する。第１評価ステップ（ＳＴ１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップ（ＳＴ２）は、第１評価ステップ（ＳＴ１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップ（ＳＴ３）は、第２評価ステップ（ＳＴ２）での評価に基づいて、パラメータを更新するステップである。データ生成ステップ（ＳＴ４）は、更新ステップ（ＳＴ３）で更新されたパラメータに基づくデータ拡張処理により、学習用データ（Ｄ１）を生成するステップである。
　この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。
　第１１の態様に係る学習済みモデルの生成方法は、第１評価ステップ（ＳＴ１）と、第２評価ステップ（ＳＴ２）と、更新ステップ（ＳＴ３）と、データ生成ステップ（ＳＴ４）と、モデル生成ステップ（ＳＴ５）と、を有する。第１評価ステップ（ＳＴ１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価するステップである。第２評価ステップ（ＳＴ２）は、第１評価ステップ（ＳＴ１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価するステップである。更新ステップ（ＳＴ３）は、第２評価ステップ（ＳＴ２）での評価に基づいて、パラメータを更新するステップである。データ生成ステップ（ＳＴ４）は、更新ステップ（ＳＴ３）で更新されたパラメータに基づくデータ拡張処理により、学習用データ（Ｄ１）を生成するステップである。モデル生成ステップ（ＳＴ５）は、データ生成ステップ（ＳＴ４）で生成された学習用データ（Ｄ１）を用いて機械学習することにより、学習済みモデル（Ｍ１）を生成するステップである。
　この態様によれば、所望の認識率を有する学習済みモデル（Ｍ１）を生成しやすい、という利点がある。
　第１２の態様に係る学習用データの評価システム（１０）は、第１評価部（１）と、第２評価部（２）と、を備える。第１評価部（１）は、データ拡張処理により生成される学習用データ（Ｄ１）を用いて機械学習された学習済みモデル（Ｍ１）の性能を評価する。第２評価部（２）は、第１評価部（１）での評価とデータ拡張処理のパラメータの取り得る範囲とに基づいて、パラメータを評価する。
　この態様によれば、モデルの認識率の向上に寄与し得る学習用データ（Ｄ１）を生成しやすい、という利点がある。
　第２～第８の態様に係る方法については、学習用データの評価方法に必須の方法ではなく、適宜省略可能である。
　本開示にかかる学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システムによれば、モデルの認識率の向上に寄与し得る学習用データを生成しやすい、という利点がある。そのため、本開示に係る発明は、不良品解析等の効率化に寄与し、産業上有用である。
　１０　評価システム
　１　第１評価部
　２　第２評価部
　ＳＴ１　第１評価ステップ
　ＳＴ２　第２評価ステップ
　ＳＴ３　更新ステップ
　ＳＴ４　データ生成ステップ
　ＳＴ５　モデル生成ステップ
　Ｄ１　学習用データ
　Ｄ１１　付加画像
　Ｄ２　評価用データ
　Ｍ１　学習済みモデル

Claims (14)

  1. 　データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
    　前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、を有する、
    　学習用データの評価方法。
  2. 　前記第２評価ステップでの評価は、前記第１評価ステップでの性能の評価が高い程高く、
    　前記第２評価ステップでの評価は、前記パラメータの取り得る範囲が広い程高い、
    　請求項１記載の学習用データの評価方法。
  3. 　前記第２評価ステップでの評価に基づいて、前記パラメータを更新する更新ステップと、
    　前記更新ステップが実行される前に前記学習済みモデルを記憶する記憶ステップと、
    　前記更新ステップの実行後の前記学習済みモデルと、前記記憶ステップで記憶された前記学習済みモデルとを比較する比較ステップと、を更に有する、
    　請求項１又は２に記載の学習用データの評価方法。
  4. 　前記学習用データは、前記学習済みモデルの認識対象を含む画像データに対して、前記パラメータに基づく付加画像を追加することで生成される、
    　請求項１～３のいずれか１項に記載の学習用データの評価方法。
  5. 　前記第１評価ステップでの評価が目標に到達すると、前記第１評価ステップ及び前記第２評価ステップを停止する、
    　請求項１～４のいずれか１項に記載の学習用データの評価方法。
  6. 　前記第１評価ステップでの評価が一定値に収束すると、前記第１評価ステップ及び前記第２評価ステップを停止する、
    　請求項１～４のいずれか１項に記載の学習用データの評価方法。
  7. 　前記第１評価ステップは、前記学習済みモデルに入力される複数の評価用データの各々について、前記学習済みモデルの性能を評価する、
    　請求項１～６のいずれか１項に記載の学習用データの評価方法。
  8. 　前記第２評価ステップは、前記学習用データを用いて機械学習を行う過程で前記学習用データに対して実行される前処理に関する前処理パラメータに基づいて、前記パラメータを評価する、
    　請求項１～７のいずれか１項に記載の学習用データの評価方法。
  9. 　１以上のプロセッサに、
    　請求項１～８のいずれか１項に記載の学習用データの評価方法を実行させる、
    　プログラム。
  10. 　データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
    　前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、
    　前記第２評価ステップでの評価に基づいて、前記パラメータを更新する更新ステップと、
    　前記更新ステップで更新された前記パラメータに基づく前記データ拡張処理により、前記学習用データを生成するデータ生成ステップと、を有する、
    　学習用データの生成方法。
  11. 　データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価ステップと、
    　前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、
    　前記第２評価ステップでの評価に基づいて、前記パラメータを更新する更新ステップと、
    　前記更新ステップで更新された前記パラメータに基づく前記データ拡張処理により、前記学習用データを生成するデータ生成ステップと、
    　前記データ生成ステップで生成された前記学習用データを用いて機械学習することにより、前記学習済みモデルを生成するモデル生成ステップと、を有する、
    　学習済みモデルの生成方法。
  12. 　データ拡張処理により生成される学習用データを用いて機械学習された学習済みモデルの性能を評価する第１評価部と、
    　前記第１評価部での評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価部と、を備える、
    　学習用データの評価システム。
  13. 　学習用データと評価用データの類似度を評価する第１評価ステップと、
    　前記第１評価ステップでの評価と前記データ拡張処理のパラメータの取り得る範囲とに基づいて、前記パラメータを評価する第２評価ステップと、を有する、
    　学習用データの評価方法。
  14. 　前記類似度は、前記評価用データに含まれる要素に対して最も類似する学習用データの各々の類似度の累計である請求項１３に記載の学習用データの評価方法。
PCT/JP2020/047188 2019-12-24 2020-12-17 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム WO2021132024A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021567367A JP7320705B2 (ja) 2019-12-24 2020-12-17 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム
CN202080083371.4A CN114746875A (zh) 2019-12-24 2020-12-17 学习用数据的评价方法、程序、学习用数据的生成方法、学习完毕模型的生成方法以及学习用数据的评价系统
US17/756,538 US20230033495A1 (en) 2019-12-24 2020-12-17 Evaluation method for training data, program, generation method for training data, generation method for trained model, and evaluation system for training data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019233422 2019-12-24
JP2019-233422 2019-12-24

Publications (1)

Publication Number Publication Date
WO2021132024A1 true WO2021132024A1 (ja) 2021-07-01

Family

ID=76574469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047188 WO2021132024A1 (ja) 2019-12-24 2020-12-17 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム

Country Status (4)

Country Link
US (1) US20230033495A1 (ja)
JP (1) JP7320705B2 (ja)
CN (1) CN114746875A (ja)
WO (1) WO2021132024A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122546A1 (ja) * 2022-12-07 2024-06-13 株式会社サキコーポレーション 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734141B2 (en) * 2021-07-14 2023-08-22 International Business Machines Corporation Dynamic testing of systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053052A1 (en) * 2017-09-12 2019-03-21 Itu Business Development A/S METHOD FOR (RE-) TRAINING MACHINE LEARNING COMPONENT

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053052A1 (en) * 2017-09-12 2019-03-21 Itu Business Development A/S METHOD FOR (RE-) TRAINING MACHINE LEARNING COMPONENT

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CUBUK, EKIN D. ET AL.: "AutoAugment: Learning Augmentation Policies from Data", ARXIV, 11 April 2019 (2019-04-11), XP033686405, Retrieved from the Internet <URL:https://Iarxiv.org/abs/1805.09501> [retrieved on 20210225] *
KOBAYASHI, KENICHI ET AL.: "Evaluation of Data Augmentation to Image-Based Plant Disease Detection", PROCEEDINGS OF THE 32ND ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, XP033502981 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122546A1 (ja) * 2022-12-07 2024-06-13 株式会社サキコーポレーション 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム

Also Published As

Publication number Publication date
CN114746875A (zh) 2022-07-12
US20230033495A1 (en) 2023-02-02
JPWO2021132024A1 (ja) 2021-07-01
JP7320705B2 (ja) 2023-08-04

Similar Documents

Publication Publication Date Title
JP6922387B2 (ja) ディープニューラルネットワークに基づく認識装置、トレーニング装置及び方法
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
WO2021132024A1 (ja) 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム
US7469237B2 (en) Method and apparatus for fractal computation
CN111222629B (zh) 一种基于自适应批规范化的神经网络模型剪枝方法及系统
US20210081798A1 (en) Neural network method and apparatus
US20210110215A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
CN105320945A (zh) 图像分类的方法及装置
Huang et al. Deep and wide multiscale recursive networks for robust image labeling
US11176672B1 (en) Machine learning method, machine learning device, and machine learning program
CN115809624B (zh) 一种集成电路微带线传输线自动化分析设计方法
CN109409508B (zh) 一种基于生成对抗网络使用感知损失解决模型崩塌的方法
CN114418946A (zh) 一种医学图像分割方法、系统、终端以及存储介质
CN115205279A (zh) 检验半导体样本的系统和方法
CN114022480B (zh) 基于统计与形状拓扑图的医学图像关键点检测方法和装置
CN110807497A (zh) 基于深度动态网络的手写体数据分类方法及系统
Zhang et al. A novel method based on deep reinforcement learning for machining process route planning
US20230260110A1 (en) Method and apparatus for processing abnormal region in image, and image segmentation method and apparatus
CN115238641A (zh) 缺陷根因确定方法、装置和存储介质
CN112884046A (zh) 基于不完全监督学习的图像分类方法、装置及相关设备
KR102588888B1 (ko) 반도체 레이아웃의 패턴 윤곽 정보를 검출하는 장치 및 방법
CN117935291B (zh) 草图生成模型的训练方法、草图生成方法、终端及介质
CN116796794A (zh) 一种基于属性邻域的异质图属性补全方法
EP4198831A1 (en) Automated feature engineering for predictive modeling using deep reinforcement learning
EP4007173A1 (en) Data storage method, and data acquisition method and apparatus therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904835

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567367

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20904835

Country of ref document: EP

Kind code of ref document: A1