WO2022249392A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2022249392A1
WO2022249392A1 PCT/JP2021/020174 JP2021020174W WO2022249392A1 WO 2022249392 A1 WO2022249392 A1 WO 2022249392A1 JP 2021020174 W JP2021020174 W JP 2021020174W WO 2022249392 A1 WO2022249392 A1 WO 2022249392A1
Authority
WO
WIPO (PCT)
Prior art keywords
training
examples
machine learning
artificial
information processing
Prior art date
Application number
PCT/JP2021/020174
Other languages
English (en)
French (fr)
Inventor
優太 畠山
穣 岡嶋
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023523860A priority Critical patent/JPWO2022249392A1/ja
Priority to PCT/JP2021/020174 priority patent/WO2022249392A1/ja
Publication of WO2022249392A1 publication Critical patent/WO2022249392A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to technology for generating examples used in machine learning.
  • Non-Patent Document 1 the minority class instance (training example) closest to the decision boundary of the Support Vector Machine and the neighboring minority class instance are synthesized to create a minority class virtual instance. It is described to generate
  • Non-Patent Document 1 has the problem that virtual instances (artificial examples) are generated near the decision boundary, and artificial examples are not generated in regions other than near the decision boundary where training examples are insufficient. rice field.
  • One aspect of the present invention has been made in view of the above problems, and an example of its purpose is to provide a technique capable of generating artificial examples in areas where training examples used for machine learning training are lacking. That is.
  • An information processing apparatus provides a machine learning model group including a plurality of acquisition means for acquiring a plurality of training examples, and a plurality of machine learning models for outputting a prediction result from input of the training examples.
  • a selection means for selecting, from among the plurality of training examples, a training example having variations in a plurality of prediction results obtained using the machine learning model group after training; and the plurality of training generating means for generating artificial examples by synthesizing two or more of the training examples including the selected training example.
  • An information processing method includes obtaining a plurality of training examples, and generating a machine learning model group including a plurality of machine learning models that take the training examples as input and output a prediction result using the plurality of training examples. training, selecting, from among the plurality of training examples, a training example in which a plurality of prediction results obtained using the group of machine learning models after training vary, and among the plurality of training examples, Combining two or more training examples containing the selected training examples to generate an artificial example.
  • a program according to one aspect of the present invention is a program for causing a computer to function as an information processing apparatus, the computer comprising an acquisition unit that acquires a plurality of training examples, and a machine that receives the examples as input and outputs a prediction result.
  • training means for training a machine learning model group including a plurality of learning models using the plurality of training examples; and a plurality of prediction results obtained by using the machine learning model group after training among the plurality of training examples.
  • selection means for selecting a training example with variation in the training examples; and generation means for generating an artificial example by synthesizing two or more training examples including the selected training example from among the plurality of training examples. .
  • artificial examples can be generated in areas lacking training examples used for machine learning training.
  • FIG. 1 is a block diagram showing the configuration of an information processing device according to exemplary Embodiment 1 of the present invention
  • FIG. FIG. 3 is a flow diagram showing the flow of an information processing method according to exemplary embodiment 1 of the present invention
  • FIG. 4 is a diagram schematically showing a specific example of an information processing method according to exemplary embodiment 1 of the present invention
  • FIG. 2 schematically illustrates an artificial example generated by exemplary embodiment 1 of the present invention
  • FIG. 7 is a block diagram showing the configuration of an information processing apparatus according to exemplary Embodiment 2 of the present invention
  • FIG. 7 is a flow diagram showing the flow of an information processing method according to exemplary embodiment 2 of the present invention
  • FIG. 7 is a diagram schematically showing a specific example of an information processing method according to exemplary embodiment 2 of the present invention
  • FIG. 10 is a flow diagram showing the flow of a first generation process according to exemplary embodiment 2 of the present invention
  • FIG. 11 is a flow diagram showing the flow of a second generation process according to exemplary embodiment 2 of the present invention
  • FIG. 11 is a flow diagram showing the flow of a third generation process according to exemplary embodiment 2 of the present invention
  • FIG. 11 is a flow diagram showing the flow of an information processing method according to exemplary embodiment 3 of the present invention
  • FIG. 11 is a flow diagram showing the flow of an information processing method according to exemplary embodiment 4 of the present invention
  • FIG. 11 is a diagram schematically illustrating an information processing method according to exemplary embodiment 5 of the present invention
  • FIG. 4 is a diagram schematically explaining an artificial example generated by the technique described in Non-Patent Document 1
  • 1 is a block diagram showing the configuration of a computer functioning as an information processing device according to exemplary embodiments 1 to 5 of the present invention
  • FIG. 4 is a diagram schematically explaining an artificial example generated by the technique described in Non-Patent Document 1
  • 1 is a block diagram showing the configuration of a computer functioning as an information processing device according to exemplary embodiments 1 to 5 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an information processing device 10. As shown in FIG.
  • the information processing device 10 is a device that generates artificial examples from a plurality of training examples using a machine learning model group.
  • the information processing device 10 includes an acquisition unit 11, a training unit 12, a selection unit 13, and a generation unit 14, as shown in FIG.
  • the acquisition unit 11 is an example of a configuration that implements the acquisition means described in the claims.
  • the training unit 12 is an example of a configuration that implements training means described in the claims.
  • the selection unit 13 is an example of a configuration that implements the selection means described in the claims.
  • the generation unit 14 is an example of a configuration that implements the generation means described in the claims.
  • the acquisition unit 11 acquires a plurality of training examples.
  • the training unit 12 trains a machine learning model group including a plurality of machine learning models that output prediction results using examples as input, using a plurality of training examples.
  • the selection unit 13 selects, from among the plurality of training examples, training examples in which there are variations in the plurality of prediction results obtained using the machine learning model group after training.
  • the generating unit 14 generates an artificial example by synthesizing two or more training examples including the selected training example from among the plurality of training examples.
  • a machine learning model group includes a plurality of machine learning models. Each machine learning model takes an example as an input and outputs a prediction result.
  • a prediction result may include, for example, a predicted probability that each of a plurality of labels is predicted. In this case, the label with the highest prediction probability may be referred to as the prediction result.
  • a machine learning model is, by way of example, a model generated using a machine learning algorithm such as a decision tree, neural network, random forest, or support vector machine. However, the machine learning algorithms used to generate each machine learning model are not limited to these.
  • the multiple machine learning models may all be models generated using the same machine learning algorithm. At least two of the plurality of machine learning models may be models generated using different machine learning algorithms.
  • the machine learning model group may be stored, for example, in the memory of the information processing device 10 or may be stored in another device communicably connected to the information processing device 10 .
  • the machine learning model group does not necessarily have to be "training target machine learning models to be trained using generated artificial examples”.
  • the group of machine learning models may include some or all of the machine learning models to be trained.
  • the machine learning model group does not have to include the machine learning model to be trained.
  • the number of machine learning models to be trained may be plural or singular.
  • An example is information that is input to each machine learning model and includes features. In other words, examples exist in feature space.
  • a training example is an example used to train a set of machine learning models. The training examples may be examples obtained by observation or may be artificial examples that are artificially generated.
  • a training example in which a plurality of prediction results vary is a training example in which the evaluation result of variation indicates that the variation is large.
  • evaluation of variability means evaluating whether or not the variability of a plurality of prediction results is large.
  • the variability evaluation may be an evaluation based on the entropy of voting results. The entropy of voting results will be described in detail in exemplary embodiment 2 below.
  • the evaluation of variation may be an evaluation based on the ratio of prediction results showing the same label among a plurality of prediction results.
  • the evaluation of variation is not limited to the one described above.
  • a training example evaluated as having a large variation in a plurality of prediction results is also referred to as a “training example with a variation in prediction results”.
  • a training example evaluated as not having a large variation in a plurality of prediction results is also described as a “training example having a small variation in prediction results”.
  • FIG. 2 is a flow diagram showing the flow of the information processing method S10. As shown in FIG. 2, the information processing method S10 includes steps S101 to S104.
  • step S101 acquisition process
  • the acquisition unit 11 acquires a plurality of training examples.
  • the acquisition unit 11 may acquire a plurality of training examples by reading them from memory.
  • the acquisition unit 11 may acquire a plurality of training examples from an input device or from a device connected via a network.
  • the plurality of training examples obtained in this step includes one or both of observed examples and artificial examples.
  • step S102 training process
  • the training unit 12 trains a group of machine learning models using a plurality of training examples acquired in step S101.
  • the training examples used for training each machine learning model group may be a part or all of the plurality of training examples acquired in step S101.
  • step S103 In step S ⁇ b>103 (selection processing), the selection unit 13 selects training examples having variations in prediction results from among the plurality of training examples.
  • the selection unit 13 may select one such training example, or may select a plurality of such training examples.
  • the selection unit 13 inputs a training example to be evaluated among a plurality of training examples to each machine learning model after training, and acquires a prediction result output from each machine learning model. Thereby, the selection unit 13 obtains a plurality of prediction results for the training example to be evaluated. In addition, the selection unit 13 evaluates variations in the obtained prediction results. If the selection unit 13 evaluates that a plurality of prediction results have large variations, the selection unit 13 selects the training example as "a training example having variations in prediction results."
  • the selection unit 13 makes some or all of the plurality of training examples subject to variation evaluation. For example, when each machine learning model group is trained using a part of a plurality of training examples, the selection unit 13 selects the other part of the plurality of training examples (i.e., the machine learning model group was not used for training training examples) may be evaluated.
  • step S104 generation processing
  • the generation unit 14 generates an artificial example by synthesizing two or more training examples including the training example selected in step S103 among the plurality of training examples. For example, the generation unit 14 may synthesize the selected training example with other training examples that exist nearby in the feature space. Further, for example, when a plurality of training examples are selected in step S103, the generation unit 14 may synthesize the selected training examples.
  • the generating unit 14 may generate one artificial example by synthesizing two training examples, or may generate one artificial example by synthesizing three or more training examples. In this step, the generation unit 14 may generate one artificial example, or may generate a plurality of artificial examples.
  • the synthesizing process performed by the generating unit 14 is represented by the following equation (1) as an example.
  • Equation (1) ⁇ xv represents an artificial example, and x i represents a training example selected by the selection unit 13 .
  • x j may be another training example selected by the selection unit 13, or may be another training example that is not selected. If it is another training example that has not been selected, then x j is a training example that is in the neighborhood of x i .
  • ⁇ is a weighting coefficient that satisfies 0 ⁇ 1.
  • the generation unit 14 determines the value of the coefficient ⁇ using random numbers generated by a random function. Note that the synthesizing process performed by the generating unit 14 is not limited to the method described above, and the generating unit 14 may synthesize a plurality of training examples by other methods.
  • FIG. 3 is a diagram schematically showing a specific example of the information processing method S10.
  • the plurality of training examples T acquired by the acquisition unit 11 in step S101 include training examples t1, t2, t3, .
  • the machine learning model group trained by the training unit 12 in step S102 includes machine learning models m1, m2, m3, . Each of the machine learning models m1, m2, m3, . Each of the machine learning models m1, m2, m3, .
  • the selection unit 13 evaluates variations in a plurality of prediction results for training examples t1 to t10 to be evaluated.
  • solid-line circles indicate training examples with variability in prediction results
  • dashed-line circles indicate training examples with small variability in prediction results.
  • a plurality of prediction results obtained from machine learning models m1, m2, m3, . is evaluated.
  • training examples t6, t9, and t10 a plurality of prediction results obtained from machine learning models m1, m2, m3, .
  • training examples t3 and t4 two of a plurality of prediction results obtained from machine learning models m1, m2, m3, . . . are "A" and one is "B.” is evaluated as large.
  • training examples t7 and t8 two of a plurality of prediction results obtained from machine learning models m1, m2, m3, . . . are "B" and one is "A.” is evaluated as large.
  • the selection unit 13 selects training examples t3, t4, t7, and t8 with variations in prediction results.
  • the generation unit 14 generates an artificial example t51 by synthesizing the training example t3 with variations in prediction results and the neighboring training example t5. Further, the generation unit 14 generates an artificial example t52 by synthesizing the training example t4 in which the prediction results vary and the neighboring training example t1. Further, the generation unit 14 generates an artificial example t53 by synthesizing a plurality of training examples t7 and t8 having different prediction results. In FIG. 3, the double-lined circle indicates an artificial example.
  • the exemplary embodiment obtains a plurality of training examples, trains a machine learning model family including a plurality of machine learning models that take the examples as input and output a prediction result using the plurality of training examples, and trains the plurality of training examples. From among the training examples, select training examples with variations in the prediction results obtained using the machine learning model group after training, and synthesize two or more training examples including the selected training examples from among the plurality of training examples. and to generate an artificial example.
  • training examples with multiple prediction results that vary are considered to be in areas where there are insufficient training examples in the feature space.
  • Artificial examples obtained by synthesizing multiple training examples containing such training examples are likely to be generated in areas lacking training examples.
  • the present exemplary embodiment can generate artificial examples in regions lacking training examples.
  • FIG. 4 is a diagram schematically illustrating an artificial example generated by this exemplary embodiment.
  • FIG. 14 is a diagram schematically explaining an artificial example generated by the technique described in Non-Patent Document 1.
  • FIG. 4 and 14 solid-line circles indicate training examples with small variations in prediction results, dashed-line circles indicate training examples with variations in prediction results, and double-line circles indicate artificial examples. show.
  • Regions R1, R2, and R3 indicate regions in the feature amount space. Regions R1, R2, and R3 contain artificial examples with varying prediction results, and are regions lacking artificial examples.
  • Non-Patent Document 1 As shown in FIG. 14, the technique described in Non-Patent Document 1 generates an artificial example in a region R1 near the decision boundary B by the support vector machine. However, with the technique described in Non-Patent Document 1, it is difficult to generate artificial examples in regions R2 and R3 other than the vicinity of the decision boundary B, where training examples are insufficient.
  • the exemplary embodiment generates artificial examples by synthesizing multiple training examples, including training examples with varying prediction results.
  • the present exemplary embodiment can generate artificial examples in regions R1, R2, R3 lacking training examples.
  • this exemplary embodiment can suppress the generation of artificial examples biased toward a partial region R1.
  • this exemplary embodiment employs a configuration in which a group of machine learning models are used to select training examples with varying prediction results.
  • this exemplary embodiment suppresses the generation of artificial examples in biased regions compared to the case of generating artificial examples in the vicinity of the decision boundary like the technique described in Non-Patent Document 1. be able to.
  • This also allows the present exemplary embodiment to generate artificial examples in regions that are more deficient in training examples compared to using prediction probabilities to select training examples with varying prediction results. be able to. This is because, for example, when a decision tree is included in a group of machine learning models, the decision tree may make an erroneous prediction with a prediction probability of 1.
  • FIG. 5 is a block diagram showing the configuration of the information processing device 20.
  • the information processing device 20 is a device that generates an artificial example from a plurality of examples using the machine learning model group COM0.
  • the machine learning model group COM0 is configured almost similarly to the machine learning model group in the first exemplary embodiment. However, in this exemplary embodiment, at least two of the plurality of machine learning models included in the machine learning model group COM0 were generated using different machine learning algorithms.
  • the machine learning model group COM0 includes machine learning models that are training targets to be trained using artificial examples.
  • At least one machine learning model included in the machine learning model group COM0 is a decision tree.
  • the machine learning model being trained is a decision tree.
  • the information processing device 20 includes, as shown in FIG. .
  • the acquisition unit 21 is an example of a configuration that implements the acquisition means described in the claims.
  • the training unit 22 is an example of a configuration that implements training means described in the claims.
  • the selection unit 23 is an example of a configuration that implements the selection means described in the claims.
  • the generation unit 24 is an example of a configuration that implements the generation means described in the claims.
  • the labeling unit 25 is an example of a configuration that implements the labeling means described in the claims.
  • the output unit 26 is an example of a configuration that implements the output means described in the claims.
  • the acquisition unit 21 is configured in the same manner as the acquisition unit 11 in the first exemplary embodiment.
  • the training unit 22 is configured almost similarly to the training unit 12 in exemplary embodiment 1, but differs in that the machine learning model group COM0 is divided into a plurality of groups for training. Details of the training process by the training unit 22 will be described later.
  • the selection unit 23 is configured in substantially the same manner as the selection unit 23 in exemplary embodiment 1, but differs in the details of the training examples to be evaluated for variations in prediction results. The details of the training examples to be evaluated will be described later.
  • the generating unit 24 generates artificial examples by synthesizing the training examples selected by the selecting unit 23 and examples existing in the vicinity of the selected training examples in the feature space. As an example, the generator 24 generates an artificial example by synthesizing two training examples according to Equation (1) above.
  • the labeling unit 25 labels some or all of the training examples and artificial examples.
  • the label assigning unit 25 may assign a label based on information output from an input device that accepts user operations. Further, as an example, the labeling unit 25 may give labels obtained by inputting training examples and artificial examples to a machine learning model trained to output labels with examples as input.
  • the machine learning model that outputs the label is a machine learning model different from each machine learning model included in the machine learning model group COM0.
  • the machine learning model that outputs the label is preferably a model with higher prediction accuracy than at least one machine learning model included in the machine learning model group. For example, if the machine learning model to be trained included in the machine learning model group is a decision tree, the machine learning model that outputs the label may be a random forest.
  • the output unit 26 outputs the artificial example generated by the generation unit 24.
  • the output unit 26 may store the artificial example generated by the generation unit 24 in a recording medium such as an external storage device.
  • the output unit 26 may output the artificial example to an output device such as a display device, for example.
  • the control unit 27 controls each unit of the information processing device 20 .
  • the control unit 27 particularly adds the artificial examples generated by the generation unit 24 to a plurality of training examples, and causes the acquisition unit 21, the training unit 22, the selection unit 23, and the generation unit 24 to function again. .
  • FIG. 6 is a flow diagram showing the flow of the information processing method S20.
  • step S201 acquisition process
  • the acquisition unit 11 acquires a plurality of training examples.
  • the plurality of training examples to be acquired may include examples obtained by observation, or may include artificial examples.
  • Step S202 In step S ⁇ b>202 , the label assigning unit 25 assigns a label to each of the plurality of training examples acquired by the acquiring unit 21 .
  • step S203 training process
  • the training unit 22 trains each of the multiple machine learning model groups using some or all of the multiple training examples acquired by the acquisition unit 21 .
  • the details of the training process for training each machine learning model group will be described later.
  • step S204 In step S ⁇ b>204 (selection processing), the selection unit 23 selects one or more training examples with variations in prediction results from among the plurality of training examples acquired by the acquisition unit 21 .
  • the selection processing performed by the selection unit 23 will be described later.
  • the details of the process of selecting training examples with varying prediction results will be described later.
  • step S205 generation processing
  • the generation unit 24 identifies a plurality of training examples including the training example selected by the selection unit 23 as synthesis targets.
  • the generation unit 24 also generates an artificial example by synthesizing a plurality of training examples specified as synthesis targets. The details of the generation process performed by the generation unit 24 will be described later.
  • step S206 the label assigning unit 25 assigns a label to each of the artificial examples generated by the generating unit 24.
  • FIG. in step S207 the control unit 27 determines whether to end the training process. As an example, when the number of times the processes of steps S203 to S206 have been executed is equal to or greater than a predetermined threshold, the control unit 27 determines to end the training process. On the other hand, when the number of times the processes of steps S203 to S206 have been executed is less than the predetermined threshold, it is determined that the training process is not finished. If the training process is not to end (NO in step S207), the control unit 27 proceeds to the process of step S208. On the other hand, when ending the training process (YES in step S207), the control unit 27 proceeds to the process of step S209.
  • Step S208 the control unit 27 adds one or more artificial examples generated in step S206 executed so far to a plurality of training examples. After completing the process of step S208, the control unit 27 returns to the process of step S203. In other words, the control unit 27 adds the artificial example to the plurality of training examples and causes the acquisition unit 21, the training unit 22, the selection unit 23, and the generation unit 24 to function again.
  • step S209 the output unit 26 outputs one or more artificial examples generated in step S206 executed so far.
  • One or more artificial examples thus generated using information processing method S20 are used to train a machine learning model to be trained.
  • the training unit 22 may perform the process of training the machine learning model to be trained.
  • FIG. 7 is a diagram schematically showing a specific example of the information processing method S20.
  • each divided group will be referred to as a machine learning model group COMi.
  • a plurality of machine learning models included in the machine learning model group COMi are hereinafter referred to as machine learning models mi-j.
  • the plurality of machine learning models mi-j included in the machine learning model group COMi may all be models generated by the same machine learning algorithm, or at least two of them may be models generated by mutually different machine learning algorithms. It can be a model.
  • the training unit 22 extracts the training example group Di from the training example group T acquired by the acquisition unit 21 in step S201.
  • Training example group Di is part of training example group T.
  • the training unit 22 may extract the training example group Di by random sampling.
  • the training example groups Di1 and Di2 may contain all the same training examples, or some or all of them may be different.
  • the selection unit 23 evaluates the variability of each training example to be evaluated, using an index of vote entropy in the QBC (query by committee) method.
  • the following equation (2) is an equation that indicates the training example ⁇ x for which the entropy of the voting result is the maximum.
  • C represents the total number of machine learning models mi-j in the machine learning model group COMi.
  • V(y) indicates the number of machine learning models mi-j that have predicted the label y in the machine learning model group COMi.
  • the selection unit 23 may select the training example ⁇ x indicated by the equation (2) as a training example having variations in prediction results. In this case, the number of training examples with variations in prediction results selected by the selection unit 23 for each machine learning model group COMi is one.
  • the selection unit 23 uses the M machine learning model group COMi to select M training examples with varying prediction results. For each machine learning model group COMi, the selection unit 23 may select a predetermined number of training examples in descending order of entropy of the voting result, or may select training examples whose entropy of the voting result is equal to or greater than a threshold. good. In this case, the number of training examples with variations in prediction results selected by the selection unit 23 for each machine learning model group COMi can be plural. In other words, in this case, the selection unit 23 selects M or more training examples with variations in prediction results using the M machine learning model group COMi. Further, the selection unit 23 may randomly select one or a predetermined number from among the M or more training examples with variations in the prediction results selected in this way, or the entropy of the voting results may be One or a predetermined number may be selected in descending order.
  • step S205 the generation unit 24 performs any one of the first generation processing S30, the second generation processing S40, and the third generation processing S50 using training examples having variations in the prediction results, thereby generating artificial training examples.
  • the first generation process S30 is a process of generating an artificial example by synthesizing training examples having variations in prediction results and neighboring training examples.
  • the second generation process is a process of generating an artificial example by synthesizing two or more training examples with varying prediction results.
  • the third generation process is a process of selectively executing either the first generation process or the second generation process.
  • the first generation processing S30 will be described with reference to FIG.
  • FIG. 8 is a flowchart showing the flow of the first generation processing S30.
  • the first generation process S30 includes steps S301 and S302.
  • step S204 previously performed, one or a plurality of training examples with varying prediction results are selected.
  • the generation unit 24 executes the following steps S301 and S302 for each of one or more training examples (hereinafter referred to as the training examples) having variations in prediction results.
  • Step S301 the generating unit 24 selects training examples near the training example.
  • Neighboring training examples may be training examples with varying prediction results or training examples with less variation in prediction results.
  • the neighboring training example may be a training example in the training example group T that is closest to the training example in the feature space.
  • the neighboring training example may be a training example whose distance in the feature space from the training example in the training example group T is equal to or less than a threshold.
  • Step S302 the generating unit 24 generates an artificial example by synthesizing the training example and the neighboring training example selected in step S301.
  • an artificial example tv1-1 is generated by synthesizing a training example t1 with variations in the prediction results and neighboring training examples.
  • an artificial example tv1-2 is generated by synthesizing the training example t2 with variations in prediction results and its neighboring training examples.
  • the generation unit 24 may use the above formula (1) as an example of synthesis processing.
  • the generating unit 24 may use known techniques such as MUNGE (see reference 1) and SMOTE (see reference 2) as other examples of combining processing.
  • FIG. 9 is a flowchart for explaining the flow of the second generation processing S40.
  • the second generation process S40 includes steps S401 and S402.
  • the second generation process can be executed when a plurality of training examples with different prediction results are selected in step S204.
  • the generation unit 24 executes the following steps S401 and S402 for each of a plurality of training examples (hereinafter referred to as training examples) having variations in prediction results.
  • Step S401 the selection unit 23 selects another training example different from the training example from among the plurality of training examples having variations in prediction results.
  • the selection unit 23 selects two or more training examples having a plurality of variations in prediction results from among the plurality of training examples.
  • the selection unit 23 may randomly select such other training examples from a plurality of training examples with varying prediction results.
  • the selection unit 23 selects, as such another training example, one having the smallest distance in the feature amount space from the training example among a plurality of training examples having variations in prediction results, or a distance equal to or less than a threshold. can be selected. Note that if the training example has already been used for synthesis, the processing of steps S401 and S402 relating to the training example need not be executed.
  • Step S402 the generation unit 24 generates an artificial example by synthesizing the training example and the other training example selected in step S401.
  • the artificial example tv2-1 is generated by synthesizing the training examples t11 and t12 with different prediction results.
  • the two or more training examples synthesized by the generation unit 24 may be selected using the same machine learning model group COMi as in this example, or at least one of them may be different from the others. It may be selected using the machine learning model group COMi.
  • the generator 24 selects two or more training examples from training examples t1, t2, . . . , t11, t12, .
  • step S402 It may be synthesized to produce artificial examples tv1-1, tv1-2, tv2-1, or tv2-2. Note that the technique used in the combining process in step S402 is the same as described in step S302, so detailed description will not be repeated.
  • FIG. 10 is a flowchart for explaining the flow of the third generation process S50.
  • the third generation process S50 includes steps S501 to S503.
  • step S204 one or more training examples with varying prediction results are selected.
  • the generation unit 24 executes the following steps S501 to S503 for each of one or more training examples (hereinafter referred to as the training examples) having variations in prediction results.
  • Step S501 the generator 24 selects either the first generation process or the second generation process.
  • the generator 24 may select the first generation process using a probability p determined by a random function, and select the second generation process if the first generation process is not selected.
  • the method of selecting either the first generation process or the second generation process is not limited to the method using the probability p, and may be another method.
  • Step S502 the generation unit 24 determines which one is selected. When the first generation process is selected, the generation unit 24 proceeds to the process of step S503 and executes the first generation process. On the other hand, when the second generation process is selected, the generation unit 24 proceeds to the process of step S504 and executes the second generation process. The details of the first generation process and the second generation process are as described above.
  • This exemplary embodiment has a configuration of executing a first generation process for generating an artificial example by synthesizing a training example with a variation in prediction results and instruction examples in the vicinity thereof.
  • the artificial examples generated by the first generation process are generated in the vicinity of the training examples in which the prediction results vary.
  • Training examples with varying prediction results are considered to be regions in the feature space that are deficient in training examples.
  • such artificial examples are generated in regions lacking training examples.
  • this exemplary embodiment has a configuration of executing a second generation process of synthesizing two or more training examples having variations in prediction results to generate an artificial example.
  • the artificial examples generated by the second generation process are obtained by synthesizing training examples in a region lacking training examples. Therefore, areas where such artificial examples exist are also likely to be deficient in training examples.
  • this exemplary embodiment has a configuration in which either the first generation process or the second generation process is selected and executed to execute the third generation process for generating an artificial example.
  • the artificial example generated by the third generation process is generated by the first generation process or the second generation process.
  • the region in which the artificial example is generated by the first generation process and the region in which the artificial example is generated by the second generation process can be different. Therefore, when a plurality of artificial examples are generated by the third generation process, there is a high possibility that these artificial examples will be generated distributed over more diverse regions lacking training examples.
  • the exemplary embodiment generates artificial examples that are biased toward regions where training examples are sufficient by performing any of the first generation process, the second generation process, and the third generation process. Instead, artificial examples can be generated in areas where training examples are more scarce.
  • the group of machine learning models includes a machine learning model to be trained. This allows the exemplary embodiments to generate artificial examples that are more effective at improving the accuracy of the machine learning model under training.
  • this exemplary embodiment employs a configuration in which at least two of the machine learning model groups are models generated by mutually different machine learning algorithms.
  • the machine learning model to be trained is a decision tree and not a support vector machine.
  • such training target machine learning models are included in the machine learning model group COM0. Therefore, compared to the technique described in Non-Patent Document 1, which generates artificial examples near the decision boundary of the support vector machine, the present exemplary embodiment provides artificial examples that are more effective in improving the accuracy of the machine learning model to be trained. can be generated.
  • generator 24 generates a plurality of artificial examples.
  • the generation unit 24 integrates two artificial examples that satisfy the similarity condition into one artificial example, among the plurality of generated artificial examples.
  • the similarity condition is a condition indicating that examples are similar.
  • the similarity condition may be, for example, that the cosine similarity is greater than or equal to a threshold, or that the distance in the feature amount space is less than or equal to the threshold.
  • similar conditions are not limited to these. Details of the process of integration will be described later.
  • FIG. 11 is a flow diagram illustrating the flow of the information processing method S20A according to the third exemplary embodiment.
  • the information processing method S20A shown in FIG. 11 is configured substantially in the same manner as the information processing method S20 according to exemplary embodiment 2, but differs in that step S205A is further included.
  • Step S205A the generation unit 24 integrates two similar artificial examples among the artificial examples generated in step S205. Specifically, the generation unit 24 determines whether or not any of the artificial example generated in step S205 this time and the artificial example generated in step S205 up to the previous time satisfies the similarity condition. If it is determined that the similarity condition is met, the generation unit 24 integrates two artificial examples that satisfy the similarity condition.
  • An example of the integration process is the process of synthesizing two artificial examples.
  • the generator 24 synthesizes two artificial examples to generate one artificial example, and deletes the original two artificial examples that satisfy the similarity condition.
  • Another example of integration processing is processing for deleting one of two artificial examples. Note that the integration process is not limited to the process described above, as long as one artificial example generated by referring to the two artificial examples is used instead of the two artificial examples that satisfy the similarity condition.
  • deleting an artificial example means deleting it from objects to be labeled in step S206 and objects to be added to training examples in step S208. As a result, the integrated artificial examples are labeled and added to the training examples.
  • the generation unit generates a plurality of artificial examples, and integrates two artificial examples satisfying similarity conditions among the plurality of generated artificial examples into one artificial example. Adopted.
  • the present exemplary embodiment generates artificial examples that can more efficiently improve the accuracy of machine learning models in areas lacking training examples by integrating artificial examples that satisfy similarity conditions. can do.
  • the generation unit 24 outputs artificial examples having variations in a plurality of prediction results obtained using the post-training machine learning model group COM0 among the generated artificial examples.
  • an artificial example with variation is an artificial example showing that the evaluation result of variation indicates "large variation”. The details of the variability evaluation have been described above and will not be repeated.
  • the generation unit 24 performs post-evaluation of variations in the generated artificial examples using the post-training machine learning model group COM0, and adopts artificial examples having variations in prediction results from the post-evaluation.
  • FIG. 12 is a flow diagram illustrating the flow of the information processing method S20B according to the fourth illustrative embodiment.
  • the information processing method S20B shown in FIG. 12 is configured substantially in the same manner as the information processing method S20 according to exemplary embodiment 2, but differs in that step S205B is further included.
  • Step S205B In step S205B, the generation unit 24 post-evaluates the artificial examples generated in step S205.
  • the generating unit 24 uses the machine learning model group COM0 to evaluate the variation in prediction results for the artificial example. For example, in the example shown in FIG. 7, the generation unit 24 evaluates the variation of the prediction results for the artificial example tv1-1 using the machine learning model group COM1.
  • the machine learning model group COM1 used to evaluate the variability is desirably the one used to evaluate the training example t1 referenced to generate the artificial example tv1-1.
  • the details of the process of evaluating the variability of prediction results using the machine learning model group COM0 are as described in the second exemplary embodiment.
  • the generation unit 24 determines that the prediction results for the artificial example generated in step S205 do not vary greatly, the generation unit 24 deletes the artificial example.
  • deleting an artificial example means deleting it from objects to be labeled in step S206 and objects to be added to training examples in step S208. As a result, artificial examples with varying prediction results are labeled and added to the training examples.
  • ⁇ Effects of this exemplary embodiment> a configuration is adopted in which the generation unit outputs artificial examples in which there are variations in a plurality of prediction results obtained using the machine learning model group after training, among the generated artificial examples. It is
  • artificial examples obtained by synthesizing multiple training examples, including training examples with varying prediction results do not necessarily have varying prediction results.
  • artificial examples generated in this way may have small variations in prediction results.
  • Training a machine learning model using training examples with small variations in prediction results is not efficient in improving the accuracy of the machine learning model.
  • the present exemplary embodiment generates artificial examples that can more efficiently improve the accuracy of machine learning models in areas lacking training examples by post-evaluating the generated artificial examples. be able to.
  • This exemplary embodiment is a form in which the configuration of the machine learning model group COM0 and steps S203 to S204 in the information processing method S20 in exemplary embodiment 2 are modified as follows. This exemplary embodiment will be described with reference to FIG. FIG. 13 is a diagram schematically illustrating an information processing method according to this exemplary embodiment.
  • Each machine learning model mj is a model generated by the same machine learning algorithm.
  • each machine learning model mj may be a decision tree.
  • Step S203 the training unit 22 extracts a training example group Dj from the training example group T acquired by the acquisition unit 21 in step S201.
  • Training example group Dj is part of training example group T.
  • the training unit 22 may extract the training example group Dj by random sampling.
  • Machine learning model groups mj1 and mj2 are trained such that the parameters constituting each are different from each other by using training example groups Dj1 and Dj2, which are at least partially different.
  • Step S204 of this exemplary embodiment the selection unit 23 evaluates the variation of prediction results for each training example included in the training example group T using the machine learning model group COM0. Further, the selection unit 23 selects training examples with variations in prediction results. In the example of FIG. 13, the selection unit 23 selects training examples t1, t3, .
  • step S205 is as described in the second exemplary embodiment. That is, in the example of FIG. 13, any one of the first generation process, the second generation process, and the third generation process is executed for each of the training examples t1, t2, . As a result, artificial examples tv1, tv2, . . . are generated.
  • This exemplary embodiment uses models generated by the same machine learning algorithm as machine learning models constituting a group of machine learning models, and selects training examples having variations in prediction results from the acquired training example group. Choose, and adopt the configuration.
  • this exemplary embodiment can generate effective artificial examples by improving the accuracy of the machine learning model when all the machine learning included in the machine learning model group is a decision tree. I will explain why. Decision trees can vary greatly in term structure for small changes in the training examples. Therefore, by using a group of machine learning models including a plurality of decision trees, it is possible to more accurately select training examples with varying prediction results.
  • Some or all of the functions of the information processing apparatuses 10 and 20 may be realized by hardware such as integrated circuits (IC chips), or may be realized by software.
  • the information processing apparatuses 10 and 20 are implemented by computers that execute instructions of programs, which are software that implements each function, for example.
  • An example of such a computer (hereinafter referred to as computer C) is shown in FIG.
  • Computer C comprises at least one processor C1 and at least one memory C2.
  • a program P for operating the computer C as the information processing apparatuses 10 and 20 is recorded in the memory C2.
  • the processor C1 reads the program P from the memory C2 and executes it, thereby realizing each function of the information processing apparatuses 10 and 20 .
  • processor C1 for example, CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit) , a microcontroller, or a combination thereof.
  • memory C2 for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination thereof can be used.
  • the computer C may further include a RAM (Random Access Memory) for expanding the program P during execution and temporarily storing various data.
  • Computer C may further include a communication interface for sending and receiving data to and from other devices.
  • Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
  • the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
  • a recording medium M for example, a tape, disk, card, semiconductor memory, programmable logic circuit, or the like can be used.
  • the computer C can acquire the program P via such a recording medium M.
  • the program P can be transmitted via a transmission medium.
  • a transmission medium for example, a communication network or broadcast waves can be used.
  • Computer C can also obtain program P via such a transmission medium.
  • Appendix 1 an acquisition means for acquiring a plurality of training examples; a training means for training a machine learning model group including a plurality of machine learning models that output prediction results using examples as input, using the plurality of training examples; selection means for selecting, from among the plurality of training examples, a training example in which a plurality of prediction results obtained using the machine learning model group after training varies; generating means for generating an artificial example by synthesizing two or more training examples including the selected training example from among the plurality of training examples; Information processing device with
  • artificial examples are generated using training examples with variations in prediction results, so artificial examples are not generated in biased areas such as the vicinity of the decision boundary. Artificial examples can often be generated.
  • Appendix 2 The information processing apparatus according to appendix 1, wherein the generating means generates the artificial example by synthesizing the selected training example and an example existing in the vicinity of the selected training example in a feature space.
  • the selection means selects, from the plurality of training examples, two or more training examples in which the plurality of prediction results vary;
  • the information processing apparatus according to appendix 1, wherein the generating means generates the artificial example by synthesizing two or more of the selected training examples.
  • training examples with different prediction results are combined to generate artificial examples, so it is possible to generate artificial examples with high accuracy in regions where training examples are insufficient.
  • the generating means is a first generation process of synthesizing the selected training example and examples existing in the vicinity of the selected training example in a feature space; a second generation process that combines two or more of the selected training examples to generate the artificial example;
  • the information processing apparatus according to appendix 1, wherein the artificial example is generated by executing any one of:
  • either the first generation process or the second generation process is selectively used to generate artificial examples. Artificial examples can be generated.
  • the machine learning model group is repeatedly trained using the training examples to which the generated artificial examples are added, so it is possible to more accurately select training examples with varying prediction results.
  • artificial examples can be generated in areas where artificial examples are scarce.
  • the generating means is generating a plurality of said artificial examples; 5.
  • the information processing apparatus according to any one of appendices 1 to 4, wherein two artificial examples satisfying a similarity condition among the plurality of artificial examples are integrated into one artificial example.
  • Appendix 7 The method according to any one of appendices 1 to 6, wherein the generating means outputs, among the artificial examples, artificial examples in which a plurality of prediction results obtained using the group of machine learning models after training vary. Information processing equipment.
  • Appendix 8 The information processing apparatus according to any one of appendices 1 to 7, wherein the machine learning model group includes a training target machine learning model trained using the artificial example.
  • Appendix 9 The information processing apparatus according to any one of appendices 1 to 8, wherein at least two of the machine learning model groups use different machine learning algorithms.
  • Appendix 11 11. The information processing device according to any one of appendices 1 to 10, wherein at least one of the machine learning model groups is a decision tree.
  • Appendix 12 12. The information processing apparatus according to any one of appendices 1 to 11, further comprising labeling means for labeling some or all of the plurality of training examples and the artificial examples.
  • (Appendix 13) obtaining multiple training examples; training, using the plurality of training examples, a machine learning model group including a plurality of machine learning models that output prediction results using examples as input; Selecting, from among the plurality of training examples, a training example in which a plurality of prediction results obtained using the machine learning model group after training varies; synthesizing two or more training examples including the selected training example from among the plurality of training examples to generate an artificial example; Information processing method including.
  • a program for causing a computer to function as an information processing device comprising: an acquisition means for acquiring a plurality of training examples; a training means for training a machine learning model group including a plurality of machine learning models that output prediction results using examples as input, using the plurality of training examples; selection means for selecting, from among the plurality of training examples, a training example in which a plurality of prediction results obtained using the machine learning model group after training varies; generating means for generating an artificial example by synthesizing two or more training examples including the selected training example from among the plurality of training examples; A program that acts as a
  • Appendix 15 A computer-readable recording medium on which the program according to appendix 14 is recorded.
  • said processor comprising: an acquisition process for acquiring a plurality of training examples; a training process of training a machine learning model group including a plurality of machine learning models that output prediction results using examples as input, using the plurality of training examples; A selection process of selecting, from among the plurality of training examples, a training example in which a plurality of prediction results obtained using the machine learning model group after training varies; and a generation process of generating an artificial example by synthesizing two or more training examples including the selected training example from among the plurality of training examples.
  • the information processing apparatus may further include a memory, and the memory stores a program for causing the processor to execute the -process, the -process, and the -process. good too.
  • this program may be recorded in a computer-readable non-temporary tangible recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

機械学習の訓練に用いる訓練用例が不足している領域に人工用例を生成するために、情報処理装置（１０）は、複数の訓練用例を取得する取得部（１１）と、用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、複数の訓練用例を用いて訓練する訓練部（１２）と、複数の訓練用例のうち、訓練後の機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択部（１３）と、複数の訓練用例のうち、選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成部（１４）と、を備えている。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、機械学習に用いる用例を生成する技術に関する。
　機械学習モデルの推論の精度は、その機械学習モデルを構築する際に用いた訓練用例の数や内容に依存することが知られている。機械学習モデルの推論精度を向上させるために、事前に用意された訓練用例から人工用例を生成することにより、訓練用例を増強する技術が知られている。例えば非特許文献１には、サポートベクタマシン（Support Vector Machine）の決定境界に最も近いマイノリティクラスのインスタンス（訓練用例）とその近傍のマイノリティクラスのインスタンスとを合成して、マイノリティクラスの仮想インスタンスを生成することが記載されている。
Seyda Ertekin, "Adaptive Oversampling for Imbalanced Data Classification", Information Sciences and Systems 2013", proceedings of the 28th International Symposium on Computer and Information Sciences (ISCIS), pp. 261－269), 2013
　しかしながら、非特許文献１に記載の技術では、決定境界付近に仮想インスタンス（人工用例）が生成され、決定境界付近以外で訓練用例が不足している領域に人工用例が生成されない、という問題があった。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、機械学習の訓練に用いる訓練用例が不足している領域に人工用例を生成可能な技術を提供することである。
　本発明の一側面に係る情報処理装置は、複数の訓練用例を取得する取得手段と、用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練手段と、前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択手段と、前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成手段と、を備える。
　本発明の一側面に係る情報処理方法は、複数の訓練用例を取得すること、用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練すること、前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択すること、及び前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成すること、を含む。
　本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、複数の訓練用例を取得する取得手段と、用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練手段と、前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択手段と、前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成手段と、として機能させる。
　本発明の一態様によれば、機械学習の訓練に用いる訓練用例が不足している領域に人工用例を生成することができる。
本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態１に係る情報処理方法の具体例を模式的に示す図である。 本発明の例示的実施形態１により生成される人工用例を模式的に説明する図である。 本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態２に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態２に係る情報処理方法の具体例を模式的に示す図である。 本発明の例示的実施形態２に係る第１生成処理の流れを示すフロー図である。 本発明の例示的実施形態２に係る第２生成処理の流れを示すフロー図である。 本発明の例示的実施形態２に係る第３生成処理の流れを示すフロー図である。 本発明の例示的実施形態３に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態４に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態５に係る情報処理方法を模式的に説明する図である。 非特許文献１に記載の技術が生成する人工用例を模式的に説明する図である。 本発明の例示的実施形態１～５に係る情報処理装置として機能するコンピュータの構成を示すブロック図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　＜情報処理装置の構成＞
　本例示的実施形態に係る情報処理装置１０の構成について、図１を参照して説明する。図１は、情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、複数の訓練用例から、機械学習モデル群を用いて人工用例を生成する装置である。
　情報処理装置１０は、図１に示すように、取得部１１と、訓練部１２と、選択部１３と、生成部１４とを含む。取得部１１は、請求の範囲に記載した取得手段を実現する構成の一例である。訓練部１２は、請求の範囲に記載した訓練手段を実現する構成の一例である。選択部１３は、請求の範囲に記載した選択手段を実現する構成の一例である。生成部１４は、請求の範囲に記載した生成手段を実現する構成の一例である。
　取得部１１は、複数の訓練用例を取得する。訓練部１２は、用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、複数の訓練用例を用いて訓練する。選択部１３は、複数の訓練用例のうち、訓練後の機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する。生成部１４は、複数の訓練用例のうち、選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する。
　（機械学習モデル群）
　機械学習モデル群は、複数の機械学習モデルを含む。各機械学習モデルは、用例を入力として予測結果を出力する。予測結果は、例えば、複数のラベルの各々が予測される予測確率を含むものであってもよい。この場合、最も予測確率が高いラベルを、予測結果と記載する場合もある。機械学習モデルは、一例として、決定木、ニューラルネットワーク、ランダムフォレスト、又はサポートベクタマシン等の機械学習アルゴリズムを用いて生成されたモデルである。ただし、各機械学習モデルの生成に用いられる機械学習アルゴリズムは、これらに限られない。複数の機械学習モデルは、全て同一の機械学習アルゴリズムを用いて生成されたモデルであってもよい。また、複数の機械学習モデルのうち少なくとも２つが、互いに異なる機械学習アルゴリズムを用いて生成されたモデルであってもよい。機械学習モデル群は、例えば情報処理装置１０のメモリに記憶されていてもよいし、情報処理装置１０と通信可能に接続された他の装置に記憶されていてもよい。
　また、機械学習モデル群は、必ずしも全てが、「生成した人工用例を用いて訓練する訓練対象の機械学習モデル」でなくてもよい。換言すると、機械学習モデル群は、訓練対象である機械学習モデルの一部又は全部を含んでいてもよい。また、機械学習モデル群は、訓練対象である機械学習モデルを含んでいなくてもよい。訓練対象である機械学習モデルの数は複数であってもよく、また単数であってもよい。
　（用例、訓練用例、人工用例）
　用例は、各機械学習モデルに入力される情報であり、特徴量を含む。換言すると、用例は、特徴量空間に存在する。訓練用例は、機械学習モデル群の訓練に用いる用例である。訓練用例は、観測により得られる用例であってもよいし、人工的に生成された人工用例であってもよい。
　（予測結果にばらつきがある訓練用例）
　複数の予測結果にばらつきがある訓練用例とは、ばらつきの評価結果が「ばらつきが大きい」ことを示す訓練用例である。例えば、ばらつきの評価とは、複数の予測結果のばらつきが大きいか否かを評価することである。具体例として、ばらつきの評価は、投票結果のエントロピーに基づく評価であってもよい。投票結果のエントロピーについては、後述の例示的実施形態２で詳細を説明する。また、ばらつきの評価は、複数の予測結果のうち同一のラベルを示す予測結果の割合に基づく評価であってもよい。ただし、ばらつきの評価は、上述したものに限られない。以降、「複数の予測結果のばらつきが大きいと評価した訓練用例」を、「予測結果にばらつきがある訓練用例」とも記載する。また、「複数の予測結果のばらつきが大きくないと評価した訓練用例」を、「予測結果のばらつきが小さい訓練用例」とも記載する。
　＜情報処理方法の流れ＞
　本例示的実施形態に係る情報処理方法Ｓ１０の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１０の流れを示すフロー図である。図２に示すように、情報処理方法Ｓ１０は、ステップＳ１０１～Ｓ１０４を含む。
　（ステップＳ１０１）
　ステップＳ１０１（取得処理）において、取得部１１は、複数の訓練用例を取得する。例えば、取得部１１は、複数の訓練用例をメモリから読み込むことにより取得してもよい。また、例えば、取得部１１は、複数の訓練用例を、入力装置から取得してもよいし、ネットワークを介して接続された装置から取得してもよい。本ステップで取得する複数の訓練用例は、観測用例及び人工用例の一方又は両方を含んでいる。
　（ステップＳ１０２）
　ステップＳ１０２（訓練処理）において、訓練部１２は、ステップＳ１０１で取得した複数の訓練用例を用いて、機械学習モデル群を訓練する。ここで、機械学習モデル群の各々の訓練に用いる訓練用例は、ステップＳ１０１で取得した複数の訓練用例の一部であってもよいし全部であってもよい。
　（ステップＳ１０３）
　ステップＳ１０３（選択処理）において、選択部１３は、複数の訓練用例のうち、予測結果にばらつきがある訓練用例を選択する。選択部１３は、そのような訓練用例を１つ選択してもよいし、複数選択してもよい。
　具体的には、選択部１３は、複数の訓練用例のうち評価対象の訓練用例を、訓練後の各機械学習モデルに入力し、各機械学習モデルから出力される予測結果を取得する。これにより、選択部１３は、評価対象の訓練用例について複数の予測結果を得る。また、選択部１３は、得られた複数の予測結果のばらつきを評価する。選択部１３は、複数の予測結果のばらつきが大きいと評価した場合、当該訓練用例を「予測結果にばらつきがある訓練用例」として選択する。
　なお、選択部１３は、複数の訓練用例の一部又は全部を、ばらつきの評価対象とする。例えば、複数の訓練用例の一部を用いて機械学習モデル群の各々を訓練した場合、選択部１３は、複数の訓練用例の他の一部（すなわち、機械学習モデル群の訓練に用いなかった訓練用例）をそれぞれ評価対象としてもよい。
　（ステップＳ１０４）
　ステップＳ１０４（生成処理）において、生成部１４は、複数の訓練用例のうち、ステップＳ１０３で選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する。例えば、生成部１４は、選択した訓練用例と、特徴量空間においてその近傍に存在する他の訓練用例とを合成してもよい。また、例えば、生成部１４は、ステップＳ１０３において複数の訓練用例を選択した場合、選択した複数の訓練用例同士を合成してもよい。また、生成部１４は、２つの訓練用例を合成して１つの人工用例を生成してもよいし、３以上の訓練用例を合成して１つの人工用例を生成してもよい。また、生成部１４は、本ステップにおいて、１つの人工用例を生成してもよいし、複数の人工用例を生成してもよい。
　（合成処理の具体例）
　２つの訓練用例を合成して１つの人工用例を生成する場合、生成部１４が行う合成処理は、一例として、以下の（１）式で表される。
Figure JPOXMLDOC01-appb-M000001
 　式（１）において、＾ｘｖは人工用例を表し、ｘｉは、選択部１３が選択した訓練用例を表す。ｘｊは、選択部１３が選択した他の訓練用例であってもよいし、選択しなかった他の訓練用例であってもよい。選択しなかった他の訓練用例である場合、ｘｊは、ｘｉの近傍に存在する訓練用例である。λは、０≦λ≦１を満たす重み係数である。生成部１４は、一例として、係数λの値を、ランダム関数により発生させた乱数を用いて決定する。なお、生成部１４が行う合成処理は上述した手法に限られず、生成部１４は他の手法により複数の訓練用例を合成してもよい。
　＜情報処理方法の具体例＞
　情報処理方法Ｓ１０の具体例について、図３を参照して説明する。図３は、情報処理方法Ｓ１０の具体例を模式的に示す図である。
　本具体例では、ステップＳ１０１において取得部１１が取得する複数の訓練用例Ｔは、訓練用例ｔ１，ｔ２，ｔ３，…を含む。ステップＳ１０２において訓練部１２が訓練する機械学習モデル群は、機械学習モデルｍ１，ｍ２，ｍ３，…を含む。機械学習モデルｍ１，ｍ２，ｍ３，…のそれぞれは、用例が入力されると、予測結果として「Ａ」及び「Ｂ」の何れかのラベルを出力する。機械学習モデルｍ１，ｍ２，ｍ３，…のそれぞれは、訓練用例Ｔの一部又は全部を用いて訓練される。ステップＳ１０３において、選択部１３は、評価対象の訓練用例ｔ１～ｔ１０について、複数の予測結果のばらつきを評価する。図３では、実線の円は、予測結果にばらつきがある訓練用例を示し、破線の円は、予測結果のばらつきが小さい訓練用例を示す。
　具体的には、訓練用例ｔ１、ｔ２、ｔ５は、機械学習モデルｍ１，ｍ２，ｍ３，…から得られる複数の予測結果が全て「Ａ」であり、この例では、予測結果のばらつきが大きくないと評価される。訓練用例ｔ６、ｔ９、ｔ１０は、機械学習モデルｍ１，ｍ２，ｍ３，…から得られる複数の予測結果が全て「Ｂ」であり、この例では、予測結果のばらつきが大きくないと評価される。訓練用例ｔ３、ｔ４は、機械学習モデルｍ１，ｍ２，ｍ３，…から得られる複数の予測結果のうち２つが「Ａ」であり、１つが「Ｂ」であり、この例では、予測結果のばらつきが大きいと評価される。訓練用例ｔ７、ｔ８は、機械学習モデルｍ１，ｍ２，ｍ３，…から得られる複数の予測結果のうち２つが「Ｂ」であり、１つが「Ａ」であり、この例では、予測結果のばらつきが大きいと評価される。
　したがって、選択部１３は、予測結果にばらつきがある訓練用例ｔ３、ｔ４、ｔ７、ｔ８を選択する。ステップＳ１０４において、生成部１４は、予想結果にばらつきがある訓練用例ｔ３とその近傍の訓練用例ｔ５とを合成することにより、人工用例ｔ５１を生成する。また、生成部１４は、予想結果にばらつきがある訓練用例ｔ４とその近傍の訓練用例ｔ１とを合成することにより、人工用例ｔ５２を生成する。また、生成部１４は、複数の予想結果にばらつきがある訓練用例ｔ７、ｔ８同士を合成することにより、人工用例ｔ５３を生成する。図３では、二重線の円は、人工用例を示している。
　＜本例示的実施形態の効果＞
　本例示的実施形態は、複数の訓練用例を取得し、用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、複数の訓練用例を用いて訓練し、複数の訓練用例のうち、訓練後の機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択し、複数の訓練用例のうち、選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する、との構成を採用している。
　ここで、複数の予想結果にばらつきがある訓練用例は、特徴量空間において訓練用例が不足している領域にあると考えられる。そのような訓練用例を含む複数の訓練用例を合成して得られる人工用例は、訓練用例が不足している領域に生成される可能性が高い。したがって、本例示的実施形態は、訓練用例が不足している領域に人工用例を生成可能である。
　このような本例示的実施形態の効果について、図４、及び図１４を参照して説明する。図４は、本例示的実施形態が生成する人工用例を模式的に説明する図である。図１４は、非特許文献１に記載の技術が生成する人工用例を模式的に説明する図である。図４、及び図１４において、実線の円は、予測結果のばらつきが小さい訓練用例を示し、破線の円は、予測結果にばらつきがある訓練用例を示し、二重線の円は、人工用例を示す。領域Ｒ１、Ｒ２、Ｒ３は、特徴量空間における領域を示す。領域Ｒ１、Ｒ２、Ｒ３は、予測結果にばらつきがある人工用例を含んでおり、人工用例が不足している領域である。
　図１４に示すように、非特許文献１に記載の技術は、サポートベクタマシンによる決定境界Ｂの近傍である領域Ｒ１に人工用例を生成する。しかしながら、非特許文献１に記載の技術は、決定境界Ｂの近傍以外で訓練用例が不足している領域Ｒ２、Ｒ３に人工用例を生成することが難しい。
　これに対して、図４に示すように、本例示的実施形態は、予測結果にばらつきがある訓練用例を含む複数の訓練用例を合成して人工用例を生成する。したがって、本例示的実施形態は、訓練用例が不足している領域Ｒ１、Ｒ２、Ｒ３に、人工用例を生成することができる。また、本例示的実施形態は、一部の領域Ｒ１に偏って人工用例を生成することを抑制できる。
　また、本例示的実施形態は、予測結果にばらつきがある訓練用例を選択するために、機械学習モデル群を用いる、との構成を採用している。
　これにより、本例示的実施形態は、非特許文献１に記載の技術のように決定境界の近傍に人工用例を生成する場合と比較して、偏った領域に人工用例を生成することを抑制することができる。
　また、これにより、本例示的実施形態は、予測結果にばらつきがある訓練用例を選択するために予測確率を用いる場合と比較して、より訓練用例が不足している領域に人工用例を生成することができる。これは、例えば、機械学習モデル群に決定木が含まれる場合、決定木は、予測確率１で間違った予測をする可能性があるためである。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　＜情報処理装置の構成＞
　本例示的実施形態に係る情報処理装置２０の構成について、図５を参照して説明する。図５は、情報処理装置２０の構成を示すブロック図である。情報処理装置２０は、複数の用例から、機械学習モデル群ＣＯＭ０を用いて人工用例を生成する装置である。
　（機械学習モデル群）
　機械学習モデル群ＣＯＭ０は、例示的実施形態１における機械学習モデル群とほぼ同様に構成される。ただし、本例示的実施形態では、機械学習モデル群ＣＯＭ０に含まれる複数の機械学習モデルは、そのうち少なくとも２つが、互いに異なる機械学習アルゴリズムを用いて生成されたものである。
　また、機械学習モデル群ＣＯＭ０は、人工用例を用いて訓練する訓練対象である機械学習モデルを含む。また、機械学習モデル群ＣＯＭ０に含まれる機械学習モデルは、少なくとも１つが決定木である。ここでは、訓練対象である機械学習モデルが、決定木である。
　情報処理装置２０は、図５に示すように、取得部２１と、訓練部２２と、選択部２３と、生成部２４と、ラベル付与部２５と、出力部２６と、制御部２７とを含む。取得部２１は、請求の範囲に記載した取得手段を実現する構成の一例である。訓練部２２は、請求の範囲に記載した訓練手段を実現する構成の一例である。選択部２３は、請求の範囲に記載した選択手段を実現する構成の一例である。生成部２４は、請求の範囲に記載した生成手段を実現する構成の一例である。ラベル付与部２５は、請求の範囲に記載したラベル付与手段を実現する構成の一例である。出力部２６は、請求の範囲に記載した出力手段を実現する構成の一例である。
　取得部２１は、例示的実施形態１における取得部１１と同様に構成される。
　訓練部２２は、例示的実施形態１における訓練部１２とほぼ同様に構成されるが、機械学習モデル群ＣＯＭ０を複数のグループに分けて訓練する点が異なる。訓練部２２による訓練処理の詳細については後述する。
　選択部２３は、例示的実施形態１における選択部２３とほぼ同様に構成されるが、予測結果のばらつきの評価対象とする訓練用例の詳細が異なる。評価対象とする訓練用例の詳細については後述する。
　生成部２４は、選択部２３が選択した訓練用例と、特徴量空間において選択した訓練用例の近傍に存在する用例とを合成して人工用例を生成する。生成部２４は、一例として、上記式（１）により２つの訓練用例を合成して人工用例を生成する。
　ラベル付与部２５は、複数の訓練用例及び人工用例の一部又は全部にラベルを付与する。ラベル付与部２５は、一例として、ユーザ操作を受け付ける入力装置から出力される情報に基づきラベルを付与してもよい。また、一例として、ラベル付与部２５は、用例を入力としてラベルを出力するよう訓練された機械学習モデルに、訓練用例および人工用例を入力することにより得られるラベルを付与してもよい。この場合、ラベルを出力する機械学習モデルは、機械学習モデル群ＣＯＭ０に含まれる各機械学習モデルとは異なる機械学習モデルである。また、ラベルを出力する機械学習モデルは、機械学習モデル群に含まれる少なくとも１つの機械学習モデルより予測精度の高いモデルであることが望ましい。例えば、機械学習モデル群に含まれる、訓練対象の機械学習モデルが決定木であれば、ラベルを出力する機械学習モデルは、ランダムフォレストであってもよい。
　出力部２６は、生成部２４が生成した人工用例を出力する。出力部２６は一例として、生成部２４が生成した人工用例を、外部記憶装置等の記録媒体に格納してもよい。また、出力部２６は一例として、表示装置等の出力装置に人工用例を出力してもよい。
　制御部２７は、情報処理装置２０の各部を制御する。本例示的実施形態において制御部２７は特に、生成部２４が生成した人工用例を複数の訓練用例に追加して、取得部２１、訓練部２２、選択部２３、および生成部２４を再度機能させる。
　＜情報処理方法の流れ＞
　本例示的実施形態に係る情報処理方法Ｓ２０の流れについて、図６を参照して説明する。図６は、情報処理方法Ｓ２０の流れを示すフロー図である。
　（ステップＳ２０１）
　ステップＳ２０１（取得処理）において、取得部１１は、複数の訓練用例を取得する。取得する複数の訓練用例は、観測により得られた用例を含んでいてもよいし、人工用例を含んでいてもよい。
　（ステップＳ２０２）
　ステップＳ２０２において、ラベル付与部２５は、取得部２１が取得した複数の訓練用例の各々にラベルを付与する。
　（ステップＳ２０３）
　ステップＳ２０３（訓練処理）において、訓練部２２は、取得部２１が取得した複数の訓練用例の一部または全部を用いて、複数の機械学習モデル群の各々を訓練する。機械学習モデル群の各々を訓練する訓練処理の詳細については後述する。
　（ステップＳ２０４）
　ステップＳ２０４（選択処理）において、選択部２３は、取得部２１が取得した複数の訓練用例のうち、予測結果にばらつきがある訓練用例を１つ以上選択する。選択部２３が行う選択処理については後述する。予測結果にばらつきがある訓練用例を選択する処理の詳細については後述する。
　（ステップＳ２０５）
　ステップＳ２０５（生成処理）において、生成部２４は、選択部２３が選択した訓練用例を含む複数の訓練用例を、合成対象として特定する。また、生成部２４は、合成対象として特定した複数の訓練用例を合成して人工用例を生成する。生成部２４が行う生成処理の詳細については後述する。
　（ステップＳ２０６）
　ステップＳ２０６において、ラベル付与部２５は、生成部２４が生成した人工用例の各々にラベルを付与する。ステップＳ２０７において、制御部２７は、訓練処理を終了するかを判定する。制御部２７は、一例として、ステップＳ２０３～Ｓ２０６の処理を実行した回数が所定の閾値以上である場合、訓練処理を終了すると判定する。一方、ステップＳ２０３～Ｓ２０６の処理を実行した回数が所定の閾値未満である場合、訓練処理を終了しないと判定する。訓練処理を終了しない場合（ステップＳ２０７にてＮＯ）、制御部２７はステップＳ２０８の処理に進む。一方、訓練処理を終了する場合（ステップＳ２０７にてＹＥＳ）、制御部２７はステップＳ２０９の処理に進む。
　（ステップＳ２０８）
　ステップＳ２０８において、制御部２７は、これまでに実行したステップＳ２０６で生成された１以上の人工用例を複数の訓練用例に追加する。ステップＳ２０８の処理を終えると、制御部２７は、ステップＳ２０３の処理に戻る。換言すると、制御部２７は、人工用例を複数の訓練用例に追加して、取得部２１、訓練部２２、選択部２３、および生成部２４を再度機能させる。
　（ステップＳ２０９）
　ステップＳ２０９において、出力部２６は、これまでに実行したステップＳ２０６で生成された１以上の人工用例を出力する。
　＜訓練対象の機械学習モデルの訓練＞
　このようにして情報処理方法Ｓ２０を用いて生成された１つ以上の人工用例は、訓練対象の機械学習モデルを訓練するために用いられる。訓練対象の機械学習モデルを訓練する処理は、例えば、訓練部２２が実行してもよい。
　（訓練処理、選択処理の具体例）
　ステップＳ２０３～Ｓ２０４における訓練処理及び選択処理の具体例について、図７を参照して説明する。図７は、情報処理方法Ｓ２０の具体例を模式的に示す図である。
　図７に示すように、ステップＳ２０３において、訓練部２２は、機械学習モデル群ＣＯＭ０を、複数のグループＣＯＭｉ（ｉ＝１，２，…，Ｍ、Ｍは２以上の整数）に分割して訓練を行う。以降、分割した各グループを、機械学習モデル群ＣＯＭｉと記載する。また、機械学習モデル群ＣＯＭｉには、複数の機械学習モデルｍｉ－ｊ（ｊ＝１，２，…）が含まれる。以降、機械学習モデル群ＣＯＭｉに含まれる複数の機械学習モデルを、機械学習モデルｍｉ－ｊと記載する。機械学習モデル群ＣＯＭｉに含まれる複数の機械学習モデルｍｉ－ｊは、全てが同一の機械学習アルゴリズムにより生成されたモデルであってもよいし、そのうち少なくとも２つが互いに異なる機械学習アルゴリズムにより生成されたモデルであってもよい。また、機械学習モデル群ＣＯＭｉ１に含まれる機械学習モデルｍｉ１－ｊの個数は、機械学習モデル群ＣＯＭｉ２に含まれる機械学習モデルｍｉ２－ｊの個数と同一であってもよいし、異なっていてもよい（ｉ１＝１，２，…，Ｍ、ｉ２＝１，２，…，Ｍ、ｉ１≠ｉ２）。
　ステップＳ２０３において、訓練部２２は、ステップＳ２０１において取得部２１が取得した訓練用例群Ｔから、訓練用例群Ｄｉを抽出する。訓練用例群Ｄｉは、訓練用例群Ｔの一部である。例えば、訓練部２２は、ランダムサンプリングにより訓練用例群Ｄｉを抽出してもよい。訓練用例群Ｄｉ１とＤｉ２とは、含まれる訓練用例が全て同一であってもよいし、一部または全部が異なっていてもよい。訓練部２２は、訓練用例群Ｄｉを用いて、機械学習モデル群ＣＯＭｉに含まれる各機械学習モデルｍｉ－ｊを訓練することを、ｉ＝１，２，…，Ｍについて繰り返す。
　ステップＳ２０４において、選択部２３は、機械学習モデル群ＣＯＭｉを用いて、予測結果にばらつきがある訓練用例を選択することを、ｉ＝１，２，…，Ｍについて繰り返す。。具体的には、選択部２３は、機械学習モデル群ＣＯＭｉの訓練に用いなかった各訓練用例（すなわち、訓練用例群Ｔのうち訓練用例群Ｄｉ以外）について、予測結果のばらつきを評価する。これにより、選択部２３は、このような評価対象の訓練用例のうち、予測結果予測結果にばらつきがある訓練用例を選択する。図７の例では、選択部２３は、機械学習モデル群ＣＯＭ１を用いて、予測結果にばらつきがある訓練用例ｔ１，ｔ２，…を選択している。また、選択部２３は、機械学習モデル群ＣＯＭ２を用いて、予測結果にばらつきがある訓練用例ｔ１１，ｔ１２，…を選択している。
　選択部２３は例えば、評価対象の各訓練用例について、ＱＢＣ（query by committee）の手法における投票結果のエントロピー（ｖｏｔｅ　ｅｎｔｒｏｐｙ）の指標を用いて、ばらつきの評価を行う。例えば、以下の式（２）は、投票結果のエントロピーが最大である訓練用例＾ｘを示す式である。
Figure JPOXMLDOC01-appb-M000002
 　式（２）において、Ｃは、機械学習モデル群ＣＯＭｉにおける機械学習モデルｍｉ－ｊの総数を示す。Ｖ（ｙ）は、機械学習モデル群ＣＯＭｉにおいてラベルｙを予測した機械学習モデルｍｉ－ｊの数を示す。選択部２３は、式（２）が示す訓練用例＾ｘを、予測結果にばらつきがある訓練用例として選択してもよい。この場合、各機械学習モデル群ＣＯＭｉについて選択部２３が選択する、予測結果にばらつきがある訓練用例の数は１つである。換言すると、この場合、選択部２３は、Ｍ個の機械学習モデル群ＣＯＭｉを用いて、予測結果にばらつきがある訓練用例をＭ個選択する。また、選択部２３は、各機械学習モデル群ＣＯＭｉについて、投票結果のエントロピーが大きい順に所定数の訓練用例を選択してもよいし、投票結果のエントロピーが閾値以上の訓練用例を選択してもよい。この場合、各機械学習モデル群ＣＯＭｉについて選択部２３が選択する、予測結果にばらつきがある訓練用例の数は複数でありうる。換言すると、この場合、選択部２３は、Ｍ個の機械学習モデル群ＣＯＭｉを用いて、予測結果にばらつきがある訓練用例をＭ個以上選択する。さらに、選択部２３は、このようにして選択した、予測結果にばらつきがあるＭ個以上の訓練用例の中から、ランダムに１つ又は所定数を選択してもよいし、投票結果のエントロピーが大きい順に１つ又は所定数を選択してもよい。
　（生成処理の具体例）
　ステップＳ２０５における生成処理の具体例について説明する。ステップＳ２０５において、生成部２４は、予測結果にばらつきがある訓練用例を用いて、第１生成処理Ｓ３０、第２生成処理Ｓ４０、及び第３生成処理Ｓ５０の何れかを実行することにより、人工用例を生成する。第１生成処理Ｓ３０は、予測結果にばらつきがある訓練用例とその近傍の訓練用例とを合成して人工用例を生成する処理である。第２生成処理は、予測結果にばらつきがある２つ以上の訓練用例を合成して人工用例を生成する処理である。第３生成処理は、第１生成処理及び第２生成処理の何れかを選択的に実行する処理である。
　（第１生成処理）
　第１生成処理Ｓ３０について、図８を参照して説明する。図８は、第１生成処理Ｓ３０の流れを示すフロー図である。図８において、第１生成処理Ｓ３０は、ステップＳ３０１～Ｓ３０２を含む。ここで、先行して実施されたステップＳ２０４では、予測結果にばらつきがある１または複数の訓練用例が選択されている。生成部２４は、予測結果にばらつきがある１または複数の訓練用例のそれぞれ（以下では、当該訓練用例と記載）について、以下のステップＳ３０１～Ｓ３０２を実行する。
　（ステップＳ３０１）
　ステップＳ３０１において、生成部２４は、当該訓練用例の近傍の訓練用例を選択する。近傍の訓練用例は、予測結果にばらつきがある訓練用例であってもよいし、予測結果のばらつきが小さい訓練用例であってもよい。例えば、近傍の訓練用例は、訓練用例群Ｔのうち、当該訓練用例との特徴量空間における距離が最も近い訓練用例であってもよい。また、例えば、近傍の訓練用例は、訓練用例群Ｔのうち、当該訓練用例との特徴量空間における距離が閾値以下の訓練用例であってもよい。
　（ステップＳ３０２）
　ステップＳ３０２において、生成部２４は、当該訓練用例と、ステップＳ３０１で選択した近傍の訓練用例とを合成して人工用例を生成する。例えば、図７の例では、予測結果にばらつきがある訓練用例ｔ１とその近傍の訓練用例とを合成して人工用例ｔｖ１－１が生成される。また、予測結果にばらつきがある訓練用例ｔ２とその近傍の訓練用例とを合成して人工用例ｔｖ１－２が生成される。
　ここで、生成部２４は、合成処理の一例として、上記式（１）を用いてもよい。また、生成部２４は、合成処理の他の例として、ＭＵＮＧＥ（参考文献１参照）、ＳＭＯＴＥ（参考文献２参照）等の公知の技術を用いてもよい。
　［参考文献１］　Bucilua, C., Caruana, R. and Niculescu-Mizil, A., “Model Compression”, Proc. ACM SIGKDD, pp. 535-541 (2006)
　［参考文献２］　Chawla, N. V., Bowyer, K. W., Hall, L. O., and Kegelmeyer, W. P., “SMOTE: Synthetic minority over-sampling technique”, Journal of Artificial Intelligent Research, 16, 321-357 (2002).
　（第２生成処理）
　第２生成処理Ｓ４０について、図９を参照して説明する。図９は、第２生成処理Ｓ４０の流れを説明するフロー図である。図９に示すように、第２生成処理Ｓ４０は、ステップＳ４０１～Ｓ４０２を含む。なお、第２生成処理は、ステップＳ２０４において、予測結果にばらつきがある訓練用例が複数選択されている場合に実行可能である。生成部２４は、生成部２４は、予測結果にばらつきがある複数の訓練用例のそれぞれ（以下、当該訓練用例と記載）について、以下のステップＳ４０１～Ｓ４０２を実行する。
　（ステップＳ４０１）
　ステップＳ４０１において、選択部２３は、予測結果にばらつきがある複数の訓練用例のうち、当該訓練用例とは異なる他の訓練用例を選択する。換言すると、選択部２３は、複数の訓練用例のうち、複数の予測結果にばらつきがある２つ以上の訓練用例を選択する。例えば、選択部２３は、そのような他の訓練用例を、予測結果にばらつきがある複数の訓練用例からランダムに選択してもよい。また、例えば、選択部２３は、そのような他の訓練用例として、予測結果にばらつきがある複数の訓練用例のうち当該訓練用例との特徴量空間における距離が最も小さいもの、又は距離が閾値以下のものを選択してもよい。なお、当該訓練用例が、既に合成に用いられている場合、当該訓練用例に関するステップＳ４０１～Ｓ４０２の処理は、実行されなくてもよい。
　（ステップＳ４０２）
　ステップＳ４０２において、生成部２４は、当該訓練用例と、ステップＳ４０１で選択した他の訓練用例とを合成して人工用例を生成する。例えば、図７の例では、予測結果にばらつきがある訓練用例ｔ１１及びｔ１２を合成して人工用例ｔｖ２－１が生成される。ここで、生成部２４が合成する２以上の訓練用例は、この例のように、同一の機械学習モデル群ＣＯＭｉを用いて選択したものであってもよいし、そのうち少なくとも１つが他とは異なる機械学習モデル群ＣＯＭｉを用いて選択したものであってもよい。例えば、図７の例では、生成部２４は、予測結果にばらつきのある訓練用例ｔ１、ｔ２、…、ｔ１１、ｔ１２、…の中から２つ以上の訓練用例を選択し、選択した訓練用例を合成して人工用例ｔｖ１－１、ｔｖ１－２、ｔｖ２－１、又はｔｖ２－２を生成してもよい。なお、ステップＳ４０２における合成処理に用いる手法については、ステップＳ３０２で説明した通りであるため、詳細な説明を繰り返さない。
　（第３生成処理）
　第３生成処理について、図１０を参照して説明する。図１０は、第３生成処理Ｓ５０の流れを説明するフロー図である。図１０において、第３生成処理Ｓ５０は、ステップＳ５０１～Ｓ５０３を含む。ここで、ステップＳ２０４では、予測結果にばらつきがある１または複数の訓練用例が選択されている。生成部２４は、予測結果にばらつきがある１または複数の訓練用例のそれぞれ（以下では、当該訓練用例と記載）について、以下のステップＳ５０１～Ｓ５０３を実行する。
　（ステップＳ５０１）
　ステップＳ５０１において、生成部２４は、第１生成処理及び第２生成処理の何れかを選択する。例えば、生成部２４は、ランダム関数により決定した確率ｐを用いて第１生成処理を選択し、第１生成処理を選択しなかった場合に第２生成処理を選択してもよい。なお、第１生成処理及び第２生成処理の何れかを選択する手法は、確率ｐを用いる手法に限らず、他の手法であってもよい。
　（ステップＳ５０２～Ｓ５０４）
　ステップＳ５０２において、生成部２４は、いずれを選択したかを判定する。第１生成処理を選択した場合、生成部２４はステップＳ５０３の処理に進み、第１生成処理を実行する。一方、第２生成処理を選択した場合、生成部２４はステップＳ５０４の処理に進み、第２生成処理を実行する。第１生成処理及び第２生成処理の詳細については、上述した通りである。
　＜本例示的実施形態の効果＞
　本例示的実施形態は、予測結果にばらつきがある訓練用例と、その近傍にある訓令用例とを合成して人工用例を生成する第１生成処理を実行する、との構成を有する。
　ここで、第１生成処理により生成される人工用例は、予測結果にばらつきがある訓練用例の近傍に生成される。予測結果にばらつきがある訓練用例は、特徴量空間において訓練用例が不足している領域であると考えられる。したがって、このような人工用例は、訓練用例が不足している領域に生成される。
　また、本例示的実施形態は、予測結果にばらつきがある２つ以上の訓練用例を合成して人工用例を生成する第２生成処理を実行する、との構成を有する。
　ここで、第２生成処理により生成される人工用例は、訓練用例が不足している領域にある訓練用例同士が合成されたものである。したがって、このような人工用例が存在する領域も、訓練用例が不足している可能性が高い。
　また、本例示的実施形態は、第１生成処理と、第２生成処理との何れかを選択して実行することにより人工用例を生成する第３生成処理を実行する、との構成を有する。
　ここで、例えば、第３生成処理により生成される人工用例は、第１生成処理又は第２生成処理により生成される。第１生成処理により人工用例が生成される領域と、第２生成処理により人工用例が生成される領域とは、異なり得る。したがって、第３生成処理により複数の人工用例を生成する場合、これらの人工用例は、訓練用例が不足しているより多様な領域に分散して生成される可能性が高くなる。
　その結果、本例示的実施形態は、第１生成処理、第２生成処理、及び第３生成処理の何れかを実行することにより、訓練用例が十分である領域に偏って過剰に人工用例を生成することがなく、訓練用例がより不足している領域に人工用例を生成することができる。
　また、本例示的実施形態は、機械学習モデル群が、訓練対象の機械学習モデルを含んでいる。これにより、本例示的実施形態は、訓練対象の機械学習モデルの精度向上により効果的な人工用例を生成することができる。
　また、本例示的実施形態は、機械学習モデル群のうち少なくとも２つが、互いに異なる機械学習アルゴリズムにより生成されるモデルである、との構成を採用している。
　これにより、予測結果にばらつきがある訓練用例をより精度よく選択することができる。
　また、本例示的実施形態は、訓練対象の機械学習モデルが決定木であり、サポートベクタマシンではない。また、本例示的実施形態は、そのような訓練対象の機械学習モデルが機械学習モデル群ＣＯＭ０に含まれている。したがって、サポートベクタマシンの決定境界近傍に人工用例を生成する非特許文献１に記載の技術と比較して、本例示的実施形態は、訓練対象の機械学習モデルの精度向上により効果的な人工用例を生成することができる。
　〔例示的実施形態３〕
　本発明の例示的実施形態３について、図面を参照して詳細に説明する。なお、例示的実施形態２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記してその説明を繰り返さない。本例示的実施形態は、例示的実施形態２における生成部２４を次のように変形した形態である。
　＜生成部の構成＞
　本例示的実施形態において、生成部２４は、複数の人工用例を生成する。また、生成部２４は、生成した複数の人工用例のうち、類似条件を満たす２つの人工用例を１つの人工用例に統合する。ここで、類似条件とは、用例が類似することを示す条件である。類似条件は、例えばコサイン類似度が閾値以上であることであってもよいし、特徴量空間における距離が閾値以下であることであってもよい。ただし、類似条件はこれらに限られない。統合する処理の詳細については後述する。
　＜情報処理方法の流れ＞
　本例示的実施形態における情報処理方法Ｓ２０Ａについて、図１１を参照して説明する。図１１は、例示的実施形態３に係る情報処理方法Ｓ２０Ａの流れを説明するフロー図である。図１１に示す情報処理方法Ｓ２０Ａは、例示的実施形態２に係る情報処理方法Ｓ２０とほぼ同様に構成されるが、ステップＳ２０５Ａをさらに含む点が異なる。
　（ステップＳ２０５Ａ）
　ステップＳ２０５Ａにおいて、生成部２４は、ステップＳ２０５において生成した人工用例のうち、類似する２つの人工用例を統合する。具体的には、生成部２４は、今回のステップＳ２０５において生成した人工用例と、前回までのステップＳ２０５において生成した人工用例の何れかとが類似条件を満たすか否かを判定する。類似条件を満たすと判定した場合、生成部２４は、類似条件を満たす２つの人工用例を統合する。
　（統合処理の具体例）
　統合処理の一例として、２つの人工用例を合成する処理が挙げられる。この場合、生成部２４は、２つの人工用例を合成して１つの人工用例を生成し、類似条件を満たした元の２つの人工用例を削除する。また、統合処理の他の例として、２つの人工用例のうち一方を削除する処理が挙げられる。なお、統合処理は、類似条件を満たす２つの人工用例の代わりに、当該２つの人工用例を参照して生成した１つの人工用例を採用する処理であればよく、上述した処理に限られない。なお、人工用例を削除するとは、ステップＳ２０６でラベルを付与する対象、及びステップＳ２０８で訓練用例に追加する対象から削除することである。これにより、統合された人工用例に対して、ラベルが付与されるとともに訓練用例に追加される。
　＜本例示的実施形態の効果＞
　本例示的実施形態においては、生成部が、複数の人工用例を生成し、生成した複数の人工用例のうち、類似条件を満たす２つの人工用例を１つの人工用例に統合する、との構成が採用されている。
　ここで、訓練用例が不足している領域に存在する複数の用例が類似する場合、それらの用例を用いて機械学習モデルを訓練することは、機械学習モデルの精度向上において効率的ではない。したがって、本例示的実施形態は、類似条件を満たす人工用例を統合することにより、訓練用例が不足している領域に、より効率的に機械学習モデルの精度を向上させることができる人工用例を生成することができる。
　〔例示的実施形態４〕
　本発明の例示的実施形態４について、図面を参照して詳細に説明する。なお、例示的実施形態２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記してその説明を繰り返さない。本例示的実施形態は、例示的実施形態２における生成部２４を次のように変形した形態である。
　＜生成部の構成＞
　本例示的実施形態において、生成部２４は、生成した人工用例のうち、訓練後の機械学習モデル群ＣＯＭ０を用いて得られる複数の予測結果にばらつきがある人工用例を出力する。ここで、ばらつきがある人工用例は、ばらつきの評価結果が「ばらつきが大きい」ことを示す人工用例である。ばらつきの評価の詳細については、上述した通りであるため、詳細を繰り返さない。換言すると、生成部２４は、生成した人工用例のばらつきを、訓練後の機械学習モデル群ＣＯＭ０を用いて事後評価し、事後評価により予測結果にばらつきがある人工用例を採用する。
　＜情報処理方法の流れ＞
　本例示的実施形態における情報処理方法Ｓ２０Ｂについて、図１２を参照して説明する。図１２は、例示的実施形態４に係る情報処理方法Ｓ２０Ｂの流れを説明するフロー図である。図１２に示す情報処理方法Ｓ２０Ｂは、例示的実施形態２に係る情報処理方法Ｓ２０とほぼ同様に構成されるが、ステップＳ２０５Ｂをさらに含む点が異なる。
　（ステップＳ２０５Ｂ）
　ステップＳ２０５Ｂにおいて、生成部２４は、ステップＳ２０５において生成した人工用例を事後評価する。
　具体的には、生成部２４は、当該人工用例について、機械学習モデル群ＣＯＭ０を用いて予測結果のばらつきを評価する。例えば、図７に示した例では、生成部２４は、人工用例ｔｖ１－１について、機械学習モデル群ＣＯＭ１を用いて予測結果のばらつきを評価する。このように、ばらつきの評価に用いる機械学習モデル群ＣＯＭ１は、当該人工用例ｔｖ１－１を生成するために参照した訓練用例ｔ１の評価に用いたものであることが望ましい。機械学習モデル群ＣＯＭ０を用いて予測結果のばらつきを評価する処理の詳細については、例示的実施形態２において説明した通りである。
　生成部２４は、ステップＳ２０５において生成した人工用例について、予測結果のばらつきが大きくないと評価した場合には、当該人工用例を削除する。ここで、人工用例を削除するとは、ステップＳ２０６でラベルを付与する対象、及びステップＳ２０８で訓練用例に追加する対象から削除することである。これにより、予測結果にばらつきがある人工用例に対してラベルが付与されるとともに、訓練用例に追加される。
　＜本例示的実施形態の効果＞
　本例示的実施形態においては、生成部が、生成した人工用例のうち、訓練後の機械学習モデル群を用いて得られる複数の予測結果にばらつきがある人工用例を出力する、との構成が採用されている。
　ここで、予測結果にばらつきがある訓練用例を含む複数の訓練用例を合成して得られた人工用例は、必ずしも予測結果にばらつきがあるとは限らない。換言すると、このようにして生成した人工用例は、予測結果のばらつきが小さい可能性がある。予測結果のばらつきが小さい訓練用例を用いて機械学習モデルを訓練することは、機械学習モデルの精度向上において効率的ではない。したがって、本例示的実施形態は、生成した人工用例を事後評価することにより、訓練用例が不足している領域に、より効率的に機械学習モデルの精度を向上させることができる人工用例を生成することができる。
　〔例示的実施形態５〕
　本発明の例示的実施形態５について、図面を参照して詳細に説明する。なお、例示的実施形態２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記してその説明を繰り返さない。
　本例示的実施形態は、例示的実施形態２における機械学習モデル群ＣＯＭ０の構成、及び情報処理方法Ｓ２０におけるステップＳ２０３～Ｓ２０４を次のように変形した形態である。本例示的実施形態について、図１３を参照して説明する。図１３は、本例示的実施形態に係る情報処理方法を模式的に説明する図である。
　（機械学習モデル群）
　図１３に示すように、本例示的実施形態では、機械学習モデル群ＣＯＭ０は、機械学習モデルｍｊ（ｊ＝１，２，…，Ｍ）を含む。各機械学習モデルｍｊは、同一の機械学習アルゴリズムによって生成されるモデルである。例えば、各機械学習モデルｍｊは、決定木であってもよい。
　（ステップＳ２０３）
　本例示的実施形態のステップＳ２０３において、訓練部２２は、ステップＳ２０１で取得部２１が取得した訓練用例群Ｔから、訓練用例群Ｄｊを抽出する。訓練用例群Ｄｊは、訓練用例群Ｔの一部である。例えば、訓練部２２は、ランダムサンプリングにより訓練用例群Ｄｊを抽出してもよい。訓練部２２は、訓練用例群Ｄｉを用いて、機械学習モデルｍｊを訓練することを、ｊ＝１，２，…，Ｍについて繰り返す。
　ここで、訓練用例群Ｄｊ１とＤｊ２とは、含まれる訓練用例が全て同一であってもよいが、一部または全部が異なることが望ましい（ｊ１＝１，２，…，Ｍ、ｊ２＝１，２，…，Ｍ、ｊ１≠ｊ２）。少なくとも一部が異なる訓練用例群Ｄｊ１とＤｊ２とをそれぞれ用いることにより、機械学習モデル群ｍｊ１及びｍｊ２は、それぞれを構成するパラメータが互いに異なるように訓練される。
　（ステップＳ２０４）
　本例示的実施形態のステップＳ２０４において、選択部２３は、機械学習モデル群ＣＯＭ０を用いて、訓練用例群Ｔに含まれる各訓練用例について、予測結果のばらつきを評価する。また、選択部２３は、予測結果にばらつきがある訓練用例を選択する。図１３の例では、選択部２３は、機械学習モデル群ＣＯＭ０を用いて、予測結果にばらつきがある訓練用例ｔ１，ｔ３，…を選択している。
　ステップＳ２０５の処理は、例示的実施形態２で説明した通りである。すなわち、図１３の例では、予測結果にばらつきがある訓練用例ｔ１、ｔ２、…の各々について、第１生成処理、第２生成処理、及び第３生成処理の何れかが実行される。これにより、人工用例ｔｖ１、ｔｖ２、…が生成される。
　＜本例示的実施形態の効果＞
　本例示的実施形態は、機械学習モデル群を構成する機械学習モデルとして、全て同一の機械学習アルゴリズムによって生成されたモデルを用い、取得した訓練用例群の中から予測結果にばらつきがある訓練用例を選択する、との構成を採用している。
　これにより、本例示的実施形態は、取得した訓練用例群の全てに亘って訓練用例が不足している領域に、人工用例を生成することができる。
　また、本例示定期実施形態は、機械学習モデル群に含まれる機械学習が全て決定木である場合、当該機械学習モデルの精度向上により効果的な人工用例を生成することができる。その理由について説明する。決定木は、訓練用例の小さな変更に対して期の構造が大きく変化しうる。そのため、複数の決定木を含む機械学習モデル群を用いることにより、予測結果にばらつきがある訓練用例をより精度よく選択することができるためである。
　〔ソフトウェアによる実現例〕
　情報処理装置１０，２０の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１０，２０は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１５に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１０，２０として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１０，２０の各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　複数の訓練用例を取得する取得手段と、
　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練手段と、
　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択手段と、
　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成手段と、
を備えた情報処理装置。
　上記構成により、予測結果にばらつきがある訓練用例を用いて人工用例を生成するので、決定境界の近傍のように偏った領域に人工用例を生成することがなく、訓練用例が不足する領域に精度よく人工用例を生成することができる。
　（付記２）
　前記生成手段は、前記選択した訓練用例と、特徴量空間において前記選択した訓練用例の近傍に存在する用例とを合成して前記人工用例を生成する、付記１に記載の情報処理装置。
　上記構成により、予測結果にばらつきがある訓練用例の近傍に人工用例を生成するので、訓練用例が不足する領域に精度よく人工用例を生成することができる。
　（付記３）
　前記選択手段は、前記複数の訓練用例のうち、２つ以上の前記複数の予測結果にばらつきがある訓練用例を選択し、
　前記生成手段は、２つ以上の前記選択した訓練用例を合成して前記人工用例を生成する、付記１に記載の情報処理装置。
　上記構成により、予測結果にばらつきがある訓練用例同士を合成して人工用例を生成するので、訓練用例が不足する領域に精度よく人工用例を生成することができる。
　（付記４）
　前記生成手段は、
　　前記選択した訓練用例と、特徴量空間において前記選択した訓練用例の近傍に存在する用例とを合成する第１生成処理と、
　　２つ以上の前記選択した訓練用例を合成して前記人工用例を生成する第２生成処理と、
　　の何れかを実行することにより前記人工用例を生成する、付記１に記載の情報処理装置。
　上記構成により、第１生成処理及び第２生成処理の何れかを選択的に用いて人工用例を生成するので、複数の人工用例を生成する場合には、訓練用例が不足するより多様な領域に人工用例を生成することができる。
　（付記５）
　前記人工用例を前記複数の訓練用例に追加して、前記取得手段、前記訓練手段、前記選択手段、及び前記生成手段を再度機能させる、付記１から４の何れか１つに記載の情報処理装置。
　上記構成により、生成した人工用例を加えた訓練用例を用いて機械学習モデル群を訓練することを繰り返すので、予測結果にばらつきがある訓練用例をより精度よく選択することができる。その結果、人工用例がより不足している領域に人工用例を生成することができる。
　（付記６）
　　前記生成手段は、
　　複数の前記人工用例を生成し、
　　複数の前記人工用例のうち類似条件を満たす２つの人工用例を１つの人工用例に統合する、付記１から４の何れか１つに記載の情報処理装置。
　上記構成により統合した人工用例を用いて機械学習モデルを訓練する場合、既に用いた人工用例に類似する人工用例を用いて訓練することを避けられる。したがって、より効率的に機械学習モデルの精度を向上させることができる人工用例を生成することができる。
　（付記７）
　前記生成手段は、前記人工用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある人工用例を出力する、付記１から６の何れか１つに記載の情報処理装置。
　上記構成により出力した人工用例を用いて機械学習モデルを訓練する場合、予測結果のばらつきが小さい人工用例を用いて訓練することを避けられる。したがって、より効率的に機械学習モデルの精度を向上させることができる人工用例を生成することができる。
　（付記８）
　前記機械学習モデル群は、前記人工用例を用いて訓練する訓練対象の機械学習モデルを含む、付記１から７の何れか１つに記載の情報処理装置。
　上記構成により、生成した人工用例を用いて訓練対象の機械学習モデルを訓練すれば、より効果的に訓練対象の機械学習モデルの精度を向上させることができる。
　（付記９）
　前記機械学習モデル群のうち少なくとも２つは、互いに異なる機械学習アルゴリズムを用いる、付記１から８の何れか１つに記載の情報処理装置。
　上記構成により、予測結果にばらつきがあるより多様な訓練用例を選択することができる。
　（付記１０）
　前記機械学習モデル群のそれぞれは、同一の機械学習アルゴリズムを用いる、付記１から８の何れか１つに記載の情報処理装置。
　上記構成により、予測結果にばらつきがある訓練用例をより精度よく選択することができる。
　（付記１１）
　前記機械学習モデル群のうち少なくとも１つは決定木である、付記１から１０の何れか１つに記載の情報処理装置。
　上記構成により、決定木の精度をより効果的に向上させることができる人工用例を生成することができる。
　（付記１２）
　前記複数の訓練用例及び前記人工用例の一部又は全部にラベルを付与するラベル付与手段をさらに備える、付記１から１１の何れか１つに記載の情報処理装置。
　上記構成により、用例にラベルが付与されていることを前提する訓練手法を用いて、機械学習モデル群又は訓練対象の機械学習モデルを訓練することができる。
　（付記１３）
　複数の訓練用例を取得すること、
　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練すること、
　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択すること、及び、
　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成すること、
を含む情報処理方法。
　上記構成により、付記１と同様の効果を奏する。
　（付記１４）
　コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
　複数の訓練用例を取得する取得手段と、
　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練手段と、
　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択手段と、
　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成手段と、
として機能させるプログラム。
　上記構成により、付記１と同様の効果を奏する。
　（付記１５）
　付記１４に記載のプログラムが記録された、コンピュータ読み取り可能な記録媒体。
　上記の構成によれば、付記１と同様の効果を奏する。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　少なくとも１つのプロセッサを備え、前記プロセッサは、
　複数の訓練用例を取得する取得処理と、
　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練処理と、
　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択処理と、
　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成処理と、を実行する情報処理装置。
　なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記～処理と、前記～処理と、前記～処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
１０、２０　情報処理装置
１１、２１　取得部
１２、２２　訓練部
１３、２３　選択部
１４、２４　生成部
２５　ラベル付与部
２６　出力部
２７　制御部

 

Claims (14)

  1. 　複数の訓練用例を取得する取得手段と、
    　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練手段と、
    　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択手段と、
    　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成手段と、
    を備えた情報処理装置。
  2. 　前記生成手段は、前記選択した訓練用例と、特徴量空間において前記選択した訓練用例の近傍に存在する用例とを合成して前記人工用例を生成する、請求項１に記載の情報処理装置。
  3. 　前記選択手段は、前記複数の訓練用例のうち、２つ以上の前記複数の予測結果にばらつきがある訓練用例を選択し、
    　前記生成手段は、２つ以上の前記選択した訓練用例を合成して前記人工用例を生成する、請求項１に記載の情報処理装置。
  4. 　前記生成手段は、
    　　前記選択した訓練用例と、特徴量空間において前記選択した訓練用例の近傍に存在する用例とを合成する第１生成処理と、
    　　２つ以上の前記選択した訓練用例を合成して前記人工用例を生成する第２生成処理と、
    　　の何れかを実行することにより前記人工用例を生成する、請求項１に記載の情報処理装置。
  5. 　前記人工用例を前記複数の訓練用例に追加して、前記取得手段、前記訓練手段、前記選択手段、及び前記生成手段を再度機能させる、請求項１から４の何れか１項に記載の情報処理装置。
  6. 　前記生成手段は、
    　　複数の前記人工用例を生成し、
    　　複数の前記人工用例のうち類似条件を満たす２つの人工用例を１つの人工用例に統合する、請求項１から４の何れか１項に記載の情報処理装置。
  7. 　前記生成手段は、前記人工用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある人工用例を出力する、請求項１から６の何れか１項に記載の情報処理装置。
  8. 　前記機械学習モデル群は、前記人工用例を用いて訓練する訓練対象の機械学習モデルを含む、請求項１から７の何れか１項に記載の情報処理装置。
  9. 　前記機械学習モデル群のうち少なくとも２つは、互いに異なる機械学習アルゴリズムを用いる、請求項１から８の何れか１項に記載の情報処理装置。
  10. 　前記機械学習モデル群のそれぞれは、同一の機械学習アルゴリズムを用いる、請求項１から８の何れか１項に記載の情報処理装置。
  11. 　前記機械学習モデル群のうち少なくとも１つは決定木である、請求項１から１０の何れか１項に記載の情報処理装置。
  12. 　前記複数の訓練用例及び前記人工用例の一部又は全部にラベルを付与するラベル付与手段をさらに備える、請求項１から１１の何れか１項に記載の情報処理装置。
  13. 　複数の訓練用例を取得すること、
    　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練すること、
    　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択すること、及び、
    　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成すること、
    を含む情報処理方法。
  14. 　コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
    　複数の訓練用例を取得する取得手段と、
    　用例を入力として予測結果を出力する機械学習モデルを複数含む機械学習モデル群を、前記複数の訓練用例を用いて訓練する訓練手段と、
    　前記複数の訓練用例のうち、訓練後の前記機械学習モデル群を用いて得られる複数の予測結果にばらつきがある訓練用例を選択する選択手段と、
    　前記複数の訓練用例のうち、前記選択した訓練用例を含む２つ以上の訓練用例を合成して人工用例を生成する生成手段と、
    として機能させるプログラム。

     
PCT/JP2021/020174 2021-05-27 2021-05-27 情報処理装置、情報処理方法、及びプログラム WO2022249392A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023523860A JPWO2022249392A1 (ja) 2021-05-27 2021-05-27
PCT/JP2021/020174 WO2022249392A1 (ja) 2021-05-27 2021-05-27 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/020174 WO2022249392A1 (ja) 2021-05-27 2021-05-27 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022249392A1 true WO2022249392A1 (ja) 2022-12-01

Family

ID=84229594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020174 WO2022249392A1 (ja) 2021-05-27 2021-05-27 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022249392A1 (ja)
WO (1) WO2022249392A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019022136A1 (ja) * 2017-07-25 2019-01-31 国立大学法人東京大学 学習方法、学習プログラム、学習装置及び学習システム
US20190080205A1 (en) * 2016-09-16 2019-03-14 Deep Learning Analytics, LLC Systems and Methods for Deep Model Translation Generation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080205A1 (en) * 2016-09-16 2019-03-14 Deep Learning Analytics, LLC Systems and Methods for Deep Model Translation Generation
WO2019022136A1 (ja) * 2017-07-25 2019-01-31 国立大学法人東京大学 学習方法、学習プログラム、学習装置及び学習システム

Also Published As

Publication number Publication date
JPWO2022249392A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
EP3483767B1 (en) Device for detecting variant malicious code on basis of neural network learning, method therefor, and computer-readable recording medium in which program for executing same method is recorded
CN108351984B (zh) 硬件高效的深度卷积神经网络
EP3605407A1 (en) Information processing device, information processing method, and computer-readable storage medium
KR20170030923A (ko) 음향 모델 생성 장치 및 방법, 음성 인식 장치 및 방법
KR20190091806A (ko) 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템 및 그 방법
CN114118384B (zh) 神经网络模型的量化方法、可读介质和电子设备
JP2007298564A (ja) 信号分離装置、信号分離方法、ならびに、プログラム
WO2016157275A1 (ja) 計算機及びグラフデータ生成方法
Mahmud et al. Quantum dimension reduction for pattern recognition in high-resolution spatio-spectral data
WO2022249392A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110069284A (zh) 一种基于opu指令集的编译方法及编译器
WO2022003991A1 (ja) ２次元マップ生成装置、２次元マップ生成方法および２次元マップ生成用プログラム
CN113449587A (zh) 一种人体行为识别和身份认证方法、装置和电子设备
CN112528650A (zh) 一种Bert模型预训练方法、系统及计算机设备
WO2022249373A1 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2022249392A5 (ja)
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
JPWO2022249373A5 (ja)
US20240242123A1 (en) Information processing apparatus, information processing method, and storage medium
JP2022151502A (ja) プログラム、情報処理装置、及び方法
Xue et al. Removing watermarks for image processing networks via referenced subspace attention
De Luca et al. Towards a GPU parallel software for environmental data fitting
CN115798453A (zh) 语音重建方法、装置、计算机设备和存储介质
JP7003435B2 (ja) 情報処理装置、プログラム、情報処理方法及びデータ構造
JP6842436B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943041

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18561354

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023523860

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21943041

Country of ref document: EP

Kind code of ref document: A1