WO2005048184A1 - 能動学習方法およびシステム - Google Patents

能動学習方法およびシステム Download PDF

Info

Publication number
WO2005048184A1
WO2005048184A1 PCT/JP2004/014917 JP2004014917W WO2005048184A1 WO 2005048184 A1 WO2005048184 A1 WO 2005048184A1 JP 2004014917 W JP2004014917 W JP 2004014917W WO 2005048184 A1 WO2005048184 A1 WO 2005048184A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
unknown
label value
learned
Prior art date
Application number
PCT/JP2004/014917
Other languages
English (en)
French (fr)
Inventor
Tsutomu Osoda
Yoshiko Yamashita
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to GB0611998A priority Critical patent/GB2423395A/en
Priority to US10/579,336 priority patent/US7483864B2/en
Priority to JP2005515402A priority patent/JPWO2005048184A1/ja
Publication of WO2005048184A1 publication Critical patent/WO2005048184A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an active learning method and an active learning system.
  • an active learning system For example, consider a learning system that performs statistical analysis on collected data and predicts the results of data with unknown label values based on past data trends. An active learning system can be applied to such a learning system. The outline of this type of active learning system will be described below.
  • the data is described as follows.
  • One data is described by multiple attributes and labels.
  • one of the famous evaluation data is "golf". It determines whether or not you have the power to play golf. It is described from four things: weather, temperature, humidity, and wind strength.
  • the weather can be “sunny”, “cloudy” or “rainy”
  • the wind takes a value of "Yes” or “No”.
  • Temperature and humidity are real numbers. For example, one piece of data might say: weather: sunny, temperature: 15 degrees, humidity: 40%, wind: nothing, play: yes.
  • the four attributes of weather, temperature, humidity, and wind are called attributes.
  • the result of pre- or non-presence is called a label.
  • a value that can be taken by a label is a discrete value, it is particularly called a class.
  • the label is binary. Of the two values, the label of interest is the positive example, and the other label is the negative example. If the label is multi-valued, one label value of interest is taken as a positive example, and all other label values are taken as negative examples. When the values that can be taken by the label are continuous values, the label value is called a positive example when there is a label value near the target value, and it is called a negative example when the label value is outside the value.
  • ROC receiver operating characteristic
  • the ROC curve is defined as follows.
  • the ROC curve will be a diagonal line connecting the origin and (1, 1).
  • the hit ratio is defined as follows.
  • Horizontal axis number of data with known label values z (label value unknown + number of known data), vertical axis: number of positive cases in data with known label values z total number of positive cases.
  • the hit ratio is a diagonal line connecting the origin and (1, 1).
  • the limit is a line connecting the origin and (the number of positive cases Z (label value is unknown + number of known data), 1)
  • Entropy is defined as follows. Each P—i indicates the probability of being i!
  • Entropy — ( p —l * log (P-1) + p_2 * log (P-1 2) H—— hP_n * log (P_ n))
  • a conventional active learning system is disclosed in Japanese Patent Laid-Open Publication No. 11-316754 [2].
  • the active learning system disclosed in this publication includes a learning stage in which a lower algorithm performs learning, a boosting stage in which learning accuracy is improved by boosting, and a boosting stage in which a plurality of input candidate points are improved.
  • the active learning algorithm used in the conventional method has a problem in that, at the stage of selecting data to be input, many similar data are output as input points. The reason for this is that there is no mechanism that can fully use the learning algorithm of the lower learning algorithm of the conventional active learning algorithm.
  • an object of the present invention is to improve the accuracy of the active learning method, control the accuracy with the user's intention, and provide a function of extracting interesting data first. It is to provide an active learning method.
  • Another object of the present invention is to improve the accuracy of the active learning method, control the accuracy with the intention of the user, and provide a function of extracting interesting data first. It is to provide an active learning system.
  • An object of the present invention is to provide a storage device that stores a set of known data and a set of unknown data using data with a known label value as known data and data with an unknown label value as unknown data.
  • An active learning method using a plurality of learning machines, wherein a plurality of learning machines perform learning after independently sampling storage device power with respect to known data, and a plurality of learning machines as learning results. Integrating and outputting machine output results, multiple learning machines extracting storage device power unknown data and making predictions, calculating and outputting data to be learned next based on the prediction results And inputting the label value corresponding to the data to be learned next, and deleting the data with the input label value from the set of unknown data and adding the data to the set of known data.
  • it is achieved by an active learning method that performs unequal weighting.
  • the weighting in the active learning method of the present invention for example, when the number of data is extremely biased, the specific gravity is increased.
  • the data distribution of the selected candidate data is further selected taking into account the spatial data distribution.
  • Another object of the present invention is to provide a storage device that stores a set of known data and a set of unknown data using data with a known label value as known data and data with an unknown label value as unknown data.
  • a plurality of learning machines for learning data and predicting unknown data, a plurality of sampling devices provided for each learning machine, and a plurality of sampling devices for sampling known data and inputting the data to a corresponding learning machine;
  • a first integration means for integrating the results of learning performed based on the data, and a second integration means for calculating and outputting data to be learned next from prediction results performed by each learning machine based on unknown data.
  • Integration means result input means for inputting label values corresponding to data to be learned next, and data with label values deleted from the set of unknown data and added to the set of known data (1) sampling weighting means for setting weights at the time of sampling for each sampling device, and (2) setting weights used when integrating learning results by the first integrating means. Prediction weighting means, (3) data weighting means for setting weights used when selecting data to be learned next by the second integration means, and (4) groups for performing grouping on known data and unknown data. This is achieved by an active learning system having at least one of the generating means.
  • the specific gravity is increased.
  • weighting data when sampling learning data (2) weighting data when selecting an input point from input candidate points, and (3) input data
  • At least one of the three types of weighting, that is, weighting data when making predictions, is used.
  • the learning result is treated equally when predicting data.
  • the accuracy can be improved by changing the weight. Control becomes possible, and learning with arbitrary accuracy becomes possible.
  • the data to be learned next tends to be spatially aggregated in a certain area.
  • the conventional active learning method is used. Can be corrected, and the accuracy rate can be increased as compared with the conventional one.
  • FIG. 1 is a block diagram showing a configuration of an active learning system according to a first embodiment of the present invention.
  • FIG. 2 is a flowchart showing a process of an active learning method using the system shown in FIG. 1.
  • FIG. 3A is a graph showing a hit ratio comparing the learning accuracy in the active learning method by the system shown in FIG. 1 with the conventional active learning method.
  • FIG. 3B is a graph showing an ROC curve comparing the learning accuracy of the active learning method by the system shown in FIG. 1 with the conventional active learning method.
  • FIG. 3C is a graph showing the transition of the correct answer rate, comparing the learning accuracy of the active learning method using the system shown in FIG. 1 with the conventional active learning method.
  • FIG. 4 is a block diagram showing a configuration of an active learning system according to a second embodiment of the present invention.
  • FIG. 5 is a graph of an ROC curve comparing the learning accuracy between the active learning method using the system shown in FIG. 4 and the conventional active learning method.
  • FIG. 6 is a block diagram showing a configuration of an active learning system according to a third embodiment of the present invention.
  • FIG. 7 is a graph of an ROC curve comparing the learning accuracy between the active learning method using the system shown in FIG. 6 and the conventional active learning method.
  • FIG. 8 is a block diagram showing a configuration of an active learning system according to a fourth embodiment of the present invention.
  • FIG. 9 is a graph showing the transition of the correct answer rate, comparing the learning accuracy between the active learning method using the system shown in FIG. 8 and the conventional active learning method.
  • FIG. 10 is a block diagram showing a configuration of an active learning system according to a fifth embodiment of the present invention.
  • FIG. 11 is a graph of an ROC curve comparing the learning accuracy of the active learning method using the system shown in FIG. 10 with the conventional active learning method.
  • FIG. 12 is a block diagram showing a configuration of an active learning system according to a sixth embodiment of the present invention.
  • FIG. 13A is a graph showing a hit ratio comparing the learning accuracy of the active learning method by the system shown in FIG. 12 with that of the conventional active learning method.
  • FIG. 13B is a graph showing an ROC curve comparing the learning accuracy of the active learning method using the system shown in FIG. 12 with the conventional active learning method.
  • FIG. 14 is a block diagram showing a configuration of an active learning system according to a seventh embodiment of the present invention.
  • FIG. 15A is a graph showing a hit ratio comparing the learning accuracy of the active learning method by the system shown in FIG. 14 with the conventional active learning method.
  • FIG. 15B is a graph showing an ROC curve comparing the learning accuracy of the active learning method by the system shown in FIG. 14 with the conventional active learning method.
  • FIG. 16 is a block diagram showing a configuration of an active learning system according to an eighth embodiment of the present invention.
  • FIG. 17 is a flowchart showing a process of an active learning method using the system shown in FIG.
  • FIG. 18 is a graph showing transition of correct answer rate, comparing learning accuracy in the active learning method by the system shown in FIG. 16 and the conventional active learning method.
  • FIG. 19 is a block diagram showing a configuration of an active learning system according to a ninth embodiment of the present invention.
  • the active learning system of the present invention provides (1) weighting data when learning data is sampled, (2) weighting data when selecting input candidate point force, and ( 3) To achieve the above-described object of the present invention by employing at least one of a total of three types of weighting, that is, weighting data when predicting input data. It is. In these weighting, when the number of data is extremely biased, weighting is performed to increase the specific gravity. Various embodiments of the present invention can be considered depending on at what stage weighting is performed.
  • the selected candidate data is further selected while taking into account the spatial data distribution.
  • the selected candidate data is further selected while taking into account the spatial data distribution.
  • the active learning system stores a storage device 101 for storing data whose label value is already known (that is, known data), and samples known data in the storage device 101.
  • Sampling weighting device 102 for generating data for weighting at the time
  • prediction weighting device 103 for generating data for weighting at the time of prediction, and weighting at the time of selecting data to be learned next.
  • Rule integration device 107 that summarizes the learning results from learning machine 106, output device 111 connected to rule integration device 107, and multiple learning machines 10 6, a data integration device 108 for calculating the next data to be learned, an output device 112 connected to the data integration device 108, and an output connection for the next data to be learned.
  • the control device 110 summarizes the result input by the result input device 113 as, for example, a tabular form, deletes the corresponding data in the storage device 109, and instead replaces the data to which the result is added. Is stored in the storage device 101.
  • the sampling device 105 and the learning machine 106 are provided in a one-to-one relationship. Further, each learning machine 106 is supplied with data from the corresponding sampling device 105, and is supplied with unknown data from the storage device 109.
  • the output device 111 connected to the rule integration device 107 outputs the learned rules, and the output device 112 connected to the data integration device 108 outputs the next data to be learned.
  • Sampling weighting device 102 generates and supplies weighting data for weighting data at the time of sampling based on known data stored in storage device 101, to each sampling device 105. .
  • the prediction weighting device 103 generates and generates weighting data for performing weighting when the learning result for each learning machine 106 is put together in the rule integration device 107 based on the known data stored in the storage device 101. The weighting data is supplied to the rule integration device 107.
  • the data weighting device 104 performs weighting based on the known data stored in the storage device 101 when the data integration device 108 selects and outputs the next data to be learned. Data is generated, and the generated weighting data is supplied to the data integration device 108.
  • weighting by each of the sampling weighting device 102, the prediction weighting device 103, and the data weighting device 104 will be described.
  • weighting by these weighting devices 102 to 104 various types can be used as long as they are not uniform.
  • the weighting by the sampling weighting device 102 includes, for example, (1) setting a weight according to a class or a value in known data, and (2) when a label value takes a discrete value. However, independently, the weight is set so that all the data of a certain class and the data power of the other classes are also randomly sampled. (3) When the label values take continuous values, each sampling device 105 , Data around a particular label value Weighting so that the data strength of all data and other label values is also randomly sampled.
  • the result output from each learning machine 106 can be calculated by class (when the label value takes a discrete value) or by a numerical interval (when the label value is a discrete value). There is a method of determining the weight for each continuous value).
  • weighting in the data weighting device 104 for example, (1) assigning weights according to the degree of variation in which the frequency power for each class is calculated when the label values take discrete values, (2) each learning machine Weights are assigned according to the variance of the values obtained as a result of 106, and (3) weights are assigned according to the entropy calculated for each class when the label values take discrete values.
  • assigning weights according to the degree of variation it is possible to exclude that only the places where the degree of variation is the maximum have the maximum weight.
  • assigning weights according to variance or entropy it may be possible to exclude that only those places where the variance or entropy is the largest have the largest weight.
  • a weight may be assigned to the result itself obtained by each learning machine 106 separately from these weights.
  • step 201 data whose label value is known is stored in the storage device 101, and data whose label value is unknown is stored in the storage device 109.
  • a set of known data is stored in the storage device 101, and a set of unknown data is stored in the storage device 109.
  • the sampling weighting device 102 generates weights (ie, weighted data) based on the data sent from the storage device 101, and certain weights read such weights.
  • Each sampling device 105 samples known data in the storage device 101 while performing weighting according to the weight sent from the sampling weighting device 102, and sends the sampled data to the corresponding learning machine 106.
  • each learning machine 106 executes learning based on the received data.
  • the data is also sent from the storage device 101 to the prediction weighting device 103.
  • the prediction weighting device 103 performs weighting (that is, weighting) based on the data sent from the storage device 101.
  • the rule integration device 107 Reads some such weights and sends them to the rule integrator 107.
  • the rule integration device 107 puts together the learning results while weighting the learning results from each learning machine 106 based on the weighting data. At this time, for each result output by each learning machine 106, the frequency is calculated for each class (when the label value takes a discrete value) or for each section of the numerical value (when the label value takes a continuous value), and the frequency is calculated as described above.
  • the weight is multiplied, and the one with the largest value is output as the expected value.
  • the rule integration device 107 sends the result obtained by combining the learning results to the output device 111 as a rule.
  • each learning machine 106 makes a prediction on the data whose label value is unknown in the storage device 109, and the result is sent to the data integration device 108.
  • the data has also been sent from the storage device 101 to the data weighting device 104, and in step 206, the data weighting device 104 uses the data sent from the storage device 101 to obtain a weight (that is, the weighted data). ) Or read such weights and send them to the data integrator 108.
  • the data integration device 108 does not perform weighting on the prediction result from each learning machine 106 based on the weighting data.
  • the results are summarized, and the data to be learned next is selected. The following methods can be used to select the data to be learned next.
  • the frequency of the resultant power output by each learning machine 106 is calculated for each class, and the degree of variation or entropy is calculated based on the frequency. Is calculated, and data is selected in descending order of weight assigned according to the degree of variation or entropy.
  • Weights are assigned according to the degree of variation or entropy and the result, respectively. In this case, the frequency of the result output by each learning machine 106 is calculated for each class, and a numerical value indicating the degree of variation or entropy is calculated based on the frequency.
  • the weights are assigned according to the variance and the result, respectively, the weights are selected in combination with the weight assigned to the result and the weight assigned to the result.
  • the variance of the result output from each learning machine 106 is calculated, and the weight assigned according to the variance and the weight assigned to the result are combined to select data in order of decreasing weight.
  • the data integration device 108 sends the result to the output device 112 as data to be learned next.
  • step 207 the result (label value) for the data to be learned next is input manually or by a computer via the result input device 113.
  • the input result is sent to the control device 110, and the control device 110 deletes the data to which the result is input from the storage device 109, and stores the data in the storage device 101 instead.
  • the sampling weighting device 102, the prediction weighting device 103, and the data weighting device 104 perform weighting with a uniform V ⁇ deviation.
  • FIGS. 3A to 3C illustrate the effects of the active learning system according to the first embodiment.
  • a broken line 301 indicates a hit ratio when the conventional active learning method is used
  • a solid line 302 indicates a hit ratio when the active learning system of the present embodiment is used. According to the present embodiment, it is understood that the data of the target class (value) is found at an earlier stage than the conventional active learning method!
  • a broken line 303 shows an ROC curve when the conventional active learning method is used
  • a solid line 304 shows an ROC curve when the active learning system of the present embodiment is used.
  • a broken line 305 shows a transition of the correct answer rate when the conventional active learning method is used
  • a broken line 306 shows a transition of the correct answer rate when the active learning system of the present embodiment is used.
  • the active learning system shown in FIG. 4 is similar to the active learning system of the first embodiment, but differs from that of the first embodiment in that a prediction weighting device and a data weighting device are not provided. Is different from Since the prediction weighting device and the data weighting device are not provided, the rule integration device 107 treats all the results output from the learning machine 106 equally and outputs the final rule by means such as a majority decision. Will be done. Specifically, the rule integrator 107 outputs the result of each learning machine 106 for each class when the label value takes a discrete value, or for each interval in the numerical value when the label value takes a continuous value. Then, the frequency is calculated, and the one with the largest value S is output as the expected value.
  • the output result is treated equally, and the data that is most unclear is output.
  • the output power of each learning machine 106 calculates the frequency for each class, and calculates a numerical value indicating the degree of variation based on the frequency. Then, the data to be learned next is selected from the data judged to be in a certain class and the data indicating that the index indicating the degree of variation is at or near the maximum.
  • the variance is calculated from the result output by each learning machine 106, and the data near a certain numerical value and the data having the maximum or near variance, Select the data to be learned.
  • Result output from each learning machine 106 The variance is also calculated for the force, and data other than a specific class (or ⁇ data near a certain numerical value) and "minimum or close to minimum" data From what to learn next Select the data.
  • FIG. 5 shows the effect of the active learning system according to the second embodiment.
  • a broken line 307 is an ROC curve representing the learning accuracy when the conventional active learning method is used
  • a solid line 308 is the class (value) of interest by the active learning system of the present embodiment.
  • This is an ROC curve that shows the learning accuracy when sampling is performed so that a large number of data are selected. According to the present embodiment, it can be seen that higher accuracy than the conventional active learning method can be obtained.
  • the active learning system shown in FIG. 6 is the same as the active learning system of the first embodiment, except that a force sampling weighting device and a data weighting device are not provided. Is different from Since the sampling weighting device and the data weighting device are not provided, each of the sampling devices 105 treats all known data equally and performs random sampling. Further, in the data integration device 108, similarly to the case of the second embodiment, the output results are treated equally, and the data that is most unclear is output.
  • FIG. 7 shows the effect of the active learning system of the third embodiment.
  • a line 309 indicates an ROC curve representing the learning accuracy of the active learning system.
  • the results were treated evenly when integrating the learning results, so the ability to construct an active learning system with only a certain degree of accuracy was an advantage.
  • the system can be configured with the accuracy shown in, for example, A, B, C, and D in FIG.
  • the active learning system shown in FIG. 8 is similar to the active learning system of the first embodiment, except that a force sampling weighting device and a prediction weighting device are not provided. Is different from Since the sampling weighting device and the prediction weighting device are not provided, each of the sampling devices 105 handles all known data equally, and performs random sampling.
  • the rule integration device 107 As in the case of the embodiment, all the results output from the learning machine 106 are treated equally, and the final rule is output by means such as majority decision.
  • FIG. 9 shows the effect of the active learning system according to the fourth embodiment.
  • the broken line 310 shows the transition of the correct answer rate when the conventional active learning method is used
  • the broken line 311 shows the transition of the correct answer rate when the active learning system of the present embodiment is used.
  • the weights at the time of sampling are weighted so that the next data to be experimented is scattered as much as possible. By using such weights, it is clear that learning is faster than with conventional active learning methods.
  • the active learning system shown in FIG. 10 is the same as the active learning system of the first embodiment, but differs from that of the first embodiment in that a data weighting device is not provided. Since the data weighting device is not provided, the data integration device 108 treats the output results equally as in the case of the second embodiment, and outputs the data that is most confusing. Become.
  • FIG. 11 shows the effect of the active learning system of the fifth embodiment.
  • the broken line 312 shows the ROC curve when the conventional active learning method is used
  • the broken line 313 shows the ROC curve when the active learning system of the present embodiment is used.
  • weighting is performed so that a certain class (value) becomes heavier at the time of sampling, and weighting is similarly performed so that the weight of the class becomes heavier when selecting data to be learned next. Is going.
  • the accuracy of learning is improved, and by changing the weight of the prediction weighting device, as shown in A, B, C, and D in FIG. Learning can be performed with high accuracy.
  • the active learning system shown in FIG. 12 is the same as the active learning system of the first embodiment, but differs from that of the first embodiment in that a prediction weighting device is not provided.
  • the lack of a predictive weighting device allows the rule integrator 107 to use the second implementation. As in the case of the state, all the results from the learning machine 106 are treated equally, and the final rule is output by means such as a majority decision.
  • FIGS. 13A and 13B show the effects of the active learning system according to the sixth embodiment.
  • a dashed line 314 shows a hit ratio when the conventional active learning method is used
  • a solid line 315 shows a hit ratio when the active learning system of the present embodiment is used.
  • a dashed line 316 indicates an ROC curve when the conventional active learning method is used
  • a solid line 317 indicates an ROC curve when the active learning system of the present embodiment is used.
  • weighting is performed so that a certain class (value) becomes heavier at the time of sampling, and similarly, when selecting data to be learned next, the weight of the class becomes heavier. Weighting. According to the present embodiment, 90% of the target class (value) can be found earlier than the conventional one, and the learning accuracy is improved.
  • the active learning system shown in FIG. 14 is the same as the active learning system of the first embodiment, but differs from that of the first embodiment in that a sampling weighting device is not provided. Since no sampling weighting device is provided, each of the sampling devices 105 handles all known data equally and performs random sampling.
  • FIG. 15A and FIG. 15B show the effect of the active learning system of the seventh embodiment.
  • a broken line 318 indicates a hit ratio when the conventional active learning method is used
  • a solid line 319 indicates a hit ratio when the active learning system of the present embodiment is used.
  • a dashed line 320 indicates an ROC curve when the active learning system of the present embodiment is used.
  • the weight of data of a certain class is made heavier, both when selecting the data to be learned next and when combining the learning results.
  • the data of the class with the heavier weight is output earlier, and learning can be performed with an arbitrary accuracy as shown in FIGS.
  • FIG. 16 The active learning system shown in FIG. 16 is the same as the active learning system of the first embodiment, except that a group generation device 115 is added, and a data integration device and an output connected to the data integration device. The difference is that the device is replaced by the data integration and selection device 114.
  • the data integration and selection device 114 has the functions of the data integration device 108 and the output device 112 in the system of the first embodiment (see FIG. 1) when selecting the next data to be learned.
  • the group selection device 114 is for grouping data with a known label value stored in the storage device 101, data with an unknown label value stored in the storage device 109, or both data. .
  • step 211 data whose label value is known is stored in the storage device 101, and data whose label value is unknown is stored in the storage device 109.
  • step 212 the group generation device 115 performs grouping on the known data in the storage device 101 and the unknown data in the storage device 109. The grouping result is output from the group generation device 115 as group information.
  • the sampling weighting device 102 generates a weight (that is, weighted data) based on the data sent from the storage device 101, and certain weights are read from such weights.
  • a weight that is, weighted data
  • each sampling device 105 samples known data in the storage device 101 while performing weighting according to the weight sent from the sampling weighting device 102, and sends the sampled data to the corresponding learning machine 106.
  • each learning machine 106 executes learning based on the received data.
  • Data is also sent from the storage device 101 to the prediction weighting device 103, and in step 215, the prediction weighting device 103 performs weighting (ie, weighting) based on the data sent from the storage device 101. Data) and read such weights And sends them to the rule synthesizer 107.
  • the rule integration device 107 puts together the learning results while weighting the learning results from each learning machine 106 based on the weighting data.
  • the rule integration device 107 sends the result obtained by putting together the learning results to the output device 111 as a rule.
  • each learning machine 106 makes a prediction on the data whose label value stored in the storage device 109 is unknown, and the result is sent to the data integration and selection device 114.
  • the data is also sent from the storage device 101 to the data weighting device 104, and in step 217, the data weighting device 104 uses the weight (ie, weighting) based on the data sent from the storage device 101. Data) or read such weights and send them to the data integration and selection unit 114. Based on the weighting data and the group information from the group generation unit 115, the data integration and selection unit 114 summarizes these results while weighting the prediction results from each learning machine 106, and selects the data to be learned next. I do. At this time, the data integration and selection device 114 makes the next data to be learned according to the grouping performed by the group generation device 814 so that the mutual data is scattered as much as possible.
  • the data integration and selection device 114 makes the next data to be learned according to the grouping performed by the group generation device 814 so that the mutual data is scattered as much as possible.
  • step 218 the result (label value) for the data to be learned next is input manually or by a computer via the result input device 113.
  • the input result is sent to the control device 110, and the control device 110 deletes the data to which the result is input from the storage device 109, and stores the data in the storage device 101 instead. Thereafter, as in the case of the first embodiment, the above-described processing is repeated, and active learning proceeds.
  • FIG. 18 illustrates the effect of the active learning system according to the eighth embodiment.
  • a broken line 321 shows a transition of the correct answer rate when the conventional active learning method is used
  • a broken line 322 shows a change of the correct answer rate when the active learning system of the first embodiment is used.
  • a line 323 shows the transition of the correct answer rate when the active learning system of the present embodiment that selects the data to be learned next based on the group information created by the group generation device 115 is used. You. When selecting the next data to be learned based on the information of the group generated by the group generation device, the data of each other should be as small as possible. By selecting data so that they belong to different groups, the accuracy rate can be increased quickly and in stages.
  • the present embodiment may be configured so that some or all of the sampling weighting device 102, the prediction weighting device 103, and the data weighting device 104 are not provided.
  • the active learning system shown in FIG. 19 is the same as the active learning system according to the eighth embodiment, except that a data selection device 116 is newly provided, and the first device is used instead of the data integration and selection device.
  • a data integration device 108 and an output device 112 similar to those of the embodiment are provided.
  • the data selection device 118 selects unknown data to be predicted by each learning machine 106 from the storage device 109 in accordance with the group information from the group generation device 115, and selects the selected unknown data from each learning machine 106. It is sent to
  • the group generated by the group generation device 115 is sent to the data selection device 116.
  • the unknown data is sent from the storage device 109 to the data selection device 116.
  • the data selection device 116 selects the unknown data so as to be scattered in different groups as much as possible, and the selected data is sent to the learning machine 106 for prediction.
  • the data integration device 108 applies the weight determined by the data weighting device 904 to select the next data to be learned.
  • This active learning system has the same effects as the active learning system of the eighth embodiment.
  • the present embodiment may be configured so that some or all of the sampling weighting device 102, the prediction weighting device 103, and the data weighting device 104 are not provided.
  • the active learning system described above can also be realized by causing a computer such as a personal computer or a workstation to read a computer program for realizing the active learning system and executing the program.
  • the program for active learning is a recording medium such as a magnetic tape or CD-ROM.
  • Such computers generally include a CPU, a hard disk drive for storing programs and data, a main memory, input devices such as a keyboard and mouse, a display device such as a CRT or liquid crystal display, and a magnetic tape. It is composed of a reading device that reads recording media such as CDs and CD-ROMs, and a communication interface that serves as an interface with a network.
  • the hard disk drive, main memory, input device, display device, reading device, and communication interface are all connected to the CPU.
  • a recording medium storing a program for executing active learning is attached to a reading device, a recording medium power program is read out and stored in a hard disk device, or such a program is also downloaded from a network. Then, the program is stored in the hard disk device, and then the CPU executes the program stored in the hard disk device, whereby the above-described active learning is executed.
  • the scope of the present invention also includes the above-described programs, recording media storing such programs, and program products including such programs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　既知データをサンプリングし、既知データに対しては複数の学習機械で独立に学習を行い、未知データに対しては次に学習すべきデータを選択する能動学習システムは、既知データをサンプリングする時に重み付けを行うためのサンプリング重み付け装置と、複数の学習機械の学習結果を統合する際に重み付けを行うための予測重み付け装置と、次に学習すべきデータを選択するときに重み付けを行うためデータ重み付け装置と、を備える。各重み付け装置は、データ数に極端に偏りが発生しているときに、その比重を重くするように重み付けを行う。

Description

明 細 書
能動学習方法およびシステム
技術分野
[0001] 本発明は、能動学習方法及び能動学習システムに関する。
背景技術
[0002] 能動学習とは、安倍らによれば、学習者が学習データを能動的に選択することにで きる学習形態である ([1]安部 直榭、馬見塚 拓， "能動学習と発見科学"、森下真一 '宫野 悟編、 "発見科学とデータマイニング"、共立出版、 2001年 6月、
ISBN4-320-12018-3, pp. 64-71)。一般に学習を能動的に行うことにより、データ数 や計算量の意味で学習の効率性を向上することができることが知られている。能動学 習を行うシステムを能動学習システムと呼ぶ。例えば、集められたデータに対して統 計的に分析を行い、ラベル値が未知のデータに対しては、過去のデータの傾向から 結果の予測を行うような学習システムを考える。そのような学習システムには、能動学 習システムを適用することができる。以下、この種の能動学習システムの概略を説明 する。
[0003] ラベル値が未知のデータとラベル値が既知のデータが存在するものとする。ラベル 値が既知のデータで学習を行!、、その学習した結果をラベル値が未知のデータに適 用する。そのときに、ラベル値が未知のデータ力も効率的に学習を行えるようなデー タを学習システムが選択し、そのデータを出力する。出力されたデータに対して実験 するなり調査するなりして、ラベル値が未知のデータに対する結果を得て、それを入 力したのちラベル値が既知のデータに混ぜて、同じように学習を行う。その一方で、 ラベル値が未知のデータの集合からは、結果が得られたデータを削除する、というも のである。能動学習システムでは、そのような動作を繰り返して行っていく。
[0004] また、データは以下のように記述されている。 1つのデータは、複数の属性とラベル というもので記述される。たとえば有名な評価データの中には、 "golf"というものがあ る。それはゴルフをプレーする力しないかを判定するものであって、天気、温度、湿度 、風の強さという 4つのものから記述されている。天気は、「晴れ」、「曇り」または「雨」、 風は、「有」または「無」という値をとる。気温と湿度は実数値である。たとえば 1つのデ ータは、天気：晴れ、温度： 15度、湿度: 40%、風:無、プレー：する、というように書か れている。そのデータの場合、天気、温度、湿度、風の 4つを属性と呼ぶ。また、プレ 一する、しないという結果のことをラベルと呼ぶ。本明細書では、ラベルがとりうる値が 離散値の場合には、特にクラスと呼ぶ。
[0005] ここで、さまざまな用語を定義しておく。
[0006] 仮にラベルは 2値であるとしておく。その 2値のうち注目しているラベルの方を正例、 それ以外のものを負例とする。またラベルが多値の場合には、注目している 1つのラ ベル値を正例、それ以外のすべてのラベル値を負例とする。またラベルがとりうる値 が連続値の場合には注目する値付近にラベル値が存在するとき正例と呼び、それ以 外のところにあるときに負例と呼ぶことにする。
[0007] 学習の精度を測る指標としては、 ROC (受信者動作特性: receiver operating
characteristic)曲線、ヒット率、正解率の推移などがある。以下の説明では、これら 3 つの指標を用いて評価を行う。
[0008] ROC曲線は、以下のように定義される。
横軸:負例のうち正例と判断されたデータの個数 Z全負例数，
縦軸：正例のうち正例と判断されたデータの個数 Z全正例数.
ランダムな予測を行ったとき、 ROC曲線は、原点と（1, 1)を結ぶ対角線となる。
[0009] ヒット率は以下のように定義される。
横軸：ラベル値が既知のデータ数 z (ラベル値が未知 +既知のデータ数）， 縦軸：ラベル値が既知のデータの中の正例数 z全正例数.
ランダムな予測を行ったとき。ヒット率は、原点と（1, 1)を結ぶ対角線となる。また、 限界は原点と (正例数 Z (ラベル値が未知 +既知のデータ数)， 1)を結んだ線となる
[0010] 正解率の推移は以下のように定義される。
横軸：ラベル値が既知のデータ数，
縦軸：正しく判断されたデータの個数 zラベル値が既知のデータ数.
[0011] 後述する「発明を実施するための最良の形態」においては、これらの指標を用いて 、本発明による能動学習システムを評価している（図 3A— 3C、 5、 7、 9、 11、 13A、 13B、 15A、 15B、 18を参照）。
[0012] またエントロピーとは、以下のように定義される。各 P— iは iである確率を示して!/、る とする。
[0013] エントロピー =—(p—l * log (P一 1) +p_2 * log (P一 2) H—— hP_n * log (P_ n) )
[0014] なお、従来の能動学習システムを開示するものとしては、日本国特許公開：特開平 11— 316754号公報 [2]に開示されたものがある。この公報に開示の能動学習システ ムは、学習の精度を向上するために、下位アルゴリズムに学習を行わせる学習段階と 、学習精度をブースティングにより向上させるブースティング段階と、複数の入力候補 点に対する関数値予測段階と、重みの総和が最大の出力値の重み和と、重みの総 和が次に大きい出力値の重み和との差が最も小さいような入力点を選択する入力点 指定段階と、を行うことを特徴とするものである。
[0015] 安倍らはさらに、複数の学習機械を備えるシステムを使用し、各学習機械はデータ 力もランダムにサンプリングしてそのデータを学習し、ラベル値が未知のデータに対し てはそれぞれの学習機械が予測を行ってもっとも分散が大きくなるような点を次に学 習すべき点として出力するような手法を開示している [1]。
発明の開示
発明が解決しょうとする課題
[0016] し力しながら上述した従来の手法は、次に学習すべきデータとして出力するものを ユーザーの意思で制御できない、という課題を有する。その理由は、これらの従来の 手法は、なるべく早く学習精度を向上することを目標とするために、次の候補点として 最も分散の大きな点や、下位の学習機械力もの出力が割れる点のみを選んでいるか らである。
[0017] 従来の手法は、学習データにおいて、対象となる値やクラスのデータ数が他のクラ スゃ値のものに比べてきわめて低 ヽ状況下にお 、て、対象となって ヽる値やクラスの 正解率を得るのが困難である、という課題も有する。その理由は、今までに開発され てきた下位学習アルゴリズムが極端な個数の不平等な状況までを考察して設計され たものでないことにあるば力りでなぐ従来の能動学習アルゴリズムも同じようにそのよ うな状況を想定して 、な 、ことにある。
[0018] 従来の手法が用いる能動学習アルゴリズムには、入力すべきデータの選択の段階 において、似たようなデータを入力点として数多く出力してしまう、という課題がある。 その理由もやはり、従来の能動学習アルゴリズム力 下位の学習アルゴリズムが学習 したものを十分に活力しきるようなメカニズムを有していないことにある。
[0019] さらにこれらの従来の手法は、システムにおいて最終判断の方法が予め定められて いるために、学習の精度を変えられない、という課題も有する。
[0020] そこで本発明の目的は、能動学習法の精度を向上させつつ、利用者の意思で精 度を制御することができ、また、興味のあるデータを先に抜き出すという機能なども備 える能動学習方法を提供することにある。
[0021] そこで本発明の別の目的は、能動学習法の精度を向上させつつ、利用者の意思で 精度を制御することができ、また、興味のあるデータを先に抜き出すという機能なども 備える能動学習システムを提供することにある。
課題を解決するための手段
[0022] 本発明の目的は、ラベル値が既知のデータを既知データとしラベル値が未知のデ ータを未知データとして既知データの集合と未知データの集合とを格納する記憶装 置と、複数の学習機械とを使用する能動学習方法であって、複数の学習機械が、既 知データに関し、記憶装置力もそれぞれ独立にサンプリングを行った後に学習を行う 段階と、学習の結果として、複数の学習機械の出力結果を統合して出力する段階と、 複数の学習機械が、記憶装置力 未知データを取り出して予測を行う段階と、予測 の結果に基づいて次に学習すべきデータを計算して出力する段階と、次に学習すベ きデータに対応するラベル値を入力する段階と、ラベル値が入力されたデータを未 知データの集合から削除して既知データの集合に追加する段階と、を有し、既知デ ータをサンプリングするとき、複数の学習機械による学習の結果を統合するとき、及び 、複数の学習機械による予測から次に学習すべきデータを計算するとき、のうちの少 なくとも 1つにおいて、均等でない重み付けを実行する能動学習方法によって達成さ れる。 [0023] 本発明の能動学習方法における重み付けでは、例えば、データ数に極端に偏りが 発生しているときに、その比重を重くするようにする。さらにこの方法では、次に予測 のために学習装置に入力すべきデータの選択において、選ばれてきた候補のデー タの中力 空間的なデータの分布を考慮に入れながらさらに選び出すというデータの 分布に広がりを持たせる機構を付け加えることによって、お互いに似たようなデータを 出力することを避けることができる。
[0024] 本発明の他の目的は、ラベル値が既知のデータを既知データとしラベル値が未知 のデータを未知データとして既知データの集合と未知データの集合とを格納する記 憶装置と、既知データの学習及び未知データの予測を行う複数の学習機械と、学習 機械ごとに設けられ、記憶装置力 既知データをサンプリングして対応する学習機械 に入力する複数のサンプリング装置と、各学習機械が既知データに基づいて行った 学習の結果を統合する第 1の統合手段と、各学習機械が未知データに基づいて行つ た予測の結果から次に学習すべきデータを計算して出力する第 2の統合手段と、次 に学習すべきデータに対応するラベル値を入力する結果入力手段と、ラベル値が入 力されたデータを未知データの集合から削除して既知データの集合に追加する制御 手段と、を有するとともに、（1)サンプリング装置ごとにサンプリング時の重みを設定 するサンプリング重み付け手段、（2)第 1の統合手段で学習の結果を統合する際に 用いられる重みを設定する予測重み付け手段、（3)第 2の統合手段で次に学習すベ きデータを選択する際に用いられる重みを設定するデータ重み付け手段、及び (4) 既知データ及び未知データにおいてグループ分けを行うグループ生成手段のうちの 少なくとも 1つを有する能動学習システムによって達成される。
[0025] 本発明の能動学習システムにおける重み付けでは、例えば、データ数に極端に偏 りが発生しているときに、その比重を重くするようにする。
[0026] 本発明では、（1)学習データをサンプリングする際にデータに重み付けを行う、 (2) 入力候補点から入力点を選び出す際にデータに重み付けを行う、及び (3)入力され たデータに対して予測を行う際にデータに重み付けを行う、の計 3通りの重み付けの うちの少なくとも 1つを採用するしている。これによつて、本発明によれば、対象となつ ているデータの重みを重くすることで重点的に学習を行うことができるので、対象とな つているデータの、全体に対する割合が極めて低い状況下において、マイニングの 精度を向上させながら、カバー率を向上させることができる。また、対象となっている データの重みを軽くすることで、対象となっているものが未発見の領域の学習を行つ て!、くことが可能になるため、対象となって!/、るデータがさまざまな特徴に基づ ヽて ヽ るとき、それを、早期に発見できる。
[0027] 従来の能動学習法は、データの予測を行うときに均等に学習結果を扱っているの に対し、本発明によれば、重み付けすることが可能なため、重みを変えることで精度 を制御することが可能になり、任意の精度で学習することが可能になる。従来の方法 では、次に学習すべきデータが、空間的にある領域に固まる傾向にあるが、本発明 では、それらのデータが空間的に散らばるような機構を設けることにより、従来の能動 学習法の欠点を修正でき、正解率を従来のものよりも高めることができる。
図面の簡単な説明
[0028] [図 1]図 1は、本発明の第 1の実施形態の能動学習システムの構成を示すブロック図 である。
[図 2]図 2は、図 1に示すシステムを用いた能動学習法の処理を示すフローチャートで ある。
[図 3A]図 3Aは、図 1に示すシステムによる能動学習法と従来の能動学習法とにおけ る学習精度を比較する、ヒット率を示すグラフである。
[図 3B]図 3Bは、図 1に示すシステムによる能動学習法と従来の能動学習法とにおけ る学習精度を比較する、 ROC曲線を示すグラフである。
[図 3C]図 3Cは、図 1に示すシステムによる能動学習法と従来の能動学習法とにおけ る学習精度を比較する、正解率の推移を示すグラフである。
[図 4]図 4は、本発明の第 2の実施形態の能動学習システムの構成を示すブロック図 である。
[図 5]図 5は、図 4に示すシステムによる能動学習法と従来の能動学習法とにおける 学習精度を比較する、 ROC曲線のグラフである。
[図 6]図 6は、本発明の第 3の実施形態の能動学習システムの構成を示すブロック図 である。 [図 7]図 7は、図 6に示すシステムによる能動学習法と従来の能動学習法とにおける 学習精度を比較する、 ROC曲線のグラフである。
[図 8]図 8は、本発明の第 4の実施形態の能動学習システムの構成を示すブロック図 である。
[図 9]図 9は、図 8に示すシステムによる能動学習法と従来の能動学習法とにおける 学習精度を比較する、正解率推移を示すグラフである。
[図 10]図 10は、本発明の第 5の実施形態の能動学習システムの構成を示すブロック 図である。
[図 11]図 11は、図 10に示すシステムによる能動学習法と従来の能動学習法とにおけ る学習精度を比較する、 ROC曲線のグラフである。
[図 12]図 12は、本発明の第 6の実施形態の能動学習システムの構成を示すブロック 図である。
[図 13A]図 13Aは、図 12に示すシステムによる能動学習法と従来の能動学習法とに おける学習精度を比較する、ヒット率を示すグラフである。
[図 13B]図 13Bは、図 12に示すシステムによる能動学習法と従来の能動学習法とに おける学習精度を比較する、 ROC曲線を示すグラフである。
[図 14]図 14は、本発明の第 7の実施形態の能動学習システムの構成を示すブロック 図である。
[図 15A]図 15Aは、図 14に示すシステムによる能動学習法と従来の能動学習法とに おける学習精度を比較する、ヒット率を示すグラフである。
[図 15B]図 15Bは、図 14に示すシステムによる能動学習法と従来の能動学習法とに おける学習精度を比較する、 ROC曲線を示すグラフである。
[図 16]図 16は、本発明の第 8の実施形態の能動学習システムの構成を示すブロック 図である。
[図 17]図 17は、図 16に示すシステムを用いた能動学習法の処理を示すフローチヤ ートである。
[図 18]図 18は、図 16に示すシステムによる能動学習法と従来の能動学習法とにおけ る学習精度を比較する、正解率推移を示すグラフである。 [図 19]図 19は、本発明の第 9の実施形態の能動学習システムの構成を示すブロック 図である。
発明を実施するための最良の形態
[0029] 本発明の能動学習システムは、（1)学習データをサンプリングする際にデータに重 み付けを行う、（2)入力候補点力 入力点を選び出す際にデータに重み付けを行う 、及び（3)入力されたデータに対して予測を行う際にデータに重み付けを行う、の計 3通りの重み付けのうちの少なくとも 1つを採用することにより、上述した本発明の目的 を達しようとするものである。これらの重み付けにおいては、データ数に極端に偏りが 発生しているときに、その比重を重くするように重み付けを行っている。本発明は、ど の段階で重み付けを行うかによつて種々の実施形態が考えられる。
[0030] また、本発明では、次に学習すべきデータを選択する際に、選ばれてきた候補のデ 一タカ 空間的なデータの分布を考慮に入れながらさらに選び出すという、データの 分布に広がりを持たせるメカニズムを付けカ卩えることによって、お互いに似たようなデ ータを出力することを避けることができる。このようなメカニズムの有無によっても、本 発明は種々の実施形態が考えられる。
[0031] 以下、このような各種の実施形態について説明する。
[0032] 《第 1の実施形態》
図 1に示す本発明の第 1の実施形態の能動学習システムは、ラベル値が既にわか つているデータ (すなわち既知データ）を蓄えておく記憶装置 101と、記憶装置 101 内の既知データをサンプリングする時に重み付けを行うためのデータを生成するサン プリング重み付け装置 102と、予測を行う時に重み付けを行うためのデータを生成す る予測重み付け装置 103と、次に学習すべきデータを選択するときに重み付けを行う ためのデータを生成するデータ重み付け装置 104と、複数の学習機械 106と、記憶 装置 101からデータをサンプリングして対応する学習機械 106に対してデータを供給 する複数のサンプリング装置 105と、複数の学習機械 106からの学習結果をまとめる 規則統合装置 107と、規則統合装置 107に接続した出力装置 111と、複数の学習機 械 106での結果に基づき次に学習すべきデータを計算するデータ統合装置 108と、 データ統合装置 108に接続した出力装置 112と、次に学習すべきデータの出力結 果に対て結果を入力する結果入力装置 113と、ラベル値がわ力つて 、な 、データ（ すなわち未知データ）を格納する記憶装置 109と、この能動学習システム全体の制 御を行う制御装置 110と、を備えている。
[0033] 制御装置 110は、結果入力装置 113によって入力された結果を例えば表形式のも のとしてまとめ、記憶装置 109内における該当するデータを削除し、その代わりに、結 果が加えられたデータを記憶装置 101内に格納するという制御を行う。サンプリング 装置 105と学習機械 106とは、ここでは、 1対 1の関係で設けられている。また、各学 習機械 106には、対応するサンプリング装置 105からデータが供給されるとともに、 記憶装置 109からは未知データが供給される。規則統合装置 107に接続した出力 装置 111からは、学習した規則が出力され、データ統合装置 108に接続した出力装 置 112からは、次に学習すべきデータが出力される。
[0034] サンプリング重み付け装置 102は、各サンプリング装置 105に対して、記憶装置 10 1に格納された既知データに基づき、サンプリング時にデータに対して重み付けを行 うための重み付けデータを生成して供給する。予測重み付け装置 103は、記憶装置 101に格納された既知データに基づき、規則統合装置 107において各学習機械 10 6ごとの学習結果をまとめる際に重み付けを行うための重み付けデータを生成し、生 成した重み付けデータを規則統合装置 107に供給する。同様にデータ重み付け装 置 104は、記憶装置 101に格納された既知データに基づき、データ統合装置 108に おいて次に学習すべきデータを選択して出力する際に重み付けを行うための重み付 けデータを生成し、生成した重み付けデータをデータ統合装置 108に供給する。
[0035] ここで、サンプリング重み付け装置 102、予測重み付け装置 103及びデータ重み付 け装置 104のそれぞれによる重み付けを説明する。これらの重み付け装置 102— 10 4による重み付けとしては、均等でない重み付けであれば種々のものを使用できる。
[0036] サンプリング重み付け装置 102での重み付けとしては、例えば、（1)既知データに おけるクラスあるいは値に応じた重みを設定する、（2)ラベル値が離散値を取る場合 に、各サンプリング装置 105が、独立して、あるクラスのデータの全てとそれ以外のク ラスのデータ力もランダムにサンプリングするように重みを設定する、（3)ラベル値が 連続値を取る場合に、各サンプリング装置 105が、特定のラベルの値の付近のデー タの全てとそれ以外のラベル値のデータ力もランダムにサンプリングするように重みを 設定する、などが挙げられる。
[0037] 予測重み付け装置 103での重み付けとしては、例えば、各学習機械 106が出力し た結果につ!、てクラス (ラベル値が離散値を取る場合)ごとあるいは数値における区 間（ラベル値が連続値を取る場合)ごとに重みを決定する方法がある。
[0038] データ重み付け装置 104での重み付けとしては、例えば、（1)ラベル値が離散値を とる場合にクラスごとの頻度力も計算されるばらつき具合に応じて重みを割当てる、 ( 2)各学習機械 106での結果として得られる値の分散に応じて重みを割当てる、（ 3) ラベル値が離散値をとる場合にクラスごとの頻度力 計算されるエントロピーに応じて 重みを割当てる、などが挙げられる。ばらつき具合に応じて重みを割当てる場合には 、ばらつき具合が最大のところのみが最大の重みになることは除くようにしてもょ 、。 同様に、分散あるいはエントロピーに応じて重みを割当てる場合には、それら分散あ るいはエントロピーが最大のところのみが最大の重みになることは除くようにしてもよ い。さらに、これらの重みとは別個に各学習機械 106で得られる結果そのものに対し て重みを割当てるようにしてもよい。
[0039] 次に、本実施形態の能動学習システムの動作について、図 2に示すフローチャート を利用して説明する。ここでは、データは表形式で与えられるものとする。
[0040] まず、ステップ 201において、ラベル値が既知のデータは記憶装置 101に、ラベル 値が未知のデータは記憶装置 109に記憶される。その結果、既知データの集合が記 憶装置 101に格納され、未知データの集合が記憶装置 109に格納されることになる
[0041] 次に、ステップ 202において、サンプリング重み付け装置 102は、記憶装置 101か ら送られてきたデータに基づ ヽて重み (すなわち重み付けデータ）を生成し、ある 、 はそのような重みを読み込み、各サンプリング装置 105に送る。各サンプリング装置 1 05は、サンプリング重み付け装置 102から送られてきた重みにしたがって重み付けを 行いながら、記憶装置 101内の既知データをサンプリングし、サンプリングしたデータ を対応する学習機械 106に送る。各学習機械 106は、ステップ 203において、サンプ リング装置力 送られてきたデータに基づいて学習を実行する。 [0042] 記憶装置 101からは予測重み付け装置 103にもデータが送られており、ステップ 2 04において、予測重み付け装置 103は、記憶装置 101から送られてきたデータに基 づ 、て重み (すなわち重み付けデータ）を生成し、ある 、はそのような重みを読み込 み、それらを規則統合装置 107へ送る。規則統合装置 107は、重み付けデータに基 づいて、各学習機械 106からの学習結果に重み付けを行いながらこれらの学習結果 をまとめる。このとき、各学習機械 106が出力した結果についてクラス (ラベル値が離 散値を取る場合)ごとあるいは数値における区間 (ラベル値が連続値を取る場合)ごと に頻度を計算し、頻度と上述した重みとを乗算し、その値がもっとも大きな値となって いるものを予想値として出力する。規則統合装置 107は、学習結果をまとめた結果を 規則として出力装置 111に送る。
[0043] 次に各学習機械 106は、ステップ 205において、記憶装置 109に格納されたラベ ル値が未知のデータに対して予測を行い、その結果は、データ統合装置 108に送ら れる。このとき、記憶装置 101からはデータ重み付け装置 104にもデータが送られて おり、ステップ 206において、データ重み付け装置 104は、記憶装置 101から送られ てきたデータに基づ ヽて重み (すなわち重み付けデータ）を生成し、あるいはそのよう な重みを読み込み、それらをデータ統合装置 108へ送る。データ統合装置 108は、 重み付けデータに基づいて、各学習機械 106からの予測結果に重み付けを行いな 力 これらの結果をまとめ、次に学習すべきデータを選択する。次に学習すべきデー タの選択方法としては、以下のようなものが挙げられる。例えば、（1)ばらつき具合あ るいはエントロピーに応じて重みが割当てられている場合には、各学習機械 106が 出力した結果力もそのクラスごとに頻度を計算し、頻度を元にばらつき具合あるいは エントロピーを示す数値を計算し、ばらつき具合あるいはエントロピーに応じて割り当 てられた重みが重い順番にデータを選択する、（2)分散に応じて重みが割当てられ ている場合には、各学習機械 106が出力した結果力 その分散を計算し、分散に応 じて割り当てられた重みが重い順番にデータを選択する、 (3)ばらつき具合あるいは エントロピーと結果とのそれぞれに応じて重みが割当てられている場合には、各学習 機械 106が出力した結果力もそのクラスごとに頻度を計算し、頻度を元にばらつき具 合あるいはエントロピーを示す数値を計算し、ばらつき具合あるいはエントロピーに応 じて割り当てられた重みと結果に割り当てられた重みとをあわせて重みの重 、順番に データを選択する、（4)分散と結果のそれぞれに応じて重みが割当てられている場 合には、各学習機械 106が出力した結果力 その分散を計算し、分散に応じて割り 当てられた重みと結果に割り当てられた重みとをあわせて重みの重い順番にデータ を選択する。データ統合装置 108は、その結果を次に学習すべきデータとして出力 装置 112に送る。
[0044] 次に、ステップ 207において、次に学習すべきデータに対する結果 (ラベル値）が、 結果入力装置 113を介し、人手によって、あるいはコンピュータにより入力される。入 力された結果は制御装置 110に送られ、制御装置 110は、その結果が入力されたデ ータを記憶装置 109から削除し、その代わりに記憶装置 101に記憶させる。
[0045] 以後、上述の処理が繰り返され、能動学習が進行する。この場合、これらの処理は 、最長の場合で記憶装置 109内に未知データがなくなるまで行われる力 その前に 打ち切るようにしてもよい。後述するように本実施形態によれば、迅速に"よい結果"を 得ることができるので、例えば適当な反復回数を設定してそこで処理を打ち切るよう にすることができる。サンプリング重み付け装置 102、予測重み付け装置 103及びデ ータ重み付け装置 104は、 Vヽずれも均等でな 1、重み付けを行う。
[0046] 図 3A— 3Cは、第 1の実施形態の能動学習システムの効果を説明している。
[0047] 図 3Aにおいて、破線 301は、従来の能動学習法を用いた場合のヒット率を示し、実 線 302は、本実施形態の能動学習システムを用いた場合のヒット率を示している。本 実施形態によれば、従来の能動学習法よりも早期の段階において、対象となってい るクラス (値）のデータを見つけて!/、ることがわかる。
[0048] 図 3Bにおいて、破線 303は、従来の能動学習法を用いた場合の ROC曲線を示し 、実線 304は、本実施形態の能動学習システムを用いた場合の ROC曲線を示して いる。本実施形態によれば、従来の能動学習法に比べて高い精度で学習を行えて いることがわ力る。さらに、従来の能動学習法では、精度は、曲線上のある 1点に存 在するので、どのような精度にするのかを外部から制御することができな力つた。これ に対して本実施形態の手法では、予測重み付け装置 103における重みを変えること で、任意の精度を設定できる。図 3Bには、図示 A— Dで示される 4つの直線が存在 するが、本実施形態では、任意の位置に直線を設定できるので、任意の精度を設定 することができる。
[0049] 図 3Cにおいて、破線 305は、従来の能動学習法を用いた場合の正解率の推移を 示し、破線 306は、本実施形態の能動学習システムを用いた場合における正解率の 推移を示している。本実施形態によれば、対象となっているクラス (値)のデータの重 みを重くすることによって、そのクラスに関する正解率を上げることができることがわか る。
[0050] 《第 2の実施形態》
次に、本発明の第 2の実施形態について、図 4を参照して説明する。図 4に示す能 動学習システムは、第 1の実施形態の能動学習システムと同様のものであるが、予測 重み付け装置とデータ重み付け装置とが設けられていない点で、第 1の実施形態の ものと相違する。予測重み付け装置とデータ重み付け装置とが設けられていないこと により、規則統合装置 107では、学習機械 106から出てきた結果がすべて均等に取 り扱われ、多数決などの手段によって最終的な規則が出力されることになる。具体的 には、規則統合装置 107は、各学習機械 106が出力した結果について、ラベル値が 離散値を取る場合にはクラスごとに、あるいはラベル値が連続値を取る場合には数値 における区間ごとに、頻度を計算し、その値力 Sもっとも大きな値となっているものを予 想値として出力する。
[0051] またデータ統合装置 108においも同様に出力結果が均等に扱われ、もっとも判断 に迷うデータが出力されることになる。具体的には、例えば、（1)ラベル値が離散値を 取る場合に、各学習機械 106が出力した結果力 そのクラスごとに頻度を計算し、頻 度を元にばらつき具合を示す数値を計算し、あるクラスと判断されたデータとばらつき 具合を示す指標が最大もしくは最大付近のデータから、次に学習すべきデータを選 択する。（2)ラベル値が連続値を取る場合に、各学習機械 106が出力した結果から その分散を計算し、ある数値の付近にあるデータと分散が最大もしくは最大付近のデ ータから、次に学習すべきデータを選択する。（3)各学習機械 106が出力した結果 力もその分散を計算し、特定のクラス以外のデータ (あるいはある数値付近にな ヽデ ータ）であってかつ"分散が最小もしくは最小に近い"データから、次に学習すべきデ ータを選択する。
[0052] 図 5は、第 2の実施形態の能動学習システムの効果を示している。図において、破 線 307は、従来の能動学習法を用いた場合の学習精度を表す ROC曲線であり、実 線 308は、本実施形態の能動学習システムにより、対象となっているクラス (値)のデ ータが多く選ばれるようなサンプリングをしたとき学習精度を示す ROC曲線である。 本実施形態によれば、従来の能動学習法よりも高い精度が得られることがわかる。
[0053] 《第 3の実施形態》
次に、本発明の第 3の実施形態について、図 6を参照して説明する。図 6に示す能 動学習システムは、第 1の実施形態の能動学習システムと同様のものである力 サン プリング重み付け装置とデータ重み付け装置とが設けられていない点で、第 1の実施 形態のものと相違する。サンプリング重み付け装置とデータ重み付け装置とが設けら れていないことにより、各サンプリング装置 105では既知のデータがすべて均等に取 り扱われ、ランダムなサンプリングが行われる。またデータ統合装置 108では、第 2の 実施形態の場合と同様に、出力結果が均等に扱われ、もっとも判断に迷うデータが 出力されること〖こなる。
[0054] 図 7は、第 3の実施形態の能動学習システムの効果を示している。図において、線 3 09は、この能動学習システムの学習精度を表す ROC曲線を示している。従来の能 動学習法では学習結果を統合するときに均等に結果を扱っていたため、ある特定の 精度でしか能動学習システムを構築することができな力 た。本実施形態によれば、 任意の重みで学習結果を統合することができるため、例えば、図示 A、 B、 C、 Dのよ うな精度でシステムを構成することができる。
[0055] 《第 4の実施形態》
次に、本発明の第 4の実施形態について、図 8を参照して説明する。図 8に示す能 動学習システムは、第 1の実施形態の能動学習システムと同様のものである力 サン プリング重み付け装置と予測重み付け装置とが設けられていない点で、第 1の実施 形態のものと相違する。サンプリング重み付け装置と予測重み付け装置とが設けられ ていないことにより、各サンプリング装置 105では既知のデータがすべて均等に取り 扱われ、ランダムなサンプリングが行われる。また、規則統合装置 107では、第 2の実 施形態の場合と同様に、学習機械 106から出てきた結果がすべて均等に取り扱われ 、多数決などの手段によって最終的な規則が出力されることになる。
[0056] 図 9は、第 4の実施形態の能動学習システムの効果を示している。図において、破 線 310は従来の能動学習法を用いた場合の正解率の推移を示し、破線 311は、本 実施形態の能動学習システムを用いた場合における正解率の推移を示して 、る。本 実施形態では、サンプリングのときの重みとして、次に実験すべきデータがなるべく散 らばるような重み付けを行っている。このような重み付けを用いることにより、従来の能 動学習法よりも早く学習していることわ力る。
[0057] 《第 5の実施形態》
次に、本発明の第 5の実施形態について、図 10を参照して説明する。図 10に示す 能動学習システムは、第 1の実施形態の能動学習システムと同様のものであるが、デ ータ重み付け装置が設けられていない点で、第 1の実施形態のものと相違する。デ ータ重み付け装置が設けられていないことにより、データ統合装置 108では、第 2の 実施形態の場合と同様に、出力結果が均等に扱われ、もっとも判断に迷うデータが 出力されること〖こなる。
[0058] 図 11は、第 5の実施形態の能動学習システムの効果を示して 、る。図にお 、て、破 線 312は、従来の能動学習法を用いた場合の ROC曲線を示し、破線 313は、本実 施形態の能動学習システムを用いた場合における ROC曲線を示している。本実施 形態では、サンプリング時には、あるクラス (値)の重みが重くなるような重み付けを行 い、次に学習すべきデータを選択する時には、同様に、そのクラスの重みが重くなる ような重み付けを行っている。図 11から分力るように、本実施形態によれば、学習の 精度が向上し、また、予測重み付け装置の重みを変えることで、図示 A、 B、 C、 Dに あるように、任意の精度で学習を行うことができるようになる。
[0059] 《第 6の実施形態》
次に、本発明の第 6の実施形態について、図 12を参照して説明する。図 12に示す 能動学習システムは、第 1の実施形態の能動学習システムと同様のものであるが、予 測重み付け装置が設けられていない点で、第 1の実施形態のものと相違する。予測 重み付け装置が設けられていないことにより、規則統合装置 107では、第 2の実施形 態の場合と同様に、学習機械 106から出てきた結果がすべて均等に取り扱われ、多 数決などの手段によって最終的な規則が出力されることになる。
[0060] 図 13A、 13Bは、第 6の実施形態の能動学習システムの効果を示している。図 13A において、破線 314は、従来の能動学習法を用いた場合のヒット率を示し、実線 315 は、本実施形態の能動学習システムを用いた場合におけるヒット率を示している。図 13Bにおいて、破線 316は、従来の能動学習法を用いた場合の ROC曲線を示し、 実線 317は、本実施形態の能動学習システムを用いた場合の ROC曲線を示してい る。本実施形態においては、サンプリング時には、あるクラス (値)の重みが重くなるよ うに重み付けを行っており、次に学習すべきデータを選択するときも、同様に、そのク ラスの重みが重くなるように重み付けを行っている。本実施形態によれば、対象となる クラス (値)の 9割を従来のものよりも早く発見でき、また、学習精度も向上していること がわカゝる。
[0061] 《第 7の実施形態》
次に、本発明の第 7の実施形態について、図 14を参照して説明する。図 14に示す 能動学習システムは、第 1の実施形態の能動学習システムと同様のものであるが、サ ンプリング重み付け装置が設けられていない点で、第 1の実施形態のものと相違する 。サンプリング重み付け装置が設けられていないことにより、各サンプリング装置 105 では既知のデータがすべて均等に取り扱われ、ランダムなサンプリングが行われる。
[0062] 図 15A、図 15Bは、第 7の実施形態の能動学習システムの効果を示している。図 1 5Aにおいて、破線 318は、従来の能動学習法を用いた場合のヒット率を示す、実線 319は、本実施形態の能動学習システムを用いた場合のヒット率を示している。図 15 Bにおいて、破線 320は、本実施形態の能動学習システムを用いた場合における R OC曲線を示している。本実施形態では、次に学習すべきデータを選択するときの重 み付けも、学習結果を統合するときの重み付けも、あるクラス (値)のデータの重みが 重くなるようにした。本実施形態によれば、重みを重くしたクラスのデータが早く出力 されており、また図示 A、 B、 C、 Dに示されるように、任意の精度で学習を行えるよう になっている。
[0063] 《第 8の実施形態》 次に、本発明の第 8の実施形態について、図 16を参照して説明する。図 16に示す 能動学習システムは、第 1の実施形態の能動学習システムと同様のものであるが、グ ループ生成装置 115が付加されているとともに、データ統合装置とそのデータ統合 装置に接続する出力装置とがデータ統合選択装置 114で置き換えられている点で 相違する。データ統合選択装置 114は、第 1の実施形態のシステム（図 1参照）にお けるデータ統合装置 108と出力装置 112の機能を合わせ持つものである力 次に学 習すべきデータを選択する際に、グループ生成装置 115でのグループ分けにしたが つて、相互のデータがなるべくグループに散らばるように選択する。グループ選択装 置 114は、記憶装置 101に格納されたラベル値が既知のデータ、または記憶装置 1 09に格納されたラベル値が未知のデータ、もしくはその両者のデータをグループ分 けするものである。
[0064] 次に、本実施形態の能動学習システムの動作について、図 17に示すフローチヤ一 トを利用して説明する。ここでは、データは表形式で与えられるものとする。
[0065] まず、ステップ 211において、ラベル値が既知のデータは記憶装置 101に、ラベル 値が未知のデータは記憶装置 109に記憶される。グループ生成装置 115は、ステツ プ 212において、記憶装置 101内の既知データと記憶装置 109内の未知データに 関してグループ分けを行う。グループ分けの結果は、グループ生成装置 115からグ ループ情報として出力される。
[0066] 次に、ステップ 213において、サンプリング重み付け装置 102は、記憶装置 101か ら送られてきたデータに基づ ヽて重み (すなわち重み付けデータ）を生成し、ある 、 はそのような重みを読み込み、各サンプリング装置 105に送る。各サンプリング装置 1 05は、サンプリング重み付け装置 102から送られてきた重みにしたがって重み付けを 行いながら、記憶装置 101内の既知データをサンプリングし、サンプリングしたデータ を対応する学習機械 106に送る。各学習機械 106は、ステップ 214において、サンプ リング装置力 送られてきたデータに基づいて学習を実行する。
[0067] 記憶装置 101からは予測重み付け装置 103にもデータが送られており、ステップ 2 15において、予測重み付け装置 103は、記憶装置 101から送られてきたデータに基 づ 、て重み (すなわち重み付けデータ）を生成し、ある 、はそのような重みを読み込 み、それらを規則統合装置 107へ送る。規則統合装置 107は、重み付けデータに基 づいて、各学習機械 106からの学習結果に重み付けを行いながらこれらの学習結果 をまとめる。規則統合装置 107は、学習結果をまとめた結果を規則として出力装置 1 11に送る。
[0068] 次に各学習機械 106は、ステップ 216において、記憶装置 109に格納されたラベ ル値が未知のデータに対して予測を行い、その結果は、データ統合選択装置 114に 送られる。
[0069] このとき、記憶装置 101からはデータ重み付け装置 104にもデータが送られており 、ステップ 217において、データ重み付け装置 104は、記憶装置 101から送られてき たデータに基づいて重み (すなわち重み付けデータ）を生成し、あるいはそのような 重みを読み込み、それらをデータ統合選択装置 114へ送る。データ統合選択装置 1 14は、重み付けデータとグループ生成装置 115からのグループ情報とに基づき、各 学習機械 106からの予測結果に重み付けを行いながらこれらの結果をまとめ、次に 学習すべきデータを選択する。その際、データ統合選択装置 114は、グループ生成 装置 814でのグループ分けにしたがって、お互いのデータがなるべくグループに散 らばるように、次に学習すべきデータをする。
[0070] 次に、ステップ 218において、次に学習すべきデータに対する結果 (ラベル値）が、 結果入力装置 113を介し、人手によって、あるいはコンピュータにより入力される。入 力された結果は制御装置 110に送られ、制御装置 110は、その結果が入力されたデ ータを記憶装置 109から削除し、その代わりに記憶装置 101に記憶させる。以後、第 1の実施形態の場合と同様に、上述の処理が繰り返され、能動学習が進行する。
[0071] 図 18は、第 8の実施形態の能動学習システムの効果を説明している。図において、 破線 321は、従来の能動学習法を用いた場合の正解率の推移を示し、破線 322は、 第 1の実施形態の能動学習システムを用いた場合における正解率の推移を示し、実 線 323は、グループ生成装置 115によって作成されたグループ情報をもとにして次 に学習すべきデータを選択する本実施形態の能動学習システムを用いた場合にお ける正解率の推移を示して 、る。グループ生成装置によって生成されたグループの 情報をもとにして、次に学習すべきデータを選択する際にお互 、のデータがなるべく 異なったグループに属するようにデータを選択することで、正解率を早!、段階で高く することができることがゎカゝる。
[0072] なお、本実施形態は、サンプリング重み付け装置 102、予測重み付け装置 103及 びデータ重み付け装置 104のうちの一部または全部を設けない構成とすることもでき る。
[0073] 《第 9の実施形態》
次に、本発明の第 9の実施形態について、図 19を参照して説明する。図 19に示す 能動学習システムは、第 8の実施形態の能動学習システムと同様のものであるが、デ ータ選択装置 116が新たに設けられ、また、データ統合選択装置の代わりに第 1の 実施形態の場合と同様のデータ統合装置 108及び出力装置 112が設けられている 点で、第 8の実施形態のものと相違する。データ選択装置 118は、グループ生成装 置 115からのグループ情報にしたがって、各学習機械 106での予測の対象となる未 知データを記憶装置 109から選択し、選択された未知データを各学習機械 106に送 るものである。
[0074] この能動学習システムでは、グループ生成装置 115で生成されたグループは、デ ータ選択装置 116に送られる。記憶装置 109からは未知データがデータ選択装置 1 16に送られる。データ選択装置 116は、なるべく異なったグループに散らばるように 未知データが選択して、選択されたデータが、予測のために学習機械 106に送られ る。データ統合装置 108は、データ重み付け装置 904で決定された重み付けを適用 して、次に学習すべきデータを選択する。この能動学習システムは、第 8の実施形態 の能動学習システムと同様の効果を奏する。
[0075] なお、本実施形態は、サンプリング重み付け装置 102、予測重み付け装置 103及 びデータ重み付け装置 104のうちの一部または全部を設けない構成とすることもでき る。
[0076] 以上説明した能動学習システムは、それを実現するためのコンピュータプログラム を、パーソナルコンピュータやワークステーションなどのコンピュータに読み込ませ、 そのプログラムを実行させることによつても実現できる。能動学習を行うためのプログ ラム (能動学習システム用プログラム）は、磁気テープや CD— ROMなどの記録媒体 によって、あるいはネットワークを介して、コンピュータに読み込まれる。そのようなコン ピュータは、一般に、 CPUと、プログラムやデータを格納するためのハードディスク装 置と、主メモリと、キーボードやマウスなどの入力装置と、 CRTや液晶ディスプレイな どの表示装置と、磁気テープや CD - ROM等の記録媒体を読み取る読み取り装置と 、ネットワークとのインタフェースとなる通信インタフェースとから構成されている。ハー ドディスク装置、主メモリ、入力装置、表示装置、読み取り装置及び通信インタフエ一 スは、いずれも CPUに接続している。このコンピュータでは、能動学習を実行するた めのプログラムを格納した記録媒体を読み取り装置に装着し、記録媒体力 プロダラ ムを読み出してハードディスク装置に格納し、あるいはそのようなプログラムをネットヮ 一タカもダウンロードしてハードディスク装置に格納し、その後、ハードディスク装置に 格納されたプログラムを CPUが実行することにより、上述した能動学習が実行される ことになる。
したがって本発明の範疇には、上述したプログラム、このようなプログラムを格納した 記録媒体、このようなプログラムからなるプログラムプロダクトも含まれる。

Claims

請求の範囲
[1] ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶装置と、複 数の学習機械とを使用する能動学習方法であって、
前記複数の学習機械が、前記既知データに関し、前記記憶装置からそれぞれ独立 にサンプリングを行った後に学習を行う段階と、
前記学習の結果として、前記複数の学習機械の出力結果を統合して出力する段階 と、
前記複数の学習機械が、前記記憶装置から未知データを取り出して予測を行う段 階と、
前記予測の結果に基づいて次に学習すべきデータを計算して出力する段階と、 前記次に学習すべきデータに対応するラベル値を入力する段階と、
前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に追加する段階と、
を有し、
前記既知データをサンプリングするとき、前記複数の学習機械による学習の結果を 統合するとき、及び、前記複数の学習機械による予測から次に学習すべきデータを 計算するとき、のうちの少なくとも 1つにおいて、均等でない重み付けを実行する、能 動学習方法。
[2] 前記既知データ及び前記未知データにぉ 、てグループ分けを行う段階をさらに有 し、前記次に学習すべきデータを計算する際に、グループで散らばるようにデータを 選択する、請求項 1に記載の能動学習方法。
[3] 前記既知データ及び前記未知データにぉ 、てグループ分けを行う段階をさらに有 し、前記予測を行う段階において、グループで散らばるように前記各学習機械に前 記未知データを供給する、請求項 1に記載の能動学習方法。
[4] ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶装置と、 既知データの学習及び未知データの予測を行う複数の学習機械と、 前記学習機械ごとに設けられ、前記記憶装置から前記既知データをサンプリングし て対応する学習機械に入力する複数のサンプリング装置と、
前記各学習機械が前記既知データに基づいて行った学習の結果を統合する第 1 の統合手段と、
前記各学習機械が前記未知データに基づいて行った予測の結果から次に学習す べきデータを計算して出力する第 2の統合手段と、
前記次に学習すべきデータに対応するラベル値を入力する結果入力手段と、 前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に追加する制御手段と、
前記サンプリング装置ごとにサンプリング時の重みを設定するサンプリング重み付 け手段と、
を有する能動学習システム。
[5] ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶装置と、 既知データの学習及び未知データの予測を行う複数の学習機械と、
前記学習機械ごとに設けられ、前記記憶装置から前記既知データをサンプリングし て対応する学習機械に入力する複数のサンプリング装置と、
前記各学習機械が前記既知データに基づいて行った学習の結果を統合する第 1 の統合手段と、
前記各学習機械が前記未知データに基づいて行った予測の結果から次に学習す べきデータを計算して出力する第 2の統合手段と、
前記次に学習すべきデータに対応するラベル値を入力する結果入力手段と、 前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に追加する制御手段と、
前記第 1の統合手段で前記学習の結果を統合する際に用!、られる重みを設定する 予測重み付け手段と、
を有する、能動学習システム。
[6] 前記第 1の統合手段で前記学習の結果を統合する際に用!、られる重みを設定する 予測重み付け手段を有する、請求項 4に記載の能動学習システム。
[7] 前記第 2の統合手段で次に学習すべきデータを選択する際に用いられる重みを設 定するデータ重み付け手段を有する、請求項 4乃至 6の 、ずれか 1項に記載の能動 学習システム。
[8] 前記既知データ及び前記未知データにお!、てグループ分けを行うグループ生成 手段をさらに有し、
前記第 2の統合手段は前記次に学習すべきデータを計算する際に、グループで散 らばるようにデータを選択する、請求項 4乃至 7のいずれか 1項に記載の能動学習シ ステム。
[9] 前記既知 1データ及び前記未知データにお!、てグループ分けを行うグループ生成 手段と、
グループで散らばるように前記各学習機械に前記未知データを供給するデータ選択 手段とをさらに有する、請求項 4乃至 7のいずれか 1項に記載の能動学習システム。
[10] ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶装置と、 既知データの学習及び未知データの予測を行う複数の学習機械と、
前記学習機械ごとに設けられ、前記記憶装置から前記既知データをサンプリングし て対応する学習機械に入力する複数のサンプリング装置と、
前記各学習機械が前記既知データに基づいて行った学習の結果を統合する第 1 の統合手段と、
前記各学習機械が前記未知データに基づいて行った予測の結果から次に学習す べきデータを計算して出力する第 2の統合手段と、
前記次に学習すべきデータに対応するラベル値を入力する結果入力手段と、 前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に追加する制御手段と、
前記第 2の統合手段で次に学習すべきデータを選択する際に用いられる重みを設 定するデータ重み付け手段と、
を有する、能動学習システム。 [11] 前記既知データ及び前記未知データにぉ 、てグループ分けを行うグループ生成 手段をさらに有し、
前記第 2の統合手段は前記次に学習すべきデータを計算する際に、グループで散 らばるようにデータを選択する、請求項 10に記載の能動学習システム。
[12] 前記既知 1データ及び前記未知データにぉ 、てグループ分けを行うグループ生成 手段と、
グループで散らばるように前記各学習機械に前記未知データを供給するデータ選択 手段とをさらに有する、請求項 10に記載の能動学習システム。
[13] ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶装置と、 既知データの学習及び未知データの予測を行う複数の学習機械と、
前記学習機械ごとに設けられ、前記記憶装置から前記既知データをサンプリングし て対応する学習機械に入力する複数のサンプリング装置と、
前記各学習機械が前記既知データに基づいて行った学習の結果を統合する第 1 の統合手段と、
前記各学習機械が前記未知データに基づいて行った予測の結果から次に学習す べきデータを計算して出力する第 2の統合手段と、
前記次に学習すべきデータに対応するラベル値を入力する結果入力手段と、 前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に制御手段と、
前記既知データ及び前記未知データにおいてグループ分けを行うグループ生成 手段と、
を有し、前記第 2の統合手段は前記次に学習すべきデータを計算する際に、ダル ープで散らばるようにデータを選択する、能動学習システム。
[14] ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶装置と、 既知データの学習及び未知データの予測を行う複数の学習機械と、
前記学習機械ごとに設けられ、前記記憶装置から前記既知データをサンプリングし て対応する学習機械に入力する複数のサンプリング装置と、 前記各学習機械が前記既知データに基づいて行った学習の結果を統合する第 1 の統合手段と、
前記各学習機械が前記未知データに基づいて行った予測の結果から次に学習す べきデータを計算して出力する第 2の統合手段と、
前記次に学習すべきデータに対応するラベル値を入力する結果入力手段と、 前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に制御手段と、
前記既知データ及び前記未知データにおいてグループ分けを行うグループ生成 手段と、
グループで散らばるように前記各学習機械に前記未知データを供給するデータ選 択手段と、
を有する、能動学習システム。
コンピュータを、
ラベル値が既知のデータを既知データとしラベル値が未知のデータを未知データ として前記既知データの集合と前記未知データの集合とを格納する記憶手段、 前記記憶手段から既知データをサンプリングするとともに既知データの学習及び未 知データの予測を行う複数の学習手段、
前記各学習機械が前記既知データに基づいて行った学習の結果を統合する第 1 の統合手段、
前記各学習手段が前記未知データに基づいて行った予測の結果から次に学習す べきデータを計算して出力する第 2の統合手段、
前記次に学習すべきデータに対応するラベル値を入力する結果入力手段、 前記ラベル値が入力されたデータを前記未知データの集合から削除して前記既知 データの集合に追加する制御手段、
前記サンプリング装置でのサンプリング時の重み、前記第 1の統合手段で用 、られ る重み、及び前記第 2の統合手段で用いられる重みのうちの少なくとも 1つの重みを 設定する重み付け手段、 として機能させるプログラム。
[16] 前記コンピュータをさらに、前記既知データ及び前記未知データにおいてグループ 分けを行うグループ生成手段として機能させ、前記第 2の統合手段において前記次 に学習すべきデータを計算する際に、グループで散らばるようにデータが選択される ようにする、請求項 15に記載のプログラム。
[17] 前記コンピュータをさらに、
前記既知データ及び前記未知データにおいてグループ分けを行うグループ生成 手段、
グループで散らばるように前記各学習機械に前記未知データを供給するデータ選 択手段、
として機能させる請求項 15に記載のプログラム。
[18] コンピュータが読み取り可能な記録媒体であって、請求項 15乃至 17のいずれか 1 項に記載のプログラムを格納した記録媒体。
PCT/JP2004/014917 2003-11-17 2004-10-08 能動学習方法およびシステム WO2005048184A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
GB0611998A GB2423395A (en) 2003-11-17 2004-10-08 Active learning method and system
US10/579,336 US7483864B2 (en) 2003-11-17 2004-10-08 Active learning method and system
JP2005515402A JPWO2005048184A1 (ja) 2003-11-17 2004-10-08 能動学習方法およびシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-386702 2003-11-17
JP2003386702 2003-11-17

Publications (1)

Publication Number Publication Date
WO2005048184A1 true WO2005048184A1 (ja) 2005-05-26

Family

ID=34587401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/014917 WO2005048184A1 (ja) 2003-11-17 2004-10-08 能動学習方法およびシステム

Country Status (4)

Country Link
US (1) US7483864B2 (ja)
JP (2) JPWO2005048184A1 (ja)
GB (1) GB2423395A (ja)
WO (1) WO2005048184A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117343A (ja) * 2006-11-08 2008-05-22 Nec Corp 学習処理装置
WO2008072459A1 (ja) * 2006-12-11 2008-06-19 Nec Corporation 能動学習システム、能動学習方法、及び能動学習用プログラム
JP2010231768A (ja) * 2009-03-27 2010-10-14 Mitsubishi Electric Research Laboratories Inc マルチクラス分類器をトレーニングする方法
JP5287251B2 (ja) * 2006-11-24 2013-09-11 日本電気株式会社 分子間相互作用予測装置の性能評価システム、方法、及びプログラム
JP2021012494A (ja) * 2019-07-05 2021-02-04 公立大学法人会津大学 ラベリングプログラム、ラベリング装置及びラベリング方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645288B2 (ja) * 2005-04-28 2011-03-09 日本電気株式会社 能動学習方法および能動学習システム
WO2008047835A1 (fr) * 2006-10-19 2008-04-24 Nec Corporation Système, procédé et programme d'étude active
US20080275775A1 (en) * 2007-05-04 2008-11-06 Yahoo! Inc. System and method for using sampling for scheduling advertisements in an online auction
US8086549B2 (en) * 2007-11-09 2011-12-27 Microsoft Corporation Multi-label active learning
JP2011203991A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9269053B2 (en) * 2011-04-28 2016-02-23 Kroll Ontrack, Inc. Electronic review of documents
JP6362893B2 (ja) * 2014-03-20 2018-07-25 株式会社東芝 モデル更新装置及びモデル更新方法
CN105468887B (zh) * 2014-09-10 2019-03-15 华邦电子股份有限公司 数据分析系统以及方法
US10387430B2 (en) 2015-02-26 2019-08-20 International Business Machines Corporation Geometry-directed active question selection for question answering systems
US10630560B2 (en) * 2015-04-02 2020-04-21 Behavox Ltd. Method and user interfaces for monitoring, interpreting and visualizing communications between users
US11915113B2 (en) * 2019-03-07 2024-02-27 Verint Americas Inc. Distributed system for scalable active learning
GB202001468D0 (en) * 2020-02-04 2020-03-18 Tom Tom Navigation B V Navigation system
US11501165B2 (en) 2020-03-04 2022-11-15 International Business Machines Corporation Contrastive neural network training in an active learning environment
JP7280921B2 (ja) * 2021-06-15 2023-05-24 株式会社日立製作所 計算機システム、推論方法、及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6158432A (en) * 1995-12-08 2000-12-12 Cardiopulmonary Corporation Ventilator control system and method
US6463930B2 (en) * 1995-12-08 2002-10-15 James W. Biondi System for automatically weaning a patient from a ventilator, and method thereof
JPH1116754A (ja) 1997-06-20 1999-01-22 Tokin Corp 積層コイル素子
WO2002095534A2 (en) * 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
WO2000036426A2 (de) * 1998-12-16 2000-06-22 Siemens Aktiengesellschaft Verfahren und anordnung zur vorhersage von messdaten anhand vorgegebener messdaten
US6895081B1 (en) * 1999-04-20 2005-05-17 Teradyne, Inc. Predicting performance of telephone lines for data services
US6487276B1 (en) * 1999-09-30 2002-11-26 Teradyne, Inc. Detecting faults in subscriber telephone lines
JP2001229026A (ja) 1999-12-09 2001-08-24 Nec Corp 知識発見方式
JP3855582B2 (ja) 2000-03-06 2006-12-13 Ｋｄｄｉ株式会社 出力状態判定機能を有する並列ニューラルネットワーク処理システム
DE10134229A1 (de) * 2000-08-17 2002-02-28 Ibm Verfahren und System zum Ermitteln von Abweichungen in Datentabellen
MY137183A (en) * 2001-03-16 2009-01-30 Dow Global Technologies Inc Method of making interpolymers and products made therefrom
US7152029B2 (en) * 2001-07-18 2006-12-19 At&T Corp. Spoken language understanding that incorporates prior knowledge into boosting
US7143046B2 (en) * 2001-12-28 2006-11-28 Lucent Technologies Inc. System and method for compressing a data table using models
US7188117B2 (en) * 2002-05-17 2007-03-06 Xerox Corporation Systems and methods for authoritativeness grading, estimation and sorting of documents in large heterogeneous document collections
US7167871B2 (en) * 2002-05-17 2007-01-23 Xerox Corporation Systems and methods for authoritativeness grading, estimation and sorting of documents in large heterogeneous document collections
US7328146B1 (en) * 2002-05-31 2008-02-05 At&T Corp. Spoken language understanding that incorporates prior knowledge into boosting
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
US7282723B2 (en) * 2002-07-09 2007-10-16 Medispectra, Inc. Methods and apparatus for processing spectral data for use in tissue characterization
US7309867B2 (en) * 2003-04-18 2007-12-18 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
WO2004071455A2 (en) * 2003-02-13 2004-08-26 Sun Pharmaceuticals Corporation In vitro prediction of sunscreen pfa values

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABE.UMAMIZUKA ET AL.: "Nodo gakushu to hakken kagaku", KYORITSU SHUPPAN CO., LTD., 5 May 2000 (2000-05-05), MORISHITA.MIYANO, pages 64 - 72, XP002987087 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117343A (ja) * 2006-11-08 2008-05-22 Nec Corp 学習処理装置
JP5287251B2 (ja) * 2006-11-24 2013-09-11 日本電気株式会社 分子間相互作用予測装置の性能評価システム、方法、及びプログラム
WO2008072459A1 (ja) * 2006-12-11 2008-06-19 Nec Corporation 能動学習システム、能動学習方法、及び能動学習用プログラム
JP5187635B2 (ja) * 2006-12-11 2013-04-24 日本電気株式会社 能動学習システム、能動学習方法、及び能動学習用プログラム
EP2096585A4 (en) * 2006-12-11 2017-11-15 NEC Corporation Active studying system, active studying method and active studying program
JP2010231768A (ja) * 2009-03-27 2010-10-14 Mitsubishi Electric Research Laboratories Inc マルチクラス分類器をトレーニングする方法
JP2021012494A (ja) * 2019-07-05 2021-02-04 公立大学法人会津大学 ラベリングプログラム、ラベリング装置及びラベリング方法
JP7333496B2 (ja) 2019-07-05 2023-08-25 公立大学法人会津大学 ラベリングプログラム、ラベリング装置及びラベリング方法

Also Published As

Publication number Publication date
GB0611998D0 (en) 2006-07-26
JP2009104632A (ja) 2009-05-14
JPWO2005048184A1 (ja) 2007-05-31
US7483864B2 (en) 2009-01-27
GB2423395A (en) 2006-08-23
US20070094158A1 (en) 2007-04-26

Similar Documents

Publication Publication Date Title
WO2005048184A1 (ja) 能動学習方法およびシステム
US8825573B2 (en) Controlling quarantining and biasing in cataclysms for optimization simulations
Wang et al. Differential Evolution Algorithm with Self‐Adaptive Population Resizing Mechanism
Kim et al. Genetic algorithm to improve SVM based network intrusion detection system
CN110168578A (zh) 具有任务特定路径的多任务神经网络
JP5353443B2 (ja) データ分類器作成装置、データ分類装置、データ分類器作成方法、データ分類方法、データ分類器作成プログラム、データ分類プログラム
US11037061B2 (en) Adaptive cataclysms in genetic algorithms
Pappa et al. Attribute selection with a multi-objective genetic algorithm
US11562294B2 (en) Apparatus and method for analyzing time-series data based on machine learning
JP7232122B2 (ja) 物性予測装置及び物性予測方法
Bäck et al. Evolutionary algorithms for parameter optimization—thirty years later
Mahanta et al. Evolutionary data driven modeling and multi objective optimization of noisy data set in blast furnace iron making process
CN107169029B (zh) 一种推荐方法及装置
Huang et al. Harnessing deep learning for population genetic inference
CN106919504B (zh) 一种基于ga算法的测试数据进化生成方法
Zhao et al. Improved backtracking search algorithm based on population control factor and optimal learning strategy
CN112836794B (zh) 一种图像神经架构的确定方法、装置、设备及存储介质
Loni et al. Learning activation functions for sparse neural networks
Chen et al. On balancing neighborhood and global replacement strategies in MOEA/D
WO2022162839A1 (ja) 学習装置、学習方法、及び、記録媒体
Sagawa et al. Learning variable importance to guide recombination
Chen et al. A hybrid replacement strategy for MOEA/D
Podgorelec et al. A multi-population genetic algorithm for inducing balanced decision trees on telecommunications churn data
Chen et al. Composing Synergistic Macro Actions for Reinforcement Learning Agents
US20230281496A1 (en) Equilibrium solution searching method and information processing apparatus

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005515402

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007094158

Country of ref document: US

Ref document number: 10579336

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 0611998.6

Country of ref document: GB

Ref document number: 0611998

Country of ref document: GB

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10579336

Country of ref document: US