WO2022244059A1 - 情報処理システム、情報処理方法、及び記録媒体 - Google Patents

情報処理システム、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2022244059A1
WO2022244059A1 PCT/JP2021/018619 JP2021018619W WO2022244059A1 WO 2022244059 A1 WO2022244059 A1 WO 2022244059A1 JP 2021018619 W JP2021018619 W JP 2021018619W WO 2022244059 A1 WO2022244059 A1 WO 2022244059A1
Authority
WO
WIPO (PCT)
Prior art keywords
pseudo
label
evaluation
data
model
Prior art date
Application number
PCT/JP2021/018619
Other languages
English (en)
French (fr)
Inventor
亮 高本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/018619 priority Critical patent/WO2022244059A1/ja
Priority to JP2023522008A priority patent/JPWO2022244059A1/ja
Publication of WO2022244059A1 publication Critical patent/WO2022244059A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to the technical fields of information processing systems, information processing methods, and recording media.
  • Patent Literature 1 discloses a technique of assigning a positive label or a negative label to a feature vector of unlabeled pixels.
  • Patent Literature 2 discloses a technique of generating training data with pseudo-labels by calculating a score using a ratio of labels with a short distance, etc., and setting the score to unlabeled data.
  • Patent Document 3 discloses a technology for learning a conversion rule from the source domain to the target domain using labeled data of the source domain and unlabeled data of the target domain.
  • the purpose of this disclosure is to improve the technology disclosed in prior art documents.
  • One aspect of the information processing system disclosed herein uses a data input means for inputting labeled data and unlabeled data, and a teacher model trained using the labeled data to apply a pseudo-label to the unlabeled data. and an evaluation model trained using at least one of the labeled data and the unlabeled data to evaluate the pseudo-label given to the unlabeled data, and a predetermined
  • a student model is learned using pseudo-label evaluation means for outputting the pseudo-label that meets the evaluation criteria as an evaluation pseudo-label, and pseudo-label data obtained by adding the evaluation pseudo-label to the labeled data and the unlabeled data. and model output means for outputting the learned student model.
  • One aspect of the information processing method of this disclosure is to input labeled data and unlabeled data, use a teacher model trained using the labeled data, give a pseudo label to the unlabeled data, The pseudo-label given to the unlabeled data is evaluated using an evaluation model trained using at least one of the labeled data and the unlabeled data, and the pseudo-label that meets a predetermined evaluation criterion. is output as an evaluation pseudo-label, a student model is learned using the pseudo-label data obtained by assigning the evaluation pseudo-label to the labeled data and the unlabeled data, and the learned student model is output.
  • labeled data and unlabeled data are input to a computer, and a pseudo-label is given to the unlabeled data using a teacher model trained using the labeled data. and using an evaluation model learned using at least one of the labeled data and the unlabeled data, the pseudo-label given to the unlabeled data is evaluated, and the method that satisfies a predetermined evaluation criterion is evaluated.
  • a computer program is recorded that causes the processing method to be performed.
  • FIG. 2 is a block diagram showing the hardware configuration of the information processing system according to the first embodiment
  • FIG. 1 is a block diagram showing a functional configuration of an information processing system according to a first embodiment
  • FIG. 4 is a flowchart showing the flow of operations of the information processing system according to the first embodiment
  • It is a block diagram which shows the functional structure of the information processing system which concerns on 2nd Embodiment.
  • 9 is a flowchart showing the flow of operations of an information processing system according to the second embodiment
  • FIG. 11 is a block diagram showing a method of learning an evaluation model in an information processing system according to a third embodiment
  • FIG. 14 is a block diagram showing a method of learning an evaluation model in an information processing system according to a fourth embodiment
  • FIG. 14 is a block diagram showing a method of learning an evaluation model in an information processing system according to a fifth embodiment;
  • FIG. 14 is a block diagram showing a method of learning an evaluation model in an information processing system according to a sixth embodiment;
  • FIG. 21 is a block diagram showing the configuration of a model evaluation unit in an information processing system according to a seventh embodiment;
  • FIG. FIG. 22 is a block diagram showing a functional configuration of an information processing system according to an eighth embodiment;
  • FIG. FIG. 21 is a flow chart showing the flow of operations of an information processing system according to the eighth embodiment;
  • FIG. FIG. 22 is a block diagram showing a functional configuration of an information processing system according to a ninth embodiment;
  • FIG. FIG. 21 is a flow chart showing the flow of operations of an information processing system according to a ninth embodiment;
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • FIG. 1 An information processing system according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • FIG. 1 is a block diagram showing the hardware configuration of an information processing system according to the first embodiment.
  • an information processing system 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device .
  • Information processing system 10 may further include an input device 15 and an output device 16 .
  • Processor 11 , RAM 12 , ROM 13 , storage device 14 , input device 15 and output device 16 are connected via data bus 17 .
  • the processor 11 reads a computer program.
  • processor 11 is configured to read a computer program stored in at least one of RAM 12, ROM 13 and storage device .
  • the processor 11 may read a computer program stored in a computer-readable recording medium using a recording medium reader (not shown).
  • the processor 11 may acquire (that is, read) a computer program from a device (not shown) arranged outside the information processing system 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15 and the output device 16 by executing the read computer program.
  • the processor 11 implements functional blocks for executing processing related to machine learning.
  • the processor 11 may be configured as, for example, a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), DSP (Demand-Side Platform), and ASIC (Application Specific Integrate).
  • the processor 11 may be configured with one of these, or may be configured to use a plurality of them in parallel.
  • the RAM 12 temporarily stores computer programs executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 while the processor 11 is executing the computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores computer programs executed by the processor 11 .
  • the ROM 13 may also store other fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data that the information processing system 10 saves for a long period of time.
  • Storage device 14 may act as a temporary storage device for processor 11 .
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives input instructions from the user of the information processing system 10 .
  • Input device 15 may include, for example, at least one of a keyboard, mouse, and touch panel.
  • the output device 16 is a device that outputs information about the information processing system 10 to the outside.
  • the output device 16 may be a display device (eg, display) capable of displaying information regarding the information processing system 10 .
  • FIG. 2 is a block diagram showing the functional configuration of the information processing system according to the first embodiment.
  • the information processing system 10 includes a labeled data input unit 110, an unlabeled data input unit 120, and a teacher model learning unit as processing blocks for realizing its functions. 130 , a pseudo-label generation unit 140 , a pseudo-label evaluation unit 150 , a student model learning unit 160 and a model output unit 170 .
  • Each of the labeled data input unit 110, the unlabeled data input unit 120, the teacher model learning unit 130, the pseudo label generating unit 140, the pseudo label evaluating unit 150, the student model learning unit 160, and the model output unit 170 for example, It may be implemented by processor 11 (see FIG. 1).
  • the labeled data input unit 110 is configured so that labeled data can be input.
  • the unlabeled data input section 120 is configured to be able to input unlabeled data.
  • the “label” is information indicating the correct answer assigned to the data (so-called correct answer label). is not assigned.
  • An example of labeled data and unlabeled data is image data.
  • the image data may include the eye area and face area of the living body.
  • the image data may be data including a plurality of consecutive images in time series (that is, moving image data separated by a predetermined period of time). Note that although the configuration in which labeled data and unlabeled data are input from separate input units is described here, labeled data and unlabeled data can be input from one common input unit. good.
  • labeled data input section 110 and unlabeled data input section 120 one data input section capable of inputting both labeled data and unlabeled data may be provided.
  • the teacher model learning unit 130 is configured to be able to learn a teacher model using the labeled data input to the labeled data input unit 110.
  • the training model here is a model for generating pseudo-labels to be assigned to unlabeled data.
  • a “pseudo-label” is a pseudo-correct label generated by a model trained on labeled data. Since existing techniques can be appropriately adopted for a specific learning method of the teacher model, detailed description thereof will be omitted here.
  • Consistency Regularization may be used to improve accuracy.
  • the information processing system 10 according to the first embodiment may not include the teacher model learning unit 130 . In this case, learning of a teacher model using labeled data may be performed outside the system, and the learned teacher model may be input to the information processing system 10 .
  • the pseudo-label generating unit 140 is configured to be able to generate pseudo-labels to be assigned to unlabeled data using the teacher model learned by the teacher model learning unit 130. In addition, the pseudo-label generator 140 is configured to be able to assign the generated pseudo-label to unlabeled data.
  • the pseudo-label evaluation unit 150 is configured to be able to evaluate the pseudo-labels generated by the pseudo-label generation unit 140. Specifically, the pseudo-label evaluation unit 150 is configured to be able to evaluate whether or not the pseudo-label satisfies a predetermined evaluation criterion. Note that the “predetermined evaluation criteria” here are criteria for determining whether the quality of the pseudo-label is sufficiently high, and are set in advance. The pseudo-label evaluation unit 150 is configured to output pseudo-labels (evaluation pseudo-labels) that meet a predetermined evaluation criterion, but not to output pseudo-labels that do not meet the predetermined evaluation criterion.
  • the pseudo-label evaluation unit 150 may evaluate the pseudo-label as being of low quality and not output it. In addition, the pseudo-label evaluating unit 150 may evaluate the pseudo-label as high quality and output it if the error is not more than twice the average error in the test set of labeled data.
  • the pseudo-label evaluation unit 150 is configured to evaluate pseudo-labels using an evaluation model learned using at least one of labeled data and unlabeled data. A method of learning the evaluation model will be described in detail in another embodiment described later.
  • the student model learning unit 160 uses the labeled data and the unlabeled data (hereinafter referred to as “pseudo-label data” as appropriate) to which the evaluation pseudo-labels output from the pseudo-label evaluation unit 150 are used to create a student model. Configured to be learnable. Note that the student model here is a model for generating pseudo-labels to be assigned to unlabeled data, like the teacher model. As for the specific learning method of the student model, existing techniques can be appropriately adopted, so detailed description thereof will be omitted here. When learning the student model, for example, existing distillation techniques may be used in combination.
  • the model output unit 170 is configured to be able to output a learned student model. Also, the model output unit 170 may be configured to be capable of outputting a teacher model and an evaluation model in addition to the learned student model.
  • FIG. 3 is a flow chart showing the operation flow of the information processing system according to the first embodiment.
  • the teacher model learning unit 130 uses the labeled data input from the labeled data input unit 110 to generate teacher A model is learned (step S101).
  • the pseudo-label generation unit 140 generates pseudo-labels using the trained teacher model and assigns them to the unlabeled data input from the unlabeled data input unit 120 (step S102).
  • the pseudo-label evaluation unit 150 learns the evaluation model (step S103). Then, the pseudo-label evaluating unit 150 removes low-quality pseudo-labels generated by the pseudo-label generating unit 140 (step S104). In other words, the pseudo-label evaluation unit 150 outputs only high-quality evaluation pseudo-labels.
  • the student model learning unit 160 learns a student model using the labeled data and the pseudo-labeled data to which the evaluation pseudo-label is assigned (step S105). After that, the model output unit 170 outputs the trained model (step S106).
  • pseudo-labels As described with reference to FIGS. 1 to 3, in the information processing system 10 according to the first embodiment, by evaluating generated pseudo-labels, high-quality pseudo-labels (that is, pseudo-labels output as evaluation results) ) is used for learning. In this way, it becomes possible to assign appropriate pseudo-labels to unlabeled data. More specifically, when dealing with regression problems, pseudo-labels can be given to unlabeled data with high accuracy. Therefore, for example, it is possible to reduce the cost of labeling unlabeled data.
  • FIG. 4 An information processing system 10 according to the second embodiment will be described with reference to FIGS. 4 and 5.
  • FIG. The second embodiment may differ from the above-described first embodiment only in a part of configuration and operation, and the other parts may be the same as those of the first embodiment. Therefore, in the following, portions different from the already described first embodiment will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 4 is a block diagram showing the functional configuration of an information processing system according to the second embodiment.
  • symbol is attached
  • the information processing system 10 includes a labeled data input unit 110, an unlabeled data input unit 120, and a teacher model learning unit as processing blocks for realizing its functions. 130 , a pseudo-label generation unit 140 , a pseudo-label evaluation unit 150 , a student model learning unit 160 , a model output unit 170 and a domain conversion unit 180 . That is, the information processing system 10 according to the second embodiment further includes a domain conversion unit 180 in addition to the configuration of the first embodiment (see FIG. 2).
  • the domain conversion unit 180 is configured to convert labeled data before input to the labeled data input unit 110 and unlabeled data before input to the unlabeled data input unit 120 into a common domain. It is That is, the domain conversion unit 180 is configured to be able to execute processing for aligning the domain of labeled data and the domain of unlabeled data. Note that the converted domain may be a completely different domain from the original domain. That is, labeled data and unlabeled data may be transformed into a third domain different from their original domain.
  • the processing performed by the domain conversion unit 180 may be image conversion processing when the data is image data.
  • the domain transformation unit 180 may perform a process of applying a Laplacian filter to the image to transform the original data into edge-detected data of the image.
  • the domain conversion unit 180 may convert the domain by Style Transfer (eg, AdaIN).
  • the domain converter 180 may convert the domain by changing illumination or resolution.
  • the domain conversion unit 180 may extract the feature amount of the data and calculate the distance between domains from the feature amount using Kullback-Leibler divergence.
  • FIG. 5 is a flow chart showing the operation flow of the information processing system according to the second embodiment.
  • the same reference numerals are assigned to the same processes as those shown in FIG.
  • the domain conversion unit 180 first converts labeled data and unlabeled data into a common domain (step S201).
  • the labeled data and unlabeled data after domain conversion are input to the labeled data input section 110 and the unlabeled data input section 120, respectively.
  • the teacher model learning unit 130 learns a teacher model using the labeled data input from the labeled data input unit 110 (step S101). Then, the pseudo-label generation unit 140 generates pseudo-labels using the trained teacher model and assigns them to the unlabeled data input from the unlabeled data input unit 120 (step S102).
  • the pseudo-label evaluation unit 150 learns the evaluation model (step S103). Then, the pseudo-label evaluating unit 150 removes low-quality pseudo-labels generated by the pseudo-label generating unit 140 (step S104).
  • the student model learning unit 160 learns a student model using the labeled data before domain conversion and the pseudo-labeled data obtained by adding evaluation pseudo-labels to the unlabeled data before domain conversion (step S202). .
  • the model output unit 170 outputs the trained model (step S106).
  • labeled data and unlabeled data are converted into domains common to each other.
  • the labeled data and the unlabeled data have different domains, it is possible to perform appropriate learning.
  • it is no longer necessary to use only data having a common domain and for example, it is possible to easily increase the number of data used for learning.
  • FIG. 10 An information processing system 10 according to the third embodiment will be described with reference to FIG. Note that the third embodiment shows an example of a method of learning an evaluation model, and the configuration, operation, etc. of the system may be the same as those of the first and second embodiments. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 6 is a block diagram showing an evaluation model learning method in the information processing system according to the third embodiment.
  • the pseudo-labeled unlabeled data (specifically, data generated by the pseudo-label generation unit 140) is supplied to the pseudo-label evaluation unit 150.
  • unlabeled data with pseudo-labels is input.
  • the pseudo-label evaluation unit 150 learns the evaluation model 151 using the unlabeled data to which the pseudo-label data is assigned. Note that the pseudo-label evaluation unit 150 may perform learning using the pseudo-labels themselves in addition to the unlabeled data to which the pseudo-labels are assigned.
  • the number of epochs is preferably less than 10 to prevent overfitting.
  • the number of epochs may be set, for example, based on the size of the dataset or batch size used for learning. According to the research conducted by the inventor of the present application, it has been found that appropriate learning can be performed in many cases by setting the number of epochs to one.
  • the evaluation model 151 is learned using unlabeled data to which pseudo-labels are assigned. In this way, the evaluation model 151 can be learned appropriately, so that pseudo-label evaluation can be performed appropriately.
  • FIG. 7 is a block diagram showing an evaluation model learning method in the information processing system according to the fourth embodiment.
  • the pseudo-label evaluation unit 150 receives labeled data and pseudo-labeled unlabeled data (specifically, pseudo-label generation The pseudo-labeled unlabeled data generated in section 140) is input. Then, the pseudo-labeled evaluation unit 150 learns the evaluation model 151 using the labeled data and the unlabeled data to which the pseudo-labeled data is added. More specifically, the pseudo-label evaluation unit 150 first learns an evaluation model using labeled data. Note that the number of labeled data used for this learning may be relatively small. After that, the pseudo-label evaluation unit 150 learns the evaluation model 151 using the unlabeled data to which the pseudo-labels are assigned. A relatively large number of unlabeled data may be used for this learning.
  • the evaluation model 151 is first learned with labeled data, and then learned with unlabeled data to which pseudo-labels are added. In this way, if the labeled data is first used for learning, the evaluation model can be more appropriately compared to the case where the labeled data is not used (i.e., the case where only unlabeled data is used for learning). 151 can be learned. Therefore, pseudo-labels can be evaluated appropriately.
  • the fifth embodiment shows an example of a method of learning an evaluation model in the same manner as in the above-described third and fourth embodiments, and the configuration and operation of the system are the same as those in the first and second embodiments. may be identical. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 8 is a block diagram showing an evaluation model learning method in the information processing system according to the fifth embodiment.
  • labeled data is input to the pseudo-label evaluation unit 150 .
  • the pseudo-label evaluation unit 150 learns the evaluation model 151 using the labeled data. It is preferable that the number of labeled data used for this learning is relatively large.
  • the evaluation model 151 is learned in the same way as the teacher model in the teacher model learning unit 130 (see FIG. 2). Therefore, in this case, there are two teacher models. Specifically, the configuration is such that a pseudo-label generated by one teacher model is evaluated by another teacher model.
  • the evaluation model 151 is learned using labeled data. In this way, the evaluation model 151 can be learned appropriately, so that pseudo-label evaluation can be performed appropriately.
  • FIG. 10 An information processing system 10 according to the sixth embodiment will be described with reference to FIG. Note that the sixth embodiment shows an example of a method of learning an evaluation model in the same manner as in the third to fifth embodiments described above, and the configuration and operation of the system are the same as those in the first and second embodiments. may be identical. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 9 is a block diagram showing an evaluation model learning method in the information processing system according to the sixth embodiment.
  • the output of the teacher model (in other words, the label estimated by the teacher model from the unlabeled data) and the label Yes data labels and are entered.
  • the pseudo-label evaluation unit 150 first receives only the labeled data, calculates the difference between the output of the teacher model and the label of the labeled data, and learns the evaluation model 151 .
  • the pseudo-label evaluation unit 150 evaluates the pseudo-label using the difference value described above as quality. Specifically, the pseudo-label evaluation unit 150 inputs pseudo-label data to the trained evaluation model 151, estimates the difference between the estimated (pseudo) label and the true label, and calculates a large difference value. are evaluated as poor estimation accuracy of the teacher model, and those with small calculated difference values are evaluated as good estimation accuracy of the teacher model.
  • the evaluation model 151 is learned using the difference between the output of the teacher model and the label of the labeled data. In this way, the evaluation model 151 can be learned appropriately, so that pseudo-label evaluation can be performed appropriately.
  • the seventh embodiment shows a configuration example of the pseudo-label evaluation unit 150, and the system configuration and various operations may be the same as those of the first to sixth embodiments described above. Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 10 is a block diagram showing the configuration of the model evaluation unit in the information processing system according to the seventh embodiment.
  • the pseudo-label evaluation unit 150 is configured with a plurality of evaluation models 151 .
  • the pseudo-label evaluation unit 150 includes three evaluation models 151a, 151b, and 151c is given here, the number is not particularly limited.
  • the pseudo-label evaluation unit 150 may have two evaluation models 151 or four or more evaluation models 151 .
  • the multiple evaluation models 151 are models learned separately. However, the plurality of evaluation models 151 may be learned using a common data set, or may be learned using different data sets. Note that the plurality of evaluation models 151 may perform learning using data to which perturbation is applied. The method of applying perturbation to data is not particularly limited.
  • the plurality of evaluation models 151 may be learned by the learning methods described in the third to sixth embodiments.
  • each of the plurality of evaluation models 151 may be learned by different learning methods.
  • the evaluation model 151a is learned by the learning method described in the third embodiment (that is, the method of learning using unlabeled data: see FIG. 6)
  • the evaluation model 151b is learned by the learning method described in the fourth embodiment ( That is, the method of learning using labeled data and unlabeled data: see FIG. 7)
  • the evaluation model 151c is learned by the learning method described in the fifth embodiment (i.e., the method of learning using labeled data: (see FIG. 8).
  • the pseudo-label evaluation unit 150 evaluates pseudo-labels using the plurality of evaluation models 151 described above. Specifically, the pseudo-label evaluation unit 150 first outputs evaluation results from each of the plurality of evaluation models 151, and outputs one final evaluation result according to the plurality of evaluation results. More specifically, the evaluation result of each of the plurality of evaluation models 151 is determined by majority or the average value is calculated, and the overall evaluation result is output.
  • the information processing system 10 uses a plurality of evaluation models 151 to evaluate pseudo-labels. In this way, pseudo-labels can be evaluated more appropriately than when evaluation is performed using only one evaluation model.
  • FIG. 11 and 12 An information processing system 10 according to the eighth embodiment will be described with reference to FIGS. 11 and 12.
  • FIG. 10 It should be noted that the eighth embodiment may differ from the above-described first to seventh embodiments only in a part of the configuration and operation, and the other parts may be the same as those of the first to seventh embodiments. . Therefore, in the following, portions different from the already described embodiments will be described in detail, and descriptions of other overlapping portions will be omitted as appropriate.
  • FIG. 11 is a block diagram showing the functional configuration of an information processing system according to the eighth embodiment.
  • symbol is attached
  • the information processing system 10 includes a labeled data input unit 110, an unlabeled data input unit 120, and a teacher model learning unit as processing blocks for realizing its functions. 130 , a pseudo-label generation unit 140 , a pseudo-label evaluation unit 150 , a student model learning unit 160 and a model output unit 170 .
  • the labeled data input unit 110, the unlabeled data input unit 120, the teacher model learning unit 130, the pseudo label generation unit 140, and the pseudo label evaluation unit 150 are It is configured as a label learning unit 200 .
  • Pseudo label learning unit 200 repeats learning of a teacher model by teacher model learning unit 130, generation of pseudo labels by pseudo label generation unit 140, and pseudo label evaluation by pseudo label evaluation unit 150, thereby generating pseudo labels. It is configured so that learning about labels can be performed more appropriately.
  • the pseudo-label learning unit 200 is configured to reflect the evaluation result of the pseudo-label evaluation unit 150 and execute the learning of the teacher model. For example, the error calculated by the pseudo-label evaluation unit 150 is propagated back to the teacher model learning unit 130 so that the teacher model can be re-learned.
  • the pseudo-label learning unit 200 is set to repeat a series of processes until a predetermined number of times is reached. The predetermined number of times may be a value obtained by prior simulation or the like.
  • FIG. 12 is a flow chart showing the operation flow of the information processing system according to the eighth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the teacher model learning unit 130 uses the labeled data input from the labeled data input unit 110 to generate teacher A model is learned (step S101).
  • the pseudo-label generation unit 140 generates pseudo-labels using the trained teacher model and assigns them to the unlabeled data input from the unlabeled data input unit 120 (step S102).
  • the pseudo-label evaluation unit 150 learns the evaluation model (step S103). Then, the pseudo-label evaluating unit 150 removes low-quality pseudo-labels generated by the pseudo-label generating unit 140 (step S104).
  • the information processing system 10 determines whether or not the series of processes up to this point has been repeated a predetermined number of times (step S701). Then, when it is determined that the series of processes has not been repeated a predetermined number of times (step S701: NO), the evaluation result of the pseudo-label evaluation unit 150 is reflected (step S702), and the process is executed again from step S101. .
  • step S701 YES
  • the final evaluation pseudo-label is output, and the student model learning unit 160 applies the labeled data and the evaluation pseudo-label.
  • a student model is learned using the obtained pseudo-label data (step S105).
  • the model output unit 170 outputs the trained model (step S106).
  • the pseudo-label learning unit 200 learns about pseudo-labels (specifically, learns a teacher model, generates pseudo-labels, and pseudo-label evaluation) are performed repeatedly. In this way, each model is learned to be in a more appropriate state, so that a more appropriate pseudo-label (that is, an evaluation pseudo-label) can be output.
  • FIG. 10 An information processing system 10 according to the ninth embodiment will be described with reference to FIGS. 13 and 14.
  • FIG. 13 is a block diagram showing the functional configuration of an information processing system according to the ninth embodiment.
  • symbol is attached
  • the information processing system 10 includes a labeled data input unit 110, an unlabeled data input unit 120, and a teacher model learning unit as processing blocks for realizing its functions. 130 , a pseudo-label generation unit 140 , a pseudo-label evaluation unit 150 , a student model learning unit 160 , a model output unit 170 and a model adjustment unit 190 . That is, the information processing system 10 according to the ninth embodiment further includes a model adjustment unit 190 in addition to the configuration of the first embodiment (see FIG. 2).
  • the model adjustment unit 190 is configured so that some layers of a trained model can be adjusted using labeled data. Specifically, the model adjustment unit 190 is configured to be able to perform Fine Tuning on the learned model.
  • FIG. 14 is a flow chart showing the operation flow of the information processing system according to the ninth embodiment.
  • the same reference numerals are assigned to the same processes as those shown in FIG.
  • the teacher model learning unit 130 uses the labeled data input from the labeled data input unit 110 to generate teacher A model is learned (step S101).
  • the pseudo-label generation unit 140 generates pseudo-labels using the trained teacher model and assigns them to the unlabeled data input from the unlabeled data input unit 120 (step S102).
  • the pseudo-label evaluation unit 150 learns the evaluation model (step S103). Then, the pseudo-label evaluating unit 150 removes low-quality pseudo-labels generated by the pseudo-label generating unit 140 (step S104).
  • the student model learning unit 160 learns a student model using the labeled data and the pseudo-labeled data to which the evaluation pseudo-label is assigned (step S105).
  • the model adjustment unit 190 adjusts the learned model using the labeled data (step S801).
  • the model output unit 170 outputs the adjusted learned model (step S106).
  • the information processing system 10 adjusts the model before outputting the trained model. In this way, it is possible to make the output learned model more suitable.
  • a processing method of recording a program for operating the configuration of each embodiment so as to realize the functions of each embodiment described above on a recording medium, reading the program recorded on the recording medium as a code, and executing it on a computer is also implemented. Included in the category of form. That is, a computer-readable recording medium is also included in the scope of each embodiment. In addition to the recording medium on which the above program is recorded, the program itself is also included in each embodiment.
  • a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, magnetic tape, non-volatile memory card, and ROM can be used as recording media.
  • the program recorded on the recording medium alone executes the process, but also the one that operates on the OS in cooperation with other software and the function of the expansion board to execute the process. included in the category of
  • appendix 1 uses a data input means for inputting labeled data and unlabeled data, and a teacher model trained using the labeled data to assign pseudo-labels to the unlabeled data. and an evaluation model trained using at least one of the labeled data and the unlabeled data to evaluate the pseudo-label given to the unlabeled data, and a predetermined evaluation criterion
  • the information processing system includes model learning means and model output means for outputting the learned student model.
  • Appendix 2 The information processing system according to appendix 2, further comprising domain conversion means for converting the labeled data and the unlabeled data input to the data input means into a domain common to each other.
  • appendix 3 The information processing system according to appendix 3 is the information processing system according to appendix 1 or 2, wherein the evaluation model is trained using only the unlabeled data.
  • the information processing system according to appendix 4 is the information processing system according to appendix 1 or 2, wherein the evaluation model is learned using a part of the labeled data and then trained using the unlabeled data. is.
  • the information processing system according to appendix 5 is the information processing system according to appendix 1 or 2, wherein the evaluation model is trained using only the labeled data.
  • Appendix 7 The information processing system according to any one of appendices 1 to 6, wherein the pseudo-label evaluation means evaluates the pseudo-labels using a plurality of separately learned evaluation models. System.
  • the information processing system according to appendix 8 further comprises teacher model learning means for learning the teacher model using the labeled data, wherein the teacher model learning means uses the evaluation result of the pseudo-label evaluation means to: 8.
  • Appendix 10 In the information processing method according to appendix 10, labeled data and unlabeled data are input, a teacher model trained using the labeled data is used to assign a pseudo-label to the unlabeled data, and the label Evaluating the pseudo-labels assigned to the unlabeled data using an evaluation model trained using at least one of the labeled data and the unlabeled data, and evaluating the pseudo-labels that meet predetermined evaluation criteria.
  • the recording medium inputs labeled data and unlabeled data into a computer, uses a teacher model trained using the labeled data to give a pseudo-label to the unlabeled data,
  • the pseudo-label given to the unlabeled data is evaluated using an evaluation model trained using at least one of the labeled data and the unlabeled data, and the pseudo-label that meets a predetermined evaluation criterion.
  • an evaluation pseudo-label learning a student model using the pseudo-label data obtained by assigning the evaluation pseudo-label to the labeled data and the unlabeled data, and outputting the learned student model;
  • the computer program according to Supplementary Note 12 inputs labeled data and unlabeled data to a computer, uses a teacher model trained using the labeled data to give a pseudo-label to the unlabeled data,
  • the pseudo-label given to the unlabeled data is evaluated using an evaluation model trained using at least one of the labeled data and the unlabeled data, and the pseudo-label that meets a predetermined evaluation criterion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

情報処理システム（１０）は、ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、ラベルありデータを用いて学習された教師モデルを用いて、ラベルなしデータに擬ラベルを付与する擬ラベル付与手段（１４０）と、ラベルありデータ及びラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて擬ラベルを評価し、所定の評価基準に達している擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段（１５０）と、ラベルありデータ及び評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段（１６０）と、学習済みの生徒モデルを出力するモデル出力手段（１７０）と、を備える。

Description

情報処理システム、情報処理方法、及び記録媒体
　この開示は、情報処理システム、情報処理方法、及び記録媒体の技術分野に関する。
　この種のシステムとして、ラベルなしデータに擬似的なラベルを付与するものが知られている。例えば特許文献１では、ラベルが付与されていない画素の特徴ベクトルに対して、正例ラベル又は負例ラベルを付与する技術が開示されている。特許文献２では、距離の近いラベルの割合等を用いたスコアを計算してラベルなしデータに設定することで、擬似的なラベルを付加した学習データを生成する技術が開示されている。
　その他の関連する技術として、特許文献３では、元ドメインのラベルありデータ及び目標ドメインのラベルなしデータを用いて、元ドメインから目標ドメインへの変換則を学習する技術が開示されている。
特開２０２０－０４７０５５号公報 特開２０１９－１５９５７６号公報 特開２０１９－１０１７８９号公報
　この開示は、先行技術文献に開示された技術を改善することを目的とする。
　この開示の情報処理システムの一の態様は、ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、学習済みの前記生徒モデルを出力するモデル出力手段と、を備える。
　この開示の情報処理方法の一の態様は、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する。
　この開示の記録媒体の一の態様は、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する情報処理方法を実行させるコンピュータプログラムが記録されている。
第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。 第１実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第１実施形態に係る情報処理システムの動作の流れを示すフローチャートである。 第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。 第３実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。 第４実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。 第５実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。 第６実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。 第７実施形態に係る情報処理システムにおけるモデル評価部の構成を示すブロック図である。 第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第８実施形態に係る情報処理システムの動作の流れを示すフローチャートである。 第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。 第９実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
　以下、図面を参照しながら、情報処理システム、情報処理方法、及び記録媒体の実施形態について説明する。
　＜第１実施形態＞
　第１実施形態に係る情報処理システムについて、図１から図３を参照して説明する。
　（ハードウェア構成）
　まず、図１を参照しながら、第１実施形態に係る情報処理システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る情報処理システムのハードウェア構成を示すブロック図である。
　図１に示すように、第１実施形態に係る情報処理システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。情報処理システム１０は更に、入力装置１５と、出力装置１６と、を備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
　プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、情報処理システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、機械学習に関する処理を実行するための機能ブロックが実現される。
　プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）として構成されてよい。プロセッサ１１は、これらのうち一つで構成されてもよいし、複数を並列で用いるように構成されてもよい。
　ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）であってもよい。
　ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）であってもよい。
　記憶装置１４は、情報処理システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、情報処理システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
　出力装置１６は、情報処理システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、情報処理システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。
　（機能的構成）
　次に、図２を参照しながら、第１実施形態に係る情報処理システム１０の機能的構成について説明する。図２は、第１実施形態に係る情報処理システムの機能的構成を示すブロック図である。
　図２に示すように、第１実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、を備えて構成されている。ラベルありデータ入力部１１０、ラベルなしデータ入力部１２０、教師モデル学習部１３０、擬ラベル生成部１４０、擬ラベル評価部１５０、生徒モデル学習部１６０、及びモデル出力部１７０の各々は、例えば上述したプロセッサ１１（図１参照）によって実現されてよい。
　ラベルありデータ入力部１１０は、ラベルありデータを入力可能に構成されている。ラベルなしデータ入力部１２０は、ラベルなしデータを入力可能に構成されている。ここでの「ラベル」は、データに対して付与される正解を示す情報（所謂、正解ラベル）であり、「ラベルありデータ」は正解ラベルが付与されたデータ、「ラベルなしデータ」は正解ラベルが付与されていないデータである。ラベルありデータ及びラベルなしデータの一例としては、画像データが挙げられる。画像データは、生体の目領域や顔領域が含まれるものであってよい。画像データは、時系列で連続している複数枚の画像を含むデータ（即ち、所定時間で区切った動画データ）であってもよい。なお、ここでは、ラベルありデータ及びラベルなしデータが別々の入力部から入力される構成を挙げているが、ラベルありデータ及びラベルなしデータは、共通する１つの入力部から入力可能とされてもよい。例えば、ラベルありデータ入力部１１０及びラベルなしデータ入力部１２０に代えて、ラベルありデータ及びラベルなしデータの両方を入力可能な１つのデータ入力部が設けられてもよい。
　教師モデル学習部１３０は、ラベルありデータ入力部１１０に入力されたラベルありデータを用いて、教師モデルを学習可能に構成されている。なお、ここでの教師モデルは、ラベルなしデータに付与する擬ラベルを生成するためのモデルである。「擬ラベル」は、擬似的な正解ラベルであり、ラベルありデータで学習されたモデルによって生成される。教師モデルの具体的な学習方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。教師モデル（及び後述する各モデル）を学習する際には、例えばＣｏｎｓｉｓｔｅｎｃｙ　Ｒｅｇｕｌａｒｉｚａｔｉｏｎを用いて精度向上を図ってもよい。なお、第１実施形態に係る情報処理システム１０は、教師モデル学習部１３０を備えずともよい。この場合、ラベルありデータによる教師モデルの学習はシステム外部で実行され、学習された教師モデルが情報処理システム１０に入力されればよい。
　擬ラベル生成部１４０は、教師モデル学習部１３０で学習された教師モデルを用いて、ラベルなしデータに付与する擬ラベルを生成可能に構成されている。また、擬ラベル生成部１４０は、生成した擬ラベルをラベルなしデータに付与することが可能に構成されている。
　擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルを評価可能に構成されている。具体的には、擬ラベル評価部１５０は、擬ラベルの所定の評価基準に達しているか否かを評価可能に構成されている。なお、ここでの「所定の評価基準」は、擬ラベルの質が十分に高いか否かを判定するための基準であり、予め設定されている。擬ラベル評価部１５０は、所定の評価基準に達した擬ラベル（評価擬ラベル）を出力する一方で、所定の評価基準に達しない擬ラベルを出力しないように構成されている。擬ラベル評価部１５０は、例えばラベルありデータのテストセットでの平均誤差の倍以上の誤差が生じる場合には、その擬ラベルを低品質と評価して、出力しないようにしてもよい。また、擬ラベル評価部１５０は、ラベルありデータのテストセットでの平均誤差の倍以上の誤差が生じない場合には、その擬ラベルを高品質と評価して、出力するようにしてもよい。
　擬ラベル評価部１５０は、ラベルありデータ及びラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、擬ラベルの評価を行うように構成されている。なお、評価モデルの学習方法ついては、後述する他の実施形態において詳しく説明する。
　生徒モデル学習部１６０は、ラベルありデータと、擬ラベル評価部１５０から出力された評価擬ラベルを付与したラベルなしデータ（以下、適宜「擬ラベルデータ」と称する）と、を用いて生徒モデルを学習可能に構成されている。なお、ここでの生徒モデルは、教師モデルと同様に、ラベルなしデータに付与する擬ラベルを生成するためのモデルである。生徒モデルの具体的な学習方法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。生徒モデルを学習する際には、例えば既存の蒸留手法を組み合わせて用いてもよい。
　モデル出力部１７０は、学習済みの生徒モデルを出力可能に構成されている。また、モデル出力部１７０は、学習済みの生徒モデルに加えて、教師モデル、評価モデルを出力可能に構成されてよい。
　（動作の流れ）
　次に、図３を参照しながら、第１実施形態に係る情報処理システム１０の動作の流れについて説明する。図３は、第１実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
　図３に示すように、第１実施形態に係る情報処理システム１０が動作する際には、まず教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
　続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。言い換えれば、擬ラベル評価部１５０は、高品質な評価擬ラベルのみを出力する。
　続いて、生徒モデル学習部１６０は、ラベルありデータと、評価擬ラベルが付与された擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ１０５）。その後、モデル出力部１７０が、学習済みのモデルを出力する（ステップＳ１０６）。
　（技術的効果）
　次に、第１実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図１から図３で説明したように、第１実施形態に係る情報処理システム１０では、生成した擬ラベルを評価することにより、質の高い擬ラベル（即ち、評価の結果として出力された擬ラベル）を用いた学習が行われる。このようにすれば、ラベルなしデータに適切な擬ラベルを付与することが可能となる。より具体的には、回帰問題を扱う場合において、ラベルなしデータに擬ラベルを精度よく付与することができる。従って、例えばラベルなしデータにラベルを付与するコストを削減することが可能である。
　＜第２実施形態＞
　第２実施形態に係る情報処理システム１０について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分については第１実施形態と同一であってよい。このため、以下では、すでに説明した第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図４を参照しながら、第２実施形態に係る情報処理システム１０の機能的構成について説明する。図４は、第２実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図４では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図４に示すように、第２実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、ドメイン変換部１８０と、を備えて構成されている。即ち、第２実施形態に係る情報処理システム１０は、第１実施形態の構成（図２参照）に加えて、ドメイン変換部１８０を更に備えて構成されている。
　ドメイン変換部１８０は、ラベルありデータ入力部１１０に入力される前のラベルありデータと、ラベルなしデータ入力部１２０に入力される前のラベルなしデータと、を互いに共通するドメインに変換可能に構成されている。即ち、ドメイン変換部１８０は、ラベルありデータのドメインと、ラベルなしデータのドメインとを揃える処理を実行可能に構成されている。なお、変換後のドメインは、元々のドメインとは全く異なるドメインであってよい。即ち、ラベルデータ及びラベルなしデータは、それらの元々のドメインとは異なる第３のドメインに変換されてよい。
　ドメイン変換部１８０が行う処理は、データが画像データである場合には、画像変換処理であってよい。例えば、ドメイン変換部１８０は、画像にラプラシアンフィルターを適用する処理を実行して、元々のデータを、画像のエッジを検出したデータに変換するようにしてもよい。また、ドメイン変換部１８０は、Ｓｔｙｌｅ　Ｔｒａｎｓｆｅｒ（例えば、ＡｄａＩＮ）によって、ドメインを変換してもよい。或いは、ドメイン変換部１８０は、ｉｌｌｕｍｉｎａｔｉｏｎやｒｅｓｏｌｕｔｉｏｎの変更によってドメインを変換してもよい。ドメイン変換部１８０は、データの特徴量を抽出し、その特徴量からＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ　ｄｉｖｅｒｇｅｎｃｅを用いて、ドメイン間の距離を計算してもよい。
　（動作の流れ）
　次に、図５を参照しながら、第２実施形態に係る情報処理システム１０の動作の流れについて説明する。図５は、第２実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図５では、図３で示した処理と同様の処理に同一の符号を付している。
　図５に示すように、第２実施形態に係る情報処理システム１０が動作する際には、まずドメイン変換部１８０が、ラベルありデータと、ラベルなしデータとを、互いに共通するドメインに変換する（ステップＳ２０１）。ドメイン変換後のラベルありデータ及びラベルなしデータは、それぞれラベルありデータ入力部１１０及びラベルなしデータ入力部１２０に入力される。
　続いて、教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
　続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。
　続いて、生徒モデル学習部１６０は、ドメイン変換前のラベルありデータと、ドメイン変換前のラベルなしデータに評価擬ラベルを付与した擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ２０２）。その後、モデル出力部１７０が、学習済みのモデルを出力する（ステップＳ１０６）。
　（技術的効果）
　次に、第２実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図４及び図５で説明したように、第２実施形態に係る情報処理システム１０では、ラベルありデータと、ラベルなしデータとが、互いに共通するドメインに変換される。このようにすれば、ラベルありデータと、ラベルなしデータとでドメインが異なる場合であっても、適切な学習を行うことが可能となる。具体的には、ドメインの違いによる精度ありデータでの精度劣化を抑えることが可能である。また、ドメインが共通するデータのみを用いる必要がなくなり、例えば学習に利用するデータの数を容易に増やすことが可能となる。
　＜第３実施形態＞
　第３実施形態に係る情報処理システム１０について、図６を参照して説明する。なお、第３実施形態は、評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（評価モデルの学習方法）
　図６を参照しながら、第３実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図６は、第３実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
　図６に示すように、第３実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、擬ラベルを付与したラベルなしデータ（具体的には、擬ラベル生成部１４０で生成された擬ラベルが付与されたラベルなしデータ）が入力される。そして、擬ラベル評価部１５０は、擬ラベルデータが付与されたラベルなしデータを用いて、評価モデル１５１を学習する。なお、擬ラベル評価部１５０は、上述した擬ラベルを付与したラベルなしデータに加えて、擬ラベルそのものを用いて学習を行ってもよい。
　評価モデルを学習する際、そのエポック数は、過学習を防止するために１０未満であることが好ましい。エポック数は、例えば学習に用いられるデータセットやバッチサイズの大きさに基づいて設定されてよい。なお、本願発明者の研究するところによれば、エポック数を１とすることで、多くの場合に適切な学習が行えることが判っている。
　（技術的効果）
　次に、第３実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図６で説明したように、第３実施形態に係る情報処理システム１０では、擬ラベルが付与されたラベルなしデータを用いて評価モデル１５１が学習される。このようにすれば、評価モデル１５１を適切に学習することができるため、擬ラベルの評価が適切に行えるようになる。
　＜第４実施形態＞
　第４実施形態に係る情報処理システム１０について、図７を参照して説明する。なお、第４実施形態は、上述した第３実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（評価モデルの学習方法）
　図７を参照しながら、第４実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図７は、第４実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
　図７に示すように、第４実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、ラベルありデータと、擬ラベルを付与したラベルなしデータ（具体的には、擬ラベル生成部１４０で生成された擬ラベルが付与されたラベルなしデータ）とが入力される。そして、擬ラベル評価部１５０は、ラベルありデータと、擬ラベルデータが付与されたラベルなしデータを用いて、評価モデル１５１を学習する。より具体的には、擬ラベル評価部１５０は、まずラベルありデータを用いて評価モデルを学習する。なお、この学習に用いられるラベルありデータは、比較的少ない数であってよい。その後、擬ラベル評価部１５０は、擬ラベルが付与されたラベルなしデータを用いて、評価モデル１５１を学習する。この学習に用いられるラベルなしデータは、比較的多い数であってよい。
　（技術的効果）
　次に、第４実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図７で説明したように、第４実施形態に係る情報処理システム１０では、評価モデル１５１が、まずラベルありデータによって学習され、その後、擬ラベルが付与されたラベルなしデータによって学習される。このように、最初にラベルありデータを用いて学習を行うようにすれば、ラベルありデータを用いない場合（即ち、ラベルなしデータだけで学習を行う場合）と比較して、より適切に評価モデル１５１を学習することができる。よって、擬ラベルの評価が適切に行えるようになる。
　＜第５実施形態＞
　第５実施形態に係る情報処理システム１０について、図８を参照して説明する。なお、第５実施形態は、上述した第３及び第４実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（評価モデルの学習方法）
　図８を参照しながら、第５実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図８は、第５実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
　図８に示すように、第５実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、ラベルありデータが入力される。そして、擬ラベル評価部１５０は、ラベルありデータを用いて評価モデル１５１を学習する。なお、この学習に用いられるラベルありデータは、比較的多い数であることが好ましい。ラベルありデータを用いて学習する場合、評価モデル１５１は、教師モデル学習部１３０（図２参照）における教師モデルと同様に学習されることになる。よって、この場合には、教師モデルが２つ存在するような構成となる。具体的には、１つの教師モデルによって生成した擬ラベルを、もう１つの教師モデルによって評価するような構成となる。
　（技術的効果）
　次に、第５実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図８で説明したように、第５実施形態に係る情報処理システム１０では、評価モデル１５１が、ラベルありデータによって学習される。このようにすれば、評価モデル１５１を適切に学習することができるため、擬ラベルの評価が適切に行えるようになる。
　＜第６実施形態＞
　第６実施形態に係る情報処理システム１０について、図９を参照して説明する。なお、第６実施形態は、上述した第３から第５実施形態と同様に評価モデルを学習する方法の一例を示すものであり、システムの構成や動作等については第１及び第２実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（評価モデルの学習方法）
　図９を参照しながら、第６実施形態に係る情報処理システム１０における評価モデルの学習方法について、具体的に説明する。図９は、第６実施形態に係る情報処理システムにおける評価モデルの学習方法を示すブロック図である。
　図９に示すように、第９実施形態に係る情報処理システム１０では、擬ラベル評価部１５０に対して、教師モデルの出力（言い換えれば、ラベルなしデータから教師モデルが推定するラベル）と、ラベルありデータのラベルと、が入力される。そして、擬ラベル評価部１５０は、まずラベルありデータのみを入力とし、教師モデルの出力と、ラベルありデータのラベルと、の差を算出して評価モデル１５１を学習する。擬ラベル評価部１５０は、上述した差の値を品質として擬ラベルを評価する。具体的には、擬ラベル評価部１５０は、学習済み評価モデル１５１に擬ラベルデータを入力して、推定（擬）ラベルと真のラベルとの差を推定し、算出した差の値が大きいものについては教師モデルの推定精度が悪いと評価し、算出した差の値が小さいものについては教師モデルの推定精度が良いと評価する。
　（技術的効果）
　次に、第６実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図９で説明したように、第６実施形態に係る情報処理システム１０では、評価モデル１５１が、教師モデルの出力と、ラベルありデータのラベルと、の差を用いて学習される。このようにすれば、評価モデル１５１を適切に学習することができるため、擬ラベルの評価が適切に行えるようになる。
　＜第７実施形態＞
　第７実施形態に係る情報処理システム１０について、図１０を参照して説明する。なお、第７実施形態は、擬ラベル評価部１５０の構成例を示すものであり、システムの構成や各種動作等については、上述した第１から第６実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（擬ラベル評価部の構成）
　まず、図１０を参照しながら、第７実施形態に係る情報処理システム１０における擬ラベル評価部１５０の構成について、具体的に説明する。図１０は、第７実施形態に係る情報処理システムにおけるモデル評価部の構成を示すブロック図である。
　図１０に示すように、第７実施形態に係る情報処理システム１０では、擬ラベル評価部１５０が、複数の評価モデル１５１を備えて構成されている。なお、ここでは、擬ラベル評価部１５０が３つの評価モデル１５１ａ、１５１ｂ、１５１ｃを備える例を挙げているが、その数が特に限定されるものではない。例えば、擬ラベル評価部１５０は、２つの評価モデル１５１を備えていてもよいし、４つ以上の評価モデル１５１を備えていてもよい。
　複数の評価モデル１５１は、それぞれ別々に学習されたモデルである。ただし、複数の評価モデル１５１は、共通するデータセットを用いて学習されたものであってもよいし、互いに異なるデータセットを用いて学習されたものであってもよい。なお、複数の評価モデル１５１は、それぞれ摂動が付与されたデータを用いて学習を行ってよい。データに摂動を付与する方法は特に限定されないが、例えばピクセルをずらしたり、ぼやかしたり、一部を切り取ったりする方法が挙げられる。
　また、複数の評価モデル１５１は、上述した第３から第６実施形態で説明した学習方法によって学習されていてよい。この場合、複数の評価モデル１５１の各々は、互いに異なる学習方法で学習されてよい。例えば、評価モデル１５１ａが第３実施形態で説明した学習方法（即ち、ラベルなしデータを用いて学習する方法：図６参照）で学習され、評価モデル１５１ｂが第４実施形態で説明した学習方法（即ち、ラベルありデータ及びラベルなしデータを用いて学習する方法：図７参照）で学習され、評価モデル１５１ｃが第５実施形態で説明した学習方法（即ち、ラベルありデータを用いて学習する方法：図８参照）で学習されてもよい。
　擬ラベル評価部１５０は、上述した複数の評価モデル１５１を用いて、擬ラベルを評価する。具体的には、擬ラベル評価部１５０は、まず複数の評価モデル１５１の各々から評価結果を出力させ、それら複数の評価結果に応じて、１つの最終的な評価結果を出力する。より具体的には、複数の評価モデル１５１の各々の評価結果の多数決をとったり、平均値を算出したりして、総合的な評価結果を出力するようにすればよい。
　（技術的効果）
　次に、第７実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図１３で説明したように、第７実施形態に係る情報処理システム１０では、複数の評価モデル１５１を用いて擬ラベルの評価が行われる。このようにすれば、１つの評価モデルだけで評価する場合と比較して、より適切に擬ラベルの評価が行えるようになる。
　＜第８実施形態＞
　第８実施形態に係る情報処理システム１０について、図１１及び図１２を参照して説明する。なお、第８実施形態は、上述した第１から第７実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１から第７実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１１を参照しながら、第８実施形態に係る情報処理システム１０の機能的構成について説明する。図１１は、第８実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１１では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図１１に示すように、第８実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、を備えて構成されている。そして第８実施形態では特に、上述した構成要素のうち、ラベルありデータ入力部１１０、ラベルなしデータ入力部１２０、教師モデル学習部１３０、擬ラベル生成部１４０、及び擬ラベル評価部１５０が、擬ラベル学習部２００として構成されている。
　擬ラベル学習部２００は、教師モデル学習部１３０による教師モデルの学習と、擬ラベル生成部１４０による擬ラベルの生成と、擬ラベル評価部１５０による擬ラベル評価と、を繰り返し実行することによって、擬ラベルに関する学習をより適切に実行可能に構成されている。なお、擬ラベル学習部２００は、擬ラベル評価部１５０における評価結果を反映して、教師モデルの学習を実行可能に構成されている。例えば、擬ラベル評価部１５０で算出した誤差を、教師モデル学習部１３０に逆伝播させることにより、教師モデルを再学習可能に構成されている。なお、擬ラベル学習部２００は、所定の回数に到達するまで一連の処理を繰り返すように設定されている。所定の回数は、事前のシミュレーション等によって求められた値であってよい。
　（動作の流れ）
　次に、図１２を参照しながら、第８実施形態に係る情報処理システム１０の動作の流れについて説明する。図１２は、第８実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１２では、図３で示した処理と同様の処理に同一の符号を付している。
　図１２に示すように、第８実施形態に係る情報処理システム１０が動作する際には、まず教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
　続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。
　ここで、第８実施形態に係る情報処理システム１０は、ここまでの一連の処理が所定回数繰り返されているか否かを判定する（ステップＳ７０１）。そして、一連の処理が所定回数繰り返されていないと判定された場合（ステップＳ７０１：ＮＯ）、擬ラベル評価部１５０の評価結果を反映して（ステップＳ７０２）、再びステップＳ１０１から処理が実行される。
　他方、一連の処理が所定回数繰り返されたと判定された場合（ステップＳ７０１：ＹＥＳ）、最終的な評価擬ラベルが出力され、生徒モデル学習部１６０が、ラベルありデータと、評価擬ラベルが付与された擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ１０５）。その後、モデル出力部１７０が、学習済みのモデルを出力する（ステップＳ１０６）。
　（技術的効果）
　次に、第８実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図１１及び図１２で説明したように、第８実施形態に係る情報処理システム１０では、擬ラベル学習部２００において、擬ラベルに関する学習（具体的には、教師モデルの学習、擬ラベルの生成、及び擬ラベルの評価）が繰り返し実行される。このようにすれば、各モデルがより適切な状態になるよう学習されるため、より適切な擬ラベル（即ち、評価擬ラベル）を出力することが可能となる。
　＜第９実施形態＞
　第９実施形態に係る情報処理システム１０について、図１３及び図１４を参照して説明する。なお、第９実施形態に係る情報処理システム１０は、上述した第１から第８実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分については第１から第８実施形態と同一であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　（機能的構成）
　まず、図１３を参照しながら、第９実施形態に係る情報処理システム１０の機能的構成について説明する。図１３は、第９実施形態に係る情報処理システムの機能的構成を示すブロック図である。なお、図１３では、図２で示した構成要素と同様の要素に同一の符号を付している。
　図１３に示すように、第９実施形態に係る情報処理システム１０は、その機能を実現するための処理ブロックとして、ラベルありデータ入力部１１０と、ラベルなしデータ入力部１２０と、教師モデル学習部１３０と、擬ラベル生成部１４０と、擬ラベル評価部１５０と、生徒モデル学習部１６０と、モデル出力部１７０と、モデル調整部１９０と、を備えて構成されている。即ち、第９実施形態に係る情報処理システム１０は、第１実施形態の構成（図２参照）に加えて、モデル調整部１９０を更に備えて構成されている。
　モデル調整部１９０は、学習済みのモデルの一部の層を、ラベルありデータを用いて調整可能に構成されている。具体的には、モデル調整部１９０は、学習済みモデルに対してＦｉｎｅ　Ｔｕｎｉｎｇを実行可能に構成されている。
　（動作の流れ）
　次に、図１４を参照しながら、第９実施形態に係る情報処理システム１０の動作の流れについて説明する。図１４は、第９実施形態に係る情報処理システムの動作の流れを示すフローチャートである。なお、図１４では、図３で示した処理と同様の処理に同一の符号を付している。
　図１４に示すように、第９実施形態に係る情報処理システム１０が動作する際には、まず教師モデル学習部１３０が、ラベルありデータ入力部１１０から入力されたラベルありデータを用いて、教師モデルを学習する（ステップＳ１０１）。そして、擬ラベル生成部１４０が、学習済みの教師モデルを用いて擬ラベルを生成し、ラベルなしデータ入力部１２０から入力されたラベルなしデータに付与する（ステップＳ１０２）。
　続いて、擬ラベル評価部１５０が評価モデルを学習する（ステップＳ１０３）。そして、擬ラベル評価部１５０は、擬ラベル生成部１４０で生成された擬ラベルのうち低品質なものを除去する（ステップＳ１０４）。
　続いて、生徒モデル学習部１６０は、ラベルありデータと、評価擬ラベルが付与された擬ラベルデータとを用いて、生徒モデルを学習する（ステップＳ１０５）。そして第９実施形態では特に、モデル調整部１９０が、ラベルありデータを用いて学習済みのモデルの調整を行う（ステップＳ８０１）。その後、モデル出力部１７０が、調整された学習済みのモデルを出力する（ステップＳ１０６）。
　（技術的効果）
　次に、第９実施形態に係る情報処理システム１０によって得られる技術的効果について説明する。
　図１３及び図１４で説明したように、第９実施形態に係る情報処理システム１０では、学習済みのモデルを出力する前にモデルの調整が行われる。このようにすれば、出力される学習済みのモデルを、より適切なものにすることが可能である。
　上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、情報処理方法、及び記録媒体もまたこの開示の技術思想に含まれる。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載の情報処理システムは、ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、学習済みの前記生徒モデルを出力するモデル出力手段と、を備える情報処理システムである。
　（付記２）
　付記２に記載の情報処理システムは、前記データ入力手段に入力される前記ラベルありデータと、前記ラベルなしデータと、を互いに共通するドメインに変換するドメイン変換手段を更に備える付記１に記載の情報処理システムである。
　（付記３）
　付記３に記載の情報処理システムは、前記評価モデルは、前記ラベルなしデータのみを用いて学習されている付記１又は２に記載の情報処理システムである。
　（付記４）
　付記４に記載の情報処理システムは、前記評価モデルは、一部の前記ラベルありデータを用いて学習した後、前記ラベルなしデータを用いて学習されている付記１又は２に記載の情報処理システムである。
　（付記５）
　付記５に記載の情報処理システムは、前記評価モデルは、前記ラベルありデータのみを用いて学習されている付記１又は２に記載の情報処理システムである。
　（付記６）
　付記６に記載の情報処理システムは、前記擬ラベル評価手段は、前記教師モデルの出力と、前記ラベルありデータに付与されているラベルと、の差を用いて学習されている付記１又は２に記載の情報処理システムである。
　（付記７）
　付記７に記載の情報処理システムは、前記擬ラベル評価手段は、別々に学習した複数の前記評価モデルを用いて、前記擬ラベルを評価する付記１から６のいずれか一項に記載の情報処理システムである。
　（付記８）
　付記８に記載の情報処理システムは、前記ラベルありデータを用いて前記教師モデルを学習する教師モデル学習手段を更に備え、前記教師モデル学習手段は、前記擬ラベル評価手段の評価結果を用いて、前記教師モデルを再学習する付記１から７のいずれか一項に記載の情報処理システムである。
　（付記９）
　付記９に記載の情報処理システムは、学習済みの前記生徒モデルの一部の層を、前記ラベルありデータを用いて学習する調整手段を更に備える付記１から８のいずれか一項に記載の情報処理システムである。
　（付記１０）
　付記１０に記載の情報処理方法は、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法である。
　（付記１１）
　付記１１に記載の記録媒体は、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。
　（付記１２）
　付記１２に記載のコンピュータプログラムは、コンピュータに、ラベルありデータ及びラベルなしデータを入力し、前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、学習済みの前記生徒モデルを出力する、情報処理方法を実行させるコンピュータプログラムである。
　１０　情報処理システム
　１１　プロセッサ
　１１０　ラベルありデータ入力部
　１２０　ラベルなしデータ入力部
　１３０　教師モデル学習部
　１４０　擬ラベル生成部
　１５０　擬ラベル評価部
　１５１　評価モデル
　１６０　生徒モデル学習部
　１７０　モデル出力部
　１８０　ドメイン変換部
　１９０　モデル調整部
　２００　擬ラベル学習部

Claims (11)

  1. 　ラベルありデータ及びラベルなしデータを入力するデータ入力手段と、
    　前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与する擬ラベル付与手段と、
    　前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力する擬ラベル評価手段と、
    　前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習する生徒モデル学習手段と、
    　学習済みの前記生徒モデルを出力するモデル出力手段と、
    　を備える情報処理システム。
  2. 　前記データ入力手段に入力される前記ラベルありデータと、前記ラベルなしデータと、を互いに共通するドメインに変換するドメイン変換手段を更に備える請求項１に記載の情報処理システム。
  3. 　前記評価モデルは、前記ラベルなしデータのみを用いて学習されている請求項１又は２に記載の情報処理システム。
  4. 　前記評価モデルは、一部の前記ラベルありデータを用いて学習した後、前記ラベルなしデータを用いて学習されている請求項１又は２に記載の情報処理システム。
  5. 　前記評価モデルは、前記ラベルありデータのみを用いて学習されている請求項１又は２に記載の情報処理システム。
  6. 　前記擬ラベル評価手段は、前記教師モデルの出力と、前記ラベルありデータに付与されているラベルと、の差を用いて学習されている請求項１又は２に記載の情報処理システム。
  7. 　前記擬ラベル評価手段は、別々に学習した複数の前記評価モデルを用いて、前記擬ラベルを評価する請求項１から６のいずれか一項に記載の情報処理システム。
  8. 　前記ラベルありデータを用いて前記教師モデルを学習する教師モデル学習手段を更に備え、
    　前記教師モデル学習手段は、前記擬ラベル評価手段の評価結果を用いて、前記教師モデルを再学習する請求項１から７のいずれか一項に記載の情報処理システム。
  9. 　学習済みの前記生徒モデルの一部の層を、前記ラベルありデータを用いて学習する調整手段を更に備える請求項１から８のいずれか一項に記載の情報処理システム。
  10. 　ラベルありデータ及びラベルなしデータを入力し、
    　前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、
    　前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、
    　前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、
    　学習済みの前記生徒モデルを出力する、
    　情報処理方法。
  11. 　コンピュータに、
    　ラベルありデータ及びラベルなしデータを入力し、
    　前記ラベルありデータを用いて学習された教師モデルを用いて、前記ラベルなしデータに擬ラベルを付与し、
    　前記ラベルありデータ及び前記ラベルなしデータの少なくとも一方を用いて学習された評価モデルを用いて、前記ラベルなしデータに付与された前記擬ラベルを評価し、所定の評価基準に達している前記擬ラベルを評価擬ラベルとして出力し、
    　前記ラベルありデータ及び前記ラベルなしデータに前記評価擬ラベルを付与した擬ラベルデータを用いて、生徒モデルを学習し、
    　学習済みの前記生徒モデルを出力する、
    　情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。
PCT/JP2021/018619 2021-05-17 2021-05-17 情報処理システム、情報処理方法、及び記録媒体 WO2022244059A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/018619 WO2022244059A1 (ja) 2021-05-17 2021-05-17 情報処理システム、情報処理方法、及び記録媒体
JP2023522008A JPWO2022244059A1 (ja) 2021-05-17 2021-05-17

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018619 WO2022244059A1 (ja) 2021-05-17 2021-05-17 情報処理システム、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
WO2022244059A1 true WO2022244059A1 (ja) 2022-11-24

Family

ID=84141382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018619 WO2022244059A1 (ja) 2021-05-17 2021-05-17 情報処理システム、情報処理方法、及び記録媒体

Country Status (2)

Country Link
JP (1) JPWO2022244059A1 (ja)
WO (1) WO2022244059A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
WO2019155873A1 (ja) * 2018-02-06 2019-08-15 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
WO2019155873A1 (ja) * 2018-02-06 2019-08-15 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
I. ZEKI YALNIZ; HERV\'E J\'EGOU; KAN CHEN; MANOHAR PALURI; DHRUV MAHAJAN: "Billion-scale semi-supervised learning for image classification", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 May 2019 (2019-05-02), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081271363 *
QIZHE XIE; MINH-THANG LUONG; EDUARD HOVY; QUOC V. LE: "Self-training with Noisy Student improves ImageNet classification", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 June 2020 (2020-06-19), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081680806 *

Also Published As

Publication number Publication date
JPWO2022244059A1 (ja) 2022-11-24

Similar Documents

Publication Publication Date Title
CN108932549B (zh) 倾听、交互和交谈：通过交互学习说话
RU2007127915A (ru) Способ вычисления цифровых видеоголограмм и устройство для его осуществления
US20190228508A1 (en) Digital Image Fill
CN117829216A (zh) 渐进式神经网络
JP6612486B1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
EP3540655A1 (en) Learning program, learning method, and learning apparatus
KR102546817B1 (ko) 지식 증류에서 총 cam 정보를 이용한 교사 지원 어텐션 전달의 학습 방법 및 장치
JP6906478B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113112509A (zh) 图像分割模型训练方法、装置、计算机设备和存储介质
WO2022244059A1 (ja) 情報処理システム、情報処理方法、及び記録媒体
Brianzoni et al. Border collision bifurcations of superstable cycles in a one-dimensional piecewise smooth map
JP6622369B1 (ja) 訓練データを生成する方法、コンピュータおよびプログラム
US20190311302A1 (en) Electronic apparatus and control method thereof
Kalina et al. Business process maturity as a case of managerial cybernetics and effective information management
CN108280511A (zh) 一种基于卷积网络进行网络访问数据进行处理的方法
WO2020137641A1 (ja) 復元装置、復元方法、およびプログラム
JP7192873B2 (ja) 情報処理プログラム、情報処理方法および学習装置
CN113935895A (zh) 医学图像的处理方法、装置、存储介质及处理器
JP2022102319A (ja) ベクトル推定プログラム、ベクトル推定装置、及び、ベクトル推定方法
US20220076162A1 (en) Storage medium, data presentation method, and information processing device
PourMohammadBagher et al. An overview on the use of metaverse systems in education
Fan et al. Continuous image anomaly detection based on contrastive lifelong learning
JP6633267B2 (ja) 次元削減装置、方法及びプログラム
JP7435883B1 (ja) ノイズ除去付き予測装置、ノイズ除去付き予測方法、及びプログラム
Cao et al. Generation of inverse assist features using generative adversarial networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940679

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023522008

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18290346

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21940679

Country of ref document: EP

Kind code of ref document: A1