WO2019207770A1 - 学習済みモデル更新装置、学習済みモデル更新方法、プログラム - Google Patents

学習済みモデル更新装置、学習済みモデル更新方法、プログラム Download PDF

Info

Publication number
WO2019207770A1
WO2019207770A1 PCT/JP2018/017220 JP2018017220W WO2019207770A1 WO 2019207770 A1 WO2019207770 A1 WO 2019207770A1 JP 2018017220 W JP2018017220 W JP 2018017220W WO 2019207770 A1 WO2019207770 A1 WO 2019207770A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
sample
update
hostile
unit
Prior art date
Application number
PCT/JP2018/017220
Other languages
English (en)
French (fr)
Inventor
翼 高橋
和也 柿崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/050,583 priority Critical patent/US20210241119A1/en
Priority to JP2020515435A priority patent/JP7010371B2/ja
Priority to PCT/JP2018/017220 priority patent/WO2019207770A1/ja
Publication of WO2019207770A1 publication Critical patent/WO2019207770A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Definitions

  • the present invention relates to a learned model update device, a learned model update method, and a program.
  • a machine learning technique that learns a huge amount of learning data and builds a model is known.
  • vulnerability may be a problem.
  • using a hostile sample (Adversarial Example: AX) may cause a malfunction that is not assumed by the designer during training.
  • hostile training supervised classifier training using data that includes hostile samples and correct label pairs in addition to pairs of normal samples and correct labels as training data
  • Adversarial Training Adversarial Training
  • the method using hostile training has a problem that it may not be used because the hostile sample is unknown when constructing the classifier, and the hostile obtained when constructing the classifier.
  • the target sample alone may not be resistant to future attacks.
  • a classifier using the regular sample has a certain classification accuracy. There was a risk that it would not be possible to grasp.
  • Non-Patent Document 1 both regular samples and hostile samples are prepared at the time of learning. First, a classification task is performed using only clean regular samples, and then both regular samples and hostile samples are used. It refers to delaying adversarial training, which learns classification tasks that are resistant to hostile samples. This delaying adversarial training is the same concept as the additional learning described above.
  • Patent Document 1 describes a case where an AAE (Adversarial AutoEncoder) is used as a machine learning model. According to Patent Document 1, when AAE is used, in addition to learning of an encoder and a decoder, learning of a discriminator is performed. Moreover, learning of a discriminator is performed using training data that is normal data.
  • AAE Advanced AutoEncoder
  • the size of the regular sample is large, it may exceed several TB, and if it is stored with an eye on future updates, the disk capacity required for storage, server operation costs, etc. will be required.
  • the data size is large, there is a problem that it is difficult to transmit the learned model to the place where the model is operated.
  • the normal sample is large, the cost required for storage is high, and as a result, the learned model is updated. There was a problem that it might be difficult.
  • an object of the present invention is to provide a learned model update device, a learned model update method, and a program that solve the problem that it is difficult to update a learned model with forgetting suppressed.
  • a learned model update apparatus In order to achieve such an object, a learned model update apparatus according to an aspect of the present invention is provided.
  • An alternative sample generation unit that generates an alternative sample and a correct label corresponding to the alternative sample based on a generation model representing the training data used when generating the learned model; Based on an attack model, the substitute sample generated by the substitute sample generation unit, and the correct answer label, a hostile sample that induces misclassification in the learned model, and a correction label corresponding to the hostile sample
  • a hostile sample generator that generates, A model updating unit for generating an update model by performing additional learning based on a result of generation by the alternative sample generation unit and a result of generation by the hostile sample generation unit; It has the configuration of having
  • the learned model update method includes: Learned model update device Based on a generation model representing the training data used when generating the trained model, an alternative sample and a correct answer label corresponding to the alternative sample are generated, Based on the attack model, the generated alternative sample and the correct label, generate a hostile sample that induces misclassification in the learned model, and a correction label corresponding to the hostile sample,
  • the update model is generated by performing additional learning based on the substitute sample, the correct answer label, the hostile sample, and the correction label.
  • the program which is the other form of this invention is:
  • An alternative sample generation unit that generates an alternative sample and a correct label corresponding to the alternative sample based on a generation model representing the training data used when generating the learned model;
  • a hostile sample that induces misclassification in the learned model, and a correction label corresponding to the hostile sample
  • a hostile sample generator that generates,
  • a model updating unit for generating an update model by performing additional learning based on a result of generation by the alternative sample generation unit and a result of generation by the hostile sample generation unit; It is a program for realizing.
  • the present invention provides a learned model update device, a learned model update method, and a program that solve the problem that it is difficult to update a learned model with forgetting suppressed by being configured as described above. It becomes possible to do.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the update device 100.
  • FIG. 2 is a diagram illustrating an example of hostile sample generation in the hostile sample generation unit 104.
  • FIG. 3 is a diagram illustrating an example of processing of the model update unit 106.
  • FIG. 4 is a flowchart illustrating an example of processing of the update device 100.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the update device 110.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the update device 120.
  • an update device 100 (learned model update device) that updates a learned model C will be described.
  • the update device 100 based on the sample generation model G, to generate the correct label Y G and alternate samples X G. Further, the update device 100 generates a hostile sample X A and a correction label Y A based on the attack model A. Then, the update device 100 learns, using the alternative sample, the correct label set (X G , Y G ), the hostile sample (Adversarial Example: AX), and the corrected label set (X A , Y A ) as training data. Additional training is performed on the neural network ⁇ and parameter ⁇ of the completed model C to obtain a new parameter ⁇ *. Thereby, the update device 100 generates an update model C * having ( ⁇ , ⁇ *).
  • the update device 100 performs additional learning on the learned model C to generate an updated model C *.
  • the learned model C, the sample generation model G, and the attack model A are input to the update device 100.
  • the learned model C is a model generated in advance by machine learning using a set of the normal sample X L and the correct answer label Y L as training data.
  • the learned model C may be generated by machine learning that includes a pair of a hostile sample and a correction label in training data, such as a model that has been subjected to adversarial training.
  • the learned model C includes a neural network structure ⁇ and a parameter ⁇ .
  • the learned model C may be expressed as a parameter ⁇ including the structure of the neural network.
  • Sample generation model G generates training data corresponding to training labels such as CGAN successors and developments such as Conditional Generative Adversarial Networks (CGAN), Auxiliary Classifier GAN (ACGAN), Conditional Variational Auto Encoder (CVAE), etc. It is a model generated in advance using a method of learning to represent a model with a small number of parameters.
  • the sample generation model G is a model representing training data used when generating the learned model C generated in advance based on the set of the normal sample X L and the correct answer label Y L.
  • the sample generation model G by identifying the data points on the sample generation model G using a random number r, it is possible to generate a set of alternative sample x G and true label y G.
  • the attack model A is a model that can generate hostile samples such as Fast Gradient Sign Method (FGSM), Carlini-Wagner L2 Attack (CW Attack), Deepfool, Iterative Gradient Sign Method, and the like.
  • FGSM Fast Gradient Sign Method
  • CW Attack Carlini-Wagner L2 Attack
  • Deepfool Deepfool
  • Iterative Gradient Sign Method and the like.
  • the attack model A can generate a hostile sample X A given perturbation (shift) from the alternative sample X G by performing a predetermined calculation.
  • the learning apparatus C, the sample generation model G, and the attack model A as described above are input to the update device 100.
  • the update device 100 includes a storage device such as a hard disk or a memory (not shown), and one or more of the various models described above may be stored in advance in the storage device.
  • FIG. 1 shows an example of the configuration of the update device 100.
  • the update device 100 includes an alternative sample generation unit 102, a hostile sample generation unit 104, and a model update unit 106.
  • the update device 100 has a storage device and an arithmetic device (not shown).
  • the update device 100 implements the above-described processing units by causing the arithmetic device to execute a program stored in a storage device (not shown).
  • the alternative sample generation unit 102 generates an alternative sample X G and a correct label Y G for the alternative sample X G based on the input sample generation model G.
  • the alternative sample generation unit 102 can use a uniform random number, a normal random number that is a random number according to a normal distribution, or the like as a random number.
  • Alternate sample generation unit 102 the above-mentioned alternate samples x G generation processing a predetermined number of times (N times) repeated.
  • alternative sample generation unit 102 is repeated until a set of alternate samples x G and true label y G number N by a process of generating a predetermined alternate samples x G described above can be obtained.
  • replacement audio generator 102 may generate an alternate samples x G for a predetermined number (the same number) for each true label y G, generates an alternate samples x G number different for each true label y G May be.
  • the alternative sample generation unit 102 may generate N / L alternative samples x G for each correct label y, where L is the total number of correct labels.
  • Get G (y G1 ,..., y GL ).
  • the predetermined number N may be a constant unique to the updating apparatus 100. Further, a predetermined number N may be accepted as an input of the updating apparatus 100.
  • the hostile sample generation unit 104 Based on the input attack model A, the hostile sample generation unit 104 generates a hostile sample X A that induces misclassification in the learned model C, and a correction label Y A of the hostile sample.
  • the hostile sample generation unit 104 uses the learned model C, the alternative sample and correct label pair (X G , Y G ) generated by the alternative sample generation unit 102, and the attack model A to a sample X a, and generates a correction label Y a hostile samples.
  • the hostile sample generation unit 104 uses a method specific to the input attack model A to generate X A , M M data points from the combination of the alternative sample and the correct label (X G , Y G ). Y A is generated respectively.
  • the hostile sample generation unit 104 may accept the sample generation model G as an input instead of using the combination of the alternative sample and the correct answer label (X G , Y G ) generated by the alternative sample generation unit 102. In this case, the hostile sample generation unit 104 may generate K alternative samples from the sample generation model G in the same manner as the alternative sample generation unit 102.
  • FGSM Fast Gradient Sign Method
  • J ( ⁇ , x_, y_) is a loss function when classifying data point x into label y using a neural network with parameter ⁇
  • ⁇ x J ( ⁇ , x, y) is a loss Is the slope of the function with respect to x.
  • the function sign () is a sign function and returns +1 when the input is positive, -1 when the input is negative, and 0 when the input is 0.
  • ⁇ is a variable having a value of 0 or more, and is a variable for adjusting the magnitude of perturbation to be given.
  • a value such as 1.0 can be used for ⁇ (a value other than the exemplified value may be used). Therefore, the above-described equation (1) outputs x A in which the perturbation described in the second term is given to the alternative sample x G.
  • hostile sample generation unit 104 perturbed the inputted alternative sample x G and outputs the hostile sample x A.
  • FIG. 2 by perturbing road sign traffic-an alternative sample x G, are generated hostile samples x A having a checkered pattern.
  • hostile sample generation unit 104 the true label y G corresponding to alternate samples x G you enter correct label y A.
  • the correction label y A may be determined by a method other than providing the same as the true label y G.
  • hostile sample generation unit 104 hostile samples x A of k- acquires alternate samples in the vicinity (k-nearest neighbor), the most frequent among the true label granted to their k matter alternative sample it may be corrected label y a having a high.
  • alternative samples at a distance ⁇ from the hostile sample x A may be acquired, and the most frequent correct label assigned to those alternative samples may be used as the correction label y A.
  • the hostile sample generation unit 104 may accept, as an input, a method for generating an AX such as Carlini-Wagner L2 Attack (CW Attack), Deepfool, Iterative Gradient Sign Method as the attack model A instead of the FGSM. That is, the hostile sample generation unit 104 operates an attack model A other than FGSM to generate a hostile sample, and gives a correction label for correcting the hostile sample to a regular classification result. You may do.
  • CW Attack Carlini-Wagner L2 Attack
  • Deepfool Deepfool
  • Iterative Gradient Sign Method as the attack model A instead of the FGSM. That is, the hostile sample generation unit 104 operates an attack model A other than FGSM to generate a hostile sample, and gives a correction label for correcting the hostile sample to a regular classification result. You may do.
  • the hostile sample generation unit 104 may be configured to generate a set of hostile samples and correction labels for each of the plurality of attack models A exemplified above.
  • the model updating unit 106 to be described later performs additional learning by using all the hostile samples and correction labels corresponding to the plurality of attack models A as inputs.
  • the model update unit 106 corrects the learned model C so as to respond with a correction label when a hostile sample is input.
  • FIG. 3 is a diagram showing additional learning of the model update unit 106. As illustrated in FIG. 3, the model update unit 106 obtains an updated parameter ⁇ * that is a new parameter by performing additional training on the neural network ⁇ and the parameter ⁇ of the learned model C.
  • the hostile sample generation unit 104 may generate a pair of the hostile sample X A and the correction label Y A for each of the plurality of attack models A.
  • the model update unit 106 may perform additional learning including all pairs of the hostile sample X A and the correction label Y A at one time, or performs update learning for each attack model to update model C.
  • the model update unit 106 generates an update model C * by performing additional learning based on the hostile sample X A and the correction label Y A corresponding to the first attack model, and then adds the second model to the second attack model. Additional learning based on the corresponding hostile sample X A and correction label Y A can be performed to update the generated update model C *.
  • Model updating unit 106, a time, a hostile sample X A corresponding to the first challenge model and correct labels Y A, the hostile sample X A corresponding to the second challenge model and correct labels Y A, the The update model C * may be generated by performing additional learning based on the learning.
  • the model update unit 106 corresponds to the second attack model.
  • the generated update model C * is updated with additional learning based on the hostile sample X A and the correction label Y A
  • the hostile sample X A and correction corresponding to the first attack model already implemented are corrected.
  • the effect of additional learning based on the label Y A may be lost due to forgetting.
  • learning by optimization such as the Incremental Moment Matching method described in Non-Patent Document 2 is applied to the hostile sample X A corresponding to the first attack model and the correction label Y A by the model update unit 106.
  • an updated model C * by performing additional learning based on the hostile sample X A corresponding to the second attack model and additional learning based on the correction label Y A to generate the updated model C *. It may be used when updating.
  • An additional model corresponding to the first to (K-1) th attack models is generated to generate an updated model, and then, the optimization is performed to suppress forgetting such as the incremental moment matching method.
  • the model C * may be updated with additional learning based on the hostile sample X A and the correction label Y A.
  • the model update unit 106 may be configured to perform optimization for suppressing forgetting when repeating additional learning.
  • the alternative sample generation unit 102 of the update device 100 generates the alternative sample X G and the correct label Y G for the alternative sample X G based on the sample generation model G (step S101).
  • the hostile sample generation unit 104 uses the learned model C, the alternative sample and correct label pair (X G , Y G ) generated by the alternative sample generation unit 102, and the attack model A to hostile samples. X A and the correction label Y A of the hostile sample are generated (step S102).
  • the model update unit 106 includes a set of alternative samples and correct labels (X G , Y G ) generated by the alternative sample generation unit 102 and a set of hostile samples and correction labels (X A , Y G ) generated by the hostile sample generation unit 104.
  • Y A as training data
  • additional training is performed on the neural network ⁇ and the parameter ⁇ of the learned model C.
  • the model update unit 106 obtains a new parameter ⁇ * that has a higher probability of outputting the correction label Y A when the hostile sample X A is input than the learned model C.
  • the model update unit 106 generates an update model C * having ( ⁇ , ⁇ *) (step S103).
  • the update apparatus 100 includes the alternative sample generation unit 102, the hostile sample generation unit 104, and the model update unit 106.
  • the alternative sample generation unit 102 can generate a set of the alternative sample X G and the correct answer label Y G based on the sample generation model G.
  • the hostile sample generation unit 104 can generate a set of the hostile sample X A and the correction label Y A based on the attack model A.
  • the model update unit 106 can generate an updated model C * by performing additional learning based on the generation results of the alternative sample generation unit 102 and the hostile sample generation unit 104.
  • the classification already acquired by the learned model using the sample generation model G representing the normal sample is used.
  • the parameters of the learned model can be updated to respond to the class indicated by the correction label against the hostile sample while preventing task forgetting.
  • the data size required for the update process can be reduced, and the transmission time can be shortened.
  • the data size of the sample generation model G depends on the number of parameters. For this reason, when the number of parameters is large and the number of generated samples is very small, the sample generation model G may become redundant and is not necessarily smaller than the size of the normal sample. However, in many cases, the data size is smaller when the sample generation model G is used than when a regular sample consisting of a large number of images, sounds, and transactions is used.
  • the configuration of the update device 100 is not limited to the case described above.
  • the update device 100 can be configured to repeat the update model update until a predetermined condition is satisfied.
  • FIG. 5 shows an example of the configuration of the update device 110 having the above configuration.
  • the update device 110 inputs the update model C * again as a learned model. Therefore, the hostile sample generation unit 104 newly generates a hostile sample X A and a correction label Y A using the newly input update model C *.
  • the update device 110 updates the update model C * by using the hostile sample X A and the correction label Y A newly generated by the hostile sample generation unit 104 for each update of the update model C *. Is configured to do. In other words, the update device 110 can recursively repeat the update until a predetermined condition is satisfied.
  • the update device 110 can be configured to repeat the update of a predetermined number of times (the number of times may be arbitrarily set) update model C *. Further, the update device 110 repeats the update of the update model C * until the classification accuracy using the correction label as a classification result when a hostile sample is input exceeds a predetermined threshold (any value is acceptable). Can be configured.
  • the update device 110 may include a measurement unit that measures classification accuracy. The conditions for the update device 110 to stop updating the update model C * may be other than those exemplified above.
  • the model update unit 106 inputs the updated learned model C * as the learned model of the model update unit 106 again, and repeats a predetermined number of times to achieve a predetermined classification accuracy.
  • the update may be recursively repeated until the conditions such as. That is, instead of the update devices 100 and 110, the present invention may be realized by the update device 120 including the model update unit 106 that performs the processing as described above.
  • the update device 120 shown in FIG. 6 unlike the update device 110, the hostile sample X A and the correction label Y A are not generated for each update. That is, the model update unit 106 of the update device 120 repeats the update of the update model C * using the same hostile sample X A and the correction label Y A until a predetermined condition is satisfied.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the update device 200.
  • an update device 200 that is a modification of the update device 100 will be described. Note that the configuration of the update device 200 described later may be applied to various modifications described in the first embodiment, such as the update device 110 and the update device 120.
  • FIG. 7 shows an example of the configuration of the update device 200.
  • the update device 200 includes a generation model construction unit 208 and a storage device 210 in addition to the configuration of the update device 100.
  • the update device 200 has a storage device and an arithmetic device (not shown).
  • the update device 200 implements each processing unit described above by causing the arithmetic device to execute a program stored in a storage device (not shown).
  • the generation model construction unit 208 generates a sample generation model G based on the training data used when generating the learned model C.
  • CGAN Conditional Generative Adversarial Networks
  • ACGAN Auxiliary Classifier GAN
  • CVAE Conditional Variable Auto Auto Encoder
  • a method of learning so that a generation model of training data corresponding to a training label such as can be expressed by a small number of parameters can be used.
  • a probability density function representing the distribution may be used.
  • a generation model based on the calculation formula may be constructed.
  • the storage device 210 is a storage device such as a hard disk or a memory.
  • the storage device 210 stores the sample generation model G generated by the generation model construction unit 208.
  • the alternative sample generation unit 102 generates an alternative sample X G and a correct answer label Y G for the alternative sample X G based on the sample generation model G stored in the storage device 210.
  • the update device 200 includes the generation model construction unit 208 and the storage device 210. Even in such a configuration, like the update device 100 described in the first embodiment, while maintaining a regular sample, while preventing forgetting of a classification task already acquired by a learned model The parameters of the learned model can be updated to respond to the class indicated by the correction label for the hostile sample.
  • the update device 200 includes the generation model construction unit 208 and the storage device 210.
  • the generation model construction unit 208 and the storage device 210 do not necessarily have the update device 200.
  • the present invention uses two or more information processing apparatuses such as a compression apparatus having a function as the generation model construction unit 208 and an update apparatus 100 (the update apparatus 110 or the update apparatus 120 may be used). May be realized.
  • each component included in the update device 100, the update device 110, the update device 120, and the update device 200 represents a functional unit block. Some or all of the components included in the update device 100, the update device 110, the update device 120, and the update device 200 may be realized by any combination of the information processing device 300 and the program as illustrated in FIG. I can do it.
  • FIG. 8 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 300 that implements the components of the update apparatus 100, the update apparatus 110, the update apparatus 120, and the update apparatus 200.
  • the information processing apparatus 300 can include the following configuration as an example.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • program group 304 loaded into the RAM 303
  • storage device 305 for storing the program group 304
  • drive device 306 that reads / writes data from / to the recording medium 310 outside the information processing device 300
  • communication interface 307 connected to a communication network 311 outside the information processing apparatus 300
  • Input / output interface 308 for inputting / outputting data -Bus 309 connecting each component
  • the components included in the update device 100, the update device 110, the update device 120, and the update device 200 in each of the embodiments described above are realized by the CPU 301 acquiring and executing a program group 304 that realizes these functions. I can do it.
  • a program group 304 that realizes the function of each component included in the update device 100, the update device 110, the update device 120, and the update device 200 is stored in advance in, for example, the storage device 305 or the ROM 302, and the CPU 301 executes the function as necessary. It is loaded into the RAM 303 and executed.
  • the program group 304 may be supplied to the CPU 301 via the communication network 311, or may be stored in the recording medium 310 in advance, and the drive device 306 may read the program and supply it to the CPU 301.
  • FIG. 12 shows an example of the configuration of the information processing apparatus 300, and the configuration of the information processing apparatus 300 is not illustrated in the case described above.
  • the information processing apparatus 300 may be configured from a part of the configuration described above, such as not including the drive device 306.
  • FIG. 9 shows an example of the configuration of the learned model update device 400.
  • the learned model update device 400 includes an alternative sample generation unit 401, a hostile sample generation unit 402, and a model update unit 403.
  • the alternative sample generation unit 401 generates an alternative sample and a correct label corresponding to the alternative sample based on a generation model that represents the training data used when generating the learned model.
  • the hostile sample generation unit 402 corresponds to the hostile sample that induces misclassification in the learned model based on the attack model, the alternative sample generated by the alternative sample generation unit 401 and the correct answer label, and the hostile sample. And a correction label to be generated.
  • the model update unit 403 performs additional learning based on the generation result by the alternative sample generation unit 401 and the generation result by the hostile sample generation unit 402 to generate an update model.
  • the learned model update device 400 includes the alternative sample generation unit 401, the hostile sample generation unit 402, and the model update unit 403.
  • the alternative sample generation unit 401 can generate a combination of an alternative sample and a correct answer label based on the generation model.
  • the hostile sample generation unit 402 can generate a pair of a hostile sample and a correction label based on the attack model.
  • the model update unit 403 can generate an update model by performing additional learning based on the generation results of the alternative sample generation unit 401 and the hostile sample generation unit 402.
  • the learned model update device 400 described above can be realized by incorporating a predetermined program into the learned model update device 400.
  • a program according to another embodiment of the present invention is provided with an alternative sample and an alternative sample based on a generation model that represents training data used when generating a learned model.
  • An alternative sample generator that generates a corresponding correct label, an attack model, and a hostile sample that induces misclassification in the learned model based on the alternative sample and correct label generated by the alternative sample generator Perform additional learning based on the hostile sample generation unit that generates the correction label corresponding to the hostile sample, the result of the generation by the alternative sample generation unit, and the result of the generation by the hostile sample generation unit.
  • the learned model update method executed by the learned model update device 400 described above is based on a generation model that represents training data used when the learned model update device generates a learned model.
  • a hostile sample that generates a sample and a correct label corresponding to the alternative sample and induces misclassification in the trained model based on the attack model, the generated alternative sample and the correct label, and the hostile sample Is generated, and an additional model based on the alternative sample, the correct label, the hostile sample, and the correction label is generated to generate an updated model.
  • An alternative sample generation unit that generates an alternative sample and a correct label corresponding to the alternative sample based on a generation model representing the training data used when generating the learned model; Based on an attack model, the substitute sample generated by the substitute sample generation unit, and the correct answer label, a hostile sample that induces misclassification in the learned model, and a correction label corresponding to the hostile sample
  • a hostile sample generator that generates,
  • a model updating unit for generating an update model by performing additional learning based on a result of generation by the alternative sample generation unit and a result of generation by the hostile sample generation unit;
  • a learned model update device A learned model update device.
  • (Appendix 2) The learned model update device according to attachment 1, wherein A generation model construction unit that generates the generation model based on the training data used when learning the learned model; A storage unit that stores the generated model built by the generated model building unit; The replacement sample generation unit generates the replacement sample and the correct label corresponding to the replacement sample based on the generation model stored in the storage unit.
  • (Appendix 3) The learned model update device according to appendix 2, The generated model update unit uses Conditional Generative Adversarial Networks when generating the generated model for the training data.
  • (Appendix 4) The learned model update device according to appendix 2, The generated model construction unit uses a Conditional Variational Auto Encoder when generating the generated model for the training data.
  • (Appendix 12) Learned model update device Based on a generation model representing the training data used when generating the trained model, an alternative sample and a correct answer label corresponding to the alternative sample are generated, Based on the attack model, the generated alternative sample and the correct label, generate a hostile sample that induces misclassification in the learned model, and a correction label corresponding to the hostile sample, A learned model update method, wherein an additional model is generated by performing additional learning based on the substitute sample, the correct answer label, the hostile sample, and the correction label.
  • An alternative sample generation unit that generates an alternative sample and a correct label corresponding to the alternative sample based on a generation model representing the training data used when generating the learned model; Based on an attack model, the substitute sample generated by the substitute sample generation unit, and the correct answer label, a hostile sample that induces misclassification in the learned model, and a correction label corresponding to the hostile sample
  • a hostile sample generator that generates, A model updating unit for generating an update model by performing additional learning based on a result of generation by the alternative sample generation unit and a result of generation by the hostile sample generation unit;
  • the programs described in the above embodiments and supplementary notes are stored in a storage device or recorded on a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
  • update device 102 alternative sample generation unit 104 hostile sample generation unit 106 model update unit 110 update device 120 update device 200 update device 208 generation model construction unit 210 storage device 300 information processing device 301 CPU 302 ROM 303 RAM 304 program group 305 storage device 306 drive device 307 communication interface 308 input / output interface 309 bus 310 recording medium 311 communication network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、を有する。

Description

学習済みモデル更新装置、学習済みモデル更新方法、プログラム
　本発明は、学習済みモデル更新装置、学習済みモデル更新方法、プログラムに関する。
　膨大な学習データを学習してモデルを構築する機械学習という技術が知られている。このような機械学習によって構築された学習済みモデルでは、脆弱性が問題となることがある。例えば、上記のような学習済みモデルでは、敵対的サンプル（Adversarial　Example：AX）を用いることで、訓練時に設計者が想定していない誤作動が誘引されることがある。
　敵対的サンプルによる問題の対策としては、正規サンプルと正解ラベルの組に加えて敵対的サンプルと補正ラベルの組を含めたデータを訓練データとして用いた分類器の教師あり学習を行う敵対的訓練（Adversarial　Training）がある。しかしながら、敵対的訓練を用いた方法には、分類器を構築する際に敵対的サンプルが未知である等の理由で利用できないおそれがあるという問題や、分類器を構築する際に得られた敵対的サンプルだけでは将来発生する攻撃に対して耐性を有さないおそれがあるという問題があった。また、例えば、クリーンな正規サンプルに対する性能を評価したい場合などにおいて、初めから敵対的サンプルを混入させる敵対的訓練を実行した場合、正規サンプルを用いた分類器の構築がどの程度の分類精度を有するのか把握することが出来なくなるおそれがあった。
　以上のように、敵対的訓練を用いた方法の場合、複数の問題が生じていた。そこで、敵対的訓練のように分類器を構築する際に敵対的サンプルに対する耐性を持たせる措置を講じるのではなく、対処すべき攻撃が登場した後に学習済みモデルのパラメータに対してインクリメンタル（追加的）にその攻撃への耐性を有するように追加の学習（更新処理）を行うことが必要であると考えられている。このような技術の一つとして、例えば、非特許文献がある。例えば、非特許文献1では、正規サンプルと敵対的サンプルの両方を学習時に用意して、まず、クリーンな正規サンプルだけを用いた分類タスクの学習を行い、その後、正規サンプルと敵対的サンプルの両方を用いた敵対的サンプルへの耐性を持った分類タスクの学習を行う、delaying adversarial trainingについて言及している。このdelaying adversarial trainingは、前述の追加学習と同様の概念である。
　また、関連する技術として、例えば、特許文献１がある。特許文献１には、機械学習のモデルとしてAAE（Adversarial　AutoEncoder：敵対的自己符号化器）を利用する場合について記載されている。特許文献１によると、AAEを利用する場合、エンコーダ及びデコーダの学習に加えて、識別器の学習を行う。また、識別器の学習は、正常データである訓練データを用いて行われる。
国際公開第２０１７/０９４２６７号
Alexey Kurakin, Ian J. Goodfellow, Samy Bengio. "Adversarial Machine Learning at Scale", Proceedings of 5th International Conference on Learning Representations (ICLR2017), 2017. Sang-Woo Lee, Jin-Hwa Kim , Jaehyun Jun, Jung-Woo Ha, and Byoung-Tak Zhang. "Overcoming Catastrophic Forgetting by Incremental Moment Matching", Proceedings of 31st Conference on Neural Information Processing Systems (NIPS2017), 2017.
　敵対的サンプルを用いた追加学習を行う際に訓練データとして敵対的サンプルのみを用いると、元の訓練データで用いた正規サンプルによる学習効果が薄れる、棄損するといった忘却が生じる可能性がある。忘却を回避するためには、敵対的サンプルだけでなく、非特許文献１や特許文献１に記載されているように、敵対的訓練と同様に正規サンプル（正常データ）を訓練データに含めることが望ましい。
　しかしながら、正規サンプルのサイズは大きいものでは数TBを超える場合もあり、将来の更新を見据えて保管しておくと、保管に必要なディスク容量、サーバー稼働等のコストを要することになる。また、データサイズが大きいために、学習済みモデルを運用している場所に伝送することが困難であるという課題もある。このように、忘却を回避するためには敵対的サンプルだけでなく正規サンプルを用いることが望ましいが、正規サンプルはサイズが大きいため保管に要するコストが大きく、その結果、学習済みモデルの更新を行うことが困難になるおそれがある、という課題が生じていた。
　そこで、本発明の目的は、忘却を抑制した学習済みモデルの更新が難しくなるおそれがある、という課題を解決する学習済みモデル更新装置、学習済みモデル更新方法、プログラムを提供することにある。
　かかる目的を達成するため本発明の一形態である学習済みモデル更新装置は、
　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
　攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
　前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
　を有する
　という構成をとる。
　また、本発明の他の形態である学習済みモデル更新方法は、
　学習済みモデル更新装置が、
　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
　攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
　前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
　という構成をとる。
　また、本発明の他の形態であるプログラムは、
　学習済みモデル更新装置に、
　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
　攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
　前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
　を実現させるためのプログラムである。
　本発明は、以上のように構成されることにより、忘却を抑制した学習済みモデルの更新が難しくなるおそれがある、という課題を解決する学習済みモデル更新装置、学習済みモデル更新方法、プログラムを提供することが可能となる。
本発明の第１の実施形態における更新装置の構成の一例を示すブロック図である。 敵対的サンプルの生成例を示す図である。 モデル更新部の処理の一例を示す図である。 更新装置の処理の一例を示すフローチャートである。 更新装置の他の構成の一例を示すブロック図である。 更新装置の他の構成の一例を示すブロック図である。 本発明の第２の実施形態における更新装置の構成の一例を示すブロック図である。 本発明の第１の実施形態、第２の実施形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。 本発明の第３の実施形態における学習済みモデル更新装置の構成の一例を示すブロック図である。
［第１の実施形態］
　本発明の第１の実施形態を図１から図６までを参照して説明する。図１は、更新装置１００の構成の一例を示すブロック図である。図２は、敵対的サンプル生成部１０４における敵対的サンプルの生成例を示す図である。図３は、モデル更新部１０６の処理の一例を示す図である。図４は、更新装置１００の処理の一例を示すフローチャートである。図５は、更新装置１１０の構成の一例を示すブロック図である。図６は、更新装置１２０の構成の一例を示すブロック図である。
　本発明の第１の実施形態では、学習済みモデルCの更新を行う更新装置１００（学習済みモデル更新装置）について説明する。後述するように、更新装置１００は、サンプル生成モデルGに基づいて、代替サンプルXGと正解ラベルYGを生成する。また、更新装置１００は、攻撃モデルAに基づいて、敵対的サンプルXAと補正ラベルYAを生成する。そして、更新装置１００は、代替サンプルと正解ラベルの組（XG、YG）と敵対的サンプル（Adversarial　Example：AX）と補正ラベルの組（XA、YA）とを訓練データとして、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練を行って新たなパラメータθ*を得る。これにより、更新装置１００は、（π、θ*）を持つ更新モデルC*を生成する。
　更新装置１００は、学習済みモデルCに対する追加の学習を行って更新モデルC*を生成する。例えば、更新装置１００には、学習済みモデルCと、サンプル生成モデルGと、攻撃モデルAと、が入力される。
　学習済みモデルCは、正規サンプルXLと正解ラベルYLの組を訓練データとして機械学習することで予め生成したモデルである。学習済みモデルCは、敵対的訓練（Adversarial　Training）されたものなど、敵対的サンプルと補正ラベルの組を訓練データに含めたものを機械学習することで生成したものであっても構わない。例えば、学習済みモデルCは、ニューラルネットワークの構造πとパラメータθからなる。学習済みモデルCは、ニューラルネットワークの構造を含めてパラメータθと表現してもよい。
　サンプル生成モデルGは、例えば、Conditional Generative Adversarial Networks (CGAN)、Auxiliary Classifier GAN (ACGAN)などのCGANの後継や発展形、Conditional Variational Auto Encoder (CVAE)、などの訓練ラベルに該当する訓練データの生成モデルを少数のパラメータで表すように学習する方法を利用して、予め生成したモデルである。換言すると、サンプル生成モデルGは、正規サンプルXLと正解ラベルYLの組に基づいて予め生成された、学習済みモデルCを生成する際に用いた訓練データを代表するモデルである。例えば後述するように、サンプル生成モデルGは、乱数ｒを用いるサンプル生成モデルG上のデータ点を特定することで、代替サンプルｘGと正解ラベルｙGの組を生成することができる。
　攻撃モデルAは、例えば、Fast Gradient Sign Method（FGSM）、Carlini-Wagner L2 Attack（CW Attack）やDeepfool、Iterative Gradient Sign Methodなどの敵対的サンプルを生成可能なモデルである。例えば後述するように、攻撃モデルAは、所定の計算を行うことで、代替サンプルXGから摂動（ずれ）を与えた敵対的サンプルXAを生成することができる。
　例えば、更新装置１００には、上述したような、学習済みモデルCと、サンプル生成モデルGと、攻撃モデルAと、が入力される。なお、更新装置１００は、例えば図示しないハードディスクやメモリなどの記憶装置を有しており、当該記憶装置に上述した各種モデルのうちの一つ以上を予め記憶していても構わない。
　図１は、更新装置１００の構成の一例を示している。図１を参照すると、更新装置１００は、代替サンプル生成部１０２と、敵対的サンプル生成部１０４と、モデル更新部１０６と、を含む。
　例えば、更新装置１００は、図示しない記憶装置と演算装置とを有している。更新装置１００は、図示しない記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。
　なお、本実施形態においては、正規サンプルxL∈正規サンプルXL、代替サンプルxG∈代替サンプルXG、敵対的サンプルxA∈敵対的サンプルXAとする。また、各サンプルの次元は同一であるものとする。
　代替サンプル生成部１０２は、入力されたサンプル生成モデルGに基づいて、代替サンプルXGと、代替サンプルXGに対する正解ラベルYGとを生成する。
　例えば、サンプル生成モデルGが上述したCGANによって構成されているとする。この場合、代替サンプル生成部１０２は、ある正解ラベルyGに対して代替サンプルxGを生成する。具体的には、例えば、代替サンプル生成部１０２は、乱数rを生成する。そして、代替サンプル生成部１０２は、乱数ｒを用いてサンプル生成モデルG上のデータ点を出力する。つまり、代替サンプル生成部１０２は、G(r, yG)= xGとする。そして、代替サンプル生成部１０２は、生成した代替サンプルと正解ラベルを(xG, yG)のように対応付ける。
　なお、代替サンプル生成部１０２は、乱数として、一様乱数や正規分布に従う乱数である正規乱数などを利用することができる。
　代替サンプル生成部１０２は、上述した代替サンプルxGの生成処理を所定の数（N回）繰り返す。つまり、代替サンプル生成部１０２は、上述した代替サンプルxGの生成処理を所定の数N件の代替サンプルxGと正解ラベルyGの組が得られるまで繰り返す。このとき、代替サンプル生成部１０２は、正解ラベルyGごとに所定の数（同数）の代替サンプルxGを生成してもよいし、正解ラベルyGごとに異なる数の代替サンプルxGを生成してもよい。例えば、代替サンプル生成部１０２は、正解ラベルの合計数をLとしたとき、各正解ラベルyに対してN/L件の代替サンプルxGを生成してもよい。このように代替サンプルxGと正解ラベルyGの組を生成することで、代替サンプル生成部１０２は、代替サンプルの集合XG=(xG1, …, xGN)と、正解ラベルの集合YG=(yG1, …, yGL)を得る。
　ここで、i (1<=i<=N)回目に生成した代替サンプルxGと正解ラベルyGは、iをインデックスとしてXGとYGからXG[i]、YG[i]のようにそれぞれ取得できるものとする。なお、所定の数Nは、更新装置１００固有の定数としてもよい。また、所定の数Nを更新装置１００の入力として受け付けてもよい。
　敵対的サンプル生成部１０４は、入力された攻撃モデルAに基づいて、学習済みモデルCに誤分類を誘発するような敵対的サンプルXAと、敵対的サンプルの補正ラベルYAとを生成する。
　例えば、敵対的サンプル生成部１０４は、学習済みモデルCと、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)と、攻撃モデルAと、に基づいて、敵対的サンプルXAと、敵対的サンプルの補正ラベルYAとを生成する。具体的には、敵対的サンプル生成部１０４は、入力された攻撃モデルAに固有の方法によって、代替サンプルと正解ラベルの組(XG,YG)からM個のデータ点を持つXA,YAをそれぞれ生成する。ここで、j (1<=j<=M)個目の敵対的サンプルxAと補正ラベルyAは、jをインデックスとして敵対的サンプルXAと補正ラベルYAからXA[j]、YA[j]のようにそれぞれ取得できるものとする。
　なお、敵対的サンプル生成部１０４は、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)を用いる代わりに、サンプル生成モデルGを入力として受け付けても構わない。この場合、敵対的サンプル生成部１０４は、代替サンプル生成部１０２と同様に、サンプル生成モデルGからK個の代替サンプルを生成するよう構成しても構わない。
　ここで、一例として、敵対的サンプル生成部１０４に攻撃モデルAとしてFast Gradient Sign Method（FGSM）を入力した場合の動作例を示す。FGSMでは、以下の数１で示す計算によって摂動を与えた敵対的サンプルxAを代替サンプルxGから生成する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、J(θ,x_ ,y_ )はパラメータθを持つニューラルネットワークを用いてデータポイントxをラベルyへと分類する際の損失関数であり、∇x J(θ,x  ,y  )は損失関数のxに関する勾配である。また、関数sign()は符号関数であり、入力が正のとき+1、負のとき-1、0のとき0を返す。εは0以上の値を持つ変数であり、与える摂動の大きさを調整する変数である。例えばεには1.0等の値を利用することができる（例示した値以外であっても構わない）。よって、上述の数１で示す式は、代替サンプルxGに対して第二項で記述された摂動を与えたxAを出力する。
　図２にFGSMによる代替サンプルxGと対応する敵対的サンプルxAの一例を示す。図２で示すように、敵対的サンプル生成部１０４は、入力された代替サンプルxGに摂動を与えて敵対的サンプルxAを出力する。例えば、図２で示す場合、代替サンプルxGである車両進入禁止の道路標識に摂動を与えることで、市松模様を有する敵対的サンプルxAを生成している。また、敵対的サンプル生成部１０４は、入力した代替サンプルxGに対応する正解ラベルyGを補正ラベルyAとする。
　なお、補正ラベルyAは、正解ラベルyGと同じものを与える以外の方法で決定してもよい。例えば、敵対的サンプル生成部１０４は、敵対的サンプルxAのk-近傍(k-nearest neighbor)である代替サンプルを取得し、それらk件の代替サンプルに付与されている正解ラベルのうち最も頻度の高いものを補正ラベルyAとしてもよい。同様に、敵対的サンプルxAから距離δにある代替サンプルを取得し、それらの代替サンプルに付与されている正解ラベルのうち最も頻度の高いものを補正ラベルyAとしてもよい。
　なお、上述した敵対的サンプル生成部１０４の処理はあくまで一例である。敵対的サンプル生成部１０４は、FGSMの代わりに、攻撃モデルAとしてCarlini-Wagner L2 Attack（CW Attack）やDeepfool、Iterative Gradient Sign MethodなどのAXを生成する手法を入力として受け付けても構わない。つまり、敵対的サンプル生成部１０４は、FGSM以外の攻撃モデルAを動作させて敵対的サンプルを生成して、敵対的サンプルに対して正規の分類結果へと補正する補正ラベルを付与する、といった動作をしてもよい。
　また、敵対的サンプル生成部１０４は、上記例示したうちの複数の攻撃モデルAそれぞれに対して敵対的サンプルと補正ラベルの組を生成するよう構成しても構わない。この場合、後述するモデル更新部１０６は、複数の攻撃モデルAそれぞれに対応するすべての敵対的サンプルと補正ラベルとを入力として、追加学習を行うことになる。
　モデル更新部１０６は、敵対的サンプルが入力された際に補正ラベルを応答するように、学習済みモデルCを修正する。
　例えば、モデル更新部１０６は、代替サンプルと正解ラベルの組(XG,YG)と、敵対的サンプルと補正ラベルの組(XA,YA)とを訓練データX*={XG,XA}、Y*={YG,YA}として、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練をする。これにより、モデル更新部１０６は、学習済みモデルCよりも敵対的サンプルXAを入力された際に補正ラベルYAを出力する確率が高い新たなパラメータθ*を得る。この結果、モデル更新部１０６は、(π, θ*)を持つ更新モデルC*を生成することになる。
　図３は、モデル更新部１０６の追加学習について示した図である。図３で示すように、モデル更新部１０６は、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練をすることで、新たなパラメータである更新パラメータθ*を得る。
　なお、上述したように、敵対的サンプル生成部１０４が複数の攻撃モデルAそれぞれに対して敵対的サンプルXAと補正ラベルYAの組を生成している場合がある。このような場合、モデル更新部１０６は、一度にすべての敵対的サンプルXAと補正ラベルYAの組を含む追加の学習を行っても構わないし、攻撃モデルごとの学習を行って更新モデルC*の生成・更新を行っても構わない。例えば、敵対的サンプル生成部１０４が第１の攻撃モデルに対して敵対的サンプルXAと補正ラベルYAの組を生成するとともに、第２の攻撃モデルに対して敵対的サンプルXAと補正ラベルYAの組を生成したとする。この場合、モデル更新部１０６は、第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って更新モデルC*を生成した後、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、生成した更新モデルC*を更新することができる。モデル更新部１０６は、一度に、第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAと、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAと、に基づく追加の学習を行って更新モデルC*を生成しても構わない。
　なお、モデル更新部１０６で第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って更新モデルC*を生成した後、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、生成した更新モデルC*を更新する際に、既に実施ずみの第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習の効果が忘却によって失われてしまう場合がある。この忘却を抑止するために、非特許文献２に記載のIncremental Moment Matching法等の最適化による学習をモデル更新部１０６で第１の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って更新モデルC*を生成した後、第２の攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、生成した更新モデルC*を更新する際に用いてもよい。これを第１から第Ｋ－１の攻撃モデルに対応する追加の学習を行って更新モデルを生成した後、Incremental Moment Matching法等の忘却を抑止する最適化によって、第Ｋの攻撃モデルに対応する敵対的サンプルXAと補正ラベルYAに基づく追加の学習を行って、モデルC*を更新してもよい。このように、モデル更新部１０６は、追加の学習を繰り返す場合などにおいて、忘却を抑止するための最適化を行うよう構成しても構わない。
　以上が、更新装置１００の構成の一例である。続いて、図４を参照して、更新装置１００の動作の一例について説明する。
　図４を参照すると、更新装置１００の代替サンプル生成部１０２は、サンプル生成モデルGに基づいて、代替サンプルXGと、代替サンプルXGに対する正解ラベルYGとを生成する（ステップS101）。
　敵対的サンプル生成部１０４は、学習済みモデルCと、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)と、攻撃モデルAと、に基づいて、敵対的サンプルXAと、敵対的サンプルの補正ラベルYAとを生成する（ステップS102）。
　モデル更新部１０６は、代替サンプル生成部１０２が生成した代替サンプルと正解ラベルの組(XG,YG)と敵対的サンプル生成部１０４が生成した敵対的サンプルと補正ラベルの組(XA,YA)とを訓練データX*={XG,XA}、Y*={YG,YA}として、学習済みモデルCのニューラルネットワークπ、パラメータθに対して追加の訓練をする。これにより、モデル更新部１０６は、学習済みモデルCよりも敵対的サンプルXAを入力された際に補正ラベルYAを出力する確率が高い新たなパラメータθ*を得る。この結果、モデル更新部１０６は、(π, θ*)を持つ更新モデルC*を生成することになる（ステップS103）。
　このように、本実施形態における更新装置１００は、代替サンプル生成部１０２と、敵対的サンプル生成部１０４と、モデル更新部１０６と、を有している。このような構成により、代替サンプル生成部１０２は、サンプル生成モデルGに基づいて、代替サンプルXGと正解ラベルYGの組を生成することができる。また、敵対的サンプル生成部１０４は、攻撃モデルAに基づいて、敵対的サンプルXAと補正ラベルYAの組を生成することができる。そして、モデル更新部１０６は、代替サンプル生成部１０２と敵対的サンプル生成部１０４による生成結果とに基づいて、追加の学習を行って更新モデルC*を生成することができる。その結果、上記構成によると、学習済みモデルCを生成する際に用いた正規サンプルを用いることなく、忘却を抑制した学習済みモデルの更新を行うことが可能となる。
　つまり、本発明によれば、学習済みモデルCの構築時に訓練データとして用いた正規サンプルを用いる代わりに、正規サンプルを代表するサンプル生成モデルGを用いて、学習済みモデルが既に獲得している分類タスクの忘却を防ぎながら、敵対的サンプルに対して補正ラベルで示したクラスを応答するように学習済みモデルのパラメータを更新することができる。これによって、更新処理に必要なデータサイズを小さくしたり、伝送時間を短くしたりすることができる。なお、サンプル生成モデルGのデータサイズはパラメータ数に依存する。そのため、パラメータ数が多く、生成サンプル数が非常に少ない場合には、サンプル生成モデルGの方が冗長になる場合があり、必ずしも正規サンプルのサイズより小さいわけではない。しかしながら、多くの場合において、多数の画像や音声、トランザクションからなる正規サンプルよりも、サンプル生成モデルGを用いたほうが、データサイズが小さくなる。
　なお、更新装置１００の構成は、上述した場合に限定されない。例えば、更新装置１００は、所定の条件を満たすまで更新モデルの更新を繰り返すよう構成することができる。
　例えば、図５は、上記のような構成を有する更新装置１１０の構成の一例について示している。図５を参照すると、更新装置１１０は、更新モデルC*を再び学習済みモデルとして入力する。そのため、敵対的サンプル生成部１０４は、新たに入力された更新モデルC*を用いて新たに敵対的サンプルXAと補正ラベルYAとを生成する。そして、モデル更新部１０６は、代替サンプルと正解ラベルの組(XG,YG)と、新たに生成した敵対的サンプルと補正ラベルの組(XA,YA)とを訓練データX*={XG,XA}、Y*={YG,YA}として、更新モデルC*に対する追加の訓練をする。このように、更新装置１１０は、更新モデルC*の更新ごとに敵対的サンプル生成部１０４により新たに生成された敵対的サンプルXAと補正ラベルYAとを用いて、更新モデルC*の更新を行うよう構成されている。換言すると、更新装置１１０は、予め定められた所定の条件を満たすまで再帰的に更新を繰り返すことができる。
　なお、更新装置１１０が更新モデルC*の更新を止める条件は、さまざまなものを採用することができる。例えば、更新装置１１０は、予め定められた所定回数（回数は任意に設定して構わない）更新モデルC*の更新を繰り返すよう構成することができる。また、更新装置１１０は、敵対的サンプルを入力された際に補正ラベルを分類結果とする分類精度が所定の閾値（任意の値で構わない）を超えるまで、更新モデルC*の更新を繰り返すよう構成することができる。なお、更新装置１１０を上記のように構成する場合、分類精度を測定する測定部を更新装置１１０が有しても構わない。更新装置１１０が更新モデルC*の更新を止める条件は、上記例示したもの以外であっても構わない。
　また、図６で示すように、モデル更新部１０６は、更新後の学習済みモデルC*を再びモデル更新部１０６の学習済みモデルとして入力し、所定の分類精度が達成される、所定の回数繰り返す、等の条件を満たすまで再帰的に更新を繰り返すよう構成しても構わない。つまり、更新装置１００や１１０の代わりに、上述したような処理を行うモデル更新部１０６を有する更新装置１２０により本発明を実現しても構わない。図６で示す更新装置１２０の場合、更新装置１１０の場合と異なり、更新ごとに敵対的サンプルXAと補正ラベルYAとの生成を行わない。つまり、更新装置１２０のモデル更新部１０６は、同一の敵対的サンプルXAと補正ラベルYAとを用いて、所定の条件を満たすまで更新モデルC*の更新を繰り返す。
［第２の実施形態］
　次に、本発明の第２の実施形態について、図７を参照して説明する。図７は、更新装置２００の構成の一例を示すブロック図である。
　本発明の第２の実施形態では、更新装置１００の変形例である更新装置２００について説明する。なお、後述する更新装置２００が有する構成は、更新装置１１０や更新装置１２０など第１の実施形態で説明した様々な変形例に適用しても構わない。
　図７は、更新装置２００の構成の一例を示している。図７を参照すると、更新装置２００は、更新装置１００が有する構成に加えて、生成モデル構築部２０８と、記憶装置２１０と、を有している。
　例えば、更新装置２００は、図示しない記憶装置と演算装置とを有している。更新装置２００は、図示しない記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。
　生成モデル構築部２０８は、学習済みモデルCを生成する際に用いた訓練データに基づいて、サンプル生成モデルGを生成する。
　生成モデル構築部２０８がサンプル生成モデルGを生成する際のアルゴリズムとしては、Conditional Generative Adversarial Networks (CGAN)、Auxiliary Classifier GAN (ACGAN)などのCGANの後継や発展形、Conditional Variational Auto Encoder (CVAE)、などの訓練ラベルに該当する訓練データの生成モデルを少数のパラメータで表すように学習する方法を利用することができる。さらに、訓練ラベルに該当する訓練データの分布に関する情報が既知の場合は、その分布を表す確率密度関数などを用いてもよい。また、特定の計算式によって訓練ラベルに該当する訓練データが生成されることが既知の場合は、その計算式に基づいた生成モデルを構築してもよい。
　記憶装置２１０は、ハードディスクやメモリなどの記憶装置である。記憶装置２１０には、生成モデル構築部２０８が生成したサンプル生成モデルGが格納される。本実施形態の場合、代替サンプル生成部１０２は、記憶装置２１０に格納されたサンプル生成モデルGに基づいて、代替サンプルXGと、代替サンプルXGに対する正解ラベルYGとを生成する。
　このように、更新装置２００は、生成モデル構築部２０８と、記憶装置２１０と、を有している。このような構成であっても、第１の実施形態で説明した更新装置１００などと同様に、正規サンプルを保持し続けることなく、学習済みモデルが既に獲得している分類タスクの忘却を防ぎながら、敵対的サンプルに対して補正ラベルで示したクラスを応答するように学習済みモデルのパラメータを更新することができる。
　なお、本実施形態においては、更新装置２００が生成モデル構築部２０８や記憶装置２１０を有するとした。しかしながら、生成モデル構築部２０８や記憶装置２１０は、必ずしも更新装置２００が有さなくても構わない。例えば、生成モデル構築部２０８としての機能を有する圧縮装置と、更新装置１００（更新装置１１０や更新装置１２０でも構わない）と、のように２つ以上の複数の情報処理装置を用いて本発明を実現しても構わない。
　＜ハードウェア構成について＞
　上述した第１、第２の実施形態において、更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素は、機能単位のブロックを示している。更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素の一部又は全部は、例えば図８に示すような情報処理装置３００とプログラムとの任意の組み合わせにより実現することが出来る。図８は、更新装置１００、更新装置１１０、更新装置１２０、更新装置２００の各構成要素を実現する情報処理装置３００のハードウェア構成の一例を示すブロック図である。情報処理装置３００は、一例として、以下のような構成を含むことが出来る。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３
　　・ＲＡＭ３０３にロードされるプログラム群３０４
　　・プログラム群３０４を格納する記憶装置３０５
　　・情報処理装置３００外部の記録媒体３１０の読み書きを行うドライブ装置３０６
　　・情報処理装置３００外部の通信ネットワーク３１１と接続する通信インタフェース３０７
　　・データの入出力を行う入出力インタフェース３０８
　　・各構成要素を接続するバス３０９
　上述した各実施形態における更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素は、これらの機能を実現するプログラム群３０４をＣＰＵ３０１が取得して実行することで実現することが出来る。更新装置１００、更新装置１１０、更新装置１２０、更新装置２００が有する各構成要素の機能を実現するプログラム群３０４は、例えば、予め記憶装置３０５やＲＯＭ３０２に格納されており、必要に応じてＣＰＵ３０１がＲＡＭ３０３にロードして実行する。なお、プログラム群３０４は、通信ネットワーク３１１を介してＣＰＵ３０１に供給されてもよいし、予め記録媒体３１０に格納されており、ドライブ装置３０６が該プログラムを読み出してＣＰＵ３０１に供給してもよい。
　なお、図１２は、情報処理装置３００の構成の一例を示しており、情報処理装置３００の構成は上述した場合に例示されない。例えば、情報処理装置３００は、ドライブ装置３０６を有さないなど、上述した構成の一部から構成されても構わない。
［第３の実施形態］
　次に、図９を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、学習済みモデル更新装置４００の構成の概要について説明する。
　図９は、学習済みモデル更新装置４００の構成の一例を示している。図９を参照すると、学習済みモデル更新装置４００は、代替サンプル生成部４０１と、敵対的サンプル生成部４０２と、モデル更新部４０３と、を有している。
　代替サンプル生成部４０１は、学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、代替サンプルに対応する正解ラベルと、を生成する。
　敵対的サンプル生成部４０２は、攻撃モデルと、代替サンプル生成部４０１が生成した代替サンプルと正解ラベルと、に基づいて、学習済みモデルに誤分類を誘発させる敵対的サンプルと、敵対的サンプルに対応する補正ラベルと、を生成する。
　モデル更新部４０３は、代替サンプル生成部４０１による生成の結果と、敵対的サンプル生成部４０２による生成の結果と、に基づく追加の学習を行って、更新モデルを生成する。
　このように、本実施形態における学習済みモデル更新装置４００は、代替サンプル生成部４０１と、敵対的サンプル生成部４０２と、モデル更新部４０３と、を有している。このような構成により、代替サンプル生成部４０１は、生成モデルに基づいて、代替サンプルと正解ラベルの組を生成することができる。また、敵対的サンプル生成部４０２は、攻撃モデルに基づいて、敵対的サンプルと補正ラベルの組を生成することができる。そして、モデル更新部４０３は、代替サンプル生成部４０１と敵対的サンプル生成部４０２による生成結果とに基づいて、追加の学習を行って更新モデルを生成することができる。その結果、上記構成によると、学習済みモデルを生成する際に用いた正規サンプルを用いることなく、忘却を抑制した学習済みモデルの更新を行うことが可能となる。
　また、上述した学習済みモデル更新装置４００は、当該学習済みモデル更新装置４００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、学習済みモデル更新装置に、学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、攻撃モデルと、代替サンプル生成部が生成した代替サンプルと正解ラベルと、に基づいて、学習済みモデルに誤分類を誘発させる敵対的サンプルと、敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、代替サンプル生成部による生成の結果と、敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、を実現させるためのプログラムである。
　また、上述した学習済みモデル更新装置４００により実行される学習済みモデル更新方法は、学習済みモデル更新装置が、学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、代替サンプルに対応する正解ラベルと、を生成し、攻撃モデルと、生成した代替サンプルと正解ラベルと、に基づいて、学習済みモデルに誤分類を誘発させる敵対的サンプルと、敵対的サンプルに対応する補正ラベルと、を生成し、代替サンプルと正解ラベルと、敵対的サンプルと補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する、という方法である。
　上述した構成を有する、プログラム、又は、学習済みモデル更新方法、の発明であっても、上記学習済みモデル更新装置４００と同様の作用を有するために、上述した本発明の目的を達成することが出来る。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における学習済みモデル更新装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
　攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
　前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
　を有する
　学習済みモデル更新装置。
（付記２）
　付記１に記載の学習済みモデル更新装置であって、
　前記学習済みモデルを学習する際に用いた前記訓練データに基づいて前記生成モデルを生成する生成モデル構築部と、
　前記生成モデル構築部が構築した前記生成モデルを記憶する記憶部と、を有し、
　前記代替サンプル生成部は、前記記憶部が記憶する前記生成モデルに基づいて、前記代替サンプルと、前記代替サンプルに対応する前記正解ラベルと、を生成する
　学習済みモデル更新装置。
（付記３）
　付記２に記載の学習済みモデル更新装置であって、
　前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Generative Adversarial Networksを利用する
　学習済みモデル更新装置。
（付記４）
　付記２に記載の学習済みモデル更新装置であって、
　前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Variational Auto Encoderを利用する
　学習済みモデル更新装置。
（付記５）
　付記１から付記４までのいずれか１項に記載の学習済みモデル更新装置であって、
　前記モデル更新部は、所定の条件を満たすまで、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
　学習済みモデル更新装置。
（付記６）
　付記５に記載の学習済みモデル更新装置であって、
　前記モデル更新部は、前記更新モデルの更新ごとに前記敵対的サンプル生成部により新たに生成された前記敵対的サンプルと前記補正ラベルとを用いて、前記更新モデルの更新を行う
　学習済みモデル更新装置。
（付記７）
　付記５に記載の学習済みモデル更新装置であって、
　前記モデル更新部は、同一の前記敵対的サンプルと前記補正ラベルとを用いて、所定の条件を満たすまで、前記更新モデルの更新を繰り返す
　学習済みモデル更新装置。
（付記８）
　付記５から付記７までのいずれか１項に記載の学習済みモデル更新装置であって、
　前記モデル更新部は、予め定められた所定回数、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
　学習済みモデル更新装置。
（付記９）
　付記５から付記８までのいずれか１項に記載の学習済みモデル更新装置であって、
　前記モデル更新部は、前記敵対的サンプルに対して前記補正ラベルを分類結果とする分類精度が所定の閾値を超えるまで、前記更新モデルの更新を繰り返すよう構成されている
　学習済みモデル更新装置。
（付記１０）
　付記１から付記９までのいずれか１項に記載の学習済みモデル更新装置であって、
　前記敵対的サンプル生成部は、複数の前記攻撃モデルそれぞれに対応する前記敵対的サンプルと前記補正ラベルを生成する
　学習済みモデル更新装置。
（付記１１）
　付記９に記載の学習済みモデル更新装置であって、
　前記前記モデル更新部は、第１の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って前記更新モデルを生成した後、第２の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って、生成した前記更新モデルを更新する
　学習済みモデル更新装置。
（付記１２）
　学習済みモデル更新装置が、
　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
　攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
　前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
　学習済みモデル更新方法。
（付記１３）
　学習済みモデル更新装置に、
　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
　攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
　前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
　を実現させるためのプログラム。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
１００　更新装置
１０２　代替サンプル生成部
１０４　敵対的サンプル生成部
１０６　モデル更新部
１１０　更新装置
１２０　更新装置
２００　更新装置
２０８　生成モデル構築部
２１０　記憶装置
３００　情報処理装置
３０１　CPU
３０２　ROM
３０３　RAM
３０４　プログラム群
３０５　記憶装置
３０６　ドライブ装置
３０７　通信インタフェース
３０８　入出力インタフェース
３０９　バス
３１０　記録媒体
３１１　通信ネットワーク

 

Claims (13)

  1. 　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
    　攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
    　前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
    　を有する
    　学習済みモデル更新装置。
  2. 　請求項１に記載の学習済みモデル更新装置であって、
    　前記学習済みモデルを学習する際に用いた前記訓練データに基づいて前記生成モデルを生成する生成モデル構築部と、
    　前記生成モデル構築部が構築した前記生成モデルを記憶する記憶部と、を有し、
    　前記代替サンプル生成部は、前記記憶部が記憶する前記生成モデルに基づいて、前記代替サンプルと、前記代替サンプルに対応する前記正解ラベルと、を生成する
    　学習済みモデル更新装置。
  3. 　請求項２に記載の学習済みモデル更新装置であって、
    　前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Generative Adversarial Networksを利用する
    　学習済みモデル更新装置。
  4. 　請求項２に記載の学習済みモデル更新装置であって、
    　前記生成モデル構築部は、前記訓練データに対する前記生成モデルを生成する際に、Conditional Variational Auto Encoderを利用する
    　学習済みモデル更新装置。
  5. 　請求項１から請求項４までのいずれか１項に記載の学習済みモデル更新装置であって、
    　前記モデル更新部は、所定の条件を満たすまで、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
    　学習済みモデル更新装置。
  6. 　請求項５に記載の学習済みモデル更新装置であって、
    　前記モデル更新部は、前記更新モデルの更新ごとに前記敵対的サンプル生成部により新たに生成された前記敵対的サンプルと前記補正ラベルとを用いて、前記更新モデルの更新を行う
    　学習済みモデル更新装置。
  7. 　請求項５に記載の学習済みモデル更新装置であって、
    　前記モデル更新部は、同一の前記敵対的サンプルと前記補正ラベルとを用いて、所定の条件を満たすまで、前記更新モデルの更新を繰り返す
    　学習済みモデル更新装置。
  8. 　請求項５から請求項７までのいずれか１項に記載の学習済みモデル更新装置であって、
    　前記モデル更新部は、予め定められた所定回数、当該モデル更新部が生成した前記更新モデルの更新を繰り返すよう構成されている
    　学習済みモデル更新装置。
  9. 　請求項５から請求項８までのいずれか１項に記載の学習済みモデル更新装置であって、
    　前記モデル更新部は、前記敵対的サンプルに対して前記補正ラベルを分類結果とする分類精度が所定の閾値を超えるまで、前記更新モデルの更新を繰り返すよう構成されている
    　学習済みモデル更新装置。
  10. 　請求項１から請求項９までのいずれか１項に記載の学習済みモデル更新装置であって、
    　前記敵対的サンプル生成部は、複数の前記攻撃モデルそれぞれに対応する前記敵対的サンプルと前記補正ラベルを生成する
    　学習済みモデル更新装置。
  11. 　請求項９に記載の学習済みモデル更新装置であって、
    　前記前記モデル更新部は、第１の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って前記更新モデルを生成した後、第２の攻撃モデルに対応する前記敵対的サンプルと前記補正ラベルに基づく追加の学習を行って、生成した前記更新モデルを更新する
    　学習済みモデル更新装置。
  12. 　学習済みモデル更新装置が、
    　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成し、
    　攻撃モデルと、生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成し、
    　前記代替サンプルと前記正解ラベルと、前記敵対的サンプルと前記補正ラベルと、に基づく追加の学習を行って、更新モデルを生成する
    　学習済みモデル更新方法。
  13. 　学習済みモデル更新装置に、
    　学習済みモデルを生成する際に用いた訓練データを代表する生成モデルに基づいて、代替サンプルと、前記代替サンプルに対応する正解ラベルと、を生成する代替サンプル生成部と、
    　攻撃モデルと、前記代替サンプル生成部が生成した前記代替サンプルと前記正解ラベルと、に基づいて、前記学習済みモデルに誤分類を誘発させる敵対的サンプルと、前記敵対的サンプルに対応する補正ラベルと、を生成する敵対的サンプル生成部と、
    　前記代替サンプル生成部による生成の結果と、前記敵対的サンプル生成部による生成の結果と、に基づく追加の学習を行って、更新モデルを生成するモデル更新部と、
    　を実現させるためのプログラム。

     
PCT/JP2018/017220 2018-04-27 2018-04-27 学習済みモデル更新装置、学習済みモデル更新方法、プログラム WO2019207770A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/050,583 US20210241119A1 (en) 2018-04-27 2018-04-27 Pre-trained model update device, pre-trained model update method, and program
JP2020515435A JP7010371B2 (ja) 2018-04-27 2018-04-27 学習済みモデル更新装置、学習済みモデル更新方法、プログラム
PCT/JP2018/017220 WO2019207770A1 (ja) 2018-04-27 2018-04-27 学習済みモデル更新装置、学習済みモデル更新方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017220 WO2019207770A1 (ja) 2018-04-27 2018-04-27 学習済みモデル更新装置、学習済みモデル更新方法、プログラム

Publications (1)

Publication Number Publication Date
WO2019207770A1 true WO2019207770A1 (ja) 2019-10-31

Family

ID=68293983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017220 WO2019207770A1 (ja) 2018-04-27 2018-04-27 学習済みモデル更新装置、学習済みモデル更新方法、プログラム

Country Status (3)

Country Link
US (1) US20210241119A1 (ja)
JP (1) JP7010371B2 (ja)
WO (1) WO2019207770A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216273A (zh) * 2020-10-30 2021-01-12 东南数字经济发展研究院 一种针对语音关键词分类网络的对抗样本攻击方法
WO2021144841A1 (ja) * 2020-01-14 2021-07-22 日本電信電話株式会社 リスク評価装置、リスク評価方法、リスク評価プログラム
WO2021169157A1 (zh) * 2020-02-25 2021-09-02 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
WO2021210042A1 (ja) * 2020-04-13 2021-10-21 日本電信電話株式会社 学習装置、分類装置、学習方法、分類方法、および、プログラム
JP2022019689A (ja) * 2020-07-17 2022-01-27 タタ・コンサルタンシー・サーヴィシズ・リミテッド 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム
WO2022074796A1 (ja) * 2020-10-08 2022-04-14 富士通株式会社 評価方法、評価装置、および評価プログラム
EP3985569A1 (en) 2020-10-16 2022-04-20 Fujitsu Limited Information processing program, information processing method, and information processing device
JP7517448B2 (ja) 2020-10-08 2024-07-17 富士通株式会社 生成方法、評価方法、生成装置、評価装置、生成プログラム、および評価プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006805B2 (ja) * 2018-10-02 2022-01-24 日本電信電話株式会社 算出装置、算出方法及び算出プログラム
US11715016B2 (en) * 2019-03-15 2023-08-01 International Business Machines Corporation Adversarial input generation using variational autoencoder
WO2020239203A1 (en) * 2019-05-28 2020-12-03 Telefonaktiebolaget Lm Ericsson (Publ) Technique for generating synthetic data for radio access network configuration recommendation
US11544532B2 (en) * 2019-09-26 2023-01-03 Sap Se Generative adversarial network with dynamic capacity expansion for continual learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185070A1 (en) * 2012-01-12 2013-07-18 Microsoft Corporation Normalization based discriminative training for continuous speech recognition
US11087234B2 (en) * 2016-01-29 2021-08-10 Verizon Media Inc. Method and system for distributed deep machine learning
US10706534B2 (en) * 2017-07-26 2020-07-07 Scott Anderson Middlebrooks Method and apparatus for classifying a data point in imaging data
EP3740841A4 (en) * 2018-01-21 2021-10-20 Stats Llc SYSTEM AND METHOD FOR MOVEMENT PREDICTION OF MULTIPLE FINE GRANULARITY ADVERSARY AGENTS

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KURAKIN, ALEXEY ET AL.: "Adversarial Machine Learning at Scale", ARXIV.ORG, 11 February 2017 (2017-02-11), pages 1 - 17, Retrieved from the Internet <URL:https://arxiv.org/pdf/1611.01236.pdf> [retrieved on 20180725] *
SAMANGOUEI, POUYA ET AL.: "Defence-GAN: Protecting Classifiers against Adversarial Attacks Using Generative Models", OPENREVIEW.NET, 23 February 2018 (2018-02-23), pages 1 - 17, Retrieved from the Internet <URL:https://openreiew.net/references/pdf_id=SJVACmpwG> [retrieved on 20180725] *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327519B2 (ja) 2020-01-14 2023-08-16 日本電信電話株式会社 リスク評価装置、リスク評価方法、リスク評価プログラム
WO2021144841A1 (ja) * 2020-01-14 2021-07-22 日本電信電話株式会社 リスク評価装置、リスク評価方法、リスク評価プログラム
JPWO2021144841A1 (ja) * 2020-01-14 2021-07-22
WO2021169157A1 (zh) * 2020-02-25 2021-09-02 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
US11921819B2 (en) 2020-02-25 2024-03-05 Zhejiang University Of Technology Defense method and an application against adversarial examples based on feature remapping
WO2021210042A1 (ja) * 2020-04-13 2021-10-21 日本電信電話株式会社 学習装置、分類装置、学習方法、分類方法、および、プログラム
JP7396467B2 (ja) 2020-04-13 2023-12-12 日本電信電話株式会社 学習装置、分類装置、学習方法、分類方法、および、プログラム
JP2022019689A (ja) * 2020-07-17 2022-01-27 タタ・コンサルタンシー・サーヴィシズ・リミテッド 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム
JP7229308B2 (ja) 2020-07-17 2023-02-27 タタ・コンサルタンシー・サーヴィシズ・リミテッド 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム
WO2022074796A1 (ja) * 2020-10-08 2022-04-14 富士通株式会社 評価方法、評価装置、および評価プログラム
JP7517448B2 (ja) 2020-10-08 2024-07-17 富士通株式会社 生成方法、評価方法、生成装置、評価装置、生成プログラム、および評価プログラム
EP3985569A1 (en) 2020-10-16 2022-04-20 Fujitsu Limited Information processing program, information processing method, and information processing device
CN112216273A (zh) * 2020-10-30 2021-01-12 东南数字经济发展研究院 一种针对语音关键词分类网络的对抗样本攻击方法
CN112216273B (zh) * 2020-10-30 2024-04-16 东南数字经济发展研究院 一种针对语音关键词分类网络的对抗样本攻击方法

Also Published As

Publication number Publication date
JP7010371B2 (ja) 2022-01-26
JPWO2019207770A1 (ja) 2021-04-22
US20210241119A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
WO2019207770A1 (ja) 学習済みモデル更新装置、学習済みモデル更新方法、プログラム
WO2018016608A1 (ja) ニューラルネットワーク装置、車両制御システム、分解処理装置、及びプログラム
CN111523686B (zh) 一种模型联合训练的方法和系统
Cuevas et al. A comparison of evolutionary computation techniques for IIR model identification
JP2017220222A (ja) データグラフを比較する方法、プログラム、及び装置
CN112771547A (zh) 通信系统中的端到端学习
US20220335298A1 (en) Robust learning device, robust learning method, program, and storage device
JP6942203B2 (ja) データ処理システムおよびデータ処理方法
KR102305981B1 (ko) 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법
Nguyen et al. When does stochastic gradient algorithm work well?
US20220083870A1 (en) Training in Communication Systems
WO2020177863A1 (en) Training of algorithms
JP6942204B2 (ja) データ処理システムおよびデータ処理方法
CN114461619A (zh) 能源互联网多源数据融合方法、装置、终端及存储介质
Saadi et al. Effective prevention of semantic drift in continual deep learning
US20240220809A1 (en) Continual learning method and apparatus
Seki et al. New update rules based on Kullback-Leibler, gamma, and Renyi divergences for nonnegative matrix factorization
CN113792784B (zh) 用于用户聚类的方法、电子设备和存储介质
WO2024024217A1 (ja) 機械学習装置、機械学習方法、および機械学習プログラム
Li et al. Hessian Aware Low-Rank Perturbation for Order-Robust Continual Learning
Yamamoto et al. Reducing the computational cost in ℓ i-norm optimization for cellular automaton model identification
Lin et al. Efficient First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Qiu Distributed multi-agent consensus under constraints
CN113936167A (zh) 一种基于联合聚类域自适应的图片分类方法和系统
JP2024051819A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18915864

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020515435

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18915864

Country of ref document: EP

Kind code of ref document: A1