WO2022239201A1 - 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体 - Google Patents

推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022239201A1
WO2022239201A1 PCT/JP2021/018267 JP2021018267W WO2022239201A1 WO 2022239201 A1 WO2022239201 A1 WO 2022239201A1 JP 2021018267 W JP2021018267 W JP 2021018267W WO 2022239201 A1 WO2022239201 A1 WO 2022239201A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
reasoner
inference
machine learning
Prior art date
Application number
PCT/JP2021/018267
Other languages
English (en)
French (fr)
Inventor
隼基 森
勇 寺西
光 土田
バトニヤマ エンケタイワン
邦大 伊東
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/018267 priority Critical patent/WO2022239201A1/ja
Priority to JP2023520696A priority patent/JPWO2022239201A5/ja
Publication of WO2022239201A1 publication Critical patent/WO2022239201A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to machine learning.
  • Non-Patent Documents 1 and 2 there is known a Membership Inference attack (MI attack) that leaks secret information (eg, customer information, trade secrets, etc.) used for learning from learned parameters of machine learning.
  • MI attack Membership Inference attack
  • Non-Patent Document 1 discloses a method of MI attack under the condition that access to the inference algorithm is possible. MI attacks are carried out using a phenomenon called "overfitting" in machine learning. Overfitting is a phenomenon in which machine learning excessively adapts to the data used for learning. Due to overfitting, the tendency of the output differs when the data used for learning is input to the input of the inference algorithm and when the other data is input. By exploiting this difference in tendency, MI attack attackers can determine whether the data at hand has been used for learning or not.
  • Non-Patent Document 4 discloses a method called MemGuard. This method misleads the attacker's classifier as a countermeasure against black-box attacks under the condition that the learned parameters of the target's inference algorithm are not known.
  • Non-Patent Document 5 discloses a learning algorithm that is resistant to MI attacks. Specifically, in Non-Patent Document 5, using any known machine learning inference algorithm f and a discriminator h that identifies whether the data input to f is the data used for learning f there is Each parameter is learned in an adversarial manner to raise the inference accuracy of the inference algorithm f and its resistance to MI attacks.
  • the data used for learning may contain confidential information such as customer information and trade secrets.
  • An MI attack may leak secret information used for learning from learned parameters of machine learning. For example, an attacker who illegally obtains learned parameters may guess learning data. Alternatively, even if the learned parameters are not leaked, an attacker can predict the learned parameters by repeatedly accessing the inference algorithm. Then, learning data may be predicted from predicted learned parameters.
  • Non-Patent Document 4 is defended by adding noise to the inference result. Therefore, there is a problem that noise influences the inference result regardless of the defense performance.
  • Non-Patent Document 5 there is a trade-off between accuracy and attack resistance. Specifically, parameters are set to determine the degree of trade-off between accuracy and attack resistance. Therefore, there is a problem that it is difficult to improve both accuracy and attack resistance.
  • An object of the present disclosure is to provide an inference device, a learning device, a machine learning system, an inference method, a learning method, and a recording medium that are highly resistant to MI attacks and have high accuracy.
  • the inference device includes a first inference device generated by machine learning using first learning data and performing inference when input data is not the first learning data; 2 a second reasoner generated by machine learning using learning data and performing inference when input data is the first learning data; a third reasoner generated by over-learning rather than machine learning for generating the reasoner; and whether or not the input data is the first learning data based on the inference result of the third reasoner. and a pseudo attack device that determines whether
  • a learning device includes a first learning unit that generates a first reasoner by machine learning using first learning data, and divides the first learning data into n (n is an integer equal to or greater than 2). , a data divider that generates n sets of divided data; and a reasoner generator that generates n learning data generation reasoners by machine learning using data obtained by removing one set of divided data from the first learning data. and a learning data generating unit for generating second learning data by inputting the one set of the divided data excluded in the machine learning of the inference unit generation unit to n learning data generating inference units.
  • a generation unit and a second learning unit that generates a second reasoner by machine learning using the second learning data.
  • the first inference device generated by machine learning using the first learning data performs inference when the input data is not the first learning data, and is different from the first learning data.
  • a second reasoner generated by machine learning using second learning data performs inference when input data is the first learning data, and is generated by machine learning using the first learning data,
  • a third reasoner generated by over-learning than machine learning for generating the first reasoner performs inference based on the input data, and a pseudo-attacker generates an inference result of the third reasoner. Based on, it is determined whether or not the input data is the first learning data.
  • a learning method generates a first reasoner by machine learning using first learning data, and divides the first learning data into n (n is an integer equal to or greater than 2) pieces to obtain n sets , generating n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data, and generating the learning data generating reasoner By inputting the one set of the divided data excluded in the machine learning to the n learning data generation reasoners respectively, second learning data is generated, and the machine using the second learning data Generate a second reasoner by learning.
  • a computer-readable medium is a computer-readable medium storing a program for causing a computer to execute an inference method, wherein the inference method is generated by machine learning using first learning data.
  • a first inference device performs inference when input data is not the first learning data
  • a second inference device generated by machine learning using second learning data different from the first learning data performs input data is the first learning data, is generated by machine learning using the first learning data, and is generated by overlearning rather than machine learning for generating the first inferencer
  • a third reasoner performs inference based on the input data, and a pseudo-attacker determines whether or not the input data is the first learning data based on the inference result of the third reasoner.
  • a computer-readable medium is a computer-readable medium storing a program for causing a computer to execute a learning method, wherein the learning method performs a first inference by machine learning using first learning data.
  • n sets of divided data are generated by dividing the first learning data into n (n is an integer of 2 or more), and one set of divided data is removed from the first learning data generating n learning data generating reasoners by machine learning using data;
  • the second learning data is generated by inputting each to the data generation reasoner, and the second reasoner is generated by machine learning using the second learning data.
  • an inference device it is possible to provide an inference device, a learning device, a machine learning model, an inference method, a learning method, and a computer-readable medium that are highly resistant to MI attacks and highly accurate.
  • FIG. 1 is a block diagram showing the configuration of an inference device according to the present disclosure
  • FIG. 4 is a flow chart showing the operation of the inference device
  • 1 is a block diagram showing the configuration of a machine learning system having a learning device
  • FIG. 4 is a flow chart showing the operation of the learning device
  • 4 is a flow chart showing the operation of the learning unit of the reasoner H
  • FIG. 11 is a block diagram showing a learning device according to another embodiment
  • FIG. It is a figure which shows the hardware constitutions of the apparatus concerning this Embodiment.
  • FIG. 1 is a block diagram showing the configuration of the inference device 10.
  • the inference device 10 generates output data 28 or output data 29 by performing inference on the input data 20 .
  • the output data 28 or output data 29 is the inference result when the inference device 10 makes an inference based on the input data 20 .
  • reasoning device 10 may be a classifier that performs image classification. In this case, the inference device 10 outputs a score vector indicating the probability of each class.
  • the reasoning device 10 comprises a reasoner G, a pseudo-attacker I, a reasoner F, and a reasoner H.
  • the reasoner G, the pseudo-attacker I, the reasoner F, and the reasoner H are machine learning models generated by machine learning.
  • the reasoner F, the reasoner H, and the reasoner G are machine learning algorithms using a convolutional neural network (CNN) or the like.
  • the parameters of the reasoner F, the reasoner H, and the reasoner G correspond to the weights or bias values of the convolutional, pooling, and fully connected layers of the CNN. If the reasoner G, the reasoner F, and the reasoner H are classifiers that perform image classification, etc., they output the same score vector as the reasoning device 10 .
  • the pseudo-attacker I is a machine learning algorithm using a convolutional neural network (CNN).
  • the parameters of the pseudo-attacker I correspond to the weights or bias values of the convolutional, pooling and fully connected layers of the CNN.
  • the reasoner F is a machine learning model generated by machine learning using the first learning data (hereinafter also referred to as member data).
  • the reasoner F makes an inference based on the input data 20 .
  • the reasoner F outputs an inference result inferred from the input data 20 as output data 28 .
  • the reasoner F is also called the first reasoner.
  • the reasoner H is a machine learning model generated by machine learning using second learning data (hereinafter also referred to as second training data).
  • the second learning data is non-learning data (also referred to as non-member data) that is not the first learning data used for machine learning of the reasoner F. That is, the second learning data used in the machine learning for generating the reasoner H is different from the first learning data used in the machine learning for generating the reasoner F.
  • the data included in the first learning data do not overlap with the data included in the second learning data.
  • the reasoner H is also called the second reasoner.
  • the reasoner G is a machine learning model generated by machine learning using the first learning data. That is, the data used for the machine learning of the reasoner G and the data used for the machine learning of the reasoner F match.
  • the reasoner G is also called a third reasoner. The learning method of the reasoner F, the reasoner H, and the reasoner G will be described later.
  • the pseudo attack device I Based on the inference result output from the inference device G, the pseudo attack device I identifies whether or not the input data 20 is the first learning data. The pseudo attack device I determines whether input data is member data or non-member data. Then, the identification result is output to the reasoner H and the reasoner F.
  • the pseudo-attacker I can use an attack using modified entropy in Non-Patent Document 3.
  • the modified entropy of the reasoner G for data (x, y) is given by the following equation (1).
  • Mentr is modified emtropy.
  • x is the input data for the pseudo-attacker I and y is its label.
  • G(x) is the inference result of the inference device G for the input data x. Therefore, the identification is based on the score vector indicating the probability of each label. If Mentr is greater than the threshold ⁇ , (x, y) becomes the first learning data (member data). If Mentr is smaller than the threshold ⁇ , (x, y) is non-learning data (non-member data) that is not the first learning data.
  • the reasoner H makes an inference based on the input data. That is, the inference result of the inference device H is output as the output data 29 .
  • the reasoner F makes an inference based on the input data. That is, the inference result of the inference unit F is output as the output data 28 .
  • the reasoner F or the reasoner H makes an inference according to the identification result of the pseudo attacker I.
  • the reasoner G becomes unnecessary when the pseudo-attack is performed on the reasoner F.
  • the pseudo attacker I identifies whether or not the input data 20 is the first learning data based on the inference result of the inference device F.
  • the tendency of the output of the reasoner differs between the training data (learning data) used for training (machine learning) and the non-training data (non-learning data) that is not used.
  • Attackers attack machine learning models by exploiting the differences in the output trends of these inferencers. For example, it is assumed that the inference accuracy of the inferencer will be much higher for input data used for training than for input data that is not used for training. Therefore, the attacker can guess the training data by comparing the inference accuracy.
  • different reasoners are used during training (during machine learning) and during inference.
  • the inference result of the inference device F is not output at the time of inference.
  • the reasoning result of the reasoner H is not output at the time of reasoning. That is, when the input data 20 of the inference device 10 is member data, the inference device H outputs the inference result as the output data 29 .
  • the inference device F outputs the inference result as the output data 29 .
  • the reasoner G is a machine learning model that has been overtrained using the first learning data.
  • the reasoner G is generated by machine learning using the first learning data, and is generated by over-learning than the machine learning for generating the reasoner F.
  • the pseudo attacker I can appropriately determine whether the input data 20 is the first learning data. That is, since the inference device G has low resistance to MI attacks, the pseudo attack device I can identify the input data 20 with high identification accuracy. As mentioned above, the reasoner G is an overtrained machine learning model. Therefore, when the input data 20 is member data (first learning data), the inference accuracy of the inference device G is extremely high. On the other hand, if the input data is non-member data, the inference accuracy of the inference device G will be low.
  • the inference accuracy of the inference device G changes greatly depending on whether the input data 20 is member data or non-member data.
  • the inference accuracy of the inference device G is higher than the inference accuracy of the inference device F.
  • the inference accuracy of the reasoner G is lower than that of the reasoner F. Therefore, by comparing the inference accuracy of the inference device G, the pseudo attack device I can appropriately identify the input data 20 .
  • FIG. 2 is a flow chart showing the processing in the inference device 10. As shown in FIG.
  • the reasoner G is to be used (S201). For example, the user may choose whether to use reasoner G or not.
  • the inference device 10 accepts the user's selection, it determines whether or not to use the inference device G according to the selection.
  • whether or not to use the reasoner G may be determined according to the system that implements the reasoning apparatus 10 .
  • the input data 20 is input to the reasoner G. That is, the reasoner G makes an inference based on the input data 20 (S202). If the reasoner G is not used (No in S201), the input data 20 is input to the reasoner F (S203). That is, the reasoner F makes an inference based on the input data 20 .
  • the output of reasoner F or reasoner G is input to pseudo attacker I (S204). That is, when the reasoner G is used (Yes in S201), the inference result of the reasoner G is input to the pseudo-attacker I. On the other hand, if the reasoner G is not used (No in S201), the inference result of the reasoner F is input to the pseudo attacker I.
  • the pseudo attack device I determines whether or not the input data 20 is the first learning data from the inference result of the inference device F or the inference device G (S205). That is, the pseudo-attacker I receives the inference result of the inference device F or the inference device G and performs inference. As described above, the pseudo attacker I can make an inference based on the inference accuracy and score vector of the inference device F or the inference device G. Thereby, the pseudo attack device I can appropriately determine whether or not the input data 20 is the first learning data (member data).
  • the input data 20 is the first learning data (Yes in S205)
  • the input data 20 is input to the inference device H, and the inference device H performs inference (S206). If the input data 20 is not the first learning data (No in S205), the input data 20 is input to the inference device F, and the inference device F performs inference (S207). Thus, the processing ends.
  • the reasoning device 10 uses the reasoning device F and the reasoning device H depending on whether the input data 20 is the first learning data (member data). That is, when the input data 20 is member data, the reasoner H makes an inference based on the input data 20 . If the input data 20 is non-member data, the reasoner F makes an inference based on the input data 20 . Therefore, the inference device 10 has high resistance to MI attacks and can perform inference with high inference accuracy.
  • FIG. 3 is a block diagram showing the configuration of a machine learning system including learning device 100.
  • the learning device 100 includes a data generating section 200 and three learning sections 121-123.
  • the data generator 200 generates learning data for the reasoner H.
  • FIG. Further, learning data T is prepared in advance for machine learning of the inference device 10 . That is, the learning device 100 performs machine learning based on the learning data T.
  • FIG. 1 is a block diagram showing the configuration of a machine learning system including learning device 100.
  • the learning device 100 includes a data generating section 200 and three learning sections 121-123.
  • the data generator 200 generates learning data for the reasoner H.
  • learning data T is prepared in advance for machine learning of the inference device 10 . That is, the learning device 100 performs machine learning based on the learning data T.
  • the learning data T is the first learning data described above, and is a data group including a plurality of data.
  • the learning data T becomes a data set with a correct label (teacher data).
  • the learning data T includes a plurality of pieces of input data, each of which is associated with a correct label.
  • machine learning is not limited to supervised learning.
  • the learning unit 121 uses the learning data T to perform machine learning for generating the reasoner F.
  • the learning unit 121 trains the reasoner F based on the learning data T.
  • FIG. Machine learning in the learning unit 121 can use various techniques such as supervised learning. A known method can be used for machine learning by the learning unit 121, so the description is omitted.
  • the learning unit 121 uses all the data included in the learning data T to perform machine learning. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. The reasoner F is thereby generated.
  • the learning unit 123 uses the learning data T to perform machine learning to generate the reasoner G.
  • the learning unit 123 trains the reasoner G based on the learning data T.
  • FIG. Machine learning in the learning unit 123 can use various techniques such as supervised learning. Machine learning by the learning unit 123 can be performed using a known method, and thus description thereof is omitted.
  • the learning unit 123 uses all data included in the learning data T to perform machine learning. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. A reasoner G is thereby generated.
  • the reasoner F and the reasoner G can be machine learning models with similar layer configurations. Then, the learning unit 123 generates the reasoner G by over-learning the machine learning model using the learning data T.
  • the learning unit 123 can intentionally generate a reasoner G with low resistance to MI attacks by overlearning the machine learning model with respect to the learning data T.
  • the learning unit 123 performs learning with the number of epochs at which the classification accuracy for the learning data T is sufficiently leveled off.
  • the learning unit 123 performs machine learning with a higher number of epochs than the learning unit 121 . That is, the learning unit 123 repeatedly uses the data included in the learning data T to perform overlearning.
  • the number of iterations for one piece of data is greater than the number of iterations in learning section 121 .
  • the learning unit 123 performs machine learning with a larger number of iterations than the number of iterations of the learning unit 121 .
  • the reasoner F and the reasoner G may be machine learning models with different layer configurations.
  • the data generation unit 200 generates second learning data (training data) used for machine learning of the reasoner H.
  • the data generation unit 200 includes a data division unit 220 , learning units 202 - 1 to 202 -n for F 1 to F n , and a learning data storage unit 250 .
  • the data division unit 220 divides the learning data T into n (n is an integer equal to or greater than 2).
  • the n-divided learning data are defined as divided data T 1 to T n . That is, the data dividing unit 220 divides the learning data T into n groups to generate n sets of divided data T 1 to T n . Assuming that the learning data T is one data set, each of the divided data T 1 to T n is a subset. As will be described later, each of the divided data T 1 -T n becomes input data of the inferencers F 1 -F n .
  • Data sets included in the divided data T 1 to T n preferably do not overlap each other.
  • data included in the divided data T 1 is preferably not included in the divided data T 2 to T n .
  • the data included in the divided data T n is not included in the divided data T 1 to T n ⁇ 1 .
  • the data division unit 220 equally divides the learning data T into n. Therefore, the divided data T 1 to T n contain the same number of data.
  • the number of pieces of data included in the divided data T 1 to T n is not limited to be equal, and may be different.
  • the data division unit 220 outputs some divided data extracted from the learning data T to the learning units 202-1 to 202-n.
  • the data generation unit 200 extracts the learning data T ⁇ T 1 from the divided data T 1 to T n and inputs it to the learning unit 202-1 of F 1 .
  • the learning data T ⁇ T 1 is a difference set obtained by excluding the divided data T 1 from the learning data T. That is, the learning data T ⁇ T 1 of F 1 includes T 2 to T n .
  • the data generator 200 removes the divided data T1 from the learning data T to generate learning data T ⁇ T1.
  • the learning unit 202-1 of F 1 performs machine learning to generate the reasoner F 1 using the learning data T ⁇ T 1 .
  • the learning unit 202-1 trains the reasoner F1 based on the learning data T ⁇ T1.
  • Various techniques such as supervised learning can be used for machine learning in the learning unit 202-1.
  • a known method can be used for the machine learning of the learning unit 202-1, so a description thereof will be omitted.
  • the learning unit 202-1 performs machine learning using all the data included in the learning data T ⁇ T1. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. This produces the reasoner F1.
  • the data generator 200 inputs the divided data T1 to the inference unit F1.
  • the learning data storage unit 250 of the reasoner H stores the output of the reasoner F1 as H's learning data. That is, the inference result of the inference device F1 is stored in the memory or the like as learning data of the inference device H.
  • FIG. The learning data of the reasoner H includes the inference result of the reasoner F1 when the divided data T1 is input to the reasoner F1. In this way, the learning data used during learning of the inference device F1 is different from the input data used during inference.
  • the learning unit 202-n of F n performs machine learning to generate the reasoner F n using the learning data T ⁇ T n .
  • the learning unit 202- n trains the reasoner F n based on the learning data T ⁇ T n.
  • Various techniques such as supervised learning can be used for machine learning in the learning unit 202-n.
  • a known method can be used for machine learning by the learning unit 202-n, so a description thereof will be omitted.
  • the learning unit 202- n performs machine learning using all the data included in the learning data T ⁇ Tn. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. This produces a reasoner Fn .
  • the data generation unit 200 inputs the divided data Tn to the inference unit Fn .
  • the learning data storage unit 250 of the reasoner H stores the output of the reasoner Fn as H's learning data. That is, the inference result of the inference device Fn is stored in the memory or the like as learning data of the inference device H.
  • the learning data of the reasoner H includes the inference result of the reasoner Fn when the divided data Tn is input to the reasoner Fn. In this way, the learning data used during learning of the inference device Fn is different from the input data used during inference.
  • the data generator 200 receives the entire set of training data T.
  • FIG. The data dividing unit 220 divides the learning data T into n sets (n subsets) to generate divided data Ti.
  • the learning unit of the data generation unit 200 machine-learns the inference device F i using the learning data T ⁇ T i .
  • Learning data used for machine learning of the reasoner F i are T 1 to T i ⁇ 1 and T i+1 to T n .
  • the reasoner F i makes an inference based on the divided data T i .
  • the learning data storage unit 250 stores the inference result of the inference device F i as learning data.
  • the learning units 202-1 to 202-n of F 1 to F n are learning data generation reasoner generation units that generate the reasoners F 1 to F n .
  • the reasoners F 1 to F n can be machine learning models having a similar layer structure. That is, the reasoners F 1 to F n have the same number of layers, nodes, edges, and the like.
  • Learning units 202-1 to 202-n generate reasoners F 1 to F n using different learning data. That is, the reasoners F 1 to F n are machine learning models generated using different learning data.
  • the reasoners F 1 to F n are machine learning models that perform image classification and the like. In this case, the reasoners F 1 to F n output score vectors similar to those of the reasoners H and so on.
  • the learning data storage unit 250 of the reasoner H stores the inference results of the reasoners F 1 , F 2 , . . . , F i , .
  • the learning data storage unit 250 may store input data to the reasoners F 1 to F n and their inference results in association with each other.
  • the learning data stored in the learning data storage unit 250 of the reasoner H becomes the second learning data as described above. Therefore, in the following description, the learning data stored in the learning data storage unit 250 of the reasoner H is also simply referred to as second learning data.
  • the second learning data is a data set represented by Equation (2) below.
  • the learning unit 122 of the reasoner H performs machine learning to generate the reasoner H using the second learning data.
  • the learning unit 122 trains the reasoner H based on the second learning data.
  • Machine learning in the learning unit 122 can use various methods such as supervised learning.
  • Machine learning by the learning unit 122 can be performed using a known technique, and thus description thereof is omitted.
  • the learning unit 122 performs machine learning using all the data included in the second learning data. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. Thereby, the reasoner H is generated.
  • the learning unit 122 performs supervised learning using the inference result F i (x) for the input data x included in the divided data T i as the correct label.
  • the inference result output from the reasoner H is expressed by the following equation (3).
  • the data generating section 200 generates learning data for the reasoner H based on the outputs of the reasoners F 1 to F n .
  • the reasoner H becomes a distilled model generated using the outputs of the reasoners F 1 to F n . That is, the reasoners F 1 to F n extract some information from the learning data T.
  • the learning data storage unit 250 causes the reasoner H to learn using the information extracted by the reasoners F 1 to F n as learning data. Therefore, the reasoner H can obtain high accuracy with a simple model.
  • FIG. 4 is a flowchart showing a learning method according to this embodiment.
  • the learning unit 121 of the reasoner F causes the reasoner F to learn (S401).
  • the learning unit 121 of the reasoner F uses the entire set of training data T to train the reasoner F.
  • the reasoner F is thereby generated.
  • the inference device 10 determines whether or not to use the inference device G (S402).
  • the inference apparatus 10 makes a determination by receiving a selection input from the user or the like.
  • the learning unit 123 When the reasoner G is used (Yes in S402), the learning unit 123 generates the reasoner G by overlearning it from the reasoner F (S403). That is, the whole set of training data T is used to train the reasoner G. Further, the learning unit 123 trains the inference device G such that the inference device G learns more than the inference device F learns. A reasoner G is thereby generated.
  • step S404 When the reasoner G is not used (No in S402), or when the machine learning of the reasoner G ends, the data generation unit 200 generates learning data for the reasoner H (S404).
  • the processing of step S404 will be described in detail using FIG.
  • FIG. 5 is a flow chart showing the process of generating learning data for the reasoner H.
  • the data division unit 220 divides the learning data T into n (S501). That is, the data dividing unit 220 generates divided data T 1 to T n .
  • the learning units 202-1 to 202-n train the n reasoners F 1 to F n with the learning data excluding the divided data T 1 to T n (S502). That is, the learning unit of the data generation unit 200 machine-learns the reasoner F i using T ⁇ T i .
  • the data generation unit 200 inputs the divided data not used for learning of the n reasoners F 1 to F n to the respective reasoners F 1 to F n (S503). That is, the data generation unit 200 inputs the divided data T i to the inference device F i .
  • the divided data T i is input to the inference unit F i such that the input data during learning of the inference unit F i is different from the input data during inference.
  • the divided data T i removed by machine learning in the learning unit 202-i of F i is input to the inference unit F i .
  • the learning data storage unit 250 stores the outputs of the reasoners F 1 to F n as the learning data of the reasoner H (S504). That is, the reasoner F i performs inference based on the divided data T i excluded from the machine learning that generates the reasoner F i .
  • the learning data storage unit 250 stores the inference result of the inference device F i as learning data of the inference device H. FIG. This completes the generation of learning data.
  • the learning unit 122 causes the inference device H to learn using the second learning data (S405).
  • the learning unit 122 reads the learning data stored in the learning data storage unit 250 and uses it for machine learning of the reasoner H. FIG. Thereby, the reasoner H is generated.
  • the learning device 100 generates the reasoner F, the reasoner G, and the reasoner H.
  • FIG. Note that when the reasoner G is not used, the process of generating the reasoner G is omitted.
  • the inference device 10 It is designed so that the output when non-member data is input to reasoner F and the output when member data is input to reasoner H are indistinguishable.
  • the gap between the classification accuracy (inference accuracy) for learning data and the classification accuracy (inference accuracy) for non-learning data is reduced. Therefore, it is possible to prevent the learning data information from leaking to an MI attack attacker.
  • the pseudo attack device I if one with the highest known attack power is used, it is possible to reduce errors in sorting between the reasoner F and the reasoner H.
  • an inference device G which is separately over-trained and made as a pseudo-attack target, is used. By doing so, it is possible to further reduce allocation errors of the input data x.
  • the pseudo attacker I can perform a white box attack, unlike an attacker with a black box setting, it can perform a more powerful attack. That is, since the pseudo attacker I can access the parameters of the reasoner F or the reasoner G, it can identify member data and non-member data with high accuracy.
  • the inference device 10 with high resistance to MI attacks and high accuracy can be generated. If the input data x is inferred as non-member data during inference, the inference result F(x) is output as it is, so there is almost no deterioration in accuracy.
  • FIG. 6 is a block diagram showing a learning device 600 according to another embodiment.
  • Learning device 600 includes first learning section 601 , data dividing section 602 , reasoner generating section 603 , learning data generating section 604 , and second learning section 605 .
  • the first learning unit 601 generates the first reasoner by machine learning using the first learning data.
  • the data dividing unit 602 generates n sets of divided data by dividing the first learning data into n (n is an integer equal to or greater than 2).
  • the reasoner generating unit 603 generates n learning data generation reasoners by machine learning using data obtained by removing one set of divided data from the first learning data.
  • a learning data generation unit 604 generates second learning data by inputting a set of divided data excluded in the machine learning of the inference unit generation unit 603 to n learning data generation inference units. .
  • a second learning unit 605 generates a second reasoner by machine learning using the second learning data.
  • each element of the machine learning system can be implemented by a computer program. That is, the reasoner F, the reasoner G, the reasoner H, the pseudo-attacker I, the learning units 121 to 123, the data generation unit 200, etc. can each be realized by computer programs. In addition, the reasoner F, the reasoner G, the reasoner H, the pseudo-attacker I, the learning units 121 to 123, the data generation unit 200, etc. do not have to be physically a single device, and may be composed of a plurality of computers. may be distributed in
  • FIG. 7 is a block diagram showing an example of the hardware configuration of the machine learning system 700.
  • machine learning system 700 includes, for example, at least one memory 701 , at least one processor 702 , and network interface 703 .
  • a network interface 703 is used to communicate with other devices via a wired or wireless network.
  • Network interface 703 may include, for example, a network interface card (NIC).
  • Machine learning system 700 transmits and receives data via network interface 703 .
  • Machine learning system 700 may acquire learning data T via a network interface.
  • NIC network interface card
  • the memory 701 is configured by a combination of volatile memory and nonvolatile memory.
  • Memory 701 may include storage located remotely from processor 702 .
  • processor 702 may access memory 701 via an input/output interface (not shown).
  • the memory 701 is used to store software (computer program) including one or more instructions to be executed by the processor 702 .
  • the memory 701 may store the reasoning device F, the reasoning device G, the reasoning device H, and the pseudo attack device I. Further, when the machine learning system 700 has the learning device 100, the memory 701 may store the learning units 121 to 123, the data generation unit 200, and the like.
  • a program includes a set of instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • (Appendix 1) a first reasoner generated by machine learning using first learning data and performing inference when input data is not the first learning data; a second reasoner generated by machine learning using second learning data different from the first learning data and performing inference when input data is the first learning data; a third reasoner generated by machine learning using the first learning data and generated by over-learning than the machine learning for generating the first reasoner; and an inference result of the third reasoner.
  • a pseudo-attacker that determines whether the input data is the first learning data based on the above.
  • (Appendix 3) a first learning unit that generates a first reasoner by machine learning using the first learning data; a data dividing unit that generates n sets of divided data by dividing the first learning data by n (where n is an integer equal to or greater than 2); a reasoner generating unit that generates n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data; a learning data generation unit configured to generate second learning data by inputting the set of divided data excluded by the machine learning of the inference unit generation unit to n learning data generation reasoners, respectively; , and a second learning unit that generates a second reasoner by machine learning using the second learning data.
  • Appendix 4 3.
  • the learning device further comprising: a third learning unit that generates a third reasoner by over-learning than the first learning unit using the first learning data.
  • Appendix 5 the learning device according to appendix 4; A machine learning system comprising the reasoning device according to appendix 1 or 2.
  • Appendix 6) A first reasoner generated by machine learning using the first learning data makes an inference when the input data is not the first learning data, A second reasoner generated by machine learning using second learning data different from the first learning data makes an inference when the input data is the first learning data, A third reasoner generated by machine learning using the first learning data and generated by over-learning than machine learning for generating the first reasoner performs inference based on the input data.
  • An inference method wherein a pseudo attack device determines whether or not the input data is the first learning data based on the inference result of the third inference device.
  • Appendix 7 Let x be the input data, y be the label of the input data x, and G(x) be the output result of the third reasoner. Calculate Mentr based on the following formula (1), The inference method according to appendix 6, wherein it is determined whether or not the data is the first learning data based on the Mentr.
  • (Appendix 8) generating a first reasoner by machine learning using the first learning data; generating n sets of divided data by dividing the first learning data into n (n is an integer equal to or greater than 2); generating n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data; generating second learning data by inputting the one set of divided data excluded in the machine learning that generates the learning data generating reasoner to each of the n learning data generating reasoners; A learning method of generating a second reasoner by machine learning using the second learning data. (Appendix 9) 9. The learning method according to appendix 8, wherein a third reasoner is generated by performing overfitting rather than machine learning of the first reasoner using the first learning data.
  • the inference method includes: A first reasoner generated by machine learning using the first learning data makes an inference when the input data is not the first learning data, A second reasoner generated by machine learning using second learning data different from the first learning data makes an inference when the input data is the first learning data, A third reasoner generated by machine learning using the first learning data and generated by over-learning than machine learning for generating the first reasoner performs inference based on the input data.
  • a pseudo attack device determines whether the input data is the first learning data based on the inference result of the third inference device; computer readable medium.
  • a computer-readable medium storing a program for causing a computer to execute a learning method includes: generating a first reasoner by machine learning using the first learning data; generating n sets of divided data by dividing the first learning data into n (n is an integer equal to or greater than 2); generating n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data; generating second learning data by inputting the one set of divided data excluded in the machine learning that generates the learning data generating reasoner to each of the n learning data generating reasoners; generating a second reasoner by machine learning using the second learning data; non-transitory computer-readable medium; (Appendix 13) 13.
  • inference device 20 input data 28 output data 29 output data T learning data T 1 to T n divided data 100 learning device 121 learning unit 122 learning unit 123 learning unit 200 data generating unit 220 data dividing unit 202-1 learning unit of F 1 202-n F n learning unit 250 learning data storage unit F reasoning device H reasoning device G reasoning device I pseudo attack device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本実施の形態にかかる推論装置は、第１学習データを用いた機械学習により第１推論器を生成する第１学習部（６０１）と、第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成するデータ分割部（６０２）と、第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部（６０３）と、１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部（６０４）と、第２学習データを用いた機械学習により第２推論器を生成する第２学習部（６０５）と、を備えている。

Description

推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体
　本開示は、機械学習に関する。
　非特許文献１、２には、機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事である。過学習が原因となり推論アルゴリズムの入力に学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。
　非特許文献４には、ＭｅｍＧｕａｒｄという方法が開示されている。この方法では、攻撃対象の推論アルゴリズムの学習済みパラメータが知られていないとの条件下でのブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う。
　非特許文献５は、ＭＩ攻撃に耐性のある学習アルゴリズムを開示している。具体的には、非特許文献５では、任意の既知の機械学習の推論アルゴリズムｆと、ｆに入力されたデータがｆの学習に用いられたデータか否かを識別する識別器ｈを用いている。そして、それぞれのパラメータを敵対的に学習させ、推論アルゴリズムｆの推論精度と、ＭＩ攻撃に対する耐性を引き上げている。
Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: "Membership Inference Attacks Against Machine Learning Models " 、IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉 Ahmed Salem, Yang Zhang, Mathias Humbert, Pascal Berrang, Mario Fritz, Michael Backes: "ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses onMachine Learning Models"、 Network and Distributed System Security Symposium 2019、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/1806.01246〉 L. Song and P. Mittal. "Systematic Evaluation of Privacy Risks of Machine Learning Models"、USENIX Security Symposium 2021、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/2003.10595〉 Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、"MemGuard：Defending against Black-Box MembershipInference Attacks via Adversarial Examples"、ACM SIGSAC Conference on Computer and Communications Security 2019: 259-274、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉 Milad Nasr, Reza Shokri, Amir Houmansadr、"Machine Learning with Membership Privacy using Adversarial Regularization"、ACM SIGSAC Conference on Computer and Communications Security 2018: 634-646、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
　機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習データが予測されてしまうことがある。
　また、非特許文献４の方式は、推論結果にノイズを載せることで防御している。このため、防御性能に関係なく、推論結果にノイズの影響が及んでしまうという問題点がある。
　非特許文献５では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
　本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置、学習装置、機械学習システム、推論方法、学習方法、及び記録媒体を提供することである。
　本開示にかかる推論装置は、第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えている。
　本開示にかかる学習装置は、第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えている。
　本開示にかかる推論方法は、第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する。
　本開示にかかる学習方法は、第１学習データを用いた機械学習により第１推論器を生成し、前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により第２推論器を生成する。
　本開示にかかるコンピュータ可読媒体は、コンピュータに対して推論方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、前記推論方法は、第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する。
　本開示にかかるコンピュータ可読媒体は、コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、前記学習方法は、第１学習データを用いた機械学習により第１推論器を生成し、前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により第２推論器を生成する。
　本開示によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置、学習装置、機械学習モデル、推論方法、学習方法、及びコンピュータ可読媒体を提供できる。
本開示にかかる推論装置の構成を示すブロック図である。 推論装置の動作を示すフローチャートである。 学習装置を備えた機械学習システムの構成を示すブロック図である。 学習装置の動作を示すフローチャートである。 推論器Ｈの学習部の動作を示すフローチャートである。 その他の実施形態にかかる学習装置を示すブロック図である。 本実施の形態にかかる装置のハードウェア構成を示す図である。
　本実施の形態にかかる推論装置について、図１を用いて説明する。図１は、推論装置１０の構成を示すブロック図である。推論装置１０は、入力データ２０に対して推論を行うことで、出力データ２８又は出力データ２９を生成する。つまり、推論装置１０が入力データ２０に基づいて推論を行った時の推論結果が出力データ２８又は出力データ２９となる。例えば、推論装置１０は、画像分類を行う分類器とすることができる。この場合、推論装置１０が各クラスに該当する確率を示すスコアベクトルを出力する。
　推論装置１０は、推論器Ｇ、疑似攻撃器Ｉ、推論器Ｆ、推論器Ｈを備えている。推論器Ｇ、疑似攻撃器Ｉ、推論器Ｆ、推論器Ｈは、それぞれ機械学習により生成された機械学習モデルである。推論器Ｆ、推論器Ｈ、推論器Ｇは、畳み込みニューラルネットワーク(CNN)などを用いた機械学習アルゴリズムである。推論器Ｆ、推論器Ｈ、推論器Ｇのパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。推論器Ｇ、推論器Ｆ、推論器Ｈは画像分類などを行う分類器である場合、推論装置１０と同様のスコアベクトルを出力する。
　同様に、疑似攻撃器Ｉは、畳み込みニューラルネットワーク(CNN)などを用いた機械学習アルゴリズムである。疑似攻撃器Ｉのパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。
　推論器Ｆは、第１学習データ（以下、メンバデータともいう）を用いた機械学習により生成された機械学習モデルである。推論器Ｆは、入力データ２０に基づいて、推論を行う。推論器Ｆは、入力データ２０から推論された推論結果を出力データ２８として出力する。推論器Ｆを第１推論器とも称する。
　推論器Ｈは、第２学習データ（以下、第２訓練データともいう）を用いた機械学習により生成された機械学習モデルである。第２学習データは、推論器Ｆの機械学習に用いられた第１学習データではない非学習データ（ノンメンバデータともいう）である。つまり、推論器Ｈを生成するための機械学習で用いられた第２学習データは、推論器Ｆを生成するための機械学習で用いられた第１学習データと異なるデータである。第１学習データに含まれるデータは第２学習データに含まれるデータと重複していない。推論器Ｈを第２推論器とも称する。
　推論器Ｇは、第１学習データを用いた機械学習により生成された機械学習モデルである。つまり、推論器Ｇの機械学習に用いられたデータと、推論器Ｆの機械学習に用いられたデータは、一致している。推論器Ｇを第３推論器とも称する。推論器Ｆ、推論器Ｈ、推論器Ｇの学習方法については後述する。
　疑似攻撃器Ｉは、推論器Ｇから出力された推論結果に基づいて、入力データ２０が第１学習データか否かを識別する。疑似攻撃器Ｉは、入力データがメンバデータかノンメンバデータか否かを判別する。そして、識別結果を推論器Ｈ、及び推論器Ｆに出力する。
　さらに、疑似攻撃器Ｉは，非特許文献３におけるmodified entropyを用いた攻撃を用いることができる。この場合、データ（ｘ、ｙ）に対する推論器Ｇのmodified entropyは以下の式（１）で示される。
Figure JPOXMLDOC01-appb-M000003
　なお、Ｍｅｎｔｒがmodified emtropyである。ｘは疑似攻撃器Ｉに対する入力データであり、ｙはそのラベルである。Ｇ（ｘ）は、入力データｘに対する推論器Ｇの推論結果である。従って、各ラベルの確率を示すスコアベクトルに基づいて、識別する。Ｍｅｎｔｒが閾値τよりも大きければ、（ｘ，ｙ）は第１学習データ（メンバデータ）となる。Ｍｅｎｔｒが閾値τよりも小さければ、（ｘ，ｙ）は第１学習データではない非学習データ（ノンメンバデータ）となる。
　入力データ２０が第１学習データ（メンバデータ）である場合、推論器Ｈが入力データに基づいて推論を行う。つまり、推論器Ｈの推論結果が出力データ２９として出力される。入力データ２０が第１学習データ（メンバデータ）でない非学習データ（ノンメンバデータ）である場合、推論器Ｆが入力データに基づいて推論を行う。つまり、推論器Ｆの推論結果が出力データ２８として出力される。
　このように、疑似攻撃器Ｉの識別結果に応じて、推論器Ｆ又は推論器Ｈが推論を行う。なお、疑似攻撃を推論器Ｆに行う場合は、推論器Ｇは不要となる。この場合、疑似攻撃器Ｉは推論器Ｆの推論結果に基づいて、入力データ２０が第１学習データか否かを識別する。
　機械学習装置では、訓練（機械学習）に使用した訓練データ（学習データ）と使用していない非訓練データ（非学習データ）とで、推論器の出力の傾向が異なる。攻撃者は、この推論器の出力の傾向の違いを利用して、機械学習モデルに対して攻撃を行っている。例えば、訓練に使用された入力データについては、訓練に使用されていない入力データと比較して、推論器の推論精度が非常に高くなることが想定される。よって、攻撃者は、推論精度を比較することで、訓練データを推測することが可能となる。
　これに対して、本実施の形態では、訓練時（機械学習時）と推論時とで使用される推論器が異なっている。つまり、推論器Ｆの訓練に使った入力データ（第１学習データ）に関して、推論時に推論器Ｆの推論結果が出力されることはない。また、推論器Ｈの訓練に使った入力データ（第２学習データ）に関して、推論時に推論器Ｈの推論結果が出力されることはない。つまり、推論装置１０の入力データ２０がメンバデータの場合、推論器Ｈが推論結果を出力データ２９として出力する。推論装置１０の入力データ２０がノンメンバデータの場合、推論器Ｆが推論結果を出力データ２９として出力する。
　よって、ＭＩ攻撃に対する耐性を向上することができる。また、非特許文献５のように、ＭＩ攻撃耐性と、推論精度がトレードオフの関係となっていないため、推論精度を向上することができる。
　さらに、推論器Ｇの訓練に用いられた第１学習データと、推論器Ｆの訓練に用いた第１学習データとは完全に一致している。そして、推論器Ｇは第１学習データを用いて過学習された機械学習モデルとなっている。推論器Ｇは、第１学習データを用いた機械学習により生成され、推論器Ｆを生成するための機械学習よりも過学習することにより生成されている。
　これにより、疑似攻撃器Ｉは、入力データ２０が第１学習データであるか否かを適切に判別することできる。つまり、推論器Ｇは、ＭＩ攻撃に対する耐性が低いため、疑似攻撃器Ｉが高い識別精度で入力データ２０を識別することができる。上記のように、推論器Ｇは過学習された機械学習モデルである。従って、入力データ２０がメンバデータ（第１学習データ）である場合、推論器Ｇの推論精度が極めて高くなる。一方、入力データがノンメンバデータである場合、推論器Ｇの推論精度が低くなる。
　このように、入力データ２０がメンバデータかノンメンバデータであるかに応じて、推論器Ｇの推論精度が大きく変化する。入力データ２０がメンバデータである場合、推論器Ｇの推論精度は、推論器Ｆの推論精度よりも高くなる。反対に、入力データ２０がノンメンバデータである場合、推論器Ｇの推論精度は、推論器Ｆの推論精度よりも低くなる。よって、推論器Ｇの推論精度を比較することで、疑似攻撃器Ｉが適切に入力データ２０を識別することができる。
　次に、推論装置１０における推論方法について、図２を用いて説明する。図２は推論装置１０での処理を示すフローチャートである。
　まず、推論器Ｇを使用するか否かを判定する（Ｓ２０１）。例えば、ユーザが推論器Ｇを使用するか否かを選択してもよい。推論装置１０がユーザの選択を受け付けると、その選択に応じて推論器Ｇを使用するか否かを決定する。あるいは、推論装置１０を実装するシステムに応じて、推論器Ｇを使用するか否かが決定されていてもよい。
　推論器Ｇを使用する場合（Ｓ２０１のＹｅｓ）、入力データ２０を推論器Ｇに入力する。つまり、推論器Ｇが入力データ２０に基づいて、推論を行う（Ｓ２０２）。推論器Ｇを使用しない場合（Ｓ２０１のＮｏ）、入力データ２０を推論器Ｆに入力する（Ｓ２０３）。つまり、推論器Ｆが入力データ２０に基づいて、推論を行う。
　次に、推論器Ｆ、又は推論器Ｇの出力が疑似攻撃器Ｉに入力される（Ｓ２０４）。すなわち、推論器Ｇを使用する場合（Ｓ２０１のＹｅｓ）、推論器Ｇの推論結果が疑似攻撃器Ｉに入力される。一方、推論器Ｇを使用しない場合（Ｓ２０１のＮｏ）、推論器Ｆの推論結果が疑似攻撃器Ｉに入力される。
　疑似攻撃器Ｉは、推論器Ｆ又は推論器Ｇの推論結果から、入力データ２０が第１学習データか否かを判定する（Ｓ２０５）。つまり、疑似攻撃器Ｉは推論器Ｆ又は推論器Ｇの推論結果を入力として、推論を行う。上記のように、疑似攻撃器Ｉは、推論器Ｆ又は推論器Ｇの推論精度やスコアベクトルに基づいて、推論を行うことができる。これにより疑似攻撃器Ｉは、入力データ２０が第１学習データ（メンバデータ）であるか否かを適切に判定することができる。
　入力データ２０が第１学習データである場合（Ｓ２０５のＹｅｓ）、推論器Ｈに入力データ２０を入力して、推論器Ｈが推論を行う（Ｓ２０６）。入力データ２０が第１学習データでない場合（Ｓ２０５のＮｏ）、推論器Ｆに入力データ２０を入力して、推論器Ｆが推論を行う（Ｓ２０７）。このようにして処理が終了する。
　このように、入力データ２０が第１学習データ（メンバデータ）である否かに応じて、推論装置１０が推論器Ｆ、推論器Ｈを使い分けている。つまり、入力データ２０がメンバデータである場合、推論器Ｈが入力データ２０に基づいて推論を行う。入力データ２０がノンメンバデータである場合、推論器Ｆが入力データ２０に基づいて、推論を行う。従って、推論装置１０が、ＭＩ攻撃に対する高い耐性を有し、かつ、高い推論精度で推論を行うことができる。
　次に、推論装置１０を生成するための機械学習（訓練）について、図３を用い説明する。図３は、学習装置１００を備えた機械学習システムの構成を示すブロック図である。学習装置１００は、データ生成部２００と、３つの学習部１２１～１２３とを備えている。データ生成部２００は、推論器Ｈの学習データを生成する。また、推論装置１０の機械学習には、予め学習データＴが用意されている。つまり、学習装置１００は、学習データＴに基づいて機械学習を行う。
　学習データＴは、上記した第１学習データであり、複数のデータを含むデータ群となっている。教師有り学習を行う場合、学習データＴは正解ラベル（教師データ）付きのデータ集合となる。学習データＴでは、複数の入力データを備え、それぞれの入力データには正解ラベルが対応付けられている。もちろん、機械学習は教師有り学習に限られるものはない。
　学習部１２１は、学習データＴを用いて、推論器Ｆを生成するための機械学習を行う。学習部１２１は学習データＴに基づいて、推論器Ｆを訓練する。学習部１２１における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２１の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２１は学習データＴに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆが生成される。
　学習部１２３は、学習データＴを用いて、推論器Ｇを生成するための機械学習を行う。学習部１２３は学習データＴに基づいて、推論器Ｇを訓練する。学習部１２３における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２３の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２３は学習データＴに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｇが生成される。
　ここで、推論器Ｆと推論器Ｇは、同様のレイヤ構成を有する機械学習モデルとすることができる。そして、学習部１２３は、学習データＴを用いて、機械学習モデルを過学習することで、推論器Ｇを生成する。学習部１２３は、機械学習モデルを学習データＴについて過学習させることで、意図的にＭＩ攻撃に対する耐性の低い推論器Ｇを生成することができる。
　例えば、学習部１２３は、学習データＴに対する分類精度が十分横ばいになるエポック数で学習させる。学習部１２３は学習部１２１よりも高いエポック数で機械学習を行う。つまり、学習部１２３が、学習データＴに含まれるデータを繰り返し用いることで、過学習を行う。学習部１２３において、１つのデータのイタレーション数が学習部１２１のイタレーション数よりも多くなっている。学習部１２３は、学習部１２１のイタレーション数よりも多いイタレーション数で機械学習を行う。もちろん、推論器Ｆと推論器Ｇは異なるレイヤ構成の機械学習モデルであってもよい。
　データ生成部２００は、推論器Ｈの機械学習に用いられる第２学習データ（訓練データ）を生成する。データ生成部２００は、データ分割部２２０と、Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎと、学習データ記憶部２５０と、を備えている。
　データ分割部２２０は、学習データＴをｎ（ｎは２以上の整数）分割する。ここで、ｎ分割された学習データを分割データＴ１～Ｔｎとする。つまり、データ分割部２２０は、学習データＴをｎ分割することで、ｎセットの分割データＴ１～Ｔｎを生成する。学習データＴを１つのデータセットとすると、分割データＴ１～Ｔｎのそれぞれがサブセットとなる。後述するように、分割データＴ１～Ｔｎのそれぞれは推論器Ｆ１～Ｆｎの入力データとなる。
　分割データＴ１～Ｔｎに含まれるデータセットは互いに重複していないことが好ましい。例えば、分割データＴ１に含まれるデータは、分割データＴ２～Ｔｎに含まれていないことが好ましい。また、分割データＴｎに含まれているデータは、分割データＴ１～Ｔｎ－１に含まれていないことが好ましい。
　分割データＴ１～Ｔｎに含まれるデータ数は均等にすることが好ましい。つまり、データ分割部２２０は、学習データＴを均等にｎ分割する。従って、分割データＴ１～Ｔｎには同じ数のデータが含まれる。分割データＴ１～Ｔｎに含まれるデータ数は均等に限らず、異なっていてもよい。データ分割部２２０は、学習データＴから抽出された一部の分割データを、学習部２０２－１～２０２－ｎに出力する。
　データ生成部２００は、分割データＴ１～Ｔｎから学習データＴ＼Ｔ１を抽出して、Ｆ１の学習部２０２－１に入力する。なお、学習データＴ＼Ｔ１は、学習データＴから分割データＴ１を除いた差集合となる。つまり、Ｆ１の学習データＴ＼Ｔ１は、Ｔ２～Ｔｎを含む。データ生成部２００は、学習データＴから分割データＴ１を取り除くことで、学習データＴ＼Ｔ１を生成する。
　Ｆ１の学習部２０２－１は、学習データＴ＼Ｔ１を用いて推論器Ｆ１を生成するための機械学習を行う。学習部２０２－１は学習データＴ＼Ｔ１に基づいて、推論器Ｆ１を訓練する。学習部２０２－１における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－１の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－１は学習データＴ＼Ｔ１に含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆ１が生成される。
　データ生成部２００は、分割データＴ１を推論器Ｆ１に入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１の出力をＨの学習データとして記憶する。つまり、推論器Ｆ１の推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴ１を推論器Ｆ１に入力した時の推論器Ｆ１の推論結果が含まれる。このように、推論器Ｆ１の学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
　Ｆｎの学習部２０２－ｎは、学習データＴ＼Ｔｎを用いて推論器Ｆｎを生成するための機械学習を行う。学習部２０２－ｎは学習データＴ＼Ｔｎに基づいて、推論器Ｆｎを訓練する。学習部２０２－ｎにおける機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－ｎの機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－ｎは学習データＴ＼Ｔｎに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆｎが生成される。
　データ生成部２００は、分割データＴｎを推論器Ｆｎに入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆｎの出力をＨの学習データとして記憶する。つまり、推論器Ｆｎの推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴｎを推論器Ｆｎに入力した時の推論器Ｆｎの推論結果が含まれる。このように、推論器Ｆｎの学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
　なお、ｉ（ｉは１以上ｎ以下の任意の整数）を用いて、推論器Ｆ１～Ｆｎにおける機械学習を一般化すると、以下のようになる。データ生成部２００は、学習データＴの全体集合を受け取る。データ分割部２２０は、学習データＴをｎセット（ｎ個のサブセット）に分割して、分割データＴｉを生成する。データ生成部２００の学習部は、学習データＴ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。推論器Ｆｉの機械学習に用いられる学習データは、Ｔ１～Ｔｉ－１，Ｔｉ＋１～Ｔｎとなる。推論器Ｆｉは、分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、学習データとして記憶する。
　このように、推論器Ｆ１～Ｆｎは第２学習データを生成する学習データ生成部となる。Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎは推論器Ｆ１～Ｆｎを生成する学習データ生成用推論器生成部となる。なお、推論器Ｆ１～Ｆｎは同様のレイヤ構成を有する機械学習モデルとすることができる。つまり、推論器Ｆ１～Ｆｎはレイヤ、ノード、エッジ等の数が同じとなっている。そして、学習部２０２－１～２０２－ｎは、それぞれ異なる学習データを用いて推論器Ｆ１～Ｆｎを生成している。つまり、推論器Ｆ１～Ｆｎは異なる学習データを用いて生成された機械学習モデルである。推論器Ｆ１～Ｆｎは推論器Ｆ、推論器Ｇ、及び推論器Ｈなどと同様に、画像分類などを行う機械学習モデルである。この場合、推論器Ｆ１～Ｆｎは推論器Ｈ等と同様のスコアベクトルを出力する。
　推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１、Ｆ２、・・・Ｆｉ、・・・Ｆｎ－１、Ｆｎの推論結果を学習データとして記憶する。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎへの入力データとその推論結果を対応付けて記憶してもよい。推論器Ｈの学習データ記憶部２５０に記憶された学習データは、上記の通り、第２学習データとなる。よって、以下の説明では、推論器Ｈの学習データ記憶部２５０に記憶された学習データを単に第２学習データとも称する。第２学習データは以下の式（２）に示すデータ集合となる。
Figure JPOXMLDOC01-appb-M000004
　推論器Ｈの学習部１２２は、第２学習データを用いて推論器Ｈを生成するための機械学習を行う。学習部１２２は第２学習データに基づいて、推論器Ｈを訓練する。学習部１２２における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２２の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２２は第２学習データに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｈが生成される。
　例えば、分割データＴｉに含まれる入力データｘについての推論結果Ｆｉ（ｘ）を正解ラベルとして、学習部１２２が、教師有り学習を行う。推論器Ｈに入力データｘを入力した場合、推論器Ｈから出力される推論結果は以下の式（３）で示される。
Figure JPOXMLDOC01-appb-M000005
　このように、本実施の形態では、データ生成部２００が、推論器Ｆ１～Ｆｎの出力に基づいて、推論器Ｈの学習データを生成している。推論器Ｈは、推論器Ｆ１～Ｆｎの出力を用いて生成された蒸留モデルとなる。つまり、推論器Ｆ１～Ｆｎは、学習データＴから一部の情報を取り出す。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎで取り出された情報を学習データとして用いて、推論器Ｈを学習させる。よって、推論器Ｈはシンプルなモデルで高い精度を得ることができる。
　以下、図４を参照して、本実施の形態にかかる学習方法について説明する。図４は、本実施に形態にかかる学習方法を示すフローチャートである。
　まず、推論器Ｆの学習部１２１が推論器Ｆを学習させる（Ｓ４０１）。ここでは、推論器Ｆの学習部１２１が、学習データＴの全体集合を用いて、推論器Ｆを訓練する。これにより、推論器Ｆが生成される。つぎに、推論装置１０は、推論器Ｇを使用するか否かを判定する（Ｓ４０２）。ここでは、ステップＳ２０１と同様に、推論装置１０が、ユーザ等の選択入力を受け付けることで、判定を行う。
　推論器Ｇを使用する場合（Ｓ４０２のＹｅｓ）、学習部１２３が、推論器Ｇを推論器Ｆより過学習させて生成する（Ｓ４０３）。つまり、学習データＴの全体集合を用いて、推論器Ｇを訓練する。さらに、推論器Ｇの学習が、推論器Ｆの学習より過学習になるように、学習部１２３が推論器Ｇを学習させる。これにより、推論器Ｇが生成される。
　推論器Ｇを使用しない場合（Ｓ４０２のＮｏ）、又は推論器Ｇの機械学習が終了した場合、データ生成部２００が、推論器Ｈの学習データを生成する（Ｓ４０４）。ステップＳ４０４の処理について、図５を用いて詳細に説明する。図５は推論器Ｈの学習データを生成する処理を示すフローチャートである。
　データ分割部２２０が学習データＴをｎ分割する（Ｓ５０１）。つまり、データ分割部２２０は分割データＴ１～Ｔｎを生成する。学習部２０２－１～２０２－ｎが各分割データＴ１～Ｔｎを除いた学習データでｎ個の推論器Ｆ１～Ｆｎを学習させる（Ｓ５０２）。つまり、データ生成部２００の学習部は、Ｔ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。
　データ生成部２００は、ｎ個の推論器Ｆ１～Ｆｎの学習に使用しなかった分割データをそれぞれの推論器Ｆ１～Ｆｎに入力する（Ｓ５０３）。つまり、データ生成部２００は、分割データＴｉを推論器Ｆｉに入力する。換言すると、推論器Ｆｉの学習時の入力データと推論時の入力データが異なるように、推論器Ｆｉに分割データＴｉが入力される。例えば、Ｆｉの学習部２０２－ｉでの機械学習で除かれた分割データＴｉを推論器Ｆｉに入力する。
　推論器Ｆ１～Ｆｎの出力を推論器Ｈの学習データとして、学習データ記憶部２５０が保存する（Ｓ５０４）。つまり、推論器Ｆｉは、推論器Ｆｉを生成する機械学習から除かれた分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、推論器Ｈの学習データとして記憶する。これにより、学習データの生成が終了する。
　図４の説明に戻る。学習部１２２が第２学習データを用いて推論器Ｈを学習させる（Ｓ４０５）。学習部１２２は、学習データ記憶部２５０に記憶されている学習データを読み出して、推論器Ｈの機械学習に使用する。これにより、推論器Ｈが生成される。このようにして、学習装置１００が推論器Ｆ、推論器Ｇ、及び推論器Ｈを生成する。なお、推論器Ｇを用いない場合、推論器Ｇの生成処理が省略される。
　推論器Ｆにノンメンバデータを入力した場合の出力と、推論器Ｈにメンバデータを入力した場合の出力は区別がつかないように設計されている。推論装置１０において、学習データに対する分類精度（推論精度）と非学習データに対する分類精度（推論精度）のギャップが小さくなる。このため、ＭＩ攻撃の攻撃者に学習データの情報が漏れることを防ぐことが可能となる。
　また、疑似攻撃器Ｉとしては、既知の最も攻撃力の高いものを使用すれば推論器Ｆと推論器Ｈとの振り分けミスを減らすことが出来る。また、疑似攻撃対象として別途過学習させて作った推論器Ｇを用いている。このようにすることで、入力データｘの振り分けミスをより減らすことが出来る。さらには、疑似攻撃器Ｉは、ブラックボックス設定の攻撃者と異なり、ホワイトボックス攻撃を行うことができるため、より強力な攻撃を行うことができる。つまり、疑似攻撃器Ｉは、推論器Ｆ，又は推論器Ｇのパラメータにアクセス可能であるため、メンバデータとノンメンバデータとを高い精度で識別できる。
　上記の方法によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置１０を生成することができる。推論時に入力データｘがノンメンバデータと推論された場合には、そのまま推論結果Ｆ（ｘ）を出力するため精度劣化がほとんどない。
その他の実施形態
　図６はその他の実施形態にかかる学習装置６００を示すブロック図である。学習装置６００は、第１学習部６０１と、データ分割部６０２と、推論器生成部６０３と、学習データ生成部６０４と、第２学習部６０５とを備える。
　第１学習部６０１は、第１学習データを用いた機械学習により第１推論器を生成する。データ分割部６０２は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成する。推論器生成部６０３は、第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する。学習データ生成部６０４は、前記推論器生成部６０３の前記機械学習で除かれた１セットの分割データをｎ個の学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する。第２学習部６０５は、第２学習データを用いた機械学習により第２推論器を生成する。これにより、ＭＩ攻撃に対する耐性が高く、かつ、精度の高い機械学習モデルを実現することができる。
　上記の実施形態において、機械学習システムのそれぞれの要素はそれぞれコンピュータプログラムで実現可能である。つまり、推論器Ｆ、推論器Ｇ，推論器Ｈ、疑似攻撃器Ｉ、学習部１２１～１２３、データ生成部２００等はそれぞれコンピュータプログラムで実現可能である。また、推論器Ｆ、推論器Ｇ，推論器Ｈ、疑似攻撃器Ｉ、学習部１２１～１２３、データ生成部２００等は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
　次に、実施の形態にかかる機械学習システムのハードウェア構成について説明する。図７は、機械学習システム７００のハードウェア構成の一例を示すブロック図である。図７に示すように、機械学習システム７００は例えば、少なくとも一つのメモリ７０１、少なくとも一つのプロセッサ７０２，及びネットワークインタフェース７０３を含む。
　ネットワークインタフェース７０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース７０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。機械学習システム７００は、ネットワークインタフェース７０３を介して、データの送受信を行う。機械学習システム７００は、ネットワークインタフェースを介して、学習データＴを取得してもよい。
　メモリ７０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ７０１は、プロセッサ７０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ７０２は、図示されていない入出力インタフェースを介してメモリ７０１にアクセスしてもよい。
　メモリ７０１は、プロセッサ７０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。機械学習システム７００が推論装置１０を有する場合、メモリ７０１は、推論器Ｆ、推論器Ｇ，推論器Ｈ、疑似攻撃器Ｉを格納していてもよい。また、機械学習システム７００が学習装置１００を有する場合、メモリ７０１は、学習部１２１～１２３、データ生成部２００等を格納していてもよい。
　プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、
　前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、
　前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と
　前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えた推論装置。
（付記２）
　前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
　以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
Figure JPOXMLDOC01-appb-M000006
 　前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する付記１に記載の推論装置。
（付記３）
　第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、
　前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
　前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
　前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えた学習装置。
（付記４）
　前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた付記３に記載の学習装置。
（付記５）
　付記４に記載の学習装置と、
　付記１、又は２に記載の推論装置と、を備えた機械学習システム。
（付記６）
　第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
　前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
　前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
　疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、推論方法。
（付記７）
　前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
　以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
Figure JPOXMLDOC01-appb-M000007
 　前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する付記６に記載の推論方法。
（付記８）
　第１学習データを用いた機械学習により第１推論器を生成し、
　前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
　前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
　前記第２学習データを用いた機械学習により第２推論器を生成する、学習方法。
（付記９）
　前記第１学習データを用いて、前記第１推論器の機械学習よりも過学習を行うことで、第３推論器を生成する、付記８に記載の学習方法。
（付記１０）
　コンピュータに対して推論方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
　前記推論方法は、
　第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
　前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
　前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
　疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、
　コンピュータ可読媒体。
（付記１１）
　前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
　以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
Figure JPOXMLDOC01-appb-M000008
 　前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する付記１０に記載のコンピュータ可読媒体。
（付記１２）
　コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
　前記学習方法は、
　第１学習データを用いた機械学習により第１推論器を生成し、
　前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
　前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
　前記第２学習データを用いた機械学習により第２推論器を生成する、
　非一時的なコンピュータ可読媒体。
（付記１３）
　前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた付記１２に記載のコンピュータ可読媒体。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　１０　推論装置
　２０　入力データ
　２８　出力データ
　２９　出力データ
　Ｔ　学習データ
　Ｔ１～Ｔｎ　分割データ
　１００　学習装置
　１２１　学習部
　１２２　学習部
　１２３　学習部
　２００　データ生成部
　２２０　データ分割部
　２０２－１　Ｆ１の学習部
　２０２－ｎ　Ｆｎの学習部
　２５０　学習データ記憶部
　Ｆ　推論器
　Ｈ　推論器
　Ｇ　推論器
　Ｉ　疑似攻撃器

Claims (10)

  1. 　第１学習データを用いた機械学習により生成され、入力データが前記第１学習データではない場合に推論を行う第１推論器と、
    　前記第１学習データと異なる第２学習データを用いた機械学習により生成され、入力データが前記第１学習データである場合に推論を行う第２推論器と、
    　前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器と
    　前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する疑似攻撃器と、を備えた推論装置。
  2. 　前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
    　以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
    Figure JPOXMLDOC01-appb-M000001
     　前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する請求項１に記載の推論装置。
  3. 　第１学習データを用いた機械学習により第１推論器を生成する第１学習部と、
    　前記第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
    　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
    　前記推論器生成部の前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
    　前記第２学習データを用いた機械学習により第２推論器を生成する第２学習部と、を備えた学習装置。
  4. 　前記第１学習データを用いて、前記第１学習部よりも過学習を行うことで、第３推論器を生成する第３学習部と、を備えた請求項３に記載の学習装置。
  5. 　請求項４に記載の学習装置と、
    　請求項１、又は２に記載の推論装置と、を備えた機械学習システム。
  6. 　第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
    　前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
    　前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
    　疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、推論方法。
  7. 　前記入力データをｘ，前記入力データｘのラベルをｙ、前記第３推論器の出力結果をＧ（ｘ）とした場合に、前記疑似攻撃器が、
    　以下の式（１）に基づいて、Ｍｅｎｔｒを算出し、
    Figure JPOXMLDOC01-appb-M000002
     　前記Ｍｅｎｔｒに基づいて、前記第１学習データであるか否か判定する請求項６に記載の推論方法。
  8. 　第１学習データを用いた機械学習により第１推論器を生成し、
    　前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
    　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
    　前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
    　前記第２学習データを用いた機械学習により第２推論器を生成する、学習方法。
  9. 　コンピュータに対して推論方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
    　前記推論方法は、
    　第１学習データを用いた機械学習により生成された第１推論器が、入力データが前記第１学習データではない場合に推論を行い、
    　前記第１学習データと異なる第２学習データを用いた機械学習により生成された第２推論器が、入力データが前記第１学習データである場合に推論を行い、
    　前記第１学習データを用いた機械学習により生成され、前記第１推論器を生成するための機械学習よりも過学習することにより生成された第３推論器が、前記入力データに基づいて推論を行い、
    　疑似攻撃器が、前記第３推論器の推論結果に基づいて、前記入力データが前記第１学習データであるか否かを判定する、
    　コンピュータ可読媒体。
  10. 　コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
    　前記学習方法は、
    　第１学習データを用いた機械学習により第１推論器を生成し、
    　前記第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成し、
    　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
    　前記学習データ生成用推論器を生成する前記機械学習で除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
    　前記第２学習データを用いた機械学習により第２推論器を生成する、
    　コンピュータ可読媒体。
PCT/JP2021/018267 2021-05-13 2021-05-13 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体 WO2022239201A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/018267 WO2022239201A1 (ja) 2021-05-13 2021-05-13 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体
JP2023520696A JPWO2022239201A5 (ja) 2021-05-13 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018267 WO2022239201A1 (ja) 2021-05-13 2021-05-13 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022239201A1 true WO2022239201A1 (ja) 2022-11-17

Family

ID=84028050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018267 WO2022239201A1 (ja) 2021-05-13 2021-05-13 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2022239201A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931216A (zh) * 2020-09-16 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931216A (zh) * 2020-09-16 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIWEI SONG, PRATEEK MITTAL: "Systematic Evaluation of Privacy Risks of Machine Learning Models", USENIX, USENIX, THE ADVANCED COMPUTING SYSTEMS ASSOCIATION, 14 September 2021 (2021-09-14), Usenix, the Advanced Computing Systems Association, pages 1 - 21, XP061063126 *
NASR, M. ET AL.: "Machine learning with membership privacy using adversarial regularization", PROCEEDINGS OF THE 2018 ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY, October 2018 (2018-10-01), pages 634 - 646, XP058701177, [retrieved on 20210702], DOI: https://dl.acm.org/doi/abs/10.1145/3 243734.3243855 *
TAKAESU ISAO: "How to infer the training data of a machine learning model", MBSD, 18 June 2020 (2020-06-18), pages 1 - 9, XP055883928, Retrieved from the Internet <URL:https://www.mbsd.jp/blog/20200618.html> [retrieved on 20220126] *

Also Published As

Publication number Publication date
JPWO2022239201A1 (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
Su et al. One pixel attack for fooling deep neural networks
Juuti et al. PRADA: protecting against DNN model stealing attacks
Rouhani et al. Deepsigns: A generic watermarking framework for ip protection of deep learning models
Zhao et al. Watermarking graph neural networks by random graphs
Liu et al. Feature selection for image steganalysis using binary bat algorithm
Chi et al. Privacy partitioning: Protecting user data during the deep learning inference phase
Raje et al. Decentralised firewall for malware detection
Wang et al. Man-in-the-middle attacks against machine learning classifiers via malicious generative models
CN115659408B (zh) 一种电力系统敏感数据共享方法、系统及存储介质
CN115238827B (zh) 保护隐私的样本检测系统训练方法及装置
Kumar et al. AE-DCNN: Autoencoder enhanced deep convolutional neural network for malware classification
Chen et al. Teacher model fingerprinting attacks against transfer learning
KR20220109418A (ko) 신경 흐름 증명
Evans et al. RAIDER: Reinforcement-aided spear phishing detector
Bajaj et al. A state-of-the-art review on adversarial machine learning in image classification
Wang et al. Stealthy inference attack on dnn via cache-based side-channel attacks
Sharifzadeh et al. Convolutional neural network steganalysis's application to steganography
Siddiqi Adversarial security attacks and perturbations on machine learning and deep learning methods
Yu et al. Security and Privacy in Federated Learning
Rouhani et al. DeepSigns: a generic watermarking framework for protecting the ownership of deep learning models
WO2022239201A1 (ja) 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体
Liao et al. Server-based manipulation attacks against machine learning models
WO2022018867A1 (en) Inference apparatus, inference method and computer-readable storage medium
WO2022239200A1 (ja) 学習装置、推論装置、学習方法、及びコンピュータ可読媒体
Binh et al. Investigate Evolutionary Strategies for Black-box Attacks to Deepfake Forensic Systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941934

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520696

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941934

Country of ref document: EP

Kind code of ref document: A1