WO2022239200A1 - 学習装置、推論装置、学習方法、及びコンピュータ可読媒体 - Google Patents

学習装置、推論装置、学習方法、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022239200A1
WO2022239200A1 PCT/JP2021/018265 JP2021018265W WO2022239200A1 WO 2022239200 A1 WO2022239200 A1 WO 2022239200A1 JP 2021018265 W JP2021018265 W JP 2021018265W WO 2022239200 A1 WO2022239200 A1 WO 2022239200A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
data
reasoner
unit
learning data
Prior art date
Application number
PCT/JP2021/018265
Other languages
English (en)
French (fr)
Inventor
隼基 森
勇 寺西
光 土田
バトニヤマ エンケタイワン
邦大 伊東
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023520695A priority Critical patent/JPWO2022239200A5/ja
Priority to PCT/JP2021/018265 priority patent/WO2022239200A1/ja
Publication of WO2022239200A1 publication Critical patent/WO2022239200A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to machine learning.
  • Non-Patent Documents 1 and 2 there is known a Membership Inference attack (MI attack) that leaks secret information (eg, customer information, trade secrets, etc.) used for learning from learned parameters of machine learning.
  • MI attack Membership Inference attack
  • Non-Patent Document 1 discloses a method of MI attack under the condition that access to the inference algorithm is possible. MI attacks are carried out using a phenomenon called "overfitting" in machine learning. Overfitting is a phenomenon in which machine learning excessively adapts to the data used for learning. Due to overfitting, the tendency of the output differs when the data used for learning is input to the input of the inference algorithm and when the other data is input. By exploiting this difference in tendency, MI attack attackers can determine whether the data at hand has been used for learning or not.
  • Non-Patent Document 4 discloses a method called MemGuard. This method misleads the attacker's classifier as a countermeasure against black-box attacks under the condition that the learned parameters of the target's inference algorithm are not known.
  • Non-Patent Document 5 discloses a learning algorithm that is resistant to MI attacks. Specifically, in Non-Patent Document 5, using any known machine learning inference algorithm f and a discriminator h that identifies whether the data input to f is the data used for learning f there is Each parameter is learned in an adversarial manner to raise the inference accuracy of the inference algorithm f and its resistance to MI attacks.
  • the data used for learning may contain confidential information such as customer information and trade secrets.
  • An MI attack may leak secret information used for learning from learned parameters of machine learning. For example, an attacker who illegally obtains learned parameters may guess learning data. Alternatively, even if the learned parameters are not leaked, an attacker can predict the learned parameters by repeatedly accessing the inference algorithm. Then, learning data may be predicted from predicted learned parameters.
  • Non-Patent Document 4 is defended by adding noise to the inference result. Therefore, there is a problem that noise influences the inference result regardless of the defense performance.
  • Non-Patent Document 5 there is a trade-off between accuracy and attack resistance. Specifically, parameters are set to determine the degree of trade-off between accuracy and attack resistance. Therefore, there is a problem that it is difficult to improve both accuracy and attack resistance.
  • An object of the present disclosure is to provide an inference device, a learning device, a learning method, and a recording medium that are highly resistant to MI attacks and have high accuracy.
  • a learning device includes a data dividing unit that generates n sets of divided data by dividing the first learning data by n (n is an integer equal to or greater than 2), and dividing the first learning data into one set.
  • a learning data generation unit that generates second learning data by inputting data into the generating inference unit, and a learning unit that generates the inference unit by machine learning using the second learning data.
  • the learning method generates n sets of divided data by dividing the first learning data by n (n is an integer of 2 or more), and removes one set of divided data from the first learning data. generating n learning data generating reasoners by machine learning using data, and inputting the set of divided data excluded from the machine learning to the n learning data generating reasoners, respectively; , the second learning data is generated, and the reasoner is generated by machine learning using the second learning data.
  • a computer-readable medium is a computer-readable medium storing a program for causing a computer to execute a learning method, wherein the learning method stores first learning data as n (n is an integer equal to or greater than 2). ) generating n sets of divided data by dividing, generating n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data, Second learning data is generated by inputting the one set of divided data excluded from machine learning to each of the n learning data generation reasoners, and machine learning using the second learning data Generate an inferencer.
  • a learning device an inference device, a learning method, and a computer-readable medium that are highly resistant to MI attacks and highly accurate.
  • FIG. 1 is a block diagram showing the configuration of a machine learning system having a learning device;
  • FIG. 4 is a flow chart showing the operation of the learning device;
  • 4 is a flow chart showing the operation of the learning unit of the reasoner H;
  • FIG. 11 is a block diagram showing the operation of a learning device according to another embodiment; It is a figure which shows the hardware constitutions of the apparatus concerning this Embodiment.
  • FIG. 1 is a block diagram showing the configuration of a machine learning system including a learning device 100.
  • the learning device 100 includes a data generation section 200 and a learning section 122 .
  • learning data T are prepared in advance.
  • the learning data T is also called member data, and data other than the learning data T is also called non-member data.
  • the data generation unit 200 generates learning data for the reasoner H based on the learning data T.
  • the learning data T prepared in advance will also be referred to as first learning data
  • the learning data generated by the data generation unit 200 will also be referred to as second learning data.
  • the learning unit 122 performs machine learning based on the second learning data generated by the data generation unit 200 . Thereby, the reasoner H is generated.
  • the reasoner H is a machine learning model that makes inferences on input data.
  • the reasoner H outputs an inference result when inference is made based on the input data.
  • the reasoner H can be a classifier that performs image classification.
  • the reasoner H outputs a score vector indicating the probability that it corresponds to each class.
  • the learning data T is the first learning data, and is a data group including multiple data.
  • the learning data T becomes a data set with a correct label (teacher data).
  • the learning data T includes a plurality of pieces of input data, each of which is associated with a correct label.
  • machine learning is not limited to supervised learning.
  • the data generation unit 200 generates second learning data (training data) used for machine learning of the reasoner H.
  • the data generation unit 200 includes a data division unit 220 , learning units 202 - 1 to 202 -n for F 1 to F n , and a learning data storage unit 250 .
  • the data division unit 220 divides the learning data T into n (n is an integer equal to or greater than 2).
  • the n-divided learning data are defined as divided data T 1 to T n . That is, the data dividing unit 220 divides the learning data T into n groups to generate n sets of divided data T 1 to T n . Assuming that the learning data T is one data set, each of the divided data T 1 to T n is a subset. As will be described later, each of the divided data T 1 -T n becomes input data of the inferencers F 1 -F n .
  • Data sets included in the divided data T 1 to T n preferably do not overlap each other.
  • data included in the divided data T 1 is preferably not included in the divided data T 2 to T n .
  • the data included in the divided data T n is not included in the divided data T 1 to T n ⁇ 1 .
  • the data division unit 220 equally divides the learning data T into n. Therefore, the divided data T 1 to T n contain the same number of data.
  • the number of pieces of data included in the divided data T 1 to T n is not limited to be equal, and may be different.
  • the data division unit 220 outputs some divided data extracted from the learning data T to the learning units 202-1 to 202-n.
  • the data generation unit 200 extracts the learning data T ⁇ T 1 from the divided data T 1 to T n and inputs it to the learning unit 202-1 of F 1 .
  • the learning data T ⁇ T 1 is a difference set obtained by excluding the divided data T 1 from the learning data T. That is, the learning data T ⁇ T 1 of F 1 includes T 2 to T n .
  • the data generator 200 removes the divided data T1 from the learning data T to generate learning data T ⁇ T1.
  • the learning unit 202-1 of F 1 performs machine learning to generate the reasoner F 1 using the learning data T ⁇ T 1 .
  • the learning unit 202-1 trains the reasoner F1 based on the learning data T ⁇ T1.
  • Various techniques such as supervised learning can be used for machine learning in the learning unit 202-1.
  • a known method can be used for the machine learning of the learning unit 202-1, so a description thereof will be omitted.
  • the learning unit 202-1 performs machine learning using all the data included in the learning data T ⁇ T1. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. This produces the reasoner F1.
  • the data generator 200 inputs the divided data T1 to the inference unit F1.
  • the learning data storage unit 250 of the reasoner H stores the output of the reasoner F1 as H's learning data. That is, the inference result of the inference device F1 is stored in the memory or the like as learning data of the inference device H.
  • FIG. The learning data of the reasoner H includes the inference result of the reasoner F1 when the divided data T1 is input to the reasoner F1. In this way, the learning data used during learning of the inference device F1 is different from the input data used during inference.
  • the learning unit 202-n of F n performs machine learning to generate the reasoner F n using the learning data T ⁇ T n .
  • the learning unit 202- n trains the reasoner F n based on the learning data T ⁇ T n.
  • Various techniques such as supervised learning can be used for machine learning in the learning unit 202-n.
  • a known method can be used for machine learning by the learning unit 202-n, so a description thereof will be omitted.
  • the learning unit 202- n performs machine learning using all the data included in the learning data T ⁇ Tn. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. This produces a reasoner Fn .
  • the data generation unit 200 inputs the divided data Tn to the inference unit Fn .
  • the learning data storage unit 250 of the reasoner H stores the output of the reasoner Fn as H's learning data. That is, the inference result of the inference device Fn is stored in the memory or the like as learning data of the inference device H.
  • the learning data of the reasoner H includes the inference result of the reasoner Fn when the divided data Tn is input to the reasoner Fn. In this way, the learning data used during learning of the inference device Fn is different from the input data used during inference.
  • the data generator 200 receives the entire set of training data T.
  • FIG. The data dividing unit 220 divides the learning data T into n sets (n subsets) to generate divided data Ti.
  • the learning unit of the data generation unit 200 machine-learns the inference device F i using the learning data T ⁇ T i .
  • Learning data used for machine learning of the reasoner F i are T 1 to T i ⁇ 1 and T i+1 to T n .
  • the reasoner F i makes an inference based on the divided data T i .
  • the learning data storage unit 250 stores the inference result of the inference device F i as learning data.
  • the learning units 202-1 to 202-n of F 1 to F n are learning data generation reasoner generation units that generate the reasoners F 1 to F n .
  • the reasoners F 1 to F n can be machine learning models having a similar layer structure. That is, the reasoners F 1 to F n have the same number of layers, nodes, edges, and the like.
  • Learning units 202-1 to 202-n generate reasoners F 1 to F n using different learning data. That is, the reasoners F 1 to F n are machine learning models generated using different learning data.
  • the reasoners F 1 to F n are machine learning models that perform image classification and the like. In this case, the reasoners F 1 to F n output the same score vector as the reasoner H.
  • the learning data storage unit 250 of the reasoner H stores the inference results of the reasoners F 1 , F 2 , . . . , F i , .
  • the learning data storage unit 250 may store input data to the reasoners F 1 to F n and their inference results in association with each other.
  • the learning data stored in the learning data storage unit 250 of the reasoner H becomes the second learning data as described above. Therefore, in the following description, the learning data stored in the learning data storage unit 250 of the reasoner H is also simply referred to as second learning data.
  • the second learning data is a data set represented by Equation (1) below.
  • the learning unit 122 of the reasoner H performs machine learning to generate the reasoner H using the second learning data.
  • the learning unit 122 trains the reasoner H based on the second learning data.
  • Machine learning in the learning unit 122 can use various techniques such as supervised learning.
  • Machine learning by the learning unit 122 can be performed using a known technique, and thus description thereof is omitted.
  • the learning unit 122 performs machine learning using all the data included in the second learning data. Machine learning, for example, optimizes the parameters of each layer in a deep learning model. Thereby, the reasoner H is generated.
  • the learning unit 122 performs supervised learning using the inference result F i (x) for the input data x included in the divided data T i as the correct label.
  • the inference result output from the reasoner H is expressed by the following equation (2).
  • the data generating section 200 generates learning data for the reasoner H based on the outputs of the reasoners F 1 to F n .
  • the reasoner H becomes a distilled model generated using the outputs of the reasoners F 1 to F n . That is, the reasoners F 1 to F n extract some information from the learning data T.
  • the learning data storage unit 250 causes the reasoner H to learn using the information extracted by the reasoners F 1 to F n as learning data. Therefore, the reasoner H can obtain high estimation accuracy with a simple model.
  • FIG. 2 is a flow chart showing the learning method according to this embodiment.
  • step S201 the data generation unit 200 generates learning data for the reasoner H (S201).
  • the processing of step S201 will be described in detail using FIG.
  • FIG. 3 is a flow chart showing the process of generating learning data for the reasoner H.
  • FIG. 3 is a flow chart showing the process of generating learning data for the reasoner H.
  • the data division unit 220 divides the learning data T into n (S501). That is, the data dividing unit 220 generates divided data T 1 to T n .
  • the learning units 202-1 to 202-n train the n reasoners F 1 to F n with the learning data excluding the divided data T 1 to T n (S502). That is, the learning unit of the data generation unit 200 machine-learns the reasoner F i using T ⁇ T i .
  • the data generation unit 200 inputs the divided data not used for learning of the n reasoners F 1 to F n to the respective reasoners F 1 to F n (S503). That is, the data generation unit 200 inputs the divided data T i to the inference device F i .
  • the divided data T i is input to the inference unit F i such that the input data during learning of the inference unit F i is different from the input data during inference.
  • the divided data T i removed by machine learning in the learning unit 202-1 for F i is input to the inference unit F i .
  • the learning data storage unit 250 stores the outputs of the reasoners F 1 to F n as the learning data of the reasoner H (S504). That is, the reasoner F i performs inference based on the divided data T i excluded from the machine learning that generates the reasoner F i .
  • the learning data storage unit 250 stores the inference result of the inference device F i as learning data of the inference device H. FIG. This completes the generation of learning data.
  • the learning unit 122 causes the inference device H to learn using the second learning data (S202).
  • the learning unit 122 reads the learning data stored in the learning data storage unit 250 and uses it for machine learning of the reasoner H. FIG. Thereby, the reasoner H is generated.
  • the data generator 200 generates the reasoner H.
  • FIG. 1
  • the inference device F i when the data included in the learning data T is input to the inference device H as input data, the inference device F i generated by machine learning excluding the input data performs inference. Therefore, only the reasoner H can provide sufficient security.
  • the reasoner H reduces the classification accuracy for member data to the classification accuracy for non-member data. Therefore, higher safety can be obtained.
  • the learning unit 122 performs supervised learning using the inference result obtained by the inference device F i as the correct label. When the member data is input to the reasoner H, the inference result of the reasoner Fi that has learned with the non-member data excluding the member data is output. Therefore, sufficient security can be obtained with the reasoner H alone.
  • the data generator 200 generates learning data for the reasoner H based on the outputs of the reasoners F 1 to F n .
  • the reasoner H becomes a distilled model generated using the outputs of the reasoners F 1 to F n . That is, the reasoners F 1 to F n extract some information from the learning data T.
  • the learning data storage unit 250 causes the reasoner H to learn using the information extracted by the reasoners F 1 to F n as learning data. Therefore, the reasoner H can obtain high accuracy with a simple model.
  • the learning unit 122 uses not only the second learning data but also the first learning data. That is, the learning unit 122 uses at least part of the learning data T to perform machine learning. In the learning data T, a true correct label y is associated with the input data x. In a modified example, the learning unit 122 can adjust the ratio of true correct labels y to be mixed with the second learning data.
  • the second learning data is the data set shown in Equation (1) above.
  • L0 be the loss function when learning using the data set shown in the above equation (1).
  • L1 be the loss function when learning is performed using the learning data T, which is the first learning data.
  • ⁇ be a parameter for adjusting security and accuracy against MI attacks. ⁇ is a real number of 0 or more and 1 or less.
  • the parameter ⁇ indicates the ratio of the first learning data to the second learning data.
  • the learning unit 122 generates the reasoner H based on the parameter ⁇ , the loss function L 1 and the loss function L 0 .
  • the learning unit 122 performs machine learning based on the loss function L ⁇ .
  • FIG. 4 is a block diagram showing a learning device 600 according to another embodiment.
  • the learning device 600 includes a data division unit 602 , a reasoner generation unit 603 , a learning data generation unit 604 and a learning unit 605 .
  • the data dividing unit 602 generates n sets of divided data by dividing the first learning data into n (n is an integer equal to or greater than 2).
  • the reasoner generating unit 603 generates n learning data generation reasoners by machine learning using data obtained by removing one set of divided data from the first learning data.
  • the learning data generation unit 604 generates the second learning data by inputting the set of divided data excluded from the machine learning to the n learning data generation reasoners.
  • a learning unit 605 generates a reasoner by machine learning using the second learning data.
  • each element of the machine learning system can be implemented by a computer program. That is, the reasoner H, the learning unit 122, the data generation unit 200, and the like can each be realized by computer programs. In addition, the reasoner H, the learning unit 122, the data generation unit 200, etc. may not physically be a single device, but may be distributed over a plurality of computers.
  • FIG. 5 is a block diagram showing an example of the hardware configuration of the machine learning system 700.
  • machine learning system 700 includes, for example, at least one memory 701 , at least one processor 702 , and network interface 703 .
  • a network interface 703 is used to communicate with other devices via a wired or wireless network.
  • Network interface 703 may include, for example, a network interface card (NIC).
  • Machine learning system 700 transmits and receives data via network interface 703 .
  • Machine learning system 700 may acquire learning data T via a network interface.
  • NIC network interface card
  • the memory 701 is configured by a combination of volatile memory and nonvolatile memory.
  • Memory 701 may include storage located remotely from processor 702 .
  • processor 702 may access memory 701 via an input/output interface (not shown).
  • the memory 701 is used to store software (computer program) including one or more instructions to be executed by the processor 702 . Further, when the machine learning system 700 has the learning device 100, the memory 701 may store the reasoner H, the learning units 121 to 123, the data generation unit 200, and the like.
  • a program includes a set of instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • (Appendix 1) a data dividing unit that generates n sets of divided data by dividing the first learning data by n (where n is an integer equal to or greater than 2); a reasoner generating unit that generates n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data; a learning data generation unit configured to generate second learning data by inputting the set of divided data excluded from the machine learning to n learning data generation reasoners, respectively; a learning unit that generates a reasoner by machine learning using the second learning data.
  • the learning device wherein the learning unit generates the reasoner based on the parameter ⁇ , the loss function L 1 , and the loss function L 0 .
  • the learning device (1 ⁇ ⁇ ) L0 + ⁇ L1 (3) 3.
  • the learning device (1 ⁇ ⁇ ) L0 + ⁇ L1 (3) 3.
  • the learning device Appendix 3, wherein the reasoner is calculated based on the loss function L ⁇ .
  • Appendix 6 A reasoning device generated by the learning device according to any one of appendices 1 to 5.
  • a computer-readable medium storing a program for causing a computer to execute a learning method The learning method includes: By dividing the first learning data by n (where n is an integer of 2 or more), n sets of divided data are generated, generating n learning data generating reasoners by machine learning using data obtained by removing one set of divided data from the first learning data; generating second learning data by inputting the one set of divided data excluded from the machine learning to n learning data generation reasoners, respectively; A computer-readable medium for generating a reasoner by machine learning using the second training data. (Appendix 13) In the learning method, 13. The computer-readable medium of Clause 12, wherein the reasoner is generated by machine learning using the first training data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本実施の形態にかかる学習装置は、第１学習データをｎ（ｎは２以上の整数）個に分割することで、ｎセットの分割データを生成するデータ分割部（６０２）と、第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部（６０３）と、機械学習から除かれた１セットの分割データをｎ個の学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部（６０４）と、第２学習データを用いた機械学習により第２推論器を生成する学習部（６０５）と、を備えている。

Description

学習装置、推論装置、学習方法、及びコンピュータ可読媒体
　本開示は、機械学習に関する。
　非特許文献１、２には、機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を漏洩させるＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が知られている。例えば、非特許文献１には、推論アルゴリズムへのアクセスが可能であるとの条件下で、ＭＩ攻撃の方法が開示されている。ＭＩ攻撃は、機械学習の「過学習」という現象を利用して実行する。過学習とは学習に用いたデータに対して機械学習が過剰に適合してしまう現象の事である。過学習が原因となり推論アルゴリズムの入力に学習に用いたデータを入力した場合とそうでないデータを入力した場合の出力の傾向が異なってしまう。ＭＩ攻撃の攻撃者はこの傾向の違いを悪用する事で、手元にあるデータが学習に用いられたものなのかそうでないのかを判別する。
　非特許文献４には、ＭｅｍＧｕａｒｄという方法が開示されている。この方法では、攻撃対象の推論アルゴリズムの学習済みパラメータが知られていないとの条件下でのブラックボックス攻撃に対する対策として、攻撃者の分類器を誤解させる処理を行う。
　非特許文献５は、ＭＩ攻撃に耐性のある学習アルゴリズムを開示している。具体的には、非特許文献５では、任意の既知の機械学習の推論アルゴリズムｆと、ｆに入力されたデータがｆの学習に用いられたデータか否かを識別する識別器ｈを用いている。そして、それぞれのパラメータを敵対的に学習させ、推論アルゴリズムｆの推論精度と、ＭＩ攻撃に対する耐性を引き上げている。
Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov: "Membership Inference Attacks Against Machine Learning Models " 、IEEE Symposium on Security and Privacy 2017: 3-18、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1610.05820.pdf〉 Ahmed Salem, Yang Zhang, Mathias Humbert, Pascal Berrang, Mario Fritz, Michael Backes: "ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses onMachine Learning Models"、 Network and Distributed System Security Symposium 2019、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/1806.01246〉 L. Song and P. Mittal. "Systematic Evaluation of Privacy Risks of Machine Learning Models"、 USENIX Security Symposium 2021、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/abs/2003.10595〉 Jinyuan Jia, Ahmed Salem, Michael Backes, Yang Zhang, Neil Zhenqiang Gong、"MemGuard：Defending against Black-Box Membership Inference Attacks via Adversarial Examples"、ACM SIGSAC Conference on Computer and Communications Security 2019: 259-274、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1909.10594.pdf〉 Milad Nasr, Reza Shokri, Amir Houmansadr、"Machine Learning with Membership Privacy using Adversarial Regularization"、ACM SIGSAC Conference on Computer and Communications Security 2018: 634-646、［online］、［令和３年４月１９日検索］、インターネット〈URL：https://arxiv.org/pdf/1807.05852.pdf〉
　機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習データが予測されてしまうことがある。
　また、非特許文献４の方式は、推論結果にノイズを載せることで防御している。このため、防御性能に関係なく、推論結果にノイズの影響が及んでしまうという問題点がある。
　非特許文献５では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
　本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ精度の高い推論装置、学習装置、学習方法、及び記録媒体を提供することである。
　本開示にかかる学習装置は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えている。
　本開示にかかる学習方法は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により推論器を生成する。
　本開示にかかるコンピュータ可読媒体は、コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、前記学習方法は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、前記第２学習データを用いた機械学習により推論器を生成する。
　本開示によれば、ＭＩ攻撃に対する耐性が高く、かつ精度の高い学習装置、推論装置、学習方法、及びコンピュータ可読媒体を提供できる。
学習装置を備えた機械学習システムの構成を示すブロック図である。 学習装置の動作を示すフローチャートである。 推論器Ｈの学習部の動作を示すフローチャートである。 その他の実施形態にかかる学習装置の動作を示すブロック図である。 本実施の形態にかかる装置のハードウェア構成を示す図である。
実施の形態１
　本実施の形態にかかる機械学習（訓練）について、図１を用い説明する。図１は、学習装置１００を備えた機械学習システムの構成を示すブロック図である。学習装置１００は、データ生成部２００と、学習部１２２とを備えている。推論器Ｈの機械学習には、予め学習データＴが用意されている。学習データＴをメンバデータとも称し、学習データＴ以外のデータをノンメンバデータとも称する。
　データ生成部２００は、学習データＴに基づいて、推論器Ｈの学習データを生成する。以下、予め用意された学習データＴを第１学習データとも称し、データ生成部２００で生成された学習データを第２学習データとも称する。学習部１２２がデータ生成部２００で生成された第２学習データに基づいて、機械学習を行う。これにより、推論器Ｈが生成される。
　推論器Ｈは、入力データに対して推論を行う機械学習モデルである。つまり、推論器Ｈが入力データに基づいて推論を行った時の推論結果を出力する。例えば、推論器Ｈは、画像分類を行う分類器とすることができる。この場合、推論器Ｈが各クラスに該当する確率を示すスコアベクトルを出力する。
　学習データＴは、第１学習データであり、複数のデータを含むデータ群となっている。教師有り学習を行う場合、学習データＴは正解ラベル（教師データ）付きのデータ集合となる。学習データＴでは、複数の入力データを備え、それぞれの入力データには正解ラベルが対応付けられている。もちろん、機械学習は教師有り学習に限られるものはない。
　データ生成部２００は、推論器Ｈの機械学習に用いられる第２学習データ（訓練データ）を生成する。データ生成部２００は、データ分割部２２０と、Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎと、学習データ記憶部２５０と、を備えている。
　データ分割部２２０は、学習データＴをｎ（ｎは２以上の整数）分割する。ここで、ｎ分割された学習データを分割データＴ１～Ｔｎとする。つまり、データ分割部２２０は、学習データＴをｎ分割することで、ｎセットの分割データＴ１～Ｔｎを生成する。学習データＴを１つのデータセットとすると、分割データＴ１～Ｔｎのそれぞれがサブセットとなる。後述するように、分割データＴ１～Ｔｎのそれぞれは推論器Ｆ１～Ｆｎの入力データとなる。
　分割データＴ１～Ｔｎに含まれるデータセットは互いに重複していないことが好ましい。例えば、分割データＴ１に含まれるデータは、分割データＴ２～Ｔｎに含まれていないことが好ましい。また、分割データＴｎに含まれているデータは、分割データＴ１～Ｔｎ－１に含まれていないことが好ましい。
　分割データＴ１～Ｔｎに含まれるデータ数は均等にすることが好ましい。つまり、データ分割部２２０は、学習データＴを均等にｎ分割する。従って、分割データＴ１～Ｔｎには同じ数のデータが含まれる。分割データＴ１～Ｔｎに含まれるデータ数は均等に限らず、異なっていてもよい。データ分割部２２０は、学習データＴから抽出された一部の分割データを、学習部２０２－１～２０２－ｎに出力する。
　データ生成部２００は、分割データＴ１～Ｔｎから学習データＴ＼Ｔ１を抽出して、Ｆ１の学習部２０２－１に入力する。なお、学習データＴ＼Ｔ１は、学習データＴから分割データＴ１を除いた差集合となる。つまり、Ｆ１の学習データＴ＼Ｔ１は、Ｔ２～Ｔｎを含む。データ生成部２００は、学習データＴから分割データＴ１を取り除くことで、学習データＴ＼Ｔ１を生成する。
　Ｆ１の学習部２０２－１は、学習データＴ＼Ｔ１を用いて推論器Ｆ１を生成するための機械学習を行う。学習部２０２－１は学習データＴ＼Ｔ１に基づいて、推論器Ｆ１を訓練する。学習部２０２－１における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－１の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－１は学習データＴ＼Ｔ１に含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆ１が生成される。
　データ生成部２００は、分割データＴ１を推論器Ｆ１に入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１の出力をＨの学習データとして記憶する。つまり、推論器Ｆ１の推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴ１を推論器Ｆ１に入力した時の推論器Ｆ１の推論結果が含まれる。このように、推論器Ｆ１の学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
　Ｆｎの学習部２０２－ｎは、学習データＴ＼Ｔｎを用いて推論器Ｆｎを生成するための機械学習を行う。学習部２０２－ｎは学習データＴ＼Ｔｎに基づいて、推論器Ｆｎを訓練する。学習部２０２－ｎにおける機械学習は、教師有り学習などの種々の手法を用いることができる。学習部２０２－ｎの機械学習については、公知の手法を用いることができるため、説明を省略する。学習部２０２－ｎは学習データＴ＼Ｔｎに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｆｎが生成される。
　データ生成部２００は、分割データＴｎを推論器Ｆｎに入力する。推論器Ｈの学習データ記憶部２５０は、推論器Ｆｎの出力をＨの学習データとして記憶する。つまり、推論器Ｆｎの推論結果が、推論器Ｈの学習データとして、メモリなどに格納される。推論器Ｈの学習データには、分割データＴｎを推論器Ｆｎに入力した時の推論器Ｆｎの推論結果が含まれる。このように、推論器Ｆｎの学習時に用いられる学習データと、推論時に用いられる入力データとが異なるデータとなっている。
　なお、ｉ（ｉは１以上ｎ以下の任意の整数）を用いて、推論器Ｆ１～Ｆｎにおける機械学習を一般化すると、以下のようになる。データ生成部２００は、学習データＴの全体集合を受け取る。データ分割部２２０は、学習データＴをｎセット（ｎ個のサブセット）に分割して、分割データＴｉを生成する。データ生成部２００の学習部は、学習データＴ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。推論器Ｆｉの機械学習に用いられる学習データは、Ｔ１～Ｔｉ－１，Ｔｉ＋１～Ｔｎとなる。推論器Ｆｉは、分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、学習データとして記憶する。
　このように、推論器Ｆ１～Ｆｎは第２学習データを生成する学習データ生成部となる。Ｆ１～Ｆｎの学習部２０２－１～２０２－ｎは推論器Ｆ１～Ｆｎを生成する学習データ生成用推論器生成部となる。なお、推論器Ｆ１～Ｆｎは同様のレイヤ構成を有する機械学習モデルとすることができる。つまり、推論器Ｆ１～Ｆｎはレイヤ、ノード、エッジ等の数が同じとなっている。そして、学習部２０２－１～２０２－ｎは、それぞれ異なる学習データを用いて推論器Ｆ１～Ｆｎを生成している。つまり、推論器Ｆ１～Ｆｎは異なる学習データを用いて生成された機械学習モデルである。推論器Ｆ１～Ｆｎは推論器Ｈと同様に、画像分類などを行う機械学習モデルである。この場合、推論器Ｆ１～Ｆｎは推論器Ｈと同様のスコアベクトルを出力する。
　推論器Ｈの学習データ記憶部２５０は、推論器Ｆ１、Ｆ２、・・・Ｆｉ、・・・Ｆｎ－１、Ｆｎの推論結果を学習データとして記憶する。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎへの入力データとその推論結果を対応付けて記憶してもよい。推論器Ｈの学習データ記憶部２５０に記憶された学習データは、上記の通り、第２学習データとなる。よって、以下の説明では、推論器Ｈの学習データ記憶部２５０に記憶された学習データを単に第２学習データとも称する。第２学習データは以下の式（１）に示すデータ集合となる。
Figure JPOXMLDOC01-appb-M000001
　推論器Ｈの学習部１２２は、第２学習データを用いて推論器Ｈを生成するための機械学習を行う。学習部１２２は第２学習データに基づいて、推論器Ｈを訓練する。学習部１２２における機械学習は、教師有り学習などの種々の手法を用いることができる。学習部１２２の機械学習については、公知の手法を用いることができるため、説明を省略する。学習部１２２は第２学習データに含まれる全てのデータを用いて機械学習を行う。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器Ｈが生成される。
　例えば、分割データＴｉに含まれる入力データｘについての推論結果Ｆｉ（ｘ）を正解ラベルとして、学習部１２２が、教師有り学習を行う。推論器Ｈに入力データｘを入力した場合、推論器Ｈから出力される推論結果は以下の式（２）で示される。
Figure JPOXMLDOC01-appb-M000002
　このように、本実施の形態では、データ生成部２００が、推論器Ｆ１～Ｆｎの出力に基づいて、推論器Ｈの学習データを生成している。推論器Ｈは、推論器Ｆ１～Ｆｎの出力を用いて生成された蒸留モデルとなる。つまり、推論器Ｆ１～Ｆｎは、学習データＴから一部の情報を取り出す。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎで取り出された情報を学習データとして用いて、推論器Ｈを学習させる。よって、推論器Ｈはシンプルなモデルで高い推定精度を得ることができる。
　以下、図２を参照して、本実施の形態にかかる学習方法について説明する。図２は、本実施の形態にかかる学習方法を示すフローチャートである。
　まず、データ生成部２００が、推論器Ｈの学習データを生成する（Ｓ２０１）。ステップＳ２０１の処理について、図３を用いて詳細に説明する。図３は推論器Ｈの学習データを生成する処理を示すフローチャートである。
　データ分割部２２０が学習データＴをｎ分割する（Ｓ５０１）。つまり、データ分割部２２０は分割データＴ１～Ｔｎを生成する。学習部２０２－１～２０２－ｎが各分割データＴ１～Ｔｎを除いた学習データでｎ個の推論器Ｆ１～Ｆｎを学習させる（Ｓ５０２）。つまり、データ生成部２００の学習部は、Ｔ＼Ｔｉを用いて、推論器Ｆｉを機械学習する。
　データ生成部２００は、ｎ個の推論器Ｆ１～Ｆｎの学習に使用しなかった分割データをそれぞれの推論器Ｆ１～Ｆｎに入力する（Ｓ５０３）。つまり、データ生成部２００は、分割データＴｉを推論器Ｆｉに入力する。換言すると、推論器Ｆｉの学習時の入力データと推論時の入力データが異なるように、推論器Ｆｉに分割データＴｉが入力される。例えば、Ｆｉの学習部２０２－１での機械学習で除かれた分割データＴｉを推論器Ｆｉに入力する。
　推論器Ｆ１～Ｆｎの出力を推論器Ｈの学習データとして、学習データ記憶部２５０が保存する（Ｓ５０４）。つまり、推論器Ｆｉは、推論器Ｆｉを生成する機械学習から除かれた分割データＴｉに基づいて推論を行う。学習データ記憶部２５０は、推論器Ｆｉの推論結果を、推論器Ｈの学習データとして記憶する。これにより、学習データの生成が終了する。
　図２の説明に戻る。学習部１２２が第２学習データを用いて推論器Ｈを学習させる（Ｓ２０２）。学習部１２２は、学習データ記憶部２５０に記憶されている学習データを読み出して、推論器Ｈの機械学習に使用する。これにより、推論器Ｈが生成される。このようにして、データ生成部２００が推論器Ｈを生成する。
　このようにすることで、ＭＩ攻撃に対する耐性が高く、精度の高い推論器Ｈを生成することが可能となる。つまり、入力データとして、学習データＴに含まれるデータが推論器Ｈに入力されると、入力データを除いた機械学習で生成された推論器Ｆｉが推論を行う。よって、推論器Ｈのみで十分な安全性を得ることができる。
　推論器Ｈは、メンバデータに対する分類精度がノンメンバデータに対する分類精度まで低下する。よって、より高い安全性を得ることができる。また、学習部１２２は、推論器Ｆｉで得られた推論結果を正解ラベルとして教師有り学習している。推論器Ｈにメンバデータを入力すると、あたかもメンバデータを除いたノンメンバデータで学習した推論器Ｆｉの推論結果が出力される。よって、推論器Ｈ単体で十分な安全性を得ることができる。
　本実施の形態では、データ生成部２００が、推論器Ｆ１～Ｆｎの出力に基づいて、推論器Ｈの学習データを生成している。推論器Ｈは、推論器Ｆ１～Ｆｎの出力を用いて生成された蒸留モデルとなる。つまり、推論器Ｆ１～Ｆｎは、学習データＴから一部の情報を取り出す。学習データ記憶部２５０は、推論器Ｆ１～Ｆｎで取り出された情報を学習データとして用いて、推論器Ｈを学習させる。よって、推論器Ｈはシンプルなモデルで高い精度を得ることができる。
　変形例
　変形例では、学習部１２２が、第２学習データだけでなく、第１学習データを用いている。つまり、学習部１２２が学習データＴの少なくとも一部を用いて機械学習を行っている。学習データＴでは、入力データｘに対する真の正解ラベルｙが対応付けられている。変形例では、学習部１２２が第２学習データに混ぜ合わせる真の正解ラベルｙの割合を調整することができる。
　ここで、第２学習データは、上記の式（１）に示すデータ集合となる。上記の式（１）に示したデータ集合を使って学習させる際の損失関数をＬ０とする。また、第１学習データである学習データＴを使って学習させる際の損失関数をＬ１とする。また、ＭＩ攻撃に対する安全性と精度を調整するパラメータをαとする。αは０以上１以下の実数である。
　例えば、パラメータαは、第２学習データに対する第１学習データの割合を示す。学習部１２２がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて推論器Ｈを生成する。例えば、学習部１２２は、以下の式（３）に示す損失関数Ｌαを算出する。
Ｌα＝（１－α）Ｌ０＋αＬ１　・・・（３）
　学習部１２２は、損失関数Ｌαに基づいて、機械学習を行う。学習部１２２は損失関数Ｌαを小さくするように機械学習を行う。αが大きい場合、安全性は低下するが、精度が向上する。α＝１の場合、損失関数Ｌ０が考慮されなくなるので、従来の学習と同じとなる。αの値を小さい場合、精度は低下するが、安全性が向上する。α＝０の場合、実施の形態１の推論器Ｈの学習と同じとなる。よって、推論器Ｈの精度を高めたい場合、ユーザがαの値を大きくする。推論器Ｈの安全性を高めたい場合、ユーザがαの値を小さくする。このように、学習部１２２の機械学習にパラメータαを導入することで、安全性と精度を簡便に調整することができる。
その他の実施形態
　図４はその他の実施形態にかかる学習装置６００を示すブロック図である。学習装置６００は、データ分割部６０２と、推論器生成部６０３と、学習データ生成部６０４と、学習部６０５とを備える。
　データ分割部６０２は、第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成する。推論器生成部６０３は、第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する。学習データ生成部６０４は、前記機械学習から除かれた１セットの分割データをｎ個の学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する。学習部６０５は、第２学習データを用いた機械学習により推論器を生成する。これにより、ＭＩ攻撃に対する耐性が高く、かつ、精度の高い機械学習モデルを実現することができる。
　上記の実施形態において、機械学習システムのそれぞれの要素はそれぞれコンピュータプログラムで実現可能である。つまり、推論器Ｈ、学習部１２２、データ生成部２００等はそれぞれコンピュータプログラムで実現可能である。また、推論器Ｈ、学習部１２２、データ生成部２００等は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
　次に、実施の形態にかかる機械学習システムのハードウェア構成について説明する。図５は、機械学習システム７００のハードウェア構成の一例を示すブロック図である。図５に示すように、機械学習システム７００は例えば、少なくとも一つのメモリ７０１、少なくとも一つのプロセッサ７０２，及びネットワークインタフェース７０３を含む。
　ネットワークインタフェース７０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース７０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。機械学習システム７００は、ネットワークインタフェース７０３を介して、データの送受信を行う。機械学習システム７００は、ネットワークインタフェースを介して、学習データＴを取得してもよい。
　メモリ７０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ７０１は、プロセッサ７０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ７０２は、図示されていない入出力インタフェースを介してメモリ７０１にアクセスしてもよい。
　メモリ７０１は、プロセッサ７０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。また、機械学習システム７００が学習装置１００を有する場合、メモリ７０１は、推論器Ｈ，学習部１２１～１２３、データ生成部２００等を格納していてもよい。
　プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
　前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
　前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
（付記２）
　前記学習部が前記第１学習データを用いた機械学習により前記推論器を生成する付記１に記載の学習装置。
（付記３）
　前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
　前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記２に記載の学習装置。
（付記４）
　前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
　前記第１学習データでの機械学習での損失関数をＬ１とし、
　前記第２学習データでの機械学習での損失関数をＬ０とした場合、
　前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記３に記載の学習装置。
（付記５）
　前記学習部が、
　以下の式（３）に基づいて、損失関数Ｌαを算出し、
　Ｌα＝（１－α）Ｌ０＋αＬ１　・・・（３）
　前記損失関数Ｌαに基づいて、前記推論器を算出している付記３に記載の学習装置。
（付記６）
　付記１～５のいずれか１項に記載の学習装置で生成された推論装置。
（付記７）
　第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
　前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
　前記第２学習データを用いた機械学習により推論器を生成する、学習方法。
（付記８）
　前記第１学習データを用いた機械学習により前記推論器を生成する付記７に記載の学習方法。
（付記９）
　前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
　前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記８に記載の学習方法。
（付記１０）
　前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
　前記第１学習データでの機械学習での損失関数をＬ１とし、
　前記第２学習データでの機械学習での損失関数をＬ０とした場合、
　前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記９に記載の学習方法。
（付記１１）
　前記学習部が、
　以下の式（３）に基づいて、損失関数Ｌαを算出し、
　Ｌα＝（１－α）Ｌ０＋αＬ１　・・・（３）
　前記損失関数Ｌαに基づいて、前記推論器を算出している付記１０に記載の学習方法。
（付記１２）
　コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
　前記学習方法は、
　第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
　前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
　前記第２学習データを用いた機械学習により推論器を生成する、コンピュータ可読媒体。
（付記１３）
　前記学習方法では、
　前記第１学習データを用いた機械学習により前記推論器を生成する付記１２に記載のコンピュータ可読媒体。
（付記１４）
　前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
　前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている付記１３に記載のコンピュータ可読媒体。
（付記１５）
　前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
　前記第１学習データでの機械学習での損失関数をＬ１とし、
　前記第２学習データでの機械学習での損失関数をＬ０とした場合、
　前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している付記１４に記載のコンピュータ可読媒体。
（付記１６）
　前記学習部が、
　以下の式（３）に基づいて、損失関数Ｌαを算出し、
　Ｌα＝（１－α）Ｌ０＋αＬ１　・・・（３）
　前記損失関数Ｌαに基づいて、前記推論器を算出している付記１５に記載のコンピュータ可読媒体。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　Ｔ　学習データ
　Ｔ１～Ｔｎ　分割データ
　１２１　学習部
　１２２　学習部
　１２３　学習部
　２００　データ生成部
　２２０　データ分割部
　２０２－１　Ｆ１の学習部
　２０２－ｎ　Ｆｎの学習部
　２５０　学習データ記憶部
　Ｆ１　推論器
　Ｆｎ　推論器
　Ｈ　推論器

Claims (10)

  1. 　第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成するデータ分割部と、
    　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成する推論器生成部と、
    　前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成する学習データ生成部と、
    　前記第２学習データを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
  2. 　前記学習部が前記第１学習データを用いた機械学習により前記推論器を生成する請求項１に記載の学習装置。
  3. 　前記第１学習データでは、入力データと正解ラベルとが対応付けられており、
    　前記学習部の機械学習において、前記第２学習データに対する前記第１学習データの割合が設定されている請求項２に記載の学習装置。
  4. 　前記第２学習データに対する前記第１学習データの割合を示すパラメータをαとし、
    　前記第１学習データでの機械学習での損失関数をＬ１とし、
    　前記第２学習データでの機械学習での損失関数をＬ０とした場合、
    　前記学習部がパラメータα、損失関数Ｌ１、及び損失関数Ｌ０に基づいて前記推論器を生成している請求項３に記載の学習装置。
  5. 　前記学習部が、
    　以下の式（３）に基づいて、損失関数Ｌαを算出し、
    　Ｌα＝（１－α）Ｌ０＋αＬ１　・・・（３）
    　前記損失関数Ｌαに基づいて、前記推論器を算出している請求項３に記載の学習装置。
  6. 　請求項１～５のいずれか１項に記載の学習装置で生成された推論装置。
  7. 　第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
    　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
    　前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
    　前記第２学習データを用いた機械学習により推論器を生成する、学習方法。
  8. 　前記第１学習データを用いた機械学習により前記推論器を生成する請求項７に記載の学習方法。
  9. 　コンピュータに対して学習方法を実行させるためのプログラムが格納されたコンピュータ可読媒体であって、
    　前記学習方法は、
    　第１学習データをｎ（ｎは２以上の整数）分割することで、ｎセットの分割データを生成し、
    　前記第１学習データから１セットの分割データを除いたデータを用いた機械学習によりｎ個の学習データ生成用推論器を生成し、
    　前記機械学習から除かれた前記１セットの前記分割データをｎ個の前記学習データ生成用推論器にそれぞれ入力することで、第２学習データを生成し、
    　前記第２学習データを用いた機械学習により推論器を生成する、コンピュータ可読媒体。
  10. 　前記学習方法では、
    　前記第１学習データを用いた機械学習により前記推論器を生成する請求項９に記載のコンピュータ可読媒体。
PCT/JP2021/018265 2021-05-13 2021-05-13 学習装置、推論装置、学習方法、及びコンピュータ可読媒体 WO2022239200A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023520695A JPWO2022239200A5 (ja) 2021-05-13 学習装置、推論装置、学習方法、及びプログラム
PCT/JP2021/018265 WO2022239200A1 (ja) 2021-05-13 2021-05-13 学習装置、推論装置、学習方法、及びコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018265 WO2022239200A1 (ja) 2021-05-13 2021-05-13 学習装置、推論装置、学習方法、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022239200A1 true WO2022239200A1 (ja) 2022-11-17

Family

ID=84028064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018265 WO2022239200A1 (ja) 2021-05-13 2021-05-13 学習装置、推論装置、学習方法、及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2022239200A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311540A1 (en) * 2019-03-28 2020-10-01 International Business Machines Corporation Layer-Wise Distillation for Protecting Pre-Trained Neural Network Models
CN111931216A (zh) * 2020-09-16 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311540A1 (en) * 2019-03-28 2020-10-01 International Business Machines Corporation Layer-Wise Distillation for Protecting Pre-Trained Neural Network Models
CN111931216A (zh) * 2020-09-16 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NASR, M. ET AL.: "Machine learning with membership privacy using adversarial regularization", PROCEEDINGS OF THE 2018 ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY, October 2018 (2018-10-01), pages 634 - 646, XP058701177, Retrieved from the Internet <URL:https://dl.acm.org/doi/abs/10.1145/3243734.3243855> [retrieved on 20210702], DOI: 10.1145/3243734.3243855 *
TAKAESU ISAO: "How to infer the training data of a machine learning model", MBSD, 18 June 2020 (2020-06-18), pages 1 - 9, XP055883928, Retrieved from the Internet <URL:https://www.mbsd.jp/blog/20200618.html> [retrieved on 20220126] *

Also Published As

Publication number Publication date
JPWO2022239200A1 (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
Yan et al. A method of information protection for collaborative deep learning under GAN model attack
Bae et al. Security and privacy issues in deep learning
US11689566B2 (en) Detecting and mitigating poison attacks using data provenance
Mugunthan et al. Smpai: Secure multi-party computation for federated learning
Reith et al. Efficiently stealing your machine learning models
Barreno et al. Can machine learning be secure?
Niu et al. Toward verifiable and privacy preserving machine learning prediction
Hu et al. Adaptive cyber defense against multi-stage attacks using learning-based POMDP
CN115659408B (zh) 一种电力系统敏感数据共享方法、系统及存储介质
CN115238827B (zh) 保护隐私的样本检测系统训练方法及装置
KR20220109418A (ko) 신경 흐름 증명
Zhang et al. A survey on privacy inference attacks and defenses in cloud-based deep neural network
Shafee et al. Privacy attacks against deep learning models and their countermeasures
Kadry et al. Intrusion detection model using optimized quantum neural network and elliptical curve cryptography for data security
Sharifzadeh et al. Convolutional neural network steganalysis's application to steganography
Zhang et al. Privacy inference attacks and defenses in cloud-based deep neural network: A survey
CN113255526A (zh) 基于动量的对人群计数模型的对抗样本生成方法及系统
Guo et al. Robust and privacy-preserving collaborative learning: A comprehensive survey
Zhang et al. Visual object detection for privacy-preserving federated learning
Yu et al. Security and Privacy in Federated Learning
WO2022239200A1 (ja) 学習装置、推論装置、学習方法、及びコンピュータ可読媒体
WO2022018867A1 (en) Inference apparatus, inference method and computer-readable storage medium
WO2022239201A1 (ja) 推論装置、学習装置、機械学習システム、推論方法、学習方法、及びコンピュータ可読媒体
Luqman et al. Privacy and Security Implications of Cloud-Based AI Services: A Survey
Alrawashdeh et al. Optimizing Deep Learning Based Intrusion Detection Systems Defense Against White-Box and Backdoor Adversarial Attacks Through a Genetic Algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941933

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18559389

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023520695

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941933

Country of ref document: EP

Kind code of ref document: A1