WO2024079795A1 - リスク算出装置、リスク算出方法、および、リスク算出プログラム - Google Patents

リスク算出装置、リスク算出方法、および、リスク算出プログラム Download PDF

Info

Publication number
WO2024079795A1
WO2024079795A1 PCT/JP2022/037926 JP2022037926W WO2024079795A1 WO 2024079795 A1 WO2024079795 A1 WO 2024079795A1 JP 2022037926 W JP2022037926 W JP 2022037926W WO 2024079795 A1 WO2024079795 A1 WO 2024079795A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample data
risk calculation
shadow models
losses
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/037926
Other languages
English (en)
French (fr)
Inventor
俊樹 芝原
尭之 三浦
真昇 紀伊
敦謙 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2024550949A priority Critical patent/JP7848883B2/ja
Priority to PCT/JP2022/037926 priority patent/WO2024079795A1/ja
Publication of WO2024079795A1 publication Critical patent/WO2024079795A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a risk calculation device, a risk calculation method, and a risk calculation program for calculating the privacy risk of a machine learning model.
  • Machine learning technologies such as Deep Neural Networks (DNNs) have been pointed out as posing privacy risks due to their tendency to memorize training data. Specifically, it has been shown that it is possible to infer from the output of a trained model whether or not specific data was included in the training data. Therefore, consideration must be given to privacy risks when handling data that users do not want others to know, such as medical data or web browsing history.
  • DNNs Deep Neural Networks
  • Non-Patent Documents 1, 2, and 3 a method has been proposed in which an attack is performed on a trained model to determine whether or not certain data is included in the training data, and the privacy risk is calculated based on the degree to which the attack is successful (see Non-Patent Documents 1, 2, and 3).
  • the present invention aims to solve the above problems and accurately calculate the privacy risk in realistic settings of machine learning models.
  • the present invention is characterized by comprising a first model construction unit that constructs multiple first shadow models using a predetermined dataset, a first selection unit that selects, from sample data, the sample data for which the average loss of the multiple first shadow models is equal to or greater than a predetermined value and the variance is equal to or less than a predetermined value, a second model construction unit that constructs multiple second shadow models using the selected sample data and the dataset, a distance calculation unit that calculates the distance between the distribution of losses of the multiple first shadow models and the distribution of losses of the multiple second shadow models for the sample data, a second selection unit that selects the sample data for which the distance is equal to or greater than a predetermined threshold as sample data to be used in calculating the privacy risk of a machine learning model, and an output processing unit that outputs the selected sample data.
  • the present invention makes it possible to highly (accurately) calculate privacy risks in realistic settings for machine learning models.
  • FIG. 1 is a diagram for explaining an overview of a risk calculation device.
  • FIG. 2 is a diagram illustrating an example of the configuration of the risk calculation device.
  • FIG. 3 is a flowchart illustrating an example of a processing procedure executed by the risk calculation device.
  • FIG. 4 is a flowchart showing an example of calculating a privacy risk using the risk calculation device.
  • FIG. 5 is a diagram illustrating a computer that executes a risk calculation program.
  • the risk calculation device selects sample data (target samples) used for calculating a privacy risk of a trained model (machine learning model) in the following manner.
  • the risk calculation device constructs multiple shadow models (first shadow models) using a previously prepared data set.
  • the risk calculation device inputs sample data (data separate from the data set) to each of the constructed multiple first shadow models.
  • the risk calculation device calculates the loss of each of the constructed multiple first shadow models, and selects sample data in which the average of the calculated losses is sufficiently large and the variance is small (selection 1).
  • the risk calculation device constructs multiple shadow models (second shadow models) using the data obtained by adding the sample data selected in selection 1 to the above data set. The risk calculation device then calculates the loss of each of the multiple second shadow models for the sample data.
  • the risk calculation device selects sample data in which the difference between the distribution of losses of each of the multiple first shadow models and the distribution of losses of each of the multiple second shadow models becomes large as a target sample (selection 2).
  • sample data in which the average loss of multiple shadow models is sufficiently large and the variance is small can be considered to be sample data with a high privacy risk.
  • the sample data can be considered to be data that is easy to predict. In other words, the sample data can be considered to be data with a high privacy risk.
  • the risk calculation device therefore first selects sample data with a sufficiently large average loss for multiple shadow models and small variance as target sample candidates (Selection 1). Next, the risk calculation device selects, from among the target sample candidates, a sample that, when added to the teacher data for the shadow model, will significantly change the distribution of losses for the shadow model as the target sample (Selection 2).
  • the risk calculation device can select sample data with a high privacy risk as a target sample. Then, the risk calculation device can calculate the privacy risk of the machine learning model using the target sample, thereby calculating the privacy risk to be high (correct).
  • the risk calculation device 10 includes, for example, an input/output unit 11, a storage unit 12, and a control unit 13.
  • the input/output unit 11 is an interface that handles the input and output of various data.
  • the input/output unit 11 accepts, for example, input of a dataset and sample data.
  • the dataset is a dataset used to construct the first shadow model and the second shadow model.
  • the sample data is candidate data (target sample) used to calculate the privacy risk of the machine learning model.
  • the memory unit 12 stores data, programs, etc. that are referenced when the control unit 13 executes various processes.
  • the memory unit 12 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 12 stores a data set, sample data, etc. input via the input/output unit 11. Also, for example, the storage unit 12 stores parameters of a first shadow model and parameters of a second shadow model constructed by the control unit 13, etc.
  • the control unit 13 is responsible for controlling the entire risk calculation device 10.
  • the functions of the control unit 13 are realized, for example, by a CPU (Central Processing Unit) executing a program stored in the memory unit 12.
  • a CPU Central Processing Unit
  • the control unit 13 includes, for example, a first model construction unit 131, a first selection unit 132, a second model construction unit 133, a distance calculation unit 134, a second selection unit 135, a risk calculation unit 136, and an output processing unit 137.
  • a label manipulation unit 138 and a noise addition unit 139 shown by dashed lines may or may not be provided, and the cases in which they are provided will be described later.
  • the first model construction unit 131 constructs multiple first shadow models using the above dataset as training data. Note that the settings used by the first model construction unit 131 when constructing the first shadow models are the same as the settings of the machine learning model for which privacy risks are to be calculated.
  • the first selection unit 132 inputs sample data to the multiple first shadow models constructed by the first model construction unit 131, and selects sample data for which the average loss of the multiple first shadow models is sufficiently large and the variance is small.
  • the first selection unit 132 first calculates the loss of each of the first shadow models for the sample data. Next, the first selection unit 132 calculates the average and variance of the calculated losses. Then, the first selection unit 132 selects sample data with a small s outi shown in the following formula (1).
  • ⁇ outi is the average of the losses of the multiple first shadow models for the sample data (x i , y i ), and ⁇ 2 outi is the variance of the losses of the multiple first shadow models for the sample data (x i , y i ).
  • the first selection unit 132 may select sample data in which the average loss of the multiple first shadow models is large and the variance is small, without using the constant k. In this case, the first selection unit 132 selects sample data in which s outi shown in the following formula (2) is small.
  • the first selection unit 132 selects a predetermined number (for example, about 100-1000) of sample data in ascending order of s outi calculated by the above formula (1) or (2).
  • the first selection unit 132 may also select sample data whose s outi is equal to or smaller than a predetermined value.
  • the first selection unit 132 may also select sample data for which the average loss of multiple first shadow models for the sample data is equal to or greater than a predetermined value and the variance of the loss is equal to or less than a predetermined value.
  • the second model construction unit 133 constructs multiple second shadow models using the sample data selected by the first selection unit 132 and the dataset (the dataset used to construct the first shadow model) as training data. Note that the settings used by the second model construction unit 133 when constructing the second shadow model are the same as the settings of the machine learning model for which privacy risk is calculated.
  • the distance calculation unit 134 calculates the degree to which the distribution of losses of the multiple first shadow models differs from the distribution of losses of the multiple second shadow models for the sample data.
  • the distance calculation unit 134 calculates the distance d i between the distribution of losses of multiple first shadow models and the distribution of losses of multiple second shadow models for the sample data selected by the first selection unit 132 based on the following equation ( 3 ):
  • ⁇ ini is the average of the losses of multiple second shadow models for the sample data (x i , y i )
  • ⁇ 2 ini is the variance of the losses of multiple second shadow models for the sample data (x i , y i ).
  • the second selection unit 135 selects sample data having a large distance d i between the distribution of losses of the plurality of first shadow models and the distribution of losses of the plurality of second shadow models calculated by the distance calculation unit 134 .
  • the second selection unit 135 selects a predetermined number (for example, about 1-100) of sample data in descending order of the distance d i .
  • the second selection unit 135 may select sample data whose distance d i is equal to or greater than a predetermined value.
  • the risk calculation unit 136 calculates the privacy risk of the machine learning model using the sample data (target sample) selected by the second selection unit 135.
  • data (D 1 ) including a target sample and data (D 0 ) not including the target sample are prepared.
  • the risk calculation unit 136 repeats a game of guessing whether the data (D 1 ) including the target sample was used for learning the machine learning model 1000 times based on the following formula (4).
  • the risk calculation unit 136 calculates the privacy risk of the machine learning model from the accuracy rate of the game.
  • the output processing unit 137 outputs the processing result by the control unit 13. For example, the output processing unit 137 outputs the calculation result of the privacy risk of the machine learning model by the risk calculation unit 136.
  • the calculation of the privacy risk using the target sample selected by the second selection unit 135 may be performed by a device (external device) other than the risk calculation device 10.
  • the risk calculation device 10 outputs the target sample selected by the second selection unit 135 to the external device. Then, the external device calculates the privacy risk using the target sample.
  • the first model construction unit 131 of the risk calculation device 10 constructs a plurality of first shadow models using a data set (S1).
  • the first selection unit 132 selects sample data based on the average and variance of the losses of the multiple first shadow models constructed in S1 (S2). For example, the first selection unit 132 selects sample data from the sample data in which the average of the losses of the multiple first shadow models is sufficiently large and the variance is small.
  • the second model construction unit 133 constructs multiple second shadow models using the sample data selected in S2 and the dataset (the dataset used to construct the first shadow model) (S3).
  • the distance calculation unit 134 calculates the distance between the distribution of losses of the multiple first shadow models constructed in S1 and the distribution of losses of the multiple second shadow models constructed in S3 (S4).
  • the second selection unit 135 selects sample data (target samples) whose distance calculated in S4 is equal to or greater than a predetermined threshold (S5).
  • the risk calculation unit 136 uses the sample data (target samples) selected in S5 to calculate the privacy risk of the machine learning model (S6).
  • the output processing unit 137 then outputs the calculation result of the privacy risk obtained in S6 (S7).
  • the risk calculation device 10 can highly (accurately) calculate the privacy risk in a realistic setting of the machine learning model.
  • the risk calculation device 10 may further include a label manipulation unit 138 (see FIG. 2).
  • the label manipulation unit 138 creates new sample data by performing label manipulation on the sample data.
  • the label operation unit 138 creates new sample data (x, y p ) from sample data (x, y ) (y is the label of x). However, y p ⁇ y.
  • the label operation unit 138 may create sample data of all classes other than the correct answer (y). For example, if the shadow model is a model that classifies input data into 10 classes, the label operation unit 138 may create sample data to which nine labels other than the correct answer (y) are assigned as y p .
  • the first selection unit 132 selects sample data in which the average loss of the multiple first shadow models is sufficiently large and the variance is small from the sample data to which new sample data has been added by the label operation unit 138.
  • the second selection unit 135 selects a target sample from the sample data selected by the first selection unit 132.
  • the risk calculation device 10 may further include a noise addition unit 139 (see FIG. 2).
  • the noise addition unit 139 creates sample data that is vulnerable to attacks by adding noise to the sample data.
  • the noise addition unit 139 adds noise to the sample data such that the average loss of the multiple first shadow models is sufficiently large and the variance is small. For example, the noise addition unit 139 optimizes the noise so that the losses shown in the following formulas (5) and (6) are small. Then, the noise addition unit 139 adds the optimized noise to the sample data.
  • the noise adding unit 139 may add a condition that the noises to be added are not similar to each other. For example, the noise adding unit 139 adds noise such that the loss Lsim shown in the following formula (7) is small. Note that x i t in formula (7) is sample data to which noise has been added at step t of the optimization of noise addition.
  • the noise addition unit 139 creates sample data that is vulnerable to attacks, and the risk calculation device 10 can select target samples with a higher privacy risk. This allows the risk calculation device 10 to more accurately calculate the privacy risk of a machine learning model in a realistic setting.
  • the administrator of the risk calculation device 10 designs a neural network (NN) for calculating privacy risks (S11).
  • NN neural network
  • S11 privacy risks
  • training of a NN that satisfies Differential Privacy is performed by an optimization method DP-SGD (Differentially Private Stochastic Gradient Descent).
  • the risk calculation device 10 selects a target sample from the sample data (S12). Then, the risk calculation device 10 calculates a privacy risk using the target sample selected in S12 (S13). For example, the risk calculation device 10 repeats the game for calculating the privacy risk of the conventional technology 1,000 times using the target sample selected in S12, and calculates the privacy risk of the machine learning model from the accuracy rate.
  • each component of each part shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure.
  • the specific form of distribution and integration of each device is not limited to that shown in the figure, and all or a part of it can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
  • each processing function performed by each device can be realized in whole or in any part by a CPU and a program executed by the CPU, or can be realized as hardware using wired logic.
  • the risk calculation device 10 can be implemented by installing a program (risk calculation program) as package software or online software on a desired computer. For example, by executing the above program on an information processing device, the information processing device can function as the risk calculation device 10.
  • the information processing device referred to here includes mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone Systems), as well as terminals such as PDAs (Personal Digital Assistants).
  • FIG. 5 is a diagram showing an example of a computer that executes a risk calculation program.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these components is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012.
  • the ROM 1011 stores a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to a hard disk drive 1090.
  • the disk drive interface 1040 is connected to a disk drive 1100.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to a mouse 1110 and a keyboard 1120, for example.
  • the video adapter 1060 is connected to a display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, the programs that define each process executed by the risk calculation device 10 are implemented as program modules 1093 in which computer-executable code is written.
  • the program modules 1093 are stored, for example, in the hard disk drive 1090.
  • a program module 1093 for executing processes similar to the functional configuration of the risk calculation device 10 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the data used in the processing of the above-described embodiment is stored as program data 1094, for example, in memory 1010 or hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 or program data 1094 stored in memory 1010 or hard disk drive 1090 into RAM 1012 as necessary and executes it.
  • the program module 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and program data 1094 may be stored in another computer connected via a network (such as a LAN (Local Area Network), WAN (Wide Area Network)). The program module 1093 and program data 1094 may then be read by the CPU 1020 from the other computer via the network interface 1070.
  • a network such as a LAN (Local Area Network), WAN (Wide Area Network)

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

リスク算出装置は、所定のデータセットを用いて複数の第１のシャドウモデルを構築する。そして、リスク算出装置は、サンプルデータのうち、複数の第１のシャドウモデルの損失の平均が充分大きく、分散が小さくなるサンプルデータを選択する。その後、リスク算出装置は、選択したサンプルデータおよびデータセットを用いて第２のシャドウモデルを複数構築する。次に、リスク算出装置は、サンプルデータに対する、複数の第１のシャドウモデルの損失の分布と複数の第２のシャドウモデルの損失の分布との距離を算出する。そして、リスク算出装置は、当該距離が所定の閾値以上となるサンプルデータを、機械学習モデルのプライバシーリスクの算出に用いるサンプルデータ（ターゲットサンプル）として選択する。

Description

リスク算出装置、リスク算出方法、および、リスク算出プログラム
　本発明は、機械学習モデルのプライバシーリスクを算出するための、リスク算出装置、リスク算出方法、および、リスク算出プログラムに関する。
　Deep　Neural　Network（DNN）に代表される機械学習技術は、教師データを記憶しやすいという特性からプライバシーリスクがあることが指摘されている。具体的には、特定のデータが教師データに含まれていたか否かを、学習済みモデルの出力から推定できることが示されている。したがって、医療データやウェブの閲覧履歴など、ユーザが他人に知られたくないデータを扱う場合はプライバシーリスクへの配慮が必要である。
　従来、学習済みモデルに対し、あるデータが教師データに含まれているか否かを特定する攻撃を行い、その攻撃がどの程度成功するかに基づき、プライバシーリスクを算出する方法が提案されている（非特許文献１、非特許文献２、非特許文献３参照）。
Jagielski,　M.　et　al.:　Auditing　Differentially　Private　Machine　Learning:　How　Private　is　Private　SGD?,　arXiv　preprint　arXiv:2006.07709　(2020). Nasr,　M.　et　al.:　Adversary　Instantiation:　Lower　Bounds　for　Differentially　Private　Machine　Learning,　arXiv　preprint　arXiv:2101.04535　(2021). Malek　Esmaeili,　M.　et　al.:　Antipodes　of　Label　Differential　Privacy:　PATE　and　ALIBI,　Proceedings　of　the　35th　Advances　in　Neural　Information　Processing　Systems,　pp.　6934-6945　(2021).
　しかし、従来のプライバシーリスク算出方法は、弱い攻撃か非現実的な攻撃に基づく方法しか提案されていないため、現実的な設定でのプライバシーリスクを低く見積もってしまうという問題があった。なお、弱い攻撃に基づくプライバシーリスクの算出は、例えば、ランダムに選択されたターゲットサンプルを用いて平均的なプライバシーリスクを算出することである。また、非現実的な攻撃とは、例えば、攻撃者が学習途中のモデルにアクセス可能なことを想定した攻撃や、教師データの操作が可能なことを想定した攻撃等である。
　そこで、本発明は、前記した問題を解決し、機械学習モデルの現実的な設定でのプライバシーリスクを高く（正しく）算出することを課題とする。
　前記した課題を解決するため、本発明は、所定のデータセットを用いて複数の第１のシャドウモデルを構築する第１のモデル構築部と、サンプルデータの中から、複数の前記第１のシャドウモデルの損失の平均が所定値以上、かつ、分散が所定値以下となる前記サンプルデータを選択する第１の選択部と、選択した前記サンプルデータおよび前記データセットを用いて第２のシャドウモデルを複数構築する第２のモデル構築部と、前記サンプルデータに対する、複数の前記第１のシャドウモデルの損失の分布と複数の前記第２のシャドウモデルの損失の分布との距離を算出する距離算出部と、前記距離が所定の閾値以上となる前記サンプルデータを、機械学習モデルのプライバシーリスクの算出に用いるサンプルデータとして選択する第２の選択部と、選択した前記サンプルデータを出力する出力処理部とを備えることを特徴とする。
　本発明によれば、機械学習モデルの現実的な設定でのプライバシーリスクを高く（正しく）算出することができる。
図１は、リスク算出装置の概要を説明するための図である。 図２は、リスク算出装置の構成例を示す図である。 図３は、リスク算出装置が実行する処理手順の例を示すフローチャートである。 図４は、リスク算出装置を適用したプライバシーリスクの算出の例を示すフローチャートである。 図５は、リスク算出プログラムを実行するコンピュータを示す図である。
　以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、本実施形態に限定されない。
［概要］
　まず、図１を用いて、本実施形態のリスク算出装置の概要を説明する。リスク算出装置は、学習済みのモデル（機械学習モデル）のプライバシーリスクの算出に用いるサンプルデータ（ターゲットサンプル）を以下のようにして選択する。
　まず、リスク算出装置は、予め用意されたデータセットを用いて複数のシャドウモデル（第１のシャドウモデル）を構築する。次に、リスク算出装置は、構築した複数の第１のシャドウモデルそれぞれにサンプルデータ（データセットとは別のデータ）を入力する。そして、リスク算出装置は、構築した複数の第１のシャドウモデルそれぞれの損失を算出し、算出した損失の平均が充分大きく、かつ、分散が小さいサンプルデータを選択する（選択１）。
　次に、リスク算出装置は、上記のデータセットに選択１で選択されたサンプルデータを加えたデータを用いて複数のシャドウモデル（第２のシャドウモデル）を構築する。そして、リスク算出装置は、サンプルデータに対する、複数の第２のシャドウモデルそれぞれの損失を算出する。
　その後、リスク算出装置は、複数の第１のシャドウモデルそれぞれの損失の分布と、複数の第２のシャドウモデルそれぞれの損失の分布との違いが大きくなるサンプルデータをターゲットサンプルとして選択する（選択２）。
　つまり、複数のシャドウモデルの損失の平均が充分大きく、かつ、分散が小さいサンプルデータは、プライバシーリスクの高いサンプルデータと考えることができる。また、シャドウモデルの教師データにサンプルデータを追加することにより当該モデルの損失の分布が大きく変わる場合、当該サンプルデータは想定されやすいデータであると考えることができる。つまり、当該サンプルデータはプライバシーリスクの高いデータと考えることができる。
　そこで、リスク算出装置は、まず、複数のシャドウモデルの損失の平均が充分大きく、かつ、分散が小さいサンプルデータをターゲットサンプルの候補とする（選択１）。次に、リスク算出装置は、ターゲットサンプルの候補の中から、シャドウモデルの教師データに追加すると当該シャドウモデルの損失の分布が大きく変わるものをターゲットサンプルとして選択する（選択２）。
　このようにすることで、リスク算出装置は、ターゲットサンプルとして、プライバシーリスクの高いサンプルデータを選択することができる。そして、リスク算出装置は、上記のターゲットサンプルを用いて機械学習モデルのプライバシーリスクを算出することで、プライバシーリスクを高く（正しく）算出することができる。
［構成例］
　次に、図２を用いて、リスク算出装置１０の構成例を説明する。リスク算出装置１０は、例えば、入出力部１１、記憶部１２、および、制御部１３を備える。
　入出力部１１は、各種データの入出力を司るインタフェースである。入出力部１１は、例えば、データセット、サンプルデータの入力を受け付ける。データセットは、第１のシャドウモデルおよび第２のシャドウモデルの構築に用いられるデータセットである。サンプルデータは、機械学習モデルのプライバシーリスクの算出のために用いられるデータ（ターゲットサンプル）の候補となるデータである。
　記憶部１２は、制御部１３が各種処理を実行する際に参照されるデータ、プログラム等を記憶する。記憶部１２は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
　例えば、記憶部１２は、入出力部１１経由で入力された、データセット、サンプルデータ等を記憶する。また、例えば、記憶部１２は、制御部１３により構築された第１のシャドウモデルのパラメータおよび第２のシャドウモデルのパラメータ等を記憶する。
　制御部１３は、リスク算出装置１０全体の制御を司る。制御部１３の機能は、例えば、ＣＰＵ（Central　Processing　Unit）が、記憶部１２に記憶されるプログラムを実行することにより実現される。
　制御部１３は、例えば、第１のモデル構築部１３１と、第１の選択部１３２と、第２のモデル構築部１３３と、距離算出部１３４と、第２の選択部１３５と、リスク算出部１３６と、出力処理部１３７とを備える。なお、破線で示すラベル操作部１３８と、ノイズ付加部１３９は、装備される場合と装備されない場合とがあり、装備される場合については後記する。
　第１のモデル構築部１３１は、上記のデータセットを教師データとして用いて第１のシャドウモデルを複数構築する。なお、第１のモデル構築部１３１が、第１のシャドウモデルを構築する際に用いる設定は、プライバシーリスクの算出対象の機械学習モデルの設定と同じ設定とする。
　第１の選択部１３２は、第１のモデル構築部１３１により構築された複数の第１のシャドウモデルにサンプルデータを入力し、複数の第１のシャドウモデルの損失の平均が充分大きく、分散が小さいサンプルデータを選択する。
　例えば、第１の選択部１３２は、まず、サンプルデータに対する第１のシャドウモデルそれぞれの損失を算出する。次に、第１の選択部１３２は、算出した損失の平均と分散を算出する。そして、第１の選択部１３２は、以下の式（１）に示すsoutiが小さいサンプルデータを選択する。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）における、μoutiは、サンプルデータ（xi,yi）に対する複数の第１のシャドウモデルの損失の平均であり、σ2 outiは、サンプルデータ（xi,yi）に対する複数の第１のシャドウモデルの損失の分散である。kは充分大きな損失の定数であり、例えば、k=20程度である。このkの値は、例えば、攻撃に弱いサンプルの分析結果に基づいて決定された値でもよい。
　また、第１の選択部１３２は、上記の定数kを用いず、複数の第１のシャドウモデルの損失の平均が大きく、分散が小さいサンプルデータを選択してもよい。その場合、第１の選択部１３２は、以下の式（２）に示すsoutiが小さいサンプルデータを選択する。
Figure JPOXMLDOC01-appb-M000002
　例えば、第１の選択部１３２は、上記の式（１）または式（２）により算出されたsoutiが小さいサンプルデータから順に所定個（例えば、100-1000程度）のサンプルデータを選択する。また、第１の選択部１３２は、上記のsoutiが所定値以下となるサンプルデータを選択してもよい。
　また、第１の選択部１３２は、例えば、サンプルデータに対する複数の第１のシャドウモデルの損失の平均が所定値以上であり、かつ、損失の分散が所定値以下であるサンプルデータを選択してもよい。
　第２のモデル構築部１３３は、第１の選択部１３２により選択されたサンプルデータと、データセット（第１のシャドウモデルの構築に用いたデータセット）とを教師データとして用いて第２のシャドウモデルを複数構築する。なお、第２のモデル構築部１３３が第２のシャドウモデルを構築する際に用いる設定も、プライバシーリスクの算出対象の機械学習モデルの設定と同じ設定とする。
　距離算出部１３４は、サンプルデータに対する、複数の第１のシャドウモデルの損失の分布と複数の第２のシャドウモデルの損失の分布とがどの程度異なっているかを算出する。
　例えば、距離算出部１３４は、以下の式（３）に基づき、第１の選択部１３２により選択されたサンプルデータに対する、複数の第１のシャドウモデルの損失の分布と、複数の第２のシャドウモデルの損失の分布との距離diを算出する。
Figure JPOXMLDOC01-appb-M000003
　なお、式（３）における、μiniはサンプルデータ（xi,yi）に対する複数の第２のシャドウモデルの損失の平均であり、σ2 iniはサンプルデータ（xi,yi）に対する複数の第２のシャドウモデルの損失の分散である。
　第２の選択部１３５は、距離算出部１３４により算出された複数の第１のシャドウモデルの損失の分布と複数の第２のシャドウモデルの損失の分布との距離diが大さいサンプルデータを選択する。
　例えば、第２の選択部１３５は、上記の距離diが大きいサンプルデータから順に所定個（例えば、1-100程度）のサンプルデータを選択する。また、第２の選択部１３５は、上記の距離diが所定値以上のサンプルデータを選択してもよい。
　リスク算出部１３６は、第２の選択部１３５により選択されたサンプルデータ（ターゲットサンプル）を用いて、機械学習モデルのプライバシーリスクを算出する。
　例えば、ターゲットサンプルを含むデータ（D1）とターゲットサンプルを含まないデータ（D0）とを用意する。そして、リスク算出部１３６は、以下の式（４）に基づき、ターゲットサンプルを含むデータ（D1）が機械学習モデルの学習に用いられたか否かを当てるゲームを1000回繰り返す。そして、リスク算出部１３６は、ゲームの正答率から、機械学習モデルのプライバシーリスクを算出する。
Figure JPOXMLDOC01-appb-M000004
　出力処理部１３７は、制御部１３による処理結果を出力する。例えば、出力処理部１３７は、リスク算出部１３６による、機械学習モデルのプライバシーリスクの算出結果を出力する。
　このようなリスク算出装置１０によれば、機械学習モデルのプライバシーリスクを高く（正しく）算出することができる。
　なお、第２の選択部１３５により選択されたターゲットサンプルを用いたプライバシーリスクの算出は、リスク算出装置１０以外の装置（外部装置）が行ってもよい。この場合、リスク算出装置１０は、第２の選択部１３５により選択されたターゲットサンプルを外部装置に出力する。そして、外部装置は、当該ターゲットサンプルを用いて、プライバシーリスクを算出する。
［処理手順の例］
　次に、図３を用いて、リスク算出装置１０が実行する処理手順の例を説明する。まず、リスク算出装置１０の第１のモデル構築部１３１は、データセットを用いて第１のシャドウモデルを複数構築する（Ｓ１）。
　Ｓ１の後、第１の選択部１３２は、Ｓ１で構築された複数の第１のシャドウモデルの損失の平均および分散に基づき、サンプルデータを選択する（Ｓ２）。例えば、第１の選択部１３２は、サンプルデータの中から、複数の第１のシャドウモデルの損失の平均が充分に大きく、分散が小さいサンプルデータを選択する。
　Ｓ２の後、第２のモデル構築部１３３は、Ｓ２で選択したサンプルデータとデータセット（第１のシャドウモデルの構築に用いたデータセット）とを用いて第２のシャドウモデルを複数構築する（Ｓ３）。
　Ｓ３の後、距離算出部１３４は、Ｓ１で構築された複数の第１のシャドウモデルの損失の分布と、Ｓ３で構築した複数の第２のシャドウモデルの損失の分布との距離を算出する（Ｓ４）。
　Ｓ４の後、第２の選択部１３５は、Ｓ４で算出された距離が所定の閾値以上のサンプルデータ（ターゲットサンプル）を選択する（Ｓ５）。その後、リスク算出部１３６は、Ｓ５で選択されたサンプルデータ（ターゲットサンプル）を用いて、機械学習モデルのプライバシーリスクを算出する（Ｓ６）。そして、出力処理部１３７は、Ｓ６で得られたプライバシーリスクの算出結果を出力する（Ｓ７）。
　リスク算出装置１０が上記の処理を行うことで、機械学習モデルの現実的な設定でのプライバシーリスクを高く（正しく）算出することができる。
［その他の実施形態］
　なお、リスク算出装置１０は、ラベル操作部１３８（図２参照）をさらに備えてもよい。ラベル操作部１３８は、サンプルデータに対するラベル操作により新たなサンプルデータを作成する。
　例えば、ラベル操作部１３８は、サンプルデータ（x,y）（yはxのラベル）から、新たなサンプルデータ（x,yp）を作成する。ただし、yp≠yである。ここで、ラベル操作部１３８は、新たなサンプルデータ（x,yp）を作成する際、正解（y）以外のすべてのクラスのサンプルデータを作成してもよい。例えば、シャドウモデルが入力データを10クラスに分類するモデルである場合、ラベル操作部１３８は、ypとして正解（y）以外の９つのラベルを付与したサンプルデータを作成してもよい。
　そして、第１の選択部１３２は、ラベル操作部１３８により新たなサンプルデータが追加されたサンプルデータの中から、複数の第１のシャドウモデルの損失の平均が充分大きく、かつ、分散が小さいサンプルデータを選択する。その後、第２の選択部１３５は、第１の選択部１３２により選択されたサンプルデータの中から、ターゲットサンプルを選択する。
　また、リスク算出装置１０は、ノイズ付加部１３９（図２参照）をさらに備えていてもよい。ノイズ付加部１３９は、サンプルデータにノイズを付加することにより攻撃に弱いサンプルデータを作成する。
　例えば、ノイズ付加部１３９は、複数の第１のシャドウモデルの損失の平均が充分大きく、分散が小さくなるようなノイズをサンプルデータに付加する。例えば、ノイズ付加部１３９は、以下の式（５）、式（６）に示す損失が小さくなるようにノイズを最適化する。そして、ノイズ付加部１３９は、最適化されたノイズをサンプルデータに付加する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　また、ノイズ付加部１３９は、付加するノイズが互いに類似しないような条件を追加してもよい。例えば、ノイズ付加部１３９は、以下の式（７）に示す損失Lsimが小さくなるようなノイズを付加する。なお、式（７）における、xi tはノイズ付加の最適化のtステップでのノイズが付加されたサンプルデータである。
Figure JPOXMLDOC01-appb-M000007
　このようにノイズ付加部１３９が、攻撃に対し弱いサンプルデータを作成することで、リスク算出装置１０は、よりプライバシーリスクの高いターゲットサンプルを選択することができる。これにより、リスク算出装置１０は、現実的な設定での機械学習モデルのプライバシーリスクをより高く（正しく）算出することができる。
［適用例］
　次に、図４を用いて、リスク算出装置１０の適用例を説明する。例えば、リスク算出装置１０の管理者はプライバシーリスクの算出対象となるNN（ニューラルネットワーク）を設計する（Ｓ１１）。例えば、最適化手法DP-SGD（Differentially　Private　Stochastic　Gradient　Descent）により、Differential　Privacyを満たすNNのトレーニングを行う。
　次に、リスク算出装置１０は、サンプルデータからターゲットサンプルを選択する（Ｓ１２）。そして、リスク算出装置１０は、Ｓ１２で選択したターゲットサンプルを使用して、プライバシーリスクを算出する（Ｓ１３）。例えば、リスク算出装置１０は、Ｓ１２で選択したターゲットサンプルを使用して、従来技術のプライバシーリスクを算出するためのゲームを1000回繰り返し、その正答率から機械学習モデルのプライバシーリスクを算出する。
［システム構成等］
　また、図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、前記した実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　前記したリスク算出装置１０は、パッケージソフトウェアやオンラインソフトウェアとしてプログラム（リスク算出プログラム）を所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置をリスク算出装置１０として機能させることができる。ここで言う情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等の端末等がその範疇に含まれる。
　図５は、リスク算出プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記のリスク算出装置１０が実行する各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、リスク算出装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続される他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　リスク算出装置
　１１　入出力部
　１２　記憶部
　１３　制御部
　１３１　第１のモデル構築部
　１３２　第１の選択部
　１３３　第２のモデル構築部
　１３４　距離算出部
　１３５　第２の選択部
　１３６　リスク算出部
　１３７　出力処理部
　１３８　ラベル操作部
　１３９　ノイズ付加部

Claims (6)

  1. 　所定のデータセットを用いて複数の第１のシャドウモデルを構築する第１のモデル構築部と、
    　サンプルデータの中から、複数の前記第１のシャドウモデルの損失の平均が所定値以上、かつ、分散が所定値以下となる前記サンプルデータを選択する第１の選択部と、
    　選択した前記サンプルデータおよび前記データセットを用いて第２のシャドウモデルを複数構築する第２のモデル構築部と、
    　前記サンプルデータに対する、複数の前記第１のシャドウモデルの損失の分布と複数の前記第２のシャドウモデルの損失の分布との距離を算出する距離算出部と、
    　前記距離が所定の閾値以上となる前記サンプルデータを、機械学習モデルのプライバシーリスクの算出に用いるサンプルデータとして選択する第２の選択部と、
    　選択した前記サンプルデータを出力する出力処理部と
    　を備えることを特徴とするリスク算出装置。
  2. 　出力された前記サンプルデータを用いて、前記機械学習モデルのプライバシーリスクを算出するリスク算出部
    　をさらに備えることを特徴とする請求項１に記載のリスク算出装置。
  3. 　前記第１の選択部により選択された前記サンプルデータに、前記複数の第１のシャドウモデルの損失の平均が大きくなり、かつ、分散が小さくなるようなノイズを付加するノイズ付加部
    　をさらに備えることを特徴とする請求項１に記載のリスク算出装置。
  4. 　前記サンプルデータに対するラベル操作により新たなサンプルデータを追加するラベル操作部をさらに備え、
    　前記第１の選択部は、
    　前記新たなサンプルデータが追加されたサンプルデータの中から、複数の前記第１のシャドウモデルの損失の平均が所定値以上、かつ、分散が所定値以下となる前記サンプルデータを選択する
    　ことを特徴とする請求項１に記載のリスク算出装置。
  5. 　リスク算出装置により実行されるリスク算出方法であって、
    　所定のデータセットを用いて複数の第１のシャドウモデルを構築する工程と、
    　サンプルデータの中から、複数の前記第１のシャドウモデルの損失の平均が所定値以上、かつ、分散が所定値以下となる前記サンプルデータを選択する工程と、
    　選択した前記サンプルデータおよび前記データセットを用いて第２のシャドウモデルを複数構築する工程と、
    　前記サンプルデータに対する、複数の前記第１のシャドウモデルの損失の分布と複数の前記第２のシャドウモデルの損失の分布との距離を算出する工程と、
    　前記距離が所定の閾値以上となる前記サンプルデータを、機械学習モデルのプライバシーリスクの算出に用いるサンプルデータとして選択する工程と、
    　選択した前記サンプルデータを出力する工程と
    　を含むことを特徴とするリスク算出方法。
  6. 　所定のデータセットを用いて複数の第１のシャドウモデルを構築する工程と、
    　サンプルデータの中から、複数の前記第１のシャドウモデルの損失の平均が所定値以上、かつ、分散が所定値以下となる前記サンプルデータを選択する工程と、
    　選択した前記サンプルデータおよび前記データセットを用いて第２のシャドウモデルを複数構築する工程と、
    　前記サンプルデータに対する、複数の前記第１のシャドウモデルの損失の分布と複数の前記第２のシャドウモデルの損失の分布との距離を算出する工程と、
    　前記距離が所定の閾値以上となる前記サンプルデータを、機械学習モデルのプライバシーリスクの算出に用いるサンプルデータとして選択する工程と、
    　選択した前記サンプルデータを出力する工程と
    　をコンピュータに実行させるためのリスク算出プログラム。
PCT/JP2022/037926 2022-10-11 2022-10-11 リスク算出装置、リスク算出方法、および、リスク算出プログラム Ceased WO2024079795A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024550949A JP7848883B2 (ja) 2022-10-11 2022-10-11 リスク算出装置、リスク算出方法、および、リスク算出プログラム
PCT/JP2022/037926 WO2024079795A1 (ja) 2022-10-11 2022-10-11 リスク算出装置、リスク算出方法、および、リスク算出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037926 WO2024079795A1 (ja) 2022-10-11 2022-10-11 リスク算出装置、リスク算出方法、および、リスク算出プログラム

Publications (1)

Publication Number Publication Date
WO2024079795A1 true WO2024079795A1 (ja) 2024-04-18

Family

ID=90668972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037926 Ceased WO2024079795A1 (ja) 2022-10-11 2022-10-11 リスク算出装置、リスク算出方法、および、リスク算出プログラム

Country Status (2)

Country Link
JP (1) JP7848883B2 (ja)
WO (1) WO2024079795A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657762A (zh) * 2021-08-18 2021-11-16 成都卫士通信息安全技术有限公司 一种训练数据机密性评估方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657762A (zh) * 2021-08-18 2021-11-16 成都卫士通信息安全技术有限公司 一种训练数据机密性评估方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CARLINI NICHOLAS, CHIEN STEVE, NASR MILAD, SONG SHUANG, TERZIS ANDREAS, TRAMER FLORIAN: "Membership Inference Attacks From First Principles", 2022 IEEE SYMPOSIUM ON SECURITY AND PRIVACY (SP), IEEE, 12 April 2022 (2022-04-12) - 26 May 2022 (2022-05-26), pages 1897 - 1914, XP093009044, ISBN: 978-1-6654-1316-9, DOI: 10.1109/SP46214.2022.9833649 *

Also Published As

Publication number Publication date
JP7848883B2 (ja) 2026-04-21
JPWO2024079795A1 (ja) 2024-04-18

Similar Documents

Publication Publication Date Title
Crowther et al. A flexible parametric accelerated failure time model and the extension to time-dependent acceleration factors
Wang et al. Automatic inference of demographic parameters using generative adversarial networks
Wheeler et al. POY version 5: phylogenetic analysis using dynamic homologies under multiple optimality criteria
Shaw et al. Theory of local k-mer selection with applications to long-read alignment
JP2021533474A (ja) ノード分類方法、モデル訓練方法並びに、その装置、機器及びコンピュータプログラム
DeGiorgio et al. Robustness to divergence time underestimation when inferring species trees from estimated gene trees
Beckett et al. FALCON: a software package for analysis of nestedness in bipartite networks
Mu et al. A hybrid genetic algorithm for software architecture re-modularization
US20120101974A1 (en) Predicting Outcomes of a Content Driven Process Instance Execution
Parmer et al. Influence maximization in Boolean networks
Garwood et al. RE voSim: Organism‐level simulation of macro and microevolution
Thorne et al. Inference of temporally varying Bayesian networks
Fogg et al. PhyloCoalSimulations: a simulator for network multispecies coalescent models, including a new extension for the inheritance of gene flow
Justison et al. SiPhyNetwork: An R package for simulating phylogenetic networks
WO2020075462A1 (ja) 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム
Mercier et al. Effective resistance against pandemics: Mobility network sparsification for high-fidelity epidemic simulations
US11177018B2 (en) Stable genes in comparative transcriptomics
Sharma et al. Sigmoidal spider monkey optimization algorithm
Madsen et al. Stochastic model checking of genetic circuits
Sanderford et al. MyESL: a software for evolutionary sparse learning in molecular phylogenetics and genomics
WO2024079795A1 (ja) リスク算出装置、リスク算出方法、および、リスク算出プログラム
Saul et al. Family Rank: A graphical domain knowledge informed feature ranking algorithm
WO2021250752A1 (ja) 学習方法、学習装置及びプログラム
CN113191527A (zh) 一种基于预测模型进行人口预测的预测方法及装置
Dellicour et al. Comparative performance of viral landscape phylogeography approaches

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962015

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024550949

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22962015

Country of ref document: EP

Kind code of ref document: A1