JP7290606B2 - 機械学習装置、機械学習方法及び機械学習プログラム - Google Patents
機械学習装置、機械学習方法及び機械学習プログラム Download PDFInfo
- Publication number
- JP7290606B2 JP7290606B2 JP2020099778A JP2020099778A JP7290606B2 JP 7290606 B2 JP7290606 B2 JP 7290606B2 JP 2020099778 A JP2020099778 A JP 2020099778A JP 2020099778 A JP2020099778 A JP 2020099778A JP 7290606 B2 JP7290606 B2 JP 7290606B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- machine learning
- data
- learning
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
本実施形態では、機械学習のためにn個のデータからなる訓練データの集合Dが用意されているものとする。各データxには、データが分類されたクラスを表すラベルyが付与されている。機械学習では、データxとラベルyとを関連付けるモデルfが学習される。
このとき、本実施形態の機械学習方法では、学習済みモデルの分類性能を維持するために、プライベートな情報を含むデータ集合も学習に用いつつ、転移学習の手法を適用することで、このデータ集合に基づく訓練データとテストデータとの間での出力の乖離を消失させる。
機械学習装置1は、サーバ装置又はパーソナルコンピュータ等の情報処理装置(コンピュータ)であり、制御部10及び記憶部20の他、各種データの入出力デバイス及び通信デバイス等を備える。
データ分割部11は、プライベートなデータのみで第1の集合D1を構成してもよいが、第1の集合D1には、プライベートでないデータが含まれてもよい。
また、分割の条件としてラベルyに関する制約はないものとする。
このとき、機械学習モデルのパラメータは、第1の集合D1に含まれるラベルyに応じた出力となるように設計される。
なお、複数レイヤで構成された機械学習モデルの分割箇所は、モデルによる分類タスクに応じて適宜決定されてよい。
なお、第1の集合D1と第2の集合D2とは、分類のタスクが異なっていてよく、第2の集合D2に付与されているラベルyに応じた出力となるように初期モデルB2のパラメータが設計される。
すなわち、B1とB2とは、同じ形式でなくてよく、例えば、ニューラルネットワークにおけるユニットの数や、分類クラスの数等、構造が異なっていてよい。
このとき、第2学習部15は、機械学習モデルの全体(A+B2)を更新してもよいし、初期モデルB2のみを更新してもよい。
訓練データの集合Dを分割して、プライベートなデータを含む第1の集合D1と、プライベートなデータを含まない第2の集合D2とが与えられると、まず、第1の集合を用いて、モデルf1が学習される。
学習済みモデルf1は、D1に含まれているラベル(例えばa,b,c)に応じた予測値を出力する。
このとき、モデルB2は、第2の集合D2のタスクに合わせて初期化され、モデルf2は、D2に含まれているラベル(例えばc,d,e)に応じた予測値を出力する。
ステップS1において、データ分割部11は、訓練データの集合Dを、プライベートなデータを含む第1の集合D1と、プライベートなデータを含まない第2の集合D2とに分割する。
また、モデルf2の入力に近い部分(A)はプライベートなデータを含む第1の集合を用いて学習されたため、データ集合D全体の傾向を反映したものであり、特徴抽出が十分に行われ学習済みモデルf2の性能は保たれる。
したがって、機械学習装置1は、転移学習の手法を応用することで、プライベートなデータを含むデータ集合から、プライバシを保護しつつ、十分な性能を持つ学習済みモデルを作成できる。
これにより、プライベートなデータを含まない第2の集合D2の特徴も含めて前半部分(A)が学習され、学習済みモデルの性能の向上が期待できる。
10 制御部
11 データ分割部
12 第1学習部
13 モデル分割部
14 モデル置換部
15 第2学習部
20 記憶部
Claims (5)
- 機械学習モデルの訓練データを、プライベートなデータを含む第1の集合、及びプライベートなデータを含まない第2の集合に分割するデータ分割部と、
前記第1の集合を用いて前記機械学習モデルを学習する第1学習部と、
前記第1学習部により学習された前記機械学習モデルを、入力側モデルと出力側モデルとに分割するモデル分割部と、
前記出力側モデルを、前記第2の集合のタスクに適合した形式の初期モデルに置き換えるモデル置換部と、
前記第2の集合を用いて、前記機械学習モデルのうち、少なくとも前記初期モデルを含む部分を学習する第2学習部と、を備える機械学習装置。 - 前記第2学習部は、前記機械学習モデルの全体を更新する請求項1に記載の機械学習装置。
- 前記データ分割部は、プライベートなデータのみで前記第1の集合を構成する請求項1又は請求項2に記載の機械学習装置。
- 機械学習モデルの訓練データを、プライベートなデータを含む第1の集合、及びプライベートなデータを含まない第2の集合に分割するデータ分割ステップと、
前記第1の集合を用いて前記機械学習モデルを学習する第1学習ステップと、
前記第1学習ステップにおいて学習された前記機械学習モデルを、入力側モデルと出力側モデルとに分割するモデル分割ステップと、
前記出力側モデルを、前記第2の集合のタスクに適合した形式の初期モデルに置き換えるモデル置換ステップと、
前記第2の集合を用いて、前記機械学習モデルのうち、少なくとも前記初期モデルを含む部分を学習する第2学習ステップと、をコンピュータが実行する機械学習方法。 - 請求項1から請求項3のいずれかに記載の機械学習装置としてコンピュータを機能させるための機械学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020099778A JP7290606B2 (ja) | 2020-06-09 | 2020-06-09 | 機械学習装置、機械学習方法及び機械学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020099778A JP7290606B2 (ja) | 2020-06-09 | 2020-06-09 | 機械学習装置、機械学習方法及び機械学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021193533A JP2021193533A (ja) | 2021-12-23 |
JP7290606B2 true JP7290606B2 (ja) | 2023-06-13 |
Family
ID=79169056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020099778A Active JP7290606B2 (ja) | 2020-06-09 | 2020-06-09 | 機械学習装置、機械学習方法及び機械学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290606B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017090194A1 (ja) | 2015-11-27 | 2017-06-01 | 富士通株式会社 | リスク評価方法、リスク評価プログラム及び情報処理装置 |
JP2019101485A (ja) | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 情報処理方法、情報処理装置、情報処理システム及びプログラム |
-
2020
- 2020-06-09 JP JP2020099778A patent/JP7290606B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017090194A1 (ja) | 2015-11-27 | 2017-06-01 | 富士通株式会社 | リスク評価方法、リスク評価プログラム及び情報処理装置 |
JP2019101485A (ja) | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 情報処理方法、情報処理装置、情報処理システム及びプログラム |
Non-Patent Citations (1)
Title |
---|
Nicolas Papernot et al.,Semi-supervised Knowledge Transfer for DeepLearning from Private Training Data,arXiv:1610.05755v4,2017年03月,<URL: https://arxiv.org/abs/1610.05755> |
Also Published As
Publication number | Publication date |
---|---|
JP2021193533A (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11483354B2 (en) | System and method for reasoning about the optimality of a configuration parameter of a distributed system | |
CN106953862B (zh) | 网络安全态势的感知方法和装置及感知模型训练方法和装置 | |
US11138312B2 (en) | Cyber range integrating technical and non-technical participants, participant substitution with AI bots, and AI bot training | |
US8353045B2 (en) | Method and tool for information security assessment that integrates enterprise objectives with vulnerabilities | |
Adkins et al. | Building secure and reliable systems: best practices for designing, implementing, and maintaining systems | |
US20210350211A1 (en) | Distributed architecture for explainable ai models | |
WO2014066500A1 (en) | Cyber analysis modeling evaluation for operations (cameo) simulation system | |
WO2023109483A1 (en) | Defending deep generative models against adversarial attacks | |
Badr et al. | Resilient and trustworthy dynamic data-driven application systems (DDDAS) services for crisis management environments | |
Buchholz | Adaptive decomposition and approximation for the analysis of stochastic Petri nets | |
JP7290606B2 (ja) | 機械学習装置、機械学習方法及び機械学習プログラム | |
Ficco et al. | Security and resilience in intelligent data-centric systems and communication networks | |
US20230297649A1 (en) | Neural network training with homomorphic encryption | |
Huber et al. | Cyber fighter associate: A decision support system for cyber agility | |
Gonzalez et al. | A software engineering methodology for developing secure obfuscated software | |
Möller et al. | Introduction to Digital Transformation | |
Larsen et al. | A Conceptual Model‐Based Systems Engineering Method for Creating Secure Cyber‐Physical Systems | |
US20210173736A1 (en) | Detection of failure conditions and restoration of deployed models in a computing environment | |
Atighetchi et al. | From auto-adaptive to survivable and self-regenerative systems successes, challenges, and future | |
Topîrceanu et al. | Complex networks antifragility under sustained edge attack-repair mechanisms | |
Wolters et al. | Predicting activities of interest in the remainder of customer journeys under online settings | |
Kabanda | Performance of Machine Learning and Big Data Analytics Paradigms in Cyber Security | |
Auclair et al. | Labeled dbn learning with community structure knowledge | |
US20230229789A1 (en) | Data poisoning method and data poisoning apparatus | |
Rivera et al. | Using Dynamic Knowledge Hypergraphs Toward Proactive AlOps through Digital Twins |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |