JP7290608B2 - 機械学習装置、機械学習方法及び機械学習プログラム - Google Patents
機械学習装置、機械学習方法及び機械学習プログラム Download PDFInfo
- Publication number
- JP7290608B2 JP7290608B2 JP2020103878A JP2020103878A JP7290608B2 JP 7290608 B2 JP7290608 B2 JP 7290608B2 JP 2020103878 A JP2020103878 A JP 2020103878A JP 2020103878 A JP2020103878 A JP 2020103878A JP 7290608 B2 JP7290608 B2 JP 7290608B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- function
- machine learning
- class
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
また、コストセンシティブなアプローチでは、重み自体は実験的に手動で決めなければならないため、最適化することが難しかった。
本実施形態では、機械学習を用いて異常検知モデルが生成される。
まず、機械学習に用いる訓練データの集合をDとし、正常クラスのデータ集合(第1集合)をD1、異常クラスのデータ集合(第2集合)をD2とする。
ここで、Lを、あるデータxが与えられたときに、xが異常である確率を出力する関数(第1関数)とする。機械学習を用いた異常検知では、訓練データ集合Dを用いて次の式(1)で表される最適化問題を満たす関数Lが異常検知モデルとして学習される。なお、xが正常である確率は、1-L(x)である。
maxL Σx2∈D2 log L(x2) + Σx1∈D1 log (1 - L(x1)) …(1)
そこで、本実施形態では、異常検知モデルと少数クラスの訓練データの変換モデルとを競い合わせながら交互に学習する手法を採用した。
機械学習装置1は、サーバ装置又はパーソナルコンピュータ等の情報処理装置(コンピュータ)であり、制御部10及び記憶部20の他、各種データの入出力デバイス及び通信デバイス等を備える。
なお、関数Gの構成は限定されず、既存の各種変換手法を適用することができる。例えば、GAN(Generative Adversarial Networks)において用いられるデータ変換手法等が採用されてもよい。
このとき、第1更新部13は、データ集合D1及びデータ集合D2から、それぞれ同数のデータ群を選択する。
なお、第1更新部13及び第2更新部14が用いる評価値は、複数の確率それぞれの対数を総和したものである。
ここで、異常検知モデルを構成する関数Lは、パラメータθLを用いて表されるものとする。また、データxを変換する関数Gは、パラメータθGを用いて表されるものとする。
機械学習装置1は、次の最適化問題を以下の手順により解くことで、不均衡な訓練データ集合Dから異常検知性能の高い学習モデルを生成する。
minG maxL Σx2∈D2 log L(G(x2)) + Σx1∈D1 log (1 - L(x1))
ステップS3において、初期学習部12は、ステップS2で選択した2m個のデータを用いて式(1)を解き、パラメータθLを更新する。
ステップS6において、第1更新部13は、ステップS5で選択した2m個のデータを用いて、D2のデータを関数Gで変換した後、両クラスの検知性能を最大化するように、
maxL Σx2∈D2 log L(G(x2)) + Σx1∈D1 log (1 - L(x1))
を解き、パラメータθLを更新する。
minG Σx2∈D2 log L(G(x2)) + Σx1∈D1 log (1 - L(x1))
を解き、パラメータθGを更新する。
ステップS9において、制御部10は、更新されたパラメータθLを用いて表される関数Lを、最終的な異常検知モデルとして出力する。
機械学習装置1は、正常クラス及び異常クラスの訓練データそれぞれから選択したデータを用いて、まず、両クラスの検知性能を最大化する異常検知モデルLを学習し、次いで少数クラスについての検知性能を最小化するデータ変換モデルGを学習する処理を、交互に一定回数繰り返す。そして、機械学習装置1は、最後の繰り返し処理で生成された異常検知モデルLを最終的な検知モデルとする。
したがって、機械学習装置1は、2つのモデルLとGとを競い合わせることにより、異常データのサンプルを十分に集められない場合であっても、クラス間のデータの関係性を考慮しつつ、学習モデルのパラメータを自動的に最適化し、高い検知性能を持つモデルを生成できる。
したがって、機械学習装置1は、更新処理における無駄な変動を抑制し、効率的にモデルを最適化できる。
また、機械学習装置1は、データ集合D1及び前記第2集合から、それぞれ同数のデータ群を選択することで、両クラスの訓練データの傾向を等しく反映し、適切なモデルを生成できる。
10 制御部
11 初期化部
12 初期学習部
13 第1更新部
14 第2更新部
20 記憶部
Claims (6)
- 2クラスの訓練データ集合のうち、多数クラスに分類された第1集合と、少数クラスに分類された第2集合とを用いて分類モデルを学習する機械学習装置であって、
入力データが前記多数クラス又は前記少数クラスである確率を出力する第1関数のパラメータ、及び前記第2集合のデータを変換する第2関数のパラメータを初期化する初期化部と、
前記第1集合からランダムに選択したデータ群、及び前記第2集合からランダムに選択し前記第2関数により変換したデータ群により、前記第1集合のデータが前記多数クラスである確率及び前記変換したデータが前記少数クラスである確率に基づく評価値を最大化するように前記第1関数のパラメータを更新する第1更新部と、
前記第1更新部と同一のデータ群により、前記評価値を最小化するように前記第2関数のパラメータを更新する第2更新部と、を備え、
前記第1更新部及び前記第2更新部を交互に繰り返し動作させた後、更新後の前記第1関数を前記分類モデルとして出力する機械学習装置。 - 前記第1集合及び前記第2集合のそれぞれからランダムに選択したデータ群により、前記第1集合のデータが前記多数クラスである確率及び前記第2集合のデータが前記少数クラスである確率に基づく前記評価値を最大化するように前記第1関数のパラメータを学習する初期学習部を備え、
前記初期学習部を、前記第1更新部及び前記第2更新部の前に所定回数動作させる請求項1に記載の機械学習装置。 - 前記評価値は、複数の確率それぞれの対数を総和したものである請求項1又は請求項2に記載の機械学習装置。
- 前記第1更新部は、前記第1集合及び前記第2集合から、それぞれ同数のデータ群を選択する請求項1から請求項3のいずれかに記載の機械学習装置。
- コンピュータが2クラスの訓練データ集合のうち、多数クラスに分類された第1集合と、少数クラスに分類された第2集合とを用いて分類モデルを学習する機械学習方法であって、
入力データが前記多数クラス又は前記少数クラスである確率を出力する第1関数のパラメータ、及び前記第2集合のデータを変換する第2関数のパラメータを初期化する初期化ステップと、
前記第1集合からランダムに選択したデータ群、及び前記第2集合からランダムに選択し前記第2関数により変換したデータ群により、前記第1集合のデータが前記多数クラスである確率及び前記変換したデータが前記少数クラスである確率に基づく評価値を最大化するように前記第1関数のパラメータを更新する第1更新ステップと、
前記第1更新ステップと同一のデータ群により、前記評価値を最小化するように前記第2関数のパラメータを更新する第2更新ステップと、を実行し、
前記第1更新ステップ及び前記第2更新ステップを交互に繰り返し実行した後、更新後の前記第1関数を前記分類モデルとして出力する機械学習方法。 - 請求項1から請求項4のいずれかに記載の機械学習装置としてコンピュータを機能させるための機械学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103878A JP7290608B2 (ja) | 2020-06-16 | 2020-06-16 | 機械学習装置、機械学習方法及び機械学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103878A JP7290608B2 (ja) | 2020-06-16 | 2020-06-16 | 機械学習装置、機械学習方法及び機械学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196960A JP2021196960A (ja) | 2021-12-27 |
JP7290608B2 true JP7290608B2 (ja) | 2023-06-13 |
Family
ID=79195775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020103878A Active JP7290608B2 (ja) | 2020-06-16 | 2020-06-16 | 機械学習装置、機械学習方法及び機械学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290608B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114553545A (zh) * | 2022-02-24 | 2022-05-27 | 中国人民解放军海军航空大学航空基础学院 | 一种入侵流量检测识别方法及系统 |
CN114662580A (zh) * | 2022-03-14 | 2022-06-24 | 平安科技(深圳)有限公司 | 数据分类模型的训练方法、分类方法、装置、设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019028839A (ja) | 2017-08-01 | 2019-02-21 | 国立研究開発法人情報通信研究機構 | 分類器、分類器の学習方法、分類器における分類方法 |
WO2019073923A1 (ja) | 2017-10-10 | 2019-04-18 | 国立大学法人岐阜大学 | 異常品判定方法 |
JP2020016935A (ja) | 2018-07-23 | 2020-01-30 | 日本電信電話株式会社 | 画像認識学習装置、画像認識装置、方法、及びプログラム |
JP2021022316A (ja) | 2019-07-30 | 2021-02-18 | Kddi株式会社 | 学習装置、学習方法及び学習プログラム |
-
2020
- 2020-06-16 JP JP2020103878A patent/JP7290608B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019028839A (ja) | 2017-08-01 | 2019-02-21 | 国立研究開発法人情報通信研究機構 | 分類器、分類器の学習方法、分類器における分類方法 |
WO2019073923A1 (ja) | 2017-10-10 | 2019-04-18 | 国立大学法人岐阜大学 | 異常品判定方法 |
JP2020016935A (ja) | 2018-07-23 | 2020-01-30 | 日本電信電話株式会社 | 画像認識学習装置、画像認識装置、方法、及びプログラム |
JP2021022316A (ja) | 2019-07-30 | 2021-02-18 | Kddi株式会社 | 学習装置、学習方法及び学習プログラム |
Non-Patent Citations (2)
Title |
---|
Aditya Krishna Menon et al.,A loss framework for calibrated anomaly detection,Advances in Neural Information Processing Systems 31 (NeurIPS 2018),2018年,ISBN: 9781510884472 |
中塚 俊介,優れた画像処理に触れる -ViEW2017より- 少数不良品サンプル下におけるAdversarial AutoEncoderによる正常モデルの生成と不良判別,映像情報インダストリアル,日本,産業開発機構(株),2018年03月01日,第50巻、第3号,pp.58-67,ISSN: 1346-1362 |
Also Published As
Publication number | Publication date |
---|---|
JP2021196960A (ja) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3073676A1 (en) | Systems and methods for operating a data center based on a generated machine learning pipeline | |
AU2020368222B2 (en) | Adding adversarial robustness to trained machine learning models | |
JP7290608B2 (ja) | 機械学習装置、機械学習方法及び機械学習プログラム | |
CN111989696A (zh) | 具有顺序学习任务的域中的可扩展持续学习的神经网络 | |
WO2019082165A1 (en) | GENERATION OF NEURAL NETWORKS WITH COMPRESSED REPRESENTATION HAVING A HIGH DEGREE OF PRECISION | |
Elsayed et al. | A surrogate-assisted differential evolution algorithm with dynamic parameters selection for solving expensive optimization problems | |
CN116363452B (zh) | 任务模型训练方法以及装置 | |
Leevy et al. | Detecting information theft attacks in the bot-iot dataset | |
Czarnowski et al. | Ensemble classifier for mining data streams | |
Muñoz et al. | Enabling nas with automated super-network generation | |
EP3803580B1 (en) | Efficient incident management in large scale computer systems | |
JP6325762B1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
CN111898692A (zh) | 神经网络到决策树的转换方法、存储介质及电子设备 | |
Leevy et al. | An easy-to-classify approach for the bot-iot dataset | |
Zhou et al. | An intrusion detection approach based on incremental long short-term memory | |
Dalle Pezze et al. | A multi-label continual learning framework to scale deep learning approaches for packaging equipment monitoring | |
Khan et al. | Enabling self-configuration in autonomic systems using case-based reasoning with improved efficiency | |
WO2019180314A1 (en) | Artificial neural networks | |
KR20220014744A (ko) | 강화 학습을 기반으로 한 데이터 전처리 시스템 및 방법 | |
Arabmakki et al. | Ensemble classifier for imbalanced streaming data using partial labeling | |
US20230224324A1 (en) | Nlp based identification of cyberattack classifications | |
US11676050B2 (en) | Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees using leaf nodes | |
WO2022070278A1 (ja) | 異常判定システム、異常判定方法及びプログラム | |
Haluška et al. | Benchmark of data preprocessing methods for imbalanced classification | |
Lambert et al. | Flexible recurrent neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |