JP7290608B2 - 機械学習装置、機械学習方法及び機械学習プログラム - Google Patents

Description

本発明は、不均衡データ向けの敵対的学習を行うための装置、方法及びプログラムに関する。

従来、機械学習によるクラス分類の自動化が図られている。機械学習を用いてマルウェア検知、ハードウェアトロイ検知、ネットワーク侵入検知等の異常検知を行う場合、一般的に異常データのサンプルは少ないため、正常クラスと比べて十分な量の訓練データを得られない場合がある。この場合、正常クラスと異常クラスとで、訓練データの数が不均衡となり、学習モデルが多数クラスの訓練データに大きく影響を受けるため、特に少数クラスである異常クラスの検知について十分な性能を達成できなかった。

このため、クラス間で訓練データの数が不均衡であっても、異常クラスの検知性能を十分に保つためのロバストな学習方法が必要となる。このような学習方法としては、サンプリングベースのアプローチ（例えば、非特許文献１及び２参照）とコストセンシティブなアプローチ（例えば、非特許文献３参照）とがある。サンプリングベースのアプローチでは、オーバーサンプリング又はアンダーサンプリングにより訓練データの数をクラス間で均一化する。一方、コストセンシティブなアプローチでは、クラス毎に損失関数に重みを付けることで、少数クラスを重点的に学習する。

Chawla, N. V.; Bowyer, K.W.; Hall, L. O.; and Kegelmeyer, W. P. 2002. SMOTE: Synthetic Minority Over-sampling Technique. Journal of Artificial Intelligence Research 16:321-357. Haibo He; Yang Bai; Garcia, E. A.; and Shutao Li. 2008. ADASYN: Adaptive synthetic sampling approach for imbalanced learning. In 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence), number 3, 1322-1328. IEEE. Kukar, M., and Kononenko, I. 1998. Cost-sensitive learning with neural networks. In Proceedings of the 13th European Conference on Artificial Intelligence, 445-449.

しかしながら、サンプリングベースのアプローチでは、クラス毎のデータ構造に依存して、クラス毎にそれぞれ独立にサンプリングを行うため、クラス間のデータの関係性は十分に考慮されず、不適切に（過大又は過少に）データをサンプリングしてしまう可能性があった。
また、コストセンシティブなアプローチでは、重み自体は実験的に手動で決めなければならないため、最適化することが難しかった。

本発明は、クラス間のデータの関係性を考慮しつつ、学習モデルのパラメータを自動的に最適化できる機械学習装置、機械学習方法及び機械学習プログラムを提供することを目的とする。

本発明に係る機械学習装置は、２クラスの訓練データ集合のうち、多数クラスに分類された第１集合と、少数クラスに分類された第２集合とを用いて分類モデルを学習する機械学習装置であって、入力データが前記多数クラス又は前記少数クラスである確率を出力する第１関数のパラメータ、及び前記第２集合のデータを変換する第２関数のパラメータを初期化する初期化部と、前記第１集合からランダムに選択したデータ群、及び前記第２集合からランダムに選択し前記第２関数により変換したデータ群により、前記第１集合のデータが前記多数クラスである確率及び前記変換したデータが前記少数クラスである確率に基づく評価値を最大化するように前記第１関数のパラメータを更新する第１更新部と、前記第１更新部と同一のデータ群により、前記評価値を最小化するように前記第２関数のパラメータを更新する第２更新部と、を備え、前記第１更新部及び前記第２更新部を交互に繰り返し動作させた後、更新後の前記第１関数を前記分類モデルとして出力する。

前記機械学習装置は、前記第１集合及び前記第２集合のそれぞれからランダムに選択したデータ群により、前記第１集合のデータが前記多数クラスである確率及び前記第２集合のデータが前記少数クラスである確率に基づく前記評価値を最大化するように前記第１関数のパラメータを学習する初期学習部を備え、前記初期学習部を、前記第１更新部及び前記第２更新部の前に所定回数動作させてもよい。

前記評価値は、複数の確率それぞれの対数を総和したものであってもよい。

前記第１更新部は、前記第１集合及び前記第２集合から、それぞれ同数のデータ群を選択してもよい。

本発明に係る機械学習方法は、コンピュータが２クラスの訓練データ集合のうち、多数クラスに分類された第１集合と、少数クラスに分類された第２集合とを用いて分類モデルを学習する機械学習方法であって、入力データが前記多数クラス又は前記少数クラスである確率を出力する第１関数のパラメータ、及び前記第２集合のデータを変換する第２関数のパラメータを初期化する初期化ステップと、前記第１集合からランダムに選択したデータ群、及び前記第２集合からランダムに選択し前記第２関数により変換したデータ群により、前記第１集合のデータが前記多数クラスである確率及び前記変換したデータが前記少数クラスである確率に基づく評価値を最大化するように前記第１関数のパラメータを更新する第１更新ステップと、前記第１更新ステップと同一のデータ群により、前記評価値を最小化するように前記第２関数のパラメータを更新する第２更新ステップと、を実行し、前記第１更新ステップ及び前記第２更新ステップを交互に繰り返し実行した後、更新後の前記第１関数を前記分類モデルとして出力する機械学習方法。

本発明に係る機械学習プログラムは、前記機械学習装置としてコンピュータを機能させるためのものである。

本発明によれば、クラス間のデータの関係性を考慮しつつ、学習モデルのパラメータを自動的に最適化できる。

実施形態における機械学習装置の機能構成を示す図である。 実施形態における機械学習方法の処理手順を示すフローチャートである。

以下、本発明の実施形態の一例について説明する。
本実施形態では、機械学習を用いて異常検知モデルが生成される。
まず、機械学習に用いる訓練データの集合をＤとし、正常クラスのデータ集合（第１集合）をＤ１、異常クラスのデータ集合（第２集合）をＤ２とする。
ここで、Ｌを、あるデータｘが与えられたときに、ｘが異常である確率を出力する関数（第１関数）とする。機械学習を用いた異常検知では、訓練データ集合Ｄを用いて次の式（１）で表される最適化問題を満たす関数Ｌが異常検知モデルとして学習される。なお、ｘが正常である確率は、１－Ｌ（ｘ）である。
max_L Σ_x2∈D2 log L(x2) + Σ_x1∈D1 log (1 - L(x1)) …（１）

データ集合Ｄ１とデータ集合Ｄ２とで、それぞれに含まれている訓練データの数が大きく異なる場合、訓練データ集合Ｄが不均衡であるという。特に、データ集合Ｄ２のデータ数が少ない場合、式（１）の最適化問題のみでは、異常検知性能の低いモデルＬが生成される。
そこで、本実施形態では、異常検知モデルと少数クラスの訓練データの変換モデルとを競い合わせながら交互に学習する手法を採用した。

図１は、本実施形態における機械学習装置１の機能構成を示す図である。
機械学習装置１は、サーバ装置又はパーソナルコンピュータ等の情報処理装置（コンピュータ）であり、制御部１０及び記憶部２０の他、各種データの入出力デバイス及び通信デバイス等を備える。

制御部１０は、機械学習装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各機能を実現する。制御部１０は、ＣＰＵであってよい。

記憶部２０は、ハードウェア群を機械学習装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるためのプログラム（機械学習プログラム）、及び機械学習モデル、訓練データ等を記憶する。

制御部１０は、初期化部１１と、初期学習部１２と、第１更新部１３と、第２更新部１４とを備える。機械学習装置１は、これらの機能部を動作させることにより、２クラスの訓練データ集合Ｄのうち、多数クラスに分類されたデータ集合Ｄ１と、少数クラスに分類されたデータ集合Ｄ２とを用いて分類モデルの関数Ｌを学習する。

初期化部１１は、入力データが多数クラス又は少数クラスである確率を出力する関数Ｌのパラメータ、及びデータ集合Ｄ２のデータを変換する関数Ｇ（第２関数）のパラメータを初期化する。
なお、関数Ｇの構成は限定されず、既存の各種変換手法を適用することができる。例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）において用いられるデータ変換手法等が採用されてもよい。

初期学習部１２は、データ集合Ｄ１及びデータ集合Ｄ２のそれぞれからランダムに選択したデータ群により、データ集合Ｄ１のデータが多数クラスである確率及びデータ集合Ｄ２のデータが少数クラスである確率に基づく前述の式（１）で示される評価値を最大化するように関数Ｌのパラメータを学習する。

第１更新部１３は、データ集合Ｄ１からランダムに選択したデータ群、及びデータ集合Ｄ２からランダムに選択し関数Ｇにより変換したデータ群により、データ集合Ｄ１のデータが多数クラスである確率及び変換したデータが少数クラスである確率に基づく評価値を最大化するように関数Ｌのパラメータを更新する。
このとき、第１更新部１３は、データ集合Ｄ１及びデータ集合Ｄ２から、それぞれ同数のデータ群を選択する。

第２更新部１４は、第１更新部１３と同一のデータ群により、同一の評価値を最小化するように関数Ｇのパラメータを更新する。
なお、第１更新部１３及び第２更新部１４が用いる評価値は、複数の確率それぞれの対数を総和したものである。

制御部１０は、初期学習部１２を所定回数動作させ、次に、第１更新部１３及び第２更新部１４を交互に繰り返し動作させた後、更新後の関数Ｇを分類モデルとして出力する。

図２は、本実施形態における機械学習方法の処理手順を示すフローチャートである。
ここで、異常検知モデルを構成する関数Ｌは、パラメータθ_Ｌを用いて表されるものとする。また、データｘを変換する関数Ｇは、パラメータθ_Ｇを用いて表されるものとする。
機械学習装置１は、次の最適化問題を以下の手順により解くことで、不均衡な訓練データ集合Ｄから異常検知性能の高い学習モデルを生成する。
min_G max_L Σ_x2∈D2 log L(G(x2)) + Σ_x1∈D1 log (1 - L(x1))

ステップＳ１において、初期化部１１は、関数Ｌのパラメータθ_Ｌ、及び関数Ｇのパラメータθ_Ｇを初期化する。

ステップＳ２において、初期学習部１２は、データ集合Ｄ１及びデータ集合Ｄ２から、それぞれｍ個のデータをランダムに選択する。
ステップＳ３において、初期学習部１２は、ステップＳ２で選択した２ｍ個のデータを用いて式（１）を解き、パラメータθ_Ｌを更新する。

ステップＳ４において、制御部１０は、ステップＳ３での更新回数がｎ１回に達したか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ５に移り、判定がＮＯの場合、処理はステップＳ２に戻る。

ステップＳ５において、第１更新部１３は、データ集合Ｄ１及びデータ集合Ｄ２から、それぞれｍ個のデータをランダムに選択する。
ステップＳ６において、第１更新部１３は、ステップＳ５で選択した２ｍ個のデータを用いて、Ｄ２のデータを関数Ｇで変換した後、両クラスの検知性能を最大化するように、
max_L Σ_x2∈D2 log L(G(x2)) + Σ_x1∈D1 log (1 - L(x1))
を解き、パラメータθ_Ｌを更新する。

ステップＳ７において、第２更新部１４は、ステップＳ５で選択した２ｍ個のデータを用いて、Ｄ２のデータを関数Ｇで変換しつつ、少数クラスの検知性能を最小化するように、
min_G Σ_x2∈D2 log L(G(x2)) + Σ_x1∈D1 log (1 - L(x1))
を解き、パラメータθ_Ｇを更新する。

ステップＳ８において、制御部１０は、ステップＳ６及びＳ７での更新回数がｎ２回ずつになったか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ９に移り、判定がＮＯの場合、処理はステップＳ５に戻る。
ステップＳ９において、制御部１０は、更新されたパラメータθ_Ｌを用いて表される関数Ｌを、最終的な異常検知モデルとして出力する。

なお、ステップＳ５～Ｓ８の繰り返し処理において、最後（ｎ２回目）にパラメータθ_Ｇを更新するステップは省略されてもよい。

本実施形態によれば、機械学習装置１は、少数クラスの訓練データの変換モデルＧを設ける。この変換モデルＧは、訓練データ全体を用いて異常検知モデルを生成した際に、少数クラスについての検知性能を最小化するデータを生成するようなものとする。
機械学習装置１は、正常クラス及び異常クラスの訓練データそれぞれから選択したデータを用いて、まず、両クラスの検知性能を最大化する異常検知モデルＬを学習し、次いで少数クラスについての検知性能を最小化するデータ変換モデルＧを学習する処理を、交互に一定回数繰り返す。そして、機械学習装置１は、最後の繰り返し処理で生成された異常検知モデルＬを最終的な検知モデルとする。

このようにして生成された異常検知モデルＬは、訓練データ全体の傾向を反映したものであるため、この状態に基づいて少数クラスのデータ変換モデルＧを学習することで、クラス間のデータ構造の関係性を反映したモデルＬの生成が可能となる。また、モデルが持つパラメータは、全て一連の処理により自動的に最適化される。
したがって、機械学習装置１は、２つのモデルＬとＧとを競い合わせることにより、異常データのサンプルを十分に集められない場合であっても、クラス間のデータの関係性を考慮しつつ、学習モデルのパラメータを自動的に最適化し、高い検知性能を持つモデルを生成できる。

機械学習装置１は、まず、初期学習部１２により、正常クラス及び異常クラスの訓練データそれぞれから選択したデータを用いて、両クラスの検知性能を最大化する異常検知モデルＬの学習を繰り返す。これにより、機械学習装置１は、第１更新部１３及び第２更新部１４による２つのモデルＬ及びＧの更新処理の前に、基準となる異常検知モデルＬの初期状態を生成する。
したがって、機械学習装置１は、更新処理における無駄な変動を抑制し、効率的にモデルを最適化できる。

機械学習装置１は、評価値として、関数の出力である確率それぞれの対数を総和したものを用いることで、適切な評価により効率的に学習を進められる。
また、機械学習装置１は、データ集合Ｄ１及び前記第２集合から、それぞれ同数のデータ群を選択することで、両クラスの訓練データの傾向を等しく反映し、適切なモデルを生成できる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。

機械学習装置１による機械学習方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ－ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。

１ 機械学習装置
１０ 制御部
１１ 初期化部
１２ 初期学習部
１３ 第１更新部
１４ 第２更新部
２０ 記憶部

Claims (6)

1. ２クラスの訓練データ集合のうち、多数クラスに分類された第１集合と、少数クラスに分類された第２集合とを用いて分類モデルを学習する機械学習装置であって、
   入力データが前記多数クラス又は前記少数クラスである確率を出力する第１関数のパラメータ、及び前記第２集合のデータを変換する第２関数のパラメータを初期化する初期化部と、
   前記第１集合からランダムに選択したデータ群、及び前記第２集合からランダムに選択し前記第２関数により変換したデータ群により、前記第１集合のデータが前記多数クラスである確率及び前記変換したデータが前記少数クラスである確率に基づく評価値を最大化するように前記第１関数のパラメータを更新する第１更新部と、
   前記第１更新部と同一のデータ群により、前記評価値を最小化するように前記第２関数のパラメータを更新する第２更新部と、を備え、
   前記第１更新部及び前記第２更新部を交互に繰り返し動作させた後、更新後の前記第１関数を前記分類モデルとして出力する機械学習装置。
2. 前記第１集合及び前記第２集合のそれぞれからランダムに選択したデータ群により、前記第１集合のデータが前記多数クラスである確率及び前記第２集合のデータが前記少数クラスである確率に基づく前記評価値を最大化するように前記第１関数のパラメータを学習する初期学習部を備え、
   前記初期学習部を、前記第１更新部及び前記第２更新部の前に所定回数動作させる請求項１に記載の機械学習装置。
3. 前記評価値は、複数の確率それぞれの対数を総和したものである請求項１又は請求項２に記載の機械学習装置。
4. 前記第１更新部は、前記第１集合及び前記第２集合から、それぞれ同数のデータ群を選択する請求項１から請求項３のいずれかに記載の機械学習装置。
5. コンピュータが２クラスの訓練データ集合のうち、多数クラスに分類された第１集合と、少数クラスに分類された第２集合とを用いて分類モデルを学習する機械学習方法であって、
   入力データが前記多数クラス又は前記少数クラスである確率を出力する第１関数のパラメータ、及び前記第２集合のデータを変換する第２関数のパラメータを初期化する初期化ステップと、
   前記第１集合からランダムに選択したデータ群、及び前記第２集合からランダムに選択し前記第２関数により変換したデータ群により、前記第１集合のデータが前記多数クラスである確率及び前記変換したデータが前記少数クラスである確率に基づく評価値を最大化するように前記第１関数のパラメータを更新する第１更新ステップと、
   前記第１更新ステップと同一のデータ群により、前記評価値を最小化するように前記第２関数のパラメータを更新する第２更新ステップと、を実行し、
   前記第１更新ステップ及び前記第２更新ステップを交互に繰り返し実行した後、更新後の前記第１関数を前記分類モデルとして出力する機械学習方法。
6. 請求項１から請求項４のいずれかに記載の機械学習装置としてコンピュータを機能させるための機械学習プログラム。

Images