JP7359206B2

JP7359206B2 - 学習装置、学習方法、及びプログラム

Info

Publication number: JP7359206B2
Application number: JP2021521685A
Authority: JP
Inventors: 具治岩田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-05-30
Filing date: 2019-05-30
Publication date: 2023-10-11
Anticipated expiration: 2039-05-30
Also published as: JPWO2020240770A1; US20220207301A1; WO2020240770A1

Description

本発明は、学習装置、学習方法、及びプログラムに関する。

データが与えられた場合に、このデータの異常度を推定することで異常を検知するタスクが知られている。このようなタスクは「異常検知」等とも呼ばれ、例えば、機器で発生する異常の検知や通信ネットワークで発生する異常の検知、クレジットカード詐欺の検知等に応用されている。

異常検知を実現する手法として、教師なし手法（例えば非特許文献１参照）や教師あり手法（例えば非特許文献２参照）が従来から知られている。

Fei Tony Liu, Kai Ming Ting, Zhi-Hua Zhou. "Isolation Forest", 2008 Eighth IEEE International Conference on Data Mining. IEEE, 2008. Jiong Zhang, Mohammad Zulkernine, Anwar Haque. "Random-Forests-Based Network Intrusion Detection Systems", IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 38(5), 649-659.

しかしながら、各データが異常であるか否かを示すラベルが与えられている場合、教師なし手法では、そのラベルを有効に活用することができなかった。

他方で、教師あり手法では各データが異常であるか否かを示すラベルを活用することができるが、ラベルが不正確である場合（例えば、異常が発生した正確な時刻が特定でないために、ラベルとデータとを正確に対応付けることができない場合等）、異常検知の性能が低下することがあった。

本発明の実施の形態は、上記の点に鑑みてなされたもので、与えられたデータの異常度を高い精度で推定することを目的とする。

上記目的を達成するため、本発明の実施の形態は、正常を示すデータで構成される第１のデータ集合と、異常を示すデータが少なくとも１つ含まれるデータ集合の集まりで構成される第２のデータ集合とを入力する入力手段と、前記第１のデータ集合に含まれる各データと、前記第２のデータ集合に含まれる各データとを用いて、データの異常度を推定するモデルを利用した目的関数の値と、前記モデルのパラメータに関する前記目的関数の微分値とを計算する計算手段と、前記目的関数の値と前記微分値とを用いて、前記モデルのパラメータを更新する更新手段と、を有することを特徴とする。

与えられたデータの異常度を高い精度で推定することができる。

本発明の実施の形態における学習装置及び推定装置の全体構成の一例を示す図である。本発明の実施の形態におけるパラメータ学習処理の一例を示すフローチャートである。本発明の実施の形態における異常度推定処理の一例を示すフローチャートである。本発明の実施の形態における学習装置及び推定装置のハードウェア構成の一例を示す図である。

以下、本発明の実施の形態について説明する。本発明の実施の形態では、与えられたデータの異常度を高い精度で推定することが可能なモデル（以降、「異常度推定モデル」とも表す。）のパラメータを学習する学習装置１０と、与えられたデータの異常度を当該モデルにより推定する推定装置２０とについて説明する。なお、本発明の実施の形態では、正常を示すデータを「正常データ」、異常を示すデータを「異常データ」と表す。

＜異常度推定モデル＞
本発明の実施の形態では、データが与えられた場合に、そのデータがよく出現する場合（つまり、出現確率が高い場合）には低くなり、あまり出現しない場合（つまり、出現確率が低い場合）には高くなる値を異常度として用いる。例えば、異常度としてオートエンコーダーの再構成誤差を用いて、以下の式（１）を異常度推定モデルとすることができる。

ここで、ｆ（・；θ_ｆ）はパラメータθ_ｆを持つニューラルネットワークでモデル化されるエンコーダであり、ｇ（・；θ_ｇ）はパラメータθ_ｇを持つニューラルネットワークでモデル化されるデコーダである。また、θ＝｛θ_ｆ，θ_ｇ｝は異常度推定モデルのパラメータである。

そこで、本発明の実施の形態では、上記の式（１）を異常度推定モデルとして、この異常度推定モデルのパラメータθを学習装置１０で学習する場合と、学習されたパラメータθを用いて異常度推定モデルにより推定装置２０に与えられたデータの異常度を推定する場合とについて説明する。なお、異常度は、オートエンコーダーの再構成誤差に限られず、例えば、対数尤度等の教師なし手法の異常検知で用いられる異常度を用いることもできる。

＜全体構成＞
次に、本発明の実施の形態における学習装置１０及び推定装置２０の全体構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における学習装置１０及び推定装置２０の全体構成の一例を示す図である。

≪学習装置１０≫
図１に示すように、本発明の実施の形態における学習装置１０は、機能部として、入力部１０１と、目的関数計算部１０２と、パラメータ更新部１０３と、終了条件判定部１０４と、出力部１０５とを有する。

入力部１０１は、入力データとして、与えられた正常データ集合

と、与えられた不正確な異常データ集合の集まり

とを入力する。ここで、

はｊ番目の正常データのＤ次元の特徴ベクトルを表す。また、

はｋ番目の不正確な異常データ集合を表し、この集合の中で少なくとも１つのデータは異常データであるものとする。また、

はｋ番目の不正確な異常データ集合のｉ番目のデータのＤ次元の特徴ベクトルを表す。

なお、不正確な異常データ集合とは、異常である可能性があるものの、真に異常であるか否かが不明なデータの集合のことである。ただし、上述したように、不正確な異常データ集合中のデータのうち、少なくとも１つのデータは異常データであるものとする。

目的関数計算部１０２は、所定の目的関数の値と、異常度推定モデルのパラメータに関する当該目的関数の微分値とを計算する。ここで、上述したように、本発明の実施の形態では、データが与えられた場合に、そのデータがよく出現する場合には低くなり、あまり出現しない場合には高くなる値を異常度として用いる。異常検知では、一般に、正常データに比べて異常データはその出現頻度が低いと考えられるため、本発明の実施の形態では、正常データ集合に含まれるデータ（つまり、正常データ）に対しては異常度が低くなり、かつ、不正確な異常データ集合の中の少なくとも１つのデータの異常度が正常データの異常度よりも高くなるように、異常度推定モデルのパラメータθを推定（学習）する。

そこで、本発明の実施形態では、例えば、以下の式（２）に示す目的関数を用いることができる。

ここで、λ≧０はハイパーパラメータであり、σ（・）はシグモイド関数

である。なお、シグモイド関数の代わりに、異常データの異常度が正常データの異常度よりも高い場合に大きな値を取り、かつ、異常データの異常度が正常データの異常度よりも低い場合に大きな値を取る任意の関数を用いることも可能である。

上記の式（２）に示す目的関数を最小化する場合、第１項は正常データの異常度を低くする効果があり、第２項は不正確な異常データ集合の中で少なくとも１つのデータの異常度が正常データの異常度よりも高くなるようにする効果がある。この式（２）に示す目的関数の最小化は、例えば、確率的勾配降下法等を用いればよい。また、ハイパーパラメータλとしては、例えば、開発データセットを用いた場合に第２項のよいもの（つまり、第２項の値が高くなるもの）を用いればよい。なお、上記の式（２）の目的関数の第２項の代わりに、例えば、Ｎｏｉｓｙ－ＯＲ等が用いられてもよい。

パラメータ更新部１０３は、目的関数計算部１０２により計算された目的関数の値と、異常度推定モデルのパラメータに関する当該目的関数の微分値とを用いて、目的関数の値が低くなるように、パラメータθを更新する。

上記の目的関数の値及びその微分値の計算と、パラメータθの更新とは、所定の終了条件を満たすまで繰り返し行われる。これにより、異常度推定モデルのパラメータθが学習される。

終了条件判定部１０４は、所定の終了条件を満たすか否かを判定する。ここで、所定の終了条件としては、例えば、繰り返し回数が所定の回数に達したこと、目的関数の値の変化量が所定の値よりも小さくなったこと、異常度推定モデルのパラメータθの変化量が所定の値よりも小さくなったこと等が挙げられる。

出力部１０５は、終了条件判定部１０４により所定の終了条件を満たすと判定された場合、異常度推定モデルのパラメータθを出力する。出力部１０５は、異常度推定モデルのパラメータθを任意の出力先に出力すればよい。出力部１０５は、例えば、学習装置１０の補助記憶装置等に出力してもよいし、通信ネットワーク等を介して推定装置２０に出力（送信）してもよい。

≪推定装置２０≫
図１に示すように、本発明の実施の形態における推定装置２０は、機能部として、入力部２０１と、異常度計算部２０２と、出力部２０３とを有する。

入力部２０１は、入力データとして、与えられたデータｘ（つまり、異常検知の対象とするデータｘ）を入力する。ここで、データｘは、Ｄ次元の特徴ベクトルである。

異常度計算部２０２は、学習装置１０によって学習されたパラメータθを用いて、例えば上記の式（１）に示す異常度推定モデルにより、入力部２０１が入力したデータｘの異常度ａを計算する。これにより、異常検知対象のデータｘの異常度ａが推定される。

出力部２０３は、異常度計算部２０２により計算された異常度ａを出力する。出力部２０３は、異常度ａを任意の出力先に出力すればよい。出力部１０５は、例えば、推定装置２０の補助記憶装置等に出力してもよいし、通信ネットワーク等を介して他の装置に出力（送信）してもよい。

＜パラメータ学習処理＞
以降では、学習装置１０で異常度推定モデルのパラメータθを学習する処理（パラメータ学習処理）について、図２を参照しながら説明する。図２は、本発明の実施の形態におけるパラメータ学習処理の一例を示すフローチャートである。

まず、入力部１０１は、入力データとして、正常データ集合

と、不正確な異常データ集合の集まり

とを入力する（ステップＳ１０１）。ここで、各ｋに対して、

である。なお、上述したように、各ｋに対して、ｋ番目の不正確な異常データ集合の中で少なくとも１つのデータは異常データであるものとする。

次に、目的関数計算部１０２は、正常データ集合に含まれる各正常データと、各不正な異常データ集合にそれぞれ含まれる各データとを用いて、上記の式（２）に示す目的関数の値と、上記の式（１）に示す異常度推定モデルのパラメータに関する当該目的関数の微分値とを計算する（ステップＳ１０２）。

次に、パラメータ更新部１０３は、上記のステップＳ１０２で計算された目的関数の値と微分値とを用いて、当該目的関数の値が低くなるように、パラメータθを更新する（ステップＳ１０３）。

次に、終了条件判定部１０４は、所定の終了条件を満たすか否かを判定する（ステップＳ１０４）。そして、所定の終了条件を満たすと判定されなかった場合はステップＳ１０２に戻る。これにより、所定の終了条件を満たすと判定されるまで、上記のステップＳ１０２～ステップＳ１０４が繰り返し実行される。

一方で、所定の終了条件を満たすと判定された場合、出力部１０５は、異常度推定モデルのパラメータθを出力する（ステップＳ１０５）。これにより、学習済みのパラメータθが得られる。

＜異常度推定処理＞
以降では、推定装置２０で異常検知対象のデータの異常度を推定する処理（異常度推定処理）について、図３を参照しながら説明する。図３は、本発明の実施の形態における異常度推定処理の一例を示すフローチャートである。

まず、入力部２０１は、入力データとして、異常検知の対象とするデータｘを入力する（ステップＳ２０１）。ここで、データｘは、Ｄ次元の特徴ベクトルである
次に、異常度計算部２０２は、学習済みのパラメータθを用いて、上記の式（１）に示す異常度推定モデルにより、データｘの異常度ａを計算する（ステップＳ２０２）。これにより、当該データｘの異常度ａが推定される。

最後に、出力部２０３は、上記のステップＳ２０２で計算された異常度ａを出力する（ステップＳ２０３）。これにより、異常検知対象のデータｘの異常度ａが得られる。なお、この異常度ａを用いて、当該データｘが正常又は異常のいずれであるかが判定される。例えば、異常度ａが所定の閾値以下である場合は正常、所定の閾値よりも大きい場合は異常等と判定される。

＜性能評価＞
ここで、本発明の実施の形態における推定装置２０の性能評価を示す。評価指標としては、ＡＵＣ（Area Under the ROC Curve）を用いた。ＡＵＣが高い程、異常検知性能が高い（つまり、異常度の推定精度が高い）ことを表す。

本発明の実施の形態における推定装置２０の性能を評価するために、９つのデータセット（Annthyroid、Cardiotoco、InternetAds、KDDCup99、PageBlocks、Pima、SpamBase、Waveform、Wilt）を用いた。また、比較手法としては、ＬＯＦ（the local outlier factor）、ＯＳＶＭ（one-class support vector machine）、ＩＦ（isolation forest）、ＡＥ（autoencoder）、ＫＮＮ（k-nearest neighbor）、ＳＶＭ（support vector machine）、ＲＦ（random forest）、ＮＮ（neural network）、ＭＩＬ（multiple instance learning）、ＳＩＦ（教師ありＩＦ）、ＳＡＥ（教師ありＡＥ）を用いた。

このとき、各比較手法と、本発明の実施の形態における推定装置２０（Ｏｕｒｓ）とのＡＵＣを以下の表１に示す。

なお、上記の表１中でAverageは、各データセットでのＡＵＣの平均値を表す。

上記の表１に示すように、本発明の実施の形態における推定装置２０（Ｏｕｒｓ）は、他の比較手法と比べて、より多くのデータセットで高い性能を達成していることがわかる。

＜ハードウェア構成＞
最後に、本発明の実施の形態における学習装置１０及び推定装置２０のハードウェア構成について、図４を参照しながら説明する。図４は、本発明の実施の形態における学習装置１０及び推定装置２０のハードウェア構成の一例を示す図である。なお、学習装置１０及び推定装置２０は同様のハードウェア構成で実現可能であるため、以降では、主に、学習装置１０のハードウェア構成について説明する。

図４に示すように、本発明の実施の形態における学習装置１０は、入力装置３０１と、表示装置３０２と、外部Ｉ／Ｆ３０３と、ＲＡＭ（Random Access Memory）３０４と、ＲＯＭ（Read Only Memory）３０５と、プロセッサ３０６と、通信Ｉ／Ｆ３０７と、補助記憶装置３０８とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。

入力装置３０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置３０２は、例えばディスプレイ等であり、学習装置１０の処理結果等を表示する。なお、学習装置１０及び推定装置２０は、入力装置３０１及び表示装置３０２の少なくとも一方を有していなくてもよい。

外部Ｉ／Ｆ３０３は、外部装置とのインタフェースである。外部装置には、記録媒体３０３ａ等がある。学習装置１０は、外部Ｉ／Ｆ３０３を介して、記録媒体３０３ａの読み取りや書き込み等を行うことができる。記録媒体３０３ａには、例えば、学習装置１０が有する各機能部（例えば、入力部１１０、目的関数計算部１２０、パラメータ更新部１３０、終了条件判定部１４０及び出力部１５０等）を実現する１以上のプログラムが記録されていてもよいし、推定装置２０が有する各機能部（例えば、入力部２１０、異常度計算部２２０及び出力部２３０等）を実現する１以上のプログラムが記録されていてもよい。

記録媒体３０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

ＲＡＭ３０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ３０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ３０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。

プロセッサ３０６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ３０５や補助記憶装置３０８等からプログラムやデータをＲＡＭ３０４上に読み出して処理を実行する演算装置である。学習装置１０が有する各機能部は、ＲＯＭ３０５や補助記憶装置３０８等に格納されている１以上のプログラムをＲＡＭ３０４上に読み出してプロセッサ３０６が処理を実行することで実現される。同様に、推定装置２０が有する各機能部は、ＲＯＭ３０５や補助記憶装置３０８等に格納されている１以上のプログラムをＲＡＭ３０４上に読み出してプロセッサ３０６が処理を実行することで実現される。

通信Ｉ／Ｆ３０７は、学習装置１０を通信ネットワークに接続するためのインタフェースである。学習装置１０が有する各機能部を実現する１以上のプログラムや推定装置２０が有する各機能部を実現する１以上のプログラム等は、通信Ｉ／Ｆ３０７を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

補助記憶装置３０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置３０８に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上で各種機能を実現するアプリケーションプログラム等がある。また、学習装置１０の補助記憶装置３０８には、学習装置１０が有する各機能部を実現する１以上のプログラムが格納されている。同様に、推定装置２０の補助記憶装置３０８には、推定装置２０が有する各機能部を実現する１以上のプログラムが格納されている。

本発明の実施の形態における学習装置１０は、図４に示すハードウェア構成を有することにより、上述したパラメータ学習処理を実現することができる。同様に、本発明の実施の形態における推定装置２０は、図４に示すハードウェア構成を有することにより、上述した異常度推定処理を実現することができる。

なお、図４に示す例では、本発明の実施の形態における学習装置１０及び推定装置２０がそれぞれ１台の装置（コンピュータ）で実現されている場合を示したが、これに限られない。本発明の実施の形態における学習装置１０及び推定装置２０の少なくとも一方が、複数台の装置（コンピュータ）で実現されていてもよい。また、１台の装置（コンピュータ）には、複数のプロセッサ３０６や複数のメモリ（ＲＡＭ３０４やＲＯＭ３０５、補助記憶装置３０８等）が含まれていてもよい。

本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更が可能である。

１０学習装置
２０推定装置
１０１入力部
１０２目的関数計算部
１０３パラメータ更新部
１０４終了条件判定部
１０５出力部
２０１入力部
２０２異常度計算部
２０３出力部

Claims

正常を示すデータで構成される第１のデータ集合と、異常を示すデータが少なくとも１つ含まれるデータ集合の集まりで構成される第２のデータ集合とを入力する入力手段と、
前記第１のデータ集合に含まれる各データと、前記第２のデータ集合に含まれる各データとを、データの異常度を推定するモデルを利用した目的関数に入力して、前記目的関数の値を計算する第１の計算手段と、
前記第１のデータ集合に含まれる各データと、前記第２のデータ集合に含まれる各データとを、前記モデルのパラメータに関する前記目的関数の勾配に入力して、前記目的関数の微分値を計算する第２の計算手段と、
前記目的関数の値と前記微分値とを用いて、前記モデルのパラメータを更新する更新手段と、
を有し、
前記モデルにより推定される異常度は、出現する確率が高いデータに対しては前記異常度の値が低くなり、出現する確率が低いデータに対しては前記異常度の値が高くなる、ことを特徴とする学習装置。
前記目的関数には、前記正常を示すデータの異常度を低くするための第１の項と、前記第２のデータ集合を構成するデータ集合の中の少なくとも１つのデータの異常度を、前記正常を示すデータの異常度よりも高くするための第２の項とが含まれ、
前記更新手段は、
前記目的関数の値を最小化するように、前記モデルのパラメータを更新する、ことを特徴とする請求項１に記載の学習装置。
正常を示すデータで構成される第１のデータ集合と、異常を示すデータが少なくとも１つ含まれるデータ集合の集まりで構成される第２のデータ集合とを入力する入力手順と、
前記第１のデータ集合に含まれる各データと、前記第２のデータ集合に含まれる各データとを、データの異常度を推定するモデルを利用した目的関数に入力して、前記目的関数の値を計算する第１の計算手順と、
前記第１のデータ集合に含まれる各データと、前記第２のデータ集合に含まれる各データとを、前記モデルのパラメータに関する前記目的関数の勾配に入力して、前記目的関数の微分値を計算する第２の計算手順と、
前記目的関数の値と前記微分値とを用いて、前記モデルのパラメータを更新する更新手順と、
をコンピュータが実行し、
前記モデルにより推定される異常度は、出現する確率が高いデータに対しては前記異常度の値が低くなり、出現する確率が低いデータに対しては前記異常度の値が高くなる、ことを特徴とする学習方法。
コンピュータを、請求項１又は２に記載の学習装置における各手段として機能させるためのプログラム。