JP7419178B2 - 学習装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、学習装置、方法、プログラムおよび推論装置に関する。

異常検知技術は一般に、異常な振る舞いをするデータを正常なデータ分布から分離する目的で適用される。異常検知の現実的な応用を想定する場合には、複雑で高次元のデータを区別することが特に要求される。近年、機械学習を用いた異常検知手法としては、ＧＡＮ（Generative Adversarial Networks）が広く採用されている。しかしながら、一般にＧＡＮベースの異常検知は、正常データが異なる正常データに再構成される問題（bad cycle consistencyとも呼ばれる）がある。その場合、正常データと異常データのいずれにおいても、その再構成データとの距離が大きくなるため、異常度の測定が困難になる。よって、正常データと異常データとを分離できないため、異常検知性能は、bad cycle consistencyによって著しく低下する。

米国特許出願公開第２０１８／０２９３７３４号

Zenati et al., "Efficient GAN-based anomaly detection." arXiv preprint arXiv:1802.06222, 2018.

本開示は、上述の課題を解決するためになされたものであり、異常データの検知能力を向上させることができる学習装置、方法、プログラムおよび推論装置を提供することを目的とする。

本実施形態に係る学習装置は、第１圧縮部と、生成部と、第２圧縮部と、算出部と、識別部と、更新部とを含む。第１圧縮部は、第１ネットワークを用いて、データから、潜在空間内の前記データの特徴を表す第１潜在変数を生成する。生成部は、第２ネットワークを用いて、前記第１潜在変数から再構成データを生成する。第２圧縮部は、第３ネットワークを用いて、前記再構成データから第２潜在変数を生成する。算出部は、前記第１潜在変数と前記第２潜在変数との間の前記潜在空間における距離を算出する。識別部は、第４ネットワークを用いて、前記データと前記再構成データとの識別に関する識別スコアを出力する。更新部は、最適化が達成されるまで、前記識別スコアに基づいて前記第１ネットワークから前記第４ネットワークまでを学習し、前記距離に基づいて前記第３ネットワークを学習する。

第１実施形態に係る学習装置のブロック図。 第１実施形態に係る学習装置により学習されたネットワークモデルのブロック図。 第１実施形態に係る学習装置の動作を示すフローチャート。 第１実施形態に係る学習装置により学習されたネットワークモデルのブロック図。 第１実施形態の変形例に係る学習装置が学習したネットワークモデルのブロック図。 第２実施形態に係る推論装置のブロック図。 第２実施形態に係る推論装置が用いるネットワークモデルのブロック図。 第２実施形態に係る推論装置の動作を示すフローチャート。 推論装置による対象データの推論結果の一例を示す図。 推論装置による対象データの評価結果の一例を示す図。 学習装置および推論装置のハードウェア構成を示すブロック図。

以下の実施形態では、学習装置が異常検知システム用のＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）ベースのネットワークモデルを生成し、推論装置が異常検知を行うものとする。本実施形態に係る異常は、特定の挙動の基準を満たさないパターンである。データマイニングおよび統計に関して、異常は、正常領域からの多数データの外れ値として存在する。異常検知のためのアプローチは、医療、ビデオ監視、および画像分析等の多くの異なる分野で適用されうる。

以下、図面を参照しながら本実施形態に係る学習装置、方法、プログラムおよび推論装置ついて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作を行なうものとして、重複する説明を適宜省略する。

（第１実施形態）
第１実施形態に係る学習装置１０について説明する。
第１実施形態に係る学習装置１０は、学習データ格納部２０から学習データを取得し、学習データを用いてネットワークモデルを学習する。

学習データ格納部２０は、複数の学習データを格納する。第１実施形態では、異常検知用の学習済みモデルを生成することを目的とするため、学習データとして、正常値のデータ（以下、実データという）を格納する。実データは、複数の要素を持つ多次元ベクトルを想定する。例えば、実データが画像データであれば、画素値を１つの要素としたベクトルデータである。実データは、ノイズを有してもよいし、ノイズがなくともよい。学習データ格納部２０は、学習装置１０に接続される外部サーバを想定するが、学習装置１０内に含まれてもよい。

第１実施形態に係る学習装置１０は、第１圧縮部１０１、生成部１０２、第２圧縮部１０３、識別部１０４、算出部１０５および更新部１０６を含む。

第１圧縮部１０１は、第１ネットワークを用いて実データから第１潜在変数を生成する。第１潜在変数は、データ空間に存在する実データを潜在空間にマッピングした場合の潜在空間上の点に対応する値である。第１潜在変数は、例えば複数の要素を持つ多次元ベクトルである。

生成部１０２は、第２ネットワークを用いて潜在空間におけるランダムな変数（以下、ランダム変数と呼ぶ）または第１圧縮部１０１により生成された第１潜在変数から、再構成データを生成する。再構成データは、潜在空間に存在する潜在変数をデータ空間にマッピングしたデータである。

第２圧縮部１０３は、第３ネットワークを用いて生成部１０２により生成された再構成データから、第２潜在変数を生成する。第２潜在変数は、第１潜在変数と同様であり、データ空間に存在する再構成データを潜在空間にマッピングした場合の潜在空間上の点に対応し、複数の要素を持つ多次元ベクトルである。

識別部１０４は、第４ネットワークを用いて、実データと再構成データとを識別し、特徴量の差分に基づいて識別スコアを生成する。

算出部１０５は、第１潜在変数と第２潜在変数との差分を計算する。ここでは、第１潜在変数と第２潜在変数との間のコスト距離を計算する。なお、差分を算出する手法としては、距離に限らず、第１潜在変数と第２潜在変数との差分が定量的に算出できる手法であればよい。

更新部１０６は、識別部１０４で生成された識別スコアに基づいて、第１ネットワーク、第２ネットワーク、第３ネットワークおよび第４ネットワークを繰り返し更新し、各ネットワークを最適化する。その後、更新部１０６は、算出部１０５で生成されたコスト距離に基づいて、第３ネットワークを繰り返し更新する。その後、所定の最適化条件が満たされた場合に各ネットワークの学習を終了する。結果として学習済みモデルが生成される。

次に、第１実施形態に係る学習装置１０を用いた学習用ネットワークモデルについて図２を参照して説明する。
図２に示すネットワークモデルは、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）に基づくモデルである。

第１圧縮部１０１は、第１ネットワークとしてエンコーダネットワークを用いる。生成部１０２は、第２ネットワークとしてデコーダネットワークを用いる。第２圧縮部１０３は、第３ネットワークとして第１ネットワークとは異なる別のエンコーダネットワークを用いる。識別部１０４は、第４ネットワークとして識別ネットワークを用いる。

エンコーダネットワークは、データ空間に存在するデータの特徴を潜在空間にマッピングできるようなネットワーク構造であればよい。例えば、データが画像であれば、画像の特徴を表現する潜在空間上の点を生成できるネットワーク構造であればよい。また、デコーダネットワークは、潜在空間上の点からデータ空間に存在するデータを生成できればよい。例えば潜在空間上の点から画像を生成できるネットワーク構造であればよい。識別ネットワークは、入力されるデータが実データ（本物）であるか、生成部１０２が生成した再構成データ（偽物）であるかを識別できるネットワーク構造であればよい。

上述のネットワークは、一般的なＧＡＮまたはＤｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ（ＤＣＧＡＮ）で用いられる多層ニューラルネットワークであればよい。具体的には、深層畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＣＮＮ）、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｂｒａｎｃｈｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｍｅｒｅｇｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど、どのような構造を有してもよい。またはこれらの組み合わせでもよく、ＤＣＮＮにおいて、リカレントニューラルネットワークの層を含むなど、どのような層間構造を有してもよい。また、各層は、連続構造、回帰構造、再帰構造、分岐構造、結合構造など、どのような構造でもよい。

本実施形態では、生成部１０２と識別部１０４とを有する一般的なＧＡＮを拡張し、第１圧縮部１０１および第２圧縮部１０３でそれぞれ学習される、２つのエンコーダネットワークを含むネットワークモデルを用いる。

第１圧縮部１０１は、例えば学習データ格納部２０から学習データとして実データ２０１を取得する。第１圧縮部１０１では、取得した実データ２０１がエンコーダネットワークに入力されることで、実データ２０１がエンコードされ、第１潜在変数２０２が出力される。すなわち、実データが潜在空間にマッピングされた第１潜在変数２０２は、当該実データ２０１の特徴を表すような潜在変数の点として得られる。言い換えれば、第１潜在変数２０２は、実データ２０１の特徴を表す多次元ベクトルで表現される。

生成部１０２は、第１圧縮部１０１から第１潜在変数２０２と生成部１０２に提供される雑音（ｚ）であるランダム変数２０３とをそれぞれ受け取る。生成部１０２では、潜在空間の第１潜在変数２０２およびランダム変数２０３がデコーダネットワークに入力されることで、潜在変数がデコードされ、再構成データが出力される。ここでは、第１潜在変数２０２に対応する再構成データ２０４と、ランダム変数２０３に対応する再構成データ２０５とがそれぞれ出力される。

第２圧縮部１０３は、生成部１０２から再構成データ２０４および再構成データ２０５を受け取る。第２圧縮部１０３では、再構成データ２０４および再構成データ２０５がエンコーダネットワークに入力されることで、再構成データ２０４がエンコードされて第２潜在変数２０６が出力され、再構成データ２０５がエンコードされて第２潜在変数２０７が出力される。これにより、再構成データが潜在空間にマッピングされた第２潜在変数は、当該再構成データの特徴を表すような潜在変数の点として得られる。すなわち、第２潜在変数２０６および第２潜在変数２０７はそれぞれ、再構成データの特徴を表す多次元ベクトルで表現される。

算出部１０５は、第１圧縮部１０１から第１潜在変数２０２を、第２圧縮部１０３から第２潜在変数２０６をそれぞれ受け取る。算出部１０５は、第１潜在変数２０２と第２潜在変数２０６とのコスト距離を計算する。コスト距離としては、例えば潜在空間上でのマンハッタン距離を計算する。

識別部１０４は、例えば学習データ格納部２０から第１圧縮部１０１に入力された実データ２０１と、生成部１０２から再構成データ２０４および再構成データ２０５とをそれぞれ受け取る。識別部１０４では、実データ２０１と再構成データ２０４と再構成データ２０５とが識別ネットワークに入力されることで、入力されたデータが本物のデータであるか偽物のデータであるかが識別される。結果として、識別部１０４は識別スコア２０８を出力する。また、識別部１０４では、実データ２０１とランダム変数２０３によって生成されたと再構成データ２０５とが識別ネットワークに入力されることで、入力されたデータが実データであるか偽データであるかが識別されてもよい。

次に、本実施形態に係る学習装置１０の学習処理について図３のフローチャートを参照して説明する。
ステップＳ３０１では、第１圧縮部１０１が、学習データである実データを取得し、実データをエンコードして第１潜在変数を生成する。

ステップＳ３０２では、生成部１０２が、ランダム変数および第１潜在変数をそれぞれデコードし、再構成データをそれぞれ生成する。
ステップＳ３０３では、第２圧縮部１０３が、再構成データをエンコードして、第２潜在変数を生成する。

ステップＳ３０４では、算出部１０５が、第１潜在変数と第２潜在変数との間のコスト距離を計算する。ここでは、第２潜在変数は、第１潜在変数から生成された再構成データから生成される。
ステップＳ３０５では、識別部１０４が、実データと再構成データとを識別し、識別スコアを生成する。
なお、ステップＳ３０３およびステップＳ３０４の処理と、ステップＳ３０５の処理とは順序が入れ替わってもよいし、並列して実行されてもよい。

ステップＳ３０６では、更新部１０６が、識別スコアが最小となるように、第１ネットワーク、第２ネットワーク、第３ネットワークおよび第４ネットワークの各パラメータを更新し、各ネットワークを最適化する。更新部１０６はまた、第１潜在変数と第２潜在変数とのコスト距離が最小となるように、第３ネットワークを最適化する。パラメータとしては、重み係数、バイアスなどが挙げられる。

例えば、第１圧縮部１０１のエンコーダネットワーク、生成部１０２のデコーダネットワークおよび第２圧縮部１０２のエンコーダネットワークは、実データと区別がつかない程度の再構成データを生成する、つまり本物と区別が付かない偽物のデータを生成することを目指す。よって、潜在空間における第１潜在変数と第２潜在変数との間のコスト距離と、データ空間における実データと再構成データとの再構成誤差に基づいて、目的関数を最小化するように各パラメータが更新されればよい。

一方で、識別部１０４の識別ネットワークは、実データと再構成データとを確実に識別することを目指す。よって、識別ネットワークから出力される識別スコアに基づいて、目的関数を最大化するように、識別ネットワークのパラメータが更新される。
つまり、第１圧縮部１０１のエンコーダネットワーク、生成部１０２のデコーダネットワークおよび第２圧縮部１０２のエンコーダネットワークに関する目的関数の最小化と、識別部１０４の識別ネットワークに関する目的関数の最大化との双方を最適化する学習が行われればよい。

また、潜在空間における第１潜在変数と第２潜在変数との間のマンハッタン距離が近いほど、実データと再構成データとの間の特徴が類似していると考えられるため、第２潜在変数の生成元である再構成データも、データ空間上で実データと類似すると考えられる。

ステップＳ３０７では、更新部１０６が、各ネットワークの学習が完了したか否かを判定する。例えば、学習において所定のエポック数の学習が完了したか、学習レベルが安定しているかで判定すればよい。各ネットワークの学習が完了すれば学習処理を終了し、ネットワークの学習が完了していなければ、ステップＳ３０１に戻り、同様の学習を繰り返す。ネットワークの学習では、上述した４つのネットワークを結合して（続けて）学習して各ネットワークのパラメータを更新してもよいし、同時にトレーニングしてパラメータを更新してもよい。

なお、上述の例では、学習データが全て正常なデータであるとして学習させているため、学習データの中では、各データの区別を明示的に学習していない。一方、学習データについてラベルを付与することで、指定した条件で学習することもできる。

学習データにラベルを付与して学習を行う例について、図４のネットワークモデルを参照して説明する。
図４に示すネットワークモデルは、図２に示すネットワークモデルと同様であるが、第１潜在変数２０２、ランダム変数２０３およびラベル４０１が生成部１０２に入力され、ラベル４０１とともに実データ２０１および再構成データ２０４が識別部１０４に入力される点が異なる。

ラベル４０１は、例えば、付与したい条件に関するワンホットベクトルであればよい。具体的には、学習データが手書き入力による０から９までの手書き数字の画像データセットであるＭＮＩＳＴを用い、「３」の手書き数字の画像が実データ２０１として第１圧縮部１０１に入力される場合を想定する。このとき、０から９までの数値を１０個の要素に対応させたワンホットベクトルを用いればよい。より詳細には、ベクトルのうち４番目を１とし、その他の値をゼロとしたワンホットベクトル（０，０，０，１，０，０，０，０，０，０）を用いればよい。

生成器１０２のデコーダネットワークへの入力は、第１潜在変数２０２およびランダム変数２０３のベクトルデータの最後に同じラベル４０１を有するワンホットベクトルデータを結合するデータの入力とすることができる。また、実データ２０１が画像データである場合には、識別部１０４への入力は、ラベル４０１のワンホットベクトルが２次元配列されて入力されればよい。具体的には、上述のワンホットベクトルの各要素は、１つの画像データ（画素）を示し、２次元ベクトル（１２８×１２８）で配置される。２次元ベクトルにおいて、第４の２次元ベクトル値が全て「１」であり、第４以外の他のベクトル値が全て「０」であるデータが識別部１０４に入力される。なお、学習方法は、図３と同様のステップで学習すればよいため、ここでの説明を省略する。
このようにラベル４０１により学習させることで、実データ、つまり正常範囲の条件についても学習させることができ、より詳細な分類を実行することができる。

以上に示した第１実施形態によれば、潜在空間における第１潜在変数と第２潜在変数との間の距離を計算し、当該距離をネットワークの学習に用いることで、潜在空間とデータ空間との両方で誤差を最適化する。このように、ＧＡＮにおいてデュアルエンコーダを使用することによって、潜在空間およびデータ空間におけるデータの距離を最小化するＧＡＮを可能にする。つまり、実データからより多くの情報を保持し、ＧＡＮを用いた異常検知で問題となるＢａｄ ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｃｙを軽減するようにネットワークを学習できる。結果として、異常データの検知能力を向上させることができる。

（第１実施形態の変形例）
次に、第１実施形態の変形例に係るネットワークモデルについて図５を参照して説明する。
図５に示すネットワークモデルは、図２に示すネットワークモデルと比較して、算出部１０５を含まず、第２潜在変数５０１が生成部１０２に入力される点が異なる。

より具体的には、第１回目の学習フェーズにおいて、生成器１０２では、第１潜在変数２０２およびランダム変数２０３がデコーダネットワークに入力され、第１潜在変数２０２およびランダム変数２０３をデコードして、再構成データ２０４および再構成データ２０５をそれぞれ出力する。

次に、生成器１０２では、第２潜在変数５０１がデコーダネットワークに入力され、第２潜在変数５０１をデコードして、再構成データ２０４および再構成データ２０５の出力に加えて再構成データ５０２を出力する。この場合、入力される第２潜在変数５０１は、第２圧縮部１０３における直前の処理によって生成された第２潜在変数５０１である。第２圧縮部は、再構成データ２０４、再構成データ２０５および再構成データ５０２を受信する。再構成データ２０４、再構成データ２０５および再構成データ５０２がエンコーダネットワークに入力されることによって、再構成データ２０４および再構成データ５０２がエンコードされ、第２潜在変数５０１が出力される。また、再構成データ２０５がエンコードされ、第２潜在変数２０７が出力される。再構成データ５０２は、それ自身でエンコードされ、別の第２潜在変数が出力されてもよい。学習方法については、算出部１０５が算出したコスト距離を用いない以外は、第１実施形態と同様の方法で各ネットワークの学習を行えばよい。

第１実施形態に係る変形例によれば、第１実施形態と同様に、潜在空間とデータ空間との両方で誤差が最小となるようにネットワークを最適化することで、Bad cycle-consistencyを軽減できる。

（第２実施形態）
第２実施形態では、第１実施形態に係る学習装置１０により学習した学習済みモデルを用いて推論を実施する推論装置について説明する。

第２実施形態に係る推論装置について図６に示す。推論装置６０は、第１圧縮部１０１、生成部１０２、識別部１０４および判定部６０１を含む。
第１圧縮部１０１は、学習済みのエンコーダネットワークを用いて、検査対象のデータ（以下、対象データともいう）から潜在変数を生成する。
生成部１０２は、学習済みのデコーダネットワークを用いて、潜在変数から再構成データを生成する。

識別部１０４は、学習済みの識別ネットワークを用いて、対象データと再構成データとの間の特徴の差分に関する識別スコアを生成する。第２実施形態における識別スコアは、対象データの特徴量と再構成データの特徴量との間の差分の絶対値を用いる。また、識別部１０４は、識別スコアと、対象データから再構成画像への再構成処理における再構成誤差の絶対値との合計を異常スコアとして算出する。なお、識別スコアと再構成誤差とは重み付け加算されてもよい。
判定部６０１は、異常スコアに基づいて対象データが正常か異常かを判定する。

次に、第２実施形態に係る推論装置６０で用いる学習済みのネットワークモデルについて図７に示す。
図７に示すネットワークモデルは、第１圧縮部１０１のエンコーダネットワーク、生成部１０２のデコーダネットワークおよび識別部１０４の識別ネットワークを含む。

第１圧縮部１０１では、対象データ７０１がエンコーダネットワークに入力され、潜在変数７０２が生成される。
生成部１０２では、潜在変数７０２がデコーダネットワークに入力され、再構成データ７０３が生成される。生成部１０２のデコーダネットワークは、学習により潜在変数から実データ、すなわち正常データの特徴が学習済みであるため、対象データが正常値であるとして、潜在変数から再構成データへの生成処理を行なう。つまり、対象データ７０１が異常値であれば、対象データ７０１と再構成データとの間に差分が生じることとなる。
識別部１０４では、対象データ７０１と再構成データ７０３とが識別ネットワークに入力され、識別スコアが算出され、その後異常スコア７０４が算出される。

次に、第２実施形態に係る推論装置６０の動作について図８のフローチャートを参照して説明する。
ステップＳ８０１では、第１圧縮部１０１が、対象データを取得する。
ステップＳ８０２では、第１圧縮部１０１が、学習済みのエンコーダネットワークを用いて対象データから潜在変数を生成する。

ステップＳ８０３では、生成部１０２が、学習済みのデコーダネットワークを用いて潜在変数から再構成データを生成する。
ステップＳ８０４では、識別部１０４が、学習済みの識別ネットワークを用いて対象データと再構成データとを識別し、識別スコアを生成する。

ステップＳ８０５では、識別部１０４が、識別スコアと再構成誤差との合計を異常スコアとして出力する。
ステップＳ８０６では、判定部６０１が、異常スコアが閾値以上であるか否かを判定する。異常スコアが閾値以上であれば、ステップＳ８０７に進み、異常スコアが閾値未満であれば、ステップＳ８０８に進む。

ステップＳ８０７では、判定部６０１が、対象データが「異常」であると判定する。
ステップＳ８０８では、判定部６０１が、対象データが「正常」であると判定する。

次に、推論装置６０による対象データの推論結果の一例について図９を参照して説明する。
図９の左図は、検査対象となるＭＮＩＳＴのデータセット９１である。なお、推論装置６０における学習済みモデルは、対象データのうち手書き数字「０」の画像を異常データのクラスとし、「０」以外の手書き数字「１～９」の画像を正常データのクラスとして学習されている場合を想定する。ここで、ネットワークモデルにおいて手書き番号「１～９」の画像が学習され、教師データに存在しない手書き数字「０」の画像が異常データとして検知されたとする。

図９の中央図は、比較検証のため、ＭＮＩＳＴのデータセット９１に対する一般的なＢｉＧＡＮによる推論結果９２である。図９では、再構成データを、データセット９１の手書き数字の位置と対応付けて配置する。
推論結果９２では、異常データはボックス９４の位置に対応する。つまり手書き数字「０」が入力された場合は、異常データとして検知できているが、入力されたデータに対して半数以上、同一の数字として再構成されておらず、Ｂａｄ ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｃｙの影響が大きい。

一方、図９の右図は、第２実施形態に係る推論装置６０によるＭＮＩＳＴのデータセット９１に対する推論結果９３である。推論結果９３では、異常データを全て検知できており、さらに推論結果９２と比較して、入力されたデータに対して同一の数字を再構成できている割合が高い。つまり、推論結果９２と推論結果９３とを比較すると、第２実施形態に係る推論装置６０の推論結果９３のほうがＢａｄ ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｃｙの影響を低減できていることが一見して分かる。

次に、ＭＮＩＳＴのデータセットのそれぞれについてのＡＵＲＯＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）メトリックの評価例について図１０を参照して説明する。
図１０は、０～９までの各数字を異常データとしたときの、第２実施形態に係る推論装置６０の性能を示すグラフ１００４と、他の３つの手法の性能を示すグラフ１００１、１００２および１００３である。

縦軸は全体性能の平均値、すなわちＡＵＲＯＣの値を示し、横軸は０～９の各番号を示す。ＡＵＲＯＣは、分類の性能を評価するための１つの指標である。ＡＵＲＯＣの値が高いほど、異常の検知精度が良いことを示す。
図１０に示すように、他の手法のグラフ１００１、１００２および１００３と比較して、推論装置６０のグラフ１００４がどの数値に対しても高い。よって、推論装置６０の異常検知性能が他の手法よりも高いことが分かる。

以上に示した第２実施形態によれば、第１実施形態に係る学習装置で学習した学習済みモデルを用いることにより、学習済みモデルは、正常データ（実データ）と同様の再構成データを生成することができる。したがって、対象データに対して推論を行うことにより、高い異常検知性能を実現することができ、Ｂａｄ ｃｙｃｌｅ ｃｏｎｓｉｓｔｅｎｃｙを大幅に改善することができる。つまり、第２実施形態による推論装置によれば、異常データが高い異常スコアを有することになるため、異常データが正常データに内在する場合に、当該異常データを分離する能力を高めることができる。

ここで、第１実施形態に係る学習装置１０および第２実施形態に係る推論装置６０のハードウェア構成について図１１を参照して説明する。
第１実施形態に係る学習装置１０および第２実施形態に係る推論装置６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ ｍｅｍｏｒｙ）１１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１０３、通信インタフェース１１０４と、格納部１１０５を含む。また、各部はバス１１０６で接続される。

本実施形態に係る学習装置１０および推論装置６０で実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータにダウンロードされ、コンピュータを上述した学習装置１０および推論装置６０の各部として機能させることができる。ダウンロードされたプログラムは、ＲＯＭ１１０２または格納部１１０５に格納され、学習装置１０および推論装置６０の各部として機能させる際に格納されたプログラムが読み出されてもよい。コンピュータは、ＣＰＵ１１０１がコンピュータ読み取り可能な記憶媒体からプログラムを主記憶装置上に読み出して実行できる。コンピュータ読み取り可能な記憶媒体としては、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃである。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した学習装置および推論装置の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の学習装置および推論装置の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・学習装置、２０・・・学習データ格納部、１０１・・・第１圧縮部、１０２・・・生成部、１０３・・・第２圧縮部、１０４・・・識別部、１０５・・・算出部、１０６・・・更新部、２０１・・・実データ、２０２・・・第１潜在変数、２０３・・・ランダム変数、２０４、２０５、５０２、７０３・・・再構成データ、２０６、２０７、５０１・・・第２潜在変数、２０８・・・識別スコア、７０４・・・異常スコア、４０１・・・ラベル、６０１・・・判定部、７０１・・・対象データ、７０２・・・潜在変数、９１・・・ＭＮＩＳＴデータセット、９２，９３・・・推論結果、１１０１・・・ＣＰＵ、１１０２・・・ＲＯＭ、１１０３・・・ＲＡＭ、１１０４・・・通信インタフェース、１１０５・・・格納部、１１０６・・・バス。

Claims (9)

1. 第１ネットワークを用いて、データから、潜在空間内の前記データの特徴を表す第１潜在変数を生成する第１圧縮部と、
   第２ネットワークを用いて、前記第１潜在変数から再構成データを生成する生成部と、
   第３ネットワークを用いて、前記再構成データから第２潜在変数を生成する第２圧縮部と、
   前記第１潜在変数と前記第２潜在変数との間の前記潜在空間における距離を算出する算出部と、
   第４ネットワークを用いて、前記データと前記再構成データとの識別に関する識別スコアを出力する識別部と、
   最適化が達成されるまで、前記識別スコアに基づいて前記第１ネットワークから前記第４ネットワークまでを学習し、前記距離に基づいて前記第３ネットワークを学習する更新部と、
   を具備する学習装置。
2. 第１ネットワークを用いて、データから、潜在空間内の前記データの特徴を表す第１潜在変数を生成する第１圧縮部と、
   第２ネットワークを用いて、前記第１潜在変数および第２潜在変数から再構成データを生成する生成部と、
   第３ネットワークを用いて、再構成データの直前の生成において取得された再構成データから前記第２潜在変数を生成する第２圧縮部と、
   第４ネットワークを用いて前記データと前記再構成データとの識別に関する識別スコアを出力する識別部と、
   最適化が達成されるまで、前記識別スコアに基づいて前記第１ネットワークから前記第４ネットワークまでを学習する更新部と、
   を具備する学習装置。
3. 前記更新部は、前記データの情報を示すラベルが付与された前記データに基づいて、前記第１ネットワークから前記第４ネットワークまでを学習する、請求項１または請求項２に記載の学習装置。
4. 請求項１から請求項３のいずれか１項に記載の学習装置により学習された、学習済みの第１ネットワークと、学習済みの第２ネットワークと、学習済みの第４ネットワークとを用いて推論処理を行う推論装置であって、
   前記学習済みの第１ネットワークを用いて、対象データから潜在変数を生成する圧縮部と、
   前記学習済みの第２ネットワークを用いて、前記潜在変数から再構成データを生成する生成部と、
   前記学習済みの第４ネットワークを用いて、前記対象データと前記再構成データとの識別に関する異常スコアを出力する識別部と、
   前記異常スコアが閾値以上である場合に、前記対象データが異常であると判定する判定部と、
   を具備する推論装置。
5. 前記対象データおよび前記再構成データは、再構成誤差の計算に用いられる、請求項４に記載の推論装置。
6. 前記識別部は、
   前記再構成誤差の絶対値を残差スコアとして算出し、
   前記対象データと前記再構成データとの特徴量の差分の絶対値を識別スコアとして算出し、
   前記残差スコアと前記識別スコアとを加算することにより、前記異常スコアを算出する、請求項５に記載の推論装置。
7. 前記再構成誤差は、異常検知システムの前記異常スコアを測定するために用いられる、請求項５または請求項６に記載の推論装置。
8. 第１ネットワークを用いて、データから、潜在空間内の前記データの特徴を表す第１潜在変数を生成し、
   第２ネットワークを用いて、前記第１潜在変数から再構成データを生成し、
   第３ネットワークを用いて、前記再構成データから第２潜在変数を生成し、
   前記第１潜在変数と前記第２潜在変数との間の前記潜在空間における距離を算出し、
   第４ネットワークを用いて、前記データと前記再構成データとの識別に関する識別スコアを出力し、
   最適化が達成されるまで、前記識別スコアに基づいて前記第１ネットワークから前記第４ネットワークまでを学習し、前記距離に基づいて前記第３ネットワークを学習する、学習方法。
9. コンピュータを、
   第１ネットワークを用いて、データから、潜在空間内の前記データの特徴を表す第１潜在変数を生成する第１圧縮手段と、
   第２ネットワークを用いて、前記第１潜在変数から再構成データを生成する生成手段と、
   第３ネットワークを用いて、前記再構成データから第２潜在変数を生成する第２圧縮手段と、
   前記第１潜在変数と前記第２潜在変数との間の前記潜在空間における距離を算出する算出手段と、
   第４ネットワークを用いて、前記データと前記再構成データとの識別に関する識別スコアを出力する識別手段と、
   最適化が達成されるまで、前記識別スコアに基づいて前記第１ネットワークから前記第４ネットワークまでを学習し、前記距離に基づいて前記第３ネットワークを学習する更新手段として機能させるための学習プログラム。