WO2020195826A1 - 評価装置、評価方法、および、評価プログラム - Google Patents

評価装置、評価方法、および、評価プログラム Download PDF

Info

Publication number
WO2020195826A1
WO2020195826A1 PCT/JP2020/010520 JP2020010520W WO2020195826A1 WO 2020195826 A1 WO2020195826 A1 WO 2020195826A1 JP 2020010520 W JP2020010520 W JP 2020010520W WO 2020195826 A1 WO2020195826 A1 WO 2020195826A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
classifier
learning
input
resistance
Prior art date
Application number
PCT/JP2020/010520
Other languages
English (en)
French (fr)
Inventor
知克 高橋
真徳 山田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to EP20779293.8A priority Critical patent/EP3929818A4/en
Priority to US17/441,701 priority patent/US11977627B2/en
Priority to CN202080018178.2A priority patent/CN113544704A/zh
Priority to AU2020246084A priority patent/AU2020246084B2/en
Publication of WO2020195826A1 publication Critical patent/WO2020195826A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system

Definitions

  • the present invention relates to an evaluation device, an evaluation method, and an evaluation program.
  • VAE Very Auto Encoder, variational autoencoder
  • Adversarial Attack is an attack method that intentionally creates vulnerabilities in machine learning to cause deterioration in learning quality and misclassification in classification problems.
  • supervised classification problems by deep learning a method of misidentifying data using an Adversarial Example with a minute noise that cannot be recognized by humans has become a threat, and research is underway.
  • Adversarial Attack using Adversarial Example is also a big threat to VAE, which is unsupervised learning.
  • VAE compresses the input data into latent variables and reconstructs the input data from the latent variables.
  • noise is added to the input data to this VAE by Adversarial Attack, the reconstruction destination is operated.
  • an abnormality detection system using VAE may determine communication data that is originally abnormal as normal communication data. Therefore, it is an important issue to evaluate how the existing VAE application has resistance to Adversarial Attack.
  • Tolerance evaluation against VAE is performed, for example, by training a classifier to classify the intermediate output (latent variable) of VAE based on the label of the input data to VAE, and performing an Adversarial Attack on the learned classifier. Will be done.
  • an object of the present invention is to solve the above-mentioned problems so that the resistance evaluation of Adversarial Attack can be performed even in the case of VAE using unlabeled data as input data.
  • the present invention clusters the input unit that accepts the input of the latent variable of the variable autoencoder and the input latent variable by a predetermined clustering method, and each cluster belongs to the latent variable.
  • Adversarial Attack on the labeling unit that assigns the label of the cluster to the variable the learning unit that learns the classifier using the latent variable with the label as teacher data, and the classifier after learning. It is characterized by including an evaluation unit for performing resistance evaluation and an output unit for outputting the result of resistance evaluation of the Adversarial Attack.
  • FIG. 1 is a diagram illustrating an outline of VAE.
  • FIG. 2 is a diagram illustrating an outline of operation of the evaluation device.
  • FIG. 3 is a diagram showing a configuration example of the evaluation device.
  • FIG. 4 is a diagram showing an example of resistance evaluation of Adversarial Attack using the defense success rate.
  • FIG. 5 is a diagram showing an example of a processing procedure of the evaluation device.
  • FIG. 6 is a diagram illustrating an example of a communication abnormality detection system using VAE.
  • FIG. 7 is a diagram showing an example of a computer that executes an evaluation program.
  • VAE uses a neural network called an encoder to drop input data into low-dimensional latent variables, and then learns to reconstruct the input data with a decoder.
  • the latent variables of VAE store the information necessary to reconstruct the input data. That is, latent variables represent the essential characteristics of the input data.
  • the VAE after learning receives the input of the data group shown by reference numeral 201 in FIG. 2, the data group is reconstructed and the data group shown by reference numeral 202 is output.
  • the VAE may not be able to reconstruct the data group of reference numeral 201 (see reference numeral 203).
  • the evaluation device clusters the latent variables learned by VAE and assigns labels (S1). In other words, if the input data is essentially similar, the latent variables will be the same, so the evaluation device will generate clusters among the latent variables learned by VAE that have similar characteristics. Then, the evaluation device assigns a label (for example, label 1, label 2, label 3, etc.) to the latent variable belonging to the generated cluster for each generated cluster.
  • a label for example, label 1, label 2, label 3, etc.
  • the evaluation device learns the classifier so as to accurately classify the labels given to the latent variables in S1 (S2). Then, the evaluation device applies the existing attack method to the classifier learned in S2 and evaluates the resistance (S3).
  • the evaluation device applies the Adversarial Attack to the classifier learned in S2 to evaluate the resistance. Then, the evaluation device outputs the result of the resistance evaluation for the classifier as the resistance evaluation of the Adversarial Attack of VAE. That is, since the classifier learned in S2 classifies the data based on the features (latent variables) learned by VAE, it is not possible to apply an attack to the classifier so that the classifier cannot accurately classify the data. , It can be considered that the VAE itself was indirectly attacked. Therefore, the result of the resistance evaluation of Adversarial Attack to the classifier learned in S2 can be considered as the result of the resistance evaluation of Adversarial Attack to VAE.
  • the evaluation device 10 includes, for example, as shown in FIG. 3, an input / output unit (input unit and output unit) 11, a control unit 12, and a storage unit 13.
  • the input / output unit 11 controls the input / output of various data.
  • the input / output unit 11 accepts the input of the latent variable of the VAE to be evaluated, and outputs the result of the resistance evaluation of the Adversarial Attack to the VAE.
  • the control unit 12 controls the entire evaluation device 10.
  • the storage unit 13 stores various information referred to when the control unit 12 executes the process and the processing result by the control unit 12.
  • the control unit 12 includes, for example, a labeling unit 121, a classification unit 122, a learning unit 123, and an evaluation unit 124.
  • the labeling unit 121 clusters the latent variables of VAE by a predetermined clustering method, and assigns a label (pseudo-label) indicating the cluster to the latent variables belonging to the cluster for each cluster.
  • the labeling unit 121 receives the input of the latent variable of VAE via the input / output unit 11, the latent variable is clustered by X-means or the like. Then, the labeling unit 121 assigns the cluster number as a label (pseudo-label) to the latent variable belonging to the cluster for each cluster. Then, the labeling unit 121 stores the labeled latent variable (labeled latent variable 131) in the storage unit 13.
  • the classification unit 122 is provided with a predetermined classifier and classifies data by the classifier.
  • the learning of the classifier is performed by the learning unit 123.
  • the classifier (classifier 122) will be described as being installed inside the evaluation device 10, it may be installed outside the evaluation device 10.
  • the learning unit 123 learns the classifier using the labeled latent variable as teacher data. For example, the learning unit 123 uses the labeled latent variable 131 stored in the storage unit 13 to learn the classifier so as to accurately classify the latent variable according to the label.
  • the evaluation unit 124 evaluates the resistance of the Adversarial Attack to the classifier after learning by the learning unit 123.
  • the result of the resistance evaluation is output to an external device via, for example, the input / output unit 11.
  • the evaluation index in the resistance evaluation of Adversarial Attack here, for example, the defense success rate against Adversarial Attack is used.
  • the defense success rate uses, for example, the probability that the classifier classifies the noisy data into the same label as the original data.
  • the evaluation unit 124 measures the defense success rate of the classifier after learning when the strength of the noise that generates the Adversarial Example is changed, thereby evaluating the resistance of the Adversarial Attack to the classifier after learning. Do.
  • ⁇ in the above equation (1) is a parameter representing the strength of noise.
  • FIG. 4 shows an example of resistance evaluation of Adversarial Attack against VAE.
  • FIG. 4 shows the defense success rate when ⁇ is increased from 0 to 0.1. The larger the area of the hatched portion of the graph shown on the left of FIG. 4, the higher the resistance to attack (that is, robust) VAE can be evaluated.
  • the labeling unit 121 of the evaluation device 10 receives the input of the latent variable of the VAE to be evaluated via the input / output unit 11, the input latent variable of the VAE is clustered and a label is given (S11).
  • the learning unit 123 learns the classifier so as to accurately classify the labels given to the latent variables in S1 (S12).
  • the evaluation unit 124 evaluates the resistance of the classifier after learning to Adversarial Attack (S13). After that, the evaluation unit 124 outputs the result of the resistance evaluation via the input / output unit 11.
  • the evaluation device 10 can evaluate the resistance of Adversarial Attack even if it is a VAE that uses unlabeled data as input data.
  • the VAE that the evaluation device 10 targets for resistance evaluation has been described as being outside the evaluation device 10, but it may be installed inside the evaluation device 10.
  • the anomaly detection system learns the characteristics of normal communication (normal communication between the Internet and the system to be protected from attacks) by VAE. After that, the abnormality detection system monitors the communication between the Internet and the system to be protected from attacks, and detects the communication of the characteristics different from the learned characteristics as an abnormality.
  • the characteristics of the communication are, for example, the destination address, the source address, the protocol, the port number, the http parameter, the packet length, the number of packets, and the like of the communication.
  • the evaluation device 10 assigns a label to the latent variable of VAE after the above learning and learns the classifier in order to evaluate the resistance of the abnormality detection system.
  • the anomaly detection system VAE compresses various communication data including both normal communication and abnormal communication into latent variables.
  • the evaluation device 10 clusters the above latent variables by using a clustering method such as X-means, and assigns a label of the cluster to the latent variables belonging to the cluster for each cluster. After that, the evaluation device 10 learns the classifier so as to accurately classify the data based on the given label.
  • the evaluation device 10 applies the Adversarial Attack to the classifier after learning.
  • the evaluation device 10 prepares abnormal communication data to be detected by the abnormality detection system and normal communication data used for camouflage by the abnormal communication data, and assigns a label to each communication data.
  • the evaluation device 10 indirectly applies the Adversarial Attack to the VAE of the abnormality detection system by adding noise such that the classifier after learning misclassifies the abnormal communication data to the same label as the normal communication data.
  • the evaluation device 10 puts noise on the communication data input to the abnormality detection system so as to falsify only a part of the communication data that is not related to the malware function.
  • the evaluation device 10 puts noise of various intensities on the communication data based on the above-mentioned index of resistance evaluation against Adversarial Attack, and evaluates whether or not the abnormality detection system can detect the abnormality. As a result, the evaluation device 10 can evaluate the resistance of the abnormality detection system to Adversarial Attack.
  • the information processing device can function as the evaluation device 10 by causing the information processing device to execute the above program provided as package software or online software.
  • the information processing device referred to here includes a desktop type or notebook type personal computer, a rack-mounted server computer, and the like.
  • the information processing device includes smartphones, mobile phones, mobile communication terminals such as PHS (Personal Handyphone System), and PDA (Personal Digital Assistants).
  • the evaluation device 10 may be mounted on the cloud server.
  • the computer 1000 has, for example, a memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • the disk drive interface 1040 is connected to the disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • a mouse 1110 and a keyboard 1120 are connected to the serial port interface 1050.
  • a display 1130 is connected to the video adapter 1060, for example.
  • the hard disk drive 1090 stores, for example, OS1091, application program 1092, program module 1093, and program data 1094.
  • the various data and information described in the above-described embodiment are stored in, for example, the hard disk drive 1090 or the memory 1010.
  • the CPU 1020 reads the program module 1093 and the program data 1094 stored in the hard disk drive 1090 into the RAM 1012 as needed, and executes each of the above-described procedures.
  • the program module 1093 and program data 1094 related to the above evaluation program are not limited to the case where they are stored in the hard disk drive 1090, for example, are stored in a removable storage medium and are stored by the CPU 1020 via the disk drive 1100 or the like. It may be read out.
  • the program module 1093 and program data 1094 related to the above program are stored in another computer connected via a network such as LAN or WAN (Wide Area Network), and read by the CPU 1020 via the network interface 1070. May be done.
  • Evaluation device 10 Evaluation device 11 Input / output unit 12 Control unit 13 Storage unit 121 Labeling unit 122 Classification unit 123 Learning unit 124 Evaluation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

評価装置は、変分オートエンコーダの潜在変数の入力を受け付け、入力された潜在変数をクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に前記クラスタを示すラベルを付与する。その後、評価装置は、付与されたラベルに基づき潜在変数を正確に分類するように分類器の学習を行い、学習後の分類器に対し、Adversarial　Attackの耐性評価を行い、耐性評価の結果を出力する。これにより、評価装置は、入力データとしてラベルなしデータを用いる変分オートエンコーダであっても、Adversarial　Attackの耐性評価を行うことができる。

Description

評価装置、評価方法、および、評価プログラム
　本発明は、評価装置、評価方法、および、評価プログラムに関する。
　深層学習の手法としてVAE（Variational　Auto　Encoder、変分オートエンコーダ）が広く活用されているが、近年、機械学習の脆弱性に対する攻撃であるAdversarial　Attackの脅威が示唆されている。Adversarial　Attackとは意図的に機械学習の脆弱性をつくことで、学習の品質低下や分類問題における誤分類等を発生させる攻撃手法である。近年深層学習による教師あり分類問題において、データに対して人が認知できないような微小なノイズを乗せたAdversarial　Exampleを用いてデータを誤認させる手法が脅威となっており、研究が進められている。
　Adversarial　Exampleを用いたAdversarial　Attackは、教師無し学習であるVAEに対しても、大きな脅威である。VAEは入力データを潜在変数に圧縮し、潜在変数から入力データを再構成するものであり、このVAEへの入力データにAdversarial　Attackによりノイズを加えられると、再構成先が操作される。その結果、例えば、VAEを用いる異常検知システムが、本来異常である通信データを正常な通信データと判定してしまうおそれがある。したがって、既存のVAEアプリケーションがAdversarial　Attackに対してどのような耐性を持つのか評価することは重要な課題である。
　しかし、従来、VAEに対するAdversarial　Attackの耐性評価については、VAEへの入力データにラベルがついている場合にしか行うことができなかった。このVAEに対する耐性評価は、例えば、VAEへの入力データのラベルに基づきVAEの中間出力（潜在変数）を分類するよう分類器を学習させ、その学習した分類器に対してAdversarial　Attackを行うことにより行われる。
VAE(Variational　Auto　Encoder)、［平成31年3月7日検索］、インターネット＜URL：https://arxiv.org/abs/1312.6114＞ 教師あり学習に対する攻撃、［平成31年3月7日検索］、インターネット＜URL：https://arxiv.org/abs/1412.6572＞ 教師なし学習に対する攻撃、［平成31年3月7日検索］、インターネット＜https://arxiv.org/abs/1702.06832＞
　しかし、上記の方法により、VAEに対するAdversarial　Attackの耐性評価を行う場合、VAEへの入力データにラベルがついていることを前提としている。このため、入力データとしてラベルなしデータを用いるVAEに対するAdversarial　Attackの耐性評価を行うことができなかった。そこで、本発明は、前記した問題を解決し、入力データとしてラベルなしデータを用いるVAEであっても、Adversarial　Attackの耐性評価を行えるようにすることを課題とする。
　前記した課題を解決するため、本発明は、変分オートエンコーダの潜在変数の入力を受け付ける入力部と、入力された前記潜在変数を所定のクラスタリング手法によりクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に前記クラスタのラベルを付与するラベル付与部と、前記ラベルが付与された潜在変数を教師データとして用いて分類器の学習を行う学習部と、学習後の前記分類器に対し、Adversarial　Attackの耐性評価を行う評価部と、前記Adversarial　Attackの耐性評価の結果を出力する出力部と、を備えることを特徴とする。
　本発明によれば、入力データとしてラベルなしデータを用いるVAEであっても、Adversarial　Attackの耐性評価を行うことができる。
図１は、VAEの概要を説明する図である。 図２は、評価装置の動作概要を説明する図である。 図３は、評価装置の構成例を示す図である。 図４は、防御成功率を用いた、Adversarial　Attackの耐性評価の例を示す図である。 図５は、評価装置の処理手順の例を示す図である。 図６は、VAEを用いた通信の異常検知システムの例を説明する図である。 図７は、評価プログラムを実行するコンピュータの例を示す図である。
　以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、以下に説明する実施形態に限定されない。
　まず、図１を用いて、VAEの概要を説明する。VAEは、図１に示すように、エンコーダと呼ばれるニューラルネットで、入力データを低次元の潜在変数に落とし込んでから、デコーダで入力データの再構成を行うよう学習を行う。上記の学習の結果、VAEの潜在変数には入力データを再構成するために必要な情報が保存される。つまり、潜在変数は、入力データの本質的な特徴を表現する。
　これにより、学習後のVAEは、例えば、図２の符号２０１に示すデータ群の入力を受け付けると、当該データ群を再構成し、符号２０２に示すデータ群を出力する。ところが、Adversarial　Attackにより、VAEにノイズが加えられると、VAEは、符号２０１のデータ群を再構成できない場合がある（符号２０３参照）。
　引き続き図２を用いて、上記のVAEに対するAdversarial　Attackの耐性評価を行う評価装置の動作概要を説明する。
　まず、評価装置は、VAEが学習した潜在変数をクラスタリングし、ラベルを付与する（Ｓ１）。つまり、本質的に類似する入力データならば、潜在変数も同様になるので、評価装置は、VAEが学習した潜在変数のうち、特徴の近いもの同士でクラスタを生成する。そして、評価装置は生成したクラスタごとに、当該クラスタに属する潜在変数にラベル（例えば、ラベル１、ラベル２、ラベル３等）を付与する。
　Ｓ１の後、評価装置は、Ｓ１で潜在変数に付与したラベルを正確に分類するように分類器の学習を行う（Ｓ２）。そして、評価装置は、Ｓ２で学習した分類器に対して、既存の攻撃手法を適用し、耐性評価を行う（Ｓ３）。
　例えば、評価装置は、Ｓ２で学習した分類器に対し、Adversarial　Attackを適用し耐性評価を行う。そして、評価装置は、当該分類器に対する耐性評価の結果を、VAEのAdversarial　Attackの耐性評価として出力する。つまり、Ｓ２で学習した分類器は、VAEが学習した特徴（潜在変数）に基づいてデータを分類するので、当該分類器に当該分類器がデータを正確に分類できないような攻撃を適用することは、VAE本体を間接的に攻撃したものと考えることができる。よって、Ｓ２で学習した分類器に対するAdversarial　Attackの耐性評価の結果は、VAEに対するAdversarial　Attackの耐性評価の結果と考えることができる。
　次に、図３を用いて、評価装置１０の構成例を説明する。評価装置１０は、例えば、図３に示すように、入出力部（入力部および出力部）１１と、制御部１２と、記憶部１３とを備える。入出力部１１は、各種データの入出力を司る。例えば、入出力部１１は、評価対象となるVAEの潜在変数の入力を受け付けたり、当該VAEに対するAdversarial　Attackの耐性評価の結果を出力したりする。
　制御部１２は、評価装置１０全体の制御を司る。記憶部１３は、制御部１２が処理を実行する際に参照する種々の情報や制御部１２による処理結果を記憶する。
　制御部１２は、例えば、ラベル付与部１２１と、分類部１２２と、学習部１２３と、評価部１２４とを備える。
　ラベル付与部１２１は、VAEの潜在変数を所定のクラスタリング手法によりクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に当該クラスタを示すラベル（擬似ラベル）を付与する。
　例えば、ラベル付与部１２１は、入出力部１１経由で、VAEの潜在変数の入力を受け付けると、当該潜在変数をX-means等によりクラスタリングする。そして、ラベル付与部１２１はクラスタごとに、当該クラスタに属する潜在変数に対して当該クラスタの番号をラベル（擬似ラベル）として付与する。そして、ラベル付与部１２１はラベルを付与した潜在変数（ラベル付き潜在変数１３１）を記憶部１３に格納する。
　分類部１２２は、所定の分類器を備え、当該分類器によりデータの分類を行う。当該分類器の学習は、学習部１２３により行われる。なお、分類器（分類部１２２）は、評価装置１０の内部に装備されるものとして説明するが、評価装置１０の外部に装備されてもよい。
　学習部１２３は、ラベル付き潜在変数を教師データとして用いて分類器の学習を行う。例えば、学習部１２３は、記憶部１３に格納されたラベル付き潜在変数１３１を用いて、潜在変数をラベルどおり正確に分類するように分類器の学習を行う。
　評価部１２４は、学習部１２３による学習後の分類器に対するAdversarial　Attackの耐性評価を行う。耐性評価の結果は、例えば、入出力部１１経由で外部装置に出力される。ここでのAdversarial　Attackの耐性評価における評価指標は、例えば、Adversarial　Attackに対する防御成功率を用いる。防御成功率は、例えば、分類器が、ノイズが加えられたデータを元のデータと同じラベルに分類する確率を用いる。例えば、評価部１２４は、Adversarial　Exampleを生成するノイズの強さを変化させたときの、学習後の分類器の防御成功率を測定することで、学習後の分類器に対するAdversarial　Attackの耐性評価を行う。
　なお、一般にAdversarial　Exampleと元のデータ（original）とそのデータに加えられるノイズ（noise）との関係は以下の式（１）のように表される。
　Adversarial　Example=(1-ε)*original+ε*noise…式（１）
　上記の式（１）におけるεは、ノイズの強さを表すパラメータである。評価部１２４がεを様々に変化させて防御成功率を測定することで、学習後の分類器に対するAdversarial　Attackの耐性評価を行うことができる。
　VAEに対するAdversarial　Attackの耐性評価例を図４に示す。図４ではεを0から0.1ずつ増やしていった場合の防御成功率を示している。図４の左に示すグラフのハッチング部分の面積が大きいほど、攻撃に対する耐性が高い（つまり堅牢な）VAEと評価することができる。
　次に、図５を用いて評価装置１０の処理手順の例を説明する。まず、評価装置１０のラベル付与部１２１は、入出力部１１経由で評価対象のVAEの潜在変数の入力を受け付けると、入力されたVAEの潜在変数をクラスタリングし、ラベルを付与する（Ｓ１１）。次に、学習部１２３は、Ｓ１で潜在変数に付与されたラベルを正確に分類するように分類器の学習を行う（Ｓ１２）。そして、評価部１２４は、学習後の分類器のAdversarial　Attackに対する耐性評価を行う（Ｓ１３）。その後、評価部１２４は、耐性評価の結果を入出力部１１経由で出力する。
　このようにすることで、評価装置１０は、入力データとしてラベルなしデータを用いるVAEであっても、Adversarial　Attackの耐性評価を行うことができる。
　なお、前記した実施形態において、評価装置１０が耐性評価の対象とするVAEは、評価装置１０の外部にあるものとして説明したが、評価装置１０の内部に装備されてもよい。
　また、前記したVAEのAdversarial　Attackに対する耐性評価を、VAEを用いた通信の異常検知システムに対する耐性評価に適用してもよい。まず、図６を用いて、VAEを用いた通信の異常検知システムの概要を説明する。
　例えば、図６に示すように、異常検知システムは、VAEにより、正常な通信（インターネットと、攻撃から守りたいシステムとの間の正常な通信）の特徴を学習する。その後、異常検知システムは、インターネットと、攻撃から守りたいシステムとの間の通信を監視し、学習した特徴と異なる特徴の通信を、異常として検知する。なお、ここでの通信の特徴は、例えば、通信の、宛先アドレス、送信元アドレス、プロトコル、ポート番号、httpのパラメータ、パケット長、パケット数等である。
　この場合、評価装置１０は、異常検知システムの耐性評価を行うため、上記の学習後のVAEの潜在変数に対するラベルの付与と分類器の学習を行う。例えば、まず、異常検知システムのVAEは、正常な通信および異常な通信の両方を含んだ様々な通信データを潜在変数へと圧縮する。そして、評価装置１０は、上記の潜在変数をX-means等のクラスタリング手法を用いてクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に当該クラスタのラベルを付与する。その後、評価装置１０は、付与されたラベルに基づいてデータを正確に分類するよう、分類器の学習を行う。
　次に、評価装置１０は、学習後の分類器にAdversarial　Attackを適用する。例えば、評価装置１０は、異常検知システムが検知すべき異常通信データと、異常通信データが偽装に用いる正常通信データとを用意し、それぞれの通信データにラベルを付与しておく。そして、評価装置１０は、学習後の分類器が異常通信データを正常通信データと同じラベルに誤分類する様なノイズを乗せることで、異常検知システムのVAEに対して間接的にAdversarial　Attackを適用する。例えば、評価装置１０は、異常検知システムに入力される通信データに対し、当該通信データのマルウェアの機能に関係のない部分のみを改竄するようなノイズを乗せる。
　そして、評価装置１０は、前記したAdversarial　Attackに対する耐性評価の指標に基づき、通信データに様々な強さのノイズを乗せ、異常検知システムが異常を検知できるか否かを評価する。これにより、評価装置１０は、異常検知システムのAdversarial　Attackに対する耐性を評価することができる。
　なお、上記の実施形態で述べた評価装置１０の機能を実現するプログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記のプログラムを情報処理装置に実行させることにより、情報処理装置を評価装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータ、ラック搭載型のサーバコンピュータ等が含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistants）等がその範疇に含まれる。また、評価装置１０を、クラウドサーバに実装してもよい。
　図７を用いて、上記のプログラム（評価プログラム）を実行するコンピュータの一例を説明する。図７に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。
　ここで、図７に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。
　そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、上記の評価プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、上記のプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　評価装置
　１１　入出力部
　１２　制御部
　１３　記憶部
　１２１　ラベル付与部
　１２２　分類部
　１２３　学習部
　１２４　評価部

Claims (5)

  1. 　変分オートエンコーダの潜在変数の入力を受け付ける入力部と、
    　入力された前記潜在変数を所定のクラスタリング手法によりクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に前記クラスタのラベルを付与するラベル付与部と、
    　前記ラベルが付与された潜在変数を教師データとして用いて分類器の学習を行う学習部と、
    　学習後の前記分類器に対し、Adversarial　Attackの耐性評価を行う評価部と、
    　前記Adversarial　Attackの耐性評価の結果を出力する出力部と、
    　を備えることを特徴とする評価装置。
  2. 　前記所定のクラスタリング手法は、
    　X-meansであることを特徴とする請求項１に記載の評価装置。
  3. 　前記評価部は、
    　学習後の前記分類器に入力されるデータに加えるノイズの強さごとに、前記分類器が、前記ノイズの付加後のデータを前記ノイズの付加前のデータに付与されたラベルと同じラベルに分類する確率を測定することにより、前記学習後の分類器に対するAdversarial　Attackの耐性評価を行う
    　ことを特徴とする請求項１に記載の評価装置。
  4. 　評価装置により実行される評価方法であって、
    　変分オートエンコーダの潜在変数の入力を受け付けるステップと、
    　前記入力された潜在変数を所定のクラスタリング手法によりクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に前記クラスタのラベルを付与するラベル付与ステップと、
    　前記ラベルが付与された潜在変数を教師データとして用いて分類器の学習を行う学習ステップと、
    　学習後の前記分類器に対し、Adversarial　Attackの耐性評価を行う評価ステップと、
    　前記Adversarial　Attackの耐性評価の結果を出力する出力ステップと、
    　を含むことを特徴とする評価方法。
  5. 　変分オートエンコーダの潜在変数の入力を受け付ける入力ステップと、
    　入力された前記潜在変数を所定のクラスタリング手法によりクラスタリングし、クラスタごとに当該クラスタに属する潜在変数に前記クラスタのラベルを付与するラベル付与ステップと、
    　前記ラベルが付与された潜在変数を教師データとして用いて分類器の学習を行う学習ステップと、
    　学習後の前記分類器に対し、Adversarial　Attackの耐性評価を行う評価ステップと、
    　前記Adversarial　Attackの耐性評価の結果を出力する出力ステップと、
    　をコンピュータに実行させることを特徴とする評価プログラム。
PCT/JP2020/010520 2019-03-26 2020-03-11 評価装置、評価方法、および、評価プログラム WO2020195826A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20779293.8A EP3929818A4 (en) 2019-03-26 2020-03-11 EVALUATION SYSTEM, EVALUATION PROCESS AND EVALUATION PROGRAM
US17/441,701 US11977627B2 (en) 2019-03-26 2020-03-11 Evaluation device, evaluation method, and evaluation program
CN202080018178.2A CN113544704A (zh) 2019-03-26 2020-03-11 评价装置、评价方法以及评价程序
AU2020246084A AU2020246084B2 (en) 2019-03-26 2020-03-11 Evaluation device, evaluation method, and evaluation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019058884A JP7183904B2 (ja) 2019-03-26 2019-03-26 評価装置、評価方法、および、評価プログラム
JP2019-058884 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020195826A1 true WO2020195826A1 (ja) 2020-10-01

Family

ID=72611427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010520 WO2020195826A1 (ja) 2019-03-26 2020-03-11 評価装置、評価方法、および、評価プログラム

Country Status (6)

Country Link
US (1) US11977627B2 (ja)
EP (1) EP3929818A4 (ja)
JP (1) JP7183904B2 (ja)
CN (1) CN113544704A (ja)
AU (1) AU2020246084B2 (ja)
WO (1) WO2020195826A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4120136A1 (en) 2021-07-14 2023-01-18 Volkswagen Aktiengesellschaft Method for automatically executing a vehicle function, method for training a machine learning defense model and defense unit for a vehicle

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893111B2 (en) * 2019-11-26 2024-02-06 Harman International Industries, Incorporated Defending machine learning systems from adversarial attacks
JP7513918B2 (ja) 2020-11-10 2024-07-10 日本電信電話株式会社 学習装置、学習方法およびプログラム
CN112463999A (zh) * 2020-12-10 2021-03-09 中国科学院深圳先进技术研究院 视觉位置识别方法及装置、计算机设备及可读存储介质
EP4057193A1 (en) * 2021-03-10 2022-09-14 Tata Consultancy Services Limited Method and system for identifying mislabeled data samples using adversarial attacks
JP2023008415A (ja) 2021-07-06 2023-01-19 富士通株式会社 評価プログラム、評価方法および情報処理装置
CN114301719B (zh) * 2022-03-10 2022-05-13 中国人民解放军国防科技大学 一种基于变分自编码器的恶意更新检测方法及系统
JP7311820B1 (ja) 2022-11-30 2023-07-20 ダイトロン株式会社 異常判定方法、異常判定装置及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524216A (ja) * 2013-05-06 2016-08-12 ノウムテック, エルエルシーKnowmtech, Llc ユニバーサル機械学習ビルディングブロック
EP2985716B1 (en) * 2013-05-20 2020-08-12 Nippon Telegraph and Telephone Corporation Information processing device and identifying method
US10387784B2 (en) * 2014-12-10 2019-08-20 Kyndi, Inc. Technical and semantic signal processing in large, unstructured data fields
WO2016103651A1 (ja) * 2014-12-22 2016-06-30 日本電気株式会社 情報処理システム、情報処理方法、及び、記録媒体
JP6258189B2 (ja) * 2014-12-24 2018-01-10 日本電信電話株式会社 特定装置、特定方法および特定プログラム
EP3385889A4 (en) * 2015-12-01 2019-07-10 Preferred Networks, Inc. ANOMALY DETECTION SYSTEM, ANOMALY DETECTION METHOD, ANOMALY DETECTION PROGRAM, AND APPRIS MODEL GENERATION METHOD
US11610148B2 (en) * 2016-10-26 2023-03-21 Sony Corporation Information processing device and information processing method
US10685293B1 (en) * 2017-01-20 2020-06-16 Cybraics, Inc. Methods and systems for analyzing cybersecurity threats
US10621586B2 (en) * 2017-01-31 2020-04-14 Paypal, Inc. Fraud prediction based on partial usage data
JP2018139071A (ja) * 2017-02-24 2018-09-06 株式会社リコー 生成モデル学習方法、生成モデル学習装置およびプログラム
CN110506278B (zh) * 2017-04-19 2023-11-10 西门子医疗有限公司 隐空间中的目标检测
JP6725452B2 (ja) * 2017-05-26 2020-07-22 日本電信電話株式会社 分類装置、分類方法および分類プログラム
US10990677B2 (en) * 2017-06-05 2021-04-27 Microsoft Technology Licensing, Llc Adversarial quantum machine learning
JP6691094B2 (ja) * 2017-12-07 2020-04-28 日本電信電話株式会社 学習装置、検知システム、学習方法及び学習プログラム
DE102017223751A1 (de) * 2017-12-22 2019-06-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks
CN108334497A (zh) * 2018-02-06 2018-07-27 北京航空航天大学 自动生成文本的方法和装置
CN108389239A (zh) * 2018-02-23 2018-08-10 深圳市唯特视科技有限公司 一种基于条件多模式网络的微笑脸部视频生成方法
CN108492118B (zh) * 2018-04-03 2020-09-29 电子科技大学 汽车售后服务质量评价回访文本数据的两阶段抽取方法
CN108573227B (zh) * 2018-04-09 2022-04-29 深圳竹信科技有限公司 心电图数据质量评价方法及装置
CN108776806A (zh) * 2018-05-08 2018-11-09 河海大学 基于变分自编码器和密度峰值的混合属性数据聚类方法
CN108881196B (zh) * 2018-06-07 2020-11-24 中国民航大学 基于深度生成模型的半监督入侵检测方法
JP7119631B2 (ja) 2018-06-20 2022-08-17 日本電信電話株式会社 検知装置、検知方法および検知プログラム
CN109214408A (zh) * 2018-07-10 2019-01-15 武汉科技大学 基于生成对抗模型识别肝肿瘤的方法及装置
CN109063291B (zh) * 2018-07-20 2021-07-13 西安交通大学 机电装备冷却通道结构智能化拓扑优化设计方法
CN109360191B (zh) * 2018-09-25 2020-06-12 南京大学 一种基于变分自编码器的图像显著性检测方法
CN109447137B (zh) * 2018-10-15 2022-06-14 聚时科技(上海)有限公司 一种基于分解因子的图像局部风格迁移方法
CN109507648A (zh) * 2018-12-19 2019-03-22 西安电子科技大学 基于VAE-ResNet网络的雷达辐射源识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ATTACK ON SUPERVISED LEARNING, 7 March 2019 (2019-03-07)
ATTACK ON UNSUPERVISED LEARNING, 7 March 2019 (2019-03-07)
KOS, JERNEJ ET AL., ADVERSARIAL EXAMPLES FOR GENERATIVE MODELS , ARXIV, 22 February 2017 (2017-02-22), pages 5 - 7, XP033379530, Retrieved from the Internet <URL:https://arxiv.org/pdf/1702.06832vl> [retrieved on 20200525] *
LOSALKA, ARPAN: "Resisting Adversarial Attacks Using Gaussian Mixture Variational Autoencoders", TOWARDS DATA SCIENCE, 18 February 2019 (2019-02-18), XP55742953, Retrieved from the Internet <URL:https://towardsdatascience.com/resisting-adversarial-attacks-using-gaussian-mixture-variational-autoencoders-be98e69b5070> [retrieved on 20200525] *
PELLEG, DAN ET AL.: "X-means: Extending K-means with Efficient Estimation of the Number of Clusters", PROC. OF THE 17TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING, 2000, pages 727 - 734, XP55742951 *
See also references of EP3929818A4
VARIATIONAL AUTO ENCODER (VAE, 7 March 2019 (2019-03-07), Retrieved from the Internet <URL:URL:https://:arxiv.org/abs/1312.6114>

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4120136A1 (en) 2021-07-14 2023-01-18 Volkswagen Aktiengesellschaft Method for automatically executing a vehicle function, method for training a machine learning defense model and defense unit for a vehicle

Also Published As

Publication number Publication date
AU2020246084A1 (en) 2021-10-14
JP2020160743A (ja) 2020-10-01
EP3929818A4 (en) 2022-11-30
AU2020246084B2 (en) 2023-02-23
US11977627B2 (en) 2024-05-07
CN113544704A (zh) 2021-10-22
JP7183904B2 (ja) 2022-12-06
EP3929818A1 (en) 2021-12-29
US20220147620A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
WO2020195826A1 (ja) 評価装置、評価方法、および、評価プログラム
US20230336584A1 (en) System and method for analyzing binary code for malware classification using artificial neural network techniques
AU2016264813B2 (en) Cascading classifiers for computer security applications
Chapaneri et al. A comprehensive survey of machine learning-based network intrusion detection
JP2023537826A (ja) ディープ・ラーニングによるネットワーク侵入検知
US20220053010A1 (en) System and method for determining a communication anomaly in at least one network
Grill et al. Learning combination of anomaly detectors for security domain
CN110572413A (zh) 一种基于Elman神经网络的低速率拒绝服务攻击检测方法
Bodström et al. State of the art literature review on network anomaly detection with deep learning
Aladag et al. Preventing data poisoning attacks by using generative models
Mohammadpour et al. A mean convolutional layer for intrusion detection system
Omar Machine learning for cybersecurity: Innovative deep learning solutions
Zomlot et al. Aiding intrusion analysis using machine learning
Almomani Darknet traffic analysis, and classification system based on modified stacking ensemble learning algorithms
Rajasekaran et al. Malicious attacks detection using GRU-BWFA classifier in pervasive computing
Sezgin et al. Enhancing intrusion detection in industrial internet of things through automated preprocessing
WO2023219647A2 (en) Nlp based identification of cyberattack classifications
Islam et al. Real-time detection schemes for memory DoS (M-DoS) attacks on cloud computing applications
Udayakumar et al. Machine Learning Based Intrusion Detection System
Alshudukhi et al. A feature selection method based on auto-encoder for internet of things intrusion detection
Meda et al. Artificial intelligence based malicious traffic detection
Padhiar et al. Performance evaluation of botnet detection using machine learning techniques
US11997137B2 (en) Webpage phishing detection using deep reinforcement learning
Youm et al. An authorized access attack detection method for realtime intrusion detection system
Paulikas et al. Survey of Cloud Traffic Anomaly Detection Algorithms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779293

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020779293

Country of ref document: EP

Effective date: 20210921

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020246084

Country of ref document: AU

Date of ref document: 20200311

Kind code of ref document: A