WO2019244902A1 - 評価装置及び評価方法 - Google Patents

評価装置及び評価方法 Download PDF

Info

Publication number
WO2019244902A1
WO2019244902A1 PCT/JP2019/024167 JP2019024167W WO2019244902A1 WO 2019244902 A1 WO2019244902 A1 WO 2019244902A1 JP 2019024167 W JP2019024167 W JP 2019024167W WO 2019244902 A1 WO2019244902 A1 WO 2019244902A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
evaluation
model
probability density
vae
Prior art date
Application number
PCT/JP2019/024167
Other languages
English (en)
French (fr)
Inventor
友貴 山中
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/252,751 priority Critical patent/US20210256402A1/en
Priority to AU2019288014A priority patent/AU2019288014B2/en
Priority to EP19823058.3A priority patent/EP3796599B1/en
Priority to CN201980040020.2A priority patent/CN112425123B/zh
Publication of WO2019244902A1 publication Critical patent/WO2019244902A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors

Definitions

  • the present invention relates to an evaluation device and an evaluation method.
  • IoT devices With the arrival of the Internet of Things (IoT) era, various devices (IoT devices) have been connected to the Internet and are being used in various ways. Accordingly, security measures for IoT devices such as a traffic session abnormality detection system and an intrusion detection system (IDS: Intrusion Detection System) for IoT devices are expected.
  • IDS Intrusion Detection System
  • a technique using a probability density estimator based on unsupervised learning such as VAE (Variational Auto Encoder).
  • VAE Variational Auto Encoder
  • this technique after learning the probability density of normal communication data, communication with a low probability density is detected as abnormal. For this reason, in this technique, only normal communication data needs to be known, and abnormality detection can be performed without learning all malicious data. Therefore, this technology is effective for detecting threats to IoT devices that are still in a transition period and do not know all threat information.
  • erroneous detection includes overdetection in which normal communication is erroneously determined to be abnormal.
  • Data that can be overdetected include maintenance communications that occur only several times a year, and abnormal amounts of traffic data during the Olympics.
  • a function for improving the detection accuracy by feeding back the overdetection data when the occurrence of overdetection is noticed is required.
  • the conventional method has the following two problems.
  • First as a first problem, there is a problem that the initial learning data set used for the initial learning needs to be saved after the model is generated.
  • As a second problem when the overdetection data set is extremely small compared to the initial learning data set, there is a problem that overdetection data cannot be learned with high accuracy.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an evaluation device and an evaluation method for performing highly accurate evaluation of the presence / absence of communication data.
  • an evaluation device includes a receiving unit that receives an input of communication data to be evaluated, and a first unit that learns a characteristic of a probability density of normal initial learning data. And the second model that has learned the characteristics of the probability density of the normal over-detection data detected as abnormal in the course of the evaluation process, and estimates the probability density of the communication data to be evaluated.
  • the evaluation of the presence / absence of abnormality in communication data is executed with high accuracy.
  • FIG. 1 is a diagram illustrating an example of a configuration of an evaluation device according to an embodiment.
  • FIG. 2 is a diagram illustrating a process of the model generation unit illustrated in FIG.
  • FIG. 3 is a diagram illustrating a process of the model generation unit illustrated in FIG.
  • FIG. 4 is a diagram illustrating feedback learning in the evaluation device shown in FIG.
  • FIG. 5 is a diagram illustrating a model generated by the model generation unit illustrated in FIG.
  • FIG. 6 is a diagram illustrating a model generated by the model generation unit illustrated in FIG.
  • FIG. 7 is a diagram illustrating a process of the evaluation unit illustrated in FIG. 1.
  • FIG. 8 is a flowchart illustrating a processing procedure of a learning process performed by the evaluation device illustrated in FIG. 1 in an initial stage.
  • FIG. 8 is a flowchart illustrating a processing procedure of a learning process performed by the evaluation device illustrated in FIG. 1 in an initial stage.
  • FIG. 8 is a flowchart illustrating a processing procedure of
  • FIG. 9 is a flowchart illustrating a processing procedure of an evaluation process performed by the evaluation device 1 illustrated in FIG.
  • FIG. 10 is a diagram illustrating an application example of the evaluation device according to the embodiment.
  • FIG. 11 is a diagram illustrating another example of the processing of the evaluation unit illustrated in FIG. 1.
  • FIG. 12 is a diagram illustrating feedback learning of a conventional evaluation method.
  • FIG. 13 is a diagram illustrating a model used in a conventional evaluation method.
  • FIG. 14 is a diagram illustrating a model used in a conventional evaluation method.
  • FIG. 15 is a diagram illustrating an example of a computer on which an evaluation device is realized by executing a program.
  • the evaluation device generates an over-detection VAE model in which only the over-detection data is learned, in addition to the learning data VAE model in which normal learning data is learned.
  • Over-detection data is normal communication data evaluated as abnormal in the course of the evaluation process, and occurs only in a small amount. Since the evaluation device according to the present embodiment performs evaluation based on the probability density obtained by combining the two generated VAE models at the model level, it realizes feedback of over-detection data and high accuracy of detection. I do.
  • VAE accepts an input of a data point x i, and outputs the anomaly score corresponding to the data (score) (degree of abnormality). Assuming that the estimated value of the probability density is p (x i ), the anomaly score is an approximate value of ⁇ logp (x i ). Therefore, the higher the value of the anomaly score output by the VAE, the higher the degree of abnormality of the communication data.
  • FIG. 1 is a diagram illustrating an example of a configuration of an evaluation device according to an embodiment. As shown in FIG. 1, the evaluation device 1 has a communication unit 10, a storage unit 11, and a control unit 12.
  • the communication unit 10 is a communication interface for transmitting and receiving various information to and from other devices connected via a network or the like.
  • the communication unit 10 is realized by a NIC (Network Interface Card) or the like, and performs communication between another device and a control unit 12 (described later) via an electric communication line such as a LAN (Local Area Network) or the Internet.
  • the communication unit 10 is connected to, for example, an external device via a network or the like, and receives input of communication data to be evaluated.
  • the storage unit 11 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk, and stores a processing program for operating the evaluation device 1 and a processing program for the processing program. Data and the like used during execution are stored.
  • the storage unit 11 has a VAE model 111 for learning data and a VAE model 112 for over-detection.
  • the learning data VAE model 111 is a learning data VAE model (first model) that has learned normal learning data, and is a model that has learned the characteristics of the probability density of normal initial learning data.
  • the over-detection VAE model 112 is an over-detection VAE model (second model) that has learned only over-detection data.
  • the over-detection VAE model 112 has a characteristic of the probability density of normal over-detection data evaluated as abnormal during the evaluation process. It is a learned model. Each model has model parameters of the trained VAE.
  • the control unit 12 has an internal memory for storing programs and required data defining various processing procedures and the like, and executes various processes by using these.
  • the control unit 12 is an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the control unit 12 includes a reception unit 120, a model generation unit 121 (generation unit), and an evaluation unit 123.
  • the model generation unit 121 has the VAE 122 as a probability density estimator, learns input data, and generates a VAE model or updates VAE model parameters.
  • the model generation unit 121 stores the model parameters of the generated VAE model or the updated VAE model in the storage unit 11.
  • FIGS. 2 and 3 are views for explaining the processing of the model generation unit 121 shown in FIG.
  • the model generation unit 121 learns a large amount of normal learning data Ds (for example, HTTP communication) as initial learning data, and generates a VAE model 111 for learning data. .
  • Ds normal learning data
  • VAE model 111 VAE model 111 for learning data.
  • the model generation unit 121 learns a small amount of over-detection data De (for example, FTP communication) collected in the course of the evaluation process, and newly generates the over-detection VAE model 112. I do.
  • the model generation unit 121 learns the over-detection data fed back.
  • the model generation unit 121 learns the input over-detection data and generates the over-detection VAE model 112 or updates the parameters of the over-detection VAE model 112. Thereby, the over-detection data is fed back to the evaluation device 1.
  • FIG. 4 is a diagram illustrating feedback learning in the evaluation device shown in FIG.
  • FIGS. 5 and 6 are diagrams illustrating the model generated by the model generation unit 121 shown in FIG.
  • the model generation unit 121 uses the number of initial learning data Ds and a small amount of over-detection data De fed back to perform over-detection.
  • the detection data De is learned with high accuracy.
  • the model generation unit 121 generates the over-detection VAE model 112 or updates the model parameters of the over-detection VAE model 112.
  • the evaluation device 1 needs to store only the number of initial learning data Ds for feedback learning of overdetection data. Further, since the evaluation device 1 learns only a small amount of over-detection data, the learning time can be shorter than learning a large amount of initial learning data. Further, since the evaluation device 1 learns only the over-detection data, it can execute the learning with high accuracy.
  • the learning data VAE model 111 is obtained by accurately learning normal learning data in the initial stage (see (1a) in FIG. 4), and has been created from the initial learning data Ds in the past. (See (1b) in FIG. 4).
  • the VAE model for learning data 111 shows a low anomaly score with respect to normal communication data in normal time (see FIG. 5).
  • the over-detection VAE model 112 is obtained by learning the over-detection data with high accuracy, and shows a low anomaly score with respect to the over-detection data (see FIG. 6).
  • the evaluation unit 123 estimates the probability density of the communication data to be evaluated using the VAE model 111 for learning data and the VAE model 112 for overdetection, and determines whether there is any abnormality in the communication data to be evaluated based on the estimated probability density. To evaluate. The evaluation unit 123 evaluates the communication data to be evaluated based on a probability density obtained by combining the probability density estimated by applying the VAE model 111 for learning data and the probability density estimated by applying the VAE model 112 for overdetection. Evaluate for abnormalities. When the combined probability density is lower than the predetermined value, the evaluation unit 123 detects that the communication data to be evaluated is abnormal, and notifies an external coping device or the like of the occurrence of the communication data abnormality. The evaluation unit 123 has a combining unit 124 and an abnormality presence / absence evaluation unit 126.
  • the combining unit 124 includes, for example, a first VAE 1251 to which the model parameters of the learning data VAE model 111 are applied, and a second VAE 1252 to which the model parameters of the VAE model 112 for over-detection are applied.
  • the combining unit 124 combines the probability density estimated by applying the VAE model 111 for learning data and the probability density estimated by applying the VAE model 112 for overdetection.
  • the combining unit 124 When the overdetection VAE model 112 is generated or updated by feedback of the overdetection data, the combining unit 124 combines the overdetection VAE model 112 and the learning data VAE model 111 at a model level.
  • the combination at the model level indicates that the scores, which are the outputs of the respective VAE models, are combined based on the following equation (1).
  • the combining unit 124 calculates the anomaly score estimated by the first VAE 1251 to which the learning data VAE model 111 has been applied and the anomaly score estimated by the second VAE 1252 to which the over-detection VAE model 112 has been applied, by the following equation (1). To calculate the combined anomaly score.
  • score n is an anomaly score output by the first VAE 1251 to which the VAE model 111 for learning data obtained by learning the initial learning data Ds is applied.
  • the score od is an anomaly score output by the second VAE 1252 to which the VAE model 112 for over detection that has learned the over-detection data De is applied.
  • the score concat is the binding anomaly score.
  • N n is the number of learning data.
  • N od is the number of over-detection data.
  • the abnormality presence / absence evaluation unit 126 evaluates the presence / absence of abnormality in the communication data to be evaluated based on the probability density combined by the combining unit 124.
  • the abnormality presence / absence evaluation unit 126 detects the presence / absence of abnormality in the communication data to be evaluated based on the combined anomaly score calculated by the combining unit 124. Specifically, the abnormality presence / absence evaluating unit 126 evaluates that the communication data to be evaluated is abnormal when the combined anomaly score is higher than a predetermined value. When the combined anomaly score is equal to or smaller than a predetermined value, the abnormality presence / absence evaluation unit 126 evaluates that the communication data to be evaluated is normal.
  • FIG. 7 is a diagram for explaining the processing of the evaluation unit 123 shown in FIG.
  • the evaluation unit 123 inputs the learned learning data VAE model 111 and the over-detection VAE model 112 (see arrows Y1 and Y2), and converts the evaluation communication data (evaluation data) Dt obtained from the network. evaluate.
  • the evaluation unit 123 applies the anomaly score output by the first VAE 1251 to the evaluation data Dt and the anomaly score output by the second VAE 1252 to the evaluation data Dt in Expression (1), thereby obtaining the combined anomaly. Get score.
  • the evaluation unit 123 evaluates that the communication data to be evaluated is abnormal, and outputs the evaluation result Dr to the coping device or the like.
  • FIG. 8 is a flowchart illustrating a processing procedure of a learning process performed by the evaluation device 1 illustrated in FIG. 1 in an initial stage.
  • the model generation unit 121 when the model generation unit 121 receives an instruction to generate the VAE model 111 for learning data, which is an initial model, in an initial stage (step S1), the model generation unit 121 receives input of initial learning data (step S2). . Then, the model generation unit 121 learns the initial learning data, and generates the learning data VAE model 111 (step S3). The model generation unit 121 stores the generated model parameters of the learning data VAE model 111 in the storage unit 11.
  • FIG. 9 is a flowchart illustrating a processing procedure of an evaluation process performed by the evaluation device 1 illustrated in FIG.
  • the evaluating unit 123 estimates the probability density of the evaluation target data by applying the learned model (Step S12). (Step S13).
  • the storage unit 11 stores only the learning data VAE model 111.
  • the evaluation unit 123 estimates the probability density of the evaluation data by applying the learning data VAE model 111 to the first VAE. If the overdetection data has been fed back, the storage unit 11 stores both the learning data VAE model 111 and the overdetection VAE model 112. In this case, the evaluation unit 123 applies the learning data VAE model 111 to the first VAE 1251, applies the over-detection VAE model 112 to the second VAE 1252, and estimates the probability density of the evaluation data in each VAE.
  • the evaluation unit 123 calculates a probability density obtained by combining the probability density estimated by applying the VAE model 111 for learning data and the probability density estimated by applying the VAE model 112 for overdetection (step S14). ). Specifically, in the evaluation unit 123, the combining unit 124 sets the anomaly score estimated by the first VAE 1251 using the VAE model 111 for learning data and the anomaly score estimated by the second VAE 1252 using the VAE model 112 for overdetection. Is applied to equation (1) to calculate the combined anomaly score.
  • the abnormality presence / absence evaluation unit 126 evaluates the presence / absence of abnormality in the communication data to be evaluated based on the probability density calculated in step S14, and outputs an evaluation result (step S15).
  • the abnormality presence / absence evaluating unit 126 evaluates that the communication data to be evaluated is abnormal when the combined anomaly score calculated by the combining unit 124 is higher than a predetermined value.
  • the control unit 12 determines whether or not an instruction to learn overdetection data has been received (step S16). For example, the administrator analyzes the detection result output from the evaluation unit 123, and if there is communication data that is detected as abnormal but is actually normal, classifies the communication data as overdetection data. I do. Then, when a predetermined number of overdetection data is collected, the administrator feeds back the collected overdetection data to the evaluation device 1 and instructs the evaluation device 1 to learn the overdetection data.
  • the detection result output from the evaluation unit 123 is analyzed, and when a predetermined number of communication data classified as overdetection data is accumulated, the overdetection data to be learned is fed back from the external device. At the same time, a learning instruction for the over-detection data is input.
  • the reception unit 120 receives input of overdetection data to be learned (step S17). Subsequently, the model generation unit 121 learns the input overdetection data, and newly generates the overdetection VAE model 112 (Step S18). Alternatively, the model generation unit 121 learns the over-detection data fed back and updates the model parameters of the VAE model 112 for over-detection (step S18).
  • control unit 12 determines whether an instruction for ending the evaluation processing has been received (step S19) ). If the control unit 12 determines that the instruction to terminate the evaluation processing has not been received (step S19: No), the process returns to step S11 and accepts the input of the next evaluation data. When determining that the control unit 12 has received the end instruction of the evaluation process (Step S19: Yes), the control unit 12 ends the evaluation process.
  • the evaluation device 1 according to the present embodiment can be applied to abnormality detection of an IoT device.
  • FIG. 10 is a diagram illustrating an application example of the evaluation device 1 according to the embodiment. As shown in FIG. 10, an evaluation device 1 is provided on a network 3 to which a plurality of IoT devices 2 are connected. In this case, the evaluation device 1 collects the traffic session information transmitted and received by the IoT device 2, learns the probability density of a normal traffic session, and detects an abnormal traffic session.
  • the model generation unit 121 receives the initial learning data set and the over-detection data set to be learned, and stores the learned model in which the received data set has been learned in the storage unit 11.
  • FIG. 11 is a diagram illustrating another example of the processing of the evaluation unit 123 illustrated in FIG.
  • the combining unit 124 receives the model parameters of one or more trained models, and combines the anomaly scores estimated by each VAE to which each trained model is applied.
  • the VAE of the combining unit 124 has a function of outputting an estimation result for each input evaluation data.
  • FIG. 1 illustrates an example in which the coupling unit 124 includes two VAEs, the configuration is not limited thereto.
  • the coupling unit 124 may have a configuration having the same number of VAEs as the number of models to be applied.
  • the combining unit 124 may sequentially apply the learned models to one VAE and acquire each anomaly score estimated using each learned model.
  • the learned model applied to the combining unit 124 may be the learning data VAE model 111 that has learned the initial learning data or the overdetection VAE model 112 that has learned the overdetection data. Further, a plurality of learning data VAE models 111-1 and 111-2 obtained by learning different learning data may be applied to the combining unit 124 (see arrow Y11). Of course, only one VAE model for learning data may be applied to the combining unit 124.
  • the combining unit 124 may employ a plurality of over-detection VAE models 112-1 and 112-2 that have learned different over-detection data (see arrow Y12).
  • VAE models 112-1 and 112-2 that have learned different over-detection data (see arrow Y12).
  • the VAE model for over-detection has not been generated, so that the VAE model for over-detection need not be applied to the combining unit 124.
  • only one VAE model for over-detection may be applied to the combining unit 124.
  • the combining unit 124 When a plurality of models are applied, the combining unit 124 combines the anomaly scores of the applied models based on the following equation (2).
  • score k is the score output by the k-th model
  • N k is the number of data learned by the k-th model.
  • the combining unit 124 can combine two or more models at the model level.
  • the evaluation device 1 inputs the initial learning data to the model generation unit 121 and obtains the learning data VAE model 111. Then, in the course of the evaluation process, the evaluation device 1 inputs only the learning data VAE model 111 to the combining unit 124 and sequentially evaluates traffic information obtained from the network until some overdetection is detected. Continue.
  • the evaluation apparatus 1 inputs a data set of overdetection data to the model generation unit 121, and generates an overdetection VAE model 112 that has learned overdetection data. After that, the evaluation device 1 inputs the learning data VAE model 111 and the over-detection VAE model 112 to the combining unit 124, and continuously evaluates the traffic information similarly obtained from the network.
  • the evaluation device 1 continuously improves the detection accuracy by sequentially repeating the processes of overdetection detection, overdetection data learning, and model combination.
  • FIG. 12 is a diagram illustrating feedback learning of a conventional evaluation method.
  • FIG. 13 and FIG. 14 are diagrams illustrating a model used in a conventional evaluation method.
  • the conventional VAE model shows a low anomaly score for communication data corresponding to a large amount of learning data at the time of evaluation (see FIG. 13), but still shows a high anomaly score for overdetected data. (See FIG. 14).
  • the conventional evaluation method since the number of data is uneven, the overdetected data cannot be learned with high accuracy. Further, in the conventional evaluation method, it is necessary to store a large amount of initial learning data for feedback learning of over-detection data. In addition, since a new VAE model is generated again, it takes more time than the initial learning time. Was needed.
  • the learning data is camera communication (369 data)
  • the over-detection data is SSH communication (10 data).
  • the average score of the learning data is -16.3808.
  • the average score of the over-detection data is slightly improved compared to before the over-detection data feedback, but still shows a high score of 44.6441, and the accuracy remains low.
  • the time required for the re-learning is 14.157 (sec), which is longer than that at the time of the initial learning.
  • the average score of the learning data is -25.2625.
  • the average score of the over-detection data is significantly improved to -24.0182 as compared with the conventional evaluation method.
  • the time required for re-learning is greatly reduced to 3.937 (sec) as compared with the conventional evaluation method.
  • the probability density of the evaluation data is estimated using the learning data VAE model that has learned the normal learning data and the overdetection VAE model that has learned the overdetection data.
  • the presence or absence of an abnormality in the evaluation data is evaluated based on the probability density obtained. That is, in the present embodiment, an overdetection VAE model in which only overdetection data is feedback-learned is generated separately from the learning data VAE model in which normal learning data is learned, and the two generated VAE models are estimated. Evaluation is performed based on the probability density obtained by combining the obtained probability densities.
  • over-detection data cannot be learned with high accuracy, and a large amount of initial learning data needs to be stored for feedback learning of over-detection data.
  • More time was required than at the time of the initial learning.
  • the evaluation device 1 in the evaluation device 1 according to the present embodiment, only the number of initial learning data Ds need be stored for feedback learning of overdetection data. In the evaluation process, the evaluation device 1 needs to learn only a small amount of over-detection data in the course of the evaluation process, as shown in the above-described evaluation experiment result. Can be significantly shortened. Further, as shown in the above-described evaluation experiment results, the evaluation device 1 can evaluate the overdetection data with high accuracy even if there is a deviation in the number between the overdetection data and the learning data.
  • each component of each device illustrated is a functional concept and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed / arbitrarily divided into arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • all or any part of each processing function performed by each device can be realized by a CPU and a program analyzed and executed by the CPU, or can be realized as hardware by wired logic.
  • FIG. 15 is a diagram illustrating an example of a computer on which the evaluation device 1 is realized by executing a program.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020. Further, the computer 1000 has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These units are connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • the disk drive interface 1040 is connected to the disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • the video adapter 1060 is connected to the display 1130, for example.
  • the hard disk drive 1090 stores, for example, an operating system (OS) 1091, an application program 1092, a program module 1093, and program data 1094. That is, a program that defines each process of the evaluation device 1 is implemented as a program module 1093 in which codes executable by a computer are described.
  • the program module 1093 is stored in, for example, the hard disk drive 1090.
  • a program module 1093 for executing the same processing as the functional configuration in the evaluation device 1 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as the program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as needed, and executes them.
  • the program module 1093 and the program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read out by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN, Wide Area Network (WAN), or the like). Then, the program module 1093 and the program data 1094 may be read from another computer by the CPU 1020 via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

評価装置（１）は、評価対象の通信データの入力を受け付ける受付部（１２０）と、正常な初期学習データの確率密度の特徴を学習した学習データ用ＶＡＥモデル（１１１）と、評価処理の過程において異常と検知された正常な過検知データの確率密度の特徴を学習した過検知用ＶＡＥモデル（１１２）とを用いて評価対象の通信データの確率密度を推定し、推定した確率密度を基に評価対象の通信データの異常の有無を評価する評価部（１２３）と、を有する。

Description

評価装置及び評価方法
　本発明は、評価装置及び評価方法に関する。
　ＩｏＴ（Internet　of　Things）時代の到来に伴い、多種のデバイス（ＩｏＴ機器）がインターネットに接続され、多様な使われ方をされるようになっている。これにともない、ＩｏＴ機器向けのトラフィックセッション異常検知システムや侵入検知システム(ＩＤＳ：Intrusion　Detection　System）等のＩｏＴ機器のセキュリティ対策が期待されている。
　このような技術として、例えば、ＶＡＥ（Variational　Auto　Encoder）等の教師なし学習による確率密度推定器を用いるものがある。この技術では、正常な通信データの確率密度を学習後、確率密度の低い通信を異常として検知する。このため、この技術では、正常な通信データのみが分かればよく、全ての悪性データを学習せずとも異常検知が可能である。したがって、この技術は、未だ過渡期にあり全ての脅威情報を知り尽くされていないＩｏＴ機器に対する脅威の検知に有効である。
Diederik　P　Kingma,　Max　Welling，"Auto-Encoding　Variational　Bayes"，［平成３０年６月７日検索］，インターネット＜ＵＲＬ：https://arxiv.org/abs/1312.6114＞
　ここで、ＶＡＥは、確率に基づいて異常検知を行うため、誤検知を起こすことがあり得る。例えば、誤検知として、正常な通信を誤って異常と判断してしまう過検知がある。過検知となり得るデータとしては、年に数回しか発生しないメンテナンス用の通信や、オリンピック時の異常な量のトラフィックデータがある。実用的な異常検知システムとするためには、過検知の発生に気付いたとき、その過検知データをフィードバックし、検知精度を改善する機能が必要になる。
　従来、過検知データをフィードバックするために、初期学習に用いたデータセットと、過検知を起こしたデータセットとを混ぜたデータセットを作成し、再度ＶＡＥのモデルを学習しなおすという手法を用いていた。
　しかしながら、従来の手法には、以下の２つの問題点がある。まず、第１の問題として、初期学習に使用した初期学習データセットを、モデル生成後も保存しておく必要があるという問題がある。そして、第２の問題として、過検知データセットが初期学習データセットに比べて極めて少ないとき、過検知データを精度よく学習することができないという問題がある。
　一般に、過検知は、ほとんど発生せず、過検知データを大量に収集することは、困難な場合が多い。このため、上記問題のうち特に第２の問題が深刻である。したがって、少量の過検知データであっても、効率的に精度よくフィードバックを行い、評価精度を改善できる技術を確立することが求められている。
　本発明は、上記に鑑みてなされたものであって、通信データの異常有無の評価を高精度に実行する評価装置及び評価方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る評価装置は、評価対象の通信データの入力を受け付ける受付部と、正常な初期学習データの確率密度の特徴を学習した第１のモデルと、評価処理の過程において異常と検知された正常な過検知データの確率密度の特徴を学習した第２のモデルとを用いて評価対象の通信データの確率密度を推定し、推定した確率密度を基に評価対象の通信データの異常の有無を評価する評価部と、を有することを特徴とする。
　本発明によれば、通信データの異常有無の評価を高精度に実行する。
図１は、実施の形態に係る評価装置の構成の一例を示す図である。 図２は、図１に示すモデル生成部の処理を説明する図である。 図３は、図１に示すモデル生成部の処理を説明する図である。 図４は、図１に示す評価装置におけるフィードバック学習を説明する図である。 図５は、図１に示すモデル生成部が生成したモデルを説明する図である。 図６は、図１に示すモデル生成部が生成したモデルを説明する図である。 図７は、図１に示す評価部の処理を説明する図である。 図８は、図１に示す評価装置が初期段階に行う学習処理の処理手順を示すフローチャートである。 図９は、図１に示す評価装置１が行う評価処理の処理手順を示すフローチャートである。 図１０は、実施の形態に係る評価装置の適用例を説明する図である。 図１１は、図１に示す評価部の処理の他の例を説明する図である。 図１２は、従来の評価方法のフィードバック学習を説明する図である。 図１３は、従来の評価方法において用いられるモデルを説明する図である。 図１４は、従来の評価方法において用いられるモデルを説明する図である。 図１５は、プログラムが実行されることにより、評価装置が実現されるコンピュータの一例を示す図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［実施の形態］
　本発明の実施の形態について説明する。実施の形態に係る評価装置は、正常な学習データを学習した学習データ用ＶＡＥモデルに加え、過検知データのみを学習した過検知用ＶＡＥモデルを生成する。過検知データは、評価処理の過程において異常と評価された正常な通信データであり、少量しか発生しない。本実施の形態に係る評価装置は、生成した２つのＶＡＥモデルをモデルレベルで結合して得られた確率密度を基に評価を行うため、過検知データのフィードバックと検知の高精度化とを実現する。
　なお、ＶＡＥは、あるデータ点ｘｉの入力を受け付けると、そのデータに対応したアノマリスコア（ｓｃｏｒｅ）（異常度）を出力する。確率密度の推定値をｐ（ｘｉ）とすると、アノマリスコアは、－ｌｏｇｐ（ｘｉ）の近似値となる。したがって、ＶＡＥが出力するアノマリスコアは、値が高いほど、この通信データの異常度が高いことを示す。
［評価装置の構成］
　そこで、実施の形態に係る評価装置の構成について具体的に説明する。図１は、実施の形態に係る評価装置の構成の一例を示す図である。図１に示すように、評価装置１は、通信部１０、記憶部１１及び制御部１２を有する。
　通信部１０は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１０は、ＮＩＣ（Network　Interface　Card）等で実現され、ＬＡＮ（Local　Area　Network）やインターネットなどの電気通信回線を介した他の装置と制御部１２（後述）との間の通信を行う。通信部１０は、例えば、ネットワーク等を介して外部装置と接続し、評価対象の通信データの入力を受け付ける。
　記憶部１１は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、評価装置１を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが記憶される。記憶部１１は、学習データ用ＶＡＥモデル１１１及び過検知用ＶＡＥモデル１１２を有する。
　学習データ用ＶＡＥモデル１１１は、正常な学習データを学習した学習データ用ＶＡＥモデル（第１のモデル）であり、正常な初期学習データの確率密度の特徴を学習したモデルである。過検知用ＶＡＥモデル１１２は、過検知データのみを学習した過検知用ＶＡＥモデル（第２のモデル）であり、評価処理の過程において異常と評価された正常な過検知データの確率密度の特徴を学習したモデルである。各モデルは、学習済みであるＶＡＥのモデルパラメータを有する。
　制御部１２は、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１２は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などの電子回路である。制御部１２は、受付部１２０、モデル生成部１２１（生成部）及び評価部１２３を有する。
　モデル生成部１２１は、確率密度推定器としてＶＡＥ１２２を有し、入力されたデータを学習し、ＶＡＥモデルの生成、或いは、ＶＡＥモデルパラメータの更新を行う。モデル生成部１２１は、生成したＶＡＥモデルのモデルパラメータ、或いは、更新したＶＡＥモデルのモデルパラメータを記憶部１１に格納する。
　図２及び図３は、図１に示すモデル生成部１２１の処理を説明する図である。まず、図２に示すように、モデル生成部１２１は、初期段階において、正常な大量の学習データＤｓ（例えば、ＨＴＴＰ通信）を、初期学習データとして学習し、学習データ用ＶＡＥモデル１１１を生成する。
　そして、モデル生成部１２１は、図３に示すように、評価処理の過程にて収集された少量の過検知データＤｅ（例えば、ＦＴＰ通信）を学習し、過検知用ＶＡＥモデル１１２を新たに生成する。または、モデル生成部１２１は、フィードバックされた過検知データを学習する。
　ここで、モデル生成部１２１は、過検知データの学習指示を受けると、入力された過検知データを学習して過検知用ＶＡＥモデル１１２の生成或いは過検知用ＶＡＥモデル１１２のパラメータを更新する。これによって、過検知データが、評価装置１にフィードバックされる。
　図４は、図１に示す評価装置におけるフィードバック学習を説明する図である。図５及び図６は、図１に示すモデル生成部１２１が生成したモデルを説明する図である。具体的には、図４に示すように、過検知データのフィードバック学習時には、モデル生成部１２１は、初期の学習データＤｓの件数と、フィードバックされた少量の過検知データＤｅとを用いて、過検知データＤｅを精度よく学習する。そして、モデル生成部１２１は、過検知用ＶＡＥモデル１１２を生成、或いは、過検知用ＶＡＥモデル１１２のモデルパラメータを更新する。
　したがって、評価装置１は、過検知データのフィードバック学習のために、初期の学習データＤｓの件数のみを保存しておけばよい。また、評価装置１は、少量の過検知データのみを学習するため、大量の初期の学習データを学習するよりも学習時間を短くすることができる。また、評価装置１は、過検知データのみを学習するため、精度良い学習を実行できる。
　そして、学習データ用ＶＡＥモデル１１１は、初期段階において、正常な学習データを精度よく学習したものであり（図４の（１ａ）参照）、過去に初期の学習データＤｓから作成済みのものである（図４の（１ｂ）参照）。この学習データ用ＶＡＥモデル１１１は、通常時の正常な通信データに対し、低いアノマリスコアを示す（図５参照）。そして、過検知用ＶＡＥモデル１１２は、過検知データを精度よく学習したものであり、過検知データに対し、低いアノマリスコアを示す（図６参照）。
　評価部１２３は、学習データ用ＶＡＥモデル１１１と過検知用ＶＡＥモデル１１２とを用いて評価対象の通信データの確率密度を推定し、推定した確率密度を基に評価対象の通信データの異常の有無を評価する。評価部１２３は、学習データ用ＶＡＥモデル１１１を適用して推定した確率密度と、過検知用ＶＡＥモデル１１２を適用して推定した確率密度とを結合した確率密度を基に評価対象の通信データの異常の有無を評価する。評価部１２３は、結合した確率密度が所定値よりも低い場合に、評価対象の通信データが異常であることを検知し、外部の対処装置等に通信データの異常発生を通知する。評価部１２３は、結合部１２４と、異常有無評価部１２６とを有する。
　結合部１２４は、例えば、学習データ用ＶＡＥモデル１１１のモデルパラメータが適用される第１ＶＡＥ１２５１と、過検知用ＶＡＥモデル１１２のモデルパラメータが適用される第２ＶＡＥ１２５２とを有する。結合部１２４は、学習データ用ＶＡＥモデル１１１を適用して推定した確率密度と、過検知用ＶＡＥモデル１１２を適用して推定した確率密度とを結合する。
　結合部１２４は、過検知用ＶＡＥモデル１１２が過検知データのフィードバックによって生成或いは更新された場合、過検知用ＶＡＥモデル１１２と学習データ用ＶＡＥモデル１１１とをモデルレベルで結合する。モデルレベルでの結合とは、各々のＶＡＥモデルのアウトプットであるスコアを、以下の（１）式に基づいて結合することを示す。言い換えると、結合部１２４は、学習データ用ＶＡＥモデル１１１を適用した第１ＶＡＥ１２５１が推定したアノマリスコアと、過検知用ＶＡＥモデル１１２を適用して第２ＶＡＥ１２５２が推定したアノマリスコアとを、（１）式に適用して、結合アノマリスコアを計算する。
Figure JPOXMLDOC01-appb-M000001
　（１）式において、ｓｃｏｒｅｎは、初期の学習データＤｓを学習した学習データ用ＶＡＥモデル１１１を適用した第１ＶＡＥ１２５１が出力するアノマリスコアである。ｓｃｏｒｅｏｄは、過検知データＤｅを学習した過検知用ＶＡＥモデル１１２を適用した第２ＶＡＥ１２５２が出力するアノマリスコアである。ｓｃｏｒｅｃｏｎｃａｔは、結合アノマリスコアである。また、Ｎｎは、学習データの件数である。Ｎｏｄは、過検知データの件数である。
　異常有無評価部１２６は、結合部１２４によって結合された確率密度を基に評価対象の通信データの異常の有無を評価する。異常有無評価部１２６は、結合部１２４によって計算された結合アノマリスコアを基に、評価対象の通信データの異常の有無を検知する。具体的には、異常有無評価部１２６は、結合アノマリスコアが所定値よりも高い場合に、評価対象の通信データが異常であると評価する。また、異常有無評価部１２６は、結合アノマリスコアが所定値以下である場合に、評価対象の通信データが正常であると評価する。
　図７は、図１に示す評価部１２３の処理を説明する図である。評価部１２３は、学習済みの学習データ用ＶＡＥモデル１１１と過検知用ＶＡＥモデル１１２とをインプットして（矢印Ｙ１，Ｙ２参照）、ネットワークから得られた評価用の通信データ（評価データ）Ｄｔを評価する。この際、評価部１２３は、評価データＤｔに対して第１ＶＡＥ１２５１が出力するアノマリスコアと、評価データＤｔに対して第２ＶＡＥ１２５２が出力するアノマリスコアとを（１）式に適用することによって、結合アノマリスコアを得る。そして、評価部１２３は、結合アノマリスコアが、所定値よりも高い場合には、評価対象の通信データが異常であると評価し、その評価結果Ｄｒを対処装置等に出力する。
［初期の学習処理］
　次に、評価装置１が初期段階に行う学習処理について説明する。図８は、図１に示す評価装置１が初期段階に行う学習処理の処理手順を示すフローチャートである。
　図８に示すように、モデル生成部１２１は、初期段階において、初期モデルである学習データ用ＶＡＥモデル１１１の生成指示を受けると（ステップＳ１）、初期の学習データの入力を受け付ける（ステップＳ２）。そして、モデル生成部１２１は、この初期の学習データを学習し、学習データ用ＶＡＥモデル１１１を生成する（ステップＳ３）。モデル生成部１２１は、生成した学習データ用ＶＡＥモデル１１１のモデルパラメータを記憶部１１に格納する。
［評価処理］
　次に、評価装置１の評価処理について説明する。図９は、図１に示す評価装置１が行う評価処理の処理手順を示すフローチャートである。
　図９に示すように、受付部１２０が評価データの入力を受け付けると（ステップＳ１１）、評価部１２３は、学習済みのモデルを適用して（ステップＳ１２）、評価対象データの確率密度を推定する（ステップＳ１３）。
　ここで、過検知データのフィードバック前の場合、記憶部１１には学習データ用ＶＡＥモデル１１１のみが格納されている。この場合には、評価部１２３は、学習データ用ＶＡＥモデル１１１を第１ＶＡＥに適用して、評価データの確率密度を推定する。また、過検知データがフィードバック済みである場合、記憶部１１には学習データ用ＶＡＥモデル１１１と、過検知用ＶＡＥモデル１１２との双方が格納されている。この場合には、評価部１２３は、学習データ用ＶＡＥモデル１１１を第１ＶＡＥ１２５１に適用し、過検知用ＶＡＥモデル１１２を第２ＶＡＥ１２５２を適用し、それぞれのＶＡＥにおいて、評価データの確率密度を推定する。
　続いて、評価部１２３は、学習データ用ＶＡＥモデル１１１を適用して推定した確率密度と、過検知用ＶＡＥモデル１１２を適用して推定した確率密度とを結合した確率密度を計算する（ステップＳ１４）。具体的には、評価部１２３では、結合部１２４が、学習データ用ＶＡＥモデル１１１を適用した第１ＶＡＥ１２５１が推定したアノマリスコアと、過検知用ＶＡＥモデル１１２を適用して第２ＶＡＥ１２５２が推定したアノマリスコアとを、（１）式に適用して、結合アノマリスコアを計算する。
　そして、評価部１２３では、異常有無評価部１２６が、ステップＳ１４において計算された確率密度を基に、評価対象の通信データの異常の有無を評価し、評価結果を出力する（ステップＳ１５）。異常有無評価部１２６は、結合部１２４によって計算された結合アノマリスコアが所定値よりも高い場合に、評価対象の通信データが異常であると評価する。
　続いて、制御部１２は、過検知データ学習指示を受けたか否かを判定する（ステップＳ１６）。例えば、管理者は、評価部１２３から出力された検知結果を分析し、異常であると検知されたが実際には正常である通信データがある場合には、この通信データを過検知データとして分類する。そして、管理者は、所定数の過検知データを収集した際に、評価装置１に、収集した過検知データをフィードバックし、この過検知データの学習を指示する。或いは、外部装置において、評価部１２３から出力された検知結果が分析され、過検知データとして分類された通信データが所定数蓄積された際に、外部装置から、学習対象の過検知データがフィードバックされるとともに過検知データの学習指示が入力される。
　制御部１２は、過検知データの学習指示を受けたと判定した場合（ステップＳ１６：Ｙｅｓ）、受付部１２０は、学習対象の過検知データの入力を受け付ける（ステップＳ１７）。続いて、モデル生成部１２１は、入力された過検知データを学習し、過検知用ＶＡＥモデル１１２を新たに生成する（ステップＳ１８）。或いは、モデル生成部１２１は、フィードバックされた過検知データを学習し、過検知用ＶＡＥモデル１１２のモデルパラメータを更新する（ステップＳ１８）。
　制御部１２は、過検知データ学習指示を受けていないと判定した場合（ステップＳ１６：Ｎｏ）、または、ステップＳ１８の処理終了後、評価処理の終了指示を受けたか否かを判定する（ステップＳ１９）。制御部１２は、評価処理の終了指示を受けていないと判定した場合（ステップＳ１９：Ｎｏ）、ステップＳ１１に戻り、次の評価データの入力を受け付ける。制御部１２は、評価処理の終了指示を受けたと判定した場合（ステップＳ１９：Ｙｅｓ）、評価処理を終了する。
［実施例］
　例えば、本実施の形態に係る評価装置１は、ＩｏＴ機器の異常検知に適用することができる。図１０は、実施の形態に係る評価装置１の適用例を説明する図である。図１０に示すように、複数のＩｏＴ機器２が接続されたネットワーク３上に、評価装置１を設ける。この場合、評価装置１は、ＩｏＴ機器２が送受信するトラフィックセッション情報を収集し、正常トラフィックセッションの確率密度の学習、及び、異常トラフィックセッションの検知を行う。
　評価装置１では、モデル生成部１２１が、学習対象となる初期学習用データセットや過検知データセットを受け取り、受け取ったデータセットを学習した学習済みモデルを記憶部１１に格納する。
　図１１は、図１に示す評価部１２３の処理の他の例を説明する図である。評価部１２３では、結合部１２４が、一つまたは複数の学習済みモデルのモデルパラメータを受け取り、各学習済みモデルを適用した各ＶＡＥが推定したアノマリスコアを結合する。結合部１２４のＶＡＥは、入力された評価データ一つ一つに対する推定結果を出力する機能を持つ。図１では、結合部１２４は、ＶＡＥを２つ有する構成を例に説明したが、これに限らない。結合部１２４は、適用されるモデルの数量と同数のＶＡＥを有する構成でもよい。或いは、結合部１２４は、１つのＶＡＥに、順次学習済みモデルを適用して、各学習済みモデルを用いて推定された各アノマリスコアを取得してもよい。
　ここで、結合部１２４に適用する学習済みモデルは、初期の学習データを学習した学習データ用ＶＡＥモデル１１１でもよいし、過検知データを学習した過検知用ＶＡＥモデル１１２でもよい。また、結合部１２４には、それぞれ異なる学習データを学習した複数の学習データ用ＶＡＥモデル１１１－１，１１１－２を適用してもよい（矢印Ｙ１１参照）。もちろん、結合部１２４には、一つの学習データ用ＶＡＥモデルのみを適用してもよい。
　そして、結合部１２４には、それぞれ異なる過検知データを学習した複数の過検知用ＶＡＥモデル１１２－１，１１２－２を適用してもよい（矢印Ｙ１２参照）。もちろん、過検知データフィードバック前であれば、過検知用ＶＡＥモデルが生成されていないため、過検知用ＶＡＥモデルを結合部１２４に適用しなくてもよい。また、前述のように、結合部１２４に、一つの過検知用ＶＡＥモデルのみ適用してもよい。
　結合部１２４は、複数のモデルが適用された場合、適用された複数のモデルによるアノマリスコアを以下の式（２）に基づいて結合する。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｓｃｏｒｅｋは、ｋ番目のモデルが出力したスコアであり、Ｎｋは、ｋ番目のモデルが学習したデータの件数である。言い換えると、異常有無評価部１２６が、評価データについて評価を行う際には、（２）式の値を結合アノマリスコアとして得る。このように、結合部１２４は、２以上のモデルをモデルレベルで結合することも可能である。
　以上のように、評価装置１では、初期学習に際しては、モデル生成部１２１に初期の学習用データをインプットして学習データ用ＶＡＥモデル１１１を得る。そして、評価装置１は、評価処理の過程において、いくつかの過検知が発覚するまでは、結合部１２４に学習データ用ＶＡＥモデル１１１のみをインプットし、ネットワークから得られたトラフィック情報を順次評価し続けてゆく。
　そして、評価装置１では、過検知が発覚した場合に、過検知データのデータセットをモデル生成部１２１に入力し、過検知データを学習した過検知用ＶＡＥモデル１１２を生成する。その後、評価装置１では、学習データ用ＶＡＥモデル１１１と過検知用ＶＡＥモデル１１２とを結合部１２４にインプットし、同様にネットワークから得られたトラフィック情報を順次評価し続ける。
　評価装置１では、これらの過検知発覚、過検知データ学習、モデル結合の処理を順次繰り返すことによって、検知精度を改善し続ける。
［従来方法］
　次に、従来の評価方法について説明する。図１２は、従来の評価方法のフィードバック学習を説明する図である。図１３及び図１４は、従来の評価方法において用いられるモデルを説明する図である。
　図１２に示すように、従来の評価方法では、過検知データのフィードバック学習時において、フィードバックされた少量の過検知データに加え、大量の初期学習データの双方を学習していた。この結果、従来の評価方法では、ＶＡＥモデルは、大量の初期学習データを精度よく学習できるものの（図１２の（１ａ）参照）、少量の過検知データを無視して学習を行っていた（図１２の（１ｂ）参照）。
　したがって、従来のＶＡＥモデルは、評価時において、大量の学習データに相当する通信データに対し、低いアノマリスコアを示す（図１３参照）ものの、過検知データに対し、高いアノマリスコアを示すままであった（図１４参照）。このように、従来の評価方法では、データ数に偏りがあるため、過検知データを精度よく学習できていなかった。さらに、従来の評価方法では、過検知データのフィードバック学習のために、大量の初期学習データを保存しておく必要があり、また、新規にＶＡＥモデルを生成し直すため、初期学習時以上の時間が必要となっていた。
［評価実験］
　そこで、実際のＩｏＴ機器間のトラフィックセッションデータに対し、従来の評価方法と、本実施の形態に係る評価方法とを用いてそれぞれ評価を行った結果を示す。学習データは、カメラ通信（３６９データ）であり、過検知データは、ＳＳＨ通信（１０データ）である。
　初期学習として、カメラ通信を学習してＶＡＥモデルを生成した場合の評価結果について説明する。すなわち、過検知データのフィードバック前であり、初期の学習データであるカメラ通信のみを学習したＶＡＥモデルを用いて評価を行った結果である。この場合、学習データの平均スコアは、-25.2625となる。過検知データは学習していないので、過検知データの平均スコアは268.530と高いスコアとなる。そして、学習に要した時間は13.452（sec）である。
　続いて、従来の評価方法を用いて過検知データをフィードバック学習した後の評価結果について説明する。この場合、学習データの平均スコアは、-16.3808となる。過検知データの平均スコアは、過検知データフィードバック前と比して多少は改善するものの、44.6441と依然高いスコアを示し、精度は低いままである。そして、再学習に要した時間は、14.157（sec）であり、初期学習時よりも長くなる。
　これに対し、本実施の形態に係る評価方法を用いて、過検知データをフィードバック学習した後の評価結果について説明する。この場合には、学習データの平均スコアは、-25.2625である。そして、過検知データの平均スコアは、従来の評価方法と比して、-24.0182と大幅に改善される。さらに、再学習に要した時間は、従来の評価方法と比して、3.937（sec）と大幅に短縮される。
［実施の形態の効果］
　このように、本実施の形態では、正常な学習データを学習した学習データ用ＶＡＥモデルと、過検知データを学習した過検知用ＶＡＥモデルとを用いて、評価データの確率密度を推定し、推定した確率密度を基に評価データの異常の有無を評価する。すなわち、本実施の形態では、正常な学習データを学習した学習データ用ＶＡＥモデルとは別に、過検知データのみをフィードバック学習した過検知用ＶＡＥモデルとを生成し、生成した２つのＶＡＥモデルが推定した確率密度を結合して得られた確率密度を基に評価を行う。
　従来の評価方法では、過検知データを精度よく学習できない上に、過検知データのフィードバック学習のために大量の初期学習データを保存しておく必要があり、新規にＶＡＥモデルを生成し直すため、初期学習時以上の時間が必要となっていた。
　これに対し、本実施の形態に係る評価装置１では、過検知データのフィードバック学習のために初期の学習データＤｓの件数のみを保存しておけばよい。そして、評価装置１では、前述の評価実験結果でも示したように、評価処理の過程においては、少量の過検知データのみを学習すればよく、大量の初期の学習データを学習するよりも学習時間を格段に短くすることができる。また、評価装置１では、前述の評価実験結果でも示したように、過検知データと学習データとの間に数の偏りがあったとしても、過検知データを高精度で評価することができる。
　したがって、本実施の形態によれば、少量の過検知データを効率的にフィードバックし、過検知データの発生を低減して、通信データの異常有無の評価を高精度に実行することができる。
［システム構成等］
　図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　図１５は、プログラムが実行されることにより、評価装置１が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating　System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、評価装置１の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、評価装置１における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
　１　評価装置
　２　ＩｏＴ機器
　３　ネットワーク
　１０　通信部
　１１　記憶部
　１２　制御部
　１１１　学習データ用ＶＡＥモデル
　１１２　過検知用ＶＡＥモデル
　１２０　受付部
　１２１　モデル生成部
　１２２　ＶＡＥ
　１２３　評価部
　１２４　結合部
　１２５１　第１ＶＡＥ
　１２５２　第２ＶＡＥ
　１２６　異常有無評価部

Claims (3)

  1. 　評価対象の通信データの入力を受け付ける受付部と、
    　正常な初期学習データの確率密度の特徴を学習した第１のモデルと、評価処理の過程において異常と検知された正常な過検知データの確率密度の特徴を学習した第２のモデルとを用いて前記評価対象の通信データの確率密度を推定し、推定した確率密度を基に前記評価対象の通信データの異常の有無を評価する評価部と、
    　を有することを特徴とする評価装置。
  2. 　前記正常な初期学習データが入力された場合に前記正常な初期学習データの確率密度の特徴を学習して前記第１のモデルを生成し、前記評価処理の過程にて収集された前記過検知データが入力された場合に前記過検知データの確率密度の特徴を学習して前記第２のモデルを生成する生成部をさらに有し、
    　前記評価部は、前記第１のモデルを適用して推定した確率密度と、前記第２のモデルを適用して推定した確率密度とを結合した確率密度を基に前記評価対象の通信データの異常の有無を評価することを特徴とする請求項１に記載の評価装置。
  3. 　評価装置によって実行される評価方法であって、
    　評価対象の通信データの入力を受け付ける工程と、
    　正常な初期学習データの確率密度の特徴を学習した第１のモデルと、評価処理の過程において異常と検知された正常な過検知データの確率密度の特徴を学習した第２のモデルとを用いて前記評価対象の通信データの確率密度を推定し、推定した確率密度を基に前記評価対象の通信データの異常の有無を評価する工程と、
    　を含んだことを特徴とする評価方法。
PCT/JP2019/024167 2018-06-20 2019-06-18 評価装置及び評価方法 WO2019244902A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/252,751 US20210256402A1 (en) 2018-06-20 2019-06-18 Evaluation device and evaluation method
AU2019288014A AU2019288014B2 (en) 2018-06-20 2019-06-18 Evaluation device and evaluation method
EP19823058.3A EP3796599B1 (en) 2018-06-20 2019-06-18 Evaluation device and evaluation method
CN201980040020.2A CN112425123B (zh) 2018-06-20 2019-06-18 评价装置和评价方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-117456 2018-06-20
JP2018117456A JP6767434B2 (ja) 2018-06-20 2018-06-20 評価装置及び評価方法

Publications (1)

Publication Number Publication Date
WO2019244902A1 true WO2019244902A1 (ja) 2019-12-26

Family

ID=68984033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024167 WO2019244902A1 (ja) 2018-06-20 2019-06-18 評価装置及び評価方法

Country Status (6)

Country Link
US (1) US20210256402A1 (ja)
EP (1) EP3796599B1 (ja)
JP (1) JP6767434B2 (ja)
CN (1) CN112425123B (ja)
AU (1) AU2019288014B2 (ja)
WO (1) WO2019244902A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021149225A1 (ja) * 2020-01-23 2021-07-29

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928208B2 (en) * 2018-10-02 2024-03-12 Nippon Telegraph And Telephone Corporation Calculation device, calculation method, and calculation program
AU2020468530B2 (en) * 2020-09-18 2024-02-01 Nippon Telegraph And Telephone Corporation Assessment device, assessment method, and assessment program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4668092B2 (ja) * 2006-03-03 2011-04-13 三菱電機株式会社 学習能力評価装置、学習能力評価方法及び学習能力評価プログラム
JP2009070071A (ja) * 2007-09-12 2009-04-02 Toshiba Corp 学習型プロセス異常診断装置、およびオペレータ判断推測結果収集装置
JP4940220B2 (ja) * 2008-10-15 2012-05-30 株式会社東芝 異常動作検出装置及びプログラム
CN102814340B (zh) * 2011-06-08 2014-07-09 鞍钢股份有限公司 热轧带钢宽度控制模型智能学习系统及自学习方法
JP2015026252A (ja) * 2013-07-26 2015-02-05 株式会社豊田中央研究所 異常検知装置及びプログラム
CN108431834A (zh) * 2015-12-01 2018-08-21 首选网络株式会社 异常检测系统、异常检测方法、异常检测程序及学得模型的生成方法
CN106790008B (zh) * 2016-12-13 2018-08-24 浙江中都信息技术有限公司 用于在企业网络中检测异常主机的机器学习系统
US10635565B2 (en) * 2017-10-04 2020-04-28 Servicenow, Inc. Systems and methods for robust anomaly detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIEDERIK P KINGMAMAX WELLING, AUTO-ENCODING VARIATIONAL BAYES, 7 June 2018 (2018-06-07), Retrieved from the Internet <URL:https://arxiv.org/abs/1312.6114>
MASAYOSHI SHIGETA , HISARNICHI OHTANI : "Implementation and evaluation of malware-infected terminal detection system using unsupervised learning", THE 2018 SYMPOSIUM ON CRYPTOGRAPHY AND INFORMATION SECURITY (SCIS2018), 26 January 2018 (2018-01-26), pages 1 - 7, XP009524793 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021149225A1 (ja) * 2020-01-23 2021-07-29
WO2021149225A1 (ja) * 2020-01-23 2021-07-29 三菱電機株式会社 モデル生成装置、モデル生成方法及びモデル生成プログラム
JP7004479B2 (ja) 2020-01-23 2022-01-21 三菱電機株式会社 モデル生成装置、モデル生成方法及びモデル生成プログラム

Also Published As

Publication number Publication date
EP3796599A1 (en) 2021-03-24
US20210256402A1 (en) 2021-08-19
JP6767434B2 (ja) 2020-10-14
EP3796599B1 (en) 2023-10-04
AU2019288014A1 (en) 2021-01-14
AU2019288014B2 (en) 2022-03-17
CN112425123A (zh) 2021-02-26
CN112425123B (zh) 2023-10-27
EP3796599A4 (en) 2022-03-16
JP2019220866A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP6691094B2 (ja) 学習装置、検知システム、学習方法及び学習プログラム
WO2019244902A1 (ja) 評価装置及び評価方法
US20150334125A1 (en) Identifying threats based on hierarchical classification
JP6823501B2 (ja) 異常検知装置、異常検知方法及びプログラム
JP2014229317A (ja) １つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム
JP6564799B2 (ja) 閾値決定装置、閾値決定方法及びプログラム
JP6845125B2 (ja) 学習装置、学習方法及び学習プログラム
WO2019240038A1 (ja) 検知装置及び検知方法
JP7127525B2 (ja) 検知装置、検知方法、および、検知プログラム
US20210344607A1 (en) System and method for classifying network devices
US10275890B2 (en) Image processing device and method for creating a background image
WO2020234977A1 (ja) 情報処理装置、作成方法および作成プログラム
Yu-Ting et al. Real-time risk assessment based on hidden Markov model and security configuration
US20200064460A1 (en) Decision based re-processing framework for radar technology
JP7302660B2 (ja) 学習装置、検知システム、学習方法及び学習プログラム
US20220374780A1 (en) Training device, training method, and training program
US20230334361A1 (en) Training device, training method, and training program
US20230177151A1 (en) System and method of microcontroller security
JP7401747B2 (ja) 類別プログラム、類別装置及び類別方法
JP7176630B2 (ja) 検知装置、検知方法および検知プログラム
CN115499251A (zh) 一种边缘IoT设备的异常流量及攻击检测方法及系统
CN111667021A (zh) 一种基于人工智能的前端性能问题检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19823058

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019823058

Country of ref document: EP

Effective date: 20201214

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019288014

Country of ref document: AU

Date of ref document: 20190618

Kind code of ref document: A