WO2021114231A1 - 网络流量异常检测模型的训练方法及检测方法 - Google Patents

网络流量异常检测模型的训练方法及检测方法 Download PDF

Info

Publication number
WO2021114231A1
WO2021114231A1 PCT/CN2019/125189 CN2019125189W WO2021114231A1 WO 2021114231 A1 WO2021114231 A1 WO 2021114231A1 CN 2019125189 W CN2019125189 W CN 2019125189W WO 2021114231 A1 WO2021114231 A1 WO 2021114231A1
Authority
WO
WIPO (PCT)
Prior art keywords
training
network
network traffic
detection model
anomaly detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/125189
Other languages
English (en)
French (fr)
Inventor
叶可江
纪书鉴
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Publication of WO2021114231A1 publication Critical patent/WO2021114231A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the present invention belongs to the field of information technology, and in particular, relates to a training method and a detection method of a network traffic anomaly detection model, a computer-readable storage medium, and a computer device.
  • Abnormal network traffic can more comprehensively reflect the real-time conditions that appear on the network, such as network scanning, DDoS attacks, network worms, etc., and find the network in time. Abnormal traffic changes are of great significance for the abnormal location of the network data center and the corresponding follow-up remedial measures.
  • Network traffic anomaly detection has been used as an effective network protection method, which can detect unknown network attack behaviors and provide important support for network situation awareness. In recent years, it has received more and more attention from researchers. For network traffic anomaly detection methods, there are roughly detection methods based on characterization behavior matching, statistics-based anomaly detection methods, machine learning anomaly detection methods, data mining-based anomaly detection methods, and traditional deep learning-based anomaly detection methods.
  • Deep learning technology has outstanding advantages in network traffic anomaly detection.
  • the deep learning model can take the original data as input and can better describe the rich information of the data from the learned features, and improve the classification performance. Deep learning in different fields can easily adapt to different fields and applications. In the face of the massive information of the network with multiple features, deep learning does not need to perform exploratory data analysis, feature dimensionality reduction and other feature engineering on the current data set.
  • the technical problem solved by the present invention is: how to adapt the structure of the neural network model to the characteristics of the network traffic data so as to improve the accuracy of model detection.
  • a training method for a network traffic anomaly detection model includes a feature extraction network and a classification network.
  • the training method includes:
  • the trained feature extraction network is used to extract the abstract feature data of the training sample, and the abstract feature data is used to train the classification network to complete the training of the network traffic detection model.
  • the training method further includes:
  • the optimized feature extraction network is used to extract the high-level abstract feature data of the training samples, and the high-level abstract feature data is used to train the classification network.
  • the method for determining the number of hidden layers according to the training samples is: calculating the number of hidden layers according to the following formula,
  • l represents the number of hidden layers
  • n represents the data feature dimension of the training sample
  • the method for determining the number of neurons in each hidden layer according to the training samples is: calculate the number of neurons according to the following formula,
  • e i represents the number of neurons in the i-th layer of the hidden layer
  • n represents the data feature dimension of the training sample
  • ⁇ is the characteristic influence parameter, 0 ⁇ 1, 1 ⁇ i ⁇ l.
  • the training method includes:
  • the present invention also discloses a detection method of a network traffic abnormality detection model, and the detection method includes:
  • the type of the original network traffic data output by the network traffic anomaly detection model is the type of the original network traffic data output by the network traffic anomaly detection model
  • the present invention also discloses a computer-readable storage medium, the computer-readable storage medium stores a training program for a network traffic anomaly detection model, and when the training program for the network traffic anomaly detection model is executed by a processor, the above-mentioned network is realized Training method of traffic anomaly detection model.
  • the present invention also discloses a computer device.
  • the computer device includes a computer-readable storage medium, a processor, and a training program for a network traffic anomaly detection model stored in the computer-readable storage medium.
  • the network traffic anomaly detection When the training program of the model is executed by the processor, the above-mentioned training method of the network traffic anomaly detection model is realized.
  • the invention discloses a training method and a detection method for a network traffic anomaly detection model.
  • the number of hidden layers of the neural network and the number of neurons in each layer are determined before the model is constructed, so that the network structure can adapt to the network traffic data , To avoid the structure of the detection model being too complex and too simple, thereby reducing the generalization error, can significantly reduce the detection time and improve the detection accuracy.
  • Fig. 1 is a flowchart of a method for training a network traffic anomaly detection model according to an embodiment of the present invention
  • FIG. 2 is a schematic structural diagram of a trained feature extraction network according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a detection method of a network traffic anomaly detection model according to an embodiment of the present invention
  • FIG. 4A is a diagram of experimental results of different models tested on the NSLKDD data set according to an embodiment of the present invention.
  • 4B is the detection result of each classifier before and after using the optimized feature extraction network according to the embodiment of the present invention.
  • FIG. 4C is the time saving percentage of each classifier after using the optimized feature extraction network according to the embodiment of the present invention.
  • Figure 5A is a PCA visualization view of data classification using an existing detection model
  • Figure 5B is a PCA visualization view of data classification using the detection model of the present invention.
  • Fig. 6 is a functional block diagram of a computer device according to an embodiment of the present invention.
  • This application proposes a training method and a detection method for a network traffic anomaly detection model.
  • the detection model is established based on a feature adaptation neural network. This method can determine the number of hidden layers of the neural network and the number of neurons in each layer according to the network traffic of multi-dimensional features, thereby establishing a corresponding deep learning network anomaly detection model and pre-training.
  • the training method of the network traffic anomaly detection model disclosed in this application mainly includes the training of the feature extraction network and the training of the classification network.
  • the training method of the network traffic anomaly detection model includes the following steps:
  • Step S10 Determine the number of hidden layers and the number of neurons in each hidden layer according to the training samples.
  • the original network traffic data needs to be normalized and cleaned to obtain training samples.
  • Read the training data set and the test data set separately from the original network traffic data standardize the network traffic, clean up lost or wrong data or delete irrelevant data, etc., and retain the original meaningful features, among which the training data
  • the set and the test data set constitute the training sample.
  • training samples are generally used directly to train the corresponding neural network.
  • this application first determines the number of hidden layers and the number of neurons before constructing the feature extraction network.
  • l represents the number of hidden layers
  • n represents the data feature dimension of the training sample, Indicates rounding up.
  • the number of hidden layers can be determined according to the data feature dimensions of the training samples, which provides a basis for the subsequent construction of feature extraction networks.
  • e i represents the number of neurons in the i-th layer of the hidden layer
  • n represents the data feature dimension of the training sample
  • ⁇ is the characteristic influence parameter, 0 ⁇ 1, 1 ⁇ i ⁇ l.
  • the characteristic influence parameter ⁇ can play a certain adjustment effect on the model, and this value can be selected by multiple selections in the experiment to obtain the optimal value or given by expert experience.
  • the purpose of adding ⁇ is to superimpose the number of neurons in each layer Selectively allow the propagation of each hidden layer to retain part of the high-dimensional feature n, so that the network traffic anomaly detection model can adapt to the dimensionality of the data during training, so as to have a better ability to express the characteristics of the data.
  • Step S20 Construct an initial feature extraction network according to the number of hidden layers and the number of neurons in each hidden layer.
  • the initial feature extraction network can be expressed as xW+b, where W and b both represent parameter variables.
  • Step S30 Use training samples to train the initial feature extraction network to obtain a trained feature extraction network.
  • the training set T ⁇ (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ),..., (x n , y n ) ⁇ to train the initial feature extraction network to obtain .
  • the training process is the prior art, which is not described in detail here.
  • a brief description of the commonly used parameters in the training process is given, using z l to represent the input of the neuron in the lth layer, a l-1 is the output of the neuron in the upper layer of the l layer, and ⁇ is the activation function set initially .
  • Step S40 Use the trained feature extraction network to extract abstract feature data of the training sample, and use the abstract feature data to train the classification network to complete the training of the network traffic detection model.
  • the trained feature extraction network includes an input layer 21, a number of hidden layers 22 and a classification layer 23 connected in sequence.
  • the trained feature extraction network generates some new abstract features after the feature extraction and transfer operations of its several hidden layers 22, and then can use its own classification layer 23 for classification, so as to predict the abnormal types of the network. Classification, and then use the classification network for further classification, but this method cannot fit the nonlinear features in the feature space well, that is, some features will be lost, resulting in inaccurate subsequent detection results.
  • the classification layer 23 in the trained feature extraction network is removed to obtain the optimized feature extraction network
  • the optimized feature extraction network is used to extract the high-level abstract feature data of the training sample
  • the high-level abstract feature data is used for training
  • the classification network is to directly train the classification network using abstract data features extracted by several hidden layers 22.
  • the classification network is a common classifier in the field of machine learning. Using the classifier to process these high-level abstract features can perform better classification.
  • the present invention also discloses a detection method of a network traffic anomaly detection model, the detection method includes: Step S100: input original network traffic data into the network traffic anomaly detection model obtained by the above training method; S200: The network traffic anomaly detection model outputs the type of the original network traffic data; Step S300: Determine whether the network process is abnormal according to the type of the original network traffic data.
  • the detected data set adopts the NSLKDD data set.
  • a common support vector machine model SVM is selected.
  • the network traffic anomaly detection model in this application is DAFL SVM.
  • Specific evaluation indicators include Accuracy, Precision, Recall, F 1 -score and Times.
  • the network traffic anomaly detection model adopted in this application has improved compared with the traditional support vector machine model SVM. The time is greatly reduced, that is, the detection speed is greatly improved.
  • KNN K-Nearest Neighbors
  • LR Logistic Regression
  • the fourth comparative example adopts a decision tree classification model (Decision Tree, DT for short)
  • the network traffic anomaly detection model of this application is DAFL DT
  • the classification network of this application adopts DT
  • DAFL represents the feature extraction network of this application
  • the feature influence parameter ⁇ 0.8
  • the network traffic anomaly detection model adopted in this application has improved various indicators, and the detection time is greatly shortened, that is, the detection speed is greatly improved .
  • the dark area represents abnormal data
  • the light area represents normal data.
  • Figure 5A it can be seen that a traditional machine is used.
  • the learning classifier cannot effectively classify normal and abnormal data.
  • the obtained data set is chaotic and disorderly.
  • the detection model of this application is used to classify, as shown in Figure 5B, the normal and abnormal data can be effectively collected. The data points are classified.
  • the network traffic anomaly detection model of the present application has a higher accuracy rate and a lower false alarm rate than common classification models.
  • the feature extraction network of the present application It can effectively adapt to different types of classification networks, and also reflects the robustness and scalability of the detection model.
  • This application first determines the number of hidden layers of the neural network and the number of neurons in each layer before constructing the model, so that the network structure can adapt to the network traffic data, avoiding the structure of the detection model from being too complicated and too simple, thereby reducing the generalization To reduce the error, it can significantly reduce the detection time and improve the detection accuracy.
  • this application is based on the idea of migration learning, first train a complete feature extraction network, and then remove the classification layer of the feature extraction network, let the original data generate new abstract features through the remaining feature extraction network, and let the final classification Learn online.
  • Such a purpose can make the newly generated data tend to be ordered, make the traditional machine learning classifier quickly converge to achieve the best classification effect, and can improve the accuracy rate and reduce the detection time.
  • the application also discloses a computer-readable storage medium that stores a training program for a network traffic anomaly detection model, and when the training program for the network traffic anomaly detection model is executed by a processor, the above-mentioned network is realized Training method of traffic anomaly detection model.
  • the application also discloses a computer device.
  • the terminal includes a processor 12, an internal bus 13, a network interface 14, and a computer-readable storage medium 11.
  • the processor 12 reads the corresponding computer program from the computer-readable storage medium and then runs it to form a request processing device on a logical level.
  • the execution subject of the following processing flow is not limited to each
  • the logic unit can also be a hardware or a logic device.
  • the computer-readable storage medium 11 stores a training program for a network traffic anomaly detection model, and the training program for the network traffic anomaly detection model is executed by a processor to implement the above-mentioned training method for the network traffic anomaly detection model.
  • Computer-readable storage media include permanent and non-permanent, removable and non-removable media, and information storage can be realized by any method or technology.
  • the information can be computer-readable instructions, data structures, program modules, or other data.
  • Examples of computer-readable storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only Memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, CD-ROM, digital versatile disc (DVD) or other optical storage , Magnetic cassettes, magnetic disk storage, quantum memory, graphene-based storage media or other magnetic storage devices or any other non-transmission media that can be used to store information that can be accessed by computing devices.
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read-only Memory
  • EEPROM electrically erasable programmable read-only

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络流量异常检测模型的训练方法即检测方法，所述网络流量异常检测模型包括特征提取网络和分类网络，所述训练方法包括：根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数；根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络；利用训练样本对所述初始特征提取网络进行训练，得到训练完成的特征提取网络；利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。本申请的网络结构可适应网络流量数据，避免检测模型的结构过于复杂和过于简单，从而降低了泛化误差，能明显减少检测时间和提高检测准确率。

Description

网络流量异常检测模型的训练方法及检测方法 技术领域
本发明属于信息技术领域，具体地讲，涉及网络流量异常检测模型的训练方法及检测方法、计算机可读存储介质、计算机设备。
背景技术
随着互联网的快速发展和网络规模的不断扩大，互联网已经成为人类生产生活不可缺少的一部分。但是同时，人们在享受网络便利的过程中不可避免地遭受网络异常的危害。目前普遍存在的多种网络异常可以通过网络流量的异常表现出来，异常网络流量能较全面地反映出现在网络的实时状况，比如网络扫描，DDoS攻击，网络蠕虫病毒等，及时去发现网络中的异常流量变化对于网络数据中心的异常定位，采取后续相应的补救措施有重要的意义。
网络流量异常检测已经作为一种有效的网络防护手段，能检测未知的网络攻击行为，为网络态势感知提供重要支持，近年来受到研究者越来越多的关注。针对网络流量异常检测方法大致有基于表征行为匹配的检测方法，基于统计的异常检测方法，基于机器学习异常检测方法，基于数据挖掘的异常检测方法，基于传统深度学习的异常检测方法。
深度学习技术在网络流量异常检测方面有着突出优势。深度学习模型能够从原始数据作为输入并且能从所学特征更好地刻画出数据的丰富信息，提高分类性能。在不同领域内深度学习都能容易地适应不同的领域和应用，在网络多特征的海量信息面前，深度学习不需要现在数据集上执行探索性的数据分析，特征降维等特征工程。
传统机器学习应用到模型的异常检测上面来的话存在一个经验先验的问题，特别对于数据量大而且实时性比较强的网络流量数据来看，参数选择不恰当或者选择的数据质量差，会对模型的检测效果造成比较大的影响。例如选择的神经网络模型的层数较多，这时在训练过程中可能会出现收敛慢的情况，如果选择的神经网络模型的层数较少，这时在训练过程中可能不能准确地调整网络参数，不容易得到一个准确率较高的检测模型。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是：如何使得神经网络模型的结构与网络流量数据特征相适应，以提高模型检测的准确率。
(二)本发明所采用的技术方案
一种网络流量异常检测模型的训练方法，所述网络流量异常检测模型包括特征提取网络和分类网络，所述训练方法包括：
根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数；
根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络；
利用训练样本对所述初始特征提取网络进行训练，得到训练完成的特征提取网络；
利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。
可选择地，在得到所述训练完成的特征提取网络之后，所述训练方法还包括：
去除所述训练完成的特征提取网络中的分类层，得到优化的特征提取网络；
利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络。
可选择地，根据训练样本确定隐藏层的层数的方法为：根据如下公式来计算隐藏层的层数，
Figure PCTCN2019125189-appb-000001
其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
Figure PCTCN2019125189-appb-000002
表示向上取整。
可选择地，根据训练样本确定每层隐藏层中的神经元个数的方法为：根据如下公式来计算神经元个数，
Figure PCTCN2019125189-appb-000003
e i表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
Figure PCTCN2019125189-appb-000004
表示向上取整，θ为特征影响参数，0＜θ＜1，1＜i＜l。
可选择地，根据训练样本确定每层隐藏层中的神经元个数的方法还包括：确定隐藏层的第一层的神经元个数为e 1＝n，确定隐藏层的最后一层的神经元个数为
Figure PCTCN2019125189-appb-000005
可选择地，所述训练方法包括：
对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。
本发明还公开了一种网络流量异常检测模型的检测方法，所述检测方法包括：
将原始网络流量数据输入到由上述的训练方法训练得到的网络流量异常检测模型中；
所述网络流量异常检测模型输出原始网络流量数据的类型；
根据原始网络流量数据的类型判断网络流程是否异常。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
本发明还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
(三)有益效果
本发明公开了一种网络流量异常检测模型的训练方法及检测方法，通过在构建模型之前先确定神经网络的隐藏层层数和每一层的神经元个数，使得网络结构可适应网络流量数据，避免检测模型的结构过于复杂和过于简单，从而降低了泛化误差，能明显减少检测时间和提高检测准确率。
附图说明
图1为本发明的实施例的网络流量异常检测模型的训练方法的流程图；
图2为本发明的实施例的训练完成的特征提取网络的结构示意图；
图3为本发明的实施例的网络流量异常检测模型的检测方法的流程图；
图4A为本发明的实施例的不同模型在NSLKDD数据集测试的实验结果图；
图4B为本发明的实施例的在使用优化的特征提取网络前后各个分类器的检测结果；
图4C为本发明的实施例的在使用优化的特征提取网络后各个分类器的时间节省百分比；
图5A为利用现有检测模型进行数据分类的PCA可视化视图；
图5B为利用本发明的检测模型进行数据分类的PCA可视化视图；
图6为本发明的实施例的计算机设备的原理框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了及时发现网络中的异常流量变化对于网络数据中心的异常定位，以便后续采取相应的补救。本申请提出一种网络流量异常检测模型的训练方法和检测方法，该检测模型是基于特征适应神经网络而建立的。该方法能够根据多维度特征的网络流量确定神经网络隐藏层的层数以及每层神经元的个数，从而建立相对应的深度学习网络异常检测模型并进行预训练。接着利用迁移学习的思想从训练好的高层网络层中取出包含新的特征数据，结合浅层学习的传统机器学习分类器进行网络异常流量检测，能在一定程度上减少检测时间并且加快分类器的收敛速度，可提高检测的准确率。
具体来说，本申请公开的网络流量异常检测模型的训练方法主要包括特征提取网络的训练和分类网络的训练。如图1所示，网络流量异常检测模型的训练方法包括如下步骤：
步骤S10：根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数。
在进行步骤S10之前，需要对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。从原始网络流量数据中分别读取训练数据集和测试数据 集，对网络流量进行规范化的处理，清理丢失或错误的数据或删除掉无关的数据等，保留下来有意义的原始特征，其中训练数据集和测试数据集构成训练样本。
现有技术中一般直接采用训练样本对相应的神经网络进行训练，然而往往会存在神经网络的结构与训练样本的数据特征不相适应的情况，这样会使得训练完成的神经网络不能有效地检测网络异常情况。为此本申请在构建特征提取网络之前先确定好隐藏层的层数和神经元个数。
作为优选实施例，训练样本为T＝{(x 1，y 1)，(x 2，y 2)，(x 3，y 3)，...，(x n，y n)}，其中x n是流量的特征向量且x n＝[x 1，x 2，x 3，...，x n] T，x n表示流量数据特征，y n表示x n的类别标签y n∈{0，1，2，...，n}，即(x n，y n)分别表示网络流量的对应的网络事件类别，其中n表示训练样本的数据特征维度，隐藏层层数的计算公式为：
Figure PCTCN2019125189-appb-000006
其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
Figure PCTCN2019125189-appb-000007
表示向上取整。这样可根据训练样本的数据特征维度确定隐藏层层数，为后续构建特征提取网络提供依据。
计算出隐藏层层数之后，进一步确定每层隐藏层包含的神经元个数，神经元个数的计算公式为：
Figure PCTCN2019125189-appb-000008
e i表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
Figure PCTCN2019125189-appb-000009
表示向上取整，θ为特征影响参数，0＜θ＜1，1＜i＜l。特征影响参数θ能对模型起到一定的调整作用，该值能由实验中多次选择得到取最优值或者专家经验给出。添加θ的目的是把每一层的神经元个数都叠加
Figure PCTCN2019125189-appb-000010
有选择性地让每个隐藏层的传播都保留高维特征n的一部分，从而让网络流量异常检测模型在训练时候能去适应数据的维度，从而对数据的特征有更好的表述能力。
进一步地，当i＝1时，即第一层的神经元个数为e 1＝n；当i＝l时，即隐藏层的最后一层的神经元个数为
Figure PCTCN2019125189-appb-000011
这样可根据训练样本的数据特征维度确定每层隐藏层的神经元个数，为后续构建特征提取网络提供依据。
步骤S20：根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络。
根据步骤S10中计算得到的隐藏层的层数l和每层隐藏层的神经元的个数e i构建初始特征提取网络，即构建的初始特征提取网络的结构特征与训练样本的维度特征相适应。初始特征提取网络可表示为xW+b，其中W和b均表示参数变量。
步骤S30：利用训练样本对所述初始的特征提取网络进行训练，得到训练完成的特征提取网络。
利用训练集T＝{(x 1，y 1)，(x 2，y 2)，(x 3，y 3)，...，(x n，y n)}对初始特征提取网络进行训练得到。其中训练过程为现有技术，在此不进行详细描述。作为优选实施例，对训练过程中常用参数进行简单描述，用z l表示第l层神经元的输入，a l-1是l层上一层的神经元输出，σ是初始化设定的激活函数。模型训练时前向传播计算得到z l＝W la l-1+b l。计算输出层产生的误差
Figure PCTCN2019125189-appb-000012
Figure PCTCN2019125189-appb-000013
σ′是激活函数的求导，⊙是Hadamard乘积，
Figure PCTCN2019125189-appb-000014
反向传播错误δ l＝((W l-1)δ l-1)⊙σ′(z l)。最后使用梯度下降训练参数：W l→W l-∑ xδ x(a x)，b l→b l-∑ xδ x得到最优的权值W和阈值b。
步骤S40：利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。
如图2所示，训练完成的特征提取网络包括依序连接的输入层21、若干隐藏层22和分类层23。作为其中一个实施例，训练完成的特征提取网络通过其若干隐藏层22的特征提取传递操作后会生成一些新的抽象特征后，可利用自身的分类层23进行分类，从而进行网络异常类型的预分类，接着再利用分类网络进一步分类，但是这种方法不能较好地拟合该特征空间下的非线性特征，即会损失部分特征，造成后续检测结果不准确。作为优选实施例，本申请中将训练完成的特征提取网络中的分类层23去掉得到优化的特征提取网络，利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络，即利用若干隐藏层22提取的抽象数据特征直接训练分类网络。其中分类网络为机器学习领域中常见的分类器，利用分类器去处理这些高级抽象特征能较好地进行分类。
如图3所示，本发明还公开了一种网络流量异常检测模型的检测方法，检测方法包括：步骤S100：将原始的网络流量数据输入到上述训练方法得到的网 络流量异常检测模型中；步骤S200：所述网络流量异常检测模型输出原始网络流量数据的类型；步骤S300：根据原始网络流量数据的类型判断网络流程是否异常。
为了证明本申请的网络流量异常检测模型的检测准确率相对于现有的检测模型具有较好的结果，在常见的数据集上进行了对比实验。如图4A、图4B和图4C所示，检测的数据集采用NSLKDD数据集，作为其中第一个对比例，选用常见的支持向量机模型SVM，本申请的网络流量异常检测模型为DAFL SVM，其中本申请的分类网络采用SVM，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8。具体的评价指标包括Accuracy、Precision、Recall、F 1-score和Times，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的支持向量机模型SVM的各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
类似地，第二个对比例采用K近邻分类网络(K-Nearest Neighbors，简称KNN)，本申请的网络流量异常检测模型为DAFL KNN，其中本申请的分类网络采用KNN，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8。具体的评价指标包括Accuracy、Precision、Recall、F 1-score和Times，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的K近邻分类网络，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
类似地，第三个对比例采用传统的逻辑回归分类器(Logistic Regression，简称LR)，本申请的网络流量异常检测模型为DAFL LR，其中本申请的分类网络采用KNN，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的LR分类器，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
类似地，第四个对比例采用决策树分类模型(Decision Tree，简称DT)，本申请的网络流量异常检测模型为DAFL DT，其中本申请的分类网络采用DT，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的DT分类模型，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
进一步地，第五个对比例采用朴素贝叶斯分类网络(Naive Bayes，简称NB)，本申请的网络流量异常检测模型为DAFL NB，其中本申请的分类网络 采用NB，DAFL表示本申请的特征提取网络，其中特征影响参数θ＝0.8，根据实验结果可知，采用本申请的网络流量异常检测模型相对于传统的DT分类模型，各个指标均有提升，且检测时间大幅度缩短，即检测速度大幅度提升。
在进行正常数据和异常数据分类情形下，根据图5A和图5B所示的PCA可视化分析可知，其中，深色区域表示异常数据，浅色区域表示正常数据，根据图5A可知，采用传统的机器学习分类器并不能有效地进行正常和异常数据的分类，得到的数据集是混乱无序的，然而采用本申请的检测模型去分类，根据图5B所示，能有效地将数据集中正常和异常的数据点进行分类。
综上各个对比实验结果可知，本申请的网络流量异常检测模型相对比于常见的分类模型具有更高的准确率和更低的误报率，同时根据各个对比例可知，本申请的特征提取网络与不同类型的分类网络均能进行有效地适配，也体现了检测模型的鲁棒性和可扩展性。本申请的在构建模型之前先确定神经网络的隐藏层层数和每一层的神经元个数，使得网络结构可适应网络流量数据，避免检测模型的结构过于复杂和过于简单，从而降低了泛化误差，能明显减少检测时间和提高检测准确率。同时本申请基于迁移学习的思想，首先训练一个完整的特征提取网络，接着讲该特征提取网络的分类层除掉，让原始数据通过剩余的特征提取网络产生新的抽象特征，并让最后的分类网络进行学习。这样的目的能让新产生的数据趋于有序，能让传统机器学习分类器快速收敛达到最好的分类效果，并且能提高准确率和减少检测时间。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异常检测模型的训练方法。
本申请还公开了一种计算机设备，在硬件层面，如图6所示，该终端包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。所述计算机可读存储介质11上存储有网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现上述的网络流量异 常检测模型的训练方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (18)

  1. 一种网络流量异常检测模型的训练方法，其中，所述网络流量异常检测模型包括特征提取网络和分类网络，所述训练方法包括：
    根据训练样本确定隐藏层的层数和每层隐藏层中的神经元个数；
    根据所述隐藏层的层数和每层隐藏层中的神经元个数构建初始的特征提取网络；
    利用训练样本对所述初始特征提取网络进行训练，得到训练完成的特征提取网络；
    利用训练完成的特征提取网络提取训练样本的抽象特征数据，并利用所述抽象特征数据训练分类网络，以完成网络流量检测模型的训练。
  2. 根据权利要求1所述的网络流量异常检测模型的训练方法，其中，在得到所述训练完成的特征提取网络之后，所述训练方法还包括：
    去除所述训练完成的特征提取网络中的分类层，得到优化的特征提取网络；
    利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络。
  3. 根据权利要求1所述的网络流量异常检测模型的训练方法，其中，根据训练样本确定隐藏层的层数的方法为：根据如下公式来计算隐藏层的层数，
    Figure PCTCN2019125189-appb-100001
    其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
    Figure PCTCN2019125189-appb-100002
    表示向上取整。
  4. 根据权利要求1所述的网络流量异常检测模型的训练方法，其中，根据训练样本确定每层隐藏层中的神经元个数的方法为：根据如下公式来计算神经元个数，
    Figure PCTCN2019125189-appb-100003
    e i表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
    Figure PCTCN2019125189-appb-100004
    表示向上取整，θ为特征影响参数，0＜θ＜1，1＜i＜l。
  5. 根据权利要求4所述的网络流量异常检测模型的训练方法，其中，根据训练样本确定每层隐藏层中的神经元个数的方法还包括：确定隐藏层的第一 层的神经元个数为e 1＝n，确定隐藏层的最后一层的神经元个数为
    Figure PCTCN2019125189-appb-100005
  6. 根据权利要求4所述的网络流量异常检测模型的训练方法，其中，所述训练方法包括：
    对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。
  7. 一种网络流量异常检测模型的检测方法，其中，所述检测方法包括：
    将原始网络流量数据输入到由权利要求1所述的训练方法训练得到的网络流量异常检测模型中；
    所述网络流量异常检测模型输出原始网络流量数据的类型；
    根据原始网络流量数据的类型判断网络流程是否异常。
  8. 根据权利要求7所述的网络流量异常检测模型的检测方法，其中，在得到所述训练完成的特征提取网络之后，所述网络流量异常检测模型的训练方法还包括：
    去除所述训练完成的特征提取网络中的分类层，得到优化的特征提取网络；
    利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络。
  9. 根据权利要求7所述的网络流量异常检测模型的检测方法，其中，根据训练样本确定隐藏层的层数的方法为：根据如下公式来计算隐藏层的层数，
    Figure PCTCN2019125189-appb-100006
    其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
    Figure PCTCN2019125189-appb-100007
    表示向上取整。
  10. 根据权利要求7所述的网络流量异常检测模型的检测方法，其中，根据训练样本确定每层隐藏层中的神经元个数的方法为：根据如下公式来计算神经元个数，
    Figure PCTCN2019125189-appb-100008
    e i表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
    Figure PCTCN2019125189-appb-100009
    表示向上取整，θ为特征影响参数，0＜θ＜1，1＜i＜l。
  11. 根据权利要求10所述的网络流量异常检测模型的检测方法，其中， 根据训练样本确定每层隐藏层中的神经元个数的方法还包括：确定隐藏层的第一层的神经元个数为e 1＝n，确定隐藏层的最后一层的神经元个数为
    Figure PCTCN2019125189-appb-100010
  12. 根据权利要求10所述的网络流量异常检测模型的检测方法，其中，所述网络流量异常检测模型的训练方法包括：
    对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。
  13. 一种计算机设备，其中，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的网络流量异常检测模型的训练程序，所述网络流量异常检测模型的训练程序被处理器执行时实现如权利要求1所述的网络流量异常检测模型的训练方法。
  14. 根据权利要求13所述的计算机设备，其中，在得到所述训练完成的特征提取网络之后，所述网络流量异常检测模型的训练方法还包括：
    去除所述训练完成的特征提取网络中的分类层，得到优化的特征提取网络；
    利用优化的特征提取网络提取训练样本的高级抽象特征数据，并利用高级抽象特征数据训练分类网络。
  15. 根据权利要求13所述的计算机设备，其中，根据训练样本确定隐藏层的层数的方法为：根据如下公式来计算隐藏层的层数，
    Figure PCTCN2019125189-appb-100011
    其中，l表示隐藏层的层数，n表示训练样本的数据特征维度，
    Figure PCTCN2019125189-appb-100012
    表示向上取整。
  16. 根据权利要求13所述的计算机设备，其中，根据训练样本确定每层隐藏层中的神经元个数的方法为：根据如下公式来计算神经元个数，
    Figure PCTCN2019125189-appb-100013
    e i表示隐藏层的第i层的神经元个数，n表示训练样本的数据特征维度，
    Figure PCTCN2019125189-appb-100014
    表示向上取整，θ为特征影响参数，0＜θ＜1，1＜i＜l。
  17. 根据权利要求16所述的计算机设备，其中，根据训练样本确定每层隐藏层中的神经元个数的方法还包括：确定隐藏层的第一层的神经元个数为e 1＝n，确定隐藏层的最后一层的神经元个数为
    Figure PCTCN2019125189-appb-100015
  18. 根据权利要求16所述的计算机设备，其中，所述网络流量异常检测模型的训练方法包括：
    对原始网络流量数据进行规范化处理和清洗处理，以获得训练样本。
PCT/CN2019/125189 2019-12-11 2019-12-13 网络流量异常检测模型的训练方法及检测方法 Ceased WO2021114231A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911268314.9 2019-12-11
CN201911268314.9A CN111064721A (zh) 2019-12-11 2019-12-11 网络流量异常检测模型的训练方法及检测方法

Publications (1)

Publication Number Publication Date
WO2021114231A1 true WO2021114231A1 (zh) 2021-06-17

Family

ID=70300647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/125189 Ceased WO2021114231A1 (zh) 2019-12-11 2019-12-13 网络流量异常检测模型的训练方法及检测方法

Country Status (2)

Country Link
CN (1) CN111064721A (zh)
WO (1) WO2021114231A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542241A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种基于CNN-BiGRU混合模型的入侵检测方法及装置
CN114154151A (zh) * 2021-11-05 2022-03-08 济南浪潮数据技术有限公司 一种恶意虚拟机检测的方法、装置、设备及可读介质
CN114338853A (zh) * 2021-12-31 2022-04-12 西南民族大学 一种工业互联网下的区块链流量监检测方法
CN114629695A (zh) * 2022-02-28 2022-06-14 天翼安全科技有限公司 一种网络异常检测方法、装置、设备和介质
CN114697139A (zh) * 2022-05-25 2022-07-01 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN114742572A (zh) * 2022-02-28 2022-07-12 北京明略软件系统有限公司 异常流量的识别方法和装置、存储介质、电子装置
CN115203186A (zh) * 2022-06-27 2022-10-18 同济大学 一种数据异常检测方法、系统、电子设备及可读存储介质
CN115496120A (zh) * 2021-06-18 2022-12-20 中国移动通信集团浙江有限公司 物联网设备异常检测方法、装置、设备及存储介质
CN115623531A (zh) * 2022-11-29 2023-01-17 浙大城市学院 利用无线射频信号的隐藏监控设备发现和定位方法
CN116208356A (zh) * 2022-10-27 2023-06-02 浙江大学 一种基于深度学习的虚拟货币挖矿流量检测方法
CN116366325A (zh) * 2023-03-27 2023-06-30 南方电网数字电网集团信息通信科技有限公司 一种基于终端安全态势数据的异常检测模型构建方法
CN116893663A (zh) * 2023-09-07 2023-10-17 之江实验室 一种主控异常检测方法、装置、存储介质及电子设备
CN117537951A (zh) * 2024-01-10 2024-02-09 西南交通大学 一种基于深度学习的超导悬浮器内部温升检测方法及装置
CN117830728A (zh) * 2024-01-02 2024-04-05 北京天防安全科技有限公司 异常流量检测方法、装置、电子设备及介质
CN118054972A (zh) * 2024-04-11 2024-05-17 石家庄学院 基于异常流量样本增强的检测方法、系统、设备及介质
CN118445640A (zh) * 2024-07-08 2024-08-06 艾肯（江苏）工业技术有限公司 一种基于人工智能的流量检测系统及方法
CN119051996A (zh) * 2024-10-31 2024-11-29 上海斗象信息科技有限公司 异常流量检测模型的训练方法及装置、监测方法、设备
US12247885B2 (en) 2024-01-10 2025-03-11 Southwest Jiaotong University Method and device for detecting temperature rise inside superconducting levitation device based on deep learning
CN119603015A (zh) * 2024-11-21 2025-03-11 中国电信股份有限公司技术创新中心 一种更新异常检测方法
CN119782831A (zh) * 2025-03-13 2025-04-08 上海斗象信息科技有限公司 模型训练方法及装置、数据清洗方法及电子设备
CN120750680A (zh) * 2025-09-08 2025-10-03 江苏航运职业技术学院 一种基于多维度的网络安全态势感知系统及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762299A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 一种异常流量检测方法和装置
CN112291226B (zh) * 2020-10-23 2022-05-27 新华三信息安全技术有限公司 一种网络流量的异常检测方法及装置
CN114205355B (zh) * 2021-12-13 2022-08-26 南方电网数字电网研究院有限公司 一种变电网关附属设备性能测试方法、系统及电子设备
CN114398778A (zh) * 2022-01-07 2022-04-26 北京明略软件系统有限公司 一种广告异常流量检测模型建立方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
CN107725283A (zh) * 2017-09-19 2018-02-23 江苏方天电力技术有限公司 一种基于深度信念网络模型的风机故障检测方法
CN107959675A (zh) * 2017-11-25 2018-04-24 国网河南省电力公司电力科学研究院 配电网无线通信接入的网络异常流量检测方法和装置
US20180351823A1 (en) * 2017-05-31 2018-12-06 Fujitsu Limited Management apparatus, management method and non-transitory computer-readable storage medium for storing management program
US20190036952A1 (en) * 2017-07-28 2019-01-31 Penta Security Systems Inc. Method and apparatus for detecting anomaly traffic
CN109728939A (zh) * 2018-12-13 2019-05-07 杭州迪普科技股份有限公司 一种网络流量检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948166B (zh) * 2017-11-29 2020-09-25 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108334907B (zh) * 2018-02-09 2019-05-17 哈尔滨工业大学（威海） 一种基于深度学习的复杂装备点异常检测方法及系统
CN109818798A (zh) * 2019-02-19 2019-05-28 上海海事大学 一种融合kpca和elm的无线传感器网络入侵检测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686235A (zh) * 2008-09-26 2010-03-31 中联绿盟信息技术(北京)有限公司 网络异常流量分析设备和方法
US20180351823A1 (en) * 2017-05-31 2018-12-06 Fujitsu Limited Management apparatus, management method and non-transitory computer-readable storage medium for storing management program
US20190036952A1 (en) * 2017-07-28 2019-01-31 Penta Security Systems Inc. Method and apparatus for detecting anomaly traffic
CN107725283A (zh) * 2017-09-19 2018-02-23 江苏方天电力技术有限公司 一种基于深度信念网络模型的风机故障检测方法
CN107959675A (zh) * 2017-11-25 2018-04-24 国网河南省电力公司电力科学研究院 配电网无线通信接入的网络异常流量检测方法和装置
CN109728939A (zh) * 2018-12-13 2019-05-07 杭州迪普科技股份有限公司 一种网络流量检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Advances in Intelligent Data Analysis XIX", vol. 32, 29 September 2019, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-030-71592-2, ISSN: 0302-9743, article JI SHUJIAN; SUN TONGZHENG; YE KEJIANG; WANG WENBO; XU CHENG-ZHONG: "DAFL: Deep Adaptive Feature Learning for Network Anomaly Detection", pages: 350 - 354, XP047524227, DOI: 10.1007/978-3-030-30709-7_32 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496120A (zh) * 2021-06-18 2022-12-20 中国移动通信集团浙江有限公司 物联网设备异常检测方法、装置、设备及存储介质
CN113542241A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种基于CNN-BiGRU混合模型的入侵检测方法及装置
CN114154151A (zh) * 2021-11-05 2022-03-08 济南浪潮数据技术有限公司 一种恶意虚拟机检测的方法、装置、设备及可读介质
CN114338853A (zh) * 2021-12-31 2022-04-12 西南民族大学 一种工业互联网下的区块链流量监检测方法
CN114338853B (zh) * 2021-12-31 2022-09-20 西南民族大学 一种工业互联网下的区块链流量监检测方法
CN114629695A (zh) * 2022-02-28 2022-06-14 天翼安全科技有限公司 一种网络异常检测方法、装置、设备和介质
CN114742572A (zh) * 2022-02-28 2022-07-12 北京明略软件系统有限公司 异常流量的识别方法和装置、存储介质、电子装置
CN114697139A (zh) * 2022-05-25 2022-07-01 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN114697139B (zh) * 2022-05-25 2022-09-02 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN115203186A (zh) * 2022-06-27 2022-10-18 同济大学 一种数据异常检测方法、系统、电子设备及可读存储介质
CN116208356A (zh) * 2022-10-27 2023-06-02 浙江大学 一种基于深度学习的虚拟货币挖矿流量检测方法
CN116208356B (zh) * 2022-10-27 2023-09-29 浙江大学 一种基于深度学习的虚拟货币挖矿流量检测方法
CN115623531B (zh) * 2022-11-29 2023-03-31 浙大城市学院 利用无线射频信号的隐藏监控设备发现和定位方法
CN115623531A (zh) * 2022-11-29 2023-01-17 浙大城市学院 利用无线射频信号的隐藏监控设备发现和定位方法
CN116366325A (zh) * 2023-03-27 2023-06-30 南方电网数字电网集团信息通信科技有限公司 一种基于终端安全态势数据的异常检测模型构建方法
CN116893663A (zh) * 2023-09-07 2023-10-17 之江实验室 一种主控异常检测方法、装置、存储介质及电子设备
CN116893663B (zh) * 2023-09-07 2024-01-09 之江实验室 一种主控异常检测方法、装置、存储介质及电子设备
CN117830728A (zh) * 2024-01-02 2024-04-05 北京天防安全科技有限公司 异常流量检测方法、装置、电子设备及介质
CN117537951B (zh) * 2024-01-10 2024-03-26 西南交通大学 一种基于深度学习的超导悬浮器内部温升检测方法及装置
CN117537951A (zh) * 2024-01-10 2024-02-09 西南交通大学 一种基于深度学习的超导悬浮器内部温升检测方法及装置
US12247885B2 (en) 2024-01-10 2025-03-11 Southwest Jiaotong University Method and device for detecting temperature rise inside superconducting levitation device based on deep learning
CN118054972A (zh) * 2024-04-11 2024-05-17 石家庄学院 基于异常流量样本增强的检测方法、系统、设备及介质
CN118445640A (zh) * 2024-07-08 2024-08-06 艾肯（江苏）工业技术有限公司 一种基于人工智能的流量检测系统及方法
CN119051996A (zh) * 2024-10-31 2024-11-29 上海斗象信息科技有限公司 异常流量检测模型的训练方法及装置、监测方法、设备
CN119603015A (zh) * 2024-11-21 2025-03-11 中国电信股份有限公司技术创新中心 一种更新异常检测方法
CN119782831A (zh) * 2025-03-13 2025-04-08 上海斗象信息科技有限公司 模型训练方法及装置、数据清洗方法及电子设备
CN120750680A (zh) * 2025-09-08 2025-10-03 江苏航运职业技术学院 一种基于多维度的网络安全态势感知系统及方法

Also Published As

Publication number Publication date
CN111064721A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
WO2021114231A1 (zh) 网络流量异常检测模型的训练方法及检测方法
CN111242199B (zh) 图像分类模型的训练方法及分类方法
Qi et al. Deep face clustering using residual graph convolutional network
CN111553127B (zh) 一种多标记的文本类数据特征选择方法及装置
CN112153002B (zh) 告警信息分析方法、装置、计算机设备和存储介质
CN113591915B (zh) 基于半监督学习和单分类支持向量机的异常流量识别方法
CN109787958B (zh) 网络流量实时检测方法及检测终端、计算机可读存储介质
CN111222638B (zh) 一种基于神经网络的网络异常检测方法及装置
CN110493221A (zh) 一种基于聚簇轮廓的网络异常检测方法
Gopali et al. A comparative study of detecting anomalies in time series data using LSTM and TCN models
KR102387886B1 (ko) 인공지능 학습을 위한 클린 라벨 데이터 정제 방법 및 장치
WO2019200738A1 (zh) 数据特征提取的方法、装置、计算机设备和存储介质
CN112039903A (zh) 基于深度自编码神经网络模型的网络安全态势评估方法
Chen et al. Gaia: Delving into gradient-based attribution abnormality for out-of-distribution detection
CN110672323A (zh) 一种基于神经网络的轴承健康状态评估方法及装置
CN118688206A (zh) 橡胶密封件自动化生产线及其方法
CN113312968B (zh) 一种监控视频中的真实异常检测方法
CN118520400A (zh) 一种基于对比学习优化的推荐系统异常检测方法和装置
Zhang et al. Splitting & integrating: Out-of-distribution detection via adversarial gradient attribution
WO2021244105A1 (zh) 一种特征向量维度压缩方法、装置、设备、介质
CN114863170B (zh) 一种基于深度学习的新能源车电池自燃预警方法及装置
CN117332337A (zh) 电池热失控预警方法、装置、服务器和存储介质
CN111858343A (zh) 一种基于攻击能力的对抗样本生成方法
CN111832572B (zh) 用于分类模型的经计算机实现的分析的方法
CN108376266A (zh) 基于样本边缘点内部点的单类支持向量机核参数优化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19956032

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19956032

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.01.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 19956032

Country of ref document: EP

Kind code of ref document: A1