WO2020119662A1 - 一种网络流量分类方法 - Google Patents

一种网络流量分类方法 Download PDF

Info

Publication number
WO2020119662A1
WO2020119662A1 PCT/CN2019/124190 CN2019124190W WO2020119662A1 WO 2020119662 A1 WO2020119662 A1 WO 2020119662A1 CN 2019124190 W CN2019124190 W CN 2019124190W WO 2020119662 A1 WO2020119662 A1 WO 2020119662A1
Authority
WO
WIPO (PCT)
Prior art keywords
data set
network
sample data
label
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/124190
Other languages
English (en)
French (fr)
Inventor
赵世林
叶可江
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Publication of WO2020119662A1 publication Critical patent/WO2020119662A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • This application belongs to the technical field of network traffic management, and in particular relates to a network traffic classification method.
  • Traffic classification and application identification play an important role in network management, resource allocation, on-demand services, and security systems, such as service quality and intrusion detection systems. How to accurately classify unknown traffic to improve system resource utilization, network resource redistribution, and provide personalized services to customers is a major challenge.
  • the present application provides a method for classifying network traffic, which includes the following steps:
  • Step 1 Collect network traffic sample data
  • Step 2 Pre-process the sample data to obtain the sample data set
  • Step 3 Label the sample data in the sample data set to obtain a label data set
  • Step 4 Integrate the label data set and the unknown label data set to obtain a hybrid training data set
  • Step 5 Perform layered protocol feature extraction on the network flow of the label data set to obtain a feature flow data set
  • Step 6 Perform training modeling and test verification on the mixed training data set and the feature stream data set using a clustering algorithm
  • Step 7. Output classification results.
  • the step 1 includes the following steps:
  • the sample data in step 1 includes known network data packets and network logs, and the sample data includes unknown network data packets and network logs.
  • the step 2 preprocessing the sample data includes cleaning the sample data flow and removing irregular data packets.
  • the step 4 integrates the labeled data set and the unknown label data set including extracting instances from unknown network packets using a label propagation algorithm, and extracting the destination IP of the labeled data set and the unlabeled data set , Destination port number and transmission protocol for homology matching; get mixed training data set.
  • the step 6 includes clustering the mixed training data set and the feature stream data set, and then continuously iteratively training to test the trained classification model.
  • the sample data in step 2 includes an unknown flow rate and a known flow rate.
  • the step 3 labeling the sample data includes labeling the sample data of known application traffic.
  • the network traffic classification method provided in this application uses a small number of label data sets but can achieve better classification results. It uses protocol feature sets and mixed data sets for training modeling and clustering training, which has a good clustering effect; this The method involved in the application can accurately utilize the similarity between the known and unknown streams and have an effective feature set to ensure that in the process of network traffic classification, the associated information between network streams can be fully utilized. After training, unknown traffic can be carried out Accurate classification and identification. The classification model obviously has high classification accuracy. This method can ensure a high classification accuracy under a large data set, and has good scalability.
  • FIG. 1 is a flowchart of a network traffic classification method of the present application.
  • the k of k-means is the final cluster number, which needs to be specified in advance.
  • k-means is fairly simple in common machine learning algorithms. The basic process is as follows:
  • this application provides a method for classifying network traffic.
  • the method includes the following steps:
  • Step 1 Collect network traffic sample data
  • Step 2 Pre-process the sample data to obtain a sample data set
  • Step 3 Label the sample data in the sample data set to obtain a label data set; prepare input for clustering algorithm model training; here, labeling a small number of samples can achieve better classification results; combine with unlabeled samples The rule gets the expanded flow label data set;
  • Step 4 Integrate the labeled data set and the unknown label data set to obtain a hybrid training data set
  • Step 5 Perform layered protocol feature extraction on the network flow of the label data set to obtain a feature flow data set
  • Step 6 A clustering algorithm is used for training modeling and test verification of the mixed training data set and feature stream data set; this stage is used to test the robustness of the classification model; the clustering algorithm is used to iteratively train to achieve better Clustering accuracy; test data set in this verification stage to test the classification model that has been trained. Model classification efficiency and robustness are significantly improved;
  • Step 7. Output classification results.
  • 101 Select a large-scale network data center and prepare to collect sample data; using similar stream sample data from the same network application mechanism can obtain a good data labeling effect and improve labeling accuracy.
  • sample data includes known network data packets and network logs, and the sample data also includes unknown network data packets and network logs.
  • step 2 includes cleaning the sample data traffic and removing irregular data packets.
  • step 3 includes finding out the IP address, port number and transmission protocol of the known network application traffic; by looking up the IP address and port fields associated with the known network application in the network log, the label matching is completed to obtain the label data set.
  • the step 4 includes using a label propagation algorithm (Label Propagation Algorithm, LPA) to extract quantitative instances from unknown network packets, by extracting the destination IP, destination port number and Transmission protocol for homology matching; get mixed training data set. If the client uses the same transmission protocol and fixed port number to send requests to the same destination IP for a period of time, this segment of traffic can be considered as traffic generated by the same application, so that similar traffic label propagation can be performed.
  • the label data set is lacking, the label data set can be expanded through the label propagation algorithm to ensure the equivalence of the label data set.
  • the labeled data set and the flow data of the unknown application can be fused into a new training set, which can be used to train the model. It can make the unknown application flow data better match and internally correlate with the data of the known application mark.
  • the step 5 includes inputting a tag data set, based on the TCP/IP protocol, performing hierarchical protocol feature extraction on each tag data instance; based on the round-trip information of the client and server, and the application layer based on HTTP/FTP/SMTP/
  • Each protocol of DNS extracts features by sub-protocol;
  • the transport layer is based on TCP/UDP protocol and extracts features by sub-protocol;
  • the network layer extracts features based on IP protocol to obtain feature stream data set. Extracting the protocol features of each application layer, transport layer, and network layer of the label data set can be more fine-grained to match the unknown traffic data, and can achieve good classification accuracy.
  • step 6 includes the following steps:
  • the initial K clusters, each cluster center is composed of the value obtained by weighting each attribute; the initial K value should not be too small or too large, in order to obtain better Classification effect, using cross-validation to iteratively obtain the optimal K value;
  • the probability can be classified and calculated according to the principle mechanism of event probability Estimation: According to the maximum estimated value of the class probability, it is determined that this class is the label of the cluster, and the unknown data stream in this cluster is divided into this class.
  • the protocol feature set and mixed data set are used to train and model on the K-means clustering algorithm, and the clustering training has a good clustering effect.
  • the mixed training data set and the protocol feature stream data set extracted from the expanded label data set are input into the K-means clustering algorithm, which can strengthen the mining of the association between unknown applications and known applications in the training data set. After continuous training and clustering, the degree of data aggregation can be improved, the influence of data between clusters can be reduced, and the classification accuracy can be improved.
  • sample data in step 2 includes an unknown flow rate and a known flow rate.
  • step 3 of labeling the sample data includes labeling the sample data of the known application traffic.
  • the result shows stable classification performance, it can process a large amount of data, and has good scalability; in the process of training the model, iterative iterations can be achieved to achieve higher Clustering accuracy.
  • the method involved in this application can effectively guarantee the high accuracy and high performance of unknown traffic classification.
  • the network traffic classification method provided in this application uses a small number of label data sets but can achieve better classification results. It uses protocol feature sets and mixed data sets to train and model on the K-means clustering algorithm for cluster training. Very good clustering effect; the method involved in this application can accurately utilize the similarity between known and unknown flows and possess an effective feature set to ensure that the associated information between network flows can be fully utilized in the process of network traffic classification After training, the unknown traffic is accurately classified and identified.
  • the classification model obviously has high classification accuracy. This method can ensure a high classification accuracy under a large data set, and has good scalability. Has a good classification effect of unknown traffic.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种网络流量分类方法，包括：采集网络流量样本数据；对样本数据进行预处理，得到样本数据集；对样本数据打标签，得到标签数据集；将有标签的数据集和未知标签的数据集整合，得到混合训练数据集；对标签数据集的网络流进行分层协议特征提取，得到特征流数据集；采用聚类算法对混合训练数据集和特征流数据集进行训练建模和测试验证；输出分类结果。该方法能充分利用网络流间关联信息，经过训练，对未知流量进行精准的分类和识别。

Description

一种网络流量分类方法 技术领域
本申请属于网络流量管理技术领域，特别是涉及一种网络流量分类方法。
背景技术
随着互联网技术的高速发展，网络环境随之也变得非常复杂和多样化，因此对网络的正常运行、网络服务、资源实时分配和流量管理有更高的要求，此时有效的监管网络活动的方法非常重要。诸如，对于企业管理者来说，做到对流量精确的分类和识别，可以对网络资源进行精准管理、资源有效再利用和提供个性化服务起到很好的作用。同时对于企业，能节省网络资源不必要的开支也是非常的重要。流量分类也是网络安全和流量工程的重要一环。如果能准确的把流量进行分类和识别，不仅对网络安全和网络管理服务效率有很大提升，也可以降低系统时间和内存开销。由于大量的网络应用涌现，使得网络环境变得复杂和多样。流量分类和应用识别在网络管理、资源分配、按需服务和安全系统等中发挥着重要作用，如服务质量和入侵检测系统等。如何能准确的对未知流量进行精准的分类，来提高系统资源利用率、网络资源再分配和给客户提供个性化服务是一大挑战。
现有的网络流量分类方法大都是基于传统的机器学习技术，分类性能大部分依赖于基于包特征或者基于流统计的设计。由于大量未知应用流量的产生，对网络资源和系统环境产生一定的影响，目前，随着未知流量的多变化和复杂化，已存在的分类方法在特征提取模块和分类算法模块却不能达到很好的分类效果；不能精确检测和识别出未知流量。
发明内容
1.要解决的技术问题
基于现有的网络流量分类方法大都是基于传统的机器学习技术，分类性能大部分依赖于基于包特征或者基于流统计的设计。由于大量未知应用流量的产生，对网络资源和系统环境产生一定的影响，目前，随着未知流量的多变化和复杂化，已存在的分类方法在特征提取模块和分类算法模块却不能达到很好的分类效果；不能精确检测和识别出未知流量的问题，本申请提供了一种网络流量分类方法。
2.技术方案
为了达到上述的目的，本申请提供了一种网络流量分类方法，所述方法包括如下步骤：
步骤1、采集网络流量样本数据；
步骤2、对样本数据进行预处理，得到样本数据集；
步骤3、对所述样本数据集中的样本数据打标签，得到标签数据集；
步骤4、将所述标签数据集和未知标签数据集整合，得到混合训练数据集；
步骤5、对所述标签数据集的网络流进行分层协议特征提取，得到特征流数据集；
步骤6、采用聚类算法对所述混合训练数据集和所述特征流数据集进行训练建模和测试验证；
步骤7、输出分类结果。
可选地，所述步骤1包括如下步骤：
101、选择数据库；
102、监控所述数据库中的已知网络应用流量和未知网络应用流量；
103、捕捉所有应用流量信息，采集样本数据。
可选地，所述步骤1中样本数据包括已知网络数据包和网络日志，所述样本数据包括未知网络数据包和网络日志。
可选地，所述步骤2对样本数据进行预处理包括清洗样本数据流量，去除不规则的数据包。
可选地，所述步骤3对样本数据打标签包括找出已知网络应用流量的IP地址、端口号和传输协议；通过查找网络日志中与已知网络应用关联的IP地址和端口号，完成标签匹配，得到扩充流标签数据集。
可选地，所述步骤4将有标签的数据集和未知标签的数据集整合包括采用标签传播算法从未知网络包里抽取实例，通过提取已打标签数据集和未打标签数据集的目的IP、目的端口号和传输协议，进行同源匹配；得到混合训练数据集。
可选地，所述步骤5对标签数据集的网络流进行分层协议特征提取包括输入标签数据集，对每个标签数据进行分层协议特征提取，得到特征流数据集。
可选地，所述步骤6包括对所述混合训练数据集和所述特征流数据集进行聚类，然后不断迭代训练，测试训练好的分类模型。
可选地，所述步骤2中样本数据包括未知流量和已知流量。
可选地，所述步骤3对样本数据打标签包括对已知应用流量样本数据打标签。
3.有益效果
与现有技术相比，本申请提供的一种网络流量分类方法的有益效果在于：
本申请提供的网络流量分类方法，采用少量的标签数据集却能达到更好的分类效果，采用协议特征集和混合数据集训练建模，进行聚类训练，有很好的聚类效果；本申请涉及的方 法可以准确地利用已知流和未知流之间的相似性和拥有有效的特征集，确保在网络流量分类过程中，能充分利用网络流间关联信息，经过训练，对未知流量进行精准的分类和识别。分类模型明显有很高的分类精度。用这种方法可以在大数据集下，可保证较高分类准确率，且有较好的伸缩性。
附图说明
图1是本申请的一种网络流量分类方法流程图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
聚类分析算法很多，比较经典的有k-means和层次聚类法。
k-means的k就是最终聚集的簇数，这个需要事先自己指定。k-means在常见的机器学习算法中算是相当简单的，基本过程如下：
首先任取(你没看错，就是任取)k个样本点作为k个簇的初始中心；
对每一个样本点，计算它们与k个中心的距离，把它归入距离最小的中心所在的簇；
等到所有的样本点归类完毕，重新计算k个簇的中心；
重复以上过程直至样本点归入的簇不再变动。
参见图1，本申请提供一种网络流量分类方法，所述方法包括如下步骤：
步骤1、采集网络流量样本数据；
步骤2、对所述样本数据进行预处理，得到样本数据集；
步骤3、对所述样本数据集中的样本数据打标签，得到标签数据集；为聚类算法模型训练做输入准备；这里少量样本打标签却能达到更好的分类效果；与未标签的样本结合规则得到扩充流标签数据集；
步骤4、将有标签的数据集和未知标签的数据集整合，得到混合训练数据集；
步骤5、对标签数据集的网络流进行分层协议特征提取，得到特征流数据集；
步骤6、采用聚类算法对混合训练数据集和特征流数据集进行训练建模和测试验证；此阶段是用来测试分类模型鲁棒性；用聚类算法不断迭代训练，来达到更好的聚类精度；此验证阶段的测试数据集来测试已经训练好的分类模型。模型分类效率和鲁棒性明显提高；
步骤7、输出分类结果。
进一步地，101、选择一个大型网络数据中心，准备采集样本数据；利用相似的流样本数据来自同一个网络应用机制，可得到很好的数据标记效果，会提高标记精度。
102、采用高性能网络监控软件监控已知和未知网络应用流量；
103、采用Wireshark软件采集网络数据，捕捉所有流量包信息，获得样本数据。
进一步地，所述样本数据包括已知网络数据包和网络日志，该样本数据也包括未知网络数据包和网络日志。
进一步地，步骤2包括清洗样本数据流量，去除不规则的数据包。
进一步地，步骤3包括找出已知网络应用流量的IP地址、端口号和传输协议；通过查找网络日志中与已知网络应用关联的IP地址和端口字段，完成标签匹配，得到标签数据集。
进一步地，所述步骤4包括采用标签传播算法(Label Propagation Algorithm，LPA)从未知网络包里抽取定量的实例，通过提取已打标签数据集和未打标签数据集的目的IP、目的端口号和传输协议，进行同源匹配；得到混合训练数据集。如果在一段时间内，客户端用一样的传输协议和固定的端口号给同样目的IP发送请求，那么此段流量可以认为是同一个应用产生的流量，这样就可以进行相似流量标签传播。在标签数据集缺少的情况下，可以通过标签传播算法进行标签数据集扩充，保证了标签数据集的对等性。可以把已标记的数据集和未知应用的流量数据进行融合成新的训练集，用其去训练模型，它可以让未知应用流量数据更好的与已知应用标记的数据相关匹配和内在关联。
进一步地，所述步骤5包括输入标签数据集，基于TCP/IP协议，对每个标签数据实例进行分层协议特征提取；基于客户端和服务端往返信息，应用层基于HTTP/FTP/SMTP/DNS各协议，分协议各提取特征；传输层基于TCP/UDP协议，分协议各提取特征；网络层基于IP协议提取特征，得到特征流数据集。提取标签数据集的各应用层、传输层、网络层中各协议特征，可以更加细粒度的与未知流量数据进行匹配，可达到很好的分类精度。
进一步地，所述步骤6包括如下步骤：
601、对混合训练数据集和特征流数据集采用优化的K-means聚类算法进行聚类；
602、采用交叉验证来迭代获取初设K值，初始K个簇，每个簇中心由每个属性加权获取的值组成；初设K值，不宜太小也不能过大，为了较好的得到分类效果，采用交叉验证来迭代获取最优K值；
603、根据特征流向量集中各类协议的每个属性，计算各实例间的加权距离；
604、按照每个实例到每个簇中心的最小距离依次递增排序，使得每个簇内实例间距离最小化，簇间距离最大化，最小误差平方和，并重新定义每个簇的中心；
605、重复603和604至使得簇的个数不再变化且满足所设的距离目标函数精度；
606、若簇中没有打标签的数据流，则此簇中的所有数据流都是未知的数据流；若簇中含有各类已知的标签数据流，可根据事件概率原理机制，分类计算概率估计；根据最大的类概率估计值，确定此类就是该簇的标签，此簇中未知的数据流就划分为该类。用协议特征集和混合数据集在K-means聚类算法上训练建模，进行聚类训练，有很好的聚类效果。将混合的训练数据集和从扩充的标签数据集中提取的协议特征流数据集，输入到K-means聚类算法中,可加强挖掘训练数据集中的未知应用和已知应用之间的关联关系，经过不断的训练聚类，可提高数据的聚合度，降低各簇间数据的影响，提高分类精度。
进一步地，所述步骤2中样本数据包括未知流量和已知流量。
进一步地，所述步骤3对样本数据打标签包括对已知应用流量样本数据打标签。
用这样的特征流数据集和混合训练集去训练聚类算法模型，结果表现出稳定的分类性能，它能够处理大量的数据，伸缩性较好；在训练模型过程中，可以不断迭代达到更高的聚类精度。相比现有技术，本申请涉及的方法能够有效的保障未知流量分类的高精度和高性能。
本申请提供的网络流量分类方法，采用少量的标签数据集却能达到更好的分类效果，采用协议特征集和混合数据集在K-means聚类算法上训练建模，进行聚类训练，有很好的聚类效果；本申请涉及的方法可以准确地利用已知流和未知流之间的相似性和拥有有效的特征集，确保在网络流量分类过程中，能充分利用网络流间关联信息，经过训练，对未知流量进行精准的分类和识别。分类模型明显有很高的分类精度。用这种方法可以在大数据集下，可保证较高分类准确率，且有较好的伸缩性。具有很好的未知流量分类效果。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (10)

  1. 一种网络流量分类方法，其特征在于：所述方法包括如下步骤：
    步骤1、采集网络流量样本数据；
    步骤2、对样本数据进行预处理，得到样本数据集；
    步骤3、对所述样本数据集中的样本数据打标签，得到标签数据集；
    步骤4、将所述标签数据集和未知标签数据集整合，得到混合训练数据集；
    步骤5、对所述标签数据集的网络流进行分层协议特征提取，得到特征流数据集；
    步骤6、采用聚类算法对所述混合训练数据集和所述特征流数据集进行训练建模和测试验证；
    步骤7、输出分类结果。
  2. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤1包括如下步骤：
    101、选择数据库；
    102、监控所述数据库中的已知网络应用流量和未知网络应用流量；
    103、捕捉所有应用流量信息，采集样本数据。
  3. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤1中样本数据包括已知网络数据包和网络日志，所述样本数据包括未知网络数据包和网络日志。
  4. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤2对样本数据进行预处理包括清洗样本数据流量，去除不规则的数据包。
  5. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤3对样本数据打标签包括找出已知网络应用流量的IP地址、端口号和传输协议；通过查找网络日志中与已知网络应用关联的IP地址和端口号，完成标签匹配，得到扩充流标签数据集。
  6. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤4将有标签的数据集和未知标签的数据集整合包括采用标签传播算法从未知网络包里抽取实例，通过提取已打标签数据集和未打标签数据集的目的IP、目的端口号和传输协议，进行同源匹配；得到混合训练数据集。
  7. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤5对标签数据集的网络流进行分层协议特征提取包括输入标签数据集，对每个标签数据进行分层协议特征提取，得到特征流数据集。
  8. 如权利要求1所述的网络流量分类方法，其特征在于：所述步骤6包括对所述混合训练数据集和所述特征流数据集进行聚类，然后不断迭代训练，测试训练好的分类模型。
  9. 如权利要求1～8中任一项所述的网络流量分类方法，其特征在于：所述步骤2中样 本数据包括未知流量和已知流量。
  10. 如权利要求9所述的网络流量分类方法，其特征在于：所述步骤3对样本数据打标签包括对已知应用流量样本数据打标签。
PCT/CN2019/124190 2018-12-14 2019-12-10 一种网络流量分类方法 Ceased WO2020119662A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811535347.0A CN109726744B (zh) 2018-12-14 2018-12-14 一种网络流量分类方法
CN201811535347.0 2018-12-14

Publications (1)

Publication Number Publication Date
WO2020119662A1 true WO2020119662A1 (zh) 2020-06-18

Family

ID=66297580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/124190 Ceased WO2020119662A1 (zh) 2018-12-14 2019-12-10 一种网络流量分类方法

Country Status (2)

Country Link
CN (1) CN109726744B (zh)
WO (1) WO2020119662A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214764A (zh) * 2020-09-08 2021-01-12 中国科学院信息工程研究所 一种面向复杂网络恶意程序分类方法及系统
CN113468329A (zh) * 2021-07-05 2021-10-01 成都深思科技有限公司 基于层次聚类的未知协议分类方法
CN113726809A (zh) * 2021-09-07 2021-11-30 国网湖南省电力有限公司 基于流量数据的物联网设备识别方法
WO2022078042A1 (zh) * 2020-10-12 2022-04-21 中兴通讯股份有限公司 流量细分识别方法、系统、电子设备和存储介质
CN114640611A (zh) * 2022-03-09 2022-06-17 西安电子科技大学 一种未知异构工业协议检测识别方法、系统、设备及介质
CN114765634A (zh) * 2021-01-13 2022-07-19 腾讯科技（深圳）有限公司 网络协议识别方法、装置、电子设备及可读存储介质
CN114884894A (zh) * 2022-04-18 2022-08-09 南京邮电大学 一种基于迁移学习的半监督网络流量分类方法
CN114925358A (zh) * 2022-04-14 2022-08-19 河北师范大学 一种面向机器学习模型的标签翻转攻击及其防御方法
CN114978703A (zh) * 2022-05-24 2022-08-30 湖北天融信网络安全技术有限公司 训练网络攻击分类模型的方法及识别网络攻击类型方法
CN115037680A (zh) * 2022-04-25 2022-09-09 哈尔滨工业大学（威海） 一种面向sase的流量选路方法及系统
CN115085960A (zh) * 2021-03-16 2022-09-20 中国移动通信有限公司研究院 网络安全接入认证方法、装置、电子设备及可读存储介质
CN115842788A (zh) * 2021-09-16 2023-03-24 中国移动通信集团辽宁有限公司 一种流量识别方法、装置、设备及计算机存储介质
CN116170829A (zh) * 2023-04-26 2023-05-26 浙江省公众信息产业有限公司 一种独立专网业务的运维场景识别方法及装置
CN116232699A (zh) * 2023-01-12 2023-06-06 清华大学深圳国际研究生院 细粒度网络入侵检测模型的训练方法和网络入侵检测方法
CN116647877A (zh) * 2023-06-12 2023-08-25 广州爱浦路网络技术有限公司 一种基于图卷积模型的流量类别验证方法和系统
CN116662817A (zh) * 2023-07-31 2023-08-29 北京天防安全科技有限公司 物联网设备的资产识别方法及系统
CN116668111A (zh) * 2023-05-29 2023-08-29 东南大学 一种面向高速网络的网站指纹识别方法
WO2023173790A1 (zh) * 2022-03-18 2023-09-21 广州大学 一种基于数据包的加密流量分类系统
CN117938524A (zh) * 2024-01-31 2024-04-26 北京浩瀚深度信息技术股份有限公司 一种基于人工智能算法的流量分类方法及存储介质
CN118138380A (zh) * 2024-05-08 2024-06-04 华信咨询设计研究院有限公司 一种基于ip协议ttl值智能识别与分类方法、系统及介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726744B (zh) * 2018-12-14 2020-11-10 深圳先进技术研究院 一种网络流量分类方法
CN112115957B (zh) * 2019-06-21 2026-01-23 华为技术有限公司 数据流识别方法及装置、计算机存储介质
CN110708341B (zh) * 2019-11-15 2020-09-29 中国科学院信息工程研究所 一种基于远程桌面加密网络流量模式差异的用户行为检测方法及系统
CN111786903B (zh) * 2020-05-28 2022-02-25 西安电子科技大学 一种基于约束模糊聚类和粒计算的网络流量分类方法
CN114077625B (zh) * 2020-08-20 2025-07-25 华为技术有限公司 数据类型的确定方法、装置、设备及存储介质
CN112187653B (zh) * 2020-09-28 2022-03-25 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和系统
CN112118268A (zh) * 2020-09-28 2020-12-22 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和系统
CN112381121A (zh) * 2020-10-28 2021-02-19 中国科学院信息工程研究所 一种基于孪生网络的未知类别网络流量的检测与识别方法
CN112637084B (zh) * 2020-12-10 2022-09-23 中山职业技术学院 分布式网络流量新奇检测方法及分类器
CN113420318A (zh) * 2021-03-23 2021-09-21 成都艾视特信息技术有限公司 一种利用道闸及门机开关门数据的居民出行大数据分析系统
CN113098735B (zh) 2021-03-31 2022-10-11 上海天旦网络科技发展有限公司 面向推理的应用流量和指标向量化方法及系统
CN114301821B (zh) * 2021-12-28 2024-09-06 合肥磐稳检测技术有限公司 模组测试方法、装置、终端及计算机可读存储介质
CN114372536A (zh) * 2022-01-13 2022-04-19 中国人民解放军国防科技大学 未知网络流量数据识别方法、装置、计算机设备和存储介质
CN114584377A (zh) * 2022-03-04 2022-06-03 奇安信科技集团股份有限公司 流量异常检测方法、模型的训练方法、装置、设备及介质
CN114881118B (zh) * 2022-04-12 2025-04-15 中国电子科技集团公司第三十研究所 未知协议分类方法、装置、设备及存储介质
CN115002032A (zh) * 2022-05-13 2022-09-02 中国工商银行股份有限公司 网络流量的控制方法、装置、处理器及电子设备
CN115242724B (zh) * 2022-07-21 2024-05-31 东南大学 一种基于两阶段聚类的高速网络流量服务分类方法
CN115828149A (zh) * 2022-08-05 2023-03-21 北京上元信安技术有限公司 工业控制数据的分类方法及系统
CN115296919B (zh) * 2022-08-15 2023-04-25 江西师范大学 一种边缘网关对特殊流量包计算方法及系统
CN116760561A (zh) * 2023-04-10 2023-09-15 杭州安恒信息技术股份有限公司 一种基于微标签体系的流量识别方法、装置、设备及介质
CN120512345B (zh) * 2025-07-17 2025-10-31 苏州元脑智能科技有限公司 网络管理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283859A1 (en) * 2015-03-25 2016-09-29 Cisco Technology, Inc. Network traffic classification
CN106452948A (zh) * 2016-09-22 2017-02-22 恒安嘉新(北京)科技有限公司 一种网络流量的自动分类方法和系统
CN106911591A (zh) * 2017-03-09 2017-06-30 广东顺德中山大学卡内基梅隆大学国际联合研究院 网络流量的分类方法和系统
CN108287905A (zh) * 2018-01-26 2018-07-17 华南理工大学 一种网络流特征的提取与存储方法
CN109726744A (zh) * 2018-12-14 2019-05-07 深圳先进技术研究院 一种网络流量分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7017186B2 (en) * 2002-07-30 2006-03-21 Steelcloud, Inc. Intrusion detection system using self-organizing clusters
US9305238B2 (en) * 2008-08-29 2016-04-05 Oracle International Corporation Framework for supporting regular expression-based pattern matching in data streams
CN102291279B (zh) * 2011-08-18 2013-11-27 西北工业大学 P2p网络流量检测方法
CN102307123B (zh) * 2011-09-06 2013-09-25 电子科技大学 基于传输层流量特征的nat流量识别方法
CN102315974B (zh) * 2011-10-17 2014-08-27 北京邮电大学 基于层次化特征分析的tcp、udp流量在线识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283859A1 (en) * 2015-03-25 2016-09-29 Cisco Technology, Inc. Network traffic classification
CN106452948A (zh) * 2016-09-22 2017-02-22 恒安嘉新(北京)科技有限公司 一种网络流量的自动分类方法和系统
CN106911591A (zh) * 2017-03-09 2017-06-30 广东顺德中山大学卡内基梅隆大学国际联合研究院 网络流量的分类方法和系统
CN108287905A (zh) * 2018-01-26 2018-07-17 华南理工大学 一种网络流特征的提取与存储方法
CN109726744A (zh) * 2018-12-14 2019-05-07 深圳先进技术研究院 一种网络流量分类方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214764B (zh) * 2020-09-08 2024-01-09 中国科学院信息工程研究所 一种面向复杂网络恶意程序分类方法及系统
CN112214764A (zh) * 2020-09-08 2021-01-12 中国科学院信息工程研究所 一种面向复杂网络恶意程序分类方法及系统
WO2022078042A1 (zh) * 2020-10-12 2022-04-21 中兴通讯股份有限公司 流量细分识别方法、系统、电子设备和存储介质
CN114765634A (zh) * 2021-01-13 2022-07-19 腾讯科技（深圳）有限公司 网络协议识别方法、装置、电子设备及可读存储介质
CN114765634B (zh) * 2021-01-13 2023-12-12 腾讯科技（深圳）有限公司 网络协议识别方法、装置、电子设备及可读存储介质
CN115085960A (zh) * 2021-03-16 2022-09-20 中国移动通信有限公司研究院 网络安全接入认证方法、装置、电子设备及可读存储介质
CN113468329B (zh) * 2021-07-05 2024-02-06 成都锋卫科技有限公司 基于层次聚类的未知协议分类方法
CN113468329A (zh) * 2021-07-05 2021-10-01 成都深思科技有限公司 基于层次聚类的未知协议分类方法
CN113726809B (zh) * 2021-09-07 2023-07-18 国网湖南省电力有限公司 基于流量数据的物联网设备识别方法
CN113726809A (zh) * 2021-09-07 2021-11-30 国网湖南省电力有限公司 基于流量数据的物联网设备识别方法
CN115842788A (zh) * 2021-09-16 2023-03-24 中国移动通信集团辽宁有限公司 一种流量识别方法、装置、设备及计算机存储介质
CN114640611A (zh) * 2022-03-09 2022-06-17 西安电子科技大学 一种未知异构工业协议检测识别方法、系统、设备及介质
WO2023173790A1 (zh) * 2022-03-18 2023-09-21 广州大学 一种基于数据包的加密流量分类系统
CN114925358B (zh) * 2022-04-14 2026-03-27 河北师范大学 一种面向机器学习模型的标签翻转攻击及其防御方法
CN114925358A (zh) * 2022-04-14 2022-08-19 河北师范大学 一种面向机器学习模型的标签翻转攻击及其防御方法
CN114884894B (zh) * 2022-04-18 2023-10-20 南京邮电大学 一种基于迁移学习的半监督网络流量分类方法
CN114884894A (zh) * 2022-04-18 2022-08-09 南京邮电大学 一种基于迁移学习的半监督网络流量分类方法
CN115037680A (zh) * 2022-04-25 2022-09-09 哈尔滨工业大学（威海） 一种面向sase的流量选路方法及系统
CN115037680B (zh) * 2022-04-25 2023-08-22 哈尔滨工业大学（威海） 一种面向sase的流量选路方法及系统
CN114978703B (zh) * 2022-05-24 2024-10-25 湖北天融信网络安全技术有限公司 训练网络攻击分类模型的方法及识别网络攻击类型方法
CN114978703A (zh) * 2022-05-24 2022-08-30 湖北天融信网络安全技术有限公司 训练网络攻击分类模型的方法及识别网络攻击类型方法
CN116232699A (zh) * 2023-01-12 2023-06-06 清华大学深圳国际研究生院 细粒度网络入侵检测模型的训练方法和网络入侵检测方法
CN116170829B (zh) * 2023-04-26 2023-07-04 浙江省公众信息产业有限公司 一种独立专网业务的运维场景识别方法及装置
CN116170829A (zh) * 2023-04-26 2023-05-26 浙江省公众信息产业有限公司 一种独立专网业务的运维场景识别方法及装置
CN116668111A (zh) * 2023-05-29 2023-08-29 东南大学 一种面向高速网络的网站指纹识别方法
CN116647877B (zh) * 2023-06-12 2024-03-15 广州爱浦路网络技术有限公司 一种基于图卷积模型的流量类别验证方法和系统
CN116647877A (zh) * 2023-06-12 2023-08-25 广州爱浦路网络技术有限公司 一种基于图卷积模型的流量类别验证方法和系统
CN116662817B (zh) * 2023-07-31 2023-11-24 北京天防安全科技有限公司 物联网设备的资产识别方法及系统
CN116662817A (zh) * 2023-07-31 2023-08-29 北京天防安全科技有限公司 物联网设备的资产识别方法及系统
CN117938524A (zh) * 2024-01-31 2024-04-26 北京浩瀚深度信息技术股份有限公司 一种基于人工智能算法的流量分类方法及存储介质
CN118138380A (zh) * 2024-05-08 2024-06-04 华信咨询设计研究院有限公司 一种基于ip协议ttl值智能识别与分类方法、系统及介质

Also Published As

Publication number Publication date
CN109726744A (zh) 2019-05-07
CN109726744B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
WO2020119662A1 (zh) 一种网络流量分类方法
US10833954B2 (en) Extracting dependencies between network assets using deep learning
CN109309630B (zh) 一种网络流量分类方法、系统及电子设备
CN113743542B (zh) 一种基于加密流量的网络资产识别方法与系统
WO2020038353A1 (zh) 异常行为检测方法及系统
Fan et al. AutoIoT: Automatically updated IoT device identification with semi-supervised learning
CN111314331A (zh) 一种基于条件变分自编码器的未知网络攻击检测方法
CN109525508B (zh) 基于流量相似性比对的加密流识别方法、装置及存储介质
CN109961204A (zh) 一种微服务架构下业务质量分析方法和系统
Wang et al. Automatic mobile app identification from encrypted traffic with hybrid neural networks
CN113645232A (zh) 一种面向工业互联网的智能化流量监测方法、系统及存储介质
CN112822189A (zh) 一种流量识别方法及装置
CN104270392A (zh) 一种基于三分类器协同训练学习的网络协议识别方法及系统
CN104468567B (zh) 一种网络多媒体业务流识别和映射的系统及方法
CN110034966B (zh) 一种基于机器学习的数据流分类方法及系统
CN114679318A (zh) 一种高速网络中轻量级的物联网设备识别方法
CN115766204A (zh) 一种针对加密流量的动态ip设备标识系统及方法
CN106911591A (zh) 网络流量的分类方法和系统
CN110519228B (zh) 一种黑产场景下恶意云机器人的识别方法及系统
Xiao et al. A traffic classification method with spectral clustering in SDN
Gómez Sena et al. Early traffic classification using support vector machines
CN117375958A (zh) 一种web应用系统识别方法、装置及可读存储介质
CN120318748A (zh) 一种海关监管作业现场异动及违规行为视频智能识别系统
CN111310796A (zh) 一种面向加密网络流的Web用户点击识别方法
Zhao et al. Traffic classification and application identification based on machine learning in large-scale supercomputing center

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19895310

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 02.11.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19895310

Country of ref document: EP

Kind code of ref document: A1