WO2019095719A1 - 网络流量异常检测方法、装置、计算机设备和存储介质 - Google Patents

网络流量异常检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2019095719A1
WO2019095719A1 PCT/CN2018/097042 CN2018097042W WO2019095719A1 WO 2019095719 A1 WO2019095719 A1 WO 2019095719A1 CN 2018097042 W CN2018097042 W CN 2018097042W WO 2019095719 A1 WO2019095719 A1 WO 2019095719A1
Authority
WO
WIPO (PCT)
Prior art keywords
network traffic
traffic data
time period
outlier
data
Prior art date
Application number
PCT/CN2018/097042
Other languages
English (en)
French (fr)
Inventor
代庆国
Original Assignee
深圳中兴网信科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳中兴网信科技有限公司 filed Critical 深圳中兴网信科技有限公司
Priority to US16/763,687 priority Critical patent/US20200374306A1/en
Publication of WO2019095719A1 publication Critical patent/WO2019095719A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Definitions

  • the present disclosure relates to the field of network security technologies, for example, to a network traffic anomaly detection method, apparatus, computer device, and computer readable storage medium.
  • DOS Disk Operating System
  • DDOS Distributed Denial of Service
  • botnets botnets and other network attacks.
  • network configuration error sporadic line interruption caused by abnormal traffic mixed in normal traffic, causing great harm to the network.
  • the present disclosure provides a network traffic anomaly detection method, including: collecting network traffic data in real time and storing it in a first preset database; determining network traffic anomaly detection model data according to network traffic data in a preset preset time period. According to the network traffic anomaly detection model data, it is determined whether the network traffic data collected after the preset time period is abnormal.
  • the present disclosure also provides a computer device including a processor for implementing any of the network traffic anomaly detection methods as described above when executing a computer program stored in a memory.
  • the network traffic anomaly detection method, device, computer equipment and storage medium provided by the disclosure can improve the efficiency of network traffic anomaly detection, realize abnormal analysis of unknown network traffic, improve the accuracy of network traffic anomaly detection, and are suitable for diversification.
  • the type of traffic meets the real-time requirements for anomaly detection.
  • FIG. 2 is a schematic block diagram of a network traffic anomaly detecting apparatus according to an embodiment
  • FIG. 3 is a schematic flowchart of a method for detecting an abnormality of a network traffic according to another embodiment
  • FIG. 4 is a schematic flowchart of a network traffic anomaly detection method according to an embodiment
  • FIG. 5 is a network traffic anomaly display interface provided by an embodiment.
  • the network traffic data is collected in real time and stored in the first preset database, realizing the real-time collection and storage of the network traffic data, and providing data support for determining the network traffic anomaly detection model data.
  • the collected network traffic data in the preset time period determines the network traffic anomaly detection model data, realizes the construction of the network traffic anomaly detection model data, and the model data is continuously updated over time, reducing the unchanging rules and human error.
  • the detection inaccuracy occurs, and the network traffic data collected after the preset time period is determined to be abnormal according to the network traffic anomaly detection model data, thereby improving the efficiency of network traffic anomaly detection and realizing the unknown network.
  • the method further includes: adding network traffic data collected after the preset time period to the second preset database when determining that the collected network traffic data is abnormal after the preset time period; parsing and counting the second pre- Set the network traffic data in the database, and update the content displayed in the corresponding abnormal display interface according to the statistical result.
  • the IP and protocol ports of the original network traffic can be parsed.
  • the network traffic data includes: an access time period, an access source IP address, an access target IP address, an access source port, an access target port, an input byte number, and an output byte number.
  • the method further includes: a forming unit 210, configured to set the data set according to the network traffic data and the network traffic anomaly detection model data collected after the preset time period; the determining unit 206 is further configured to: based on the local anomaly factor The algorithm determines a second outlier factor of the network traffic data collected after the preset time period in the data set; the determining unit 206 is further configured to: when the second outlier factor is greater than the second preset threshold, determine the second departure The network traffic data corresponding to the group factor is abnormal. The determining unit 206 is further configured to: when the second outlier factor is not greater than the second preset threshold, determine that the network traffic data corresponding to the second outlier is normal.
  • step 304 the traffic data in one month before the day is acquired, and the machine learning training system is poured into the machine learning training system, and the model data is extracted and saved.
  • step 308 abnormal traffic data is displayed.
  • the network traffic abnormality detecting method in this embodiment includes the following steps:
  • the network traffic abnormality detecting method, the network traffic abnormality detecting device, the computer device, and the computer readable storage medium provided by the foregoing embodiment are configured to construct network traffic abnormality detecting model data according to network traffic data in a preset time period collected in real time, and According to the network traffic anomaly detection model data, it is detected whether the network traffic data collected after the preset time period is abnormal, which improves the accuracy and efficiency of network traffic anomaly detection, is applicable to various traffic types, and satisfies the real-time detection of anomaly. Sexual requirements.
  • ROM read-only memory
  • RAM Random Access Memory
  • PROM Programmable Read-Only Memory
  • EPROM Erasable Programmable Read Only Memory
  • OTPROM One Time Programmable Read Only Memory
  • EEPROM Electronically-Erasable Programmable Read-Only Memory
  • CD-ROM Compact Disc Read-Only Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种网络流量异常检测方法、装置、计算机设备和存储介质，所述方法包括：实时采集网络流量数据，并存储到第一预设数据库中；根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据；根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常。

Description

网络流量异常检测方法、装置、计算机设备和存储介质
本申请要求在2017年11月14日提交中国专利局、申请号为201711119733.7的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开涉及网络安全技术领域，例如涉及一种网络流量异常检测方法、装置、计算机设备和计算机可读存储介质。
背景技术
网络流量中会出现一些异常流量，这些异常流量通常是由蠕虫传播、磁盘操作系统(Disk Operating System，DOS)攻击、分布式拒绝服务器(Distributed Denial of Service，DDOS)攻击、僵尸网络等网络攻击行为或者网络配置错误、偶发性线路中断引起的，异常流量混杂在正常流量中，对网络造成极大的危害。
相关技术中，一般通过人工配置判定规则来检测网络流量是否异常，即由用户制定一种规则或者使用应用自身的特定语法进行配置，误判率较高，检出率较低，难以适应高速发展变化的网络。
发明内容
本公开提供一种网络流量异常检测方法，包括：实时采集网络流量数据，并存储到第一预设数据库中；根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据；根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常。
本公开还提供一种网络流量异常检测装置，包括：采集单元，设置为实时采集网络流量数据，并存储到第一预设数据库中；构建单元，设置为根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据； 确定单元，设置为根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常。
本公开还提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一种网络流量异常检测方法。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一种网络流量异常检测方法。
本公开提供的网络流量异常检测方法、装置、计算机设备和存储介质，可以提高网络流量异常检测的效率，实现对未知网络流量的异常分析，提高网络流量异常检测的准确性，适用于多样化的流量类型，满足异常检测的实时性要求。
附图说明
图1为一实施例提供的网络流量异常检测方法的示意流程图；
图2为一实施例提供的网络流量异常检测装置的示意框图；
图3为另一实施例提供的网络流量异常检测方法的示意流程图；
图4为一实施例提供的网络流量异常检测方法的示意流程图；
图5为一实施例提供的网络流量异常展示界面。
具体实施方式
图1为本实施例提供的网络流量异常检测方法的示意流程图。如图1所示，本实施例提供的网络流量异常检测方法，包括如下步骤：
在步骤102中，实时采集网络流量数据，并存储到第一预设数据库中。
在步骤104中，根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据。
在步骤106中，根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常。
在该实施例中，通过实时采集网络流量数据，并存储到第一预设数据库中，实现了网络流量数据的实时采集和存储，为网络流量异常检测模型数据 的确定提供了数据支持，通过根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据，实现了网络流量异常检测模型数据的构建，而且该模型数据随时间不断更新，减少了因一成不变的规则和人为失误带来的检测不准确现象的发生，通过根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常，提高了网络流量异常检测的效率，实现了对未知网络流量的异常分析，提高了网络流量异常检测的准确性，适用于多样化的流量类型，满足异常检测的实时性要求，且实现了异常数据检测的自动化配置。其中，预设时间段可以是指一天以前的一个月，预设时间段的时长不变，起止时刻随着时间变化。例如，以当前时间的前一天为起始时间，从该起始时间往前一个月的时间作为预设时间段；当前时间发生变化，则预设时间段的起止时刻也发生变化。
在一实施例中，根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型，包括：基于局部异常因子(Local Outlier Factor，LOF)算法，确定采集到的预设时间段内的每一网络流量数据对应的第一离群因子；若第一离群因子大于第一预设阈值，则标注第一离群因子对应的网络流量数据的状态为异常；若第一离群因子不大于第一预设阈值，则标注第一离群因子对应的网络流量数据的状态为正常；基于机器学习，根据带标注的网络流量数据，确定网络流量异常检测模型数据。其中，带标注的网络流量数据包括指示数据状态正常和异常标注的网络流量数据。
在该实施例中，通过基于局部异常因子算法，确定采集到的预设时间段内的每一网络流量数据对应的第一离群因子，有利于实现对预设时间段内的每一网络流量数据的分类，当第一离群因子大于第一预设阈值，则标注第一离群因子对应的网络流量数据为异常，当第一离群因子不大于第一预设阈值，则标注第一离群因子对应的网络流量数据为正常，实现了对预设时间段内的每一网络流量数据的标注，为机器学习提供了数据支持，基于机器学习和带标注的网络流量数据，确定网络流量异常检测模型数据，合理的网络流量异常检测模型数据，有利于实现对未知网络流量的异常分析，提高了网络流量异常检测的准确性，适用于多样化的流量类型，满足异常检测的实时性要求。
其中，第一预设阈值可以设为1，也可以根据预设时间段内的网络流量 数据的数量以及检出精确度来确定。
另外，还可以直接通过机器学习，来分析采集到的预设时间段内的每一网络流量数据，确定成网络流量异常检测模型数据。
在一实施例中，根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常，包括：根据预设时间段之后采集到的网络流量数据与网络流量异常检测模型数据，形成数据集；基于局部异常因子算法，确定预设时间段之后采集到的网络流量数据在数据集内的第二离群因子；若第二离群因子大于第二预设阈值，则确定第二离群因子对应的网络流量数据为异常；若第二离群因子不大于第二预设阈值，则确定第二离群因子对应的网络流量数据为正常。其中，第二预设阈值受一时间段内的流量变化和一时间段内不同IP端口流量变化的影响。
在该实施例中，根据网络流量数据与网络流量异常检测模型数据，形成数据集，为局部异常因子算法计算离群因子提供了数据支持，通过基于局部异常因子算法，确定网络流量数据在数据集内的第二离群因子，有利于实现对网络流量数据的异常判断，通过在第二离群因子大于第二预设阈值，确定第二离群因子对应的网络流量数据为异常，在第二离群因子不大于第二预设阈值，确定第二离群因子对应的网络流量数据为正常，实现了网络流量数据的实时检测，而且降低了误判率，提高了检出率，有利于减少异常流量对网络造成的危害，提高了网络的安全，适用于多样化的流量类型，满足异常检测的实时性要求。
其中，局部异常因子算法，是基于密度的离群点检测方法中一个比较有代表性的算法，采用该算法为数据集中的每个点计算一个离群因子LOF，通过离群因子LOF来确定数据集中的点是离群点还是正常点，如果是离群点，即存在异常。
在一实施例中，还包括：当确定预设时间段之后采集到的网络流量数据异常时，加入预设时间段之后采集到的网络流量数据至第二预设数据库；解析并统计第二预设数据库中的网络流量数据，根据统计结果更新对应的异常展示界面中显示的内容。其中，可以解析出原始网络流量的IP和协议端口等。
在该实施例中，通过在确定网络流量数据异常时，加入网络流量数据至 第二预设数据库，并解析统计第二预设数据库中的网络流量数据，更新对应的异常展示界面，将网络流量数据的异常信息展示给用户，有利于用户及时做出下一步的处理，降低异常流量对网络带来的危害，提高网络的安全。
在一实施例中，网络流量数据包括：访问时间段、访问源IP地址、访问目标IP地址、访问源端口、访问目标端口、输入字节数和输出字节数。
在该实施例中，网络流量数据包括访问时间段、访问源IP地址、访问目标IP地址、访问源端口、访问目标端口、输入字节数和输出字节数，这些访问行为，有利于综合判断出网络流量数据是否异常，当其中一个为异常时，即认为网络流量数据有异常，进一步提高了网络流量数据检测的准确性，进一步提高了网络的安全。
图2为本实施例提供的网络流量异常检测装置200的示意框图。
如图2所示，网络流量异常检测装置200包括：
采集单元202，设置为实时采集网络流量数据，并存储到第一预设数据库中。
构建单元204，设置为根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据。
确定单元206，设置为根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常。
在该实施例中，通过实时采集网络流量数据，并存储到第一预设数据库中，实现了网络流量数据的实时采集和存储，为网络流量异常检测模型数据的确定提供了数据支持，通过根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据，实现了网络流量异常检测模型数据的构建，而且该模型数据可以随时间不断更新，减少了因一成不变的规则和人为失误带来的检测不准确现象的发生，通过根据网络流量异常检测模型数据，确定在预设时间段之后采集到的网络流量数据是否为异常，提高了网络流量异常检测的效率，实现了对未知网络流量的异常分析，提高了网络流量异常检测的准确性，适用于多样化的流量类型，满足异常检测的实时性要求。
其中，预设时间段可以是指一天以前的一个月，预设时间段的时长不变，起止时刻随着时间变化。
在一实施例中，确定单元206还设置为：基于局部异常因子算法，确定采集到的预设时间段内的每一网络流量数据对应的第一离群因子；网络流量异常检测装置200，还包括：标注单元208，设置为在第一离群因子大于第一预设阈值时，标注第一离群因子对应的网络流量数据的状态为异常；标注单元208还设置为：在第一离群因子不大于第一预设阈值时，标注第一离群因子对应的网络流量数据的状态为正常；构建单元204，还设置为：基于机器学习，根据带标注的网络流量数据，确定网络流量异常检测模型数据。
在该实施例中，通过基于局部异常因子算法，确定采集到的预设时间段内的每一网络流量数据对应的第一离群因子，有利于实现对预设时间段内的每一网络流量数据的分类，当第一离群因子大于第一预设阈值，则标注第一离群因子对应的网络流量数据为异常，当第一离群因子不大于第一预设阈值，则标注第一离群因子对应的网络流量数据为正常，实现了对预设时间段内的每一网络流量数据的标注，为机器学习提供了数据支持，基于机器学习和带标注的网络流量数据，确定网络流量异常检测模型数据，合理的网络流量异常检测模型数据，有利于实现对未知网络流量的异常分析，提高了网络流量异常检测的准确性，适用于多样化的流量类型，满足异常检测的实时性要求。
其中，第一预设阈值可以设为1，也可以根据预设时间段内的网络流量数据的数量以及检出精确度来确定。
另外，还可以直接通过机器学习，来分析采集到的预设时间段内的每一网络流量数据，确定成网络流量异常检测模型数据。
在一实施例中，还包括：组建单元210，设置为根据预设时间段之后采集到的网络流量数据与网络流量异常检测模型数据，组建数据集；确定单元206还设置为：基于局部异常因子算法，确定预设时间段之后采集到的网络流量数据在数据集内的第二离群因子；确定单元206还设置为：在第二离群因子大于第二预设阈值时，确定第二离群因子对应的网络流量数据为异常；确定单元206还设置为：在第二离群因子不大于第二预设阈值时，确定第二离群因子对应的网络流量数据为正常。
在该实施例中，通过根据网络流量数据与网络流量异常检测模型数据，形成数据集，为局部异常因子算法计算离群因子提供了数据支持，基于局部 异常因子算法，确定网络流量数据在数据集内的第二离群因子，有利于实现对网络流量数据的异常判断，通过在第二离群因子大于第二预设阈值，确定第二离群因子对应的网络流量数据为异常，在第二离群因子不大于第二预设阈值，确定第二离群因子对应的网络流量数据为正常，实现了网络流量数据的实时检测，而且降低了误判率，提高了检出率，有利于减少异常流量对网络造成的危害，提高了网络的安全，适用于多样化的流量类型，满足异常检测的实时性要求。
其中，局部异常因子算法(LOF算法)，是基于密度的离群点检测方法中一个比较有代表性的算法，采用该算法为数据集中的每个点计算一个离群因子LOF，通过判断离群因子LOF来确定数据集中的点是离群点还是正常点，如果是离群点，即存在异常。
在一实施例中，还包括：加入单元212，设置为在确定预设时间段之后采集到的网络流量数据异常时，加入所述预设时间段之后采集到的网络流量数据至第二预设数据库；解析单元214，设置为解析并统计第二预设数据库中的网络流量数据，根据统计结果更新对应的异常展示界面中显示的内容。
在该实施例中，通过在确定网络流量数据异常时，加入网络流量数据至第二预设数据库，并解析统计第二预设数据库中的网络流量数据，更新对应的异常展示界面，网络流量数据的异常信息展示给用户，有利于用户及时做出下一步的处理，降低异常流量对网络带来的危害，提高网络的安全。
在一实施例中，网络流量数据，包括访问时间段、访问源IP地址、访问目标IP地址、访问源端口、访问目标端口、输入字节数和输出字节数。
在该实施例中，网络流量数据包括访问时间段、访问源IP地址、访问目标IP地址、访问源端口、访问目标端口、输入字节数和输出字节数，这些访问行为，有利于综合判断出网络流量数据是否异常，当其中一个为异常时，即认为网络流量数据有异常，进一步提高了网络流量数据检测的准确性，提高了网络的安全。
本实施例提供一种计算机设备，该计算机设备包括处理器，处理器用于执行存储器中存储的计算机程序时实现如上述实施例提出的任一项的网络流量异常检测方法。
在该实施例中，计算机设备包括处理器，处理器用于执行存储器中存储的计算机程序时实现如上述实施例提出的任一项的网络流量异常检测方法，具有上述实施例提出的任一项的网络流量异常检测方法的全部有益效果。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例提出的任一项的网络流量异常检测方法。
在本实施例中，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述实施例提出的任一项的网络流量异常检测方法，具有上述实施例提出的任一项的网络流量异常检测方法的全部有益效果。
图3为另一实施例的网络流量异常检测方法的示意流程图。如图3所示，本实施例的网络流量异常检测方法包括如下步骤：
在步骤302中，启动网卡设备，循环获取网卡上的数据，分析协议类型和流量，并保存。
在步骤304中，获取一天以前的一个月内的流量数据，灌入机器学习训练系统，经机器学习训练系统训练后，提炼出模型数据，并保存。
在步骤306中，获取网卡上的数据，提取保存的模型数据，根据局部异常因子算法分析实时流量数据，并保存异常流量数据。其中，从网卡上获取原始的实时流量数据。
在步骤308中，展示异常流量数据。
本实施例提供的异常检测规则能够随着时间更新，提高了网络流量异常检测的准确性和效率，适用于多样化的流量类型，满足异常检测的实时性要求。
图4为又一实施例的网络流量异常检测方法的示意流程图。如图4所示，本实施例的网络流量异常检测方法包括如下步骤：
在步骤402中，进行流量获取；在步骤404中，循环进行流量存储；之后执行步骤406，进行流量样本分析；在步骤408中，进行模型数据存储；在步骤410中，进行可疑流量分析，结合模型数量和循环流量，分析出可疑流量；在步骤412中，进行可疑流量存储，在步骤414中，报表生成，以将可疑流量情况展示给用户。
本实施例提供的方法，通过将可用流量的情况展示给用户有利于用户及 时做出下一步的处理，提高网络安全，而且常检测规则随着时间更新，提高了网络流量异常检测的准确性和效率，适用于多样化的流量类型，满足异常检测的实时性要求。
图5为一实施例提供的网络流量异常展示界面。如图5所示，根据本实施例的网络流量异常展示界面，通过饼状图，将可疑的目标IP上发生的可疑事件数比较直观的展示出来，通过表格将对应于目标IP的可疑事件数展示了出来，比如目标IP 10.10.10.10的可疑事件数为402，目标IP 10.10.10.11的可疑事件数为246等等，让用户可以更直观的了解可疑流量情况，有利于用户及时做出下一步的处理，提高网络安全，而且常检测规则随着时间更新，提高了网络流量异常检测的准确性和效率，适用于多样化的流量类型，满足异常检测的实时性要求。
上述实施例提供的网络流量异常检测方法、网络流量异常检测装置、计算机设备和计算机可读存储介质，通过根据实时采集的预设时间段内的网络流量数据，构建网络流量异常检测模型数据，并根据这个网络流量异常检测模型数据，检测预设时间段之后采集到的网络流量数据是否为异常，提高了网络流量异常检测的准确性和效率，适用于多样化的流量类型，满足异常检测的实时性要求。
上述方法实施例中的步骤可根据实际需要进行顺序调整、合并和删减。
上述装置实施例中的单元可根据实际需要进行合并、划分和删减。
上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

Claims (12)

  1. 一种网络流量异常检测方法，包括：
    实时采集网络流量数据，并存储到第一预设数据库中；
    根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据；
    根据所述网络流量异常检测模型数据，确定在所述预设时间段之后采集到的网络流量数据是否为异常。
  2. 根据权利要求1所述的方法，其中，所述根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据，包括：
    基于局部异常因子算法，确定采集到的预设时间段内的每一网络流量数据对应的第一离群因子；
    若所述第一离群因子大于第一预设阈值，则标注所述第一离群因子对应的网络流量数据的状态为异常；
    若所述第一离群因子不大于所述第一预设阈值，则标注所述第一离群因子对应的网络流量数据的状态为正常；
    根据带标注的网络流量数据，确定网络流量异常检测模型数据。
  3. 根据权利要求1所述的方法，其中，所述根据所述网络流量异常检测模型数据，确定在所述预设时间段之后采集到的网络流量数据是否为异常，包括：
    根据所述预设时间段之后采集到的网络流量数据与所述网络流量异常检测模型数据，形成数据集；
    基于局部异常因子算法，确定所述预设时间段之后采集到的网络流量数据在所述数据集内的第二离群因子；
    若所述第二离群因子大于第二预设阈值，则确定所述第二离群因子对应的网络流量数据为异常；
    若所述第二离群因子不大于所述第二预设阈值，则确定所述第二离群因子对应的网络流量数据为正常。
  4. 根据权利要求1至3中任一所述的方法，还包括：
    当确定所述预设时间段之后采集到的网络流量数据异常时，加入所述预设时间段之后采集到的网络流量数据至第二预设数据库；
    解析并统计所述第二预设数据库中的网络流量数据，根据统计结果更新异常展示界面中显示的内容。
  5. 根据权利要求1至3中任一项所述的方法，其中，
    所述网络流量数据包括访问时间段、访问源网络协议IP地址、访问目标IP地址、访问源端口、访问目标端口、输入字节数和输出字节数。
  6. 一种网络流量异常检测装置，包括：
    采集单元，设置为实时采集网络流量数据，并存储到第一预设数据库中；
    构建单元，设置为根据采集到的预设时间段内的网络流量数据，确定网络流量异常检测模型数据；
    确定单元，设置为根据所述网络流量异常检测模型数据，确定在所述预设时间段之后采集到的网络流量数据是否为异常。
  7. 根据权利要求6所述的装置，其中，
    所述确定单元还设置为：基于局部异常因子算法，确定采集到的预设时间段内的每一网络流量数据对应的第一离群因子；
    所述网络流量异常检测装置，还包括：
    标注单元，设置为在所述第一离群因子大于第一预设阈值时，标注所述第一离群因子对应的网络流量数据的状态为异常；
    所述标注单元还设置为：在所述第一离群因子不大于所述第一预设阈值时， 标注所述第一离群因子对应的网络流量数据的状态为正常；
    所述构建单元，还设置为：根据带标注的网络流量数据，确定网络流量异常检测模型数据。
  8. 根据权利要求6所述的装置，还包括：
    组建单元，设置为根据所述预设时间段之后采集到的网络流量数据与所述网络流量异常检测模型数据，组建数据集；
    所述确定单元还设置为：基于局部异常因子算法，确定所述预设时间段之后采集到的网络流量数据在所述数据集内的第二离群因子；
    所述确定单元还设置为：在所述第二离群因子大于第二预设阈值时，确定所述第二离群因子对应的网络流量数据为异常；
    所述确定单元还设置为：在所述第二离群因子不大于所述第二预设阈值时，确定所述第二离群因子对应的网络流量数据为正常。
  9. 根据权利要求6至8中任一项所述的装置，还包括：
    加入单元，设置为在确定所述预设时间段之后采集到的网络流量数据异常时，加入所述预设时间段之后采集到的网络流量数据至第二预设数据库；
    解析单元，设置为解析并统计所述第二预设数据库中的网络流量数据，根据统计结果更新对应的异常展示界面中显示的内容。
  10. 根据权利要求6至8中任一项所述的装置，其中，所述网络流量数据，包括访问时间段、访问源IP地址、访问目标IP地址、访问源端口、访问目标端口、输入字节数和输出字节数。
  11. 一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任一项所述的网络流量异常检测方法。
  12. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的网络流量异常检测方法。
PCT/CN2018/097042 2017-11-14 2018-07-25 网络流量异常检测方法、装置、计算机设备和存储介质 WO2019095719A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/763,687 US20200374306A1 (en) 2017-11-14 2018-07-25 Network traffic anomaly detection method, apparatus, computer device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711119733.7A CN107733921A (zh) 2017-11-14 2017-11-14 网络流量异常检测方法、装置、计算机设备和存储介质
CN201711119733.7 2017-11-14

Publications (1)

Publication Number Publication Date
WO2019095719A1 true WO2019095719A1 (zh) 2019-05-23

Family

ID=61215359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/097042 WO2019095719A1 (zh) 2017-11-14 2018-07-25 网络流量异常检测方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20200374306A1 (zh)
CN (1) CN107733921A (zh)
WO (1) WO2019095719A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532119A (zh) * 2019-07-26 2019-12-03 中国船舶重工集团公司第七一九研究所 动力系统运行异常点检测方法
CN112040501A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 移动网络质量的检测预警方法、装置、设备及存储介质
CN113364739A (zh) * 2021-05-13 2021-09-07 北京亚鸿世纪科技发展有限公司 物联网设备流量异常的识别方法及系统
CN113746862A (zh) * 2021-09-14 2021-12-03 恒安嘉新（北京）科技股份公司 一种基于机器学习的异常流量检测方法、装置和设备
CN113806733A (zh) * 2021-02-03 2021-12-17 北京沃东天骏信息技术有限公司 异常流量检测方法、装置及可读存储介质和电子设备
CN114785706A (zh) * 2022-01-10 2022-07-22 国网江苏省电力有限公司信息通信分公司 一种用于网络流量监测的数据处理系统及方法
CN116132121A (zh) * 2022-12-27 2023-05-16 武汉思普崚技术有限公司 一种特征识别性能分析的方法
CN117195273A (zh) * 2023-11-07 2023-12-08 闪捷信息科技有限公司 基于时序数据异常检测的数据泄露检测方法及装置
CN118075027A (zh) * 2024-04-18 2024-05-24 广州市原象信息科技有限公司 一种网络直播异常流量检测方法及系统

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质
CN108494747B (zh) * 2018-03-08 2020-11-10 上海观安信息技术股份有限公司 数字化变电站流量异常检测方法、电子设备及计算机存储介质
CN108628721B (zh) * 2018-05-02 2021-07-27 腾讯科技（上海）有限公司 用户数据值的异常检测方法、装置、存储介质及电子装置
CN108924118B (zh) * 2018-06-27 2021-07-02 亚信科技（成都）有限公司 一种撞库行为检测方法及系统
CN109194539B (zh) * 2018-08-13 2022-01-28 中国平安人寿保险股份有限公司 数据管控方法、装置、计算机设备及存储介质
SG10201907783YA (en) * 2018-08-22 2020-03-30 Cycarrier Technology Co Ltd Suspicious event analysis device and related computer program product for generating suspicious event sequence diagram
CN109361658B (zh) * 2018-09-26 2021-04-23 杭州安恒信息技术股份有限公司 基于工控行业的异常流量信息存储方法、装置及电子设备
TWI729320B (zh) * 2018-11-01 2021-06-01 財團法人資訊工業策進會 可疑封包偵測裝置及其可疑封包偵測方法
TWI674777B (zh) * 2018-11-09 2019-10-11 財團法人資訊工業策進會 異常流量偵測裝置及其異常流量偵測方法
CN109635564A (zh) * 2018-12-07 2019-04-16 深圳市联软科技股份有限公司 一种检测暴力破解行为的方法、装置、介质及设备
CN109743295B (zh) * 2018-12-13 2022-04-12 平安科技（深圳）有限公司 访问阈值调整方法、装置、计算机设备及存储介质
TWI704784B (zh) 2018-12-25 2020-09-11 安華聯網科技股份有限公司 通聯監控裝置、通聯監控方法及其非暫態有形機器可讀介質
CN109587008B (zh) * 2018-12-28 2020-11-06 华为技术服务有限公司 检测异常流量数据的方法、装置及存储介质
CN111613049B (zh) * 2019-02-26 2022-07-12 北京嘀嘀无限科技发展有限公司 一种道路状态监测方法以及装置
CN109922493A (zh) * 2019-03-01 2019-06-21 致讯科技(天津)有限公司 一种网络劣化诊断方法
CN111835541B (zh) * 2019-04-18 2021-10-22 华为技术有限公司 一种流量识别模型老化检测方法、装置、设备及系统
WO2020227985A1 (en) * 2019-05-15 2020-11-19 Alibaba Group Holding Limited Real-time fault detection on network devices and circuits based on traffic volume statistics
US12088473B2 (en) 2019-10-23 2024-09-10 Aryaka Networks, Inc. Method, device and system for enhancing predictive classification of anomalous events in a cloud-based application acceleration as a service environment
US12095639B2 (en) 2019-10-23 2024-09-17 Aryaka Networks, Inc. Method, device and system for improving performance of point anomaly based data pattern change detection associated with network entity features in a cloud-based application acceleration as a service environment
CN111131290B (zh) * 2019-12-30 2022-06-10 山石网科通信技术股份有限公司 流量数据处理方法和装置
US11824876B2 (en) * 2020-01-31 2023-11-21 Extreme Networks, Inc. Online anomaly detection of vector embeddings
CN111325260B (zh) * 2020-02-14 2023-10-27 北京百度网讯科技有限公司 数据处理方法及装置、电子设备、计算机可读介质
JP2023523079A (ja) * 2020-04-28 2023-06-01 アブソリュート ソフトウェア コーポレイション 行動予測モデルを用いたエンドポイントセキュリティ
CN111614659B (zh) * 2020-05-19 2022-09-23 杭州英视信息科技有限公司 未知网络流量的分布式检测方法
CN113708987B (zh) * 2020-05-22 2023-07-25 浙江大学 网络异常检测方法及装置
TWI783229B (zh) 2020-05-22 2022-11-11 國立臺灣大學 網路異常流量偵測裝置及網路異常流量偵測方法
CN114024699A (zh) * 2020-07-17 2022-02-08 杨耀忠 一种复杂网络环境下异常流量检测方法
CN111988196B (zh) * 2020-07-21 2022-04-01 中国长城科技集团股份有限公司 一种带宽检测方法、装置、电子设备和存储介质
CN111935172B (zh) * 2020-08-25 2023-09-05 广东一知安全科技有限公司 基于网络拓扑的网络异常行为检测方法、计算机装置及计算机可读存储介质
CN112099983A (zh) * 2020-09-22 2020-12-18 北京知道创宇信息技术股份有限公司 服务异常处理方法、装置、电子设备和计算机可读存储介质
CN112714024A (zh) * 2020-12-31 2021-04-27 上海磐御网络科技有限公司 一种网络流量分析技术
CN112926659A (zh) * 2021-02-26 2021-06-08 平安普惠企业管理有限公司 实例异常判定方法、装置、计算机设备及存储介质
CN115277439B (zh) * 2021-04-30 2023-09-19 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN113645215B (zh) * 2021-08-03 2023-05-26 恒安嘉新（北京）科技股份公司 异常网络流量数据的检测方法、装置、设备及存储介质
CN113965487B (zh) * 2021-10-22 2023-07-18 深圳市光网世纪科技有限公司 一种基于网络流量数据的故障诊断系统
CN113961834A (zh) * 2021-10-22 2022-01-21 百度在线网络技术（北京）有限公司 数据处理方法、装置、设备以及存储介质
CN114124482B (zh) * 2021-11-09 2023-09-26 中国电子科技集团公司第三十研究所 基于lof和孤立森林的访问流量异常检测方法及设备
CN113938312B (zh) * 2021-11-12 2024-01-26 北京天融信网络安全技术有限公司 一种暴力破解流量的检测方法及装置
CN114510708A (zh) * 2021-12-28 2022-05-17 奇安信科技集团股份有限公司 实时数据仓库构建、异常检测方法、装置、设备及产品
CN114928560B (zh) * 2022-05-16 2023-01-31 珠海市鸿瑞信息技术股份有限公司 基于大数据的网络流量和设备日志协同管理系统及方法
CN115412343B (zh) * 2022-08-29 2024-09-20 西安热工研究院有限公司 一种工控网络安全运维方法及装置
CN116070261A (zh) * 2022-12-15 2023-05-05 上海观安信息技术股份有限公司 数据库的流量识别方法、装置、存储介质及计算机设备
CN116405274B (zh) * 2023-03-27 2024-02-27 中国华能集团有限公司北京招标分公司 一种异常流量检测分析方法
CN116389108B (zh) * 2023-04-03 2023-10-10 杭州诺禾网络科技有限公司 Ab实验方法、系统与存储介质
CN116208431B (zh) * 2023-04-28 2023-08-11 国家工业信息安全发展研究中心 一种工控网络流量异常检测方法、系统、装置和可读介质
CN116723138B (zh) * 2023-08-10 2023-10-20 杭银消费金融股份有限公司 一种基于流量探针染色的异常流量监控方法及系统
CN118509263B (zh) * 2024-07-19 2024-09-24 湖北华中电力科技开发有限责任公司 一种适用于电力运维网络信息安全调度方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753733A (zh) * 2013-12-31 2015-07-01 中兴通讯股份有限公司 网络流量异常数据的检测方法及装置
CN105357079A (zh) * 2015-11-30 2016-02-24 睿峰网云（北京）科技股份有限公司 一种异常流量的识别方法及装置
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及系统
CN107257351A (zh) * 2017-07-28 2017-10-17 广东电网有限责任公司云浮供电局 一种基于灰色lof流量异常检测系统及其检测方法
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534305A (zh) * 2009-04-24 2009-09-16 中国科学院计算技术研究所 网络流量异常检测方法和系统
CN101651568B (zh) * 2009-07-01 2011-12-07 青岛农业大学 一种网络流量预测和异常检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753733A (zh) * 2013-12-31 2015-07-01 中兴通讯股份有限公司 网络流量异常数据的检测方法及装置
CN105357079A (zh) * 2015-11-30 2016-02-24 睿峰网云（北京）科技股份有限公司 一种异常流量的识别方法及装置
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及系统
CN107257351A (zh) * 2017-07-28 2017-10-17 广东电网有限责任公司云浮供电局 一种基于灰色lof流量异常检测系统及其检测方法
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532119A (zh) * 2019-07-26 2019-12-03 中国船舶重工集团公司第七一九研究所 动力系统运行异常点检测方法
CN112040501A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 移动网络质量的检测预警方法、装置、设备及存储介质
CN112040501B (zh) * 2020-08-28 2023-04-18 康键信息技术（深圳）有限公司 移动网络质量的检测预警方法、装置、设备及存储介质
CN113806733A (zh) * 2021-02-03 2021-12-17 北京沃东天骏信息技术有限公司 异常流量检测方法、装置及可读存储介质和电子设备
CN113364739A (zh) * 2021-05-13 2021-09-07 北京亚鸿世纪科技发展有限公司 物联网设备流量异常的识别方法及系统
CN113364739B (zh) * 2021-05-13 2022-05-13 北京亚鸿世纪科技发展有限公司 物联网设备流量异常的识别方法及系统
CN113746862A (zh) * 2021-09-14 2021-12-03 恒安嘉新（北京）科技股份公司 一种基于机器学习的异常流量检测方法、装置和设备
CN114785706A (zh) * 2022-01-10 2022-07-22 国网江苏省电力有限公司信息通信分公司 一种用于网络流量监测的数据处理系统及方法
CN116132121A (zh) * 2022-12-27 2023-05-16 武汉思普崚技术有限公司 一种特征识别性能分析的方法
CN117195273A (zh) * 2023-11-07 2023-12-08 闪捷信息科技有限公司 基于时序数据异常检测的数据泄露检测方法及装置
CN117195273B (zh) * 2023-11-07 2024-02-06 闪捷信息科技有限公司 基于时序数据异常检测的数据泄露检测方法及装置
CN118075027A (zh) * 2024-04-18 2024-05-24 广州市原象信息科技有限公司 一种网络直播异常流量检测方法及系统

Also Published As

Publication number Publication date
US20200374306A1 (en) 2020-11-26
CN107733921A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
WO2019095719A1 (zh) 网络流量异常检测方法、装置、计算机设备和存储介质
CN111935172B (zh) 基于网络拓扑的网络异常行为检测方法、计算机装置及计算机可读存储介质
CN112995196B (zh) 网络安全等级保护中态势感知信息的处理方法及系统
CN108737333B (zh) 一种数据检测方法以及装置
CN102340485B (zh) 基于信息关联的网络安全态势感知系统及其方法
CN105721187B (zh) 一种业务故障诊断方法及装置
CN110912927B (zh) 工业控制系统中控制报文的检测方法及装置
CN110611651A (zh) 网络监控方法、网络监控装置和电子设备
EP3364601B1 (en) Testing method, device and system
CN111181978B (zh) 异常网络流量的检测方法、装置、电子设备及存储介质
CN110633195B (zh) 一种性能数据的展示方法、装置、电子设备及存储介质
CN113055335A (zh) 用于检测通信异常的方法、装置、网络系统和存储介质
CN117061249B (zh) 基于网络流量的入侵监控方法及系统
CN113645215B (zh) 异常网络流量数据的检测方法、装置、设备及存储介质
CN109144837B (zh) 一种支持精准服务推送的用户行为模式识别方法
US20210152573A1 (en) Cyberattack information analysis program, cyberattack information analysis method, and information processing apparatus
CN109995706B (zh) 一种安全审计的方法、装置、电子设备和存储介质
Evangelou et al. Predictability of netflow data
CN114189480B (zh) 一种流量采样方法、装置、电子设备及介质
US11606271B2 (en) Network directionality mapping system
WO2023010823A1 (zh) 网络故障根因的确定方法、装置、设备及存储介质
Peng et al. Design and implementation of network instruction detection system based on snort and NTOP
CN112995104B (zh) 一种通信设备及网络安全预测方法
Lin et al. Netdetector: an anomaly detection platform for networked systems
CN113556350B (zh) 网络安全设备鲁棒性测试方法、系统及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877406

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.09.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18877406

Country of ref document: EP

Kind code of ref document: A1