WO2017124942A1 - 一种异常访问检测方法及设备 - Google Patents

一种异常访问检测方法及设备 Download PDF

Info

Publication number
WO2017124942A1
WO2017124942A1 PCT/CN2017/070798 CN2017070798W WO2017124942A1 WO 2017124942 A1 WO2017124942 A1 WO 2017124942A1 CN 2017070798 W CN2017070798 W CN 2017070798W WO 2017124942 A1 WO2017124942 A1 WO 2017124942A1
Authority
WO
WIPO (PCT)
Prior art keywords
access request
abnormal
sample
sample access
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/070798
Other languages
English (en)
French (fr)
Inventor
付子豪
张凯
蔡宁
杨旭
褚崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of WO2017124942A1 publication Critical patent/WO2017124942A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Definitions

  • the present application relates to the field of Internet technologies, and in particular, to an abnormal access detection method.
  • the application also relates to an abnormal access detecting device.
  • Data mining is the process of extracting potentially, implicit, and valuable knowledge, patterns, or rules from large data sets.
  • the patterns of mining from large-scale datasets can generally be divided into five categories: association rules, classification and prediction, clustering, evolution analysis, and outlier detection.
  • the mining of abnormal point data includes two parts: abnormal point data detection and abnormal point data analysis.
  • Outlier data is data that is inconsistent with the general behavior or model of the data. They are data that are distinctive in the data set. These data are not random deviations but are generated by completely different mechanisms.
  • Abnormal point data mining has a wide range of applications, such as fraud detection, detection of unusual credit card usage or telecommunication services with outlier detection; forecasting market trends; analysis of abnormal behaviors such as customer churn in market analysis; or discovery in medical analysis Unusual response to a variety of treatments, etc.; through the study of these data, found abnormal behavior and patterns, to achieve abnormal data mining capabilities.
  • the system determines whether to respond to a user request according to a user's request and a user's information record.
  • some machine learning algorithms are introduced to learn.
  • the commonly used methods include constructing Markov distance based on user attributes to mine users at outliers, and performing abnormal point discrimination based on the frequency of user submission requests.
  • the process of discrimination is as follows:
  • the Mahalanobis distance is then calculated from the covariance matrix, which is defined as follows:
  • the present application provides an abnormal method detection method for improving detection efficiency and accuracy for abnormal access.
  • the method includes the following steps:
  • the method before acquiring the attribute data of the access request to be detected, the method further includes:
  • the access frequency information includes a user identifier corresponding to the sample access request and an access time, and determining whether each of the sample access requests is abnormal according to the access frequency information of each sample access request, specifically:
  • the original detection parameters are generated according to the following formula:
  • w is the original detection parameter
  • w is the minimum value corresponding to the summation item
  • N is the number of the sample access requests
  • each sample access request is The value of the label.
  • the abnormal threshold is specifically generated by:
  • an abnormal access detecting device which is characterized in that it comprises:
  • the first generation module generates an abnormal probability corresponding to the access request according to the attribute data and the detection parameter, and the detection parameter is generated according to the value of the label corresponding to each sample access request and the attribute data;
  • a determining module determining whether the abnormal probability is greater than a preset abnormal threshold
  • the determining module confirms that the access request is a normal access request.
  • An allocation module that assigns different values to the normal sample access request and the abnormal sample access request
  • the second generation module generates an original detection parameter according to the value of the label corresponding to each sample access request and the attribute data
  • a third generation module configured to generate the detection parameter according to the original detection parameter.
  • the access frequency information includes a user identifier ID and an access time corresponding to the sample access request
  • the determining module is specifically configured to:
  • the original detection parameters are generated according to the following formula:
  • argmin w is the value function of the original detection parameter
  • w is the original detection parameter
  • w is the minimum value corresponding to the summation item
  • N is the number of sample access requests
  • V i is each The value of the label of the sample access request.
  • the abnormal threshold is specifically generated by:
  • the abnormal probability corresponding to the access request is generated according to the attribute data and the detection parameter, because the detection parameter is according to the label corresponding to each sample access request.
  • the value of the attribute and the attribute data are generated. Therefore, after determining whether the abnormal probability is greater than a preset abnormal threshold, whether the access request is an abnormal access request can be confirmed based on the size of the two. Therefore, the abnormal access request can be accurately identified and processed in a large number of access requests, thereby ensuring the stability and security of the network.
  • FIG. 1 is a schematic diagram of application of anomaly detection in a service response in the prior art
  • FIG. 2 is a schematic flowchart of an abnormal access detection method according to the present application.
  • FIG. 3 is a flowchart of abnormal point detection based on time series feature extraction in a specific embodiment of the present application
  • FIG. 4 is a schematic diagram of feature extraction of time series data in a specific embodiment of the present application.
  • FIG. 5 is a schematic diagram of a threshold calculation process in a specific embodiment of the present application.
  • FIG. 6 is a schematic structural diagram of an abnormal access detecting apparatus according to the present application.
  • the present application proposes an abnormal point detection method, which combines user statistics and time-series access data, gives a preliminary label by time series data according to rules, and adopts a logistic regression method for preliminary labels and users.
  • the attributes are trained to produce the final result, so that the result of the abnormal point determination is further improved.
  • a schematic flowchart of an abnormal point detecting method proposed by the present application includes the following steps:
  • the model and the detection parameter are generated, in the process of predicting each new access request, that is, in determining whether the access request is abnormal, only the attribute of the access request is determined, and the abnormality detection is performed.
  • the problem is transformed into a classification problem. For the classification problem, only the attribute data of the access request to be detected is obtained to obtain all the attribute vectors, that is, the time series data of the new access request does not need to be acquired in this step.
  • the calculation result is that the parameter w is the original detection parameter.
  • all the new access requests can be calculated by using the original detection parameter w, and the calculation result and the abnormal threshold are judged, thereby realizing whether the new access request is abnormal.
  • the abnormality probability corresponding to the access request is generated according to the attribute data and the detection parameter, and the detection parameter is based on the value of the label corresponding to each sample access request and The attribute data is generated. Therefore, after determining whether the abnormal probability is greater than a preset abnormal threshold, it can be confirmed based on the size of the two whether the access request is an abnormal access request. Therefore, the abnormal access request can be accurately identified and processed in a large number of access requests, thereby ensuring the stability and security of the network.
  • the present application can be implemented by hardware, or by software plus a necessary general hardware platform.
  • the technical solution of the present application may be embodied in the form of a software product, which may be stored in a non-volatile storage medium (which may be a CD-ROM, a USB flash drive, a mobile hard disk, etc.), including several The instructions are for causing a computer device (which may be a personal computer, server, or network device, etc.) to perform the methods described in various implementation scenarios of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种异常访问检测方法，通过基于各个样本访问请求对应的时序数据特征的提取，获取对应的标签的取值，然后根据各个样本访问请求对应的标签的取值以及属性数据生成检测参数，故在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。

Description

一种异常访问检测方法及设备 技术领域
本申请涉及互联网技术领域，特别涉及一种异常访问检测方法。本申请同时还涉及一种异常访问检测设备。
背景技术
数据挖掘是从大规模的数据集中提取潜在的、隐含的、有价值的知识、模式或规则的过程。从大规模的数据集中挖掘的模式一般可以分为五类：关联规则、分类和预测、聚类、演变分析以及异常点检测等。异常点数据的挖掘包括异常点数据检测和异常点数据分析两个部分。异常点数据是与数据的一般行为或模型不一致的数据，它们是数据集中与众不同的数据，这些数据并非随机偏差，而是产生于完全不同的机制。异常点数据挖掘有着广泛的应用，如欺诈检测，用异常点检测来探测不寻常的信用卡使用或者电信服务；预测市场动向；在市场分析中分析客户的流失等异常行为；或者在医疗分析中发现对多种治疗方式的不寻常的反应等等；通过对这些数据进行研究，发现不正常的行为和模式，实现异常数据挖掘功能。
如图1所示，为现有的异常点监测技术手段解决服务响应问题的示意图，异常点监测技术手段目前有着广泛的应用。在该问题中，多个用户会向服务器提交相应的服务申请，在这些申请中，有的申请是正常申请，有的申请是异常申请。如果服务器接受了异常申请，那么将会严重影响服务器工作，也会对其他正常的申请造成一定的影响。
为解决上述技术问题，现有技术中使系统根据用户的请求以及用户的信息记录决定是否响应用户请求。在判定过程中，会引入一些机器学习的算法进行学习，现在常用的方法包括根据用户属性构造马氏距离挖掘处于离群点的用户、以及根据用户提交请求的频率进行异常点判别等方法，具体判别过程如下：
(1)在根据马氏距离进行异常点判别的过程中，首先计算用户属性间的协方差矩阵，其定义如下：
∑＝E{(X-E[X])(X-E[X])T}
随后根据该协方差矩阵计算马氏距离，其定义如下：
Ma＝(X-μ)T∑-1(X-μ)
最后根据该距离的大小进行判别，一些距离过大的点将被判定为离群点。
(2)在根据用户提交请求的频率进行异常点判别的方法中，用户单位时间提交请求的次数超过一定阈值之后，将会直接被判定为异常点。
因此如何利用已有的访问数据和用户信息，更加准确地鉴别出异常请求，并采取相应措施，切实关系到服务资源分配的稳定性和经济性，是服务响应策略中的一个非常重要的问题。
然而，发明人在实现本申请的过程中发现，现有带时序数据的异常点检测算法或者只利用了访问用户本身的特征数据，进行聚类，只能反映访问用户属性上的特征；或者只利用了访问的时序数据，手动设置阈值来发现一些异常点(即确认当前的访问为异常)。这两种方式都没有充分发挥数据的价值，得出的结果往往并不十分的准确以及有效。
发明内容
本申请提供了一种异常方法检测方法，用以提高针对异常访问的检测效率以及准确性。该方法包括以下步骤：
获取待检测的访问请求的属性数据；
根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；
判断所述异常概率是否大于预设的异常阈值；
若是，确认所述访问请求为异常访问请求；
若否，确认所述访问请求为正常访问请求。
优选地，在获取待检测的访问请求的属性数据之前，还包括：
根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；
分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；
根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；
根据所述原始检测参数生成所述检测参数。
优选地，所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常，具体为：
根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；
若是，确认所述样本访问请求为异常样本访问请求；
若否，确认所述样本访问请求为正常样本访问请求。
优选地，具体根据以下公式生成原始检测参数：
Figure PCTCN2017070798-appb-000001
其中，为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，为各所述样本访问请求的标签的取值。
优选地，所述异常阈值具体通过以下方式生成：
获取异常样本访问请求占所有样本访问请求的百分比；
根据所述检测参数获取与各所述样本访问请求对应的异常概率；
将各所述样本访问请求对应的异常概率从小至大进行排序处理；
根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。
相应地，本申请还提出了一种异常访问检测设备，其特征在于，包括：
获取模块，获取待检测的访问请求的属性数据；
第一生成模块，根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；
判断模块，判断所述异常概率是否大于预设的异常阈值；
若是，所述判断模块确认所述访问请求为异常访问请求；
若否，所述判断模块确认所述访问请求为正常访问请求。
优选地，还包括：
确定模块，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；
分配模块，分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；
第二生成模块，根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；
第三生成模块，根据所述原始检测参数生成所述检测参数。
优选地，所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间，所述确定模块具体用于：
根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；
若是，确认所述样本访问请求为异常样本访问请求；
若否，确认所述样本访问请求为正常样本访问请求。
优选地，具体根据以下公式生成原始检测参数：
Figure PCTCN2017070798-appb-000002
其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。
优选地，所述异常阈值具体通过以下方式生成：
获取异常样本访问请求占所有样本访问请求的百分比；
根据所述检测参数获取与各所述样本访问请求对应的异常概率；
将各所述样本访问请求对应的异常概率从小至大进行排序处理；
根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。
由此可见，通过应用本申请的技术方案，在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成，因此在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。
附图说明
图1为现有技术中异常检测在服务响应上的应用示意图；
图2为本申请提出的一种异常访问检测方法的流程示意图；
图3为本申请具体实施例中基于时序特征提取的异常点检测流程图；
图4为本申请具体实施例中时序数据的特征提取示意图；
图5为本申请具体实施例中阈值计算流程示意图；
图6为本申请提出的一种异常访问检测设备的结构示意图。
具体实施方式
如背景技术所述，针对含时序申请数据的特点，进一步提高异常点检测的准确性以及有效性，是关系到系统准确有效运行的一个关键问题，也是本申请所要解决的技术问题。
为解决上述技术问题，本申请提出了一种异常点检测方法，将用户统计数据和时序访问数据结合起来，通过时序数据按规则给出一个初步的标签并采用逻辑回归的方法对初步标签和用户属性进行训练来得出最终结果，从而使异常点判定的结果得以进一步提高。
如图2所示，为本申请提出的一种异常点检测方法的流程示意图，包括以下步骤：
S201获取待检测的访问请求的属性数据。
在本申请的实施方式中，在模型以及检测参数生成之后，对于每一次新访问请求预测的过程中，即在判断访问请求是否异常的过程中，仅由该次访问请求的属性决定，异常检测问题转化成为分类问题，对于该分类问题，仅需获取待检测的访问请求的属性数据得到全部属性向量即可，也就是说，在此步骤中不需要再获取新访问请求的时序数据。
因此本申请的实施方式在进行新访问请求异常预测之前，还需要通过对各所述样本访问请求对应的初步标签和用户属性进行逻辑回归训练，来获得分类模型并得到检测参数，进而可以实现将用户数据和时序访问数据结合起来的目的。本申请逻辑回归训练以及检测参数获取的方式具体如下：
a)根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；
b)分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；
c)根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；
d)根据所述原始检测参数生成所述检测参数。
另外，通过上述步骤可以看出，如何准确判断样本访问请求是否异常是决定分类模型以及检测参数精度的重要参数，故本申请具体实施方式提出了确定各所述样本访问请求是否异常的具体步骤：
a)根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；
b)判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；
c)若是，确认所述样本访问请求为异常样本访问请求；
d)若否，确认所述样本访问请求为正常样本访问请求。
在本申请的实施方式中，所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间。其中，用户标识是作为区分不同用户的凭证，只要保证不同用户对应有不同的用户标识即可，故可能会出现多种形式和内容。举例来说，用户标识可以为用户对应终端的MAC地址，也可以为用户在服务终端的注册ID。访问时间为由服务器记录的该访问请求的访问时间点。
需要说明的是，以上用户标识的具体实例仅为本申请优选实施例提出的示例，在此基础上还可以选择其他类型的用户标识，以使本申请适用于更多的应用领域，这些改进都属于本发明的保护范围。
需要说明的是，以上确定样本访问请求是否异常的方法仅为本申请具体实施例提出的一种优选方案，在保证具有一定确定精度的前提下，本领域技术人员也可以采用其他方式进行确定，这些都属于本申请的保护范围。
S202根据所述属性数据以及检测参数生成与所述访问请求对应的异 常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成。
在本申请的实施方式中，异常阈值应该根据长期的经验进行调整，以达到一个合适的数值范围。如果异常阈值的取值较大，则会将部分异常点其判断为正常访问，故可能会漏掉很多异常点；相反的，如果异常阈值的取值过小，则会将部分正常点判断为异常点，影响正常用户的使用。因此如何通调整获得合适的异常阈值对以提高异常点检测的精度是至关重要的，故本申请通过以下方式来生成异常阈值：
a)获取异常样本访问请求占所有样本访问请求的百分比；
b)根据所述检测参数获取与各所述样本访问请求对应的异常概率；
c)将各所述样本访问请求对应的异常概率从小至大进行排序处理；
d)根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。
在本申请的具体实施例中，生成原始检测参数一个参考公式如下：
Figure PCTCN2017070798-appb-000003
其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。
通过上述生成原始检测参数的参考公式，计算结果是参数w就是所述原始检测参数。在后续过程中即可利用原始检测参数w对所有新访问请求进行计算，通过对计算结果与异常阈值进行判断，进而实现对新访问请求是否异常进行预测。
需要说明的是，以上公式仅为本申请具体实施例提出的一种优选方案，然而，在保证计算结果能够作为原始检测参数的前提下，本领域技术人员也可以对该公式进行修改或者变形，这些都属于本申请的保护范围。
S203判断所述异常概率是否大于预设的异常阈值。
在本申请的实施方式中，在新访问请求到达时，通过分类模型来预测新访问请求是否为异常访问请求。具体的，首先通过将新访问请求的属性数据代入分类模型，可以得到该次访问为异常访问请求的概率，即异常概率，通过将该常访问请求的异常概率与预设的异常阈值进行比较，判断所述异常概率是否大于预设的异常阈值。若该新访问请求的异常概率大于异常阈值时，则判定为异常访问请求，即执行S204；若该新访问请求的异常概率小于异常阈值时，则判定为正常访问请求，即执行S205。
S204若是，确认所述访问请求为异常访问请求。
S205若否，确认所述访问请求为正常访问请求。
由此可见，通过应用以上技术方案，在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成，因此在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。
为了进一步阐述本申请的技术思想，现结合如图2所示的具体的应用场景，对本申请的技术方案进行说明。该基于时序特征提取的异常点检测流程通过时序序列分析、线性分类器训练和预测三个步骤实现了异常点的检测，这三个不同步骤的具体介绍如下：
(1)通过时序序列生成标签
根据时序序列的特点，在训练集中，首先将所有用户访问数据按照时间顺序进行排序，排序完成之后，我们对比每次一访问的用户ID，设定一个滑动窗口向后移动，按序遍历每一次访问。对于每一次访问，如果在它的前半个窗口和后半个窗口中由相同用户提交的访问次数大于一定阈值则标记为异常点。那么异常点的标签的集合可记作：
Figure PCTCN2017070798-appb-000004
其中，Vi表示第i个访问的标签，
Figure PCTCN2017070798-appb-000005
w为窗口大小参数，
Figure PCTCN2017070798-appb-000006
th是阈值参数，其示意图如图3所示。
（2）线性分类器训练
在所有访问标签生成完毕之后，对于每一次访问，我们认为该次访问是否是异常的，完全由该次访问的属性所决定，问题转化为一个分类问题，对于该分类问题来讲，不需要在使用时序的数据。根据每次访问的其他属性特征和标签，进行逻辑回归训练，得到一个分类模型。该模型的结果是参数w，满足：
Figure PCTCN2017070798-appb-000007
其中，argminw是一个参数w的取值函数，w的值使得右边求和项取最小值。N代表总的学习样本个数，Vi表示上一步的异常点标签。wT表示w的转置。在实际进行逻辑回归训练的时候，采用L-BFGS算法对其进行加速。
（3）新访问预测
当有新的访问到达时，能通过分类模型来预测新的访问是否是异常点。将新的访问数据代入分类模型后，能得到该次访问是异常点的概率，设定一个阈值，当该访问为异常的概率大于该阈值时，则判定为异常点，所有异常新访问的集合表示为：
{Vi|wTxi＞pt}
其中Vi表示第i次访问，xi表示该次访问的所有属性向量，pt为判断异常点的阈值。在这里，阈值应该根据长期的经验进行调整，直到一个合适的数字。如果该阈值取值太大，则会漏掉很多异常点，将其判为正常访问；如果该阈值取值太小，则会将很多正常点判定为异常点，影响正常用户使用。因此调节一个合适的阈值是非常必要的，在这里可以根据百分比的方式来设置，首先找到异常点占总体训练数据的百分比，然后将训练数据带入模型按模型计算出概率，接着对该概率进行排序，找到在异常点占总体百分比位置的概率，将其设为阈值。具体示意图如图5所示。
上述应用场景的技术方案，通过样本数据的时序特征为分类模型提供训练标签，再根据各个样本访问请求对应的标签的取值以及属性数据生成检测参数；在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，因此在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。
为达到以上技术目的，本申请还提出了一种异常访问检测设备，如图6所示，包括以下模块：
获取模块610，获取待检测的访问请求的属性数据；
第一生成模块620，根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；
判断模块630，判断所述异常概率是否大于预设的异常阈值；
若是，所述判断模块630确认所述访问请求为异常访问请求；
若否，所述判断模块630确认所述访问请求为正常访问请求。
在具体的应用场景中，还包括：
确定模块，根据各所述样本访问请求的访问频次信息确定各所述样本 访问请求是否异常；
分配模块，分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；
第二生成模块，根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；
第三生成模块，根据所述原始检测参数生成所述检测参数。
在具体的应用场景中，所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间，所述确定模块具体用于：
根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；
若是，确认所述样本访问请求为异常样本访问请求；
若否，确认所述样本访问请求为正常样本访问请求。
在具体的应用场景中，具体根据以下公式生成原始检测参数：
Figure PCTCN2017070798-appb-000008
其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。
在具体的应用场景中，所述异常阈值具体通过以下方式生成：
获取异常样本访问请求占所有样本访问请求的百分比；
根据所述检测参数获取与各所述样本访问请求对应的异常概率；
将各所述样本访问请求对应的异常概率从小至大进行排序处理；
根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。
通过应用本申请的技术方案，在获取待检测的访问请求的属性数据之后，根据属性数据以及检测参数生成与访问请求对应的异常概率，由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成，因此在判断异常概率是否大于预设的异常阈值之后，即可基于二者的大小确认确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理，保证了网络的稳定性与安全性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

  1. 一种异常访问检测方法，其特征在于，包括：
    获取待检测的访问请求的属性数据；
    根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；
    判断所述异常概率是否大于预设的异常阈值；
    若是，确认所述访问请求为异常访问请求；
    若否，确认所述访问请求为正常访问请求。
  2. 如权利要求1所述的方法，其特征在于，在获取待检测的访问请求的属性数据之前，还包括：
    根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；
    分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；
    根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；
    根据所述原始检测参数生成所述检测参数。
  3. 如权利要求2所述的方法，其特征在于，所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常，具体为：
    根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；
    判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；
    若是，确认所述样本访问请求为异常样本访问请求；
    若否，确认所述样本访问请求为正常样本访问请求。
  4. 如权利要求2所述的方法，其特征在于，具体根据以下公式生成原始检测参数：
    Figure PCTCN2017070798-appb-100001
    其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。
  5. 如权利要求1-4任一项所述的方法，其特征在于，所述异常阈值具体通过以下方式生成：
    获取异常样本访问请求占所有样本访问请求的百分比；
    根据所述检测参数获取与各所述样本访问请求对应的异常概率；
    将各所述样本访问请求对应的异常概率从小至大进行排序处理；
    根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。
  6. 一种异常访问检测设备，其特征在于，包括：
    获取模块，获取待检测的访问请求的属性数据；
    第一生成模块，根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率，所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成；
    判断模块，判断所述异常概率是否大于预设的异常阈值；
    若是，所述判断模块确认所述访问请求为异常访问请求；
    若否，所述判断模块确认所述访问请求为正常访问请求。
  7. 如权利要求6所述的设备，其特征在于，还包括：
    确定模块，根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常；
    分配模块，分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签；
    第二生成模块，根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数；
    第三生成模块，根据所述原始检测参数生成所述检测参数。
  8. 如权利要求7所述的设备，其特征在于，所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间，所述确定模块具体用于：
    根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量，以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量；
    判断所述第一数量与所述第二数量之和是否大于预设的次数阈值；
    若是，确认所述样本访问请求为异常样本访问请求；
    若否，确认所述样本访问请求为正常样本访问请求。
  9. 如权利要求7所述的设备，其特征在于，具体根据以下公式生成原始检测参数：
    Figure PCTCN2017070798-appb-100002
    其中，argminw为所述原始检测参数的取值函数，w为所述原始检测参数，且w为求和项对应的最小值，N为所述样本访问请求的个数，Vi为各所述样本访问请求的标签的取值。
  10. 如权利要求6-10任一项所述的设备，其特征在于，所述异常阈值具体通过以下方式生成：
    获取异常样本访问请求占所有样本访问请求的百分比；
    根据所述检测参数获取与各所述样本访问请求对应的异常概率；
    将各所述样本访问请求对应的异常概率从小至大进行排序处理；
    根据所述排序结果确定与所述百分比对应的异常概率，并将所述异常概率作为所述异常阈值。
PCT/CN2017/070798 2016-01-19 2017-01-10 一种异常访问检测方法及设备 Ceased WO2017124942A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610035487.6 2016-01-19
CN201610035487.6A CN106982196B (zh) 2016-01-19 2016-01-19 一种异常访问检测方法及设备

Publications (1)

Publication Number Publication Date
WO2017124942A1 true WO2017124942A1 (zh) 2017-07-27

Family

ID=59341062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/070798 Ceased WO2017124942A1 (zh) 2016-01-19 2017-01-10 一种异常访问检测方法及设备

Country Status (3)

Country Link
CN (1) CN106982196B (zh)
TW (1) TW201730766A (zh)
WO (1) WO2017124942A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007367A1 (zh) * 2018-07-06 2020-01-09 北京白山耘科技有限公司 一种检查异常web访问的方法、装置、介质及设备
CN111476610A (zh) * 2020-04-16 2020-07-31 腾讯科技（深圳）有限公司 一种信息检测方法、装置及计算机可读存储介质
CN112001596A (zh) * 2020-07-27 2020-11-27 北京科技大学 一种时间序列数据异常点检测方法及系统
WO2021017284A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 基于皮质学习的异常检测方法、装置、终端设备及存储介质
CN112511538A (zh) * 2020-11-30 2021-03-16 杭州安恒信息技术股份有限公司 一种基于时间序列的网络安全检测方法及相关组件
CN114500004A (zh) * 2022-01-05 2022-05-13 北京理工大学 一种基于条件扩散概率生成模型的异常检测方法
CN115658492A (zh) * 2022-10-19 2023-01-31 中国科学院软件研究所 内核配置项异常值的检测方法及装置
CN116016274A (zh) * 2022-12-29 2023-04-25 南京融军建科技有限公司 一种异常通讯检测方法和系统
CN117424764A (zh) * 2023-12-19 2024-01-19 中关村科学城城市大脑股份有限公司 系统资源访问请求信息处理方法、装置、电子设备和介质
CN118827196A (zh) * 2024-07-10 2024-10-22 中国移动通信集团浙江有限公司 风险识别方法和装置
CN119200574A (zh) * 2024-11-29 2024-12-27 中国汽车技术研究中心有限公司 一种基于大数据的汽车智能诊断安全监控系统和方法
CN119788679A (zh) * 2025-03-11 2025-04-08 辽宁智教科技有限公司 一种在线教育平台的云端信息管理方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659566B (zh) * 2017-09-20 2021-01-19 深圳市创梦天地科技股份有限公司 对服务器异常访问的识别频率确定方法、装置及服务器
WO2019073557A1 (ja) * 2017-10-11 2019-04-18 三菱電機株式会社 サンプルデータ生成装置、サンプルデータ生成方法およびサンプルデータ生成プログラム
CN107678928B (zh) * 2017-10-31 2021-06-01 聚好看科技股份有限公司 应用程序的处理方法及服务器
CN107819631B (zh) * 2017-11-23 2021-03-02 东软集团股份有限公司 一种设备异常检测方法、装置及设备
CN108200008A (zh) * 2017-12-05 2018-06-22 阿里巴巴集团控股有限公司 异常数据访问的识别方法和装置
CN108268632A (zh) * 2018-01-16 2018-07-10 中国人民解放军海军航空大学 异常情报数据识别机器学习方法
CN108681542A (zh) * 2018-02-12 2018-10-19 阿里巴巴集团控股有限公司 一种异常检测的方法及装置
CN108449342B (zh) * 2018-03-20 2020-11-27 北京云站科技有限公司 恶意请求检测方法及装置
CN109145030B (zh) * 2018-06-26 2022-07-22 创新先进技术有限公司 一种异常数据访问的检测方法和装置
CN108667855B (zh) * 2018-07-19 2021-12-03 百度在线网络技术（北京）有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN109194539B (zh) * 2018-08-13 2022-01-28 中国平安人寿保险股份有限公司 数据管控方法、装置、计算机设备及存储介质
CN109543404B (zh) * 2018-12-03 2019-10-25 北京芯盾时代科技有限公司 一种访问行为的风险评估方法和装置
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式系统cpu异常检测方法、装置和存储介质
CN109873812B (zh) * 2019-01-28 2020-06-23 腾讯科技（深圳）有限公司 异常检测方法、装置及计算机设备
CN111835696B (zh) * 2019-04-23 2023-05-09 阿里巴巴集团控股有限公司 一种检测异常请求个体的方法及装置
CN112148763A (zh) * 2019-06-28 2020-12-29 京东数字科技控股有限公司 无监督数据异常检测方法、装置及存储介质
CN110417744B (zh) * 2019-06-28 2021-12-24 平安科技（深圳）有限公司 网络访问的安全判定方法和装置
CN110351299B (zh) * 2019-07-25 2022-04-22 新华三信息安全技术有限公司 一种网络连接检测方法和装置
CN110675228B (zh) * 2019-09-27 2021-05-28 支付宝(杭州)信息技术有限公司 用户购票行为检测方法以及装置
CN111177513B (zh) * 2019-12-31 2023-10-31 北京百度网讯科技有限公司 异常访问地址的确定方法、装置、电子设备及存储介质
CN113076349B (zh) * 2020-01-06 2024-06-11 阿里巴巴集团控股有限公司 数据异常检测方法、装置、系统及电子设备
CN115277439B (zh) * 2021-04-30 2023-09-19 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN113282433B (zh) * 2021-06-10 2023-04-28 天翼云科技有限公司 集群异常检测方法、装置和相关设备
CN113360348B (zh) * 2021-06-30 2022-09-09 北京字节跳动网络技术有限公司 异常请求处理方法、装置、电子设备和存储介质
TWI789075B (zh) * 2021-10-26 2023-01-01 中華電信股份有限公司 偵測應用程式的異常執行的電子裝置及方法
CN116318792A (zh) * 2022-12-15 2023-06-23 塔里木大学 一种信息安全管理方法及系统
CN120295817A (zh) * 2024-01-09 2025-07-11 杭州阿里云飞天信息技术有限公司 访问异常原因的检测方法、系统、设备、介质和程序产品
CN117579400B (zh) * 2024-01-17 2024-03-29 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统
CN118921222B (zh) * 2024-08-23 2025-03-21 西藏亿信云科技有限公司 基于网络信息技术的网络安全管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211725A (ja) * 2009-06-18 2009-09-17 Toshiba Corp 異常データ検出装置、異常データ検出方法及び異常データ検出プログラム
CN105187242A (zh) * 2015-08-20 2015-12-23 中国人民解放军国防科学技术大学 一种基于变长序列模式挖掘的用户异常行为检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8683591B2 (en) * 2010-11-18 2014-03-25 Nant Holdings Ip, Llc Vector-based anomaly detection
CN103198711B (zh) * 2013-03-21 2014-12-17 东南大学 一种降低不同严重程度交通事故概率的车辆调控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211725A (ja) * 2009-06-18 2009-09-17 Toshiba Corp 異常データ検出装置、異常データ検出方法及び異常データ検出プログラム
CN105187242A (zh) * 2015-08-20 2015-12-23 中国人民解放军国防科学技术大学 一种基于变长序列模式挖掘的用户异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DING, JIE ET AL.: "An Anomaly Detection System on Big Data", NATURAL SCIENCE JOURNAL OF HAINAN UNIVERSITY, vol. 33, no. 1, 31 March 2015 (2015-03-31), pages 24 - 27 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007367A1 (zh) * 2018-07-06 2020-01-09 北京白山耘科技有限公司 一种检查异常web访问的方法、装置、介质及设备
WO2021017284A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 基于皮质学习的异常检测方法、装置、终端设备及存储介质
CN111476610A (zh) * 2020-04-16 2020-07-31 腾讯科技（深圳）有限公司 一种信息检测方法、装置及计算机可读存储介质
CN111476610B (zh) * 2020-04-16 2023-06-09 腾讯科技（深圳）有限公司 一种信息检测方法、装置及计算机可读存储介质
CN112001596B (zh) * 2020-07-27 2023-10-31 北京科技大学 一种时间序列数据异常点检测方法及系统
CN112001596A (zh) * 2020-07-27 2020-11-27 北京科技大学 一种时间序列数据异常点检测方法及系统
CN112511538A (zh) * 2020-11-30 2021-03-16 杭州安恒信息技术股份有限公司 一种基于时间序列的网络安全检测方法及相关组件
CN112511538B (zh) * 2020-11-30 2022-10-18 杭州安恒信息技术股份有限公司 一种基于时间序列的网络安全检测方法及相关组件
CN114500004A (zh) * 2022-01-05 2022-05-13 北京理工大学 一种基于条件扩散概率生成模型的异常检测方法
CN115658492A (zh) * 2022-10-19 2023-01-31 中国科学院软件研究所 内核配置项异常值的检测方法及装置
CN116016274A (zh) * 2022-12-29 2023-04-25 南京融军建科技有限公司 一种异常通讯检测方法和系统
CN116016274B (zh) * 2022-12-29 2023-11-24 天航长鹰(江苏)科技有限公司 一种异常通讯检测方法和系统
CN117424764A (zh) * 2023-12-19 2024-01-19 中关村科学城城市大脑股份有限公司 系统资源访问请求信息处理方法、装置、电子设备和介质
CN117424764B (zh) * 2023-12-19 2024-02-23 中关村科学城城市大脑股份有限公司 系统资源访问请求信息处理方法、装置、电子设备和介质
CN118827196A (zh) * 2024-07-10 2024-10-22 中国移动通信集团浙江有限公司 风险识别方法和装置
CN119200574A (zh) * 2024-11-29 2024-12-27 中国汽车技术研究中心有限公司 一种基于大数据的汽车智能诊断安全监控系统和方法
CN119788679A (zh) * 2025-03-11 2025-04-08 辽宁智教科技有限公司 一种在线教育平台的云端信息管理方法

Also Published As

Publication number Publication date
CN106982196B (zh) 2020-07-31
TW201730766A (zh) 2017-09-01
CN106982196A (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
CN106982196B (zh) 一种异常访问检测方法及设备
US12563061B2 (en) Detection of anomalies associated with fraudulent access to a service platform
US11741132B2 (en) Cluster-based scheduling of security operations
US10686829B2 (en) Identifying changes in use of user credentials
US10140576B2 (en) Computer-implemented system and method for detecting anomalies using sample-based rule identification
US11042815B2 (en) Hierarchical classifiers
US20170063893A1 (en) Learning detector of malicious network traffic from weak labels
CN112926045B (zh) 一种基于逻辑回归模型的群控设备识别方法
CN110855648A (zh) 一种网络攻击的预警控制方法及装置
Grill et al. Learning combination of anomaly detectors for security domain
CN112348321A (zh) 风险用户的识别方法、装置及电子设备
US10372702B2 (en) Methods and apparatus for detecting anomalies in electronic data
CN111464529A (zh) 一种基于聚类集成的网络入侵检测方法及系统
CN103530312A (zh) 使用多方面足迹的用户标识的方法和系统
CN110414229B (zh) 操作命令检测方法、装置、计算机设备及存储介质
Jordaney et al. Misleading metrics: On evaluating machine learning for malware with confidence
US20220327394A1 (en) Learning support apparatus, learning support methods, and computer-readable recording medium
CN116719942B (zh) 数据资产分类方法、装置、计算机设备和计算机存储介质
CN110097120B (zh) 网络流量数据分类方法、设备及计算机存储介质
CN118264438A (zh) 一种针对域名生成算法的加密流量识别方法及系统
CN117473045A (zh) 一种双维度识别敏感数据的方法、装置、设备和存储介质
CN115842645A (zh) 基于umap-rf的网络攻击流量检测方法、装置及可读存储介质
CN112396445B (zh) 用于识别用户身份信息的方法和装置
HK1239978B (zh) 一种异常访问检测方法及设备
Jahromy et al. A new method for detecting network intrusion by using a combination of genetic algorithm and support vector machine classifier

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17740973

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17740973

Country of ref document: EP

Kind code of ref document: A1