WO2017107965A1 - 一种web异常检测方法和装置 - Google Patents

一种web异常检测方法和装置 Download PDF

Info

Publication number
WO2017107965A1
WO2017107965A1 PCT/CN2016/111615 CN2016111615W WO2017107965A1 WO 2017107965 A1 WO2017107965 A1 WO 2017107965A1 CN 2016111615 W CN2016111615 W CN 2016111615W WO 2017107965 A1 WO2017107965 A1 WO 2017107965A1
Authority
WO
WIPO (PCT)
Prior art keywords
access
web access
web
probability
abnormal
Prior art date
Application number
PCT/CN2016/111615
Other languages
English (en)
French (fr)
Inventor
刘博�
王占一
张卓
Original Assignee
北京奇虎科技有限公司
北京奇安信科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京奇虎科技有限公司, 北京奇安信科技有限公司 filed Critical 北京奇虎科技有限公司
Publication of WO2017107965A1 publication Critical patent/WO2017107965A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a web anomaly detection method, and a web anomaly detection apparatus.
  • Web attacks are basically hackers who complete the attack by modifying the url, including obtaining the contents of the website database, obtaining the root privileges of the server, stealing user data, and so on.
  • Web attacks such as directory traversal exploits, SQL injection, cross-site scripting attacks (XSS), and cross-site request forgery attacks (CSRF).
  • common detection methods include finding attack behavior based on attack detection rules formulated by security personnel, or extracting meaningful features by means of manual experience, and using supervised classification algorithms to find attack behavior.
  • Supervised classification algorithms can also achieve higher accuracy, and have lower reliance on security experts, but higher accuracy requires large and comprehensive training data, and it is often difficult to obtain large and comprehensive training data.
  • using supervised classification algorithms also requires re-collecting data, training models, and it is not easy to guarantee the real-time and comprehensiveness of detection.
  • the present invention has been made in order to provide a web anomaly detecting method and a web anomaly detecting method apparatus that overcome the above problems or at least partially solve the above problems.
  • a web anomaly detection method including:
  • each anomaly detection model to detect whether the target web access is an abnormal web access
  • the web access feature corresponding to the abnormality detection model whose detection result is abnormal web access is marked as the abnormal type of the target web access.
  • the invention also provides a web anomaly detecting device, comprising:
  • An anomaly detection model creating module configured to create, according to the plurality of web access features parsed from the historical web access record, a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature;
  • An abnormality detecting module configured to detect whether the target web access is an abnormal web access by using each abnormality detecting model
  • the exception type marking module is configured to mark the web access feature corresponding to the abnormality detection model whose detection result is abnormal web access as the abnormal type of the target web access.
  • a computer program comprising computer readable code that, when executed on a computing device, causes the computing device to perform the web anomaly detection method.
  • a computer readable medium wherein the computer program is stored.
  • a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature are created according to a plurality of web access features parsed from a historical web access record, and the plurality of anomaly detection models are used to implement the unknown Vulnerabilities and new types of attacks are automatically detected, eliminating the need to re-collect data and make rules, ensuring high detection rates and accuracy, reducing manual effort, and saving manpower and inspection time. Further, since the web access feature is used to mark the abnormal type of the target web access in the abnormal state, the security personnel can quickly determine the abnormal web access feature in the target web access, and timely perform the abnormality detection model corresponding to the abnormal web access feature. Model modification or model reconstruction ensures the timeliness of model modification or model reconstruction.
  • FIG. 1 is a flowchart showing a web anomaly detecting method according to Embodiment 1 of the present invention
  • FIG. 2 is a flowchart showing a web anomaly detecting method according to Embodiment 2 of the present invention.
  • FIG. 3 is a flow chart showing a web anomaly detection method according to an example of an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the structure of a web anomaly detecting apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing the structure of a web anomaly detecting apparatus according to Embodiment 2 of the present invention.
  • Figure 6 shows schematically a block diagram of a computing device for performing the method according to the invention
  • Fig. 7 schematically shows a storage unit for holding or carrying program code implementing the method according to the invention.
  • FIG. 1 there is shown a flowchart of a web anomaly detecting method according to Embodiment 1 of the present invention.
  • Step 101 Create, according to the plurality of web access features parsed from the historical web access record, a plurality of anomaly detection models that detect abnormal web access based on the web access feature.
  • a plurality of historical web accesses may be recorded in the historical web access record, and multiple historical web accesses are parsed to obtain web access features.
  • Web access features can include access roads One or more of path, path length, access parameters, access parameter values, and other feature information.
  • Historical web access records can be stored in the form of web access logs.
  • the anomaly detection model is used to detect whether the current web access belongs to an abnormal web access, and may be any model suitable for the present invention. By parsing multiple historical web accesses, multiple web access features can be obtained, and an anomaly detection model can be separately established for various historical web access features, so that multiple anomaly detection models for detecting web abnormal access can be obtained.
  • a plurality of historical web accesses are read from the historical access record, each historical web access is parsed, a plurality of web access features are obtained, and web access features belonging to the same web access feature are counted, and an abnormal web is detected based on a certain web access feature.
  • Multiple anomaly detection models accessed.
  • the historical web access record is read from the historical access record, and each historical web access is parsed, and multiple path length features of the parsing can be statistically analyzed, and an anomaly detection model for detecting abnormal web access based on the path length is established;
  • the parameter value is used to establish an anomaly detection model that detects abnormal web access based on the parameter value.
  • each abnormality detection model is used to detect whether the target web access is an abnormal web access.
  • each abnormality detecting model may be used to detect the target web access, thereby determining whether the target web access is an abnormal web access.
  • the access feature of the target web access may be extracted, and the access feature is input into the corresponding model to obtain the result of the model output.
  • Step 103 Mark the web access feature corresponding to the abnormality detection model of the abnormal web access as the abnormal type of the target web access.
  • the web access feature corresponding to the abnormality detecting model is used to mark the abnormal type of the target web access.
  • any web access feature may be used to mark the abnormal type of the target web access; Web access feature tag target web
  • the type of exception accessed, the invention is not limited herein.
  • a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature are created according to a plurality of web access features parsed from a historical web access record, and the plurality of anomaly detection models are used to implement the unknown Vulnerabilities and new types of attacks are automatically detected, eliminating the need to re-collect data and make rules, ensuring high detection rates and accuracy, reducing manual effort, and saving manpower and inspection time. Further, since the web access feature is used to mark the abnormal type of the target web access in the abnormal state, the security personnel can quickly determine the abnormal web access feature in the target web access, and timely perform the abnormality detection model corresponding to the abnormal web access feature. Model modification or model reconstruction ensures the timeliness of model modification or model reconstruction.
  • FIG. 2 there is shown a flowchart of a web anomaly detecting method according to Embodiment 2 of the present invention.
  • Step 201 Create a plurality of abnormality detection models for detecting abnormal web access based on the web access feature according to the plurality of web access features parsed from the historical web access record.
  • the value range of the web access feature in the historical web access record may be collected, and the first abnormality detecting model for determining whether the web access feature meets the value range may be created; and each web access may also be counted.
  • the model is created based on the access feature in any suitable manner, and the present invention is not limited thereto.
  • the value range of the path length in the web access record may be counted, and a first abnormality detection model that determines whether the path length meets the value range is created.
  • the web access feature may include at least one of an access path, an access parameter, and an access parameter value.
  • the access path creation model is preferably adopted, and the process corresponding to creating the second abnormality detection model is specifically as follows:
  • the first probability of occurrence of each access path is counted according to the number of occurrences of each access parameter, and based on the first probability, a probability of predicting the target web access as an abnormal web access based on the access path is created.
  • the third anomaly detection model is created by using the access path.
  • the step of counting the first probability of occurrence of each access path according to the number of occurrences of each access parameter may include the following three sub-steps:
  • Sub-step 1 reading, for each access path, a first number of occurrences of access parameters included in the access path from the first hash table, and reading access parameters included in the access path from the second hash table The second number of occurrences of the binary group.
  • a hash table (also called a hash table) is a data structure that is directly accessed according to a key value. By mapping a key value to a position in the table, the record is accessed to speed up the search. .
  • the first hash table is used to record the first occurrence of the unary access parameter of the plurality of historical web accesses in the historical web access record
  • the second hash table is used to record the plurality of historical webs in the historical web access record.
  • the second number of accesses to the access parameter binary group appears.
  • count(m) is the number of occurrences of the unary access parameter m of the original record in the first hash table; count'(m) is the number of occurrences of the unary access parameter m recorded in the first hash table after the statistics.
  • count(m n) is the number of occurrences of the access parameter tuple (m n) of the original record in the second hash table
  • count′(m n) is the access recorded in the second hash table after the statistics The number of times the parameter's two-group (m n) appears.
  • Sub-step 2 according to the first number of times and the second number of times, the probability of occurrence of each access parameter dual group is counted.
  • the number of occurrences of the binary access parameter group count(b a), count(c b), and count(d c) are respectively read, and the binary of each access parameter is calculated according to the calculation formula of the probability of occurrence of the access parameter binary group.
  • the calculation formula of the fifth probability of occurrence of the access parameter binary group is:
  • a) of the access parameter set (b a) is: P(b
  • a) count(b a)/count(a);
  • b) of the access parameter set (c b) is: P(c
  • b) count(c b)/count(b);
  • Sub-step 3 according to the fifth probability of occurrence of the dual parameter of each access parameter, the first probability of occurrence of each access path is counted.
  • c) of the access parameter binary group can be extracted from the probability table, and the three probabilities extracted by multiplication, Get the probability that the access path will appear.
  • the probability of occurrence of this access path (path_prob) is:
  • Path_prob P(b
  • the method creates a third anomaly detection model that predicts the probability that the web access is an abnormal web access based on the access path after the first probability of the access path is counted.
  • a second probability of occurrence of each access parameter is counted for the same access path, and based on the second probability, a fourth is generated based on the probability that the web access is predicted to be an abnormal web access based on the access parameter.
  • the first hash table may be used to record the first number of occurrences of each access parameter in the same access path
  • the second hash table may be used to record the occurrence of the access path where each access parameter is located in the same access path. Two times.
  • the method is similar to the first method. After detecting the target web access, updating the historical web access record, and re-counting the first number of occurrences of the unary access parameter in the first hash table based on the web access feature of the target web access, and The second number of times the access path in which the access parameters are located in the second hash table occurs.
  • the formula count'(/a/b/c can be used.
  • /d) count'(/a/b/c/d)+1
  • the second probability of each access parameter appears as:
  • (para_x_prob) is the probability of occurrence of the access parameter x; count(x) is the number of times the access parameter x appears; count(/a/b/c/d?x) is the unary access parameter path (/a/b/c) /d?x) The number of occurrences.
  • Para_y_prob count(y)/count(/a/b/c/d?y).
  • the method creates a fourth anomaly detection model for predicting the probability that the web access is an abnormal web access based on the access parameter after counting the second probability of occurrence of each access parameter for the same access path.
  • the third probability of occurrence of each access parameter value is counted for the same access parameter, and based on the third probability, the target network access is predicted to be abnormal web access based on the access parameter value.
  • the fifth anomaly detection model of probability is used to estimate the probability that the target network access is predicted to be abnormal web access based on the access parameter value.
  • the first hash table may be used to record the first number of occurrences of each access parameter value
  • the second hash table may be used to record the second number of times each access parameter and the corresponding access parameter value appear simultaneously.
  • the probability of occurrence of each access parameter value can be calculated by counting the first hash table. Further, the probability calculation formula in the method can be used to calculate a third probability that each access parameter value appears for the same access parameter.
  • the method is similar to the first method. After detecting the target web access, the historical web access record is updated, and the first time of each access parameter value in the first hash table is re-stated based on the web access feature of the target web access. And a second number of times that each access parameter in the second hash table occurs simultaneously with the corresponding access parameter value.
  • (para_vale_e_prob) is the probability that the access parameter value of the access parameter x appears as e;
  • the formula for calculating the third probability that the access parameter value is f is:
  • (para_vale_f_prob) is the probability that the access parameter value of the access parameter x appears f
  • (para_y_prob) is the probability of occurrence of the access parameter y
  • count(f) is the number of times the access parameter value f appears
  • the method creates a fifth anomaly detection model for predicting the probability that the web access is an abnormal web access based on the access parameter value after counting the third probability of occurrence of each access parameter value for the same access parameter.
  • the abnormality detecting model may be created by using one or more of the above three methods, and the present invention is not limited thereto.
  • Step 202 Determine that the number of at least one web access feature in the abnormality detection model meets a first preset range, and/or the detection variance of the detection result meets a second preset range, and determine that the abnormality detection model is stable. status.
  • the abnormality detection model after the abnormality detection model is created, it is necessary to determine whether the abnormality detection model is in a stable state. Only after determining that the abnormality detection model is in a stable state, the abnormality detection model can be used to detect whether the target web access is an abnormal web access. For an anomaly detection model that is in an unstable state, you need to modify the model or reconstruct the model.
  • the method for determining whether the abnormality detection model is in a stable state may include: first, by counting, the number of at least one web access feature in the abnormality detection model conforms to a first preset range; The detected variance of the result conforms to the second preset range; and the third, when the first judgment method and the second judgment method are combined, and the two judgment conditions are satisfied, the abnormality detection model may be determined to be in a stable state.
  • the number of different access paths (Uniform Resource Locator, URL) is greater than 1000, the total number of urls is greater than 100000, and different access sources. If the number of IPs is greater than 50, and the variance of the abnormality detection model detected by the anomaly detection model is less than 0.005 in the last five times, it can be determined that the anomaly detection model is in a stable state.
  • URL Uniform Resource Locator
  • each abnormality detection model is used to detect whether the target web access is an abnormal web access.
  • a detection method for detecting whether the target web access is an abnormal web access is different.
  • the abnormality detection model may be used to determine whether the web access feature of the target web access meets the value range. If not, the target web access is determined to be an abnormal web access.
  • the value of the web access feature of the target web access is analyzed, and the value range of the web access feature obtained by the statistical web access record is determined, and whether the value of the web access feature meets the statistical value range, if yes, Then determining that the target web access is a normal web access; if not, determining that the target web access is an abnormal web access.
  • the web access feature can be a path length.
  • the path length of multiple historical web accesses in a historical access record of a website may be parsed, and the maximum and minimum values of the path length of the historical web access under the website may be calculated.
  • the calculated maximum path length is calculated as follows:
  • Max_length max(max_length, current_path_length+3)
  • (max_length) is the maximum path length of the statistics
  • (max_length) is the maximum length of the path lengths of the plurality of historical web accesses in the historical access record
  • (current_path_length+3) is the average of the path lengths of the plurality of historical web accesses in the history access record plus 3
  • ⁇ max(max_length, current_path_length+3) ⁇ is the largest of both (max_length) and (current_path_length+3)
  • the value is the maximum path length for statistics.
  • the calculated minimum path length is calculated as follows:
  • Min_length min(min_length, current_path_length-3)
  • (min_length) is the minimum path length of the statistics; (min_length) is the minimum length of the path lengths of the plurality of historical web accesses in the historical access record; (current_path_length+3) is the path of multiple historical web accesses in the historical access record. The average value of the length is decremented by 3; ⁇ min(min_length, current_path_min-3) ⁇ is the minimum value of both (min_length) and (current_path_length-3) as the statistical minimum path length.
  • each of the anomaly detection models may be used to predict the target probability that the target web access is an abnormal web access, and in the probability that all web accesses in the web access record are corresponding, if the target probability is sorted Below the preset value, it is determined that the target web access is an abnormal web access.
  • one or more of the access path anomaly detection model, the access parameter anomaly detection model, and the access parameter value anomaly detection model created in the embodiment may be used to predict that the target web access is an abnormal web access. Target probability.
  • the target web access may be determined to be an abnormal web access.
  • the target probability of occurrence of the web access feature may be one or more of a probability of occurrence of the access path, a probability of occurrence of the access parameter, and a probability of occurrence of the access parameter value, which is not limited herein.
  • the abnormal threshold of the probability that the preset access path appears is 0.01, and for a certain website, the total number of recorded access paths in the historical access record is 100000. If the calculated probability of occurrence of the access path of the target web access (path_prob) is less than the probability of occurrence of 1000 access paths recorded in the historical web access record, it may be determined that the target web access is an abnormal web access.
  • Step 204 Mark the web access feature corresponding to the abnormality detection model of the abnormal web access as the abnormal type of the target web access.
  • the path length may be marked as the abnormal type of the target web access for the first abnormality detecting model; and the access path and the access may be accessed for the second abnormal detecting model.
  • One or more of the parameters, access parameter values, and other applicable access characteristics are marked as the type of exception for the target web access.
  • the web access feature includes an access source IP and an access time
  • the method further includes:
  • the exception type, access source IP, and access time of the web access are displayed.
  • information such as an abnormal type, source IP information, and access time may be displayed.
  • the web access feature includes an access source IP and an access time
  • the method further includes:
  • the method further includes:
  • the updated historical web access record is obtained, and each anomaly detection model is re-created.
  • a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature are created according to a plurality of web access features parsed from a historical web access record, and the plurality of anomaly detection models are used to implement the unknown Vulnerabilities and new types of attacks are automatically detected, eliminating the need to re-collect data and make rules, ensuring high detection rates and accuracy, reducing manual effort, and saving manpower and inspection time. Further, since the web access feature is used to mark the abnormal type of the target web access in the abnormal state, the security personnel can quickly determine the abnormal web access feature in the target web access, and timely perform the abnormality detection model corresponding to the abnormal web access feature. Model modification or model reconstruction to ensure the timeliness of model modification or model reconstruction Sex.
  • FIG. 3 a block flow diagram of a web anomaly detection method according to an example of an embodiment of the present invention is shown.
  • the specific steps of the web anomaly detection method include:
  • FIG. 4 a structural block diagram of a web anomaly detecting apparatus according to Embodiment 1 of the present invention is shown, and the apparatus may include:
  • the anomaly detection model creation module 301 is configured to create a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature according to the plurality of web access features parsed from the historical web access record.
  • the abnormality detecting module 302 is configured to detect whether the target web access is an abnormal web access by using each abnormality detecting model.
  • the exception type marking module 303 is configured to mark the web access feature corresponding to the abnormality detection model whose detection result is abnormal web access as the abnormal type of the target web access.
  • a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature are created according to a plurality of web access features parsed from a historical web access record, and the plurality of anomaly detection models are used to implement the unknown Vulnerabilities and new attacks are automatically detected, no Data collection and rules need to be re-collected to ensure high detection rate and accuracy, reduce manual workload, and save manpower and inspection time. Further, since the web access feature is used to mark the abnormal type of the target web access in the abnormal state, the security personnel can quickly determine the abnormal web access feature in the target web access, and timely perform the abnormality detection model corresponding to the abnormal web access feature. Model modification or model reconstruction ensures the timeliness of model modification or model reconstruction.
  • FIG. 5 a structural block diagram of a web anomaly detecting apparatus according to Embodiment 2 of the present invention is shown, and the apparatus may include:
  • the anomaly detection model creation module 401 is configured to create a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature according to the plurality of web access features parsed from the historical web access record.
  • the steady state determining module 402 is configured to: after detecting whether the target web access is an abnormal web access by using each abnormality detecting model, by counting the number of at least one web access feature in the abnormality detecting model conforming to the first preset The range, and/or the detection variance of the detection result conforms to the second preset range, and the abnormality detection model is determined to be in a stable state.
  • the abnormality detecting module 403 is configured to detect whether the target web access is an abnormal web access by using each abnormality detecting model.
  • the exception type marking module 404 is configured to mark the web access feature corresponding to the abnormality detection model whose detection result is abnormal web access as the abnormal type of the target web access.
  • the abnormality detecting model creating module 401 includes:
  • the first anomaly detection model creation module is configured to collect a value range of the web access feature in the historical web access record, and create a first anomaly detection model that determines whether the web access feature meets the value range.
  • the abnormality detecting module 403 is specifically configured to determine, by using the abnormality detecting model, whether the web access feature of the target web access meets the value range, and if not, determine the The target web access is an abnormal web access.
  • the abnormality detection model creation module 401 is specifically configured to calculate the probability of occurrence of each web access feature, and create a prediction system based on each web access feature.
  • the web access is a second anomaly detection model for the probability of an abnormal web access.
  • the abnormality detecting module 403 includes:
  • a target probability prediction module configured to predict, by using each anomaly detection model, the target probability that the target web access is an abnormal web access, respectively;
  • the abnormal web access determining module is configured to determine, in the probability that all the web accesses are in the web access record, if the sorting of the target probability is lower than a preset value, determining that the target web access is an abnormal web access.
  • the web access feature includes at least one of an access path, an access parameter, and an access parameter value
  • the abnormality detection model creating module 401 includes:
  • a third abnormality detection model creating module configured to calculate a first probability of occurrence of each access path according to the number of occurrences of each access parameter, and based on the first probability, create, based on the access path, predict that the web access is an abnormal web access a third anomaly detection model of probability;
  • a fourth abnormality detection model creating module configured to calculate a second probability of occurrence of each access parameter for the same access path, and based on the second probability, create a prediction that the web access is abnormal based on the access parameter a fourth anomaly detection model for the probability of web access;
  • a fifth anomaly detection model creating module configured to calculate, for the same access parameter, a third probability that each access parameter value appears, and based on the third probability, create a prediction based on the access parameter value to predict the web access A fifth anomaly detection model for the probability of abnormal web access.
  • the third abnormality detecting model creating module includes:
  • a number reading module configured to read, for each access path, a first number of occurrences of the access parameter included in the access path from the first hash table, and read the access path from the second hash table The second number of times the access parameter binary group appears;
  • a fifth probability statistics module configured to calculate, according to the first number of times and the second number of times, a fifth probability of occurrence of a binary group of each access parameter
  • the first probability statistics module is configured to calculate a first probability of occurrence of each access path according to a fifth probability of occurrence of the dual parameter of each access parameter.
  • the device further includes:
  • a steady state determining module configured to detect each target in each of the abnormality detecting models Before the web access is abnormal web access, the number of at least one web access feature in the abnormality detecting model is consistent with the first preset range, and/or the detected variance of the detection result conforms to the second preset range, and the determined The anomaly detection model is in a steady state.
  • the device further includes:
  • the information display module is configured to display an abnormal type of the web access, an access source IP, and an access time, where the web access feature includes an access source IP and an access time.
  • the device further includes:
  • the web attack event determining module is configured to: if the abnormal web access of the same access source IP is detected in the first time period exceeds a preset number, determine that the web attack event of the access source IP occurs, and notify the web attack The event, the web access feature includes access source IP and access time.
  • the device further includes:
  • the abnormality detection model re-creation module is configured to acquire an updated historical web access record and re-create each abnormality detection model if a preset number of web attack events of different access source IPs are detected in the second time period.
  • a plurality of anomaly detection models for detecting an abnormal web access based on the web access feature are created according to a plurality of web access features parsed from a historical web access record, and the plurality of anomaly detection models are used to implement the unknown Vulnerabilities and new types of attacks are automatically detected, eliminating the need to re-collect data and make rules, ensuring high detection rates and accuracy, reducing manual effort, and saving manpower and inspection time. Further, since the web access feature is used to mark the abnormal type of the target web access in the abnormal state, the security personnel can quickly determine the abnormal web access feature in the target web access, and timely perform the abnormality detection model corresponding to the abnormal web access feature. Model modification or model reconstruction ensures the timeliness of model modification or model reconstruction.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or all of the functionality of some or all of the components of the web anomaly detection method and apparatus in accordance with embodiments of the present invention.
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • Figure 6 illustrates a computing device that can implement a web anomaly detection method in accordance with the present invention.
  • the computing device conventionally includes a processor 610 and a computer program product or computer readable medium in the form of a memory 620.
  • the memory 620 may be an electronic memory such as a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an EPROM, a hard disk, or a ROM.
  • Memory 620 has a memory space 630 for program code 631 for performing any of the method steps described above.
  • storage space 630 for program code may include various program code 631 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • Such computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such a computer program product is typically a portable or fixed storage unit as described with reference to FIG.
  • the storage unit may have storage segments, storage spaces, and the like that are similarly arranged to memory 620 in the computing device of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit includes computer readable code 631', ie, code readable by a processor, such as 610, that when executed by a computing device causes the computing device to perform each of the methods described above step.
  • the web anomaly detection scheme provided herein is not inherently related to any particular computer, virtual system, or other device.
  • Various general purpose systems can also be used with the teaching based on the teachings herein. According to the above description, it is obvious that the structure required to construct the system having the solution of the present invention is obvious.
  • the invention is not directed to any particular programming language. It is to be understood that the invention may be embodied in a variety of programming language, and the description of the specific language has been described above in order to disclose the preferred embodiments of the invention.
  • modules in the devices of the embodiments can be adaptively changed and placed in one or more devices different from the embodiment.
  • the modules or units or components of the embodiments may be combined into one module or unit or component, and further they may be divided into a plurality of sub-modules or sub-units or sub-components.
  • any combination of the features disclosed in the specification, including the accompanying claims, the abstract and the drawings, and any methods so disclosed, or All processes or units of the device are combined.
  • Each feature disclosed in this specification (including the accompanying claims, the abstract and the drawings) may be replaced by alternative features that provide the same, equivalent or similar purpose.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种web异常检测方法和装置，所述方法包括：根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，采用各个异常检测模型，分别检测目标web访问是否为异常web访问，将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。本发明实施例的方法利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。

Description

一种web异常检测方法和装置
本申请要求在2015年12月25日提交中国专利局、申请号为201510998031.5、发明名称为“一种web异常检测方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机技术领域，特别是涉及一种web异常检测方法，以及，一种web异常检测装置。
背景技术
随着web服务的不断流行，web网站遭受的攻击也越来越多。web攻击基本都是黑客通过修改url来完成攻击，包括获取网站数据库内容，获得服务器root权限，窃取用户数据等。常用的web攻击类型有很多，如目录遍历漏洞利用、SQL注入、跨站脚本攻击(XSS)、跨站请求伪造攻击(CSRF)等。
对于web攻击，常用的检测方法包括依据安全人员制定的攻击检出规则找出攻击行为，或是凭借人工经验提取有意义的特征，使用有监督分类算法找出攻击行为。
基于人工制定的检出规则的方法对已知漏洞或攻击行为的方式，需要大量的安全专家，会引入更多的主观成分，而且对于新型攻击，需要重新制定规则，不能保证检测的实时性和全面性。
有监督分类算法也可以获得较高的准确率，而且对安全专家的依赖较低，但较高的准确率需要依据大量的且全面的训练数据，获取大量的且全面的训练数据往往很难。同时，对于新型攻击的检测，使用有监督分类算法也需要重新收集数据，训练模型，也不易保证检测的实时性和全面性。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的web异常检测方法和web异常检测方法装置。
依据本发明的一个方面，提供了web异常检测方法，包括：
根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；
采用各个异常检测模型，分别检测目标web访问是否为异常web访问；
将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
本发明还提供了一种web异常检测装置，包括：
异常检测模型创建模块，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；
异常检测模块，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问；
异常类型标记模块，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
根据本发明的又一个方面，提供了一种计算机程序，其包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行所述的web异常检测方法。
根据本发明的再一个方面，提供了一种计算机可读介质，其中存储了所述的计算机程序。
依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的 技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例1的web异常检测方法的流程图；
图2示出了根据本发明实施例2的web异常检测方法的流程图；
图3示出了根据本发明实施例的一个示例的web异常检测方法的流程框图；
图4示出了根据本发明实施例1的web异常检测装置的结构框图；
图5示出了根据本发明实施例2的web异常检测装置的结构框图；
图6示意性地示出了用于执行根据本发明的方法的计算设备的框图；
图7示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，示出了本发明实施例1的web异常检测方法的流程图。
步骤101，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。
本发明实施例中，历史web访问记录中可以记录多个历史web访问，解析多个历史web访问，获得web访问特征。web访问特征可以包括访问路 径、路径长度、访问参数、访问参数值和其它特征信息中的一种或多种。历史web访问记录可以以web访问日志的形式存储。
异常检测模型用于检测当前web访问是否属于异常web访问，可以为任意适用于本发明的模型。解析多个历史web访问，可以得到多个web访问特征，针对各种历史web访问特征都可以分别建立异常检测模型，从而可以得到用于检测web异常访问的多个异常检测模型。
具体地，从历史访问记录中读取多个历史web访问，解析各个历史web访问，得到多个web访问特征，统计属于同一web访问特征的web访问特征，创建基于某一web访问特征检测异常web访问的多个异常检测模型。
例如，从历史访问记录中读取历史web访问记录，解析各个历史web访问，可以统计解析的多个路径长度特征，建立基于路径长度检测异常web访问的异常检测模型；也可以统计解析的多个参数值，建立基于参数值检测异常web访问的异常检测模型。
步骤102，采用各个异常检测模型，分别检测目标web访问是否为异常web访问。
本发明实施例中，由于创建了多个异常web访问模型，所以可以采用各个异常检测模型对目标web访问进行检测，进而判断目标web访问是否为异常web访问。
具体检测时，可以提取目标web访问的访问特征，将访问特征输入对应的模型，得到模型输出的结果。
步骤103，将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
本发明实施例中，当某一异常检测模型检测出目标web访问为异常web访问时，使用该异常检测模型对应的web访问特征标记目标web访问的异常类型。
在具体实现中，针对目标web访问，若使用多个异常检测模型同时检测出目标web访问为异常web访问时，则可以使用任意一个web访问特征标记目标web访问的异常类型；也可以使用多个web访问特征标记目标web 访问的异常类型，本发明在此不做限制。
依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。
参照图2，示出了根据本发明实施例2的web异常检测方法的流程图。
步骤201，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。
本发明实施例中，可以统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型；也可以统计各个web访问特征出现的概率，创建基于各个web访问特征预测所述目标web访问为异常web访问的概率的第二异常检测模型；也可以同时创建第一异常检测模型和第二异常检测模型，还可以采用其他任意适用的方式基于访问特征创建模型，本发明对此并不做限制。
在具体实现中，创建第一异常检测模型时，可以统计web访问记录中的路径长度的取值范围，创建判断路径长度是否符合所述取值范围的第一异常检测模型。
创建第二异常检测模型时，所述web访问特征可以包括访问路径、访问参数和访问参数值中的至少一种。本发明实施例中，优选采用访问路径创建模型，对应创建第二异常检测模型的过程具体如下：
采用访问路径创建模型时，根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述目标web访问为异常web访问的概率的第三异常检测模型。
进一步，本方法中，所述根据各个访问参数出现的次数统计各个访问路径出现的第一概率的步骤可以包括以下三个子步骤：
子步骤1，针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数。
哈希表(Hash table，也叫散列表)，是根据关键码值(Key value)而直接进行访问的数据结构，通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。
本子步骤中，第一哈希表用于记录历史web访问记录中多个历史web访问的一元访问参数出现的第一次数，第二哈希表用于记录历史web访问记录中多个历史web访问的访问参数二元组出现的第二次数。当检测到目标web访问后，更新历史web访问记录，基于目标web访问的web访问特征，重新统计第一哈希表中一元访问参数出现的第一次数，以及第二哈希表中二元访问参数组出现的第二次数。可以采用下面的公式对第一哈希表中的一元访问参数进行统计，计算公式为：
count′(m)＝count(m)+1
其中，count(m)为第一哈希表中原始记录的一元访问参数m出现的次数；count′(m)为统计后的第一哈希表中记录的一元访问参数m出现的次数。
可以采用下面的公式对第二哈希表中的访问参数二元组进行统计，计算公式为：
count′(m n)＝count(m n)+1
其中，count(m n)为第二哈希表中原始记录的访问参数二元组(m n)出现的次数；count′(m n)为统计后的第二哈希表中记录的访问参数二元组(m n)出现的次数。
在完成对第一哈希表中一元访问参数出现的第一次数，以及第二哈希表中访问参数二元组出现的第二次数的统计后，将统计后的第一次数存储至第一哈希表，将统计后的第二次数存储至第二哈希表，更新第一哈希表和第二哈希表存储的数据。
针对各个访问路径，从更新后的第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从更新后的第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数。
子步骤2，根据所述第一次数和第二次数统计各个访问参数二元组出现的概率。
例如，目标web访问的url为：/a/b/c/d？x＝e&y＝f，可以从第一哈希表中分别读取一元访问参数a、b和c出现的次数count(a)、count(b)和count(c)；从第二哈希表中分别读取二元访问参数组出现的次数count(b a)、count(c b)和count(d c)，依据访问参数二元组出现的概率的计算公式，计算各个访问参数二元组出现的第五概率。所述访问参数二元组出现的第五概率的计算公式为：
访问参数二元组(b a)出现的概率P(b|a)为：P(b|a)＝count(b a)/count(a)；
访问参数二元组(c b)出现的概率P(c|b)为：P(c|b)＝count(c b)/count(b)；
访问参数二元组(d c)出现的概率P(d|c)为：P(d|c)＝count(d c)/count(c)。
之后，分别将计算的访问参数二元组出现的第五概率P(b|a)、P(c|b)和P(d|c)存储至概率表。
子步骤3，根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。
例如，目标web访问的url为：/a/b/c/d？x＝e&y＝f，可以从概率表中提取访问参数二元组出现的概率P(b|a)、P(c|b)和P(d|c)，相乘提取的三个概率，得到该访问路径出现的概率。该访问路径出现的概率(path_prob)的计算公式为：
path_prob＝P(b|a)*P(c|b)*P(d|c)。
本方法在统计访问路径出现的第一概率后，创建基于访问路径预测所述web访问为异常web访问的概率的第三异常检测模型。
采用访问参数创建模型时，针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型。
本方案中，第一哈希表可以用于记录同一访问路径下各个访问参数出现的第一次数，第二哈希表可以用于记录同一访问路径下各个访问参数所在的访问路径出现的第二次数。
本方法与第一种方法类似，检测到目标web访问后，更新历史web访问记录，基于目标web访问的web访问特征，重新统计第一哈希表中一元访问参数出现的第一次数，以及第二哈希表中各个访问参数所在的访问路径出现的第二次数。
例如，目标web访问的url为：/a/b/c/d？x＝e&y＝f，可以采用公式count′(x)＝count(x)+1对第一哈希表中的访问参数x出现的次数进行统计，可以采用公式count′(/a/b/c/d)＝count′(/a/b/c/d)+1对第二哈希表中的访问参数x所在的访问路径出现的次数进行统计。
针对例子中的访问路径，各个访问参数出现的第二概率的计算公式为：
para_x_prob＝count(x)/count(/a/b/c/d？x)
其中，(para_x_prob)为访问参数x出现的概率；count(x)为访问参数x出现的次数；count(/a/b/c/d？x)为一元访问参数路径(/a/b/c/d？x)出现的次数。
同样，访问参数y出现的第二概率的计算公式为：
para_y_prob＝count(y)/count(/a/b/c/d？y)。
本方法在针对同一访问路径，统计各个访问参数出现的第二概率后，创建基于访问参数预测所述web访问为异常web访问的概率的第四异常检测模型。
采用访问参数值创建模型时，针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述目标web访问为异常web访问的概率的第五异常检测模型。
本方法中，第一哈希表可以用于记录各个访问参数值出现的第一次数，第二哈希表可以用于记录各个访问参数与相应的访问参数值同时出现的第二次数。可以通过统计第一哈希表，计算各个访问参数值出现的概率。进一步，可以利用本方法中的概率计算公式，计算针对同一访问参数，各访问参数值出现的第三概率。
本方法与第一种方法类似，检测到目标web访问后，更新历史web访问记录，基于目标web访问的web访问特征，重新统计第一哈希表中各个访问参数值出现的第一次数，以及第二哈希表中各个访问参数与相应的访问参数值同时出现的第二次数。
例如，目标web访问的url为：/a/b/c/d？x＝e&y＝f，针对访问参数x，其访问参数值为e出现的第三概率的计算公式为：
para_vale_e_prob＝para_x_prob*(count(e)/count(x＝e))
其中，(para_vale_e_prob)为访问参数x的访问参数值为e出现的概率；(para_x_prob)为访问参数x出现的概率；count(e)为访问参数值e出现的次数；count(x＝e)为访问参数x的访问参数值为e出现的次数。
同样，针对访问参数y，其访问参数值为f出现的第三概率的计算公式为：
para_vale_f_prob＝para_y_prob*(count(f)/count(y＝f))
其中，(para_vale_f_prob)为访问参数x的访问参数值为f出现的概率；(para_y_prob)为访问参数y出现的概率；count(f)为访问参数值f出现的次数；count(y＝f)为访问参数y的访问参数值为f出现的次数。
本方法在针对同一访问参数，统计各个访问参数值出现的第三概率后，创建基于访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。
创建第二异常检测模型时，可以采用上述三种方法中的一种或多种创建异常检测模型，本发明在此不做限制。
步骤202，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。
本发明实施例中，创建异常检测模型后，需要判断异常检测模型是否处于稳定状态，只有确定异常检测模型处于稳定状态后，才可以采用该异常检测模型检测目标web访问是否为异常web访问。对于处于非稳定状态的异常检测模型，需要修改模型或重建模型。
在具体实现中，判断异常检测模型是否处于稳定状态的方法可以包括：第一种，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围；第二种，检测结果的检测方差符合第二预设范围；第三种，结合第一种判断方法和第二种判断方法，同时满足两个判断条件时，可以确定所述异常检测模型处于稳定状态。
例如，对于一个host(网站)，针对创建的任意一异常检测模型，若同时满足下述条件：不同的访问路径(Uniform Resource Locator，URL)数目大于1000、url总数目大于100000、不同的访问源IP数目大于50，以及最近五次该异常检测模型检测出异常比例的方差小于0.005，则可以确定该异常检测模型处于稳定状态。
步骤203，采用各个异常检测模型，分别检测目标web访问是否为异常web访问。
本发明实施例中，对于第一异常检测模型和第二异常检测模型，检测目标web访问是否为异常web访问的检测方法不同。
针对第一异常检测模型，可以采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。
具体地，解析目标web访问的web访问特征的取值，基于统计web访问记录得到的web访问特征的取值范围，判断所述web访问特征的取值是否符合统计的取值范围，若符合，则确定所述目标web访问为正常web访问；若不符合，则确定所述目标web访问为异常web访问。所述web访问特征可以为路径长度。
例如，可以解析某一网站的历史访问记录中多个历史web访问的路径长度，计算该网站下历史web访问的路径长度的最大值和最小值。统计的最大路径长度的计算公式如下：
max_length＝max(max_length，current_path_length+3)
其中，(max_length)为统计的最大路径长度；(max_length)为历史访问记录中多个历史web访问的路径长度中的最大长度； (current_path_length+3)为历史访问记录中多个历史web访问的路径长度的平均值加3；{max(max_length，current_path_length+3)}为取(max_length)和(current_path_length+3)两者中的最大值作为统计的最大路径长度。
统计的最小路径长度的计算公式如下：
min_length＝min(min_length，current_path_length-3)
其中，(min_length)为统计的最小路径长度；(min_length)为历史访问记录中多个历史web访问的路径长度中的最小长度；(current_path_length+3)为历史访问记录中多个历史web访问的路径长度的平均值减3；{min(min_length，current_path_min-3)}为取(min_length)和(current_path_length-3)两者中的最小值作为统计的最小路径长度。
针对第二异常检测模型，可以分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率，在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。
本发明实施例中，可以采用本实施例中创建的访问路径异常检测模型、访问参数异常检测模型和访问参数值异常检测模型中的一种或多种，预测所述目标web访问为异常web访问的目标概率。
在所述web访问记录中所有web访问对应的概率中，若所述目标web访问特征的web访问特征出现的目标概率的排序低于预设值，则可以判定目标web访问为异常web访问。具体地，web访问特征出现的目标概率可以为访问路径出现的概率、访问参数出现的概率和访问参数值出现的概率中的一种或多种，本发明在此不做限制。
例如，预设访问路径出现的概率的异常阈值为0.01，对于某一网站，在历史访问记录中，记录的访问路径的总数目为100000。如果计算出的目标web访问的访问路径出现的概率(path_prob)小于历史web访问记录中记录的1000个访问路径出现的概率，则可以判定目标web访问为异常web访问。
步骤204，将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
在具体实现中，当判定目标web访问为异常访问后，针对第一异常检测模型，可以将路径长度标记为所述目标web访问的异常类型；针对第二异常检测模型，可以将访问路径、访问参数、访问参数值和其它适用的访问特征中的一种或多种，标记为所述目标web访问的异常类型。
本发明实施例中，优选地，所述web访问特征包括访问源IP和访问时间，所述方法还包括：
展示所述web访问的异常类型、访问源IP以及访问时间。
本发明优选实施例中，在确定目标web访问为异常访问后，可以展示异常类型、源IP信息和访问时间等信息。例如，检测目标web访问为异常web访问后，可以展示如下信息：url：/index.php？user＝root；异常类型：参数值异常；源IP：10.16.44.12；时间：2015-09-19 18：55：27.941。
本发明实施例中，优选地，所述web访问特征包括访问源IP和访问时间，所述方法还包括：
若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件。
本发明实施例中，优选地，所述方法还包括：
若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。
例如，设定在5min内检测到20个不同访问源IP的web攻击事件时，需要获取更新的历史web访问记录，并重新创建各个异常检测模型。
依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效 性。
为了使本领域的技术人员更清楚地理解本发明，下面通过具体示例对本发明的web异常检测方法进行详细说明。
参照图3，示出了根据本发明实施例的一个示例的web异常检测方法的流程框图。本示例中，所述web异常检测方法具体步骤包括：
1、解析web访问日志，提取web访问特征；
2、依据解析的web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；
3、检测模型是否处于稳定状态，若是，则进行下一步，检测目标web访问；若否，则需要重新创建异常检测模型；
4、使用该异常检测模型检测目标web访问是否属于正常访问，若是，则检测下一个目标web访问；若否，则判定目标web访问为异常web访问，进行下一步；
5、判断是否发生web攻击事件，若否，则累计异常web访问的次数；若是，则通报发生了web攻击事件，并进一步判断是否需要重建模型，若是，则重建异常检测模型。
参照图4，示出了根据本发明实施例1的web异常检测装置的结构框图，所述装置可以包括：
异常检测模型创建模块301，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。
异常检测模块302，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问。
异常类型标记模块303，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无 需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。
参照图5，示出了根据本发明实施例2的web异常检测装置的结构框图，所述装置可以包括：
异常检测模型创建模块401，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。
稳定状态确定模块402，用于在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。
异常检测模块403，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问。
异常类型标记模块404，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
本发明实施例中，优选地，所述异常检测模型创建模块401包括：
第一异常检测模型创建模块，用于统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。
本发明实施例中，优选地，所述异常检测模块403，具体用于采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。
本发明实施例中，优选地，所述异常检测模型创建模块401，具体用于统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所 述web访问为异常web访问的概率的第二异常检测模型。
本发明实施例中，优选地，所述异常检测模块403包括：
目标概率预测模块，用于分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率；
异常web访问确定模块，用于在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。
本发明实施例中，优选地，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述异常检测模型创建模块401包括：
第三异常检测模型创建模块，用于根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；
和/或，第四异常检测模型创建模块，用于针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；
和/或，第五异常检测模型创建模块，用于针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。
本发明实施例中，优选地，所述第三异常检测模型创建模块包括：
次数读取模块，用于针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；
第五概率统计模块，用于根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；
第一概率统计模块，用于根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。
本发明实施例中，优选地，所述装置还包括：
稳定状态确定模块，用于在所述采用各个异常检测模型，分别检测目标 web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。
本发明实施例中，优选地，所述装置还包括：
信息展示模块，用于展示所述web访问的异常类型、访问源IP以及访问时间，所述web访问特征包括访问源IP和访问时间。
本发明实施例中，优选地，所述装置还包括：
web攻击事件确定模块，用于若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件，所述web访问特征包括访问源IP和访问时间。
本发明实施例中，优选地，所述装置还包括：
异常检测模型重新创建模块，用于若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。
依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。
对于上述基于web异常检测装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员 应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的web异常检测方法和装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图6示出了可以实现根据本发明的web异常检测方法的计算设备。该计算设备传统上包括处理器610和以存储器620形式的计算机程序产品或者计算机可读介质。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有用于执行上述方法中的任何方法步骤的程序代码631的存储空间630。例如，用于程序代码的存储空间630可以包括分别用于实现上面的方法中的各种步骤的各个程序代码631。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图7所述的便携式或者固定存储单元。该存储单元可以具有与图6的计算设备中的存储器620类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码631’，即可以由例如诸如610之类的处理器读取的代码，这些代码当由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的web异常检测方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征 的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (24)

  1. 一种web异常检测方法，包括：
    根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；
    采用各个异常检测模型，分别检测目标web访问是否为异常web访问；
    将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
  2. 根据权利要求1所述的方法，其中，所述根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型包括：
    统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。
  3. 根据权利要求2所述的方法，其中，所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问包括：
    采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。
  4. 根据权利要求1所述的方法，其中，所述根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型包括：
    统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型。
  5. 根据权利要求4所述的方法，其中，所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问包括：
    分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率；
    在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。
  6. 根据权利要求4所述的方法，其中，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述统计各个web访问特征出现的 概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型包括：
    根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；
    和/或，针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；
    和/或，针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。
  7. 根据权利要求6所述的方法，其中，所述根据各个访问参数出现的次数统计各个访问路径出现的第一概率包括：
    针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；
    根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；
    根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。
  8. 根据权利要求1所述的方法，其中，在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，所述方法还包括：
    通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。
  9. 根据权利要求1所述的方法，其中，所述web访问特征包括访问源IP和访问时间，所述方法还包括：
    展示所述web访问的异常类型、访问源IP以及访问时间。
  10. 根据权利要求1所述的方法，其中，所述web访问特征包括访问源IP和访问时间，所述方法还包括：
    若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件。
  11. 根据权利要求10所述的方法，其中，所述方法还包括：
    若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。
  12. 一种web异常检测装置，包括：
    异常检测模型创建模块，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；
    异常检测模块，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问；
    异常类型标记模块，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。
  13. 根据权利要求12所述的装置，其中，所述异常检测模型创建模块包括：
    第一异常检测模型创建模块，用于统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。
  14. 根据权利要求13所述的装置，其中：
    所述异常检测模块，具体用于采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。
  15. 根据权利要求12所述的装置，其中，
    所述异常检测模型创建模块，具体用于统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概 率的第二异常检测模型。
  16. 根据权利要求15所述的装置，其中，所述异常检测模块包括：
    目标概率预测模块，用于分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率；
    异常web访问确定模块，用于在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。
  17. 根据权利要求15所述的装置，其中，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述异常检测模型创建模块包括：
    第三异常检测模型创建模块，用于根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；
    和/或，第四异常检测模型创建模块，用于针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；
    和/或，第五异常检测模型创建模块，用于针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。
  18. 根据权利要求17所述的装置，其中，所述第三异常检测模型创建模块包括：
    次数读取模块，用于针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；
    第五概率统计模块，用于根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；
    第一概率统计模块，用于根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。
  19. 根据权利要求12所述的装置，其中，所述装置还包括：
    稳定状态确定模块，用于在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。
  20. 根据权利要求12所述的装置，其中，所述装置还包括：
    信息展示模块，用于展示所述web访问的异常类型、访问源IP以及访问时间，所述web访问特征包括访问源IP和访问时间。
  21. 根据权利要求12所述的装置，其中，所述装置还包括：
    web攻击事件确定模块，用于若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件，所述web访问特征包括访问源IP和访问时间。
  22. 根据权利要求21所述的装置，其中，所述装置还包括：
    异常检测模型重新创建模块，用于若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。
  23. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-11中的任一个所述的web异常检测方法。
  24. 一种计算机可读介质，其中存储了如权利要求23所述的计算机程序。
PCT/CN2016/111615 2015-12-25 2016-12-23 一种web异常检测方法和装置 WO2017107965A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510998031.5A CN105554007B (zh) 2015-12-25 2015-12-25 一种web异常检测方法和装置
CN201510998031.5 2015-12-25

Publications (1)

Publication Number Publication Date
WO2017107965A1 true WO2017107965A1 (zh) 2017-06-29

Family

ID=55832941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/111615 WO2017107965A1 (zh) 2015-12-25 2016-12-23 一种web异常检测方法和装置

Country Status (2)

Country Link
CN (1) CN105554007B (zh)
WO (1) WO2017107965A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729094A (zh) * 2019-01-24 2019-05-07 中国平安人寿保险股份有限公司 恶意攻击检测方法、系统、计算机装置及可读存储介质
CN111835737A (zh) * 2020-06-29 2020-10-27 中国平安财产保险股份有限公司 基于自动学习的web攻击防护方法、及其相关设备
CN112182578A (zh) * 2017-10-24 2021-01-05 创新先进技术有限公司 一种模型训练方法、检测url的方法及装置
CN114244618A (zh) * 2021-12-22 2022-03-25 北京天融信网络安全技术有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN114363061A (zh) * 2021-12-31 2022-04-15 深信服科技股份有限公司 一种异常流量检测方法、系统、存储介质和终端

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554007B (zh) * 2015-12-25 2019-01-04 北京奇虎科技有限公司 一种web异常检测方法和装置
CN107547490B (zh) * 2016-06-29 2020-12-04 阿里巴巴集团控股有限公司 一种扫描器识别方法、装置及系统
CN107665164A (zh) * 2016-07-29 2018-02-06 百度在线网络技术（北京）有限公司 安全数据检测方法和装置
CN106131071B (zh) * 2016-08-26 2019-06-04 北京奇虎科技有限公司 一种Web异常检测方法和装置
CN106357618B (zh) * 2016-08-26 2020-10-16 北京奇虎科技有限公司 一种Web异常检测方法和装置
CN107995145B (zh) * 2016-10-26 2020-11-27 中国移动通信有限公司研究院 一种面向waf日志的攻击行为模式挖掘方法及装置
CN107528826A (zh) * 2017-07-25 2017-12-29 北京长亭科技有限公司 网络攻击的检测方法及装置、终端设备和计算机存储介质
CN107302547B (zh) * 2017-08-21 2021-07-02 深信服科技股份有限公司 一种web业务异常检测方法及装置
CN108200087B (zh) * 2018-02-01 2020-05-12 平安科技（深圳）有限公司 web入侵检测方法、装置、计算机设备和存储介质
CN108449313B (zh) * 2018-02-01 2021-02-19 平安科技（深圳）有限公司 电子装置、互联网服务系统风险预警方法及存储介质
CN108600270A (zh) * 2018-05-10 2018-09-28 北京邮电大学 一种基于网络日志的异常用户检测方法及系统
CN110516170B (zh) * 2018-07-06 2020-04-28 北京白山耘科技有限公司 一种检查异常web访问的方法及装置
CN109508542B (zh) * 2018-10-26 2019-11-22 国家计算机网络与信息安全管理中心江苏分中心 大数据环境下web异常检测方法、系统及服务器
CN111368290B (zh) * 2018-12-26 2023-06-09 中兴通讯股份有限公司 一种数据异常检测方法、装置及终端设备
CN110365634B (zh) * 2019-05-23 2022-07-08 中国平安人寿保险股份有限公司 异常数据监控方法、装置、介质及电子设备
CN111541687B (zh) * 2020-04-21 2022-10-11 厦门网宿有限公司 一种网络攻击检测方法及装置
CN112817789B (zh) * 2021-02-23 2023-01-31 浙江大华技术股份有限公司 一种基于浏览器传输的建模方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7661136B1 (en) * 2005-12-13 2010-02-09 At&T Intellectual Property Ii, L.P. Detecting anomalous web proxy activity
CN103297435A (zh) * 2013-06-06 2013-09-11 中国科学院信息工程研究所 一种基于web日志的异常访问行为检测方法与系统
CN104579773A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 域名系统分析方法及装置
CN104601556A (zh) * 2014-12-30 2015-05-06 中国科学院信息工程研究所 一种面向web的攻击检测方法及系统
CN105337985A (zh) * 2015-11-19 2016-02-17 北京师范大学 一种攻击检测方法及系统
CN105554007A (zh) * 2015-12-25 2016-05-04 北京奇虎科技有限公司 一种web异常检测方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101077135B1 (ko) * 2009-10-22 2011-10-26 한국인터넷진흥원 웹 서비스 대상 응용계층 디도스 공격 탐지 및 대응 장치
CN102438025B (zh) * 2012-01-10 2015-03-25 中山大学 一种基于Web代理的间接分布式拒绝服务攻击抵御方法及系统
CN104901975B (zh) * 2015-06-30 2018-05-01 北京奇安信科技有限公司 网站日志安全分析方法、装置及网关
CN104954188B (zh) * 2015-06-30 2018-05-01 北京奇安信科技有限公司 基于云的网站日志安全分析方法、装置和系统
CN105072089B (zh) * 2015-07-10 2018-09-25 中国科学院信息工程研究所 一种web恶意扫描行为异常检测方法与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7661136B1 (en) * 2005-12-13 2010-02-09 At&T Intellectual Property Ii, L.P. Detecting anomalous web proxy activity
CN103297435A (zh) * 2013-06-06 2013-09-11 中国科学院信息工程研究所 一种基于web日志的异常访问行为检测方法与系统
CN104601556A (zh) * 2014-12-30 2015-05-06 中国科学院信息工程研究所 一种面向web的攻击检测方法及系统
CN104579773A (zh) * 2014-12-31 2015-04-29 北京奇虎科技有限公司 域名系统分析方法及装置
CN105337985A (zh) * 2015-11-19 2016-02-17 北京师范大学 一种攻击检测方法及系统
CN105554007A (zh) * 2015-12-25 2016-05-04 北京奇虎科技有限公司 一种web异常检测方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182578A (zh) * 2017-10-24 2021-01-05 创新先进技术有限公司 一种模型训练方法、检测url的方法及装置
CN109729094A (zh) * 2019-01-24 2019-05-07 中国平安人寿保险股份有限公司 恶意攻击检测方法、系统、计算机装置及可读存储介质
CN109729094B (zh) * 2019-01-24 2022-11-18 中国平安人寿保险股份有限公司 恶意攻击检测方法、系统、计算机装置及可读存储介质
CN111835737A (zh) * 2020-06-29 2020-10-27 中国平安财产保险股份有限公司 基于自动学习的web攻击防护方法、及其相关设备
CN111835737B (zh) * 2020-06-29 2024-04-02 中国平安财产保险股份有限公司 基于自动学习的web攻击防护方法、及其相关设备
CN114244618A (zh) * 2021-12-22 2022-03-25 北京天融信网络安全技术有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN114244618B (zh) * 2021-12-22 2023-11-10 北京天融信网络安全技术有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN114363061A (zh) * 2021-12-31 2022-04-15 深信服科技股份有限公司 一种异常流量检测方法、系统、存储介质和终端

Also Published As

Publication number Publication date
CN105554007B (zh) 2019-01-04
CN105554007A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
WO2017107965A1 (zh) 一种web异常检测方法和装置
US11237884B2 (en) Automated honeypot creation within a network
US11343268B2 (en) Detection of network anomalies based on relationship graphs
US11196756B2 (en) Identifying notable events based on execution of correlation searches
CN103297435B (zh) 一种基于web日志的异常访问行为检测方法与系统
WO2017113677A1 (zh) 处理用户行为数据的方法和系统
US20180069883A1 (en) Detection of Known and Unknown Malicious Domains
US20190065738A1 (en) Detecting anomalous entities
US10425436B2 (en) Identifying bulletproof autonomous systems
US20210112101A1 (en) Data set and algorithm validation, bias characterization, and valuation
WO2014208427A1 (ja) セキュリティ情報管理システム及びセキュリティ情報管理方法
JP7069399B2 (ja) コンピュータセキュリティインシデントを報告するためのシステムおよび方法
CN114915479A (zh) 一种基于Web日志的Web攻击阶段分析方法及系统
CN110572402B (zh) 基于网络访问行为分析的互联网托管网站检测方法、系统和可读存储介质
CN115051863B (zh) 异常流量检测的方法、装置、电子设备及可读存储介质
Sapegin et al. Evaluation of in‐memory storage engine for machine learning analysis of security events
Kobayashi et al. amulog: A general log analysis framework for comparison and combination of diverse template generation methods
CN105653568A (zh) 一种分析用户行为的方法及装置
KR101886526B1 (ko) 응용 트래픽 분류에 정교한 페이로드 시그니쳐 생성 방법 및 시스템
CN116431694A (zh) 海量数据全链路监控方法、装置、设备及存储介质
CN116865986A (zh) 一种病毒检测方法、cep引擎、电子设备及存储介质
WO2022204435A2 (en) Multi-platform detection and mitigation of contentious online content
CN117411708A (zh) 基于流量特征匹配的攻击检测方法、装置、设备及介质
CN117118725A (zh) 一种漏洞复现与网端关联分析的方法和装置
Menon A higher order collective classifier

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16877775

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16877775

Country of ref document: EP

Kind code of ref document: A1