WO2020000742A1 - 一种去重流量记录方法、装置、服务器及存储介质 - Google Patents

一种去重流量记录方法、装置、服务器及存储介质 Download PDF

Info

Publication number
WO2020000742A1
WO2020000742A1 PCT/CN2018/108470 CN2018108470W WO2020000742A1 WO 2020000742 A1 WO2020000742 A1 WO 2020000742A1 CN 2018108470 W CN2018108470 W CN 2018108470W WO 2020000742 A1 WO2020000742 A1 WO 2020000742A1
Authority
WO
WIPO (PCT)
Prior art keywords
traffic
deduplication
time
window
information
Prior art date
Application number
PCT/CN2018/108470
Other languages
English (en)
French (fr)
Inventor
赵吉
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020000742A1 publication Critical patent/WO2020000742A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Definitions

  • the present application relates to the field of computer technology, and in particular, to a method, a device, a server, and a storage medium for deduplication traffic recording.
  • the deduplication number is a basic and commonly used statistical index, and the determination of the deduplication number depends on the statistics of the deduplication flow. Therefore, how to establish better deduplication logic to record deduplication traffic has become an urgent problem.
  • the embodiments of the present application provide a method, a device, a server, and a storage medium for recording deduplication traffic.
  • the deduplication traffic is recorded in a time window format, which is helpful for recording the deduplication traffic more accurately.
  • an embodiment of the present application provides a deduplication flow recording method, which includes:
  • the field point information is parsed and the service generation time and indication information of the deduplication traffic are determined.
  • the indication information is used Instructing to perform a flow addition operation or a flow reduction operation on the deduplicated flow;
  • the deduplication traffic is separately recorded under the multiple service time windows.
  • an embodiment of the present application provides a deduplication flow recording device.
  • the deduplication flow recording device includes a module for executing the method in the first aspect.
  • an embodiment of the present application provides a server.
  • the server includes a processor, a network interface, and a memory.
  • the processor, the network interface, and the memory are connected to each other.
  • the network interface is controlled by the processor.
  • the memory is configured to receive and send messages, and the memory is configured to store a computer program that supports a server to execute the foregoing method, the computer program includes program instructions, and the processor is configured to call the program instructions to execute the method of the first aspect.
  • an embodiment of the present application provides a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, where the computer program includes program instructions, and the program instructions, when executed by a processor, cause all the The processor executes the method of the first aspect.
  • the server may separately record deduplication traffic under multiple service time windows. Recording deduplication traffic in the form of a time window is helpful for more accurate recording of deduplication traffic.
  • FIG. 1 is a schematic flowchart of a deduplication flow recording method according to an embodiment of the present application
  • FIG. 2 is a schematic diagram of a traffic configuration operation interface according to an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of another deduplication flow recording method according to an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a traffic rule configuration operation interface provided by an embodiment of the present application.
  • FIG. 5 is a schematic block diagram of a deduplication flow recording device according to an embodiment of the present application.
  • FIG. 6 is a schematic block diagram of a server according to an embodiment of the present application.
  • FIG. 1 is a schematic flowchart of a deduplication flow recording method according to an embodiment of the present application.
  • the deduplication flow recording method may include:
  • the server obtains field point information of the message, and determines whether the traffic corresponding to the message is deduplication traffic that matches the preset traffic configuration information according to the field point information.
  • a user may configure traffic in advance through a traffic configuration page.
  • the purpose of the configuration is to determine what kind of traffic is recorded.
  • This application mainly configures deduplicated traffic and records deduplicated traffic.
  • deduplication traffic is traffic that focuses on different deduplication values, and the deduplication value can be a unique identifier, such as a device number, ID number, account number, and so on.
  • a traffic is the number of transactions of different users with the same device number, where the unique identifier of the user can be a user account, then the user account is a deduplication value.
  • This traffic focuses on different users (that is, deduplication values). To de-duplicate traffic.
  • the specific content of the deduplication traffic configuration may include the recorded time accuracy (such as minutes), the traffic description information (that is, the description of the traffic, such as a traffic can be described as the same device number) Number of successful transactions of different users), statistical dimensions (such as IP address), statistical fields (such statistical fields can correspond to different user accounts, for example), time type, and identifiers corresponding to addition or subtraction operations performed during traffic records, such as corresponding to addition operations
  • the identifier is "001"
  • the corresponding identifier for the subtraction operation is "002".
  • the traffic configuration page can be shown in Figure 2. From Figure 2, it can be seen that the deduplication traffic (that is, the traffic description information) of "the number of transactions for the same device number" is configured, and the statistical dimension is such as IP address
  • the statistics field is the unique identifier of the account (such as the device number), and the time precision of the record is minutes.
  • the identifier corresponding to the addition operation is "001" and the identifier corresponding to the subtract operation is "002".
  • the server when the server receives the message, it can compare the field point information of the message with the traffic configuration information in step 101, and then determine whether the traffic corresponding to the message is the same as the preset according to the comparison result.
  • Deduplication traffic with matching traffic configuration information The message may include multiple field points, and each field point in the multiple field points and a value corresponding to each field point are field point information of the above-mentioned message.
  • the deduplication traffic configured is the number of successful transactions of different users with the same device number.
  • the message received by the system is as follows:
  • Event timestamp are the field points included in the message, and the values corresponding to each field point respectively represent the service generation of the message.
  • Time “2018-05-0316: 11:34” transaction success status code "001” corresponding to this message, user name, IP address "1.1.1.1”, device number, etc.
  • the server can parse the message to obtain the field points "event timestamp", "device” and "user name” of the message, and the values corresponding to each field point.
  • the obtained field points and corresponding values are compared with the time type, statistical dimension, and statistical fields in the traffic configuration information, and it can be determined that each field point matches the traffic configuration information, and the corresponding packet can be determined.
  • the traffic is deduplicated traffic that matches the traffic configuration information.
  • the server determines that the traffic corresponding to the packet is deduplication traffic that matches the preset traffic configuration information, it parses the field point information and determines the service generation time and instruction information of the outgoing heavy traffic.
  • the instruction information is used to indicate Heavy traffic performs flow plus operations or flow minus operations.
  • the server after the server determines that the traffic corresponding to the message is deduplication traffic, on the one hand, it can determine the deduplication traffic according to the value corresponding to the event time field point (such as "event timestamp") in the message.
  • the event time field point such as "event timestamp”
  • the service generation time can be determined as 16:11:34 on May 3, 2018.
  • the value such as "001" or "002”
  • the transaction code field point such as "device”
  • the server when the server recognizes that the value corresponding to the field point "device” is "001”, it can generate instruction information for instructing to perform a traffic addition operation on the deduplication traffic, and recognizes that the value corresponding to the field point "device” is " 002 ", it may generate instruction information for instructing to perform a traffic reduction operation on the deduplication traffic.
  • the server determines multiple service time windows for recording the deduplication traffic according to preset traffic configuration information and service generation time, and each service time window in the multiple service time windows corresponds to a different time granularity.
  • the preset traffic configuration information includes recorded time accuracy.
  • the server may obtain the recorded time accuracy from the preset traffic configuration information, and determine the minimum time granularity window and the next smallest time granularity according to the recorded time accuracy. Window, and further determine the minimum time granularity window corresponding to the business generation time as the minimum business time window, determine the second small time granularity window corresponding to the business generation time as the second small business time window, and based on the minimum business time window and the second small business time
  • the window determines multiple business time windows for recording deduplication traffic.
  • the time granularity of the minimum time granularity window is smaller than the time granularity of the next-smallest time granularity window.
  • the above-mentioned small time granularity window may include one or more.
  • the time granularity of the minimum time granularity window is consistent with the time granularity corresponding to the time accuracy of the record, that is, the recorded time accuracy is minutes.
  • the time granularity can also be minutes.
  • the time accuracy recorded in the traffic configuration information is minutes
  • the service generation time of the deduplication traffic is 16:11:23 on May 3, 2018.
  • the server can determine that the minimum time granularity window is a minute level window, and the next smallest time granularity window can be determined as an hour level window and a day level window according to the time accuracy.
  • the server may determine 2018-05-03T16: 11:00 as the minute generation window corresponding to the service generation time (ie, 16:11:23, May 3, 2018) in combination with the service generation time of the deduplication traffic.
  • 2018-05-03T16: 00: 00 and 2018-05-03T00: 00: 00 are determined as the hour-level windows corresponding to 16:11:23 on May 3, 2018 And day level window, that is, determined as the second small business time window. Further, based on the determined minimum business time window and the second small business time window, the time windows may be 2018-05-03T16: 11:00, 2018-05-03T16: 10:00, and 2018-05-03T00: 00. 0:00 is determined as multiple service time windows for recording deduplication traffic. It can be seen that each business time window is divided into priority levels according to the time granularity, where the minute level is the minimum level, the hour level is the second, and the day level is the second.
  • the server separately records the deduplication traffic under multiple service time windows according to the instruction information.
  • the instruction information is used to instruct a traffic addition operation or a traffic subtraction operation on the deduplicated traffic.
  • the server may first determine whether the de-duplication traffic is duplicate traffic. If the de-duplication traffic is duplicate traffic, then the de-duplication traffic is not deleted Perform recording; if it is not repeated traffic, perform an increase operation on the number of times that the deduplication traffic occurs under each determined service time window.
  • the server when the server recognizes that the instruction information is used to instruct the traffic deduplication operation to be performed, it may perform the reduction operation on the number of times that the deduplication traffic occurs in each determined service time window.
  • the server may use a time window to record the deduplication traffic, which is beneficial to record the deduplication traffic more accurately.
  • FIG. 3 is a schematic flowchart of another deduplication flow recording method according to an embodiment of the present application.
  • the deduplication flow recording method may include:
  • the server When receiving a message, the server obtains field point information of the message, and determines whether the traffic corresponding to the message is deduplication traffic that matches the preset traffic configuration information according to the field point information.
  • the server determines that the traffic corresponding to the packet is deduplication traffic that matches the preset traffic configuration information, it parses the field point information and determines the service generation time and indication information of the outgoing heavy traffic.
  • the server determines multiple service time windows for recording the deduplicated traffic according to the preset traffic configuration information and the service generation time.
  • steps 301 to 303 For specific implementation manners of steps 301 to 303, reference may be made to related descriptions of steps 101 to 103 in the foregoing embodiment, and details are not described herein again in this application.
  • the server separately records the deduplication traffic under multiple service time windows according to the instruction information.
  • the server may parse the indication information, and determine whether the deduplication traffic is a duplicate traffic if the indication information is used to instruct a traffic addition operation on the deduplication traffic. If the deduplication traffic is not For repeated traffic, increase the number of times that deduplication traffic occurs separately under multiple business time windows. If the deduplicated traffic is repeated traffic, delete the deduplication traffic under each business time window in multiple business time windows. The number of occurrences of heavy traffic remains unchanged.
  • the specific implementation of the server determining whether the deduplication traffic is repeated traffic may be: The server determines the current number of times that the deduplication traffic is recorded in the minimum business time window, and judges the current number of times if the current number is greater than or equal to the number of times threshold Deduplication traffic is duplicate traffic.
  • a deduplication flow is described as follows: the number of successful transactions of different users with the same device number. Each transaction is successful by default, so the value is incremented by 1 at the time of the transaction by default.
  • the received transaction message is A
  • a transaction message B is received before this transaction message.
  • transaction message A indicates that user U1 conducted a transaction through device D at 16:11:54 on May 3, 2018.
  • the system defaults to this transaction. (Most of them are also successful).
  • Transaction message B indicates that at 16:11:23 on May 3, 2018, a user U1 conducted a transaction through device D (possibly a mobile phone, computer, tablet, etc.).
  • the system defaults to the success of this transaction (most cases are also successful).
  • the records of the deduplication traffic corresponding to this message B in each business time window are as follows:
  • the message A is parsed to determine that the deduplication value corresponding to the message A is U1, that is, the user is U1; the corresponding service generation time is May 3, 2018.
  • the minimum time window corresponding to this service generation time that is, the minimum business time window is 2018-05-03T16: 11:00, and the record of deduplication traffic on U1 under this minimum business time window [ (U1,1)], by analyzing the value under the minimum business time window 2018-05-03T16: 11:00, it can be determined that the deduplication traffic on U1 has appeared in this window 2018-05-03T16: 11:00 , That is, the number of U1 times is greater than or equal to 1 (that is, the number of times threshold), it can be determined that the deduplication traffic is repeated traffic, and the number of deduplication traffic times of U1 in all business time windows is maintained at 16:11:23 on May 3, 2018 Does not change, that is, the record of each business time window is still:
  • a transaction message C was received.
  • the transaction message C represents the user U2 at 16:11:54 on May 3, 2018.
  • a transaction was conducted through device D. Parse message C and determine that the deduplication value corresponding to message C is U2.
  • the service generation time corresponding to message C is 16:11:55 on May 3, 2018.
  • the minimum service time window corresponding to the service generation time Is (2018-05-03T16: 11:00), and the data recorded under this minimum business time window is [(U1, 1)].
  • the server may also parse the instruction information to determine whether the instruction information is used to instruct the traffic deduction operation to be performed on the deduplicated traffic. If the instruction information is used to instruct the traffic deduction operation to be performed on the deduplicated traffic, then Perform multiple operations on reducing the number of times that the deduplication traffic occurs under multiple service time windows.
  • a transaction message F was received.
  • the transaction message F represents the failure of the transaction performed by the user U1 through the device D at 16:11:23 on May 3, 2018.
  • Parse message F determine that the deduplication value corresponding to message F is U1, and the corresponding service generation time is 16:11:23 on May 3, 2018, and the instruction information is used to perform de-weighting on the flow. Minus operation. In this case, all current business time windows and their corresponding values are obtained as follows:
  • the preset traffic configuration information further includes a failure duration threshold.
  • the server separately records deduplication traffic under multiple service time windows, it can also enable the timing function for multiple service time windows, and When the duration is greater than or equal to the failure duration threshold, the recorded data of the deduplication traffic in multiple time windows is deleted.
  • the expiration time threshold is 1 hour.
  • the recorded data in multiple business time windows is:
  • the server can enable the timing function for multiple service time windows to record the current start time. For example, when the current start time is 2018-05-03T16: 11:00, then when the current time changes from 2018-05-03T16: 11:00 to 2018-05-03T17: 11:00, you can determine the current plan. If the duration is 1 hour, all recorded data in the above three business time windows will be deleted. In this way, the memory footprint of the storage space can be reduced.
  • the server obtains the current system time and the statistical duration in the preset traffic rule information.
  • the server determines a statistical time period for the deduplication traffic according to the current system time and the statistical time.
  • the user can configure the traffic rule through the traffic rule page.
  • the specific content of the configuration (that is, the preset traffic rule information) can include: statistics duration, traffic rule (as if the number of successful transactions of users with different device numbers is greater than 4)
  • the configuration page can be as shown in Figure 4.
  • the configured traffic rule is that the number of successful transactions of different users with the same device number is greater than 4, and the statistical duration is 1 hour. This deduplicates traffic.
  • the server determines that the traffic corresponding to the packet is the deduplication traffic that matches the preset traffic configuration information according to the field point information, it can also detect whether the deduplication traffic statistics function is enabled, and if it is enabled, obtain the current system Time, and a statistical time period for the deduplication traffic is determined according to the current system time and statistical duration.
  • the statistical duration may be divided into an hour level and a minute level. For different time levels, the statistical time period for the deduplication traffic determined by the server according to the current system time and the statistical duration is different.
  • one hour means starting from the time point corresponding to the current system time, and taking the hour window where this time point is located, for example, the time point corresponding to the current system time is 2018-05-03T16: 11: 00, then this hour refers to the 11 minutes from 2018-05-03T16: 00: 00 to 2018-05-03T16: 11:00, which is the determined statistical time period.
  • m minutes means starting from the time point corresponding to the current system time, and reversing m (m is a number greater than 0) minutes, such as m is 60, and the time point corresponding to the current system time is 2018 -05-03T16: 11:00, then start from 2018-05-03T16: 11:00 to reverse the time range of 60 minutes 2018-05-03T15: 11:00 to 2018-05-03T16: 11:00 the 60 minutes , Is the determined statistical time period. 307.
  • the server obtains recorded data of all business time windows in the statistical time period.
  • the server determines that the deduplication traffic meets a traffic rule corresponding to the traffic rule information according to the recorded data, it outputs an alarm message.
  • the pre-configured traffic rule is that the number of successful transactions of different users with the same device number is greater than 10 times, and the statistical duration determined by executing step 206 is 2018-05-03T16: 00: 00 to 2018-05-03T16: 11:00 These 11 minutes, the recorded data of all business time windows (ie the recorded deduplication traffic) during these 11 minutes are as follows:
  • U1-U101 represents different users, that is, deduplication values.
  • the server After the server obtains the above recorded data of all business time windows, it can take out the data under all the above business time windows, and a total of 101 different users, that is, the number of successful transactions for different users with the same device number is 101, 101 If it is greater than 10, it can be judged that the deduplication flow meets the flow rule, and an alarm message can be output, which is beneficial to risk control.
  • the statistical time period when the server performs statistics on deduplication traffic within a statistical time period, the statistical time period may be parsed into a time window set composed of multiple time windows with different time granularities. For example, the statistical time period is from November 1, 2014 to January 2, 2016. According to the start time and deadline of this period, it can be broken down into November 2014, December 2014, 2015, These five time periods are January 1, 2016 and January 2, 2016.
  • the server determines that the traffic corresponding to the packet is deduplication traffic that matches the preset traffic configuration information
  • the time is 2018-05-03T16: 11: 34. Because the time precision is used in the configuration of traffic rules to minutes, the time of 34 seconds is attributed to the time point of 11 minutes. 2018-05-03T16: 11: 34 The corresponding time point should be 2018-05-01T16: 11:00.
  • the server can determine that the statistical time period of the deduplicated traffic is 2018-05-03T16: 11:34. Push backward 60 * 24 * 2 minutes. This time frame. When calculating deduplication traffic during the time period to be counted, you can remove all time windows of all minute levels within the time period to be counted, starting from 2018-05-01T16: 11:00,
  • a total of 60 * 24 * 2 2880 minute level time windows.
  • all the minute lists from 2018-05-02T00: 00: 00 to 2018-05-02T23: 59:00 are in the time window corresponding to the day of 2018-05-02
  • 2018-05- 01T17: 00: 00 to 2018-05-01 T17: 59:00 are in the corresponding hour time window.
  • the combined statistical time period includes a 23-hour window, as shown below:
  • the server can record the deduplication traffic in the form of a time window, which is beneficial to record the deduplication traffic more accurately.
  • the server can also output an alarm when the deduplication traffic meets the traffic rules. Information helps to control risks.
  • An embodiment of the present application further provides a deduplication flow recording device, which is configured to execute a module of the method described in FIG. 1 or FIG. 3.
  • FIG. 5 it is a schematic block diagram of a deduplication traffic recording device according to an embodiment of the present application.
  • the deduplication flow recording device of this embodiment includes: an obtaining module 50, a determining module 51, and a recording module 52.
  • An obtaining module 50 configured to obtain field point information of a message when a message is received
  • a determining module 51 configured to determine, based on the field point information obtained by the obtaining module 50, whether the traffic corresponding to the packet is deduplication traffic that matches preset traffic configuration information;
  • the determining module 51 is further configured to, if it is determined that the traffic corresponding to the packet is deduplication traffic that matches the preset traffic configuration information, parse the field point information and determine the service generation time and indication of the deduplication traffic. Information, the instruction information is used to instruct a traffic addition operation or a traffic subtraction operation to be performed on the deduplicated traffic;
  • the determining module 51 is further configured to determine, based on the preset traffic configuration information and the service generation time, multiple service time windows for recording the deduplicated traffic, and each service time window in the multiple service time windows. Each corresponds to a different time granularity;
  • the recording module 52 is configured to record the deduplication traffic respectively under the multiple service time windows according to the instruction information.
  • the preset flow configuration information includes recorded time accuracy
  • the determining module 51 is specifically configured to obtain the recorded time accuracy from the preset flow configuration information, and according to the record
  • the time accuracy of the minimum time granularity window and the second time granularity window are determined, the time granularity of the minimum time granularity window is smaller than the time granularity of the second time granularity window; the minimum time granularity corresponding to the time when the service is generated The window is determined as the minimum business time window, and the second small time granularity window corresponding to the service generation time is determined as the second small business time window; based on the minimum business time window and the second small business time window, Multiple business time windows for recording the deduplication traffic.
  • the instruction information is used to instruct to perform a traffic addition operation on the deduplicated traffic.
  • the recording module 52 is specifically configured to parse the instruction information. It is used to instruct whether to perform the traffic addition operation on the deduplicated traffic, to determine whether the deduplicated traffic is a duplicate traffic; if the deduplicated traffic is not the duplicate traffic, the multiple services Performing an increase operation on the number of times that the deduplication traffic occurs under a time window; if the deduplication traffic is the repeated traffic, the deduplication traffic under each business time window in the multiple business time windows The number of occurrences remains the same.
  • the instruction information is used to instruct a traffic reduction operation to be performed on the deduplicated traffic.
  • the recording module 52 is further specifically configured to parse the instruction information and determine the instruction. Whether the information is used to indicate that the traffic reduction operation is performed on the deduplicated traffic; if the indication information is used to indicate that the traffic reduction operation is performed on the deduplicated traffic, then under the multiple service time windows Performing a reduction operation on the number of times that the deduplication traffic occurs, respectively.
  • the preset traffic configuration information further includes a failure duration threshold
  • the device further includes: a timing module 53 and a deletion module 54, wherein:
  • a timing module 53 configured to enable a timing function for the multiple service time windows
  • the deleting module 54 is configured to delete the recorded data of the deduplication traffic in the multiple time windows in a case that the timing length currently measured by the timing module 53 is greater than or equal to the failure duration threshold.
  • the multiple service time windows include the minimum service time window and the second-smallest service time window.
  • the recording module 52 is further specifically configured to determine that the deduplication traffic is in the minimum service. The current number of times recorded under the time window; and when the current number of times is greater than or equal to the number of times threshold, it is determined that the deduplication traffic is a repeated traffic.
  • the preset traffic configuration information further includes traffic rule information, the traffic rule information includes a statistical duration, and the device further includes an output module 55, where:
  • the obtaining module 50 is further configured to obtain a current system time and the statistical duration in the traffic rule information
  • the determining module 51 is further configured to determine a statistical time period for the deduplication traffic according to the current system time and the statistical duration;
  • the obtaining module 50 is further configured to obtain record data of all the service time windows in the statistical time period;
  • An output module 55 is configured to output alarm information if it is determined that the deduplication traffic meets a traffic rule corresponding to the traffic rule information according to the recorded data.
  • FIG. 6 is a schematic block diagram of a server provided by an embodiment of the present application.
  • the server includes a processor 601, a memory 602, and a network interface 603.
  • the processor 601, the memory 602, and the network interface 603 may be connected through a bus or in other manners.
  • connection through a bus is taken as an example.
  • the network interface 603 is controlled by the processor to send and receive messages, and the memory 602 is used to store a computer program.
  • the computer program includes program instructions, and the processor 601 is used to execute the program instructions stored in the memory 602.
  • the processor 601 is configured to call the program instruction to execute: when a message is received through the network interface 603, obtain field point information of the message, and determine the field point information according to the field point information. Whether the traffic corresponding to the message is deduplication traffic that matches the preset traffic configuration information; if the traffic corresponding to the message is deduplication traffic that matches the preset traffic configuration information, parse the field point information and Determining a service generation time and indication information of the deduplication traffic, where the indication information is used to instruct to perform a traffic addition operation or a traffic subtraction operation on the deduplication traffic; according to the preset traffic configuration information and the service generation time Determining a plurality of service time windows for recording the deduplication traffic, each of the plurality of service time windows corresponding to a different time granularity; according to the instruction information, in the plurality of service time windows
  • the deduplication flows are recorded separately below.
  • the processor 601 may be a central processing unit (CPU), and the processor 601 may also be another general-purpose processor or digital signal processor (Digital Signal Processor, DSP). ), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • a general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the memory 602 may include a read-only memory and a random access memory, and provide instructions and data to the processor 601. A part of the memory 602 may further include a non-volatile random access memory. For example, the memory 602 may also store information of a device type.
  • the processor 601, the memory 602, and the network interface 603 described in the embodiment of the present application may execute the implementation manner described in the method embodiment shown in FIG. 1 or FIG. 3 provided by the embodiment of the present application, and may also execute The implementation manner of the deduplication flow recording device described in the embodiment of the present application is not repeated here.
  • a computer-readable storage medium stores a computer program, where the computer program includes program instructions, and the program instructions are implemented when executed by a processor: When a message is received, the field point information of the message is obtained, and according to the field point information, it is determined whether the traffic corresponding to the message is deduplication traffic that matches the preset traffic configuration information.
  • the traffic corresponding to the message is deduplicated traffic that matches the preset traffic configuration information, then the field point information is analyzed and the service generation time and indication information of the deduplicated traffic are determined, and the indication information is used to indicate Performing a flow addition operation or a flow reduction operation on the deduplication traffic; and determining a plurality of service time windows for recording the deduplication traffic according to the preset traffic configuration information and the service generation time, and the multiple Each business time window in the business time window corresponds to a different time granularity; according to the instruction information, under the multiple business time windows, respectively Record the deduplication flow.
  • the computer-readable storage medium may be an internal storage unit of the server according to any of the foregoing embodiments, such as a hard disk or a memory of the server.
  • the computer-readable storage medium may also be an external storage device of the server, such as a plug-in hard disk, a Smart Media Card (SMC), and a Secure Digital (SD) card provided on the server. , Flash card (Flash card) and so on.
  • the computer-readable storage medium may further include both an internal storage unit of the server and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the server.
  • the computer-readable storage medium may also be used to temporarily store data that has been or will be output.
  • the program can be stored in a computer-readable storage medium.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random, Access Memory, RAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种去重流量记录方法、装置、服务器及存储介质，所述方法包括：在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量，若是，则解析字段点信息并确定去重流量的业务产生时间和指示信息，并根据预设流量配置信息和业务产生时间确定出用于记录去重流量的多个业务时间窗口，进而根据指示信息，在多个业务时间窗口下分别记录去重流量。本申请，采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。

Description

一种去重流量记录方法、装置、服务器及存储介质
本申请要求于2018年06月27日提交中国专利局、申请号为201810686101.7、申请名称为“一种去重流量记录方法、装置、服务器及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种去重流量记录方法、装置、服务器及存储介质。
背景技术
随着互联网技术的发展与普及，各平台对应的用户数量也在大幅增长，对应于用户的数据流量也呈现几何数增长，这对于数据统计与分析工作形成了巨大挑战。在众多统计流量数据中，去重数这个指标是一个基础且常用的统计指标，而去重数的确定依赖于对去重流量的统计。因此，如何建立更好的去重逻辑对去重流量进行记录，成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种去重流量记录方法、装置、服务器及存储介质，采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。
第一方面，本申请实施例提供了一种去重流量记录方法，该方法包括：
在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；
若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；
根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；
根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。
第二方面，本申请实施例提供了一种去重流量记录装置，该去重流量记录装置包括用于执行上述第一方面的方法的模块。
第三方面，本申请实施例提供了一种服务器，该服务器包括处理器、网络接口和存储器，所述处理器、网络接口和存储器相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本申请实施例中，服务器可以在多个业务时间窗口下分别记录去重流量。采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。
附图说明
图1是本申请实施例提供的一种去重流量记录方法的流程示意图；
图2是本申请实施例提供的一种流量配置操作界面的示意图；
图3是本申请实施例提供的另一种去重流量记录方法的流程示意图；
图4是本申请实施例提供的一种流量规则配置操作界面的示意图；
图5是本申请实施例提供的一种去重流量记录装置的示意性框图；
图6是本申请实施例提供的一种服务器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1是本申请实施例提供的一种去重流量记录方法的流程示意图，如图所示，该去重流量记录方法可包括：
101、服务器在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量。
在一个实施例中，用户可以通过流量配置页面预先对流量进行配置，配置的目的是为了确定对何种流量进行流量记录，本申请主要是配置去重流量，对去重流量进行记录。其中，去重流量为关注不同去重值的流量，该去重值可以为一个唯一标识，如设备号、ID号、账号等等。例如，一条流量为同设备号不同用户交易次数，其中，该用户的唯一标识可以为用户账号，那么该用户账号则为去重值，这条流量关注不同的用户(即去重值)，则为去重流量。
进一步地，去重流量配置的具体内容(即预设流量配置信息)可以包括对记录的时间精度(如分钟)、流量描述信息(也即对流量的描述，如一条流量可以描述为同设备号不同用户交易成功次数)、统计维度(如IP地址)，统计字段(该统计字段例如可以对应不同用户账号)、时间类型以及流量记录时执行加操作或者减操作对应的标识符，如加操作对应标识符为“001”，减操作对应标识符为“002”。当用户对去重流量配置完成后，服务器可以在需要时获取上述流量配置信息，也即用户通过流量配置页面配置的具体内容。
其中，该流量配置页面可以如图2所示，从图2可以看出，配置了“同设备号不同用户交易次数”这条去重流量(即流量描述信息)，以及统计维度为如IP地址，统计字段为账户唯一标识(如设备号)，以及记录的时间精度为分钟，流量记录时，加操作对应标识符为“001”，减操作对应标识符为“002”。
在一个实施例中，服务器接收到报文的情况下，可以将报文的字段点信息与步骤101中的流量配置信息进行比较，进而根据比较结果确定该报文对应的流量是否为与预设流量配置信息匹配的去重流量。其中，该报文可以包括多个字段点，多个字段点中各字段点以及各字段点对应的值则为上述提到的报文的字段点信息。
示例性地，假设流量配置页面如图2所示，配置的去重流量为同设备号不同用户交易成功次数，系统接收到的报文如下：
Figure PCTCN2018108470-appb-000001
Figure PCTCN2018108470-appb-000002
其中，“event timestamp”、“event id”、“user name”、“ip”以及“device”等均为报文中包括的字段点，各字段点对应的值分别表征了该报文的业务产生时间“2018-05-0316：11：34”、该报文对应的交易成功状态码“001”、用户名、ip地址“1.1.1.1”以及设备号等。该字段点“event timestamp”就对应流量配置页面中的时间类型；字段点“device”的值对应流量配置页面中统计维度；字段点“user name”对应流量配置页面中的统计字段，也即表征不同账户(如用户U1、U2或者U3)；“event id”的值对应流量配置页面中的标识符，“event id＝001”对应流量配置页面中加操作对应的标识符“001”，“event id＝002”对应流量配置页面中加操作对应的标识符“002”。
这种情况下，服务器接收到报文后，可以通过解析报文，获取报文对应的各字段点“event timestamp”、“device”以及“user name”等，以及各字段点对应的值，将获取到的各字段点以及对应的值与流量配置信息中的时间类型、统计维度以及统计字段进行比较，可以确定出各字段点与流量配置信息是匹配的，进而可以确定出该报文对应的流量为与该流量配置信息匹配的去重流量。
102、若服务器确定出报文对应的流量为与预设流量配置信息匹配的去重流量，则解析字段点信息并确定出去重流量的业务产生时间和指示信息，该指示信息用于指示对去重流量执行流量加操作或者流量减操作。
在一个实施例中，服务器确定出该报文对应的流量为去重流量后，一方面可以根据报文中的事件时间字段点(如“event timestamp”)对应的值确定出该去重流量的业务产生时间，例如“event timestamp”对应的值为2018-05-03 16：11：34，那么业务产生时间则可以确定为2018年5月3日16点11分34秒。另一方面，可以通过识别交易码字段点(如“device”)对应的值(如“001”或者“002”)，确定对该条去重流量执行流量加操作还是执行流量减操作，也即确定出针对该去重流量的指示信息。例如，服务器识别到字段点“device”对应的值为“001”时，则可以生成用于指示对该去重流量执行流量加操作的指示信息，识别到字段点“device”对应的值为“002”时，则可以生成用于指示对该去重流量执行流量减操作的指示信息。
103、服务器根据预设流量配置信息和业务产生时间确定出用于记录该去重流量的多个业务时间窗口，该多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度。
在一个实施例中，预设流量配置信息包括记录的时间精度，服务器可以从预设流量配置信息中获取记录的时间精度，并根据该记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，进而将业务产生时间对应的最小时间粒度窗口确定为最小业务时间窗口，将业务产生时间对应的次小时间粒度窗口确定为次小业务时间窗口，并基于最小业务时间窗口和次小业务时间窗口确定出用于记录去重流量的多个业务时间窗口。其中，该最小时间粒度窗口的时间粒度小于次小时间粒度窗口的时间粒度。
其中，上述次小时间粒度窗口可以包括一个或者多个，该最小时间粒度窗口的时间粒度与上述记录的时间精度对应的时间粒度保持一致，也即记录的时间精度为分钟，那么最小粒度窗口的时间粒度也可以为分钟。
示例性的，流量配置信息中记录的时间精度为分钟，该去重流量的业务产生时间为2018年5月3号的16点11分23秒。这种情况下，服务器可以根据该时间精度确定出最小时间粒度窗口为分钟级别窗口，次小时间粒度窗口可以确定为小时级别窗口和天级别窗口。进一步地，服务器可以结合去重流量的业务产生时间，将2018-05-03T16：11：00确定为业务产生时间(即2018年5月3号的16点11分23秒)对应的分钟级别窗口，即确定为最小业务时间窗口；将2018-05-03T16：00：00和2018-05-03T00：00：00分别确定为2018 年5月3号的16点11分23秒对应的小时级别窗口和天级别窗口，即确定为次小业务时间窗口。进一步地，则可以基于确定出来的最小业务时间窗口和次小业务时间窗口，将时间窗口2018-05-03T16：11：00、2018-05-03T16：00：00和2018-05-03T00：00：00确定为用于记录去重流量的多个业务时间窗口。可以看出，各个业务时间窗口根据时间粒度划分了优先级别，其中分钟级别为最小级别，小时级别次之，天级别再次之。
104、服务器根据该指示信息，在多个业务时间窗口下分别记录该去重流量。
其中，该指示信息用于指示对去重流量执行流量加操作或者流量减操作。在一个实施例中，当服务器识别到该指示信息用于指示对去重流量执行流量加操作时，可以首先确定该去重流量是否为重复流量，如果是重复流量，则不对该条去重流量进行记录；如果不是重复流量，则在确定出的每个业务时间窗口下对该去重流量出现的次数执行增加操作。
或者，当服务器识别到该指示信息用于指示对去重流量执行流量减操作时，则可以在确定出的每个业务时间窗口下对该去重流量出现的次数执行减少操作。
本申请实施例中，服务器可以采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录。
参见图3，图3是本申请实施例提供的另一种去重流量记录方法的流程示意图，如图所示，该去重流量记录方法可包括：
301、服务器在接收到报文的情况下，获取报文的字段点信息，并根据字段点信息确定出报文对应的流量是否为与预设流量配置信息匹配的去重流量。
302、若服务器确定出报文对应的流量为与预设流量配置信息匹配的去重流量，则解析字段点信息并确定出去重流量的业务产生时间和指示信息。
303、服务器根据预设流量配置信息和业务产生时间确定出用于记录该去重流量的多个业务时间窗口。
其中，步骤301-步骤303的具体实现方式，可以参见上述实施例中步骤101-步骤103的相关描述，本申请在此不再赘述。
304、服务器根据该指示信息，在多个业务时间窗口下分别记录该去重流量。
在一个实施例中，服务器可以解析该指示信息，在确定出指示信息用于指示对该去重流量执行流量加操作的情况下，判断该去重流量是否为重复流量，若该去重流量不为重复流量，则在多个业务时间窗口下分别对去重流量出现的次数执行增加操作，若该去重流量为重复流量，则对多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。
其中，服务器判断去重流量是否为重复流量的具体实现方式可以为：服务器确定去重流量在最小业务时间窗口下所记录的当前次数，在当前次数大于或者等于次数阈值的情况下，则判断该去重流量为重复流量。
示例性的，假设一条去重流量是如下描述：同设备号不同用户交易成功次数。每条交易时默认成功的，所以默认会在交易发生的时间点上将数值加1。例如，接收到的这条交易报文为A，在这条交易报文之前还收到了一条交易报文B。其中，交易报文A表征了2018年5月3号的16点11分54秒用户U1通过设备D进行了交易，在交易请求发起时，当接收到报文A时系统默认本次交易时成功的(大多数情况也都是成功的)。交易报文B表征了2018年5月3号的16点11分23秒有一个用户U1通过设备D(可能是手机，电脑，平板等，)进行了交易，在交易请求发起时，当接收到报文B时系统默认本次交易时成功的(大多数情况也都是成功的)，在各个业务时间窗口下对这条报文B对应去重流量的记录如下：
设备D-2018-05-03T16：11：00→[(U1，1)]，用于表征设备D在2018-05-03T16：11：00的时间点(分钟级别的时间窗口)上有一个[(U1，1)]的记录；
设备D-2018-05-03T16：00：00→[(U1，1)，用于表征设备D在2018-05-03T16：00：00的时间点(小时级别的时间窗口)上有一个[(U1，1)]的记录；
设备D-2018-05-03T00：00：00→[(U1，1)]，用于表征设备D在2018-05-03T00：00：00的时间点(天级别的时间窗口)上有一个[(U1，1)]的记录。
这种情况下，当接收到交易报文A时，解析报文A，确定出报文A对应的去重值为U1，也即用户为U1；对应的业务产生时间为2018年5月3号的16点11分23秒，该业务产生时间对应的最小时间窗口，也即最小业务时间窗口为2018-05-03T16：11：00，该最小业务时间窗口下关于U1的去重流量的记录[(U1，1)]，通过分析最小业务时间窗口2018-05-03T16：11：00下的值，可以确定关于U1的去重流量在2018-05-03T16：11：00这个窗口下已经出现过，即U1次数大于或者等于1(即次数阈值)，则可以判断该去重流量为重复流量，则保持2018年5月3号的16点11分23秒所有业务时间窗口U1的去重流量次数不变，也即现在各个业务时间窗口的记录依然为：
设备D-2018-05-03T16：11：00→[(U1，1)]
设备D-2018-05-03T16：00：00→[(U1，1)]
设备D-2018-05-03T00：00：00→[(U1，1)]
进一步，时间往后推移，在2018年5月3号16点11分55秒，收到了一条交易报文C，交易报文C表征了2018年5月3号的16点11分54秒用户U2通过设备D进行了交易。解析报文C，确定出报文C对应的去重值为U2，报文C对应的业务产生时间2018年5月3号的16点11分55秒，该业务产生时间对应的最小业务时间窗口为(2018-05-03T16：11：00)，以及该最小业务时间窗口下记录的数据为[(U1，1)]，通过分析2018-05-03T16：11：00这个时间窗口下的记录数据，可以确定去重值U2对应的于U1的去重流量在2018-05-03T16：11：00这个窗口下未出现过，则可以判断该去重流量不是重复流量，则在2018年5月3号的16点11分55秒对应的所有业务时间窗口执行关于U2的去重流量的的流量增加操作，执行增加操作后的结果如下：
设备D-2018-05-03T16：11：00→[(U1，1)，(U2，1)]
设备D-2018-05-03T16：00：00→[(U1，1)，(U2，1)]
设备D-2018-05-03T00：00：00→[(U1，1)，(U2，1)]
在一个实施例，服务器还可以解析指示信息，确定指示信息是否用于指示对所述去重流量执行所述流量减操作，若该指示信息用于指示对去重流量执行流量减操作，则在多个业务时间窗口下分别对该去重流量出现的次数执行减少操作。
示例性的，在前面例子接收到交易报文A、B和C，并在各个业务时间窗口对A、B和C各自对应的去重流量进行记录的基础上，时间往后推移，2018年5月3号的16点14分43秒，收到了一条交易报文F，交易报文F表征了2018年5月3号的16点11分23秒用户U1通过设备D进行的交易失败。解析报文F，确定出报文F对应的去重值为U1，对应的业务产生时间2018年5月3号的16点11分23秒，且指示信息用于对该条流去重量执行流量减操作。这种情况下，获取当前所有业务时间窗口以及各自对应的值如下：
设备D-2018-05-03T16：11：00→[(U1，1)，(U2，1)]
设备D-2018-05-03T16：00：00→[(U1，1)，(U2，1)]
设备D-2018-05-03T00：00：00→[(U1，1)，(U2，1)]
那么在所有业务时间窗口下执行关于U1的去重流量的流量减操作后的结果如下：
设备D-2018-05-03T16：11：00→[(U1，0)，(U2，1)]
设备D-2018-05-03T16：00：00→[(U1，0)，(U2，1)]
设备D-2018-05-03T00：00：00→[(U1，0)，(U2，1)]
在一个实施例中，上述预设流量配置信息还包括失效时长阈值，服务器在多个业务时 间窗口下分别记录去重流量之后，还可以针对多个业务时间窗口开启计时功能，并在当前所计时长大于或者等于失效时长阈值的情况下，将多个时间窗口下所述去重流量的记录数据删除。
例如，失效时长阈值为1小时，服务器在多个业务时间窗口下分别记录去重流量之后，多个业务时间窗口下的记录数据为：
设备D-2018-05-03T16：11：00→[(U1，1)]
设备D-2018-05-03T16：00：00→[(U1，1)]
设备D-2018-05-03T00：00：00→[(U1，1)]
这种情况下，服务器在上述多个业务时间窗口下分别记录去重流量之后，可以针对多个业务时间窗口开启计时功能，记录当前的起始时间。例如当前的起始时间为2018-05-03T16：11：00，那么在当前时间由2018-05-03T16：11：00变为2018-05-03T17：11：00时，则可以确定当前所计时长等于1小时，则将以上三个业务时间窗口下的记录数据均删除。采用这样的方式，可以减少对存储空间的内存占用。
305、服务器获取当前系统时间和预设流量规则信息中的统计时长。
306、服务器根据当前系统时间和统计时长确定出针对该去重流量的统计时间段。
在一个实施例中，用户可以通过流量规则页面对流量规则进行配置，配置的具体内容(即预设流量规则信息)可以包括：统计时长、流量规则(如同设备号不同用户交易成功次数大于4)，配置页面可以如图4所示。从图4中可以看出，配置的流量规则为同设备号不同用户交易成功次数大于4，统计时长为1小时，配置的执行这条流量规则的流量为“同设备号不同用户交易成功次数”这条去重流量。
进一步地，当服务器根据字段点信息确定出报文对应的流量为与预设流量配置信息匹配的去重流量之后，还可以检测是否开启了去重流量统计功能，如果已开启，则获取当前系统时间，并根据当前系统时间和统计时长确定出针对该去重流量的统计时间段。在一个实施例中，该统计时长可以分为小时级别和分钟级别，对于不同的时间级别，服务器根据当前系统时间和统计时长确定出的针对该去重流量的统计时间段是不同的。具体地，在统计时长为小时级别时，一小时表示从当前系统时间对应的时间点开始，取这个时间点所在的小时窗口，例如当前系统时间对应的时间点为2018-05-03T16：11：00，那么这个这一个小时是指2018-05-03T16：00：00到2018-05-03T16：11：00这11分钟，这11分钟即为确定出的统计时间段。或者，在统计时长为分钟级别时，m分钟表示从当前系统时间对应的时间点开始，倒推m(m为大于0的数)分钟，例如m为60，当前系统时间对应的时间点为2018-05-03T16：11：00，那么从2018-05-03T16：11：00开始倒推60分钟的时间范围2018-05-03T15：11：00到2018-05-03T16：11：00这60分钟，则为确定出的统计时间段。307、服务器获取统计时间段内所有业务时间窗口的记录数据。
308、如果服务器根据该记录数据确定该去重流量满足流量规则信息对应的流量规则，则输出报警信息。
示例性地，预先配置的流量规则为同设备号不同用户交易成功次数大于10次，执行步骤206确定出的统计时长为2018-05-03T16：00：00到2018-05-03T16：11：00这11分钟，这11分钟内所有业务时间窗口的记录数据(即记录的去重流量)如下：
1)设备D-2018-05-04T10：08：00→[][]表示没有空，没有流量
2)设备D-2018-05-04T10：07：00→[]
3)设备D-2018-05-04T10：06：00→[]
4)设备D-2018-05-04T10：05：00→[]
5)设备D-2018-05-04T10：04：00→[]
6)设备D-2018-05-04T10：03：00→[]
7)设备D-2018-05-04T10：03：00→[]
8)设备D-2018-05-04T10：02：00→[(U101，1)]
9)设备D-2018-05-04T10：01：00→[(U1，1)，(U2，1)……(U10，1)]有10个用户被记录下来
10)设备D-2018-05-04T10：00：00→[(U1，1)，(U2，1)……(U11，1)]有11个用户被记录下来
11)设备D-2018-05-04T9：59：00→[(U1，1)，(U2，1)……(U100，1)]有100个用户被记录下来。
其中，U1-U101代表不同的用户，也即去重值。服务器获取到所有业务时间窗口的上述记录数据后，可以将以上所有业务时间窗口下的数据都取出来，则一共有101个不同的用户，也即同设备号不同用户交易成功次数为101，101大于10，则可以判断该条去重流量满足流量规则，则可以输出报警信息，有利于风险控制。
在一个实施例中，服务器在对统计时间段内的去重流量进行统计时，可以将统计时间段解析为由多个不同时间粒度的时间窗组成的时间窗集合。例如，统计时间段为2014年11月1日到2016年1月2日，根据该段时间的起始时间与截止时间，可以将其分解为2014年11月、2014年12月、2015年、2016年1月1日、2016年1月2日，这5个时间段。
示例性地，假设记录的时间精度为分钟，在流量规则配置页面中配置的统计时长为60*24*2分钟，服务器确定出报文对应的流量为与预设流量配置信息匹配的去重流量的时间是2018-05-03T16：11：34，因为在流量规则配置时使用时间精度为分钟，所以34秒的时间被归在了11分所在的时间点，2018-05-03T16：11：34对应的时间点应该是2018-05-01T16：11：00，服务器根据统计时长，可以确定出该去重流量的统计时间段为2018-05-03T16：11：34倒推60*24*2分钟这一时间范围。在对待统计时间段内的去重流量进行计算时，可以将待统计时间段内的所有分钟级别的时间窗口全部取出，从2018-05-01T16：11：00开始，取
2018-05-01T16：12：00
2018-05-01T16：13：00
2018-05-01T16：14：00
…
2018-05-01T16：58：00
2018-05-01T16：59：00
2018-05-01T17：00：00
2018-05-01T17：01：00
2018-05-01T17：02：00
…
2018-05-01T18：00：00
2018-05-01T18：01：00
2018-05-01T18：02：00
…
2018-05-01T19：00：00
2018-05-01T19：01：00
2018-05-01T19：02：00
…
2018-05-01T19：00：00
2018-05-01T19：01：00
2018-05-01T19：02：00
…
2018-05-01T23：58：00
2018-05-01T23：59：00
2018-05-02T00：00：00
2018-05-02T00：01：00
…
2018-05-02T23：58：00
2018-05-02T23：59：00
2018-05-03T00：00：00
2018-05-03T00：01：00
…
2018-05-03T01：00：00
…
2018-05-03T02：00：00
…
2018-05-03T15：59：00
2018-05-03T16：00：00
2018-05-03T16：01：00
…
2018-05-03T16：11：00
一共是60*24*2＝2880个分钟级别时间窗口。针对这种情况，可以识别各个分钟级别的时间窗口是否都在其他更高级别的时间维度中，如果都在可以进行相应小时、天维度的合并。例如上面的分钟列表中，2018-05-02T00：00：00至2018-05-02T23：59：00中所有分钟列表都在2018-05-02这个天所对应的时间窗口中，2018-05-01T17：00：00至2018-05-01T17：59：00都在所对应的小时时间窗口中。合并后的统计时间段包括23个小时窗口，分别如下所示：
2018-05-01T17
2018-05-01T18
2018-05-01T19
2018-05-01T20
2018-05-01T21
2018-05-01T22
2018-05-01T23
2018-05-03T00
2018-05-03T01
2018-05-03T02
…
2018-05-03T15
还包括合并后2018-05-02这天对应的天时间窗口1个，以及无法合并的分钟时间窗口：2018-05-01T16：12：00至2018-05-01T16：59：00、2018-05-03T16：00：00至2018-05-03T16：11：00，这样下来一共只需要取天时间窗口1个+小时时间窗口23个+分钟时间窗口60个＝84个时间窗口的，约减少到原来的1/40。当流量规则对应的时间跨度越大，优化效果越明显。可以减少所提取时间窗口的数量，提高去重流量的统计效率。
本申请实施例中，一方面服务器可以采用时间窗形式记录去重流量，有利于更加准确的对去重流量进行记录，另一方面服务器还可以在去重流量满足流量规则的情况下，输出报警信息，有利于对风险的控制。
本申请实施例还提供了一种去重流量记录装置，该装置用于执行前述图1或者图3所述的方法的模块。具体地，参见图5，是本申请实施例提供的一种去重流量记录装置的示意框图。本实施例的去重流量记录装置包括：获取模块50、确定模块51以及记录模块52。
获取模块50，用于在接收到报文的情况下，获取所述报文的字段点信息；
确定模块51，用于根据获取模块50获取到的所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；
确定模块51，还用于若确定出所述报文对应的流量为与预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；
确定模块51，还用于根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；
记录模块52，用于根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。
在一个实施例中，所述预设流量配置信息包括记录的时间精度，所述确定模块51，具体用于从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。
在一个实施例中，所述指示信息用于指示对所述去重流量执行流量加操作，所述根据所述指示信息，记录模块52，具体用于解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。
在一个实施例中，所述指示信息用于指示对所述去重流量执行流量减操作，所述根据所述指示信息，记录模块52，具体还用于解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。
在一个实施例中，所述预设流量配置信息还包括失效时长阈值，所述装置还包括：计时模块53和删除模块54，其中：
计时模块53，用于针对所述多个业务时间窗口开启计时功能；
删除模块54，用于在计时模块53当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个时间窗口下所述去重流量的记录数据删除。
在一个实施例中，所述多个业务时间窗口包括所述最小业务时间窗口和所述次小业务时间窗口，所述记录模块52，具体还用于确定所述去重流量在所述最小业务时间窗口下所记录的当前次数；在所述当前次数大于或者等于次数阈值的情况下，则判断所述去重流量 为重复流量。
在一个实施例中，所述预设流量配置信息还包括流量规则信息，所述流量规则信息中包括统计时长，所述装置还包括输出模块55，其中：
获取模块50，还用于获取当前系统时间和所述流量规则信息中的所述统计时长；
确定模块51，还用于根据所述当前系统时间和所述统计时长确定出针对所述去重流量的统计时间段；
获取模块50，还用于获取所述统计时间段内所有所述业务时间窗口的记录数据；
输出模块55，用于如果根据所述记录数据确定所述去重流量满足所述流量规则信息对应的流量规则，则输出报警信息。
需要说明的是，本申请实施例所描述的去重流量记录装置的各功能模块的功能可根据图1或者图3所述的方法实施例中的方法具体实现，其具体实现过程可以参照图1或者图3的方法实施例的相关描述，此处不再赘述。
请参见图6，图6是本申请实施例提供的一种服务器的示意性框图。如图6所示，该服务器包括，处理器601、存储器602和网络接口603。上述处理器601、存储器602和网络接口603可通过总线或其他方式连接，在本申请实施例所示图6中以通过总线连接为例。其中，网络接口603受所述处理器的控制用于收发消息，存储器602用于存储计算机程序，所述计算机程序包括程序指令，处理器601用于执行存储器602存储的程序指令。其中，处理器601被配置用于调用所述程序指令执行：在通过网络接口603接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。
应当理解，在本申请实施例中，所称处理器601可以是中央处理单元(Central Processing Unit，CPU)，该处理器601还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器602可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器602的一部分还可以包括非易失性随机存取存储器。例如，存储器602还可以存储设备类型的信息。
具体实现中，本申请实施例中所描述的处理器601、存储器602和网络接口603可执行本申请实施例提供的图1或者图3所述的方法实施例所描述的实现方式，也可执行本申请实施例所描述的去重流量记录装置的实现方式，在此不再赘述。
在本申请的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减 操作；根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (20)

  1. 一种去重流量记录方法，其特征在于，包括：
    在接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；
    若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；
    根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；
    根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。
  2. 根据权利要求1所述的方法，其特征在于，所述预设流量配置信息包括记录的时间精度，所述根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，包括：
    从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；
    将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；
    基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。
  3. 根据权利要求1或2所述的方法，其特征在于，所述指示信息用于指示对所述去重流量执行流量加操作，所述根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量，包括：
    解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；
    若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；
    若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。
  4. 根据权利要求1或2所述的方法，其特征在于，所述指示信息用于指示对所述去重流量执行流量减操作，所述根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量，包括：
    解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；
    若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述预设流量配置信息还包括失效时长阈值，所述在所述多个业务时间窗口下分别记录所述去重流量之后，所述方法还包括：
    针对所述多个业务时间窗口开启计时功能；
    在当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个时间窗口下所述去重流量的记录数据删除。
  6. 根据权利要求3所述的方法，其特征在于，所述多个业务时间窗口包括所述最小业务时间窗口和所述次小业务时间窗口，所述判断所述去重流量是否为重复流量，包括：
    确定所述去重流量在所述最小业务时间窗口下所记录的当前次数；
    在所述当前次数大于或者等于次数阈值的情况下，则判断所述去重流量为重复流量。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述预设流量配置信息还包括流量规则信息，所述流量规则信息中包括统计时长，所述根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量之后，所述方法还包括：
    获取当前系统时间和所述流量规则信息中的所述统计时长；
    根据所述当前系统时间和所述统计时长确定出针对所述去重流量的统计时间段；
    获取所述统计时间段内所有所述业务时间窗口的记录数据；
    如果根据所述记录数据确定所述去重流量满足所述流量规则信息对应的流量规则，则输出报警信息。
  8. 一种去重流量记录装置，其特征在于，包括：
    获取模块，用于在接收到报文的情况下，获取所述报文的字段点信息；
    确定模块，用于根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；
    确定模块，还用于确定出所述报文对应的流量为与预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；
    确定模块，还用于根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；
    记录模块，用于根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。
  9. 根据权利要求8所述的装置，其特征在于，所述预设流量配置信息包括记录的时间精度，所述确定模块，具体用于从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。
  10. 根据权利要求8或9所述的装置，其特征在于，所述指示信息用于指示对所述去重流量执行流量加操作，所述记录模块，具体用于解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。
  11. 根据权利要求8或9所述的装置，其特征在于，所述指示信息用于指示对所述去重流量执行流量减操作，所述记录模块，具体还用于解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。
  12. 根据权利要求8-11任一项所述的装置，其特征在于，所述预设流量配置信息还包括失效时长阈值，所述装置还包括：计时模块和删除模块，其中：
    所述计时模块，用于针对所述多个业务时间窗口开启计时功能；
    所述删除模块，用于在所述计时模块当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个时间窗口下所述去重流量的记录数据删除。
  13. 根据权利要求10所述的装置，其特征在于，所述多个业务时间窗口包括所述最小业务时间窗口和所述次小业务时间窗口，所述记录模块，具体还用于确定所述去重流量在所述最小业务时间窗口下所记录的当前次数；在所述当前次数大于或者等于次数阈值的情况下，则判断所述去重流量为重复流量。
  14. 根据权利要求8-13任一项所述的装置，其特征在于，所述预设流量配置信息还包括流量规则信息，所述流量规则信息中包括统计时长，所述装置还包括输出模块，其中：
    所述获取模块，还用于获取当前系统时间和所述流量规则信息中的所述统计时长；
    所述确定模块，还用于根据所述当前系统时间和所述统计时长确定出针对所述去重流量的统计时间段；
    所述获取模块，还用于获取所述统计时间段内所有所述业务时间窗口的记录数据；
    所述输出模块，用于如果根据所述记录数据确定所述去重流量满足所述流量规则信息对应的流量规则，则输出报警信息。
  15. 一种服务器，其特征在于，包括处理器、存储器和网络接口，所述处理器、所述存储器和所述网络接口相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行：在通过所述网络接口接收到报文的情况下，获取所述报文的字段点信息，并根据所述字段点信息确定出所述报文对应的流量是否为与预设流量配置信息匹配的去重流量；若所述报文对应的流量为与所述预设流量配置信息匹配的去重流量，则解析所述字段点信息并确定所述去重流量的业务产生时间和指示信息，所述指示信息用于指示对所述去重流量执行流量加操作或者流量减操作；根据所述预设流量配置信息和所述业务产生时间确定出用于记录所述去重流量的多个业务时间窗口，所述多个业务时间窗口中各个业务时间窗口各自对应不同的时间粒度；根据所述指示信息，在所述多个业务时间窗口下分别记录所述去重流量。
  16. 根据权利要求15所述的服务器，其特征在于，所述预设流量配置信息包括记录的时间精度，所述处理器，还用于从所述预设流量配置信息中获取所述记录的时间精度，并根据所述记录的时间精度确定出最小时间粒度窗口和次小时间粒度窗口，所述最小时间粒度窗口的时间粒度小于所述次小时间粒度窗口的时间粒度；将所述业务产生时间对应的所述最小时间粒度窗口确定为最小业务时间窗口，将所述业务产生时间对应的所述次小时间粒度窗口确定为次小业务时间窗口；基于所述最小业务时间窗口和所述次小业务时间窗口确定出用于记录所述去重流量的多个业务时间窗口。
  17. 根据权利要求15或16所述的服务器，其特征在于，所述指示信息用于指示对所述去重流量执行流量加操作，所述处理器，还用于解析所述指示信息，在所述指示信息用于指示对所述去重流量执行所述流量加操作的情况下，判断所述去重流量是否为重复流量；若所述去重流量不为所述重复流量，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行增加操作；若所述去重流量为所述重复流量，则对所述多个业务时间窗口中各个业务时间窗口下的所述去重流量出现的次数均保持不变。
  18. 根据权利要求15或16所述的服务器，其特征在于，所述指示信息用于指示对所述去重流量执行流量减操作，所述处理器，还用于解析所述指示信息，确定所述指示信息是否用于指示对所述去重流量执行所述流量减操作；若所述指示信息是用于指示对所述去重流量执行所述流量减操作，则在所述多个业务时间窗口下分别对所述去重流量出现的次数执行减少操作。
  19. 根据权利要求15-18任一项所述的服务器，其特征在于，所述预设流量配置信息还包括失效时长阈值，所述处理器，还用于针对所述多个业务时间窗口开启计时功能；在当前所计时长大于或者等于所述失效时长阈值的情况下，将所述多个时间窗口下所述去重流量的记录数据删除。
  20. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
PCT/CN2018/108470 2018-06-27 2018-09-28 一种去重流量记录方法、装置、服务器及存储介质 WO2020000742A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810686101.7A CN108923967B (zh) 2018-06-27 2018-06-27 一种去重流量记录方法、装置、服务器及存储介质
CN201810686101.7 2018-06-27

Publications (1)

Publication Number Publication Date
WO2020000742A1 true WO2020000742A1 (zh) 2020-01-02

Family

ID=64423173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/108470 WO2020000742A1 (zh) 2018-06-27 2018-09-28 一种去重流量记录方法、装置、服务器及存储介质

Country Status (2)

Country Link
CN (1) CN108923967B (zh)
WO (1) WO2020000742A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810337B (zh) * 2020-06-12 2023-08-08 天翼云科技有限公司 用于网络报文去重的方法、装置、以及存储介质
CN115086195B (zh) * 2022-06-09 2024-02-02 北京锐安科技有限公司 分流设备的报文去重时间确定方法、装置、设备及介质
CN114996261B (zh) * 2022-08-05 2022-10-28 深圳市深蓝信息科技开发有限公司 基于ais数据的去重方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294351A (zh) * 2015-05-13 2017-01-04 阿里巴巴集团控股有限公司 日志事件处理方法和装置
CN106294706A (zh) * 2016-08-08 2017-01-04 苏州云杉世纪网络科技有限公司 基于dfi的云平台用户业务统计分析系统及方法
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN106878102A (zh) * 2016-12-23 2017-06-20 中国科学院信息工程研究所 一种基于网络流量多字段识别的人流量检测方法及系统
US20180081946A1 (en) * 2016-09-16 2018-03-22 Oracle International Corporation Duplicate reduction or elimination with hash join operations

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833146B (zh) * 2011-06-17 2015-07-22 华为技术有限公司 一种网络去重的方法和设备
CN105989072B (zh) * 2015-02-10 2019-09-27 阿里巴巴集团控股有限公司 去重计数方法及设备
CN107689901B (zh) * 2017-11-13 2020-12-18 锐捷网络股份有限公司 一种监控业务报文流量的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294351A (zh) * 2015-05-13 2017-01-04 阿里巴巴集团控股有限公司 日志事件处理方法和装置
CN106294706A (zh) * 2016-08-08 2017-01-04 苏州云杉世纪网络科技有限公司 基于dfi的云平台用户业务统计分析系统及方法
US20180081946A1 (en) * 2016-09-16 2018-03-22 Oracle International Corporation Duplicate reduction or elimination with hash join operations
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN106878102A (zh) * 2016-12-23 2017-06-20 中国科学院信息工程研究所 一种基于网络流量多字段识别的人流量检测方法及系统

Also Published As

Publication number Publication date
CN108923967A (zh) 2018-11-30
CN108923967B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN107391359B (zh) 一种业务测试方法及装置
US8612594B1 (en) Systems and methods for preventing data loss from files sent from endpoints
WO2020000742A1 (zh) 一种去重流量记录方法、装置、服务器及存储介质
US9355250B2 (en) Method and system for rapidly scanning files
WO2020155508A1 (zh) 可疑用户筛选方法、装置、计算机设备及存储介质
WO2022048422A1 (zh) 数据处理的方法、装置、设备及存储介质
CN112636957A (zh) 基于日志的预警方法、装置、服务器及存储介质
CN109450869B (zh) 一种基于用户反馈的业务安全防护方法
CN114647698A (zh) 数据同步方法、装置及计算机存储介质
WO2017152765A1 (zh) 一种自动熔断的消息发送方法、装置及系统
CN111782728A (zh) 一种数据同步方法、装置、电子设备及介质
CN114546830A (zh) 回归测试方法、装置、电子设备及存储介质
CN113852490A (zh) 一种分布式存储系统中samba用户QoS实现方法、装置及设备
WO2020224242A1 (zh) 区块链数据处理方法、装置、服务器及存储介质
CN115361450B (zh) 请求信息处理方法、装置、电子设备、介质和程序产品
US11334908B2 (en) Advertisement detection method, advertisement detection apparatus, and storage medium
CN113965408B (zh) 一种http报文的提取方法、装置、介质及设备
CN111343132A (zh) 文件传输检测方法及装置、存储介质
CN112910855B (zh) 一种样例报文处理方法及装置
CN113114611B (zh) 黑名单管理的方法和装置
CN114579416A (zh) 一种指标确定方法、装置、服务器和介质
WO2020211371A1 (zh) 图像恢复方法、装置、设备和存储介质
CN114186874A (zh) 基于流量回放的风控策略配置方法、装置、设备及介质
CN109460392B (zh) 日志文件采集方法、装置、可读存储介质及电子设备
CN113138974A (zh) 数据库合规检测的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18923901

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/04/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18923901

Country of ref document: EP

Kind code of ref document: A1