WO2020155752A1 - 异常点检测模型验证方法、装置、计算机设备及存储介质 - Google Patents
异常点检测模型验证方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- WO2020155752A1 WO2020155752A1 PCT/CN2019/117291 CN2019117291W WO2020155752A1 WO 2020155752 A1 WO2020155752 A1 WO 2020155752A1 CN 2019117291 W CN2019117291 W CN 2019117291W WO 2020155752 A1 WO2020155752 A1 WO 2020155752A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- attribute
- classification result
- abnormal
- point
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Definitions
- This application relates to the technical field of intelligent decision-making, and in particular to an outlier detection model verification method, device, computer equipment and storage medium.
- Outlier analysis is the process of checking whether the data has input errors and contains unreasonable data. It is very unfavorable to ignore the existence of outliers. Including the outliers in the calculation and analysis process of the data without eliminating them will cause bad results. influences.
- Unsupervised anomaly detection models are commonly used in outlier analysis, and for the output results of unsupervised anomaly detection models, it is often necessary to judge the rationality of the model classification from reality.
- the most commonly used method at present is the expert method, which is to consult relevant experts to judge whether the model classification is reasonable based on their business knowledge, which leads to high judgment costs and low efficiency.
- the embodiments of the application provide an outlier detection model verification method, device, computer equipment, and storage medium, aiming to solve the problem that the output result of the unsupervised anomaly detection model in the prior art can be judged by relevant experts based on their business knowledge. Whether the classification is reasonable, which leads to the problem of high judgment cost and low efficiency.
- an outlier detection model verification method which includes:
- each attribute classification result included in the attribute classification result and determine whether the first attribute average value of the normal point data corresponding to the selected attribute in each attribute classification result is less than the second attribute of the abnormal point data corresponding to the selected attribute Average;
- an abnormal point detection model verification device which includes:
- An initial construction unit for receiving samples to be classified, and constructing an isolated forest model for abnormal point detection according to a preset current proportion of abnormal points and the samples to be classified;
- a data point classification unit configured to classify the sample to be classified according to the isolated forest model and the current abnormal point ratio to obtain a classification result; wherein the classification result includes normal data points and abnormal data points;
- the attribute classification unit is used to classify the classification result according to a preset data attribute classification strategy to obtain the attribute classification result;
- the average value comparison unit is used to obtain each attribute classification result included in the attribute classification result, and determine whether the first attribute average value of the normal point data corresponding to the selected attribute in each attribute classification result is smaller than the abnormal point data corresponding The average value of the second attribute of the selected attribute;
- the first label setting unit is configured to add a reasonable model label to the isolated forest model if the average value of the first attribute in each attribute classification result is less than the average value of the second attribute.
- an embodiment of the present application provides a computer device, which includes a memory, a processor, and a computer program stored on the memory and running on the processor, and the processor executes the computer
- the program implements the abnormal point detection model verification method described in the first aspect.
- the embodiments of the present application also provide a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program that, when executed by a processor, causes the processor to execute the aforementioned first On the one hand, the abnormal point detection model verification method.
- FIG. 1 is a schematic flowchart of a method for verifying an abnormal point detection model provided by an embodiment of the application
- FIG. 2 is a schematic diagram of a sub-flow of the method for verifying an abnormal point detection model provided by an embodiment of the application;
- FIG. 3 is a schematic diagram of another sub-process of the abnormal point detection model verification method provided by an embodiment of the application.
- FIG. 4 is a schematic diagram of another flow chart of the method for verifying an abnormal point detection model provided by an embodiment of the application;
- FIG. 5 is a schematic block diagram of an abnormal point detection model verification device provided by an embodiment of the application.
- FIG. 6 is a schematic block diagram of a subunit of the abnormal point detection model verification device provided by an embodiment of the application.
- FIG. 7 is a schematic block diagram of another subunit of the abnormal point detection model verification device provided by an embodiment of the application.
- FIG. 8 is another schematic block diagram of an abnormal point detection model verification device provided by an embodiment of the application.
- FIG. 9 is a schematic block diagram of a computer device provided by an embodiment of the application.
- FIG. 1 is a schematic flowchart of a method for verifying an abnormal point detection model provided by an embodiment of the application.
- the method for verifying an abnormal point detection model is applied to a server, and the method is executed by application software installed in the server.
- the method includes steps S110 to S150.
- S110 Receive a sample to be classified, and construct an isolated forest model for abnormal point detection according to a preset current proportion of abnormal points and the sample to be classified.
- the server after the server receives the sample to be classified uploaded by the uploader, it also simultaneously obtains the set initial current abnormal point ratio of 0.5 (for example, the initial current abnormal point ratio is recorded as m 0 ), which means The expected ratio of normal point samples and abnormal point samples in the classification results of the isolated forest model is 1:1. Since it is assumed that there are more normal points than abnormal points, the abnormal point category contains a large number of misclassified normal points. When the proportion of abnormal points decreases, normal points in the abnormal point category will be eliminated.
- Isolation forest algorithm is used to mine abnormal data, or outlier mining, which can retrieve data that does not conform to the laws of other data from the massive data. For example, it is usually used for attack detection and traffic anomaly analysis in network security, and financial institutions are used to dig out fraud.
- step S110 includes:
- a data attribute B is randomly selected, and a split value p 2 is determined by the ratio of the data attribute B and the current abnormal point; then the left subtree and the right subtree are divided according to the split value p2 of the data attribute B to obtain The secondary left subtree and the secondary right subtree corresponding to the left subtree, and the secondary left subtree and the secondary right subtree corresponding to the right subtree. Iterate in this way until one of the following conditions is met: (1) there is one piece of data or multiple pieces of the same data in D; (2) the isolated tree reaches the maximum height. In the process of formation of each isolated tree, the randomly obtained data attributes and the split values corresponding to the data attributes are different, which leads to the isolated forest including multiple isolated trees. If the proportion of abnormal points in the isolated tree is set appropriately, the detection effect of abnormal points can be improved.
- the sample to be classified is first classified according to the isolated forest model and the current abnormal point ratio, and a classification result including normal data points and abnormal data points is obtained.
- a classification result including normal data points and abnormal data points is obtained.
- the method further includes:
- the sample to be classified is classified according to the isolated forest model and the current abnormal point ratio to obtain the data points of the current abnormal category, and the average Euclidean distance between each data point of the current abnormal category and the center of the normal point is obtained as the following The average Euclidean distance of one state;
- the average Euclidean distance variation range is obtained;
- the current anomaly point ratio plus the step size is used as the optimal anomaly point ratio, and the current anomaly point ratio is updated through the optimal anomaly point ratio;
- the sample to be classified is classified according to the isolated forest model and the optimal anomaly point ratio to obtain a classification result.
- step S120 classifying the sample to be classified according to the isolated forest model and the current anomaly point ratio is the initial classification, and the current anomaly point ratio at this time is not necessarily the best anomaly point ratio .
- the best abnormal point ratio it can be obtained by the above method.
- the normal point center corresponding to the data point of the normal category in the classification result can be determined, and this normal point center will be in the subsequent process Constant.
- the Euclidean distance between each data point of the abnormal category and the center of the normal point needs to be calculated and averaged to obtain each data of the abnormal category in the classification result
- the average Euclidean distance between the point and the center of the normal point is taken as the average Euclidean distance in the current state. From the average Euclidean distance in the current state, it can be seen whether each data point of the abnormal category is far away from the center of the normal point.
- Update the current abnormal point ratio by subtracting the step size from the current abnormal point ratio. At this time, there is no need to determine the normal point center again, only the data points of the abnormal category in the classification result are obtained, and then each data point of the abnormal category is calculated The average Euclidean distance from the center of the normal point is taken as the average Euclidean distance in the next state.
- the average Euclidean distance of the current state is regarded as d 0
- the average Euclidean distance of the next state obtained for the first time is regarded as d 1
- the average Euclidean distance of the next state obtained for the second time is regarded as d 2
- the next state average Euclidean distance obtained for the Nth time is regarded as d N (the corresponding current state average Euclidean distance at this time is d N-1 ).
- the preset step length is recorded as l
- the average Euclidean distance variation range is calculated by (d N -d N-1 )/l, where N is a positive integer greater than 0.
- the variation of the average Euclidean distance exceeds the preset threshold of variation, it means that some real abnormal points are classified as normal points, which leads to a sudden increase in the average Euclidean distance from the abnormal point to the normal center point.
- the current abnormal point ratio is the previous one.
- the state that is, the current proportion of abnormal points plus the step size) can be used as the optimal proportion of abnormal points.
- variation range of the average Euclidean distance does not exceed the variation threshold, subtract the step size from the current anomaly point ratio to update the current anomaly point ratio, update the current state average Euclidean distance through the average Euclidean distance of the next state, and return to execution
- the sample to be classified is classified according to the isolated forest model and the proportion of current abnormal points to obtain the data points of the current abnormal category, and the average Euclidean distance between each data point of the current abnormal category and the center of the normal point is obtained as the next The steps of the state average Euclidean distance.
- the variation range of the average Euclidean distance still maintains a smooth transition, it means that the reduced proportion of abnormal points is not enough to significantly affect the average Euclidean distance between each data point of the abnormal category and the center of the normal point.
- the current abnormal point ratio needs to be subtracted
- the step size is used to update the current anomalous point ratio, and the average Euclidean distance of the next state is used to update the average Euclidean distance of the new current state.
- d 1 is used as the average Euclidean distance in the current state
- (m 0 -l) is used as the current abnormal point ratio to re-calculate Obtain d 2 ; then (d 2 -d1)/l is used as the average Euclidean distance variation range, and so on, until the execution of the average Euclidean distance variation range exceeds the preset variation range threshold.
- the step of classifying the sample to be classified according to the isolated forest model and the optimal anomaly point ratio, after obtaining the classification result further includes:
- the storage area corresponding to the classification result and the optimal abnormal point ratio is formatted and deleted.
- the classification result corresponding to the sample to be classified and the optimal abnormal point ratio are obtained in the server, the classification result and the optimal abnormal point ratio can be sent in time To the upload end corresponding to the sample to be classified, the effective notification of the classification result of the upload end is realized.
- the classification result and the optimal abnormal point ratio can be sent to the cloud server in time at this time, and the classification result corresponding to the sample to be classified can be realized through the cloud server.
- Effective storage of the optimal abnormal point ratio may also be synchronized to the cloud server.
- the unique machine identification code such as IMEI serial number
- the uploader must be used as the data identification bit for unique data identification.
- the storage area corresponding to the classification result and the optimal abnormal point ratio in the server can be formatted and deleted, thereby Effectively free up storage space.
- the method before formatting and deleting the storage area corresponding to the classification result and the optimal abnormal point ratio, the method further includes:
- the number of iterations is sent to the uploader corresponding to the sample to be classified, and the number of iterations is synchronously sent to the cloud server.
- the preset current anomaly point ratio and the optimal anomaly point ratio may be compared The difference in the ratio is divided by the step size to obtain the number of iterations. After the number of iterations is known, the number of iterations can be sent to the uploader corresponding to the sample to be classified, and the uploader can accumulate experience in setting the optimal proportion of abnormal points.
- step S130 includes:
- S131 Determine the group to which each normal data point belongs according to the data attribute classification strategy, so as to obtain a normal category attribute classification result;
- S132 Determine the group to which each abnormal data point belongs according to the data attribute classification strategy to obtain an abnormal category attribute classification result
- the attribute classification result is composed of the normal category attribute classification result and the abnormal category attribute classification result.
- the classification result includes normal point data and abnormal point data, That is, each data point in the sample to be classified has a label belonging to a normal category or an abnormal category after the classification is completed.
- Each data point included in the normal category data set composed of normal data points and the abnormal category data set composed of abnormal data points has a main attribute (such as an ID number) and multiple subordinates corresponding to the main attribute Attributes (such as age, number of insurance policies, etc.). At this time, you can choose to use the number of insurance policies as the classification attribute, classify the sample to be classified, and obtain the attribute classification result.
- a main attribute such as an ID number
- Attributes such as age, number of insurance policies, etc.
- the normal category data set you can choose to classify the data points with the number of insurance policies not exceeding 1 into the first type of attribute classification result, and in the normal category data set, choose to divide the data points with the number of insurance policies more than 1 into the second type of attribute Classification results.
- the abnormal category data set the data points with the number of insurance policies not exceeding 1 are selected to be classified into the third type of attribute classification results, and the data points with the number of insurance policies exceeding 1 are selected in the abnormal category data set to be classified as the fourth type of attribute classification results.
- the first attribute classification result is composed of the first type attribute classification result and the third type attribute classification result
- the second attribute classification result is composed of the second type attribute classification result and the fourth type attribute classification result.
- the average value of the first attribute of each normal data point in the first attribute classification result in the first attribute classification result under the attribute of the number of insurance policies is smaller than the abnormal data points in the first attribute classification result
- the average value of the first attribute of each normal data point in the third attribute classification result under the attribute of the number of insurance policies is smaller than the number of abnormal data points in the fourth attribute classification result.
- the method further includes:
- the average value of the first attribute in each attribute classification result is greater than or equal to the average value of the second attribute, it means that the normal category data set and the abnormal category data set are on the average value of the corresponding selected attribute There is no change in the same direction, indicating that the isolated forest model is not reasonable, and the model needs to be retrained, and an unreasonable model label can be added for identification.
- This method realizes the automatic fast and accurate judgment of the classification rationality of the isolated forest model, and avoids the low efficiency and high cost caused by manual judgment.
- the embodiment of the present application also provides an abnormal point detection model verification device, which is used to execute any embodiment of the aforementioned abnormal point detection model verification method.
- FIG. 5 is a schematic block diagram of an abnormal point detection model verification apparatus provided by an embodiment of the present application.
- the abnormal point detection model verification device 100 can be configured in a server.
- the abnormal point detection model verification device 100 includes an initial construction unit 110, a data point classification unit 120, an attribute classification unit 130, an average value comparison unit 140, and a first label setting unit 150.
- the initial construction unit 110 is configured to receive samples to be classified, and construct an isolated forest model for abnormal point detection according to a preset current proportion of abnormal points and the samples to be classified.
- the initial construction unit 110 includes:
- the classification parameter obtaining unit 111 is configured to randomly obtain data attributes from the sample to be classified, and a split value determined by the ratio of the data attributes and the current abnormal point;
- the model obtaining unit 112 is configured to divide the sample to be classified according to the data attribute and the split value to obtain multiple isolated trees, and combine the multiple isolated trees to obtain an isolated forest model for abnormal point detection.
- the data point classification unit 120 is configured to classify the sample to be classified according to the isolated forest model and the current abnormal point ratio to obtain a classification result; wherein the classification result includes normal data points and abnormal data points.
- the abnormal point detection model verification device 100 further includes:
- a normal point center obtaining unit configured to obtain a normal point center of a normal category in the classification result
- the first average value obtaining unit is configured to obtain the average Euclidean distance between each data point of the abnormal category in the classification result and the center of the normal point as the current state average Euclidean distance;
- the first ratio update unit is configured to subtract a preset step size from the current abnormal point ratio to update the current abnormal point ratio
- the second average value obtaining unit is used to classify the sample to be classified according to the isolated forest model and the current abnormal point ratio to obtain data points of the current abnormal category, and obtain each data point of the current abnormal category and the normal
- the average Euclidean distance of the point center is taken as the average Euclidean distance of the next state
- An amplitude calculation unit configured to divide the difference between the average Euclidean distance in the next state and the average Euclidean distance in the current state by the step length to obtain the average Euclidean distance variation range;
- the optimal ratio acquisition unit is configured to, if the average Euclidean distance variation range exceeds a preset variation range threshold, use the current abnormal point ratio plus the step length as the optimal abnormal point ratio, and update it through the optimal abnormal point ratio The proportion of current abnormal points;
- the optimal classification unit is used to classify the sample to be classified according to the isolated forest model and the optimal anomaly point ratio to obtain a classification result.
- the attribute classification unit 130 is configured to classify the classification result according to a preset data attribute classification strategy to obtain the attribute classification result.
- the attribute classification unit 130 includes:
- the first category classification unit 131 is configured to determine the group to which each normal data point belongs according to the data attribute classification strategy, so as to obtain a normal category attribute classification result;
- the second category classification unit 132 is configured to determine the group to which each abnormal data point belongs according to the data attribute classification strategy, so as to obtain an abnormal category attribute classification result;
- the attribute classification result obtaining unit 133 is configured to form the attribute classification result from the normal category attribute classification result and the abnormal category attribute classification result.
- the average value comparison unit 140 is configured to obtain each attribute classification result included in the attribute classification result, and determine whether the first attribute average value of the normal point data corresponding to the selected attribute in each attribute classification result is smaller than the abnormal point data The average value of the second attribute corresponding to the selected attribute.
- the first label setting unit 150 is configured to add a reasonable model label to the isolated forest model if the average value of the first attribute in each attribute classification result is less than the average value of the second attribute.
- the abnormal point detection model verification device 100 further includes:
- the second label setting unit 160 is configured to add an unreasonable model label to the isolated forest model if the average value of the first attribute in each attribute classification result is greater than or equal to the average value of the second attribute.
- the device realizes the automatic rapid and accurate judgment of the classification rationality of the isolated forest model, and avoids the low efficiency and high cost caused by manual judgment.
- the aforementioned abnormal point detection model verification device can be implemented in the form of a computer program, and the computer program can be run on a computer device as shown in FIG. 9.
- FIG. 9 is a schematic block diagram of a computer device according to an embodiment of the present application.
- the computer device 500 is a server, and the server may be an independent server or a server cluster composed of multiple servers.
- the computer device 500 includes a processor 502, a memory, and a network interface 505 connected through a system bus 501, where the memory may include a non-volatile storage medium 503 and an internal memory 504.
- the non-volatile storage medium 503 can store an operating system 5031 and a computer program 5032.
- the processor 502 can execute the abnormal point detection model verification method.
- the processor 502 is used to provide calculation and control capabilities, and support the operation of the entire computer device 500.
- the internal memory 504 provides an environment for the operation of the computer program 5032 in the non-volatile storage medium 503.
- the processor 502 can execute the abnormal point detection model verification method.
- the network interface 505 is used for network communication, such as providing data information transmission.
- the structure shown in FIG. 9 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 500 to which the solution of the present application is applied.
- the specific computer device 500 may include more or fewer components than shown in the figure, or combine certain components, or have a different component arrangement.
- the processor 502 is configured to run a computer program 5032 stored in a memory to implement the abnormal point detection model verification method disclosed in the embodiment of the present application.
- the embodiment of the computer device shown in FIG. 9 does not constitute a limitation on the specific configuration of the computer device.
- the computer device may include more or less components than those shown in the figure. Or combine certain components, or different component arrangements.
- the computer device may only include a memory and a processor. In such embodiments, the structures and functions of the memory and the processor are the same as those of the embodiment shown in FIG. 9 and will not be repeated here.
- the processor 502 may be a central processing unit (Central Processing Unit, CPU), and the processor 502 may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
- the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
- a computer-readable storage medium may be a non-volatile computer-readable storage medium.
- the computer-readable storage medium stores a computer program, where the computer program is executed by a processor to implement the abnormal point detection model verification method disclosed in the embodiments of the present application.
- the storage medium is a physical, non-transitory storage medium, such as a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk, or an optical disk that can store program codes. medium.
- a physical, non-transitory storage medium such as a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk, or an optical disk that can store program codes. medium.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了异常点检测模型验证方法、装置、计算机设备及存储介质。该方法包括:根据预设的当前异常点比例及待分类样本构建孤立森林模型;将待分类样本根据孤立森林模型及当前异常点比例进行分类得到分类结果;根据预先设置的数据属性分类策略,将分类结果进行分类,得到属性分类结果;获取属性分类结果中每一属性分类结果;若每一属性分类结果中第一属性平均值均小于第二属性平均值,将孤立森林模型增加一个合理模型标签。该方法采用智能决策实现了对孤立森林模型的分类合理性自动进行快速而准确的判断,避免了因人工判断而导致的效率低下和高成本。
Description
本申请要求于2019年1月28日提交中国专利局、申请号为201910078953.2、申请名称为“异常点检测模型验证方法、装置、计算机设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及智能决策技术领域,尤其涉及一种异常点检测模型验证方法、装置、计算机设备及存储介质。
异常值分析是检验数据是否有录入错误以及含有不合常理的数据的过程,忽视异常值的存在是十分不利的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会产生不良影响。
异常值分析常用的是无监督异常检测模型,而对于无监督异常检测模型的输出结果,往往需要从现实中判断该模型分类的合理性。现有最常用的方法是专家法,即请教相关的专家以其业务知识,判断模型分类是否合理,这就导致判断成本高,而且效率低下。
发明内容
本申请实施例提供了一种异常点检测模型验证方法、装置、计算机设备及存储介质,旨在解决现有技术中对于无监督异常检测模型的输出结果通过相关的专家以其业务知识,判断模型分类是否合理,这就导致判断成本高,而且效率低下的问题。
第一方面,本申请实施例提供了一种异常点检测模型验证方法,其包括:
接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型;
将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点;
根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性 分类结果;
获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值;以及
若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
第二方面,本申请实施例提供了一种异常点检测模型验证装置,其包括:
初始构建单元,用于接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型;
数据点分类单元,用于将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点;
属性分类单元,用于根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果;
平均值比较单元,用于获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值;以及
第一标签设置单元,用于若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
第三方面,本申请实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的异常点检测模型验证方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的异常点检测模型验证方法。
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以 根据这些附图获得其他的附图。
图1为本申请实施例提供的异常点检测模型验证方法的流程示意图;
图2为本申请实施例提供的异常点检测模型验证方法的子流程示意图;
图3为本申请实施例提供的异常点检测模型验证方法的另一子流程示意图;
图4为本申请实施例提供的异常点检测模型验证方法的另一流程示意图;
图5为本申请实施例提供的异常点检测模型验证装置的示意性框图;
图6为本申请实施例提供的异常点检测模型验证装置的子单元示意性框图;
图7为本申请实施例提供的异常点检测模型验证装置的另一子单元示意性框图;
图8为本申请实施例提供的异常点检测模型验证装置的另一示意性框图;
图9为本申请实施例提供的计算机设备的示意性框图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,图1为本申请实施例提供的异常点检测模型验证方法的流程示意图,该异常点检测模型验证方法应用于服务器中,该方法通过安装于服务器中的应用软件进行执行。
如图1所示,该方法包括步骤S110~S150。
S110、接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型。
在本实施例中,例如,服务器接收了上传端所上传的待分类样本后,也同时获取所设置初始的当前异常点比例为0.5(如将初始的当前异常点比例记为m
0),表示所期望的孤立森林模型的分类结果中正常点样本和异常点样本比例为1:1。由于假设正常点数量比异常点多,因此此时异常点类别中含有大量的错分正常点。当异常点比例减少的时候,异常点类别中的正常点会被剔除。
孤立森林算法,即iForest算法,用于挖掘异常数据,或者是离群点挖掘,能在在海量数据中,检索出与其它数据的规律不太符合的数据。例如,通常用于网络安全中的攻击检测和流量异常等分析,金融机构则用于挖掘出欺诈行为。
在一实施例中,如图2所示,步骤S110包括:
S111、从所述待分类样本中随机获取数据属性,及由数据属性和当前异常点比例所确定的分裂值;
S112、根据所述数据属性及所述分裂值将所述待分类样本进行划分,得到多个孤立树,由多个孤立树组合得到用于异常点检测的孤立森林模型。
在本实施例中,例如从训练数据集D={d
1,d
2,…,d
n}中随机选择一个数据属性A,并由数据属性A和当前异常点比例确定一个分裂值p
1;然后对训练数据集中每个数据对象d
i,按照数据属性A的分裂值p
1进行划分。若d
i(A)小于p
1,则放在左子树,反之则在右子树。此时再随机选择一个数据属性B,并由数据属性B和当前异常点比例确定一个分裂值p
2;然后对左子树和右子树均根据按照数据属性B的分裂值p2进行划分,得到与左子树对应的次级左子树和次级右子树,以及与右子树对应的次级左子树和次级右子树。以此迭代,直至满足一下条件之一:(1)D中剩下一条数据或者多条相同的数据;(2)孤立树达到最大高度。由于每一个孤立树在形成的过程中,所随机得到数据属性及与数据属性对应的分裂值不同,这就导致了孤立森林中能包括多个孤立树。孤立树中若设置异常点比例得当,即可提升异常点的检测效果。
S120、将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点。
在本实施例中,先根据所述孤立森林模型及当前异常点比例将所述待分类 样本进行分类后,得到了包括正常数据点和异常数据点的分类结果。为了对分类结果的合理性进行验证,可以继续观测正常类与异常类在某些特征上的均值上是否存在同向的变化,如在各个类别中正常点数据的某些特征值均大于或小于异常点数据。
在一实施例中,步骤S120之后、步骤S130之前还包括:
获取所述分类结果中正常类别的正常点中心;
获取所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式距离,以作为当前状态平均欧式距离;
通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;
将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离;
通过下一状态平均欧式距离与当前状态平均欧式距离之差除以所述步长,得到平均欧式距离变动幅度;
若所述平均欧式距离变动幅度超出预设的变动幅度阈值,将当前异常点比例加上步长作为最优异常点比例,通过所述最优异常点比例以更新当前异常点比例;
将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果。
在本实施例中,步骤S120中将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类是初次分类,此时的当前异常点比例不一定是最佳的异常点比例。为了获取最佳的异常点比例,可通过上述方式获取。
当根据步骤S120中的当前异常点比例将待分类样本由所述孤立森林模型进行分类后,可以确定分类结果中正常类别的数据点对应的正常点中心,这一正常点中心在后续过程中是恒定不变的。
为了判断异常类别的每一数据点与正常点的距离关系,需计算异常类别的每一数据点与所述正常点中心的欧式距离后求平均,得到所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式距离,以作为当前状态平均欧式距离,从该当前状态平均欧式距离可以看出异常类别的每一数据点是否均远离正常点中心。
通过将当前异常点比例减去所述步长以更新当前异常点比例,此时无需再次确定正常点中心,只需得到分类结果中的异常类别的数据点,再计算异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离。
初始状态下时当前状态平均欧式距离视为d
0,则初次得到的下一状态平均欧式距离视为d
1,则第二次得到的下一状态平均欧式距离视为d
2(此时对应的当前状态平均欧式距离为d
1),……,第N次得到的下一状态平均欧式距离视为d
N(此时对应的当前状态平均欧式距离为d
N-1)。若将预设的步长记为l,则是通过(d
N-d
N-1)/l来计算平均欧式距离变动幅度,其中N为大于0的正整数。
当平均欧式距离变动幅度陡然变大,表示此刻最新的当前异常点比例不是最优异常点比例,可考虑将此刻最新的当前异常点比例之前一个状态的当前异常点比例作为最优异常点比例。
若平均欧式距离变动幅度超出预设的变动幅度阈值,表示有部分真实的异常点被划分为正常点,导致异常点到正常中心点的平均欧式距离突增,此时当前异常点比例的上一状态(即当前异常点比例加上步长)即可作为最优异常点比例。
若所述平均欧式距离变动幅度未超出所述变动幅度阈值,将当前异常点比例减去步长以更新当前异常点比例,通过下一状态平均欧式距离以更新当前状态平均欧式距离,返回执行将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离的步骤。
当平均欧式距离变动幅度仍保持平稳过渡,表示所降低的异常点比例不足以明显影响异常类别的每一数据点与所述正常点中心的平均欧式距离,此时需将当前异常点比例减去步长以更新当前异常点比例,并通过下一状态平均欧式距离以更新新当前状态平均欧式距离。例如当(d
N-d
N-1)/l未超出预设的变动幅度阈值,此时将d
1作为当前状态平均欧式距离,将(m
0-l)作为当前异常点比例重新返回计算以得到d
2;之后即是以(d
2-d1)/l作为平均欧式距离变动幅度,以此类推,直至执行到平均欧式距离变动幅度超出预设的变动幅度阈值即可。
在一实施例中,所述将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果之后,还包括:
将所述分类结果及所述最优异常点比例发送至所述待分类样本对应的上传端,并将所述分类结果及所述最优异常点比例同步发送至云服务器;
将所述分类结果及所述最优异常点比例对应的存储区域进行格式化删除。
在本实施例中,若在服务器中完成了获取了与所述待分类样本对应的分类结果及所述最优异常点比例后,可以及时的将该分类结果及所述最优异常点比例发送至所述待分类样本对应的上传端,实现对上传端进行分类结果的有效通知。
而且为了降低服务器中的数据存储压力,此时可及时的将所述分类结果及所述最优异常点比例同步发送至云服务器,通过云服务器实现对与所述待分类样本对应的分类结果及所述最优异常点比例的有效存储。此过程中,还可以将与所述分类结果及所述最优异常点比例对应的述待分类样本同步至云服务器。上述的待分类样本、分类结果及最优异常点比例在由服务器同步至云服务器中时,需以上传端的唯一机器识别码(如IMEI串号)为数据标识位来进行唯一数据标识。
此时将所述分类结果及所述最优异常点比例同步发送至云服务器之后,则可对服务器中将所述分类结果及所述最优异常点比例对应的存储区域进行格式化删除,从而有效释放出存储空间。
在一实施例中,所述将所述分类结果及所述最优异常点比例对应的存储区域进行格式化删除之前,还包括:
根据预设的当前异常点比例与所述最优异常点比例之差除以所述步长,得到迭代次数;
将所述迭代次数发送至所述待分类样本对应的上传端,并将所述迭代次数同步发送至云服务器。
在本实施例中,为了清楚的获知预设的当前异常点比例所述最优异常点比例之间经过了多少次迭代,此时可以根据预设的当前异常点比例与所述最优异常点比例之差除以所述步长,得到迭代次数。当获知了所述迭代次数后,可以将所述迭代次数发送至所述待分类样本对应的上传端,上传端对应则可积累设置最优异常点比例的经验。
S130、根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果。
在一实施例中,如图3所示,步骤S130包括:
S131、根据所述数据属性分类策略判断每一正常数据点所属的分组,以得到正常类别属性分类结果;
S132、根据所述数据属性分类策略判断每一异常数据点所属的分组,以得到异常类别属性分类结果;
S133、由所述正常类别属性分类结果及所述异常类别属性分类结果组成所述属性分类结果。
在本实施例中,将所述待分类样本根据所述孤立森林模型进行分类(例如根据最优异常点比例进行分类,得到分类结果)后,所述分类结果包括正常点数据和异常点数据,也即待分类样本中的每一数据点在分类完成后都对应有属于正常类别或是异常类别的标签。此时为了进一步分分类结果中的数据特点,可以选取分类结果中的每一正常数据点和每一异常数据点中的某一属性,将每一正常数据点再次进行分类得到正常类别属性分类结果,同时将每一异常数据点再次进行分类得到异常类别属性分类结果。
正常数据点组成的正常类别数据集合、和异常数据点组成的异常类别数据集合中包括的每一数据点,除了拥有一个主属性(如身份证号),还有与主属性对应的多个从属属性(如年龄,投保保单数目等属性)。此时可以选择以投保保单数目作为分类属性,将所述待分类样本进行分类,得到属性分类结果。
例如,可以在正常类别数据集合中选择将投保保单数目不超过1的数据点分第一类属性分类结果,在正常类别数据集合中选择将投保保单数目超过1的数据点分为第二类属性分类结果。在异常类别数据集合中选择将投保保单数目不超过1的数据点分第三类属性分类结果,在异常类别数据集合中选择将投保保单数目超过1的数据点分为第四类属性分类结果。由第一类属性分类结果和第三类属性分类结果组成第一属性分类结果,由第二类属性分类结果和第四类属性分类结果组成第二属性分类结果。
S140、获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值。
在本实施例中,例如判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值如下:
判断第一属性分类结果中第一类属性分类结果中各正常数据点在投保保单数目这一属性下的第一属性平均值是否小于第一类属性分类结果中各异常数据点在投保保单数目这一属性下的第二属性平均值。同时也判断第二属性分类结果中第三类属性分类结果中各正常数据点在投保保单数目这一属性下的第一属性平均值是否小于第四类属性分类结果中各异常数据点在投保保单数目这一属性下的第二属性平均值。通过观察每个类别中,正常类别数据集合与异常类别数据集合在某些特征上的均值上是否存在同向的变化,可以辅助判断所述孤立森林模型分类的合理性。
S150、若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
在本实施例中,例如第一属性分类结果中第一类属性分类结果中各正常数据点在投保保单数目这一属性下的第一属性平均值小于第一类属性分类结果中各异常数据点在投保保单数目这一属性下的第二属性平均值。而且第二属性分类结果中第三类属性分类结果中各正常数据点在投保保单数目这一属性下的第一属性平均值小于第四类属性分类结果中各异常数据点在投保保单数目这一属性下的第二属性平均值。这就表示正常类别数据集合与异常类别数据集合在投保保单数目上的均值上存在同向的变化,说明所述孤立森林模型是合理的,具有较好的分类效果,可增加一个合理模型标签进行标识。
在一实施例中,如图4所示,步骤S150之后还包括:
S160、若每一属性分类结果中所述第一属性平均值有大于或等于所述第二属性平均值,将所述孤立森林模型增加一个非合理模型标签。
在本实施例中,若每一属性分类结果中所述第一属性平均值有大于或等于所述第二属性平均值,表示正常类别数据集合与异常类别数据集合在对应选定属性的均值上不存在同向的变化,说明所述孤立森林模型不是合理的,需要重新训练模型,可增加一个非合理模型标签进行标识。
该方法实现了对孤立森林模型的分类合理性自动进行快速而准确的判断,避免了因人工判断而导致的效率低下和高成本。
本申请实施例还提供一种异常点检测模型验证装置,该异常点检测模型验证装置用于执行前述异常点检测模型验证方法的任一实施例。具体地,请参阅图5,图5是本申请实施例提供的异常点检测模型验证装置的示意性框图。该异 常点检测模型验证装置100可以配置于服务器中。
如图5所示,异常点检测模型验证装置100包括初始构建单元110、数据点分类单元120、属性分类单元130、平均值比较单元140、第一标签设置单元150。
初始构建单元110,用于接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型。
在一实施例中,如图6所示,初始构建单元110包括:
分类参数获取单元111,用于从所述待分类样本中随机获取数据属性,及由数据属性和当前异常点比例所确定的分裂值;
模型获取单元112,用于根据所述数据属性及所述分裂值将所述待分类样本进行划分,得到多个孤立树,由多个孤立树组合得到用于异常点检测的孤立森林模型。
数据点分类单元120,用于将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点。
在一实施例中,异常点检测模型验证装置100还包括:
正常点中心获取单元,用于获取所述分类结果中正常类别的正常点中心;
第一平均值获取单元,用于获取所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式距离,以作为当前状态平均欧式距离;
第一比例更新单元,用于通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;
第二平均值获取单元,用于将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离;
幅度计算单元,用于通过下一状态平均欧式距离与当前状态平均欧式距离之差除以所述步长,得到平均欧式距离变动幅度;
最优比例获取单元,用于若所述平均欧式距离变动幅度超出预设的变动幅度阈值,将当前异常点比例加上步长作为最优异常点比例,通过所述最优异常点比例以更新当前异常点比例;
最优分类单元,用于将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果。
属性分类单元130,用于根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果。
在一实施例中,如图7所示,属性分类单元130包括:
第一类别分类单元131,用于根据所述数据属性分类策略判断每一正常数据点所属的分组,以得到正常类别属性分类结果;
第二类别分类单元132,用于根据所述数据属性分类策略判断每一异常数据点所属的分组,以得到异常类别属性分类结果;
属性分类结果获取单元133,用于由所述正常类别属性分类结果及所述异常类别属性分类结果组成所述属性分类结果。
平均值比较单元140,用于获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值。
第一标签设置单元150,用于若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
在一实施例中,如图8所示,异常点检测模型验证装置100还包括:
第二标签设置单元160,用于若每一属性分类结果中所述第一属性平均值有大于或等于所述第二属性平均值,将所述孤立森林模型增加一个非合理模型标签。
该装置实现了对孤立森林模型的分类合理性自动进行快速而准确的判断,避免了因人工判断而导致的效率低下和高成本。
上述异常点检测模型验证装置可以实现为计算机程序的形式,该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9,图9是本申请实施例提供的计算机设备的示意性框图。该计算机设备500是服务器,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图9,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行异常点检测模型验证方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行异常点检测模型验证方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现本申请实施例公开的异常点检测模型验证方法。
本领域技术人员可以理解,图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图9所示实施例一致,在此不再赘述。
应当理解,在本申请实施例中,处理器502可以是中央处理单元(Central Processing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本申请实施例公开的异常点检测模型验证方法。
所述存储介质为实体的、非瞬时性的存储介质,例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描 述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
- 一种异常点检测模型验证方法,包括:接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型;将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点;根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果;获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值;以及若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
- 根据权利要求1所述的异常点检测模型验证方法,其中,所述根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果之前,还包括:获取所述分类结果中正常类别的正常点中心;获取所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式距离,以作为当前状态平均欧式距离;通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离;通过下一状态平均欧式距离与当前状态平均欧式距离之差除以所述步长,得到平均欧式距离变动幅度;若所述平均欧式距离变动幅度超出预设的变动幅度阈值,将当前异常点比例加上步长作为最优异常点比例,通过所述最优异常点比例以更新当前异常点比例;将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类, 得到分类结果。
- 根据权利要求1所述的异常点检测模型验证方法,其中,所述根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型,包括:从所述待分类样本中随机获取数据属性,及由数据属性和当前异常点比例所确定的分裂值;根据所述数据属性及所述分裂值将所述待分类样本进行划分,得到多个孤立树,由多个孤立树组合得到用于异常点检测的孤立森林模型。
- 根据权利要求1所述的异常点检测模型验证方法,其中,所述根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果,包括:根据所述数据属性分类策略判断每一正常数据点所属的分组,以得到正常类别属性分类结果;根据所述数据属性分类策略判断每一异常数据点所属的分组,以得到异常类别属性分类结果;由所述正常类别属性分类结果及所述异常类别属性分类结果组成所述属性分类结果。
- 根据权利要求2所述的异常点检测模型验证方法,其中,所述获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值之后,还包括:若每一属性分类结果中所述第一属性平均值有大于或等于所述第二属性平均值,将所述孤立森林模型增加一个非合理模型标签。
- 根据权利要求2所述的异常点检测模型验证方法,其中,所述将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果之后,还包括:将所述分类结果及所述最优异常点比例发送至所述待分类样本对应的上传端,并将所述分类结果及所述最优异常点比例同步发送至云服务器;将所述分类结果及所述最优异常点比例对应的存储区域进行格式化删除。
- 根据权利要求6所述的异常点检测模型验证方法,其中,所述将所述分 类结果及所述最优异常点比例对应的存储区域进行格式化删除之前,还包括:根据预设的当前异常点比例与所述最优异常点比例之差除以所述步长,得到迭代次数;将所述迭代次数发送至所述待分类样本对应的上传端,并将所述迭代次数同步发送至云服务器。
- 一种异常点检测模型验证装置,包括:初始构建单元,用于接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型;数据点分类单元,用于将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点;属性分类单元,用于根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果;平均值比较单元,用于获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值;以及第一标签设置单元,用于若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
- 根据权利要求8所述的异常点检测模型验证装置,其中,还包括:正常点中心获取单元,用于获取所述分类结果中正常类别的正常点中心;第一平均值获取单元,用于获取所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式距离,以作为当前状态平均欧式距离;第一比例更新单元,用于通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;第二平均值获取单元,用于将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离;幅度计算单元,用于通过下一状态平均欧式距离与当前状态平均欧式距离之差除以所述步长,得到平均欧式距离变动幅度;最优比例获取单元,用于若所述平均欧式距离变动幅度超出预设的变动幅 度阈值,将当前异常点比例加上步长作为最优异常点比例,通过所述最优异常点比例以更新当前异常点比例;最优分类单元,用于将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果。
- 根据权利要求8所述的异常点检测模型验证装置,其中,所述属性分类单元,包括:第一类别分类单元,用于根据所述数据属性分类策略判断每一正常数据点所属的分组,以得到正常类别属性分类结果;第二类别分类单元,用于根据所述数据属性分类策略判断每一异常数据点所属的分组,以得到异常类别属性分类结果;属性分类结果获取单元,用于由所述正常类别属性分类结果及所述异常类别属性分类结果组成所述属性分类结果。
- 一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型;将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点;根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果;获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值;以及若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
- 根据权利要求11所述的计算机设备,其中,所述根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果之前,还包括:获取所述分类结果中正常类别的正常点中心;获取所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式 距离,以作为当前状态平均欧式距离;通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离;通过下一状态平均欧式距离与当前状态平均欧式距离之差除以所述步长,得到平均欧式距离变动幅度;若所述平均欧式距离变动幅度超出预设的变动幅度阈值,将当前异常点比例加上步长作为最优异常点比例,通过所述最优异常点比例以更新当前异常点比例;将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果。
- 根据权利要求11所述的计算机设备,其中,所述根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型,包括:从所述待分类样本中随机获取数据属性,及由数据属性和当前异常点比例所确定的分裂值;根据所述数据属性及所述分裂值将所述待分类样本进行划分,得到多个孤立树,由多个孤立树组合得到用于异常点检测的孤立森林模型。
- 根据权利要求11所述的计算机设备,其中,所述根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果,包括:根据所述数据属性分类策略判断每一正常数据点所属的分组,以得到正常类别属性分类结果;根据所述数据属性分类策略判断每一异常数据点所属的分组,以得到异常类别属性分类结果;由所述正常类别属性分类结果及所述异常类别属性分类结果组成所述属性分类结果。
- 根据权利要求12所述的计算机设备,其中,所述获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值之后,还包括:若每一属性分类结果中所述第一属性平均值有大于或等于所述第二属性平均值,将所述孤立森林模型增加一个非合理模型标签。
- 根据权利要求12所述的计算机设备,其中,所述将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果之后,还包括:将所述分类结果及所述最优异常点比例发送至所述待分类样本对应的上传端,并将所述分类结果及所述最优异常点比例同步发送至云服务器;将所述分类结果及所述最优异常点比例对应的存储区域进行格式化删除。
- 根据权利要求16所述的计算机设备,其中,所述将所述分类结果及所述最优异常点比例对应的存储区域进行格式化删除之前,还包括:根据预设的当前异常点比例与所述最优异常点比例之差除以所述步长,得到迭代次数;将所述迭代次数发送至所述待分类样本对应的上传端,并将所述迭代次数同步发送至云服务器。
- 一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行以下操作:接收待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型;将所述待分类样本根据所述孤立森林模型及所述当前异常点比例进行分类,得到分类结果;其中,所述分类结果包括正常数据点和异常数据点;根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果;获取所述属性分类结果中所包括的每一属性分类结果,判断每一属性分类结果中正常点数据对应选定属性的第一属性平均值是否均小于异常点数据对应选定属性的第二属性平均值;以及若每一属性分类结果中所述第一属性平均值均小于所述第二属性平均值,将所述孤立森林模型增加一个合理模型标签。
- 根据权利要求18所述的计算机可读存储介质,其中,所述根据预先设置的数据属性分类策略,将所述分类结果进行分类,得到属性分类结果之前,还包括:获取所述分类结果中正常类别的正常点中心;获取所述分类结果中异常类别的每一数据点与所述正常点中心的平均欧式距离,以作为当前状态平均欧式距离;通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;将所述待分类样本根据所述孤立森林模型及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的平均欧式距离以作为下一状态平均欧式距离;通过下一状态平均欧式距离与当前状态平均欧式距离之差除以所述步长,得到平均欧式距离变动幅度;若所述平均欧式距离变动幅度超出预设的变动幅度阈值,将当前异常点比例加上步长作为最优异常点比例,通过所述最优异常点比例以更新当前异常点比例;将所述待分类样本根据所述孤立森林模型及所述最优异常点比例进行分类,得到分类结果。
- 根据权利要求18所述的计算机可读存储介质,其中,所述根据预设的当前异常点比例及所述待分类样本构建用于异常点检测的孤立森林模型,包括:从所述待分类样本中随机获取数据属性,及由数据属性和当前异常点比例所确定的分裂值;根据所述数据属性及所述分裂值将所述待分类样本进行划分,得到多个孤立树,由多个孤立树组合得到用于异常点检测的孤立森林模型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910078953.2 | 2019-01-28 | ||
| CN201910078953.2A CN109902721B (zh) | 2019-01-28 | 2019-01-28 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020155752A1 true WO2020155752A1 (zh) | 2020-08-06 |
Family
ID=66944340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/117291 Ceased WO2020155752A1 (zh) | 2019-01-28 | 2019-11-12 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109902721B (zh) |
| WO (1) | WO2020155752A1 (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112134862A (zh) * | 2020-09-11 | 2020-12-25 | 国网电力科学研究院有限公司 | 基于机器学习的粗细粒度混合网络异常检测方法及装置 |
| CN112633395A (zh) * | 2020-12-29 | 2021-04-09 | 平安科技(深圳)有限公司 | 异常数据的检测方法、装置、计算机设备和存储介质 |
| CN112733897A (zh) * | 2020-12-30 | 2021-04-30 | 胜斗士(上海)科技技术发展有限公司 | 确定多维样本数据的异常原因的方法和设备 |
| CN113496440A (zh) * | 2021-06-28 | 2021-10-12 | 国网上海市电力公司 | 一种用户异常用电检测方法及系统 |
| CN113919445A (zh) * | 2021-11-10 | 2022-01-11 | 云从科技集团股份有限公司 | 对象分类方法、装置以及计算机可读存储介质 |
| CN113915153A (zh) * | 2021-09-30 | 2022-01-11 | 山东浪潮通软信息科技有限公司 | 一种矿用通风机异常检测的方法、系统、设备和存储介质 |
| CN114116837A (zh) * | 2021-11-22 | 2022-03-01 | 深圳市康必达控制技术有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN114358723A (zh) * | 2021-12-27 | 2022-04-15 | 徐工汉云技术股份有限公司 | 一种基于孤立森林算法的工时数据处理方法及系统 |
| CN114925731A (zh) * | 2022-06-06 | 2022-08-19 | 华电金沙江上游水电开发有限公司叶巴滩分公司 | 检测柔性测斜仪监测数据异常值的方法 |
| CN115437038A (zh) * | 2022-08-05 | 2022-12-06 | 西北工业大学 | 一种基于密度峰值与异常隔离的极地气象设备故障检测方法 |
| CN115580889A (zh) * | 2022-10-14 | 2023-01-06 | 杭州东方通信软件技术有限公司 | 一种无线小区关键绩效指标异常检测的方法及装置 |
| CN115618294A (zh) * | 2022-10-05 | 2023-01-17 | 吉林大学 | 一种车联网行驶大数据异常标记方法及电子设备 |
| CN115766282A (zh) * | 2022-12-12 | 2023-03-07 | 张家港金典软件有限公司 | 一种用于企业信息安全监督的数据处理方法及系统 |
| CN116521799A (zh) * | 2022-01-19 | 2023-08-01 | 北京沃东天骏信息技术有限公司 | 异常数据检测方法及装置、电子设备和存储介质 |
| CN116975748A (zh) * | 2023-07-26 | 2023-10-31 | 四川中烟工业有限责任公司 | 一种烟支重量标准偏差精准诊断方法 |
| CN119249315A (zh) * | 2024-09-05 | 2025-01-03 | 广东沃莱科技有限公司 | 运动监测平台的数据处理方法及系统 |
| CN119689958A (zh) * | 2024-12-18 | 2025-03-25 | 江苏思行达信息技术股份有限公司 | 一种集中器的数据采集方法及系统 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902721B (zh) * | 2019-01-28 | 2024-07-02 | 平安科技(深圳)有限公司 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
| CN110398375B (zh) * | 2019-07-16 | 2021-10-19 | 广州亚美信息科技有限公司 | 车辆冷却系统工作状态的监测方法、装置、设备和介质 |
| CN111798312B (zh) * | 2019-08-02 | 2024-03-01 | 深圳索信达数据技术有限公司 | 一种基于孤立森林算法的金融交易系统异常识别方法 |
| CN110705635B (zh) * | 2019-09-29 | 2020-11-03 | 京东城市(北京)数字科技有限公司 | 用于生成隔离森林的方法和装置 |
| CN113065610B (zh) * | 2019-12-12 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习的孤立森林模型构建和预测方法和装置 |
| CN112990246B (zh) * | 2019-12-17 | 2022-09-09 | 杭州海康威视数字技术股份有限公司 | 孤立树模型建立的方法和装置 |
| CN111897695B (zh) * | 2020-07-31 | 2022-06-17 | 平安科技(深圳)有限公司 | 获取kpi异常数据样本的方法、装置和计算机设备 |
| CN112100497B (zh) * | 2020-09-14 | 2021-10-19 | 北京嘀嘀无限科技发展有限公司 | 一种数据处理方法、装置、电子设备及可读存储介质 |
| CN112231181B (zh) * | 2020-12-08 | 2021-03-16 | 平安科技(深圳)有限公司 | 数据异常更新检测方法、装置、计算机设备及存储介质 |
| CN112597209B (zh) * | 2020-12-15 | 2024-07-26 | 深圳前海微众银行股份有限公司 | 数据的验证方法、装置、系统及计算机可读存储介质 |
| CN112765236B (zh) * | 2021-01-22 | 2022-07-05 | 武汉斗鱼鱼乐网络科技有限公司 | 自适应异常设备挖掘方法、存储介质、设备及系统 |
| CN114240101A (zh) * | 2021-12-02 | 2022-03-25 | 支付宝(杭州)信息技术有限公司 | 一种风险识别模型的验证方法、装置以及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357790A (zh) * | 2016-05-09 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种异常消息检测方法、装置及系统 |
| US10045218B1 (en) * | 2016-07-27 | 2018-08-07 | Argyle Data, Inc. | Anomaly detection in streaming telephone network data |
| CN108777873A (zh) * | 2018-06-04 | 2018-11-09 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| CN108921440A (zh) * | 2018-07-11 | 2018-11-30 | 平安科技(深圳)有限公司 | 污染物异常监测方法、系统、计算机设备和存储介质 |
| CN109902721A (zh) * | 2019-01-28 | 2019-06-18 | 平安科技(深圳)有限公司 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657288B (zh) * | 2017-10-26 | 2020-07-03 | 国网冀北电力有限公司 | 一种基于孤立森林算法的电力调度流数据异常检测方法 |
| CN108846259B (zh) * | 2018-04-26 | 2020-10-23 | 河南师范大学 | 一种基于聚类和随机森林算法的基因分类方法及系统 |
| CN108776683B (zh) * | 2018-06-01 | 2022-01-21 | 广东电网有限责任公司 | 一种基于孤立森林算法和神经网络的电力运维数据清洗方法 |
-
2019
- 2019-01-28 CN CN201910078953.2A patent/CN109902721B/zh active Active
- 2019-11-12 WO PCT/CN2019/117291 patent/WO2020155752A1/zh not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357790A (zh) * | 2016-05-09 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种异常消息检测方法、装置及系统 |
| US10045218B1 (en) * | 2016-07-27 | 2018-08-07 | Argyle Data, Inc. | Anomaly detection in streaming telephone network data |
| CN108777873A (zh) * | 2018-06-04 | 2018-11-09 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| CN108921440A (zh) * | 2018-07-11 | 2018-11-30 | 平安科技(深圳)有限公司 | 污染物异常监测方法、系统、计算机设备和存储介质 |
| CN109902721A (zh) * | 2019-01-28 | 2019-06-18 | 平安科技(深圳)有限公司 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| LIU F.T , KAI MING TING , ZHI-HUA ZHOU: "Isolation Forest", 2008 EIGHTH IEEE INTERNATIONAL CONFERENCE ON DATA MINING, 19 December 2008 (2008-12-19), pages 413 - 422, XP031423720 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112134862A (zh) * | 2020-09-11 | 2020-12-25 | 国网电力科学研究院有限公司 | 基于机器学习的粗细粒度混合网络异常检测方法及装置 |
| CN112134862B (zh) * | 2020-09-11 | 2023-09-08 | 国网电力科学研究院有限公司 | 基于机器学习的粗细粒度混合网络异常检测方法及装置 |
| CN112633395A (zh) * | 2020-12-29 | 2021-04-09 | 平安科技(深圳)有限公司 | 异常数据的检测方法、装置、计算机设备和存储介质 |
| CN112733897A (zh) * | 2020-12-30 | 2021-04-30 | 胜斗士(上海)科技技术发展有限公司 | 确定多维样本数据的异常原因的方法和设备 |
| CN113496440A (zh) * | 2021-06-28 | 2021-10-12 | 国网上海市电力公司 | 一种用户异常用电检测方法及系统 |
| CN113496440B (zh) * | 2021-06-28 | 2023-12-12 | 国网上海市电力公司 | 一种用户异常用电检测方法及系统 |
| CN113915153A (zh) * | 2021-09-30 | 2022-01-11 | 山东浪潮通软信息科技有限公司 | 一种矿用通风机异常检测的方法、系统、设备和存储介质 |
| CN113919445A (zh) * | 2021-11-10 | 2022-01-11 | 云从科技集团股份有限公司 | 对象分类方法、装置以及计算机可读存储介质 |
| CN114116837A (zh) * | 2021-11-22 | 2022-03-01 | 深圳市康必达控制技术有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN114358723A (zh) * | 2021-12-27 | 2022-04-15 | 徐工汉云技术股份有限公司 | 一种基于孤立森林算法的工时数据处理方法及系统 |
| CN116521799A (zh) * | 2022-01-19 | 2023-08-01 | 北京沃东天骏信息技术有限公司 | 异常数据检测方法及装置、电子设备和存储介质 |
| CN114925731A (zh) * | 2022-06-06 | 2022-08-19 | 华电金沙江上游水电开发有限公司叶巴滩分公司 | 检测柔性测斜仪监测数据异常值的方法 |
| CN114925731B (zh) * | 2022-06-06 | 2024-05-31 | 华电金沙江上游水电开发有限公司叶巴滩分公司 | 检测柔性测斜仪监测数据异常值的方法 |
| CN115437038A (zh) * | 2022-08-05 | 2022-12-06 | 西北工业大学 | 一种基于密度峰值与异常隔离的极地气象设备故障检测方法 |
| CN115618294A (zh) * | 2022-10-05 | 2023-01-17 | 吉林大学 | 一种车联网行驶大数据异常标记方法及电子设备 |
| CN115580889A (zh) * | 2022-10-14 | 2023-01-06 | 杭州东方通信软件技术有限公司 | 一种无线小区关键绩效指标异常检测的方法及装置 |
| CN115766282B (zh) * | 2022-12-12 | 2024-05-24 | 张家港金典软件有限公司 | 一种用于企业信息安全监督的数据处理方法及系统 |
| CN115766282A (zh) * | 2022-12-12 | 2023-03-07 | 张家港金典软件有限公司 | 一种用于企业信息安全监督的数据处理方法及系统 |
| CN116975748A (zh) * | 2023-07-26 | 2023-10-31 | 四川中烟工业有限责任公司 | 一种烟支重量标准偏差精准诊断方法 |
| CN119249315A (zh) * | 2024-09-05 | 2025-01-03 | 广东沃莱科技有限公司 | 运动监测平台的数据处理方法及系统 |
| CN119689958A (zh) * | 2024-12-18 | 2025-03-25 | 江苏思行达信息技术股份有限公司 | 一种集中器的数据采集方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109902721A (zh) | 2019-06-18 |
| CN109902721B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020155752A1 (zh) | 异常点检测模型验证方法、装置、计算机设备及存储介质 | |
| WO2020155755A1 (zh) | 基于谱聚类的异常点比例优化方法、装置及计算机设备 | |
| WO2020155756A1 (zh) | 基于聚类和sse的异常点比例优化方法及装置 | |
| WO2020155754A1 (zh) | 异常点比例优化方法、装置、计算机设备及存储介质 | |
| US20230156043A1 (en) | System and method of supporting decision-making for security management | |
| CN114116828A (zh) | 多维网络指标的关联规则分析方法、设备和存储介质 | |
| CN113032238A (zh) | 基于应用知识图谱的实时根因分析方法 | |
| CN111176953B (zh) | 一种异常检测及其模型训练方法、计算机设备和存储介质 | |
| CN114817425B (zh) | 一种冷热数据分类的方法、装置、设备及可读存储介质 | |
| WO2021189845A1 (zh) | 时间序列异常点的检测方法、装置、设备及可读存储介质 | |
| CN110083507A (zh) | 关键性能指标分类方法及装置 | |
| CN108364026A (zh) | 一种簇心更新方法、装置及K-means聚类分析方法、装置 | |
| WO2025016349A1 (zh) | 异常数据检测方法和装置、存储介质 | |
| CN117034149B (zh) | 故障处理策略确定方法、装置、电子设备和存储介质 | |
| CN111162945B (zh) | 一种告警关联关系的确定方法、装置、设备及存储介质 | |
| CN109560978A (zh) | 网络流量检测方法、装置及系统和计算机可读存储介质 | |
| CN114679335A (zh) | 电力监控系统网络安全风险评估训练、评估方法及设备 | |
| CN114598544A (zh) | 一种智能物联终端安全状态基线判别方法及装置 | |
| CN116664335B (zh) | 基于智能监控的半导体生产系统运行分析方法及系统 | |
| CN115328688B (zh) | 报表数据质量校核方法、装置及计算机设备 | |
| CN117573555A (zh) | 一种信息系统安全测试方法、装置、设备及存储介质 | |
| CN117332290A (zh) | 一种风险订单识别方法、装置、电子设备及存储介质 | |
| CN116506276A (zh) | 一种告警数据关联性的挖掘方法及系统 | |
| CN109933579B (zh) | 一种局部k近邻缺失值插补系统与方法 | |
| WO2020155753A1 (zh) | 基于sse的异常点比例优化方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19913337 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19913337 Country of ref document: EP Kind code of ref document: A1 |