WO2020244336A1 - 一种告警分类方法、装置、电子设备及存储介质 - Google Patents

一种告警分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2020244336A1
WO2020244336A1 PCT/CN2020/086878 CN2020086878W WO2020244336A1 WO 2020244336 A1 WO2020244336 A1 WO 2020244336A1 CN 2020086878 W CN2020086878 W CN 2020086878W WO 2020244336 A1 WO2020244336 A1 WO 2020244336A1
Authority
WO
WIPO (PCT)
Prior art keywords
alarm
category
data
historical
alarm data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/086878
Other languages
English (en)
French (fr)
Inventor
黄楷
杨俊杰
卢道和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Publication of WO2020244336A1 publication Critical patent/WO2020244336A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Creation or modification of classes or clusters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Definitions

  • the present invention relates to the technical field of financial technology (Fintech), in particular to an alarm classification method, device, electronic equipment and storage medium.
  • Each category has a corresponding keyword. Strictly use keywords to match alarm information.
  • large financial companies with multiple IDCs often need network equipment from multiple vendors. After the equipment is put on the shelf, due to the complexity brought by multiple vendors, the specific alarm classification needs to be composed of the following parts, and the equipment is put on the shelf first. Check whether the new device is a new brand model, check whether the alarm keywords of the brand model have changed, and finally configure the alarm keywords as needed.
  • alarm classification requires manpower invested in operation and maintenance, and the alarm configuration system requires long-term maintenance and update of manpower in operation and maintenance.
  • New manufacturers, new models, new software versions and even replacement of network management system suppliers may require reconfiguration, which greatly wastes resources.
  • the embodiments of the present invention provide an alarm classification method, device, electronic equipment, and storage medium to solve the problem of accurate and relatively complicated content classification in the prior art.
  • an embodiment of the present invention provides an alarm classification method, including:
  • each valid semantic word corresponds to the alarm feature vector in the alarm data A characteristic element
  • the classification model is based on the estimated probability of the historical alarm data in each alarm category and the corresponding historical alarm data
  • the alarm category is determined; the estimated probability of the historical alarm data in each alarm category is determined according to the conditional probability of each characteristic element of the historical alarm data in each alarm category.
  • the classification model is determined based on the estimated probability of historical alarm data in each alarm category and the alarm category corresponding to each historical alarm data, including:
  • the historical alarm data set includes multiple historical alarm data and alarm categories corresponding to each historical alarm data;
  • the classification model is trained according to the estimated probability of each historical alarm data in each alarm category and the alarm category corresponding to each historical alarm data.
  • the training of the classification model according to the estimated probability of each historical alarm data in each alarm category and the alarm category corresponding to each historical alarm data includes:
  • the parameters of the classification model are adjusted so that the confidence of the predicted classification is greater than a preset threshold.
  • the alarm feature of the historical alarm data is determined according to the conditional probability of each feature element in the alarm feature vector of the historical alarm data in each alarm category
  • the estimated probability of the vector in each alarm category is determined according to the following formula:
  • a m x alarm element is characterized by the feature vector
  • y i is the i th alarm categories
  • y i ) is the probability of occurrence of the alarm feature vector x in the alarm category y i
  • P(y i ) is the occurrence probability of the i-th alarm category in the historical alarm data set
  • y i ) is the a The conditional probability of j feature elements in the i-th alarm category; It is the product of the conditional probability that each feature element appears in the alarm category y i .
  • the method further includes:
  • conditional probability of the first feature element in the alarm feature vector of the historical alarm data in the first alarm category is zero, then the first feature element in the alarm feature vector of the historical alarm data is placed in all The conditional probability of the first alarm category is increased by a predetermined bias term; the first alarm category is any alarm category in the alarm category; the first feature element is the alarm feature vector of the historical alarm data Any characteristic element.
  • an embodiment of the present invention provides an alarm classification device, including:
  • the transceiver unit is used to obtain alarm data generated by network equipment
  • the processing unit is used to extract valid semantic words in the warning data, and determine the warning feature vector corresponding to the warning data according to the valid semantic words of the warning data; wherein, each valid semantic word corresponds to the warning data
  • a feature element in the alarm feature vector the alarm category of the alarm data is determined according to the alarm feature vector of the alarm data and a pre-trained classification model; the classification model is the prediction of each alarm category based on historical alarm data
  • the estimated probability and the alarm category corresponding to each historical alarm data are determined; the estimated probability of the historical alarm data in each alarm category is determined according to the conditional probability of each characteristic element of the historical alarm data in each alarm category .
  • the transceiver unit is further configured to:
  • the historical alarm data set includes multiple historical alarm data and alarm categories corresponding to each historical alarm data;
  • the processing unit is further configured to: for each historical alarm data, extract valid semantic words in the historical alarm data, and use the valid semantic words as feature elements of the alarm feature vector of the historical alarm data;
  • Alarm category determine the conditional probability of each feature element in the alarm category;
  • for each historical alarm data determine the conditional probability of each feature element in each alarm category in the alarm feature vector of the historical alarm data
  • the estimated probability of the alarm feature vector of the historical alarm data under each alarm category training the classification model according to the estimated probability of each historical alarm data under each alarm category and the alarm category corresponding to each historical alarm data .
  • the processing unit is specifically configured to:
  • the processing unit is specifically configured to determine the estimated probability of the alarm feature vector of the historical alarm data in each alarm category according to the following formula:
  • a m x alarm element is characterized by the feature vector
  • y i is the i th alarm categories
  • y i ) is the probability of occurrence of the alarm feature vector x for the alarm category y i
  • P(y i ) is the occurrence probability of the i-th alarm category in the historical alarm data set
  • y i ) is the ath Conditional probability of j feature elements in the i-th alarm category; It is the product of the conditional probability that each feature element appears in the alarm category y i .
  • the processing unit is further configured to:
  • conditional probability of the first feature element in the alarm feature vector of the historical alarm data in the first alarm category is zero, then the first feature element in the alarm feature vector of the historical alarm data is placed in all The conditional probability of the first alarm category is increased by a predetermined bias term; the first alarm category is any alarm category in the alarm category; the first feature element is the alarm feature vector of the historical alarm data Any characteristic element.
  • Another embodiment of the present invention provides an electronic device, including:
  • At least one memory for storing program instructions
  • At least one processor is configured to call program instructions stored in the memory, and execute any one of the above alarm classification methods according to the obtained program instructions.
  • an embodiment of the present invention provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, any one of the foregoing alarm classification methods is implemented.
  • an embodiment of the present invention provides a computer program product
  • the computer program product includes a computer program stored on a computer-readable storage medium
  • the computer program includes program instructions, when the program instructions are executed by a computer , Make the computer execute the steps of any of the above alarm classification methods.
  • the alarm feature vector of the alarm is calculated according to the alarm data of the network device.
  • the characteristics of the alarm can be expressed more accurately, which solves the problem of the difficulty of extracting the feature of the complex content alarm.
  • Determining the alarm category based on the alarm feature vector and classification model can greatly improve the accuracy of alarm classification.
  • the alarm feature vector determined according to the alarm data of the network device is related to the alarm category. Therefore, in training In the process, there is no need to know a lot of training samples in advance, which reduces the cost of manually pre-marking alarm categories and reduces complexity.
  • Figure 1 is a schematic diagram of an application scenario of an alarm classification method in an embodiment of the present invention
  • FIG. 2 is a flowchart of an alarm classification method in an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of an alarm classification method in an embodiment of the present invention.
  • Figure 4 is a schematic diagram of the structure of an alarm classification device in an embodiment of the present invention.
  • Fig. 5 is a schematic diagram of the structure of an electronic device in an embodiment of the present invention.
  • Log alarm data the alarm data extracted from the log generated by the network equipment in chronological order.
  • Bayesian classifier Naive Bayesian classifier is a commonly used classifier in NLP. From a mathematical point of view, the classification problem can be defined as follows:
  • C' is called a category set, where each element is a category
  • I is called an item set, where each element is an item to be classified
  • f is called a classifier.
  • the task of the classification algorithm is to construct the classifier f.
  • Bayes' theorem The basis of Bayesian classifier is Bayes' theorem. This theorem solves the problem of knowing a certain conditional probability, how to get the probability after two events are exchanged, that is, how to find P(B
  • the basic solution formula is:
  • FIG. 1 is a schematic diagram of an application scenario of the alarm classification method in an embodiment of the present invention.
  • the network equipment generates corresponding logs during the network operation process, for example, in the process of providing services to user equipment.
  • the network management system can extract the alarm data in the logs through the network equipment logs, and then Determine the classification of the alarm data to facilitate the classification of the alarm.
  • the network device can be any device that can provide Internet services;
  • the user device can be any smart device such as a smart phone, a tablet computer, a portable personal computer, a smart TV, etc.
  • the network management system can be a network management device associated with a network device.
  • the network equipment and the network management system are connected through the Internet to realize mutual communication.
  • the above-mentioned Internet uses standard communication technologies and/or protocols.
  • the Internet is usually the Internet, but it can also be any network, including but not limited to Local Area Network (LAN), Metropolitan Area Network (MAN), Wide Area Network (WAN), mobile, wired or wireless Any combination of network, private network, or virtual private network.
  • LAN Local Area Network
  • MAN Metropolitan Area Network
  • WAN Wide Area Network
  • mobile wired or wireless Any combination of network, private network, or virtual private network.
  • the alarm classification method provided in the embodiments of the present invention can be implemented by a network management system, can also be implemented by an alarm classification device set in a network device, or can be implemented by a separate alarm classification device, which is not limited here.
  • the existing technical solutions are to realize the classification of alarm information by configuring alarm keywords by the operation and maintenance personnel.
  • Each category has a corresponding keyword. Strictly use keywords to match alarm information.
  • a large financial company sets up multiple IDCs, in order to avoid risks, network equipment from multiple vendors is required. After the equipment is put on the shelf, due to the complexity brought by multiple vendors, the specific alarm classification needs to be put on the shelf first to check whether the new equipment is It is a new brand model. Check whether the alarm keywords of the brand model have changed, and finally configure the alarm keywords as needed.
  • alarm classification requires investment in operation and maintenance manpower
  • alarm configuration system requires manpower in operation and maintenance development for long-term maintenance and update, new manufacturers, new models, new software versions, or even replacement of network management system suppliers. It needs to be reconfigured, which greatly increases the cost of operation and maintenance.
  • FIG. 2 is a flowchart of an alarm classification method in an embodiment of the present invention.
  • the method includes:
  • Step 201 Obtain alarm data generated by a network device
  • Step 202 Extract valid semantic words in the alarm data, and determine the alarm feature vector corresponding to the alarm data according to the valid semantic words of the alarm data;
  • each valid semantic word corresponds to a feature element in the alarm feature vector of the alarm data
  • the valid sentences of the alarm data can be determined first as the further extraction of the alarm information, and then the valid sentences are segmented to extract the valid semantic words in the alarm data.
  • the effective semantic words may be vocabulary related to the alarm classification, or the effective semantic words may be determined by determining the vocabulary not related to the alarm classification.
  • a possible implementation manner may be to remove words that are not related to alarm classification, such as time and prepositions in the sentence, from the valid sentence, and the remaining words are used as valid semantic words.
  • a valid sentence in the alarm data is: VPN xxx is disconnected. It can be determined that the vocabulary not related to the alarm classification is "is”. Furthermore, it can be determined that the valid semantic words are "VPN”, "xxx”, “disconnected”.
  • the loop through which the data needs to pass needs to be as short as possible to improve the effectiveness.
  • the time it takes to extract the effective semantic words in the alarm data is not conducive to improving the effectiveness, especially when the effective sentence in the alarm data is relatively long. Therefore, another implementation manner is provided in the embodiment of the present invention, which can extract The pre-processing actions of valid semantic words in the alarm data are deleted, and the entire valid sentence is directly classified. In order to reduce the impact of vocabulary irrelevant to the warning classification caused by the omission of the preprocessing step on the prediction result.
  • a possible implementation method can add a marked effective semantic word to the effective sentence in the alarm data, and the effective semantic word can be determined according to the effective semantic word determined in the effective sentence.
  • the training data of the port DOWN alarm category is: interface xxx is down.
  • xxx can represent the port number, which can reduce the frequency of words such as "is" that have nothing to do with alarm classification. Make the probability of important feature elements in the training data higher, and reduce the probability of words that are not related to alarm classification, which can effectively reduce the impact of words that are not related to alarm classification on prediction results.
  • the category set is the category of alarms.
  • alarms can be divided into categories such as port down, board abnormality, OSPF abnormality, and BGP abnormality.
  • Step 203 Determine the alarm category of the alarm data according to the alarm feature vector of the alarm data and the pre-trained classification model;
  • the classification model is determined based on the estimated probability of historical alarm data in each alarm category and the alarm category corresponding to each historical alarm data; the estimated probability of the historical alarm data in each alarm category is based on the The conditional probability of each characteristic element of historical alarm data in each alarm category is determined.
  • the training samples of the classification model can be manually tagged or directly obtained historical alarm data of the past production as training samples.
  • the training data can be: "interface xxx is down", and its label is the port DOWN alarm category.
  • the embodiment of the present invention takes the classification of Naive Bayes as an example to illustrate the classification model in the embodiment of the present invention.
  • classification model can be a Support Vector Machine (SVM) classification model, or it can be a logistic regression (Logistic Regression), decision tree, neural network, neighbor algorithm, or K-Nearest Neighbor (KNN) classification model Etc., there is no limitation in the embodiment of the present invention.
  • SVM Support Vector Machine
  • KNN K-Nearest Neighbor
  • an embodiment of the present invention provides a process of a naive Bayes classification method, including:
  • Step 301 Determine an item x to be classified.
  • the item x to be classified may be historical alarm data generated by a network device, or may be newly acquired alarm data.
  • the label of the historical alarm data can be preset or set during the training process.
  • it may also include extracting valid semantic words in the warning data, and determining the warning feature vector corresponding to the warning data according to the valid semantic words of the warning data;
  • Step 302 Determine training data.
  • the training data can be preset historical alarm data and historical alarm data labels; it can also be regenerated new alarm learning data based on the verification results after training or running the classifier.
  • the category set is the alarm category.
  • the alarms can be divided into categories such as port down, board abnormality, OSPF abnormality, and BGP abnormality.
  • a possible implementation manner, in the specific implementation process, may include:
  • Step 1 Obtain a historical alarm data set of the network device; the historical alarm data set includes multiple historical alarm data and alarm categories corresponding to each historical alarm data;
  • Step 2 For each historical alarm data, extract valid semantic words in the historical alarm data, and use the valid semantic words as the feature element of the alarm feature vector of the historical alarm data;
  • Step 3 For the same alarm category, determine the conditional probability of each characteristic element in the alarm category
  • Step 4 For each historical alarm data, according to the conditional probability of each feature element in the alarm feature vector of the historical alarm data in each alarm category, determine that the alarm feature vector of the historical alarm data is in each alarm category The estimated probability under;
  • conditional probability may include:
  • the estimated probability of the alarm feature vector of the historical alarm data in each alarm category can be determined according to the following formula:
  • a m x alarm element is characterized by the feature vector
  • y i is the i th alarm categories
  • y i ) is the probability that the alarm feature vector x appears when the alarm category is y i
  • P(y i ) is the occurrence probability of the i-th alarm category in the historical alarm data set
  • It is the product of the conditional probability that each feature element appears in the alarm category y i .
  • each fault alarm is the same, and then the conditional probability for each category is calculated for each characteristic element. Specifically, it can be implemented according to word frequency statistics. Each valid semantic word of the warning in each training data is counted on word frequency.
  • VPN xxx is disconnected
  • the statistical value of the probability that the VPN is in the category "VPN abnormal” can be determined.
  • the statistical value of the probability of all valid words in the category of "VPN Abnormal” can be determined as the conditional probability of each feature element for each category.
  • a possible implementation can include:
  • conditional probability of the first feature element in the alarm feature vector of the historical alarm data in the first alarm category is zero, then the first feature element in the alarm feature vector of the historical alarm data is placed in all The conditional probability of the first alarm category is increased by a predetermined bias term; the first alarm category is any alarm category in the alarm category; the first feature element is the alarm feature vector of the historical alarm data Any characteristic element.
  • the predetermined bias term may be 1.
  • Step 5 Train the classification model according to the estimated probability of each historical alarm data under each alarm category and the alarm category corresponding to each historical alarm data; specifically, train all training data until the accuracy of the classifier reaches the expected Set the threshold.
  • Step 304 Determine the predicted classification.
  • the category of the item x to be classified is y k .
  • Step 305 Check the predicted value of the classification according to the label of the training data. If it is determined that the verification is passed, perform step 306; otherwise, generate new learning data for the training data, and perform step 302;
  • it may include: determining the predicted classification of each historical alarm data according to the estimated probability of each historical alarm data in each alarm category;
  • the parameters of the classification model are adjusted so that the confidence of the predicted classification is greater than a preset threshold.
  • Step 306 Determine the classification result of the item to be classified.
  • the above verification process can also be executed during the classification process, that is, if the training data is very limited, the classifier may not be able to correctly classify the new alarm when it first appears. Then manual correction is required.
  • the classifier may not be able to correctly classify the new alarm when it first appears. Then manual correction is required.
  • the learning data of the alarm data for example, it is usually a similar alarm of this alarm, and the classifier is regenerated , And then enhance the accuracy of the classifier.
  • an alarm classification device including:
  • the transceiver unit 401 is configured to obtain alarm data generated by a network device
  • the processing unit 402 is configured to extract valid semantic words in the warning data, and determine the warning feature vector corresponding to the warning data according to the valid semantic words of the warning data; wherein, each valid semantic word corresponds to the warning data
  • a feature element in the alarm feature vector of the alarm data the alarm category of the alarm data is determined according to the alarm feature vector of the alarm data and a pre-trained classification model; the classification model is based on historical alarm data in each alarm category
  • the estimated probability and the alarm category corresponding to each historical alarm data are determined; the estimated probability of the historical alarm data in each alarm category is determined according to the conditional probability of each characteristic element of the historical alarm data in each alarm category of.
  • the transceiver unit 401 is also used for:
  • the historical alarm data set includes multiple historical alarm data and alarm categories corresponding to each historical alarm data;
  • the processing unit 402 is further configured to: for each historical alarm data, extract valid semantic words in the historical alarm data, and use the valid semantic words as feature elements of the alarm feature vector of the historical alarm data; for the same alarm Category, determine the conditional probability of each feature element in the alarm category; for each historical alarm data, determine the conditional probability of each feature element in each alarm category in the alarm feature vector of the historical alarm data.
  • the estimated probability of each alarm category of the alarm feature vector of the historical alarm data training the classification model according to the estimated probability of each historical alarm data in each alarm category and the alarm category corresponding to each historical alarm data.
  • processing unit 402 is specifically configured to:
  • the processing unit 402 is specifically configured to determine the estimated probability of the alarm feature vector of the historical alarm data in each alarm category according to the following formula:
  • a m x alarm element is characterized by the feature vector
  • y i is the i th alarm categories
  • y i ) is the probability of occurrence of the alarm feature vector x for the alarm category y i
  • P(y i ) is the occurrence probability of the i-th alarm category in the historical alarm data set
  • y i ) is the ath Conditional probability of j feature elements in the i-th alarm category; It is the product of the conditional probability that each feature element appears in the alarm category y i .
  • processing unit 402 is also used for:
  • conditional probability of the first feature element in the alarm feature vector of the historical alarm data in the first alarm category is zero, then the first feature element in the alarm feature vector of the historical alarm data is placed in all The conditional probability of the first alarm category is increased by a predetermined bias term; the first alarm category is any alarm category in the alarm category; the first feature element is the alarm feature vector of the historical alarm data Any characteristic element.
  • FIG. 5 a schematic structural diagram of an electronic device.
  • An embodiment of the present invention provides an electronic device, where the electronic device may be a server or other computer device, etc.
  • the electronic device may include a processor 710 (Center Processing Unit, CPU), a memory 720, an input device 730, and an output device
  • the input device 730 may include a keyboard, a mouse, a touch screen, etc.
  • the output device 740 may include a display device, such as a liquid crystal display (LCD), a cathode ray tube (Cathode Ray Tube, CRT), and the like.
  • LCD liquid crystal display
  • CRT cathode Ray Tube
  • the memory 720 may include a read only memory (ROM) and a random access memory (RAM), and provides the processor 710 with program instructions and data stored in the memory 720.
  • the memory 720 may be used to store the program of the alarm classification method in the foregoing embodiment.
  • the processor 710 calls the program instructions stored in the memory 720, and the processor 710 is configured to execute according to the obtained program instructions:
  • Extract valid semantic words in the alarm data and determine the alarm feature vector corresponding to the alarm data according to the valid semantic words of the alarm data; wherein, each valid semantic word corresponds to the alarm feature vector in the alarm data A feature element; the alarm category of the alarm data is determined according to the alarm feature vector of the alarm data and the pre-trained classification model; the classification model is the estimated probability and history of each alarm category based on historical alarm data The alarm category corresponding to the alarm data is determined; the estimated probability of the historical alarm data in each alarm category is determined according to the conditional probability of each characteristic element of the historical alarm data in each alarm category.
  • the processor 710 is further configured to: for each historical alarm data, extract valid semantic words in the historical alarm data, and use the valid semantic words as the alarm feature vector of the historical alarm data For the same alarm category, determine the conditional probability of each feature element in the alarm category; for each historical alarm data, each feature element in the alarm feature vector of the historical alarm data is in each alarm The conditional probability under the category determines the estimated probability of the alarm feature vector of the historical alarm data in each alarm category; based on the estimated probability of each historical alarm data in each alarm category and the alarm category corresponding to each historical alarm data Training of the classification model.
  • processor 710 is specifically configured to:
  • the processor 710 is specifically configured to determine the estimated probability of the alarm feature vector of the historical alarm data in each alarm category according to the following formula:
  • a m x alarm element is characterized by the feature vector
  • y i is the i th alarm categories
  • y i ) is the probability of occurrence of the alarm feature vector x for the alarm category y i
  • P(y i ) is the occurrence probability of the i-th alarm category in the historical alarm data set
  • y i ) is the ath The conditional probability of j feature elements in the i-th alarm category; It is the product of the conditional probability that each feature element appears in the alarm category y i .
  • processor 710 is also used for:
  • conditional probability of the first feature element in the alarm feature vector of the historical alarm data in the first alarm category is zero, then the first feature element in the alarm feature vector of the historical alarm data is placed in all The conditional probability of the first alarm category is increased by a predetermined bias term; the first alarm category is any alarm category in the alarm category; the first feature element is the alarm feature vector of the historical alarm data Any characteristic element.
  • the embodiment of the present invention provides a computer-readable storage medium on which a computer program is stored, and the computer program is executed by a processor to implement the steps of the above alarm classification method.
  • embodiments of the present invention provide a computer program product, the computer program product includes a computer program stored on a computer-readable storage medium, the computer program includes program instructions, when the program instructions are When executed by a computer, the computer is caused to execute the steps of the above alarm classification method.
  • the embodiments of the present invention may be provided as methods, systems, or computer program products. Therefore, the present invention may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, the present invention may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program codes.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions can also be stored in a computer-readable memory that can guide a computer or other programmable data processing equipment to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction device.
  • the device implements the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.
  • These computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operation steps are executed on the computer or other programmable equipment to produce computer-implemented processing, so as to execute on the computer or other programmable equipment.
  • the instructions provide steps for implementing functions specified in a flow or multiple flows in the flowchart and/or a block or multiple blocks in the block diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Technology Law (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Alarm Systems (AREA)

Abstract

一种告警分类方法、装置、电子设备及存储介质，该方法包括：获取网络设备产生的告警数据（201）；提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量（202）；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别（203）；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的，所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。

Description

一种告警分类方法、装置、电子设备及存储介质
相关申请的交叉引用
本申请要求在2019年06月04日提交中国专利局、申请号为201910482036.0、申请名称为“一种告警分类方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及一种告警分类方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，告警分类技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。
对金融行业的网络运维而言，现有的技术方案都是通过运维人员配置告警关键字来实现对告警信息的分类。
每一个分类都有对应的关键字。严格地利用关键字去匹配告警信息。多IDC的大型金融公司，为了规避风险，经常需要多厂商的网络设备，设备上架之后，由于多厂商带来的复杂性，具体的告警分类需要由以下几部组成，先进行设备的上架操作，检查新设备是否是新的品牌型号，检查品牌型号的告警关键字是否发生了变化，最后按需配置告警关键字。
因此，告警分类需要投入运维开发的人力，告警的配置系统需要运维开发的人力长期维护与更新。新的厂商新的型号新的软件版本甚至更换了网络管理系统的供应商都可能都需要重新配置，极大的浪费了资源。
发明内容
本发明实施例提供一种告警分类方法、装置、电子设备及存储介质，以解决现有技术中内容分类准确、比较复杂的问题。
本发明实施例提供的具体技术方案如下：
一方面，本发明实施例提供了一种告警分类方法，包括：
获取网络设备产生的告警数据；
提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；
根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
一种可能的实现方式，所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的，包括：
获取所述网络设备的历史告警数据集；所述历史告警数据集包括多个历史告警数据及各历史告警数据对应的告警类别；
针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；
针对同一告警类别，确定每个特征元素在所述告警类别的条件概率；
针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；
根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练。
一种可能的实现方式，所述根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练，包括：
根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；
根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
一种可能的实现方式，所述针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率，为根据以下公式确定：
Figure PCTCN2020086878-appb-000001
其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
Figure PCTCN2020086878-appb-000002
为告警类别为y i出现每个特征元素的条件概率的乘积。
一种可能的实现方式，所述方法还包括：
若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
一方面，本发明实施例提供了一种告警分类装置，包括：
收发单元，用于获取网络设备产生的告警数据；
处理单元，用于提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
一种可能的实现方式，所述收发单元，还用于：
获取所述网络设备的历史告警数据集；所述历史告警数据集包括多个历史告警数据及各历史告警数据对应的告警类别；
所述处理单元，还用于：针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；针对同一告警类别，确定每个特征元素在所述告警类别的条件概率；针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练。
一种可能的实现方式，所述处理单元，具体用于：
根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
一种可能的实现方式，所述处理单元，具体用于根据以下公式确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率：
Figure PCTCN2020086878-appb-000003
其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
Figure PCTCN2020086878-appb-000004
为告警类别为y i出现每个特征元素的条件概率的乘积。
一种可能的实现方式，所述处理单元，还用于：
若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
本发明另一个实施例提供了一种电子设备，包括：
至少一个存储器，用于存储程序指令；
至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述任一种告警分类方法。
一方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种告警分类方法。
一方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一种告警分类方法的步骤。
本发明实施例中，根据网络设备的告警数据，计算获得告警的告警特征向量，对于复杂内容类型的告警，可以更加准确地表示告警的特征，解决了复杂内容的告警的特征提取困难的问题，基于该告警特征向量和分类模型来确定告警的类别，可以很大程度上提高告警分类的准确性，并且，根据网络设备的告警数据确定出的告警特征向量，与告警类别相关，因此，在训练过程中也不需要预先知道非常多的训练样本，减少了人工预先对告警类 别进行标注的成本，降低了复杂性。
附图说明
图1为本发明实施例中告警分类方法的应用场景示意图；
图2为本发明实施例中告警分类方法的流程图；
图3为本发明实施例中一种告警分类方法的流程示意图；
图4为本发明实施例中告警分类装置结构示意图；
图5为本发明实施例中电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面先对几个概念进行简单介绍：
日志告警数据：网络设备按照时间顺序生成的日志中提取的告警数据。
贝叶斯分类器：朴素贝叶斯分类器是NLP常用的一种分类器。从数学角度来说，分类问题可做如下定义：
已知集合：C′＝{y 1,y 2,…,y n}和I＝{x 1,x 2,…,x m,…}，确定映射规则y＝f(x)，使得任意x i∈I有且仅有一个y j∈C′使得y j＝f(x i)成立。
其中C′叫做类别集合，其中每一个元素是一个类别，而I叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。
贝叶斯分类器的基础是贝叶斯定理。这个定理解决的是已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。具体包括：P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：
Figure PCTCN2020086878-appb-000005
由于可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但通常更关心P(B|A)，贝叶斯定理给出了从P(A|B)得到P(B|A)的方法。即
Figure PCTCN2020086878-appb-000006
参考图1所示，其为本发明实施例中告警分类方法的应用场景示意图。包括网络设备和网管系统，其中，网络设备通过在网络运营过程中，例如，为用户设备提供服务的过程中生成对应的日志，网管系统可以通过网络设备的日志，提取日志中的告警数据，进而确定告警数据的分类，以便于对告警进行分类处理。其中，网络设备可以是任何能够提供互联网服务的设备；用户设备可以是智能手机、平板电脑、便携式个人计算机、智能电视等 任何智能设备，网管系统可以为关联网络设备的网管设备。
网络设备与网管系统之间通过互联网相连，实现相互之间的通信，可选地，上述互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
需要说明的是，本发明实施例中提供的告警分类方法可以由网管系统实施，也可以由网络设备中设置的告警分类装置实施，也可以由单独的告警分类装置实施，在此不做限定。
本发明各个实施例中，以告警分类方法用于图1所示的应用场景图为例进行示意性说明。值得说明的是，本发明实施例中的应用场景架构图是为了更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，对于其它的应用场景架构和业务应用，本发明实施例提供的技术方案对于类似的问题，同样适用。
对金融行业的网络运维而言，例如银行等金融机构的网络运维，现有的技术方案都是通过运维人员配置告警关键字来实现对告警信息的分类。每一个分类都有对应的关键字。严格地利用关键字去匹配告警信息。大型金融公司若设置了多个IDC，为了规避风险，需要多厂商的网络设备，设备上架之后，由于多厂商带来的复杂性，具体的告警分类需要先进行设备的上架操作，检查新设备是否是新的品牌型号，检查品牌型号的告警关键字是否发生了变化，最后按需配置告警关键字。这样，仅依赖预先设置的告警关键字，对告警的内容特征提取是远远不够的，很容易造成分类不准确，而目前对于这些不同网络设备生成的日志产生的不同类型的告警数据，需要分别设置关键字，告警分类需要投入运维开发的人力，告警的配置系统需要运维开发的人力长期维护与更新，新的厂商新的型号新的软件版本甚至更换了网络管理系统的供应商都可能都需要重新配置，极大的增加了运维的成本。
基于上述问题，参阅图2所示，为本发明实施例中，告警分类方法的流程图，该方法包括：
步骤201：获取网络设备产生的告警数据；
具体的，I＝{x 1,x 2,…,x m,…}可以表示为告警数据集，x 1，…x m为从网络设备的日志中抓取的告警数据。
步骤202：提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；
其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；
具体的，在该场景中，可以先确定告警数据的有效语句作为告警信息的进一步提取，之后对有效语句进行分词，以提取所述告警数据中的有效语义词。其中，有效语义词可以为与告警分类相关的词汇，也可以通过确定与告警分类无关的词汇确定有效语义词。在具体实施过程中，提取所述告警数据中的有效语义词的方法可以有多种。
一种可能的实施方式，可以为将有效语句中除去时间、语句中的介词等与告警分类无关的词汇，剩余的词汇作为有效语义词。
举例来说，比如告警数据中一个有效语句为:VPN xxx is disconnected。可以确定与告警分类无关的词汇为“is”。进而，可以确定有效语义词为“VPN”，“xxx”,“disconnected”。
另一种实施例中，考虑到现实生产环境中对实时性要求比较高的情况，需要数据经过的回路需要尽可能短，以提高实效性。上述提取所述告警数据中的有效语义词花费的时间 不利于提高实效性，特别是告警数据中的有效语句比较长的情况，因此，本发明实施例中提供另一种实施方式，可以将提取所述告警数据中的有效语义词的预先处理动作删除，直接对整个有效语句进行直接分类。为了降低预处理步骤的省略导致的与告警分类无关的词汇对预测结果的影响。提高预测的准确率，一种可能的实现方式，可以在告警数据中的有效语句中加入标记的有效语义词，该有效语义词可以根据该有效语句中确定出的有效语义词确定。例如，端口DOWN告警类别的训练数据是:interface xxx is down。可以将有效语句改为：Interface xxx is down interface。其中，xxx可以表示端口号，这样可以降低“is”这类与告警分类无关的词汇的频率。让训练数据中重要特征元素的概率更高，并降低与告警分类无关的词汇的概率，能够有效减少与告警分类无关的词汇对预测结果的影响。
对于本发明的应用场景来说，类别集合就是告警的类别，以网络设备告警为例，告警可以分为端口down、板卡异常、OSPF异常、BGP异常等类别。
步骤203：根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；
其中，所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
所述分类模型的训练样本，可以人工打标签或者直接获取生产过往的历史告警数据作为训练样本。例如，训练数据可以为:“interface xxx is down”，其标签为端口DOWN告警类别。
本发明实施例以朴素贝叶斯的分类为例，说明本发明实施例中的分类模型，当然，也可以通过其他分类模型，实现本发明实施例的分类，在此不做限定。例如，分类模型可以为支持向量机(Support Vector Machine，SVM)分类模型，也可以为逻辑回归(Logistic Regression)、决策树、神经网络、邻近算法或K最近邻(k-NearestNeighbor，KNN)分类模型等，本发明实施例中并不进行限制。
如图3所示，本发明实施例提供一种朴素贝叶斯分类方法的流程，包括：
步骤301、确定待分类项x，结合上述实施例，待分类项x可以为网络设备产生的历史告警数据，也可以是新获取的告警数据。历史告警数据的标签可以为预先设置的，也可以为训练过程中设置的。
具体的，还可以包括提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；
具体的，告警特征向量可以表示为x＝{a 1,a 2,…,a m}，而每个告警特征向量包括特征元素a 1，…a m。
步骤302、确定训练数据。
在具体实施过程中，训练数据可以为预先设置的历史告警数据及历史告警数据的标签；也可以针对训练或运行分类器后的校验结果，重新生成的新的告警学习数据。
步骤303、确定告警类别集C′＝{y 1,y 2,…,y n}，确定各类别下各个特征元素的预估概率。
对于本发明的应用场景来说，类别集合就是告警类别，以网络设备告警为例，告警可以分为端口down、板卡异常、OSPF异常、BGP异常等类别。
具体的，可以表示为P(y 1|x)，P(y 2|x)，…，P(y n|x)。
一种可能的实现方式，在具体实施过程中，可以包括：
步骤一、获取所述网络设备的历史告警数据集；所述历史告警数据集包括多个历史告警数据及各历史告警数据对应的告警类别；
步骤二、针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；
步骤三、针对同一告警类别，确定每个特征元素在所述告警类别的条件概率；
步骤四、针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；
具体的，条件概率可以包括：
P(a 1|y 1)，P(a 2|y 1)，…，P(a m|y 1)；P(a 1|y 2)，P(a 2|y 2)，…，P(a m|y 2)；…；P(a 1|y n)，P(a 2|y n)，…，P(a m|y n)
其中，a m为x告警特征向量中的特征元素，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
因此，可以确定：
Figure PCTCN2020086878-appb-000007
因为P(x)分母对于所有类别y i(i为任意值)为常数，因为我们只要将分子最大化即可确定P(y i|x)的最大值。由于各特征元素是条件独立的，因此，所述历史告警数据的告警特征向量在每个告警类别下的预估概率，可以根据以下公式确定：
Figure PCTCN2020086878-appb-000008
其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；
Figure PCTCN2020086878-appb-000009
为告警类别为y i出现每个特征元素的条件概率的乘积。
此处，可以假设每个故障告警发生的概率是一样的，接着对每个特征元素计算针对每个类别的条件概率。具体的，可以依照词频统计实现。每条训练数据中的告警的每个有效语义词都做词频统计。
比如训练数据中类别为VPN异常的告警:“VPN xxx is disconnected”。
去掉与分类无关的词汇“is”。“VPN”，“xxx”,“disconnected”在VPN异常出现的频率都是1/3。
例如，针对所有训练数据，可以确定出VPN在类别为“VPN异常”的概率的统计值。类似的，可以确定出所有有效词汇在类别为“VPN异常”的概率的统计值作为每个特征元素针对每个类别的条件概率。
需要注意的是当P(a i|y j)＝0时，当某个类别下某个特征元素没有出现时，就是产生这种 现象，这会令分类器质量大大降低。为了解决这个问题，一种可能的实现方式，可以包括：
若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
具体的，预定偏置项可以为1。
步骤五、根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练；具体的，训练所有训练数据，直至分类器的准确率达到预设阈值。
步骤304、确定预测的分类。
以P(x|y k)P(y k)最大为例,则待分类项x的所属类别为y k。
具体的，若
P(y k|x)＝max{P(y 1|x),P(y 2|x),…,P(y n|x)}，则确定x∈y k。
步骤305、根据训练数据的标签，校验所述分类的预测值。若确定校验通过，则执行步骤306，否则，针对该训练数据生成新的学习数据，执行步骤302；
具体的，可以包括：根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；
根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
步骤306：确定待分类项的分类结果。
需要说明的是，上述校验过程，还可以在分类过程中执行，即如果训练数据十分有限，分类器可能并不能在新的告警第一次出现时就正确分类。那么就需要人工矫正。假设有一条从未出现的、类别是B的告警数据，被分类器判断成了A类，那么就需要人工加入该告警数据的学习数据，例如，通常就是此告警的类似告警，重新生成分类器，进而加强分类器的准确率。
基于相同的发明构思，如图4所示，本发明另一个实施例提供了一种告警分类装置，包括：
收发单元401，用于获取网络设备产生的告警数据；
处理单元402，用于提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
一种可能的实现方式，收发单元401，还用于：
获取所述网络设备的历史告警数据集；所述历史告警数据集包括多个历史告警数据及各历史告警数据对应的告警类别；
处理单元402，还用于：针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；针对同一告 警类别，确定每个特征元素在所述告警类别的条件概率；针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练。
一种可能的实现方式，处理单元402，具体用于：
根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
一种可能的实现方式，处理单元402，具体用于根据以下公式确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率：
Figure PCTCN2020086878-appb-000010
其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
Figure PCTCN2020086878-appb-000011
为告警类别为y i出现每个特征元素的条件概率的乘积。
一种可能的实现方式，处理单元402，还用于：
若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
基于相同的发明构思，如图5所示，本发明实施例中，一种电子设备的结构示意图。
本发明实施例提供了一种电子设备，其中，该电子设备可以为服务器或其它计算机装置等，该电子设备可以包括处理器710(Center Processing Unit，CPU)、存储器720、输入设备730和输出设备740等，输入设备730可以包括键盘、鼠标、触摸屏等，输出设备740可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器720可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器710提供存储器720中存储的程序指令和数据。在本发明实施例中，存储器720可以用于存储上述实施例中的告警分类方法的程序。
处理器710通过调用存储器720存储的程序指令，处理器710用于按照获得的程序指令执行：
提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
一种可能的实现方式，处理器710，还用于：针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；针对同一告警类别，确定每个特征元素在所述告警类别的条件概率；针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练。
一种可能的实现方式，处理器710，具体用于：
根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
一种可能的实现方式，处理器710，具体用于根据以下公式确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率：
Figure PCTCN2020086878-appb-000012
其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
Figure PCTCN2020086878-appb-000013
为告警类别为y i出现每个特征元素的条件概率的乘积。
一种可能的实现方式，处理器710，还用于：
若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
基于相同的发明构思，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述告警分类方法的步骤。
基于相同的发明构思，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述告警分类方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器 以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

  1. 一种告警分类方法，其特征在于，包括：
    获取网络设备产生的告警数据；
    提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；
    根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
  2. 如权利要求1所述的方法，其特征在于，所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的，包括：
    获取所述网络设备的历史告警数据集；所述历史告警数据集包括多个历史告警数据及各历史告警数据对应的告警类别；
    针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；
    针对同一告警类别，确定每个特征元素在所述告警类别的条件概率；
    针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；
    根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练。
  3. 如权利要求2所述的方法，其特征在于，所述根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练，包括：
    根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；
    根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
  4. 如权利要求1-3任一项所述的方法，其特征在于，所述针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率，为根据以下公式确定：
    Figure PCTCN2020086878-appb-100001
    其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
    Figure PCTCN2020086878-appb-100002
    为告警类别为y i出现每个特征元素的条 件概率的乘积。
  5. 如权利要求4所述的方法，其特征在于，所述方法还包括：
    若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
  6. 一种告警分类装置，其特征在于，包括：
    收发单元，用于获取网络设备产生的告警数据；
    处理单元，用于提取所述告警数据中的有效语义词，并根据所述告警数据的有效语义词确定所述告警数据对应的告警特征向量；其中，每个有效语义词对应所述告警数据的告警特征向量中的一个特征元素；根据所述告警数据的告警特征向量和预先训练的分类模型，确定所述告警数据的告警类别；所述分类模型为根据历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别确定的；所述历史告警数据在各告警类别下的预估概率是根据所述历史告警数据的每个特征元素在每个告警类别的条件概率确定的。
  7. 如权利要求6所述的装置，其特征在于，所述收发单元，还用于：
    获取所述网络设备的历史告警数据集；所述历史告警数据集包括多个历史告警数据及各历史告警数据对应的告警类别；
    所述处理单元，还用于：针对每个历史告警数据，提取所述历史告警数据中的有效语义词，将所述有效语义词作为所述历史告警数据的告警特征向量的特征元素；针对同一告警类别，确定每个特征元素在所述告警类别的条件概率；针对每个历史告警数据，根据所述历史告警数据的告警特征向量中的每个特征元素在每个告警类别下的条件概率确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率；根据各历史告警数据在各告警类别下的预估概率和各历史告警数据对应的告警类别进行所述分类模型的训练。
  8. 如权利要求7所述的装置，其特征在于，所述处理单元，具体用于：
    根据各历史告警数据在各告警类别下的预估概率，确定各历史告警数据的预测分类；根据所述预测分类及所述各历史告警数据对应的告警类别，调整所述分类模型的参数，以使所述预测分类的置信度大于预设阈值。
  9. 如权利要求6-8任一项所述的装置，其特征在于，所述处理单元，具体用于根据以下公式确定所述历史告警数据的告警特征向量在每个告警类别下的预估概率：
    Figure PCTCN2020086878-appb-100003
    其中，x＝{a 1,a 2,…,a m}为所述历史告警数据的告警特征向量，a m为x告警特征向量中的特征元素，y i为第i个告警类别；P(x|y i)为告警类别为y i出现告警特征向量x的概率；P(y i)为第i个告警类别在历史告警数据集中的发生概率；P(a j|y i)为第a j个特征元素在第i个告警类别的条件概率；
    Figure PCTCN2020086878-appb-100004
    为告警类别为y i出现每个特征元素的条件概率的乘积。
  10. 如权利要求9所述的装置，其特征在于，所述处理单元，还用于：
    若确定所述历史告警数据的告警特征向量中的第一特征元素在第一告警类别下的条件概率为零，则将所述历史告警数据的告警特征向量中的所述第一特征元素在所述第一告 警类别的条件概率增加预定偏置项；所述第一告警类别为所述告警类别中的任一告警类别；所述第一特征元素为所述历史告警数据的告警特征向量中的任一特征元素。
  11. 一种电子设备，其特征在于，包括：
    至少一个存储器，用于存储程序指令；
    至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述权利要求1-5任一项所述的方法。
  12. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1-5任一项所述的方法。
  13. 一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-5任一项所述的方法的步骤。
PCT/CN2020/086878 2019-06-04 2020-04-24 一种告警分类方法、装置、电子设备及存储介质 Ceased WO2020244336A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910482036.0 2019-06-04
CN201910482036.0A CN110287316B (zh) 2019-06-04 2019-06-04 一种告警分类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020244336A1 true WO2020244336A1 (zh) 2020-12-10

Family

ID=68003292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/086878 Ceased WO2020244336A1 (zh) 2019-06-04 2020-04-24 一种告警分类方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN110287316B (zh)
WO (1) WO2020244336A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988509A (zh) * 2021-03-09 2021-06-18 京东数字科技控股股份有限公司 一种告警消息过滤方法、装置、电子设备及存储介质
CN113778792A (zh) * 2021-08-19 2021-12-10 济南浪潮数据技术有限公司 一种it设备的告警归类方法及系统
CN114237962A (zh) * 2021-12-21 2022-03-25 中国电信股份有限公司 告警根因判断方法、模型训练方法、装置、设备和介质
CN114567482A (zh) * 2022-02-28 2022-05-31 天翼安全科技有限公司 一种告警分类方法、装置、电子设备及存储介质
CN114637842A (zh) * 2020-12-15 2022-06-17 航天信息股份有限公司 企业行业分类方法、装置、存储介质及电子设备
CN114765575A (zh) * 2021-01-04 2022-07-19 中国移动通信有限公司研究院 一种网络故障原因预测方法、装置及电子设备
CN114928531A (zh) * 2022-05-06 2022-08-19 广西电网有限责任公司 一种网络安全一体化智能防护方法、装置及机器人、介质
CN115001989A (zh) * 2022-05-31 2022-09-02 济南浪潮数据技术有限公司 一种设备预警方法、装置、设备及可读存储介质
CN115022218A (zh) * 2022-05-27 2022-09-06 中电信数智科技有限公司 一种分布式Netconf协议订阅告警阈值设置方法
CN115209441A (zh) * 2021-04-09 2022-10-18 中国移动通信集团设计院有限公司 基站退服告警预测方法、装置、设备及存储介质
CN115422990A (zh) * 2022-07-26 2022-12-02 中国大唐集团科学技术研究总院有限公司 一种基于动态标签和神经网络的告警数据处理方法及系统
CN115550053A (zh) * 2022-10-18 2022-12-30 中国工商银行股份有限公司 一种监控报警预测方法及装置
CN116976879A (zh) * 2023-09-22 2023-10-31 广州扬盛计算机软件有限公司 自助设备的支付系统异常监控方法及系统
CN117150316A (zh) * 2023-09-15 2023-12-01 浪潮云信息技术股份公司 一种故障场景检测方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287316B (zh) * 2019-06-04 2024-11-12 深圳前海微众银行股份有限公司 一种告警分类方法、装置、电子设备及存储介质
CN113328869B (zh) * 2020-02-28 2025-07-01 华为技术有限公司 一种告警聚合的方法和装置
CN115801151B (zh) * 2022-11-29 2025-03-21 中国电信股份有限公司 信道选择方法、装置、电子设备及可读存储介质
CN116894216A (zh) * 2023-07-19 2023-10-17 中国工商银行股份有限公司 服务器硬件告警类别的确定方法、装置及电子设备
CN118964622A (zh) * 2024-10-12 2024-11-15 杭州蜂鸟智能机器人有限公司 风险识别方法、评估方法及计算机可读存储介质和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291723A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 网页文本分类的方法和装置，网页文本识别的方法和装置
CN108228622A (zh) * 2016-12-15 2018-06-29 平安科技（深圳）有限公司 业务问题的分类方法及装置
CN108595634A (zh) * 2018-04-25 2018-09-28 腾讯科技（深圳）有限公司 短信管理方法、装置及电子设备
CN109165294A (zh) * 2018-08-21 2019-01-08 安徽讯飞智能科技有限公司 一种基于贝叶斯分类的短文本分类方法
CN110287316A (zh) * 2019-06-04 2019-09-27 深圳前海微众银行股份有限公司 一种告警分类方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373065B2 (en) * 2013-03-08 2019-08-06 Oracle International Corporation Generating database cluster health alerts using machine learning
CN108959293A (zh) * 2017-05-19 2018-12-07 华为技术有限公司 一种文本数据分类方法及服务器
CN109635116B (zh) * 2018-12-17 2023-03-24 腾讯科技（深圳）有限公司 文本词向量模型的训练方法、电子设备及计算机存储介质
CN109800219A (zh) * 2019-01-18 2019-05-24 广东小天才科技有限公司 一种语料清洗的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291723A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 网页文本分类的方法和装置，网页文本识别的方法和装置
CN108228622A (zh) * 2016-12-15 2018-06-29 平安科技（深圳）有限公司 业务问题的分类方法及装置
CN108595634A (zh) * 2018-04-25 2018-09-28 腾讯科技（深圳）有限公司 短信管理方法、装置及电子设备
CN109165294A (zh) * 2018-08-21 2019-01-08 安徽讯飞智能科技有限公司 一种基于贝叶斯分类的短文本分类方法
CN110287316A (zh) * 2019-06-04 2019-09-27 深圳前海微众银行股份有限公司 一种告警分类方法、装置、电子设备及存储介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637842A (zh) * 2020-12-15 2022-06-17 航天信息股份有限公司 企业行业分类方法、装置、存储介质及电子设备
CN114765575A (zh) * 2021-01-04 2022-07-19 中国移动通信有限公司研究院 一种网络故障原因预测方法、装置及电子设备
CN114765575B (zh) * 2021-01-04 2024-06-11 中国移动通信有限公司研究院 一种网络故障原因预测方法、装置及电子设备
CN112988509A (zh) * 2021-03-09 2021-06-18 京东数字科技控股股份有限公司 一种告警消息过滤方法、装置、电子设备及存储介质
CN115209441A (zh) * 2021-04-09 2022-10-18 中国移动通信集团设计院有限公司 基站退服告警预测方法、装置、设备及存储介质
CN113778792B (zh) * 2021-08-19 2023-12-26 济南浪潮数据技术有限公司 一种it设备的告警归类方法及系统
CN113778792A (zh) * 2021-08-19 2021-12-10 济南浪潮数据技术有限公司 一种it设备的告警归类方法及系统
CN114237962A (zh) * 2021-12-21 2022-03-25 中国电信股份有限公司 告警根因判断方法、模型训练方法、装置、设备和介质
CN114237962B (zh) * 2021-12-21 2024-05-14 中国电信股份有限公司 告警根因判断方法、模型训练方法、装置、设备和介质
CN114567482A (zh) * 2022-02-28 2022-05-31 天翼安全科技有限公司 一种告警分类方法、装置、电子设备及存储介质
CN114928531B (zh) * 2022-05-06 2023-09-05 广西电网有限责任公司 一种网络安全一体化智能防护方法、装置及机器人、介质
CN114928531A (zh) * 2022-05-06 2022-08-19 广西电网有限责任公司 一种网络安全一体化智能防护方法、装置及机器人、介质
CN115022218B (zh) * 2022-05-27 2024-01-19 中电信数智科技有限公司 一种分布式Netconf协议订阅告警阈值设置方法
CN115022218A (zh) * 2022-05-27 2022-09-06 中电信数智科技有限公司 一种分布式Netconf协议订阅告警阈值设置方法
CN115001989A (zh) * 2022-05-31 2022-09-02 济南浪潮数据技术有限公司 一种设备预警方法、装置、设备及可读存储介质
CN115422990A (zh) * 2022-07-26 2022-12-02 中国大唐集团科学技术研究总院有限公司 一种基于动态标签和神经网络的告警数据处理方法及系统
CN115550053A (zh) * 2022-10-18 2022-12-30 中国工商银行股份有限公司 一种监控报警预测方法及装置
CN117150316A (zh) * 2023-09-15 2023-12-01 浪潮云信息技术股份公司 一种故障场景检测方法及系统
CN117150316B (zh) * 2023-09-15 2025-07-04 浪潮云信息技术股份公司 一种故障场景检测方法及系统
CN116976879A (zh) * 2023-09-22 2023-10-31 广州扬盛计算机软件有限公司 自助设备的支付系统异常监控方法及系统
CN116976879B (zh) * 2023-09-22 2024-01-09 广州扬盛计算机软件有限公司 自助设备的支付系统异常监控方法及系统

Also Published As

Publication number Publication date
CN110287316A (zh) 2019-09-27
CN110287316B (zh) 2024-11-12

Similar Documents

Publication Publication Date Title
WO2020244336A1 (zh) 一种告警分类方法、装置、电子设备及存储介质
CN111813960B (zh) 基于知识图谱的数据安全审计模型装置、方法及终端设备
WO2021184554A1 (zh) 数据库异常监测方法、装置、计算机装置及存储介质
US12536468B2 (en) Model training method, short message auditing model training method, short message auditing method, electronic device, and storage medium
CN113011155B (zh) 用于文本匹配的方法、装置、设备和存储介质
US20210256436A1 (en) Machine learning model for predicting litigation risk in correspondence and identifying severity levels
WO2020207167A1 (zh) 文本分类方法、装置、设备及计算机可读存储介质
CN113792154B (zh) 故障关联关系的确定方法、装置、电子设备及存储介质
US20230198865A1 (en) Apparatuses, methods, and computer program products for predictive determinations of causal change identification for service incidents
US20220027606A1 (en) Human behavior recognition method, device, and storage medium
US11809990B2 (en) Method apparatus and system for generating a neural network and storage medium storing instructions
US11645540B2 (en) Deep graph de-noise by differentiable ranking
WO2023093015A1 (zh) 一种数据筛选方法、装置、设备以及存储介质
CN111291096B (zh) 数据集构建方法、装置和存储介质及异常指标检测方法
CN115619245A (zh) 一种基于数据降维方法的画像构建和分类方法及系统
CN113986657B (zh) 告警事件的处理方法及处理装置
CN112100617A (zh) 一种异常sql检测方法及装置
CN114358024A (zh) 日志分析方法、装置、设备、介质和程序产品
CN116028750B (zh) 网页文本审核方法及装置、电子设备和介质
CN110378543A (zh) 离职风险预测方法、装置、计算机设备和存储介质
US20250077609A1 (en) Method of identifying webpage, electronic device, and medium
CN114067415A (zh) 回归模型的训练方法、对象评估方法、装置、设备和介质
CN108733702B (zh) 用户查询上下位关系提取的方法、装置、电子设备和介质
CN116361625A (zh) 一种新兴技术的预测方法、装置及终端设备
CN115686895A (zh) 数据库异常诊断方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818419

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20818419

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 18/03/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20818419

Country of ref document: EP

Kind code of ref document: A1