WO2021047184A1 - 系统故障分析处理方法、装置、存储介质及电子设备 - Google Patents

系统故障分析处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
WO2021047184A1
WO2021047184A1 PCT/CN2020/087462 CN2020087462W WO2021047184A1 WO 2021047184 A1 WO2021047184 A1 WO 2021047184A1 CN 2020087462 W CN2020087462 W CN 2020087462W WO 2021047184 A1 WO2021047184 A1 WO 2021047184A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
fault
failure
sub
normal
Prior art date
Application number
PCT/CN2020/087462
Other languages
English (en)
French (fr)
Inventor
梁锦霞
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021047184A1 publication Critical patent/WO2021047184A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This application relates to the technical field of machine learning applications of artificial intelligence, and specifically to a method, device, storage medium, and electronic equipment for system failure analysis and processing.
  • the system log is to record the information of the hardware, software and system problems in the system, and it can also monitor the events that occur in the system. The user can use it to check the cause of the error, or to find the traces left by the attacker when it was attacked.
  • System logs include system logs, application logs, and security logs.
  • Software testing and test cases Software testing is the process of using manual or automatic means to run or measure a software system. Its purpose is to check whether it meets the specified requirements or to clarify the difference between the expected results and the actual results.
  • Writing a test case (Test Case) refers to a set of test inputs, execution conditions, and expected results prepared for a particular goal, so as to test a program path or verify whether a particular requirement is met.
  • the purpose of this application is to provide a system failure analysis and processing solution, and to achieve automatic, accurate, and rapid derivation and consultation of the processing function of the failure node of the target system at least to a certain extent, thereby effectively improving the adjustment efficiency of the system.
  • a system failure analysis and processing method including:
  • the data failure feature is input into a pre-trained machine learning model, and the data processing function and repair plan corresponding to the failure node are obtained.
  • a system failure analysis and processing device which includes:
  • the determining module is used to determine the node corresponding to the last input data recorded in the data processing log as the failure node of the target system when the failure analysis instruction of the target system is received;
  • the first obtaining module is used to obtain normal data within a single data stream time when the target system has no failure, and the fault data within a single data stream time when the target system fails, from the data processing log ;
  • a second obtaining module configured to obtain sub-normal data corresponding to the faulty node from the normal data, and obtain sub-fault data corresponding to the faulty node from the fault data;
  • An amplification module configured to perform fault feature amplification processing on the sub-normal data and the sub-fault data to obtain the data fault feature of the faulty node;
  • the derivation module is used to input the data failure feature into a pre-trained machine learning model to obtain the data processing function and repair plan corresponding to the failure node.
  • a computer-readable storage medium on which a system failure analysis processing program is stored, wherein when the system failure analysis processing program is executed by a processor, a system failure analysis processing method is implemented:
  • system failure analysis and processing method includes:
  • the data failure feature is input into a pre-trained machine learning model, and the data processing function and repair plan corresponding to the failure node are obtained.
  • an electronic device which includes:
  • the memory is used to store a system failure analysis processing program of the processor; wherein the processor is configured to execute a system failure analysis processing method by executing the system failure analysis processing program:
  • system failure analysis and processing method includes:
  • the data failure characteristics are input into a pre-trained machine learning model to obtain the data processing function and repair plan corresponding to the failure node.
  • the present application provides a system failure analysis and processing method and device.
  • a failure analysis instruction of the target system is received, the node corresponding to the last input data recorded in the data processing log is determined as the failure node of the target system;
  • the faulty node can be calibrated in time.
  • the sub-normal data corresponding to the faulty node from the normal data, and obtain the sub-fault data corresponding to the faulty node from the fault data; in this way, comparison can be made based on the sub-normal data and the sub-fault data of the faulty node, Analyze faulty nodes accurately and efficiently from the perspective of data processing. Then, the sub-normal data and the sub-fault data are subjected to fault feature amplification processing to obtain the data fault feature of the faulty node; in this way, the data of the faulty node can be preprocessed, and the data can be accurately reflected by simple data features.
  • the data failure characteristics of the corresponding data processing function when the data processing process fails can effectively ensure the efficiency and accuracy of the data processing function analysis in the subsequent steps.
  • Fig. 1 schematically shows a flow chart of a method for analyzing and processing system failures.
  • Fig. 2 schematically shows an example diagram of an application scenario of a method for analyzing and processing system faults.
  • Fig. 3 schematically shows a flow chart of a method for amplifying fault features.
  • Fig. 4 schematically shows a block diagram of a system failure analysis and processing device.
  • Fig. 5 schematically shows an example block diagram of an electronic device for implementing the above-mentioned system failure analysis and processing method.
  • Fig. 6 schematically shows a computer-readable storage medium for implementing the above-mentioned system failure analysis and processing method.
  • This example embodiment first provides a system failure analysis and processing method.
  • the system failure analysis and processing method can be run on a server, a server cluster or a cloud server, etc. Of course, those skilled in the art can also run on other platforms as required
  • the method of this application is not specifically limited in this exemplary embodiment. As shown in Figure 1, the system fault analysis and processing method may include the following steps:
  • Step S110 When receiving the failure analysis instruction of the target system, determine the node corresponding to the last input data recorded in the data processing log as the failure node of the target system;
  • Step S120 acquiring, from the data processing log, normal data within a single data stream time when the target system has no failure, and fault data within a single data stream time when the target system has a failure;
  • Step S130 Obtain sub-normal data corresponding to the faulty node from the normal data, and obtain sub-fault data corresponding to the faulty node from the fault data;
  • Step S140 performing fault feature amplification processing on the sub-normal data and the sub-fault data to obtain the data fault feature of the faulty node;
  • Step S150 Input the data failure feature into a pre-trained machine learning model to obtain a data processing function and a repair plan corresponding to the failed node.
  • the node corresponding to the last input data recorded in the data processing log is determined as the failure node of the target system;
  • the faulty node is calibrated. Then, obtain the normal data within the single data stream time when the target system has no failure from the data processing log, and the failure data within the single data stream time when the target system fails; this can be used in subsequent steps Obtain target data accurately from normal data and fault data.
  • the sub-normal data corresponding to the faulty node from the normal data, and obtain the sub-fault data corresponding to the faulty node from the fault data; in this way, comparison can be made based on the sub-normal data and the sub-fault data of the faulty node, Analyze faulty nodes accurately and efficiently from the perspective of data processing. Then, the sub-normal data and the sub-fault data are subjected to fault feature amplification processing to obtain the data fault feature of the faulty node; in this way, the data of the faulty node can be preprocessed, and the data can be accurately reflected by simple data features.
  • the data failure characteristics of the corresponding data processing function when the data processing process fails can effectively ensure the efficiency and accuracy of the data processing function analysis in the subsequent steps.
  • step S110 when the failure analysis instruction of the target system is received, the node corresponding to the last input data recorded in the data processing log is determined as the failure node of the target system.
  • the server 201 when the server 201 receives the fault analysis instruction of the target system issued by the server 202, the server 201 then crawls the data processing log corresponding to the target system from the server 202, and then transfers the data The node corresponding to the last input data recorded in the processing log is determined as the failed node of the target system. In this way, the identified faulty node can be analyzed in the subsequent steps.
  • the server 201 can be any device with processing capabilities, such as a computer, a microprocessor, etc., which is not specifically limited here, and the server 202 can be any device with the ability to send instructions and store data, such as a mobile phone, a computer, etc. There are no special restrictions here.
  • the target system is a system that analyzes and processes the input data according to the embedded function, and outputs the processed output data.
  • a data processing log can be generated, which records the input data and output data of each node of the target system.
  • the input data identification and output data identification in the data processing log correspond to each node of the target system.
  • a data processing failure occurs in the target system, it will automatically send a failure analysis instruction to the preset server.
  • the failed node cannot continue to process the input data, that is, the corresponding output data cannot be obtained after the data is input to the failed node, and the data processing process of the target system is terminated. Therefore, the data The node corresponding to the last input data recorded in the processing log is the node that has failed.
  • the node for failure analysis can be calibrated accurately and efficiently, and then In the subsequent steps, you can directly analyze the node.
  • step S120 normal data within a single data stream time when the target system has no failure and fault data within a single data stream time when the target system fails are obtained from the data processing log.
  • the single data stream time when the target system fails that is, the single data stream time at the time point when the target system fails in the data processing log.
  • the single data stream time when the target system does not fail that is, any single data stream time other than the single data stream time at the time when the target system fails in the data processing log.
  • the single data stream time can be searched in the data processing log for the pre-calibrated data identifiers for the input and output data.
  • the data within each data stream time is calibrated with the corresponding identifiers in advance, and the data identifiers can accurately determine the data identifiers.
  • a single data stream time and corresponding data is
  • the normal data within the single data stream time when the target system has no failure and the single data stream time when the target system fails are obtained from the data processing log
  • the failure data including:
  • the data processing process can be analyzed according to the input data and output data in the normal data and the fault data, which effectively improves the efficiency of the analysis and processing.
  • step S130 the sub-normal data corresponding to the faulty node is obtained from the normal data, and the sub-fault data corresponding to the faulty node is obtained from the fault data.
  • the sub-normal data corresponding to the faulty node is the data analyzed and processed by the faulty node in the normal data.
  • the sub-fault data corresponding to the faulty node is the data analyzed and processed by the faulty node in the fault data.
  • the data corresponding to the node identifier can be obtained, and then the sub-normal data and sub-fault data can be accurately obtained. In this way, the correlation between the acquired data and the faulty node can be effectively guaranteed, the efficiency of the fault analysis and processing of the faulty node in the subsequent steps can be effectively guaranteed, and the accuracy of the analysis can be guaranteed.
  • obtaining the sub-normal data corresponding to the faulty node from the normal data, and obtaining the sub-fault data corresponding to the faulty node from the fault data includes:
  • the input and output data associated with the faulty node can be separately performed in the subsequent steps. Efficient analysis of failures.
  • step S140 the sub-normal data and the sub-fault data are subjected to fault feature amplification processing to obtain the data fault feature of the faulty node.
  • the fault feature amplification process is to extract the data features of the sub-normal data and the sub-fault data associated with the faulty node, and perform feature amplification on the obtained data features to obtain the data fault features of the faulty node;
  • data features Extraction is, for example, extracting data change waveforms or several data at a predetermined time point;
  • feature amplification is, for example, performing waveform superimposition or calculating the difference of several data at a predetermined time point to obtain the difference, and then perform the difference according to the magnitude of the difference. Zoom in or zoom out.
  • the method of fault feature amplification processing can be to use a preset data feature amplification algorithm template to perform fault feature amplification on the sub-normal data and the sub-fault data to obtain the data. It is also possible to convert the sub-normal data and the sub-fault data into data waveforms respectively, and then superimpose the two waveforms to obtain the data fault characteristics of the faulty node.
  • performing fault feature amplification processing on the sub-normal data and the sub-fault data to obtain the data failure feature of the faulty node includes:
  • Step 310 Obtain a preset data feature amplification algorithm template of the target system
  • Step 320 Use the preset data feature amplification algorithm template to perform fault feature amplification processing on the sub-normal data and the sub-fault data to obtain the data failure feature of the faulty node.
  • the preset data feature amplification algorithm template of the target system that is, the algorithm template set according to the data processed by the target system, such as data format, processing volume, etc., can accurately automatically crawl the data features of the target system to perform fault feature amplification Algorithm template.
  • the target system is used to process specific data.
  • the fault feature amplification process can be performed accurately according to the sub-normal data and sub-fault data corresponding to the faulty node in the target system, which can effectively guarantee The accuracy of the data failure feature acquisition of the failed node.
  • performing fault feature amplification processing on the sub-normal data and the sub-fault data to obtain the data fault feature of the faulty node includes:
  • the simplified normal data and the simplified fault data are subjected to fault feature amplification processing to obtain the data fault feature of the faulty node.
  • the preset data simplified algorithm template of the target system that is, the algorithm template set according to the data processed by the target system, such as data format, processing volume, etc., can accurately crawl the relevant data of the target system and automatically crawl the key data algorithm template.
  • Crawling data features can simplify the processing of complex sub-normal data and sub-fault data, and obtain simplified normal data and simplified fault data that can simplify identification of sub-normal data and sub-fault data, thereby simplifying normal data and simplified fault data. Efficiently perform fault feature amplification processing to obtain the data fault features of the faulty node.
  • performing fault feature amplification processing on the simplified normal data and the simplified fault data to obtain the data fault features of the faulty node includes:
  • the simplified fault data and the sub-simplified normal data are subjected to fault feature amplification processing to obtain the data fault feature of the faulty node.
  • the time period corresponding to the simplified fault data is the time period from the beginning to the end corresponding to the fault data within the single data stream time when the target system fails.
  • step S150 the data failure feature is input into a pre-trained machine learning model to obtain a data processing function and a repair plan corresponding to the failure node.
  • the data processing function and the repair plan corresponding to the faulty node are the data processing function that caused the faulty node to fail, and how to adjust the function will make the fault repair plan.
  • the pre-trained machine learning model By presetting the pre-trained machine learning model, it is possible to input the data of the data failure characteristics such as binary format into the pre-trained machine learning model. After calculating and analyzing the data failure characteristics, the data corresponding to the faulty node can be obtained efficiently and accurately Processing function and repair plan.
  • the training method of the machine learning model is:
  • the machine learning model If there is data of the data failure feature sample input into the machine learning model, the obtained data processing function and repair plan are inconsistent with the data processing function and repair plan calibrated in advance for the data failure feature sample, then the machine learning is adjusted The coefficients of the model until they are consistent;
  • the obtained data processing function and repair plan are consistent with the data processing function and repair plan calibrated in advance for the data failure feature sample, and the training ends.
  • the data fault feature sample is the fault data feature obtained from the data recorded in the historical data processing in the target system.
  • Each fault data feature is calibrated by experts with the corresponding fault function and repair plan. In this way, each fault data feature is used as the input of the machine learning model, and the corresponding fault function and repair plan of each fault data feature is calibrated by the expert as the output of the machine learning model. It can be accurately trained to output the fault function and repair plan according to the data fault feature.
  • Machine learning model is the fault data feature obtained from the data recorded in the historical data processing in the target system.
  • the application also provides a system failure analysis and processing device.
  • the system fault analysis and processing device may include a determination module 410, a first acquisition module 420, a second acquisition module 430, an amplification module 440 and a derivation module 450. among them:
  • the determining module 410 may be used to determine the node corresponding to the last input data recorded in the data processing log as the failed node of the target system when receiving the failure analysis instruction of the target system;
  • the first obtaining module 420 may be used to obtain normal data within a single data stream time when the target system has no failure, and a failure within a single data stream time when the target system fails, from the data processing log. data;
  • the second obtaining module 430 may be configured to obtain the sub-normal data corresponding to the faulty node from the normal data, and obtain the sub-fault data corresponding to the faulty node from the fault data;
  • the amplification module 440 may be used to perform fault feature amplification processing on the sub-normal data and the sub-fault data to obtain the data fault feature of the faulty node;
  • the derivation module 450 may be used to input the data failure feature into a pre-trained machine learning model to obtain a data processing function and a repair plan corresponding to the failure node.
  • the example embodiments described here can be implemented by software, or can be implemented by combining software with necessary hardware. Therefore, the technical solution according to the embodiments of the present application can be embodied in the form of a software product, which can be stored in a non-volatile storage medium (which can be a CD-ROM, U disk, mobile hard disk, etc.) or on the network , Including several instructions to make a computing device (which can be a personal computer, a server, a mobile terminal, or a network device, etc.) execute the method according to the embodiment of the present application.
  • a non-volatile storage medium which can be a CD-ROM, U disk, mobile hard disk, etc.
  • Including several instructions to make a computing device which can be a personal computer, a server, a mobile terminal, or a network device, etc.
  • an electronic device capable of implementing the above method is also provided.
  • the electronic device 500 according to this embodiment of the present application will be described below with reference to FIG. 5.
  • the electronic device 500 shown in FIG. 5 is only an example, and should not bring any limitation to the function and scope of use of the embodiments of the present application.
  • the electronic device 500 is represented in the form of a general-purpose computing device.
  • the components of the electronic device 500 may include, but are not limited to: the aforementioned at least one processing unit 510, the aforementioned at least one storage unit 520, and a bus 530 connecting different system components (including the storage unit 520 and the processing unit 510).
  • the storage unit stores program code, and the program code can be executed by the processing unit 510, so that the processing unit 510 executes the various exemplary methods described in the “Exemplary Method” section of this specification. Steps of implementation.
  • the processing unit 510 may perform step S110 as shown in FIG.
  • Step S120 upon receiving the failure analysis instruction of the target system, determine the node corresponding to the last input data recorded in the data processing log as the target system
  • Step S120 Obtain normal data within a single data stream time when the target system is not faulty from the data processing log, and fault data within a single data stream time when the target system fails
  • Step S130 Obtain the sub-normal data corresponding to the faulty node from the normal data, and obtain the sub-fault data corresponding to the faulty node from the fault data
  • Step S140 Combine the sub-normal data with the Sub-fault data is subjected to fault feature amplification processing to obtain the data fault feature of the faulty node
  • step S150 input the data fault feature into a pre-trained machine learning model to obtain the data processing function and repair plan corresponding to the faulty node .
  • the storage unit 520 may include a readable medium in the form of a volatile storage unit, such as a random access storage unit (RAM) 5201 and/or a cache storage unit 5202, and may further include a read-only storage unit (ROM) 5203.
  • RAM random access storage unit
  • ROM read-only storage unit
  • the storage unit 520 may also include a program/utility tool 5204 having a set (at least one) program module 5205.
  • program module 5205 includes but is not limited to: an operating system, one or more application programs, other program modules, and program data, Each of these examples or some combination may include the implementation of a network environment.
  • the bus 530 may represent one or more of several types of bus structures, including a storage unit bus or a storage unit controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area using any bus structure among multiple bus structures. bus.
  • the electronic device 500 can also communicate with one or more external devices 700 (such as keyboards, pointing devices, Bluetooth devices, etc.), and can also communicate with one or more devices that enable customers to interact with the electronic device 500, and/or communicate with Any device (such as a router, modem, etc.) that enables the electronic device 500 to communicate with one or more other computing devices. Such communication can be performed through an input/output (I/O) interface 550.
  • the electronic device 500 may also communicate with one or more networks (for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet) through the network adapter 560. As shown in the figure, the network adapter 560 communicates with other modules of the electronic device 500 through the bus 530.
  • LAN local area network
  • WAN wide area network
  • public network such as the Internet
  • the example implementation manner described here can be implemented by software, or can be implemented by combining software with necessary hardware. Therefore, the technical solution according to the embodiments of the present application can be embodied in the form of a software product, which can be stored in a non-volatile storage medium (which can be a CD-ROM, U disk, mobile hard disk, etc.) or on the network , Including several instructions to make a computing device (which can be a personal computer, a server, a terminal device, or a network device, etc.) execute the method according to the embodiment of the present application.
  • a computing device which can be a personal computer, a server, a terminal device, or a network device, etc.
  • a computer-readable storage medium is also provided.
  • the storage medium is a volatile storage medium or a non-volatile storage medium.
  • Program product In some possible implementation manners, various aspects of the present application can also be implemented in the form of a program product, which includes program code. When the program product runs on a terminal device, the program code is used to make the The terminal device executes the steps according to various exemplary embodiments of the present application described in the above-mentioned "Exemplary Method" section of this specification.
  • a program product 600 for implementing the above method according to an embodiment of the present application is described. It can adopt a portable compact disk read-only memory (CD-ROM) and include program code, and can be installed in a terminal device, For example, running on a personal computer.
  • CD-ROM compact disk read-only memory
  • the program product of this application is not limited to this.
  • the readable storage medium can be any tangible medium that contains or stores a program, and the program can be used by or in combination with an instruction execution system, device, or device.
  • the program product can use any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or a combination of any of the above. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable Type programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • the computer-readable signal medium may include a data signal propagated in baseband or as a part of a carrier wave, and readable program code is carried therein. This propagated data signal can take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the readable signal medium may also be any readable medium other than a readable storage medium, and the readable medium may send, propagate, or transmit a program for use by or in combination with the instruction execution system, apparatus, or device.
  • the program code contained on the readable medium can be transmitted by any suitable medium, including but not limited to wireless, wired, optical cable, RF, etc., or any suitable combination of the above.
  • the program code used to perform the operations of this application can be written in any combination of one or more programming languages.
  • the programming languages include object-oriented programming languages-such as Java, C++, etc., as well as conventional procedural programming languages. Programming language-such as "C" language or similar programming language.
  • the program code can be executed entirely on the client computing device, partly executed on the client device, executed as an independent software package, partly executed on the client computing device and partly executed on the remote computing device, or completely executed on the remote computing device or server Executed on.
  • the remote computing device can be connected to a client computing device through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computing device (for example, using Internet service providers). Business to connect via the Internet).
  • LAN local area network
  • WAN wide area network
  • Internet service providers for example, using Internet service providers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请是关于一种系统故障分析处理方法、装置、存储介质及电子设备，属于机器学习应用技术领域，该方法包括：在接收到目标系统的故障分析指令时，确定目标系统的故障节点；获取目标系统未出现故障时的单数据流时间内的正常数据，及目标系统出现故障时的单数据流时间内的故障数据；从正常数据中获取故障节点的子正常数据，并从故障数据中获取故障节点的子故障数据；将子正常数据与子故障数据进行故障特征放大处理，得到数据故障特征；将数据故障特征输入预先训练好的机器学习模型，得到故障节点对应的数据处理函数及修复方案。本申请通过数据预处理基于机器学习模型，有效提高故障节点函数推导的效率和准确性。

Description

系统故障分析处理方法、装置、存储介质及电子设备 技术领域
本申请要求于2019年09月09日提交中国专利局、申请号为201910848396.8，发明名称为“系统故障分析处理方法、装置、存储介质及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及人工智能的机器学习应用技术领域，具体而言，涉及一种系统故障分析处理方法、装置、存储介质及电子设备。
背景技术
系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。
软件测试与测试用例：软件测试是用人工或自动的手段来运行或测定某个软件系统的过程，其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别，在软件测试的过程中，编写测试用例(Test Case)是指为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。
发明人意识到，现有技术中，对于第三方软件服务商提供的业务系统，当该业务系统的某个数据处理节点出现故障时，需要先获取故障节点在业务系统未出现故障时的历史输入数据和输出数据，然后测试和开发人员花费大量的时间进行试错与核对数据以推算出该节点对应的数据处理函数，才能对出现故障的节点进行修复与维护。这种确定故障节点的处理函数的方式效率较低，而且人工成本也较高。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明概述
技术问题
问题的解决方案
技术解决方案
本申请的目的在于提供一种系统故障分析处理方案，进而至少在一定程度上在实现自动、准确、快速的对目标系统的故障节点的处理函数进行推导及会诊，进而有效提高系统的调整效率。
根据本申请的一个方面，提供一种系统故障分析处理方法，包括：
在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
根据本申请的一个方面，提供一种系统故障分析处理装置，其中，包括：
确定模块，用于在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
第一获取模块，用于从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
第二获取模块，用于从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
放大模块，用于将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
推导模块，用于将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
根据本申请的一个方面，提供一种计算机可读存储介质，其上存储有系统故障分析处理程序，其中，所述系统故障分析处理程序被处理器执行时实现一种系统故障分析处理方法：
其中，所述系统故障分析处理方法包括：
在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
根据本申请的一个方面，提供一种电子设备，其中，包括：
处理器；以及
存储器，用于存储所述处理器的系统故障分析处理程序；其中，所述处理器配置为经由执行所述系统故障分析处理程序来执行一种系统故障分析处理方法：
其中，所述系统故障分析处理方法包括：
在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应 的数据处理函数及修复方案。
本申请一种系统故障分析处理方法及装置，首先，通过在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；可以及时的在目标系统出现故障时，标定出故障节点。然后，从所述数据处理日志中获取目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；这样可以在后续步骤中准确的从正常数据及故障数据中分别获取到目标数据。从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；这样可以根据故障节点的子正常数据和子故障数据进行对比，从数据处理的角度准确、高效地对故障节点进行分析。然后，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；这样可以对故障节点的数据进行预处理，得到可以通过简单的数据特征准确反映数据处理过程发生故障时对应的数据处理函数的数据故障特征，在后续步骤中有效保证数据处理函数分析的效率和准确率。最后，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案；这样通过预先训练好的机器学习模型，可以高效、准确地对数据故障特征进行分析，得到故障节点对应的数据处理函数及修复方案。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
发明的有益效果
对附图的简要说明
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出一种系统故障分析处理方法的流程图。
图2示意性示出一种系统故障分析处理方法的应用场景示例图。
图3示意性示出一种故障特征放大方法流程图。
图4示意性示出一种系统故障分析处理装置的方框图。
图5示意性示出一种用于实现上述系统故障分析处理方法的电子设备示例框图。
图6示意性示出一种用于实现上述系统故障分析处理方法的计算机可读存储介质。
发明实施例
本发明的实施方式
本示例实施方式中首先提供了系统故障分析处理方法，该系统故障分析处理方法可以运行于服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本申请的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该系统故障分析处理方法可以包括以下步骤：
步骤S110，在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
步骤S120，从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
步骤S130，从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
步骤S140，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
步骤S150，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
上述系统故障分析处理方法中，首先，通过在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；可以及时的在目标系统出现故障时，标定出故障节点。然后，从所述数据处理日志中获取目标系统未出现故障时的单数据流时间内的正常数据 ，及所述目标系统出现故障时的单数据流时间内的故障数据；这样可以在后续步骤中准确的从正常数据及故障数据中分别获取到目标数据。从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；这样可以根据故障节点的子正常数据和子故障数据进行对比，从数据处理的角度准确、高效地对故障节点进行分析。然后，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；这样可以对故障节点的数据进行预处理，得到可以通过简单的数据特征准确反映数据处理过程发生故障时对应的数据处理函数的数据故障特征，在后续步骤中有效保证数据处理函数分析的效率和准确率。最后，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案；这样通过预先训练好的机器学习模型，可以高效、准确地对数据故障特征进行分析，得到故障节点对应的数据处理函数及修复方案。
下面，将结合附图对本示例实施方式中上述系统故障分析处理方法中的各步骤进行详细的解释以及说明。
在步骤S110中，在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点。
本示例的实施方式中，参考图2所示，服务器201接收到服务器202发出的对目标系统的故障分析指令时，然后服务器201从服务器202中爬取目标系统对应的数据处理日志，然后将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点。这样可以在后续步骤中针对确定出的故障节点进行分析。其中，服务器201可以是任何具有处理能力的设备，例如，电脑、微处理器等，在此不做特殊限定，服务器202可以是任何具有指令发送、数据存储能力的设备，例如手机、电脑等，在此不做特殊限定。
目标系统就是对输入的数据根据内嵌的函数进行分析处理，输出处理后的输出数据的系统。在对数据进行处理的过程中，可以生成数据处理日志，该数据处理日志记录了目标系统每个节点的输入数据和输出数据。数据处理日志中的输入数据标识和输出数据标识与目标系统的各节点相对应。
目标系统在发生数据处理故障时，自动发送故障分析指令到预设的服务器。当 目标系统的某个节点出现故障时，该故障节点无法对输入的数据继续进行处理，也即向故障节点输入数据后无法得到对应的输出数据，目标系统对数据处理的进程终止，因此，数据处理日志中记录的最后输入数据所对应的节点即为出现故障的节点。
在接收到目标系统的故障分析指令时，通过将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点，可以准确、高效的标定出进行故障分析的节点，进而在后续步骤中，可以直接针对该节点进行分析。
在步骤S120中，从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据。
本示例的实施方式中，目标系统出现故障时的单数据流时间，即数据处理日志中目标系统出现故障时的时刻点所在的单数据流时间。目标系统未出现故障时的单数据流时间，即数据处理日志中目标系统出现故障时的时刻点所在的单数据流时间之外的其它任意单数据流时间。其中，单数据流时间，可以通过在数据处理日志中搜索为输入、输出数据预先标定的数据标识，其中每个数据流时间内的数据事先标定对应的标识，通过数据标识可以准确地确定出每个单数据流时间及对应的数据。
通过获取单数据流时间内的正常数据及故障数据，可以分别获取到一个完整的最短时间段内的处理流程对应的数据。进而，可以在后续步骤中准确地从正常数据及故障数据中获取到可以有效保证分析准确性及分析效率的目标数据。
在本示例的一种实施方式中，从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
这样可以分别根据正常数据和故障数据中的输入数据和输出数据进行数据处理 过程的分析，有效提高分析处理的效率。
在步骤S130中，从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据。
本示例的实施方式中，故障节点对应的子正常数据就是正常数据中，由故障节点进行分析处理的数据。同理，故障节点对应的子故障数据就是故障数据中，由故障节点进行分析处理的数据。根据故障节点的节点标识可以获取到与该节点标识对应的数据，进而准确获取到子正常数据、子故障数据。这样可以有效保证获取到的数据与故障节点的关联性，有效后续步骤中故障节点的故障分析处理的效率，并保证分析准确性。
在本示例的一种实施方式中，从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
从所述故障数据中获取第二输入数据与第二输出数据后，从所述第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
这样通过分别获取故障节点对应的正常数据中的输入、输出数据，同时，分别获取故障节点对应的故障数据中的输入、输出数据，可以分别针对故障节点关联的输入、输出数据，进行后续步骤中故障的高效分析。
在步骤S140中，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
本示例的实施方式中，故障特征放大处理就是通过对与故障节点关联的子正常数据与子故障数据进行数据特征提取，对得到的数据特征进行特征放大，得到故障节点的数据故障特征；数据特征提取就是例如提取数据变化波形或者预定时刻点的几个数据；特征放大就是例如进行波形叠加或者对预定时刻点的几个数据进行求差后，得到差值，将该差值根据差值大小进行放大或者缩小。其中，故障特征放大处理的方法可以是利用预设的数据特征放大算法模板，对子正 常数据与子故障数据进行故障特征放大，得到的数据。也可以是，通过将子正常数据与子故障数据分别转化为数据波形，然后将两个波形进行叠加得到故障节点的数据故障特征。
以这种方式，可以得到反映故障的十分精简的数据特征，且进行特征放大，可以有效保证后续步骤中故障分析的效率和准确率。
在本示例的一种实施方式中，参考图3所示，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
步骤310，获取所述目标系统的预设数据特征放大算法模板；
步骤320，利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
目标系统的预设数据特征放大算法模板，即根据目标系统的处理的数据的如数据格式、处理量等设置的算法模板，可以准确地对目标系统的相关数据自动爬取数据特征进行故障特征放大的算法模板。
目标系统用于处理特定的数据，通过与目标系统对应的预设数据特征放大算法模板，可以准确地根据目标系统中故障节点对应的子正常数据与子故障数据进行故障特征放大处理，可以有效保证故障节点的数据故障特征获取的准确性。
在本示例的一种实施方式中，将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
获取所述目标系统的预设数据简化算法模板；
利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
目标系统的预设数据简化算法模板，即根据目标系统的处理的数据的如数据格式、处理量等设置的算法模板，可以准确地对目标系统的相关数据自动爬取关键数据的算法模板，通过爬取数据特征可以对复杂的子正常数据与子故障数据进行简化处理，得到可以精简标识子正常数据与子故障数据的简化正常数据与简化故障数据，进而可以对简化正常数据与简化故障数据，高效地进行故障特 征放大处理，得到故障节点的数据故障特征。
在本示例的一种实施方式中，所述将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
从所述简化正常数据中，获取所述简化故障数据对应的时间段的子简化正常数据；
将所述简化故障数据与所述子简化正常数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
简化故障数据对应的时间段就是目标系统出现故障时的单数据流时间内的故障数据对应的从开始到结束的时间段。通过获取简化正常数据中简化故障数据对应的时间段的子简化正常数据后，可以得到相同处理能力范围的时间段的简化故障数据与子简化正常数据，使得简化故障数据与子简化正常数据具有可对比性，同时减少用于故障分析的数据的数据量。进而，可以进一步的通过简化故障数据与子简化正常数据，高效准确地进行故障特征放大处理，得到数据故障特征。
在步骤S150中，将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
本示例的实施方式中，故障节点对应的数据处理函数及修复方案就是导致故障节点出现故障的数据处理函数，及如何调整函数会使得故障修复的方案。
通过预设预先训练好的机器学习模型，可以将数据故障特征的如二进制格式的数据输入预先训练好的机器学习模型，在对数据故障特征进行计算分析后高效、准确地得到故障节点对应的数据处理函数及修复方案。
在本示例的一种实施方式中，所述机器学习模型的训练方法是：
获取数据故障特征样本集合，其中每个数据故障特征样本事先标定对应的数据处理函数及修复方案；
将每个所述数据故障特征样本的数据分别输入机器学习模型，得到所述机器学习模型输出的数据处理函数及修复方案；
如果存在有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复 方案不一致，则调整所述机器学习模型的系数，直到一致；
当所有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案一致，训练结束。
数据故障特征样本就是从目标系统中历史上数据处理中记录的数据中，获取的故障数据特征。每个故障数据特征由专家标定对应的故障函数及修复方案。这样讲每个故障数据特征作为机器学习模型输入，每个故障数据特征由专家标定对应的故障函数及修复方案作为机器学习模型输出，可以准确地训练得到根据数据故障特征输出故障函数及修复方案的机器学习模型。
本申请还提供了一种系统故障分析处理装置。参考图4所示，该系统故障分析处理装置可以包括确定模块410、第一获取模块420、第二获取模块430、放大模块440及推导模块450。其中：
确定模块410可以用于在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
第一获取模块420可以用于从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
第二获取模块430可以用于从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
放大模块440可以用于将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
推导模块450可以用于将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
上述系统故障分析处理装置中各模块的具体细节已经在对应的系统故障分析处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化 。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本申请的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的步骤S110：在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；S120：从所 述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；步骤S130：从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；步骤S140：将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；步骤S150：将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得客户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实 施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质为易失性存储介质或非易失性存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
参考图6所示，描述了根据本申请的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在客户计算设备上执行、部分地在客户设备上执行、作为一个独立的软件包执行、部分在客户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到客户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

Claims (20)

  1. 一种系统故障分析处理方法，其中，包括：
    在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
    从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
    从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
    将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
    将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
  2. 根据权利要求1所述的方法，其中，所述从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
    从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
    从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
  3. 根据权利要求1所述的方法，其中，所述从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
    从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
    从所述故障数据中获取第二输入数据与第二输出数据后，从所述 第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
  4. 根据权利要求1所述的方法，其中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    获取所述目标系统的预设数据特征放大算法模板；
    利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  5. 根据权利要求1所述的方法，其中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    获取所述目标系统的预设数据简化算法模板；
    利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
    将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  6. 根据权利要求5所述的方法，其中，所述将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    从所述简化正常数据中，获取所述简化故障数据对应的时间段的子简化正常数据；
    将所述简化故障数据与所述子简化正常数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  7. 根据权利要求1所述的方法，其中，所述机器学习模型的训练方法是：
    获取数据故障特征样本集合，其中每个数据故障特征样本事先标定对应的数据处理函数及修复方案；
    将每个所述数据故障特征样本的数据分别输入机器学习模型，得到所述机器学习模型输出的数据处理函数及修复方案；
    如果存在有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案不一致，则调整所述机器学习模型的系数，直到一致；
    当所有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案一致，训练结束。
  8. 一种系统故障分析处理装置，其中，包括：
    确定模块，用于在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
    第一获取模块，用于从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
    第二获取模块，用于从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
    放大模块，用于将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
    推导模块，用于将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
  9. 一种计算机可读存储介质，其上存储有系统故障分析处理程序，其中，所述系统故障分析处理程序被处理器执行一种系统故障分析处理方法：
    其中，所述系统故障分析处理方法包括：
    在接收到目标系统的故障分析指令时，将数据处理日志中记录的 最后输入数据所对应的节点确定为所述目标系统的故障节点；
    从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
    从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
    将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
    将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
  10. 根据权利要求9所述的计算机可读存储介质，其中，所述从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
    从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
    从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
  11. 根据权利要求9所述的计算机可读存储介质，其中，所述从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
    从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
    从所述故障数据中获取第二输入数据与第二输出数据后，从所述第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
  12. 根据权利要求9所述的计算机可读存储介质，其中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    获取所述目标系统的预设数据特征放大算法模板；
    利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  13. 根据权利要求9所述的计算机可读存储介质，其中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    获取所述目标系统的预设数据简化算法模板；
    利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
    将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  14. 根据权利要求13所述的计算机可读存储介质，其中，所述将所述简化正常数据与所述简化故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    从所述简化正常数据中，获取所述简化故障数据对应的时间段的子简化正常数据；
    将所述简化故障数据与所述子简化正常数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  15. 根据权利要求9所述的计算机可读存储介质，其中，所述机器学习模型的训练方法是：
    获取数据故障特征样本集合，其中每个数据故障特征样本事先标定对应的数据处理函数及修复方案；
    将每个所述数据故障特征样本的数据分别输入机器学习模型，得到所述机器学习模型输出的数据处理函数及修复方案；
    如果存在有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案不一致，则调整所述机器学习模型的系数，直到一致；
    当所有所述数据故障特征样本的数据输入机器学习模型后，得到的数据处理函数及修复方案与对所述数据故障特征样本事先标定的数据处理函数及修复方案一致，训练结束。
  16. 一种电子设备，其中，包括：
    处理器；以及
    存储器，用于存储所述处理器的系统故障分析处理程序；其中，所述处理器配置为经由执行所述系统故障分析处理程序来执行系统故障分析处理方法：
    其中，所述系统故障分析处理方法包括：
    在接收到目标系统的故障分析指令时，将数据处理日志中记录的最后输入数据所对应的节点确定为所述目标系统的故障节点；
    从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据；
    从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据；
    将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征；
    将所述数据故障特征输入预先训练好的机器学习模型，得到所述故障节点对应的数据处理函数及修复方案。
  17. 根据权利要求16所述的电子设备，其中，所述从所述数据处理日志中获取所述目标系统未出现故障时的单数据流时间内的正常数据，及所述目标系统出现故障时的单数据流时间内的故障数据，包括：
    从所述数据处理日志中，获取所述目标系统未出现故障时的单数据流时间内的第一输入数据与第一输出数据，作为所述正常数据；
    从所述数据处理日志中，获取所述目标系统出现故障时的单数据流时间内的第二输入数据与第二输出数据，作为所述故障数据。
  18. 根据权利要求16所述的电子设备，其中，所述从所述正常数据中获取所述故障节点对应的子正常数据，并从所述故障数据中获取所述故障节点对应的子故障数据，包括：
    从所述正常数据中获取第一输入数据与第一输出数据后，从所述第一输入数据与所述第一输出数据中分别获取所述故障节点的第一已输入数据及第二已输出数据，作为所述子正常数据；
    从所述故障数据中获取第二输入数据与第二输出数据后，从所述第二输入数据与所述第二输出数据中分别获取所述故障节点的第二已输入数据及第二已输出数据，作为所述子故障数据。
  19. 根据权利要求16所述的电子设备，其中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    获取所述目标系统的预设数据特征放大算法模板；
    利用所述预设数据特征放大算法模板，对所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征。
  20. 根据权利要求16所述的电子设备，其中，所述将所述子正常数据与所述子故障数据进行故障特征放大处理，得到所述故障节点的数据故障特征，包括：
    获取所述目标系统的预设数据简化算法模板；
    利用所述预设数据简化算法模板，对所述子正常数据与所述子故障数据进行简化处理，得到简化正常数据与简化故障数据；
    将所述简化正常数据与所述简化故障数据进行故障特征放大处理 ，得到所述故障节点的数据故障特征。
PCT/CN2020/087462 2019-09-09 2020-04-28 系统故障分析处理方法、装置、存储介质及电子设备 WO2021047184A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910848396.8A CN110716843B (zh) 2019-09-09 2019-09-09 系统故障分析处理方法、装置、存储介质及电子设备
CN201910848396.8 2019-09-09

Publications (1)

Publication Number Publication Date
WO2021047184A1 true WO2021047184A1 (zh) 2021-03-18

Family

ID=69209766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/087462 WO2021047184A1 (zh) 2019-09-09 2020-04-28 系统故障分析处理方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN110716843B (zh)
WO (1) WO2021047184A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550642A (zh) * 2022-11-30 2022-12-30 湖北芯擎科技有限公司 仿真平台的多媒体链路调试方法、系统、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716843B (zh) * 2019-09-09 2022-11-22 深圳壹账通智能科技有限公司 系统故障分析处理方法、装置、存储介质及电子设备
CN112486982A (zh) * 2020-11-17 2021-03-12 中信银行股份有限公司 一种数据获取方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020196A (zh) * 2018-08-22 2019-07-16 五维引力（上海）数据服务有限公司 一种基于不同数据源的用户分析方法和装置及计算设备
CN110018926A (zh) * 2018-11-22 2019-07-16 阿里巴巴集团控股有限公司 故障恢复方法、装置、电子设备及计算机可读存储介质
CN110716843A (zh) * 2019-09-09 2020-01-21 深圳壹账通智能科技有限公司 系统故障分析处理方法、装置、存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1422952A (en) * 1972-06-03 1976-01-28 Plessey Co Ltd Data processing system fault diagnostic arrangements
CN107562603A (zh) * 2017-09-25 2018-01-09 郑州云海信息技术有限公司 一种基于linux的故障智能定位系统及方法
CN108519768B (zh) * 2018-03-26 2019-10-08 华中科技大学 一种基于深度学习和信号分析的故障诊断方法
CN108919059A (zh) * 2018-08-23 2018-11-30 广东电网有限责任公司 一种电网故障诊断方法、装置、设备及可读存储介质
CN109582502A (zh) * 2018-12-03 2019-04-05 郑州云海信息技术有限公司 存储系统故障处理方法、装置、设备及可读存储介质
CN110213788B (zh) * 2019-06-15 2021-07-13 福州大学 基于数据流时空特征的wsn异常检测及类型识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020196A (zh) * 2018-08-22 2019-07-16 五维引力（上海）数据服务有限公司 一种基于不同数据源的用户分析方法和装置及计算设备
CN110018926A (zh) * 2018-11-22 2019-07-16 阿里巴巴集团控股有限公司 故障恢复方法、装置、电子设备及计算机可读存储介质
CN110716843A (zh) * 2019-09-09 2020-01-21 深圳壹账通智能科技有限公司 系统故障分析处理方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550642A (zh) * 2022-11-30 2022-12-30 湖北芯擎科技有限公司 仿真平台的多媒体链路调试方法、系统、设备及介质
CN115550642B (zh) * 2022-11-30 2023-03-14 湖北芯擎科技有限公司 仿真平台的多媒体链路调试方法、系统、设备及介质

Also Published As

Publication number Publication date
CN110716843A (zh) 2020-01-21
CN110716843B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
WO2021047184A1 (zh) 系统故障分析处理方法、装置、存储介质及电子设备
US11321122B2 (en) Method, apparatus, device and medium for processing topological relation of tasks
CN108459951B (zh) 测试方法和装置
WO2021174812A1 (zh) 用于画像的数据的清洗方法、装置、介质及电子设备
WO2023104121A1 (zh) 测试用例的测试方法及装置、电子设备和存储介质
CN113485881B (zh) 一种临时限速服务器的测试方法、装置、电子设备及介质
US9384044B2 (en) Intelligent inclusion/exclusion automation
CN114356785A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113110995A (zh) 系统迁移的测试方法及装置
CN113986643A (zh) 分析日志文件的方法、电子设备和计算机程序产品
CN112860587B (zh) Ui自动测试方法和装置
CN113138906A (zh) 一种调用链数据采集方法、装置、设备及存储介质
CN113760730A (zh) 一种自动化测试的方法和装置
CN109189661B (zh) 一种工业实时数据库的性能测试方法
CN115022201B (zh) 一种数据处理功能测试方法、装置、设备及存储介质
CN115328891A (zh) 数据迁移方法、装置、存储介质及电子设备
US20230007894A1 (en) Intelligent Dynamic Web Service Testing Apparatus in a Continuous Integration and Delivery Environment
CN114416597A (zh) 测试用例记录的生成方法和装置
CN115062571A (zh) 应用于集成电路器件的数据区域动态选取方法、系统、设备和计算机可读存储介质
CN107943483B (zh) 一种iOS中数据正向解析方法
CN111857664B (zh) 一种应用开发的方法、装置、设备及存储介质
CN110806981A (zh) 一种应用程序测试方法、装置、设备和存储介质
CN114691458A (zh) 脚本执行方法、装置、电子设备和计算机可读介质
CN112000579B (zh) 一种软件接口测试方法、系统、设备及介质
US20230011250A1 (en) Intelligent Dynamic Web Service Testing Apparatus in a Continuous Integration and Delivery Environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20862474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 22/07/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20862474

Country of ref document: EP

Kind code of ref document: A1