WO2021073144A1 - 分布式文件系统的监控方法、装置、终端及存储介质 - Google Patents

分布式文件系统的监控方法、装置、终端及存储介质 Download PDF

Info

Publication number
WO2021073144A1
WO2021073144A1 PCT/CN2020/098234 CN2020098234W WO2021073144A1 WO 2021073144 A1 WO2021073144 A1 WO 2021073144A1 CN 2020098234 W CN2020098234 W CN 2020098234W WO 2021073144 A1 WO2021073144 A1 WO 2021073144A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
grade
operation type
file system
log
Prior art date
Application number
PCT/CN2020/098234
Other languages
English (en)
French (fr)
Inventor
杨勇
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021073144A1 publication Critical patent/WO2021073144A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • This application relates to the field of cloud storage technology, and in particular to a monitoring method, device, terminal, and storage medium of a distributed file system.
  • the inventor realizes that the existing cloud storage monitoring is mainly for the monitoring of cloud storage services and storage hardware. For example, the service is stopped, or the storage disk has a bad disk alarm. If these abnormalities occur, a monitoring alarm will be sent to solve it in time. Abnormal problems ensure the stable operation of cloud storage. It does not take into account the performance degradation of the underlying services of the distributed file system during the operation of cloud storage. For example, when users upload and download files of the same type, the operation response time increases, which directly reduces The user experience, in severe cases, will also cause the loss of users. Therefore, building a performance monitoring solution based on the response parameters of the user operating the same type of file has become an urgent problem to be solved.
  • the first aspect of the present application provides a monitoring method of a distributed file system, the method including:
  • a second aspect of the present application provides a terminal, the terminal includes a memory and a processor, the memory is configured to store at least one computer-readable instruction, and the processor is configured to execute the at least one computer-readable instruction to implement the following step:
  • a third aspect of the present application provides a computer-readable storage medium that stores at least one computer-readable instruction, and when the at least one computer-readable instruction is executed by a processor, the following steps are implemented:
  • a fourth aspect of the present application provides a monitoring device for a distributed file system, the device including:
  • the obtaining module is used to obtain the log output by the distributed file system to be monitored;
  • the identification module is used to identify the operation type of each row of data in the log
  • the classification module is used to classify the data in the log according to the operation type
  • the division module is used to divide the data of the same operation type into different grades
  • the first calculation module is used to calculate the response parameters of each grade in the same operation type
  • the second calculation module is used to calculate the deviation value between the response parameter and the corresponding preset baseline data
  • the judgment module is used to judge whether each deviation value is within the preset deviation threshold range
  • the output module is configured to output the result that the distributed file system is operating normally when the judgment module determines that each deviation value is within the preset deviation threshold value range.
  • the monitoring method, device, terminal, and storage medium of the distributed file system described in this application can monitor data in fields such as massive data, structured data, unstructured data, data platforms, and data centers. Apply to obtain the log output by the distributed file system to be monitored; identify the operation type of each row of data in the log; classify the data in the log according to the operation type; divide the data of the same operation type into Different grades; calculate the response parameters of each grade in the same operation type; calculate the deviation value of the response parameter and the corresponding preset baseline data; determine whether each deviation value is within the preset deviation threshold range; when it is determined that the When each deviation value is within the preset deviation threshold range, output the result of the normal operation of the distributed file system; when it is determined that one of the deviation values is not within the preset deviation threshold range, output the distributed file The result of abnormal system operation.
  • This application calculates the deviation values of the response parameters of different grades in different types from the preset baseline data to determine whether each deviation value meets the preset threshold value range, and can quickly determine the specific grade corresponding to the specific operation type. Abnormalities occur in the logs, which shortens the time to investigate abnormal data, improves the efficiency of operation and maintenance, and at the same time improves the user experience and ensures the stability of the distributed file system.
  • FIG. 1 is a flowchart of a monitoring method of a distributed file system provided in Embodiment 1 of the present application.
  • Fig. 2 is a structural diagram of a monitoring device of a distributed file system provided in the second embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a terminal provided in Embodiment 3 of the present application.
  • FIG. 1 is a flowchart of a monitoring method of a distributed file system provided in Embodiment 1 of the present application.
  • the monitoring method of the distributed file system can be applied to a terminal.
  • the distributed file system provided by the method of this application can be directly integrated on the terminal.
  • the monitoring function may run in the terminal in the form of a software development kit (SKD).
  • the monitoring method of the distributed file system specifically includes the following steps. According to different requirements, the order of the steps in the flowchart can be changed, and some of the steps can be omitted.
  • the period for obtaining logs output by the distributed file system to be monitored may be preset, and the preset period may be set to 1 hour or 2 hours.
  • the preset period may be set to 1 hour or 2 hours.
  • the log output by the distributed file system to be monitored is recorded in a log record table, and an operation identifier is recorded in the log record table. It is sufficient to identify the operation identifier of each row of data in the log. Determine the type of operation for a single row of data.
  • the operation type may include upload, download, delete, or query.
  • the response parameters of the output log corresponding to each operation type are very different.
  • the data in the log is classified according to different operation types, for example: The data in the log whose type is upload is classified into the upload operation file; the data in the log whose operation type is download is classified into the download operation file.
  • the grade may be set according to the size range of the data or the type of the data, where the type of the data may include: text files, video files, audio files, picture files, and so on.
  • the classification of the grades can also be specified according to actual conditions, and this application does not limit it here.
  • the following example illustrates how to divide the data of the same operation type into different grades according to the size range of the data.
  • the size range of all data corresponding to the upload operation can be divided into three levels, and the data in the size range of 10K-500K in the upload operation is divided into the first level; the size range in the upload operation is The data of 500K-2000K is divided into the second level; the data in the size range of 2000K-3M in the upload operation is divided into the third level.
  • the following example illustrates how to divide the data of the same operation type into different grades according to the type of data.
  • the operation type is a download operation
  • all data corresponding to the download operation can be divided into four levels according to the data type, and the data whose data type is a text file in the download operation is divided into the first level; the data type in the download operation is The data of the video file is divided into the second level; the data whose data type is the audio file in the download operation is divided into the third level; the data whose data type is the picture file in the download operation is divided into the fourth level.
  • the same operation type contains multiple levels, and each level contains multiple data, and the response parameters of multiple data with the same level in the same operation type are calculated.
  • the calculation of the response parameters of each grade in the same operation type includes:
  • the average response parameter is determined as the response parameter of the corresponding grade.
  • the response parameters of multiple data of the same grade in the same operation type are averaged to obtain response parameters of multiple data of the same grade in the same operation type.
  • the first level in the upload operation type includes 3 data
  • the response parameter of the first data is X1
  • the response parameter of the second data is X2
  • the response parameter of the third data is X3, which is calculated
  • the calculation time of the response parameters can be shortened, and the monitoring efficiency can be improved.
  • baseline data may be set in advance, and the deviation values of the response parameters of different grades of different types and the corresponding type-grade response parameters can be calculated according to the baseline data.
  • the method before the calculation of the deviation values between the response parameters of the different types and the different grades and the preset baseline data, the method further includes:
  • the baseline data is created in advance based on response parameters of different types of different grades of historical logs.
  • the process of creating the preset baseline data includes:
  • the second average response parameter is used as the preset baseline data of the corresponding type-grade.
  • the time period can be preset, the historical log within the preset time period can be obtained, and the historical log is divided into n parts according to the time information carried by the historical log.
  • the preset time period is 30.
  • the daily historical log is divided into 30 sub-historical logs. Identify the operation type of each row of data in each sub-historical log and divide the same operation type according to different grades, calculate the first average response parameter of each sub-historical log with the same grade in the same operation type, according to the first average The response parameter calculates the second average response parameter of each sub-historical log in the preset time period to obtain the preset baseline data of the historical log response parameter.
  • the historical log in the preset time period is divided into n pieces, each grade of the same operation type of the first historical log includes i data, and each piece of the same operation type of each historical log is calculated
  • the second average response parameter is the prediction of the response parameter of the historical log.
  • the calculating the deviation value between the response parameter and the corresponding preset baseline data includes:
  • the value obtained by dividing the absolute value of the difference by the preset baseline data of the corresponding type-grade is used as the deviation value.
  • the response parameters of the corresponding type-level are obtained from the preset baseline data, and the response parameters of the corresponding type and the corresponding level in the log output by the distributed file system to be monitored are calculated with the corresponding type and corresponding
  • the difference between the preset baseline data of the grade, and the deviation value is equal to the absolute value of the difference divided by the second average response parameter of the type and the corresponding grade corresponding to the log in the preset baseline data.
  • the deviation threshold can be preset.
  • the preset deviation threshold is set to 10%, and each calculated deviation value is compared with the preset deviation threshold to determine each deviation. Whether the value is within the preset deviation threshold.
  • the response parameters and the response parameters of the logs output by the distributed file system to be monitored of the same grade of the same operation type can be determined in the first time.
  • step S18 When it is determined that each deviation value meets the preset deviation threshold range, step S18 is executed; when it is determined that at least one deviation value is not within the preset deviation threshold range, step S19 is executed.
  • the method further includes:
  • the alarm information carrying the abnormal result is sent to the administrator, where the alarm information includes the specific operation type and the abnormality of the abnormal data.
  • the specific operation type of the data corresponds to the specific grade.
  • the method further includes:
  • the above dictionary can also be stored in a node of a blockchain.
  • the administrator by sending alarm information to the administrator, the administrator is notified that the data in the specific grade in the specific operation type is abnormal, and the abnormal data in the log output by the distributed file system to be monitored is identified. , It is convenient for administrators to directly locate abnormal data and subsequent maintenance, shorten the time to check abnormal data, improve operation and maintenance efficiency, and improve user experience and ensure the stability of the distributed file system.
  • the monitoring method of a distributed file system described in this application can be applied in the fields of financial technology and smart cities where a distributed file system needs to be deployed to promote the construction of financial technology and smart cities.
  • This application calculates the deviation values between the response parameters of different grades in different types and the preset baseline data to determine whether each deviation value meets the preset threshold range, and can quickly determine the specific grade corresponding to the specific operation type. Abnormalities appear in the logs, which shortens the time required to investigate abnormal data, improves the efficiency of operation and maintenance, and at the same time improves the user experience and ensures the stability of the distributed file system.
  • Fig. 2 is a structural diagram of a monitoring device of a distributed file system provided in the second embodiment of the present application.
  • the monitoring device 20 of the distributed file system may include multiple functional modules composed of program code segments.
  • the program code of each program segment in the monitoring device 20 of the distributed file system may be stored in the memory of the terminal, and executed by the at least one processor to execute (see FIG. 1 for details) to the distributed file system.
  • the file system is monitored.
  • the monitoring device 20 of the distributed file system can be divided into multiple functional modules according to the functions it performs.
  • the functional modules may include: an acquisition module 201, an identification module 202, a classification module 203, a division module 204, a first calculation module 205, a second calculation module 206, a creation module 207, a judgment module 208, an output module 209, and a sending module 210 and identification module 211.
  • the module referred to in this application refers to a series of computer program segments that can be executed by at least one processor and can complete fixed functions, and are stored in a memory. In this embodiment, the functions of each module will be described in detail in subsequent embodiments.
  • Obtaining module 201 used to obtain logs output by the distributed file system to be monitored.
  • the period for obtaining logs output by the distributed file system to be monitored may be preset, and the preset period may be set to 1 hour or 2 hours.
  • the preset period may be set to 1 hour or 2 hours.
  • Identification module 202 used to identify the operation type of each row of data in the log.
  • the log output by the distributed file system to be monitored is recorded in a log record table, and an operation identifier is recorded in the log record table. It is sufficient to identify the operation identifier of each row of data in the log. Determine the type of operation for a single row of data.
  • the operation type may include upload, download, delete, or query.
  • the classification module 203 is configured to classify the data in the log according to the operation type.
  • the response parameters of the output log corresponding to each operation type are very different.
  • the data in the log is classified according to different operation types, for example: The data in the log whose type is upload is classified into the upload operation file; the data in the log whose operation type is download is classified into the download operation file.
  • the dividing module 204 is used to divide the data of the same operation type into different grades.
  • the grade may be set according to the size range of the data or the type of the data, where the type of the data may include: text files, video files, audio files, picture files, and so on.
  • the classification of the grades can also be specified according to actual conditions, and this application does not limit it here.
  • the following example illustrates how to divide the data of the same operation type into different grades according to the size range of the data.
  • the size range of all data corresponding to the upload operation can be divided into three levels, and the data in the size range of 10K-500K in the upload operation is divided into the first level; the size range in the upload operation is The data of 500K-2000K is divided into the second level; the data in the size range of 2000K-3M in the upload operation is divided into the third level.
  • the following example illustrates how to divide the data of the same operation type into different grades according to the type of data.
  • the operation type is a download operation
  • all data corresponding to the download operation can be divided into four levels according to the data type, and the data whose data type is a text file in the download operation is divided into the first level; the data type in the download operation is The data of the video file is divided into the second level; the data whose data type is the audio file in the download operation is divided into the third level; the data whose data type is the picture file in the download operation is divided into the fourth level.
  • the first calculation module 205 is used to calculate the response parameters of each grade in the same operation type.
  • the same operation type contains multiple levels, and each level contains multiple data, and the response parameters of multiple data with the same level in the same operation type are calculated.
  • the calculation of the response parameters of each grade in the same operation type by the first calculation module 205 includes:
  • the average response parameter is determined as the response parameter of the corresponding grade.
  • the response parameters of multiple data of the same grade in the same operation type are averaged to obtain response parameters of multiple data of the same grade in the same operation type.
  • the first level in the upload operation type includes 3 data
  • the response parameter of the first data is X1
  • the response parameter of the second data is X2
  • the response parameter of the third data is X3, which is calculated
  • the calculation time of the response parameters can be shortened, and the monitoring efficiency can be improved.
  • the second calculation module 206 is used to calculate the deviation value of the response parameter from the corresponding preset baseline data.
  • baseline data may be set in advance, and the deviation values of the response parameters of different grades of different types and the corresponding type-grade response parameters can be calculated according to the baseline data.
  • the monitoring device of the distributed file system further includes:
  • Creation module 207 used to create baseline data in advance.
  • the baseline data is created in advance based on response parameters of different types of different grades of historical logs.
  • the process for the creation module 207 to create the preset baseline data includes:
  • the second average response parameter is used as the preset baseline data of the corresponding type-grade.
  • the time period can be preset, the historical log within the preset time period can be obtained, and the historical log is divided into n parts according to the time information carried by the historical log.
  • the preset time period is 30.
  • the daily history log is divided into 30 copies. Identify the operation type in each sub-historical log and divide the same operation type according to different grades, and calculate the first average response parameter of each sub-historical log with the same grade in the same operation type. Calculate the second average response parameter of each sub-historical log in a preset time period according to the first average response parameter to obtain preset baseline data of the historical log response parameter.
  • the historical log in the preset time period is divided into n pieces, each grade of the same operation type of the first historical log includes i data, and each piece of the same operation type of each historical log is calculated
  • the second average response parameter is the prediction of the response parameter of the historical log.
  • the calculation of the deviation value of the response parameter from the corresponding preset baseline data by the second calculation module 206 includes:
  • the value obtained by dividing the absolute value of the difference by the preset baseline data of the corresponding type-grade is used as the deviation value.
  • the response parameters of the corresponding type-level are obtained from the preset baseline data, and the response parameters of the corresponding type and the corresponding level in the log output by the distributed file system to be monitored are calculated with the corresponding type and corresponding
  • the difference between the preset baseline data of the grade, and the deviation value is equal to the absolute value of the difference divided by the second average response parameter of the type and the corresponding grade corresponding to the log in the preset baseline data.
  • the target preset baseline data refers to the response parameters of the same type and the same level corresponding to the type and level in the log, and the same operation type in the log output by the distributed file system to be monitored is calculated
  • the difference between the response parameter of the same grade and the target preset baseline data corresponding to the type and the grade, and the deviation value is equal to the absolute value of the difference divided by the difference between the preset baseline data and the
  • the log corresponds to the second average response parameter of the type-grade.
  • Judging module 208 used to determine whether each deviation value is within a preset deviation threshold range.
  • the deviation threshold can be preset.
  • the preset deviation threshold is set to 10%, and each calculated deviation value is compared with the preset deviation threshold to determine each deviation. Whether the value is within the preset deviation threshold.
  • the response parameters and the response parameters of the logs output by the distributed file system to be monitored of the same grade of the same operation type can be determined in the first time.
  • Output module 209 When the judgment module 208 determines that each deviation value meets the preset deviation threshold range, output the result that the distributed file system is operating normally.
  • the output module 209 is further configured to output the result of the abnormal operation of the distributed file system when the judgment module 208 determines that at least one deviation value does not meet the preset deviation threshold range.
  • the monitoring device of the distributed file system further includes:
  • Sending module 210 used to send alarm information to the administrator.
  • the alarm information carrying the abnormal result is sent to the administrator, where the alarm information includes the specific operation type and the abnormality of the abnormal data.
  • the specific operation type of the data corresponds to the specific grade.
  • the monitoring device of the distributed file system further includes:
  • Identification module 211 used to identify abnormal data in the log output by the distributed file system to be monitored, where the log is stored in a blockchain node.
  • the above dictionary can also be stored in a node of a blockchain.
  • the administrator by sending alarm information to the administrator, the administrator is notified that the data in the specific grade in the specific operation type is abnormal, and the abnormal data in the log output by the distributed file system to be monitored is identified. , It is convenient for administrators to directly locate abnormal data and subsequent maintenance, shorten the time to check abnormal data, improve operation and maintenance efficiency, and improve user experience and ensure the stability of the distributed file system.
  • the monitoring device of a distributed file system described in this application can be applied in the fields of financial technology and smart cities where a distributed file system needs to be deployed, to promote the construction of financial technology and smart cities.
  • This application calculates the deviation values of the response parameters of different grades in different types from the preset baseline data to determine whether each deviation value meets the preset threshold value range, and can quickly determine the specific grade corresponding to the specific operation type. Abnormalities occur in the logs, which shortens the time to investigate abnormal data, improves the efficiency of operation and maintenance, and at the same time improves the user experience and ensures the stability of the distributed file system.
  • the terminal 3 includes a memory 31, at least one processor 32, at least one communication bus 33, and a transceiver 34.
  • the structure of the terminal shown in FIG. 3 does not constitute a limitation of the embodiment of the present application. It may be a bus-type structure or a star structure. The terminal 3 may also include more More or less other hardware or software, or different component arrangements.
  • the terminal 3 is a terminal that can automatically perform numerical calculation and/or information processing in accordance with pre-set or stored instructions.
  • Its hardware includes, but is not limited to, a microprocessor, an application specific integrated circuit, and Programming gate arrays, digital processors and embedded devices, etc.
  • the terminal 3 may also include client equipment.
  • the client equipment includes, but is not limited to, any electronic product that can interact with the client through a keyboard, a mouse, a remote control, a touch panel, or a voice control device, for example, a personal computer. Computers, tablets, smart phones, digital cameras, etc.
  • terminal 3 is only an example. If other existing or future electronic products can be adapted to this application, they should also be included in the protection scope of this application and included here by reference.
  • the memory 31 is used to store program codes and various data, such as the monitoring device 20 of the distributed file system installed in the terminal 3, and realizes high-speed and automatic operation during the operation of the terminal 3. Complete program or data access.
  • the memory 31 includes random access memory (Random Access Memory, RAM), read-only memory (Read-Only Memory, ROM), programmable read-only memory (Programmable Read-Only Memory, PROM), erasable programmable memory Erasable Programmable Read-Only Memory (EPROM), One-time Programmable Read-Only Memory (OTPROM), Electronically-Erasable Programmable Read-Only Memory , EEPROM), CD-ROM (Compact Disc Read-Only Memory, CD-ROM).
  • the memory 31 may also include, for example, a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card (Flash Card), and at least one disk.
  • a hard disk a memory
  • a plug-in hard disk a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card (Flash Card), and at least one disk.
  • a smart memory card Smart Media Card, SMC
  • SD Secure Digital
  • flash memory card Flash Card
  • Storage devices or other non-volatile/volatile storage devices.
  • the at least one processor 32 may be composed of integrated circuits, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits with the same function or different functions, including one Or a combination of multiple central processing units (CPU), microprocessors, digital processing chips, graphics processors, and various control chips.
  • the at least one processor 32 is the control core (Control Unit) of the terminal 3.
  • Various interfaces and lines are used to connect the various components of the entire terminal 3, and by running or executing programs or modules stored in the memory 31, And call the data stored in the memory 31 to perform various functions of the terminal 3 and process data, for example, to perform monitoring of a distributed file system.
  • the at least one communication bus 33 is configured to implement connection and communication between the memory 31 and the at least one processor 32 and the like.
  • the terminal 3 may also include a power source (such as a battery) for supplying power to various components.
  • the power source may be logically connected to the at least one processor 32 through a power management device, so as to realize management through the power management device. Functions such as charging, discharging, and power management.
  • the power supply may also include any components such as one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, and power status indicators.
  • the terminal 3 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the above-mentioned integrated unit implemented in the form of a software function module may be stored in a computer readable storage medium.
  • the above-mentioned software function module is stored in a storage medium and includes several instructions to make a computer device (which may be a personal computer, a terminal, or a network device, etc.) or a processor execute the method described in each embodiment of the present application. section.
  • the at least one processor 32 can execute the operating device of the terminal 3 and various installed applications (such as the monitoring device 20 of the distributed file system), and programs Code, etc., for example, the various modules mentioned above.
  • the memory 31 stores program codes, and the at least one processor 32 can call the program codes stored in the memory 31 to perform related functions.
  • the various modules described in FIG. 2 are program codes stored in the memory 31 and executed by the at least one processor 32, so as to realize the functions of the various modules to achieve monitoring of the distributed file system. the goal of.
  • the memory 31 stores a plurality of instructions, and the plurality of instructions are executed by the at least one processor 32 to realize the monitoring of the distributed file system.
  • An embodiment of the present application also provides a computer-readable storage medium having computer-executable instructions stored on the computer-readable storage medium, and when the multiple instructions are executed by a processor of a computer device, a monitoring method for a distributed file system is implemented ,
  • the monitoring method of the distributed file system includes:
  • this application can be used in many general or special-purpose computer system environments or configurations. For example: personal computers, server computers, handheld devices or portable devices, tablet devices, multi-processor systems, microprocessor-based systems, set-top boxes, programmable consumer electronic devices, network PCs, small computers, large computers, including Distributed computing environment of any of the above systems or equipment, etc.
  • This application may be described in the general context of computer-executable instructions executed by a computer, such as a program module.
  • program modules include routines, programs, objects, components, data structures, etc. that perform specific tasks or implement specific abstract data types.
  • This application can also be practiced in distributed computing environments. In these distributed computing environments, tasks are performed by remote processing devices connected through a communication network.
  • program modules can be located in local and remote computer storage media including storage devices.
  • the disclosed device and method can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the modules is only a logical function division, and there may be other division methods in actual implementation.
  • the computer-readable storage medium may be non-volatile or volatile.
  • the computer-readable storage medium may mainly include a storage program area and a storage data area, where the storage program area may store an operating system, an application program required by at least one function, etc.; the storage data area may store Data created by the use of nodes, etc.
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种分布式文件系统的监控方法、装置、终端及存储介质，涉及区块链技术领域，所述方法包括：获取待监测的分布式文件系统输出的日志（S11），识别日志中每行数据的操作类型（S12），根据操作类型对日志中的数据进行归类（S13），对同一操作类型的数据进行划分为不同的档次（S14）；计算同一操作类型中每个档次的响应参数（S15）；计算响应参数与对应预设基线数据的偏差值（S16）；当确定每个偏差值都在预设的偏差阈值范围内时，输出分布式文件系统运行正常的结果（S18）。所述方法通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，快速的定位出日志中异常数据的操作类型及具体的档次，提高了运维效率。此外，日志存储于区块链节点中。

Description

分布式文件系统的监控方法、装置、终端及存储介质
本申请要求于2019年10月18日提交中国专利局，申请号为201910995097.7发明名称为“分布式文件系统的监控方法、装置、终端及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及云存储技术领域，具体涉及一种分布式文件系统的监控方法、装置、终端及存储介质。
背景技术
随着云存储的广泛使用，如何保证云存储的稳定运行，早于用户发现云存储的运行问题并尽早解决掉，成为云存储建设方关注的重要问题。
发明人意识到现有的云存储的监控主要是针对云存储服务和存储硬件的监控，比如是服务被停掉，或者存储磁盘出现了坏盘的告警，出现这些异常发送监控告警，及时的解决异常问题保证云存储稳定运行，未考虑到当云存储运行过程中分布式文件系统底层的服务出现性能下降的问题，例如用户上传下载相同类型的文件时操作出现响应时间增大，直接就降低了用户的体验，严重的情况下还会引起用户的流失。因此，构建基于用户操作相同类型的文件的响应参数的性能监控的方案成为了亟待解决的问题。
发明内容
鉴于以上内容，有必要提出一种分布式文件系统的监控方法、装置、终端及存储介质，通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，快速的确定出具体的操作类型对应的具体的档次中的日志出现的异常，提高了运维效率。
本申请的第一方面提供一种分布式文件系统的监控方法，所述方法包括：
获取待监测的分布式文件系统输出的日志；
识别所述日志中每行数据的操作类型；
根据所述操作类型对所述日志中的数据进行归类；
将同一操作类型的数据划分为不同的档次；
计算同一操作类型中每个档次的响应参数；
计算所述响应参数与对应预设基线数据的偏差值；
判断每个偏差值是否在预设的偏差阈值范围内；
当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
本申请的第二方面提供一种终端，所述终端包括存储器及处理器，所述存储器用于存储至少一个计算机可读指令，所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤：
获取待监测的分布式文件系统输出的日志；
识别所述日志中每行数据的操作类型；
根据所述操作类型对所述日志中的数据进行归类；
将同一操作类型的数据划分为不同的档次；
计算同一操作类型中每个档次的响应参数；
计算所述响应参数与对应预设基线数据的偏差值；
判断每个偏差值是否在预设的偏差阈值范围内；
当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
本申请的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个计算机可读指令，所述至少一个计算机可读指令被处理器执行时以实现以下步骤：
获取待监测的分布式文件系统输出的日志；
识别所述日志中每行数据的操作类型；
根据所述操作类型对所述日志中的数据进行归类；
将同一操作类型的数据划分为不同的档次；
计算同一操作类型中每个档次的响应参数；
计算所述响应参数与对应预设基线数据的偏差值；
判断每个偏差值是否在预设的偏差阈值范围内；
当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
本申请的第四方面提供一种分布式文件系统的监控装置，所述装置包括：
获取模块，用于获取待监测的分布式文件系统输出的日志；
识别模块，用于识别所述日志中每行数据的操作类型；
归类模块，用于根据所述操作类型对所述日志中的数据进行归类；
划分模块，用于将同一操作类型的数据划分为不同的档次；
第一计算模块，用于计算同一操作类型中每个档次的响应参数；
第二计算模块，用于计算所述响应参数与对应预设基线数据的偏差值；
判断模块，用于判断每个偏差值是否在预设的偏差阈值范围内；
输出模块，用于当所述判断模块确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
综上所述，本申请所述的分布式文件系统的监控方法、装置、终端及存储介质，能够监控海量数据、结构化数据、非结构化数据、数据平台、数据中心等领域的数据，本申请通过获取待监测的分布式文件系统输出的日志；识别所述日志中每行数据的操作类型；根据所述操作类型对所述日志中的数据进行归类；将同一操作类型的数据划分为不同的档次；计算同一操作类型中每个档次的响应参数；计算所述响应参数与对应预设基线数据的偏差值；判断每个偏差值是否在预设的偏差阈值范围内；当确定所述每个偏差值都在预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果；当确定其中有一个偏差值不在预设的偏差阈值范围内时，输出所述分布式文件系统运行异常的结果。本申请通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，判断每一个偏差值是否符合预设阈值范围内，可以快速的确定出具体的操作类型对应的具体的档次中的日志出现了异常，缩短了排查异常数据的时间，提高了运维效率，同时提升了用户的体验和保证了分布式文件系统运行的稳定性。
由以上可知，本申请可应用在需部署分布式文件系统的金融科技及智慧城市领域中，推动金融科技及智慧城市的建设。
附图说明
图1是本申请实施例一提供的分布式文件系统的监控方法的流程图。
图2是本申请实施例二提供的分布式文件系统的监控装置的结构图。
图3是本申请实施例三提供的终端的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
实施例一
图1是本申请实施例一提供的分布式文件系统的监控方法的流程图。
在本实施例中，所述分布式文件系统的监控方法可以应用于终端中，对于需要进行分布式文件系统的监控终端，可以直接在终端上集成本申请的方法所提供的分布式文件系统的监控的功能，或者以软件开发工具包(Software Development Kit，SKD)的形式运行在终端中。
如图1所示，所述分布式文件系统的监控方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11：获取待监测的分布式文件系统输出的日志。
本实施例中，可以预先设置获取待监测的分布式文件系统输出的日志的周期，所述预设周期可以设置为1小时或者2小时。当所述待监测的分布式文件系统输出的日志的周期达到了预设周期时，获取所述待监测的分布式文件系统输出的日志，其中，所述日志可以来源于海量数据、结构化数据、非结构化数据、数据平台、数据中心等领域中的日志。
S12：识别所述日志中每行数据的操作类型。
本实施例中，所述待监测的分布式文件系统输出的日志记录在日志记录表中，所述日志记录表中记录有操作标识符，识别所述日志中每行数据的操作标识符即可确定单行数据的操作类型。
所述操作类型可以包括上传、下载、删除或者查询等。
S13：根据所述操作类型对所述日志中的数据进行归类。
本实施例中，所述日志的操作类型有多种，每种操作类型对应的输出日志的响应参数差异很大，将所述日志中的数据按照不同的操作类型进行归类，例如：将操作类型为上传的日志中的数据归类到上传操作文件中；将操作类型为下载的日志中的数据归类到下载操作文件中。通过将所述相同操作类型的日志进行归类，在一定的程度上可以避免由于所述不同操作类型的日志中的数据混合引起的待监测的分布式文件系统输出的日志的响应参数出现的具大差异。
S14：将同一操作类型的数据划分为不同的档次。
本实施例中，所述档次可以是按照数据的大小范围或者数据的类型等进行设置的，其中，所述数据的类型可以包括：文本文件、视频文件、音频文件、图片文件等。在其他实施例中，所述档次的划分还可以根据实际情况进行规定，本申请在此不作限制。
下面举例说明如何根据数据的大小范围将同一操作类型的数据划分为不同的档次。假设操作类型为上传操作，则可以将上传操作对应的所有数据的大小范围划分为三个档次，将上传操作中大小范围在10K-500K的数据划分为第一档次；将上传操作中大小范围在500K-2000K的数据划分为第二档次；将上传操作中大小范围为2000K-3M的数据划分为第三档次。
下面举例说明如何根据数据的类型将同一操作类型的数据划分为不同的档次。假设操作类型为下载操作，则可以将下载操作对应的所有数据按照数据的类型划分为四个档次，将下载操作中数据类型为文本文件的数据划分为第一档次；将下载操作中数据类型为视频文件的数据划分为第二档次；将下载操作中数据类型为音频文件的数据划分为第三档次；将下载操作中数据类型为图片文件的数据划分为第四档次。
S15：计算同一操作类型中每个档次的响应参数。
本实施例中，同一操作类型中包含多个档次，每个档次里面包含有多个数据，计算同一操作类型中具有相同档次的多个数据的响应参数。
优选的，所述计算同一操作类型中每个档次的响应参数包括：
获取同一操作类型中每个档次的每个数据的响应参数；
根据所述响应参数计算每个操作类型中每个档次的平均响应参数；
将所述平均响应参数确定为对应档次的响应参数。
本实施例中，将所述同一操作类型中的相同档次的多个数据的响应参数求平均值，得到同一操作类型中具有相同档次的多个数据的响应参数。
示例性的，上传操作类型中的第一档次中包括3个数据，第一个数据的响应参数为X1，第二个数据的响应参数为X2，第三个数据的响应参数为X3，计算得到上传操作中第一档次对应的平均响应参数为Y，所述Y＝(X1+X2+X3)÷3。
本实施例中，通过计算同一操作类型中具有相同档次的多个数据的响应参数，可以缩短响应参数的计算时间，提高监控效率。
S16：计算所述响应参数与对应预设基线数据的偏差值。
本实施例中，可以预先设置基线数据，根据所述基线数据计算不同类型中不同档次的响应参数与对应类型-档次的响应参数的偏差值。
优选的，所述计算不同类型中不同档次的响应参数与预设基线数据的偏差值之前，所述方法还包括：
预先创建基线数据。
本实施例中，所述基线数据是预先根据不同类型中不同档次的历史日志的响应参数创建的。
优选的，所述预设基线数据的创建过程包括：
获取预设时间段内的历史日志；
根据所述历史日志记录的时间顺序将所述历史日志均分为多份子历史日志；
识别每份子历史日志中每行数据的操作类型；
根据所述操作类型对每份子历史日志中的数据进行归类；
将每份子历史日志中同一操作类型的数据划分为不同的档次；
计算所述每份子历史日志中同一操作类型中每个档次的每个数据的响应参数；
根据所述响应参数计算同一份子历史日志中同一操作类型中每个档次的第一平均响应参数；
根据所述第一平均响应参数计算同一操作类型中每个档次的多份子历史日志的第二平均响应参数；
将所述第二平均响应参数作为所述对应类型-档次的预设基线数据。
本实施例中，可以预先设置时间段，获取预设时间段内的历史日志，根据所述历史日志携带的时间信息将所述历史日志均分为n份，例如，预设的时间段为30天，根据历史日志携带的时间将每天的历史日志作为一份，共划分为30份子历史日志。识别每份子历史日志中每行数据的操作类型并将同一操作类型按照不同的档次进行划分，计算同一操作类型中具有相同档次的每份子历史日志的第一平均响应参数，根据所述第一平均响应参数计算预设时间段内每份子历史日志的第二平均响应参数，得到所述历史日志响应参数的预设基线数据。
示例性的：预设时间段内的历史日志划分为n份，第一份历史日志的同一操作类型中每个档次中包括i个数据，计算每一份历史日志的同一操作类型中的每个档次中i个数据的第一平均响应参数，如表一中，第一份上传操作的第一档次的第一平均响应参数为A1＝(A11+A12+……+A1i)÷i，第二份上传操作的第一档次的第一平均响应参数为A2＝(A21+A22+……+A2i)÷i，计算同一操作类型中相同档次的多个第一响应参数的平均值得到第二平均响应参数，如表二中，上传操作中第一档次的第二平均响应参数为A＝ (A1+A2+……+An)÷n，所述第二平均响应参数为所述历史日志的响应参数的预设基线数据。
表一 计算第一平均响应参数
Figure PCTCN2020098234-appb-000001
表二 计算第二平均响应参数
Figure PCTCN2020098234-appb-000002
优选的，所述计算所述响应参数与对应预设基线数据的偏差值包括：
获取对应类型-档次的预设基线数据；
计算所述对应类型-档次的响应参数与所述对应类型-档次的预设基线数据的差值；
将所述差值的绝对值除以所述对应类型-档次的预设基线数据得到的值作为偏差值。
本实施例中，从所述预设基线数据中获取对应类型-档次的响应参数，计算所述待监测分布式文件系统输出的日志中对应类型和对应档次的响应参数与所述对应类型和对应档次的预设基线数据的差值，所述偏差值等于所述差值的绝对值除以所述预设基线数据中与所述日志对应类型和对应档次的所述第二平均响应参数。
示例性的，获取所述响应参数Y，Y表示上传操作的第一档次的平均响应参数，获取所述预设基线数据中对应的上传操作的第一档次的第二平均响应参数A，所述监控数据与所述预设基线数据的偏差值Z＝|Y-A|÷A。
S17：判断每个偏差值是否在预设的偏差阈值范围内。
本实施例中，可以预先设置偏差阈值，如将所述预设的偏差阈值设置为10％，将计算得到的每个偏差值与所述预设的偏差阈值进行比较，判断所述每个偏差值是否在预设的偏差值阈值范围内。
本实施例中，通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，可以第一时间确定出同一操作类型中相同档次的待监测分布式文件系统输出的日志的响应参数与历史日志对应的相同类型-档次的响应参数的偏差值，判断所述偏差值是否在预设的偏差阈值范围内，可以快速的判断出具体的操作类型对应的具体的档次内的数据是否出现了异常，提高了运维的效率，保证了分布式文件系统运行的稳定性。
当确定所述每个偏差值都满足预设的偏差阈值范围内时，执行步骤S18；当确定有至少一个偏差值不在所述预设的偏差阈值范围内时，执行步骤S19。
S18：输出所述分布式文件系统运行正常的结果。
本实施例中，当所述待监测的分布式文件系统输出的日志的每一个偏差值都在所述预设的偏差阈值范围之内时，确定所述待监测的分布式文件系统输出的日志的数据中的每一个偏差值都符合要求，无异常数据出现，输出所述分布式文件系统运行正常的结果。
S19：输出所述分布式文件系统运行异常的结果。
本实施例中，当所述待监测的分布式文件系统输出的日志的所述偏差值中有一个偏差值不在所述预设的偏差阈值范围之内时，确定所述不在预设的偏差阈值范围之内偏差值所对应的日志中的数据出现了异常，导致所述分布式文件系统运行出现了异常，输出所述异常的结果。
进一步的，在所述输出所述分布式文件系统运行异常的结果之后，所述方法还包括：
向管理员发送告警信息。
本实施例中，在所述分布式文件系统输出运行异常的结果之后，将携带有所述异常结果的告警信息发送至管理员，其中，所述告警信息中包括异常数据的具体操作类型和异常数据的具体操作类型对应的具体的档次。
进一步的，在所述向管理员发送告警信息之后，所述方法还包括：
标识所述待监测的分布式文件系统输出的日志中的异常数据，其中，所述日志存储于区块链节点中。
需要强调的是，为进一步保证上述字典的私密和安全性，上述字典还可以存储于一区块链的节点中。
本实施例中，通过向管理员发送告警信息，告知管理员具体的操作类型中的具体档次中的数据出现了异常并对所述待监测的分布式文件系统输出的日志中的异常数据进行标识，便于管理员直接定位出现异常的数据及后期维护，缩短了排查异常数据的时间，提高了运维效率，同时提升和用户体验和保证了分布式文件系统的运行的稳定性。
综上所述，本申请所述的一种分布式文件系统的监控方法，可应用在需部署分布式文件系统的金融科技及智慧城市领域中，推动金融科技及智慧城市的建设。本申请通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，判断每个偏差值是否符合预设阈值范围内，可以快速的确定出具体的操作类型对应的具体的档次中的日志出现了异常，缩短了排查异常数据的时间，提高了运维效率，同时提升了用户的体验和保证了分布式文件系统运行的稳定性。
实施例二
图2是本申请实施例二提供的分布式文件系统的监控装置的结构图。
在一些实施例中，所述分布式文件系统的监控装置20可以包括多个由程序代码段所组成的功能模块。所述分布式文件系统的监控装置20中的各个程序段的程序代码可以存储于终端的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)对存在分布式文件系统进行监控。
本实施例中，所述分布式文件系统的监控装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、识别模块202、归类模块203、划分模块204、第一计算模块205、第二计算模块206、创建模块207、判断模块208、输出模块209、发送模块210及标识模块211。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
获取模块201：用于获取待监测的分布式文件系统输出的日志。
本实施例中，可以预先设置获取待监测的分布式文件系统输出的日志的周期，所述预设 周期可以设置为1小时或者2小时。当所述待监测的分布式文件系统输出的日志的周期达到了预设周期时，获取所述待监测的分布式文件系统输出的日志，其中，所述日志可以来源于海量数据、结构化数据、非结构化数据、数据平台、数据中心等领域中的日志。
识别模块202：用于识别所述日志中每行数据的操作类型。
本实施例中，所述待监测的分布式文件系统输出的日志记录在日志记录表中，所述日志记录表中记录有操作标识符，识别所述日志中每行数据的操作标识符即可确定单行数据的操作类型。
所述操作类型可以包括上传、下载、删除或者查询等。
归类模块203：用于根据所述操作类型对所述日志中的数据进行归类。
本实施例中，所述日志的操作类型有多种，每种操作类型对应的输出日志的响应参数差异很大，将所述日志中的数据按照不同的操作类型进行归类，例如：将操作类型为上传的日志中的数据归类到上传操作文件中；将操作类型为下载的日志中的数据归类到下载操作文件中。通过将所述相同操作类型的日志进行归类，在一定的程度上可以避免由于所述不同操作类型的日志中的数据混合引起的待监测的分布式文件系统输出的日志的响应参数出现的具大差异。
划分模块204：用于将同一操作类型的数据划分为不同的档次。
本实施例中，所述档次可以是按照数据的大小范围或者数据的类型进行设置的，其中，所述数据的类型可以包括：文本文件、视频文件、音频文件、图片文件等。在其他实施例中，所述档次的划分还可以根据实际情况进行规定，本申请在此不作限制。
下面举例说明如何根据数据的大小范围将同一操作类型的数据划分为不同的档次。假设操作类型为上传操作，则可以将上传操作对应的所有数据的大小范围划分为三个档次，将上传操作中大小范围在10K-500K的数据划分为第一档次；将上传操作中大小范围在500K-2000K的数据划分为第二档次；将上传操作中大小范围为2000K-3M的数据划分为第三档次。
下面举例说明如何根据数据的类型将同一操作类型的数据划分为不同的档次。假设操作类型为下载操作，则可以将下载操作对应的所有数据按照数据的类型划分为四个档次，将下载操作中数据类型为文本文件的数据划分为第一档次；将下载操作中数据类型为视频文件的数据划分为第二档次；将下载操作中数据类型为音频文件的数据划分为第三档次；将下载操作中数据类型为图片文件的数据划分为第四档次。
第一计算模块205：用于计算同一操作类型中每个档次的响应参数。
本实施例中，同一操作类型中包含多个档次，每个档次里面包含有多个数据，计算同一操作类型中具有相同档次的多个数据的响应参数。
优选的，所述第一计算模块205计算同一操作类型中每个档次的响应参数包括：
获取同一操作类型中每个档次的每个数据的响应参数；
根据所述响应参数计算每个操作类型中每个档次的平均响应参数；
将所述平均响应参数确定为对应档次的响应参数。
本实施例中，将所述同一操作类型中的相同档次的多个数据的响应参数求平均值，得到同一操作类型中具有相同档次的多个数据的响应参数。
示例性的，上传操作类型中的第一档次中包括3个数据，第一个数据的响应参数为X1，第二个数据的响应参数为X2，第三个数据的响应参数为X3，计算得到上传操作中第一档次对应的平均响应参数为Y，所述Y＝(X1+X2+X3)÷3。
本实施例中，通过计算同一操作类型中具有相同档次的多个数据的响应参数，可以缩短响应参数的计算时间，提高监控效率。
第二计算模块206：用于计算所述响应参数与对应预设基线数据的偏差值。
本实施例中，可以预先设置基线数据，根据所述基线数据计算不同类型中不同档次的响应参数与对应类型-档次的响应参数的偏差值。
优选的，所述第二计算模块206计算不同类型中不同档次的响应参数与预设基线数据的偏差值之前，所述分布式文件系统的监控装置还包括：
创建模块207：用于预先创建基线数据。
本实施例中，所述基线数据是预先根据不同类型中不同档次的历史日志的响应参数创建的。
优选的，所述创建模块207用于创建所述预设基线数据的过程包括：
获取预设时间段内的历史日志；
根据所述历史日志记录的时间顺序将所述历史日志均分为多份子历史日志；
识别每份子历史日志中每行数据的操作类型；
根据所述操作类型对每份子历史日志中的数据进行归类；
将每份子历史日志中同一操作类型的数据划分为不同的档次；
计算所述每份子历史日志中同一操作类型中每个档次的每个数据的响应参数；
根据所述响应参数计算同一份子历史日志中同一操作类型中每个档次的第一平均响应参数；
根据所述第一平均响应参数计算同一操作类型中每个档次的多份子历史日志的第二平均响应参数；
将所述第二平均响应参数作为所述对应类型-档次的预设基线数据。
表一 计算第一平均响应参数
Figure PCTCN2020098234-appb-000003
表二 计算第二平均响应参数
Figure PCTCN2020098234-appb-000004
本实施例中，可以预先设置时间段，获取预设时间段内的历史日志，根据所述历史日志携带的时间信息将所述历史日志均分为n份，例如，预设的时间段为30天，根据历史日志携带的时间将每天的历史日志作为一份，共划分为30份。识别每份子历史日志中的操作类型并将同一操作类型按照不同的档次进行划分，计算同一操作类型中具有相同档次的每份子历史日志的第一平均响应参数。根据所述第一平均响应参数计算预设时间段内每份子历史日志的 第二平均响应参数，得到所述历史日志响应参数的预设基线数据。
示例性的：预设时间段内的历史日志划分为n份，第一份历史日志的同一操作类型中每个档次中包括i个数据，计算每一份历史日志的同一操作类型中的每个档次中i个数据的第一平均响应参数，如表一中，第一份上传操作的第一档次的第一平均响应参数为A1＝(A11+A12+……+A1i)÷i，第二份上传操作的第一档次的第一平均响应参数为A2＝(A21+A22+……+A2i)÷i，计算同一操作类型中相同档次的多个第一响应参数的平均值得到第二平均响应参数，如表二中，上传操作中第一档次的第二平均响应参数为A＝(A1+A2+……+An)÷n，所述第二平均响应参数为所述历史日志的响应参数的预设基线数据。
优选的，所述第二计算模块206计算所述响应参数与对应预设基线数据的偏差值包括：
获取对应类型-档次的预设基线数据；
计算所述对应类型-档次的响应参数与所述对应类型-档次的预设基线数据的差值；
将所述差值的绝对值除以所述对应类型-档次的预设基线数据得到的值作为偏差值。
本实施例中，从所述预设基线数据中获取对应类型-档次的响应参数，计算所述待监测分布式文件系统输出的日志中对应类型和对应档次的响应参数与所述对应类型和对应档次的预设基线数据的差值，所述偏差值等于所述差值的绝对值除以所述预设基线数据中与所述日志对应类型和对应档次的所述第二平均响应参数。
本实施例中，所述目标预设基线数据是指与所述日志中的类型和档次对应的相同类型和相同档次的响应参数，计算所述待监测分布式文件系统输出的日志中同一操作类型中具有相同档次的响应参数与所述类型和所述档次对应的目标预设基线数据的差值，所述偏差值等于所述差值的绝对值除以所述预设基线数据中与所述日志对应类型-档次的所述第二平均响应参数。
示例性的，获取所述响应参数Y，Y表示上传操作的第一档次的平均响应参数，获取所述预设基线数据中对应的上传操作的第一档次的第二平均响应参数A，所述监控数据与所述预设基线数据的偏差值Z＝|Y-A|÷A。
判断模块208：用于判断每个偏差值是否在预设的偏差阈值范围内。
本实施例中，可以预先设置偏差阈值，如将所述预设的偏差阈值设置为10％，将计算得到的每个偏差值与所述预设的偏差阈值进行比较，判断所述每个偏差值是否在预设的偏差值阈值范围内。
本实施例中，通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，可以第一时间确定出同一操作类型中相同档次的待监测分布式文件系统输出的日志的响应参数与历史日志对应的相同类型-档次的响应参数的偏差值，判断所述偏差值是否在预设的偏差阈值范围内，可以快速的判断出具体的操作类型对应的具体的档次内的数据是否出现了异常，提高了运维的效率，保证了分布式文件系统运行的稳定性。
输出模块209：当所述判断模块208确定每个偏差值都满足预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
本实施例中，当所述待监测的分布式文件系统输出的日志的每个偏差值都在所述预设的偏差阈值范围之内时，确定所述待监测的分布式文件系统输出的日志的数据中的每个偏差值都符合要求，无异常数据出现，输出所述分布式文件系统运行正常的结果。
所述输出模块209：还用于当所述判断模块208确定有至少一个偏差值不满足预设的偏差阈值范围内时，输出所述分布式文件系统运行异常的结果。
本实施例中，当所述待监测的分布式文件系统输出的日志的所述偏差值中有一个偏差值不在所述预设的偏差阈值范围之内时，确定所述不在预设的偏差阈值范围之内偏差值所对应的日志中的数据出现了异常，导致所述分布式文件系统运行出现了异常，输出所述异常的结果。
进一步的，在所述输出模块209输出所述分布式文件系统运行异常的结果之后，所述分布式文件系统的监控装置还包括：
发送模块210：用于向管理员发送告警信息。
本实施例中，在所述分布式文件系统输出运行异常的结果之后，将携带有所述异常结果的告警信息发送至管理员，其中，所述告警信息中包括异常数据的具体操作类型和异常数据的具体操作类型对应的具体的档次。
进一步的，在所述发送模块210向管理员发送告警信息之后，所述分布式文件系统的监控装置还包括：
标识模块211：用于标识所述待监测的分布式文件系统输出的日志中的异常数据，其中，所述日志存储于区块链节点中。
需要强调的是，为进一步保证上述字典的私密和安全性，上述字典还可以存储于一区块链的节点中。
本实施例中，通过向管理员发送告警信息，告知管理员具体的操作类型中的具体档次中的数据出现了异常并对所述待监测的分布式文件系统输出的日志中的异常数据进行标识，便于管理员直接定位出现异常的数据及后期维护，缩短了排查异常数据的时间，提高了运维效率，同时提升和用户体验和保证了分布式文件系统的运行的稳定性。
综上所述，本申请所述的一种分布式文件系统的监控装置，可应用在需部署分布式文件系统的金融科技及智慧城市领域中，推动金融科技及智慧城市的建设。本申请通过计算不同类型中不同档次的响应参数与预设基线数据的偏差值，判断每一个偏差值是否符合预设阈值范围内，可以快速的确定出具体的操作类型对应的具体的档次中的日志出现了异常，缩短了排查异常数据的时间，提高了运维效率，同时提升了用户的体验和保证了分布式文件系统运行的稳定性。
实施例三
参阅图3所示，为本申请实施例三提供的终端的结构示意图。在本申请较佳实施例中，所述终端3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的终端的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述终端3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述终端3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述终端3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述终端3中的分布式文件系统的监控装置20，并在终端3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括随机存取存储器(Random Access Memory，RAM)，只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)。此外，所述存储器31还可以包括例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital， SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、或其他非易失性/易失性存储器件。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述终端3的控制核心(Control Unit)，利用各种接口和线路连接整个终端3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行终端3的各种功能和处理数据，例如执行分布式文件系统的监控。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述终端3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述终端3的操作装置以及安装的各类应用程序(如所述的分布式文件系统的监控装置20)、程序代码等，例如，上述的各个模块。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到分布式文件系统的监控的目的。
在本申请的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以实现分布式文件系统的监控。
具体地，所述至少一个处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
实施例四
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述多个指令被计算机设备的处理器执行时实现分布式文件系统的监控方法，所述分布式文件系统的监控方法包括：
获取待监测的分布式文件系统输出的日志；
识别所述日志中每行数据的操作类型；
根据所述操作类型对所述日志中的数据进行归类；
将同一操作类型的数据划分为不同的档次；
计算同一操作类型中每个档次的响应参数；
计算所述响应参数与对应预设基线数据的偏差值；
判断每个偏差值是否在预设的偏差阈值范围内；
当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
具体地，所述多个指令被处理器执行以实现上述的分布式文件系统的监控可参考图1对 应实施例中相关步骤的描述，在此不赘述。
具体地，本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
进一步地，所述计算机可读存储介质可以是非易失性，也可以是易失性。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种分布式文件系统的监控方法，其中，所述分布式文件系统的监控方法包括：
    获取待监测的分布式文件系统输出的日志；
    识别所述日志中每行数据的操作类型；
    根据所述操作类型对所述日志中的数据进行归类；
    将同一操作类型的数据划分为不同的档次；
    计算同一操作类型中每个档次的响应参数；
    计算所述响应参数与对应预设基线数据的偏差值；
    判断每个偏差值是否在预设的偏差阈值范围内；
    当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
  2. 如权利要求1所述的分布式文件系统的监控方法，其中，所述计算同一操作类型中每个档次的响应参数包括：
    获取同一操作类型中每个档次的每个数据的响应参数；
    根据所述响应参数计算每个操作类型中每个档次的平均响应参数；
    将所述平均响应参数确定为对应档次的响应参数。
  3. 如权利要求1所述的分布式文件系统的监控方法，其中，所述预设基线数据的创建过程包括：
    获取预设时间段内的历史日志；
    根据所述历史日志记录的时间顺序将所述历史日志均分为多份子历史日志；
    识别每份子历史日志中每行数据的操作类型；
    根据所述操作类型对每份子历史日志中的数据进行归类；
    将每份子历史日志中同一操作类型的数据划分为不同的档次；
    计算所述每份子历史日志中同一操作类型中每个档次的每个数据的响应参数；
    根据所述响应参数计算同一份子历史日志中同一操作类型中每个档次的第一平均响应参数；
    根据所述第一平均响应参数计算同一操作类型中每个档次的多份子历史日志的第二平均响应参数；
    将所述第二平均响应参数作为所述对应类型-档次的预设基线数据。
  4. 如权利要求1所述的分布式文件系统的监控方法，其中，所述计算所述响应参数与对应预设基线数据的偏差值包括：
    获取对应类型-档次的预设基线数据；
    计算所述对应类型-档次的响应参数与所述对应类型-档次的预设基线数据的差值；
    将所述差值的绝对值除以所述对应类型-档次的预设基线数据得到的值作为偏差值。
  5. 如权利要求1至4中任意一项所述的分布式文件系统的监控方法，其中，所述分布式文件系统的监控方法还包括：
    当确定有至少一个偏差值不在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行异常的结果。
  6. 如权利要求5所述的分布式文件系统的监控方法，其中，在所述输出所述分布式文件系统运行异常的结果之后，所述分布式文件系统的监控方法还包括：
    向管理员发送告警信息。
  7. 如权利要求6所述的分布式文件系统的监控方法，其中，在所述向管理员发送告警信息之后，所述分布式文件系统的监控方法还包括：
    标识所述待监测的分布式文件系统输出的日志中的异常数据，其中，所述日志存储于区块链节点中。
  8. 一种终端，其中，所述终端包括存储器及处理器，所述存储器用于存储至少一个计算机可读指令，所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤：
    获取待监测的分布式文件系统输出的日志；
    识别所述日志中每行数据的操作类型；
    根据所述操作类型对所述日志中的数据进行归类；
    将同一操作类型的数据划分为不同的档次；
    计算同一操作类型中每个档次的响应参数；
    计算所述响应参数与对应预设基线数据的偏差值；
    判断每个偏差值是否在预设的偏差阈值范围内；
    当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
  9. 如权利要求8所述的终端，其中，所述处理器执行所述至少一个计算机可读指令以实现所述计算同一操作类型中每个档次的响应参数时，具体包括：
    获取同一操作类型中每个档次的每个数据的响应参数；
    根据所述响应参数计算每个操作类型中每个档次的平均响应参数；
    将所述平均响应参数确定为对应档次的响应参数。
  10. 如权利要求8所述的终端，其中，所述处理器执行所述至少一个计算机可读指令以实现所述预设基线数据的创建过程时，具体包括：
    获取预设时间段内的历史日志；
    根据所述历史日志记录的时间顺序将所述历史日志均分为多份子历史日志；
    识别每份子历史日志中每行数据的操作类型；
    根据所述操作类型对每份子历史日志中的数据进行归类；
    将每份子历史日志中同一操作类型的数据划分为不同的档次；
    计算所述每份子历史日志中同一操作类型中每个档次的每个数据的响应参数；
    根据所述响应参数计算同一份子历史日志中同一操作类型中每个档次的第一平均响应参数；
    根据所述第一平均响应参数计算同一操作类型中每个档次的多份子历史日志的第二平均响应参数；
    将所述第二平均响应参数作为所述对应类型-档次的预设基线数据。
  11. 如权利要求8所述的终端，其中，所述处理器执行所述至少一个计算机可读指令以实现所述计算所述响应参数与对应预设基线数据的偏差值时，具体包括：
    获取对应类型-档次的预设基线数据；
    计算所述对应类型-档次的响应参数与所述对应类型-档次的预设基线数据的差值；
    将所述差值的绝对值除以所述对应类型-档次的预设基线数据得到的值作为偏差值。
  12. 如权利要求8至11中任意一项所述的终端，其中，所述处理器执行所述至少一个计算机可读指令还用以实现以下步骤：
    当确定有至少一个偏差值不在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行异常的结果。
  13. 如权利要求12所述的终端，其中，在所述输出所述分布式文件系统运行异常的结果之后，所述处理器执行所述至少一个计算机可读指令还用以实现以下步骤：
    向管理员发送告警信息，并标识所述待监测的分布式文件系统输出的日志中的异常数据，其中，所述日志存储于区块链节点中。
  14. 一种计算机可读存储介质，其上存储有计算机可读指令，其中，所述计算机可读 存储介质存储有至少一个计算机可读指令，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
    获取待监测的分布式文件系统输出的日志；
    识别所述日志中每行数据的操作类型；
    根据所述操作类型对所述日志中的数据进行归类；
    将同一操作类型的数据划分为不同的档次；
    计算同一操作类型中每个档次的响应参数；
    计算所述响应参数与对应预设基线数据的偏差值；
    判断每个偏差值是否在预设的偏差阈值范围内；
    当确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
  15. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述计算同一操作类型中每个档次的响应参数时，具体包括：
    获取同一操作类型中每个档次的每个数据的响应参数；
    根据所述响应参数计算每个操作类型中每个档次的平均响应参数；
    将所述平均响应参数确定为对应档次的响应参数。
  16. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述预设基线数据的创建过程时，具体包括：
    获取预设时间段内的历史日志；
    根据所述历史日志记录的时间顺序将所述历史日志均分为多份子历史日志；
    识别每份子历史日志中每行数据的操作类型；
    根据所述操作类型对每份子历史日志中的数据进行归类；
    将每份子历史日志中同一操作类型的数据划分为不同的档次；
    计算所述每份子历史日志中同一操作类型中每个档次的每个数据的响应参数；
    根据所述响应参数计算同一份子历史日志中同一操作类型中每个档次的第一平均响应参数；
    根据所述第一平均响应参数计算同一操作类型中每个档次的多份子历史日志的第二平均响应参数；
    将所述第二平均响应参数作为所述对应类型-档次的预设基线数据。
  17. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述计算所述响应参数与对应预设基线数据的偏差值时，具体包括：
    获取对应类型-档次的预设基线数据；
    计算所述对应类型-档次的响应参数与所述对应类型-档次的预设基线数据的差值；
    将所述差值的绝对值除以所述对应类型-档次的预设基线数据得到的值作为偏差值。
  18. 如权利要求14至17中任意一项所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行还用以实现以下步骤：
    当确定有至少一个偏差值不在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行异常的结果。
  19. 如权利要求18所述的存储介质，其中，在所述输出所述分布式文件系统运行异常的结果之后，所述至少一个计算机可读指令被所述处理器执行还用以实现以下步骤：
    向管理员发送告警信息，并标识所述待监测的分布式文件系统输出的日志中的异常数据，其中，所述日志存储于区块链节点中。
  20. 一种分布式文件系统的监控装置，其中，所述分布式文件系统的监控装置包括：
    获取模块，用于获取待监测的分布式文件系统输出的日志；
    识别模块，用于识别所述日志中每行数据的操作类型；
    归类模块，用于根据所述操作类型对所述日志中的数据进行归类；
    划分模块，用于将同一操作类型的数据划分为不同的档次；
    第一计算模块，用于计算同一操作类型中每个档次的响应参数；
    第二计算模块，用于计算所述响应参数与对应预设基线数据的偏差值；
    判断模块，用于判断每个偏差值是否在预设的偏差阈值范围内；
    输出模块，用于当所述判断模块确定所述每个偏差值都在所述预设的偏差阈值范围内时，输出所述分布式文件系统运行正常的结果。
PCT/CN2020/098234 2019-10-18 2020-06-24 分布式文件系统的监控方法、装置、终端及存储介质 WO2021073144A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910995097.7A CN110908964B (zh) 2019-10-18 2019-10-18 分布式文件系统的监控方法、装置、终端及存储介质
CN201910995097.7 2019-10-18

Publications (1)

Publication Number Publication Date
WO2021073144A1 true WO2021073144A1 (zh) 2021-04-22

Family

ID=69815535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/098234 WO2021073144A1 (zh) 2019-10-18 2020-06-24 分布式文件系统的监控方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN110908964B (zh)
WO (1) WO2021073144A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535454A (zh) * 2021-07-15 2021-10-22 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN114209345A (zh) * 2021-11-22 2022-03-22 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 核医学设备及其校正源质控方法、系统、设备及存储介质
CN114386025A (zh) * 2021-12-14 2022-04-22 深圳前海微众银行股份有限公司 异常检测方法、装置、电子设备及存储介质
CN116185672A (zh) * 2023-04-28 2023-05-30 北京亿赛通科技发展有限责任公司 一种数据监控方法、装置及存储介质
CN116224400A (zh) * 2023-03-03 2023-06-06 博泰车联网(南京)有限公司 一种定位分析方法、装置、设备及存储介质
CN116366308A (zh) * 2023-03-10 2023-06-30 广东堡塔安全技术有限公司 一种基于云计算的服务器安全监控系统
CN116561076A (zh) * 2023-05-10 2023-08-08 合芯科技(苏州)有限公司 分布式文件系统的监控方法、装置、计算机设备及介质
CN116821837A (zh) * 2023-08-31 2023-09-29 北京中科心研科技有限公司 异常日志的主动报送方法、装置、电子设备及介质
CN114386025B (zh) * 2021-12-14 2024-06-04 深圳前海微众银行股份有限公司 异常检测方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908964B (zh) * 2019-10-18 2023-08-18 平安科技（深圳）有限公司 分布式文件系统的监控方法、装置、终端及存储介质
CN113472555B (zh) * 2020-03-30 2022-09-23 华为技术有限公司 故障检测方法、系统、装置、服务器及存储介质
CN111563022B (zh) * 2020-05-12 2023-09-05 中国民航信息网络股份有限公司 一种集中式存储器监控方法和装置
CN112000806B (zh) * 2020-08-25 2023-06-16 携程旅游信息技术（上海）有限公司 异常日志监控分析方法、系统、设备及存储介质
CN113872814A (zh) * 2021-09-29 2021-12-31 北京金山云网络技术有限公司 内容分发网络的信息处理方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488610A (zh) * 2015-11-23 2016-04-13 国网山东省电力公司信息通信公司 一种电力应用系统故障实时分析诊断系统及方法
CN106502875A (zh) * 2016-10-21 2017-03-15 过冬 一种基于云计算的日志生成方法及系统
CN106649068A (zh) * 2016-12-28 2017-05-10 福建三元达网络技术有限公司 一种系统故障日志记录方法及系统
US20190243972A1 (en) * 2018-02-06 2019-08-08 AO Kaspersky Lab System and method of training a machine learning model for detection of malicious containers
CN110113224A (zh) * 2019-03-19 2019-08-09 深圳壹账通智能科技有限公司 容量监控方法、装置、计算机设备及存储介质
CN110908964A (zh) * 2019-10-18 2020-03-24 平安科技（深圳）有限公司 分布式文件系统的监控方法、装置、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043870A1 (de) * 2007-09-14 2009-03-19 Siemens Ag Verfahren und Vorrichtung zur Klassifikation von Daten
JP2012181744A (ja) * 2011-03-02 2012-09-20 Kddi Corp 分散ファイルシステムにおける運用監視システム及び運用監視方法
CN106980562A (zh) * 2016-01-18 2017-07-25 中兴通讯股份有限公司 一种硬盘监控方法及装置
CN108563550A (zh) * 2018-04-23 2018-09-21 上海达梦数据库有限公司 一种分布式系统的监控方法、装置、服务器和存储介质
CN108572905B (zh) * 2018-04-23 2021-07-23 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488610A (zh) * 2015-11-23 2016-04-13 国网山东省电力公司信息通信公司 一种电力应用系统故障实时分析诊断系统及方法
CN106502875A (zh) * 2016-10-21 2017-03-15 过冬 一种基于云计算的日志生成方法及系统
CN106649068A (zh) * 2016-12-28 2017-05-10 福建三元达网络技术有限公司 一种系统故障日志记录方法及系统
US20190243972A1 (en) * 2018-02-06 2019-08-08 AO Kaspersky Lab System and method of training a machine learning model for detection of malicious containers
CN110113224A (zh) * 2019-03-19 2019-08-09 深圳壹账通智能科技有限公司 容量监控方法、装置、计算机设备及存储介质
CN110908964A (zh) * 2019-10-18 2020-03-24 平安科技（深圳）有限公司 分布式文件系统的监控方法、装置、终端及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535454A (zh) * 2021-07-15 2021-10-22 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN113535454B (zh) * 2021-07-15 2023-05-30 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN114209345A (zh) * 2021-11-22 2022-03-22 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 核医学设备及其校正源质控方法、系统、设备及存储介质
CN114209345B (zh) * 2021-11-22 2024-05-24 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 核医学设备及其校正源质控方法、系统、设备及存储介质
CN114386025A (zh) * 2021-12-14 2022-04-22 深圳前海微众银行股份有限公司 异常检测方法、装置、电子设备及存储介质
CN114386025B (zh) * 2021-12-14 2024-06-04 深圳前海微众银行股份有限公司 异常检测方法、装置、电子设备及存储介质
CN116224400A (zh) * 2023-03-03 2023-06-06 博泰车联网(南京)有限公司 一种定位分析方法、装置、设备及存储介质
CN116224400B (zh) * 2023-03-03 2024-01-02 博泰车联网(南京)有限公司 一种定位分析方法、装置、设备及存储介质
CN116366308B (zh) * 2023-03-10 2023-11-03 广东堡塔安全技术有限公司 一种基于云计算的服务器安全监控系统
CN116366308A (zh) * 2023-03-10 2023-06-30 广东堡塔安全技术有限公司 一种基于云计算的服务器安全监控系统
CN116185672A (zh) * 2023-04-28 2023-05-30 北京亿赛通科技发展有限责任公司 一种数据监控方法、装置及存储介质
CN116185672B (zh) * 2023-04-28 2023-08-22 北京亿赛通科技发展有限责任公司 一种数据监控方法、装置及存储介质
CN116561076A (zh) * 2023-05-10 2023-08-08 合芯科技(苏州)有限公司 分布式文件系统的监控方法、装置、计算机设备及介质
CN116821837A (zh) * 2023-08-31 2023-09-29 北京中科心研科技有限公司 异常日志的主动报送方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN110908964A (zh) 2020-03-24
CN110908964B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
WO2021073144A1 (zh) 分布式文件系统的监控方法、装置、终端及存储介质
WO2021129367A1 (zh) 一种监控分布式存储系统的方法及装置
CN111756601B (zh) 微服务架构监控方法、装置、计算机设备及可读存储介质
CN111736872B (zh) 灰度发布升级方法、装置、计算机系统及可读存储介质
CN112445854B (zh) 多源业务数据实时处理方法、装置、终端及存储介质
CN110838065A (zh) 一种交易数据处理方法及装置
CN112416728A (zh) 埋点数据获取方法、装置、客户端设备及可读存储介质
CN111694592A (zh) 项目版本发布的管理方法以及系统
CN112035472B (zh) 数据处理方法、装置、计算机设备和存储介质
CN110222535B (zh) 区块链配置文件的处理装置、方法及存储介质
CN109634802B (zh) 进程监控方法及终端设备
CN112698971A (zh) 基于规则引擎的参数转换方法、装置、设备及介质
CN112559831A (zh) 链路监控方法、装置、计算机设备及介质
CN111754123A (zh) 数据监控方法、装置、计算机设备及存储介质
CN115277566B (zh) 数据访问的负载均衡方法、装置、计算机设备及介质
CN112015663A (zh) 测试数据录制方法、装置、设备及介质
CN111680104B (zh) 数据同步方法、装置、计算机设备及可读存储介质
CN112084486A (zh) 用户信息验证方法、装置、电子设备及存储介质
CN115174148B (zh) 面向云计算和信息安全的云服务管理方法及人工智能平台
CN110955723A (zh) 一种主从数据库同步状态监控方法、装置及电子设备
CN114416490A (zh) 基于区块链的监控报警方法、装置、电子设备及存储介质
CN111124591B (zh) 一种镜像传输方法、装置、电子设备及存储介质
CN108595685B (zh) 一种数据处理方法及装置
KR102188987B1 (ko) 서버 관리 장치를 구비한 클라우드 서버 및 로컬 서버를 이용하는 제로클라이언트 단말기용 클라우드 컴퓨팅 시스템의 운영 방법
CN117499412A (zh) 一种基于高可用链路的集群优化处理方法及其相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877389

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877389

Country of ref document: EP

Kind code of ref document: A1