WO2021012568A1 - 一种数据处理方法及相关设备 - Google Patents

一种数据处理方法及相关设备 Download PDF

Info

Publication number
WO2021012568A1
WO2021012568A1 PCT/CN2019/122701 CN2019122701W WO2021012568A1 WO 2021012568 A1 WO2021012568 A1 WO 2021012568A1 CN 2019122701 W CN2019122701 W CN 2019122701W WO 2021012568 A1 WO2021012568 A1 WO 2021012568A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
target
configuration file
port
data collection
Prior art date
Application number
PCT/CN2019/122701
Other languages
English (en)
French (fr)
Inventor
张松松
冯承勇
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021012568A1 publication Critical patent/WO2021012568A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines

Definitions

  • This application relates to the field of data processing technology, and in particular to a data processing method and related equipment.
  • the log platform can collect resources and logs through various nodes.
  • the nodes send the collected log information to the data collection device.
  • the data collection device performs information filtering on the filtering rules set by the attributes of different nodes, and finally filters the processed data.
  • the log information is sent to the search server.
  • the embodiment of the present application provides a data processing method and related equipment, which is beneficial to improve the flexibility of adjusting the filtering rules.
  • an embodiment of the present application provides a data processing method, which is applied to a log management server, the log management server corresponds to at least one node device, and the log management server and at least one data collection device have been pre-established Communication connection, the method includes:
  • the data processing configuration file includes a filtering rule configuration file
  • the filtering rule configuration file includes fixed rule configuration information and adjustable rule configuration information
  • the adjustable rule configuration information includes a start identifier and an end identifier
  • the target position in the adjustable rule configuration information is located based on the start identifier and the end identifier, and the information corresponding to the target position is updated based on the filtering rule information to obtain an updated data processing configuration file.
  • an embodiment of the present application provides a data processing device, which includes a module for executing the method of the first aspect.
  • an embodiment of the present application provides a server, the server includes a processor, a network interface, and a memory, the processor, the network interface, and the memory are connected to each other, wherein the network interface is controlled by the processor Used to send and receive messages, the memory is used to store a computer program that supports the server to execute the above method, the computer program includes program instructions, and the processor is configured to call the program instructions to execute the method of the above first aspect.
  • an embodiment of the present application provides a computer non-volatile readable storage medium, the computer non-volatile readable storage medium stores a computer program, the computer program includes program instructions, and the program instructions When executed by a processor, the processor is caused to execute the method of the first aspect.
  • the log management server can flexibly adjust the filtering rules of the data collection device for the target node device, so as to facilitate the user to configure different filtering rules and enhance the user experience.
  • FIG. 1 is a schematic structural diagram of a data processing system provided by an embodiment of the present application.
  • FIG. 2 is a schematic flowchart of a data processing method provided by an embodiment of the present application.
  • Figure 3 is a schematic diagram of a filtering rule configuration page provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a structure corresponding to the configuration information of a tuning rule provided by an embodiment of the present application
  • FIG. 5 is a schematic flowchart of another data processing method provided by an embodiment of the present application.
  • Fig. 6 is a schematic block diagram of a data processing device provided by an embodiment of the present application.
  • Fig. 7 is a schematic block diagram of a server provided by an embodiment of the present application.
  • the data processing method described in the embodiments of the present application involves a log management server that can provide log management related services, each node device that can provide log information collection, and a data collection device that can collect log information of each node.
  • the data collection device may be a Logstash device, where the Logstash is an open source data collection engine, which has the capability of real-time data transmission. It can uniformly filter data from different sources and follow the developer’s specifications The specifications are output to the destination.
  • Logstash collects data objects for log information. Due to the multiple sources of log information (such as system logs, server logs, etc.) and the content is messy, it is not convenient for users to observe. Therefore, Logstash can be used to collect and uniformly filter log information, and become highly readable content, which is convenient for developers or operation and maintenance personnel to observe, so as to effectively analyze the performance of the system/project operation and prepare for monitoring and early warning Work etc.
  • the aforementioned Logstash device can collect log information of each node device corresponding to the log management server. Since different log information comes from different node devices, Logstash can dynamically unify the node information from different nodes, and according to The filtering rule configuration file configured for each node device in advance performs corresponding filtering processing on the node information from different nodes, and then sends the filtered node information to the ElasticSearch search server, so that the ElasticSearch server can perform corresponding processing on the individual node information. For example, storing data.
  • ElasticSearch is a Lucene-based search server. It provides a full-text search engine with distributed multi-user capabilities, based on a RESTful web interface. Elasticsearch is developed in Java and released as an open source under the terms of the Apache license. It is a popular enterprise search engine. Designed for cloud computing, it can achieve real-time search, stable, reliable, fast, easy to install and use.
  • FIG. 1 is a schematic structural diagram of a data processing system applicable to the embodiments of the present application.
  • the data processing system may include a client 101 corresponding to a log management platform, a log management server 102 corresponding to the log management platform, at least one node device 1021 corresponding to the log management server 102, and at least one data collection device 103 .
  • the log management server may refer to a server in a server group composed of multiple servers for providing data processing and other data-related services; the node device 102 is used to provide log information collection related services, and the node device 1021 may be A terminal device, which can also be a server; the data collection device 103 is used to unify the log information of different node devices, and filter the log information from different node devices according to the filter rule configuration file configured for each node device in advance. Processing, and then send the filtered node information to the search server, so that the server can perform corresponding processing on each node information, such as storing data.
  • the client 101 may send filtering rule processing result information for the target node device to the log management server 102, and the log management server 102 receives the filtering rule processing result information, and the filtering rule processing result information includes filtering rule information And the identification information of the target node device.
  • the log management server 102 may determine the target data collection device to which the target node device belongs from at least one data collection device based on the identification information of the target node device, and obtain the information stored in association with the ID information of the target data collection device in advance.
  • a data processing configuration file includes a filter rule configuration file
  • the filter rule configuration file includes fixed rule configuration information and adjustable rule configuration information
  • the adjustable rule configuration information includes a start identifier and an end identifier.
  • the log management server 102 may locate the target location in the adjustable rule configuration information based on the start identifier and the end identifier, and update the information corresponding to the target location based on the filtering rule information to obtain an updated data processing configuration file.
  • the log management server 102 may send the updated data processing configuration file to the target data collection device, so that when the target data collection device collects log information from the target node device, it can follow the filtering rules in the data processing configuration file.
  • the filtering rules indicated by the configuration file filter the log information. In this way, the filtering rules of the data collection device for the target node device can be flexibly adjusted, which facilitates the user to configure different filtering rules and enhances user experience.
  • Figure 2 is a schematic flow chart of a data processing method provided by an embodiment of the present application.
  • the method is applied to a log management server and can be executed by the log management server.
  • the log management server corresponds to at least one node device, and the log management server and At least one data collection device has established a communication connection in advance.
  • the data processing method may include:
  • 201 Receive filtering rule processing result information for a target node device, where the filtering rule processing result information includes filtering rule information and identification information of the target node device.
  • the log management server can be used to manage the filtering rules of each data collection device for each node device.
  • the log management server can establish a data connection with the client.
  • the client can display the filter rule configuration page of each node device.
  • the user can set the filter rule configuration page for each data collection device based on their own needs. Configure the filter rules of the node device.
  • the filter rule processing result information for the target node device can be generated, and the filter rule processing result information Including filtering rule information and identification information of the target node device.
  • the identification information of the target node device may include the device number, IP address, ID, and so on.
  • the client shows the filtering rule configuration page for the target node device Risic 111117.
  • the user configures a Risic 111117 filtering rule "filter time in log information" for the target node device.
  • the client detects the user's touch operation on the function button "OK", it can also determine the user
  • a filter rule processing result information for the target node device is generated.
  • the filter rule processing result information includes the identification information (Risic 111117) of the target node device and is used to indicate "filtering Time in the log information" filtering rule information. Further, the client can send the filtering rule processing result information to the log management server.
  • the configuration file includes a filter rule configuration file, the filter rule configuration file includes fixed rule configuration information and adjustable rule configuration information, and the adjustable rule configuration information includes a start identifier and an end identifier.
  • the log management server pre-stores the correspondence between each data collection device in at least one data collection device and the corresponding identification information of each node device. After the log management server receives the filtering rule processing result information for the target node device According to the identification information of the target node device in the filtering rule processing result information, the target data collection device corresponding to the identification information of the target node device can be determined from the pre-stored correspondence between each data collection device and the corresponding identification information of each node device .
  • the storage area of the log management server pre-stores data processing configuration files of each data collection device in at least one data collection device, and each data processing configuration file corresponds to the ID information of each data collection device.
  • the log management server determines the target data collection device, it can obtain the ID information of the target data collection device, and obtain the pre-stored data processing configuration file corresponding to the ID information in the storage area.
  • each data processing configuration file includes a filter rule configuration file
  • the filter rule configuration file includes fixed rule configuration information and adjustable rule configuration information
  • the adjustable rule configuration information includes a start identifier and an end identifier
  • the data configuration file used in a normal host is completely different from that used in Docker. For example, if it is Docker, the log management server needs to read the corresponding "docker_" Data configuration file. If it is a normal host, the log management server needs to read the data configuration file corresponding to "native_".
  • the log management server determines the target data collection device to which the target node device belongs, it can detect the target type of the operating system corresponding to the target data collection device, and obtain at least one item stored in association with the ID information of the target data collection device in advance.
  • the data processing configuration file corresponding to the target type is obtained from the data processing configuration file.
  • the target type may include ordinary host type and Docker.
  • the identification information of the target node device includes ID information
  • the adjustable rule configuration information includes multiple start identifiers and multiple end identifiers.
  • Each start identifier is composed of a preset character and a node ID.
  • Each start identifier corresponds to a different node ID.
  • the log management server may determine the target start identifier corresponding to the target node device from the multiple start identifiers included in the adjustable rule configuration information according to the ID information and preset characters of the target node device.
  • the log management server uses the target start identifier as the detection starting point, determines the first end identifier detected after the target start identifier as the target end identifier corresponding to the target node device, and then sets the target start identifier in the adjustable rule configuration information The position between and the target end mark is determined as the target position.
  • each data collection device may correspond to one or more node devices. Therefore, the data processing configuration file corresponding to each data collection device may include the start identifier and the end identifier of multiple node devices.
  • the target data collection device corresponds to two node devices, namely the first node device and the second node device.
  • the ID of the first node device is "ID1" and the ID of the second node device is "ID2”.
  • the character be "A"
  • the structure corresponding to the adjustable rule configuration information may be as shown in FIG. 4.
  • the structure corresponding to the adjustable rule configuration information includes the start identifier 400 of the first node device, and the end identifier 402 of the first node device , The target location 401 corresponding to the first node device, the start identifier 410 of the second node device, the end identifier 412 of the second node device, and the target location 411 corresponding to the second node.
  • the log management server can determine the target node device from the multiple start identifiers included in the adjustable rule configuration information according to the ID information and preset characters of the target node device
  • the corresponding target start identifier is the start identifier 400 of the first node device.
  • the log management server uses the start identifier 400 of the first node device as the detection starting point, and determines the first end identifier detected after the start identifier 400 of the first node device as the target end identifier corresponding to the target node device, i.e.
  • the end identifier 402 of a node device is determined to be the target end identifier corresponding to the target node device.
  • the target location corresponding to the target location 401 of the target node corresponding to the first node device in the adjustable configuration information can be used, and the information corresponding to the target location 401 can be updated using the filter rule information in the filter rule processing result information, thereby Realize the update of data processing configuration files.
  • updating the information corresponding to the target location based on the filtering rule information may include modifying, deleting, etc., the information corresponding to the target location, which is not specifically limited in this application.
  • the log management server may send the updated data processing configuration file to the target data collection device, so that the target data collection device can collect log information from the target node device.
  • the log information is filtered according to the filtering rules indicated by the filtering rule configuration file in the data processing configuration file.
  • the filtering rule indicated by the filtering rule configuration file in the updated data processing configuration file is "the time information in the filtering log information".
  • the target data collection device collects log information from the first node device, it can filter the time information in the log information according to the filtering rules, and send the log information with the filtered time information to the search server , So that the search server can process the log information accordingly.
  • the log management server when the log management server updates the information corresponding to the target location based on the filter rule information, it can also detect whether there is a parsing rule file in the filter rule configuration file. If there is no parsing rule file, then the filter rule Create a preset parsing rule file in the configuration file to get the updated data processing configuration file. The parsing rule file facilitates the current update of the data processing configuration file.
  • the log management server can flexibly adjust the filtering rules of the data collection device for the target node device, so as to facilitate the user to configure different filtering rules and enhance the user experience.
  • Figure 5 is a schematic flow diagram of another data processing method provided by an embodiment of the present application.
  • the method is applied to a log management server and can be executed by the log management server.
  • the log management server corresponds to at least one node device, the log management server A communication connection with at least one data collection device has been established in advance.
  • the data processing method may include:
  • 503 Send instruction information to the client, where the instruction information is used to instruct the client to generate filter rule information that matches the target filter rule format.
  • log management server may pre-establish the corresponding relationship between the log display mode and the filter rule format, and store the corresponding relationship between the log display mode and the filter rule format in the storage area.
  • the log display mode 1 corresponding to node device 1 is: time + the code category where it is located + thread number + the output log information, then the filter rule format 1 corresponding to the log display mode 1 is "time”, “where code type” "And the format of "output log information”; for example, the log display mode 2 corresponding to node 2 is: the code category + time + output log information, then the filter rule format 2 corresponding to log display mode 2 is" The format of the code type, time, and output log information.
  • the format corresponding to the filter rule information 1 matching the filter rule format 1 is “time”, “code type” and “output log information”, which corresponds to the filter rule information 2 matching the filter rule format 2
  • the format of is "where code category”, "time”, and "output log information”.
  • the configuration file includes a filter rule configuration file, the filter rule configuration file includes fixed rule configuration information and adjustable rule configuration information, and the adjustable rule configuration information includes a start identifier and an end identifier.
  • the aforementioned at least one data collection device is pre-configured with a general initial data processing configuration file.
  • the initial data processing configuration file includes an initial filtering rule configuration file and a first initial port corresponding to the port of the data collection device.
  • a general initial data processing configuration file can be configured for at least one data collection device, which is beneficial to reduce the occupation of storage space.
  • the configuration of the data collection device can be divided into three parts.
  • the first part is the first initial port configuration file corresponding to the port of the data collection device.
  • the port of the data collection device can be understood as the data collection device outward The sending port used to transmit data;
  • the second part is the second initial port configuration file corresponding to the port of the transmission object, where the port of the transmission object can be understood as the arrival port of the data collection device transmitting data to the transmission object, for example, the data Transfer to port 2 of the transfer target (that is, the arrival port);
  • the third part is the initial filter rule configuration file.
  • each of the three parts includes a fixed information part and an adjustable information part that can be filled in according to the actual situation.
  • the adjustable part can be replaced with a special symbol during configuration.
  • the fixed information part in the first initial port configuration file is called the first port fixed configuration information, and the adjustable information part is called the first port adjustable configuration information;
  • the fixed information in the second initial port configuration file The information part is called the second port fixed configuration information, and the adjustable information part is called the second port adjustable configuration information;
  • the fixed information part in the initial filtering rule configuration file is called the initial fixed rule configuration information, and the adjustable information part is called the initial Adjustable rule configuration information.
  • the log management server before the log management server obtains the data processing configuration file stored in association with the ID information of the target data collection device in advance, when it detects that the data collection device is under maintenance, it obtains the port information of the data collection device under system time. , And the port information of the data acquisition device corresponding to the transmission object in the system time.
  • the initial data processing configuration file can be backed up, and the first port adjustable configuration information in the backup initial data processing configuration file can be updated based on the port information of the data collection device under system time, and the data based on the system time
  • the collection device updates the second port adjustable configuration information corresponding to the port information of the transmission object to obtain the data processing configuration file corresponding to the data collection device, and then stores the data processing configuration file in association with the ID information corresponding to the data collection device.
  • the parameter information of any Logstash under system time can be obtained, and the parameter information includes the sending of any Logstash under system time.
  • the port address of the port that is, the port information of the data collection device under the system time
  • the port address of the arrival port that any Logstash outputs to the elasticsearch search server that is, the port information of the transmission object.
  • the server can back up the initial data processing configuration file.
  • the port address of the sending port is used to replace the special symbol part in the first port adjustable configuration information, so as to update the first port adjustable configuration information, and obtain The updated first initial port configuration file, that is, the first port configuration file;
  • the port address of the arrival port is used to replace the special symbol part in the second port adjustable configuration information, thereby realizing the adjustment of the second port
  • the configuration information is updated to obtain the updated second initial port configuration file, that is, the second port configuration file.
  • the first port configuration file, the second port configuration file, and the initial filtering rule configuration file can be combined into a data processing configuration file, and the data processing configuration file can be stored in association with the ID information of any Logstash server .
  • step 506 Locate the target position in the adjustable rule configuration information based on the start identifier and the end identifier, and update the information corresponding to the target position based on the filter rule information to obtain an updated data processing configuration file.
  • step 506 reference may be made to the related description of step 203 in the foregoing embodiment, which will not be repeated here.
  • the log management server can flexibly adjust the filtering rules of the data collection device for the target node device, so as to facilitate the user to configure different filtering rules and enhance the user experience.
  • the embodiment of the present application also provides a data processing device.
  • the device includes a module for executing the method described in FIG. 2 or FIG. 5, and is configured in a log management server, the log management server corresponds to at least one node device, and the log management server and at least one data collection device have been pre-established
  • the communication connection specifically, referring to FIG. 6, is a schematic block diagram of a data processing apparatus provided in an embodiment of the present application.
  • the data processing device of this embodiment includes:
  • the communication module 60 is configured to receive filtering rule processing result information for a target node device, where the filtering rule processing result information includes filtering rule information and identification information of the target node device;
  • the processing module 61 is configured to determine the target data collection device to which the target node device belongs from the at least one data collection device based on the identification information of the target node device, and obtain the ID of the target data collection device in advance
  • the processing module 61 is further configured to locate the target position in the adjustable rule configuration information based on the start identifier and the end identifier, and update the information corresponding to the target position based on the filtering rule information to obtain the updated Data processing configuration file.
  • the identification information of the target node device includes ID information
  • the adjustable rule configuration information includes multiple start identifiers and multiple end identifiers, and each start identifier consists of a preset character and a node ID, so The node ID corresponding to each start identifier in the multiple start identifiers is different, and the processing module 61 is specifically used for:
  • the position between the target start identifier and the target end identifier is determined as the target position in the adjustable rule configuration information.
  • the at least one data collection device is pre-configured with a general initial data processing configuration file
  • the initial data processing configuration file includes an initial filtering rule configuration file and a first data collection device port corresponding to the first configuration file.
  • the processing module 61 is further configured to, when it is detected that the data acquisition device is in a maintenance state, obtain the port information of the data acquisition device under system time, and the corresponding transmission of the data acquisition device under system time Port information of the object;
  • the initial data processing configuration file is backed up, and the first port adjustable configuration information in the backup initial data processing configuration file is updated based on the port information of the data collection device in the system time, and based on all Updating the second port adjustable configuration information for the port information of the transmission object corresponding to the data collection device under the system time to obtain the data processing configuration file corresponding to the data collection device;
  • the data processing configuration file is stored in association with the ID information corresponding to the data collection device.
  • the processing module 61 is specifically configured to: detect the target type of the operating system corresponding to the target data collection device; and from at least one data processing configuration file stored in association with the ID information of the target data collection device in advance To obtain the data processing configuration file corresponding to the target type.
  • the communication module 60 is further configured to receive a filter rule adjustment request from a client for a target node device, and the filter rule adjustment request carries a target log display mode corresponding to the target node device;
  • the processing module 61 is further configured to determine the target filter rule format corresponding to the target log display mode from the pre-established correspondence between the log display mode and the filter rule format; the communication module 60 is also used to send The client sends instruction information, where the instruction information is used to instruct the client to generate filter rule information that matches the target filter rule format.
  • the communication module 60 is further configured to send the updated data processing configuration file to the target data collection device, so that the target data collection device can collect data from the target node device.
  • the log information is filtered according to the filtering rule indicated by the filtering rule configuration file in the data processing configuration file.
  • FIG. 7 is a schematic block diagram of a server according to an embodiment of the present application.
  • the server includes a processor 701, a memory 702, and a network interface 703.
  • the processor 701, the memory 702, and the network interface 703 may be connected by a bus or other methods.
  • the connection by a bus is taken as an example.
  • the network interface 703 is controlled by the processor to send and receive messages, the memory 702 is used to store a computer program, and the computer program includes program instructions, and the processor 701 is used to execute the program instructions stored in the memory 702.
  • the processor 701 is configured to call the program instructions to execute: receive filtering rule processing result information for a target node device through the network interface 703, where the filtering rule processing result information includes filtering rule information and information about the target node device Identification information; determine the target data collection device to which the target node device belongs from the at least one data collection device based on the identification information of the target node device, and obtain the ID information associated with the target data collection device for storage in advance
  • the data processing configuration file includes a filter rule configuration file, the filter rule configuration file includes fixed rule configuration information and adjustable rule configuration information, and the adjustable rule configuration information includes a start identifier and an end identifier ;
  • the target position in the adjustable rule configuration information is located based on the start identifier and the end identifier, and the information corresponding to the target position is updated based on the filtering rule information to obtain an updated data processing configuration file.
  • the identification information of the target node device includes ID information
  • the adjustable rule configuration information includes multiple start identifiers and multiple end identifiers, and each start identifier consists of a preset character and a node ID, so The node ID corresponding to each start identifier in the multiple start identifiers is different
  • the processor 701 is specifically configured to:
  • the position between the target start identifier and the target end identifier is determined as the target position in the adjustable rule configuration information.
  • the at least one data collection device is pre-configured with a general initial data processing configuration file
  • the initial data processing configuration file includes an initial filtering rule configuration file and a first data collection device port corresponding to the first configuration file.
  • the processor 701 is further configured to, when it is detected that the data collection device is in a maintenance state, obtain the port information of the data collection device under system time, and the corresponding transmission of the data collection device under system time Port information of the object;
  • the initial data processing configuration file is backed up, and the first port adjustable configuration information in the backup initial data processing configuration file is updated based on the port information of the data collection device in the system time, and based on all Updating the second port adjustable configuration information for the port information of the transmission object corresponding to the data collection device under the system time to obtain the data processing configuration file corresponding to the data collection device;
  • the data processing configuration file is stored in association with the ID information corresponding to the data collection device.
  • the processor 701 is specifically configured to: detect the target type of the operating system corresponding to the target data collection device; and obtain at least one data processing configuration file stored in association with the ID information of the target data collection device in advance To obtain the data processing configuration file corresponding to the target type.
  • the network interface 703 is further configured to receive a filter rule adjustment request from a client for a target node device, and the filter rule adjustment request carries a target log display mode corresponding to the target node device;
  • the processor 701 is further configured to determine the target filter rule format corresponding to the target log display mode from the pre-established correspondence between the log display mode and the filter rule format; the network interface 703 is also used to send The client sends instruction information, where the instruction information is used to instruct the client to generate filter rule information that matches the target filter rule format.
  • the network interface 703 is further configured to send the updated data processing configuration file to the target data collection device, so that the target data collection device can collect data from the target node device
  • the log information is filtered according to the filtering rule indicated by the filtering rule configuration file in the data processing configuration file.
  • the processor 701 may be a central processing unit (CPU), and the processor 701 may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSPs). ), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the memory 702 may include a read-only memory and a random access memory, and provides instructions and data to the processor 701. A part of the memory 702 may also include a non-volatile random access memory. For example, the memory 702 may also store device type information.
  • the processor 701, the memory 702, and the network interface 703 described in the embodiment of this application can perform the implementation described in the method embodiment described in FIG. 2 or FIG.
  • the implementation of the data processing device described in the embodiment of the present application will not be repeated here.
  • a computer-readable storage medium stores a computer program, the computer program includes program instructions, and the program instructions are executed by a processor to realize: receiving Filtering rule processing result information for the target node device, where the filtering rule processing result information includes filter rule information and identification information of the target node device; based on the identification information of the target node device, from the at least one data collection device Determine the target data collection device to which the target node device belongs, and obtain a data processing configuration file stored in association with the ID information of the target data collection device in advance.
  • the data processing configuration file includes a filtering rule configuration file.
  • the filter rule configuration file includes fixed rule configuration information and adjustable rule configuration information.
  • the adjustable rule configuration information includes a start identifier and an end identifier; the target in the adjustable rule configuration information is located based on the start identifier and the end identifier Location, and update information corresponding to the target location based on the filtering rule information to obtain an updated data processing configuration file.
  • the computer-readable storage medium may be the internal storage unit of the server described in any of the foregoing embodiments, such as the hard disk or memory of the server.
  • the computer-readable storage medium may also be an external storage device of the server, such as a plug-in hard disk equipped on the server, a Smart Media Card (SMC), or a Secure Digital (SD) card , Flash Card, etc.
  • the computer-readable storage medium may also include both an internal storage unit of the server and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the server.
  • the computer-readable storage medium can also be used to temporarily store data that has been output or will be output.
  • the program can be stored in a computer readable storage medium. During execution, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种数据处理方法及相关设备，所述方法应用于数据处理技术领域，包括：接收针对目标节点设备的过滤规则处理结果信息，并基于目标节点设备的标识信息确定出目标节点设备所属的目标数据采集设备，目标数据采集设备的数据处理配置文件，基于数据处理配置文件中的开始标识和结束标识定位到可调规则配置信息中的目标位置，进而基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。

Description

一种数据处理方法及相关设备
本申请要求于2019年7月25日提交中国专利局、申请号为201910680964.8、申请名称为“一种数据处理方法及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据处理方法及相关设备。
背景技术
日志平台可以通过各类节点进行资源、日志的采集，节点将采集的日志信息统一发送到数据采集设备，经过数据采集设备对不同节点属性设置的过滤规则进行信息过滤处理，最终将过滤处理后的日志信息发送到搜索服务器。
目前，在日志平台的使用过程中，常常会涉及对节点对应过滤规则的修改，由于每个节点对应的过滤规则的信息量较大，因此，如何更加灵活的实现对节点过滤规则的修改，成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种数据处理方法及相关设备，有利于提高过滤规则调整的灵活度。
第一方面，本申请实施例提供了一种数据处理方法，所述方法应用于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，该方法包括：
接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
第二方面，本申请实施例提供了一种数据处理装置，该数据处理装置包括用于执行上述第一方面的方法的模块。
第三方面，本申请实施例提供了一种服务器，该服务器包括处理器、网络接口和存储器，所述处理器、网络接口和存储器相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本申请实施例提供了一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本申请实施例中，日志管理服务器可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
附图说明
图1是本申请实施例提供的一种数据处理系统的结构示意图；
图2是本申请实施例提供的一种数据处理方法的流程示意图；
图3是本申请实施例提供的过滤规则配置页面示意图；
图4是本申请实施例提供的一种调规则配置信息对应的结构示意图；
图5是本申请实施例提供的另一种数据处理方法的流程示意图；
图6是本申请实施例提供的一种数据处理装置的示意性框图；
图7是本申请实施例提供的一种服务器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例所描述的关于数据处理的方法，涉及到能够提供日志管理相关服务的日志管理服务器、能够提供日志信息采集的各个节点设备、能够采集各个节点的日志信息的数据采集设备。在一个实施例中，该数据采集设备可以为Logstash设备，其中该Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力，它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。
其中，Logstash收集数据对象为日志信息。由于日志信息来源多(如：系统日志、服务器日志等)，且内容杂乱，不便于用户进行观察。因此，可以使用Logstash对日志信息进行收集和统一过滤，变成可读性高的内容，方便开发者或运维人员观察，从而有效的分析系统/项目运行的性能，做好监控和预警的准备工作等。
在本申请实施例中，上述Logstash设备可以收集日志管理服务器对应各个节点设备的日志信息，由于不同的日志信息来自不同的节点设备，Logstash可以动态地将来自不同节点的节点信息统一起来，并根据预先针对各个节点设备配置的过滤规则配置文件对来自不同节点的节点信息进行相应的过滤处理，进而将过滤处理后的节点信息至ElasticSearch搜索服务器，以便于ElasticSearch服务器对个节点信息进行相应的处理，例如存储数据。
其中，该ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
示例性地，请参见图1，是本申请实施例可应用的一种数据处理系统的结构示意图。如图1所示，该数据处理系统可包括日志管理平台对应的客户端101、日志管理平台对应的日志管理服务器102、日志管理服务器102对应的至少一个节点设备1021，以及至少一个数据采集设备103。其中，日志管理服务器可以是指用于提供数据处理等数据相关服务的多个服务器构成的服务器组中的某个服务器；该节点设备102用于提供日志信息采集相关服务，该节点设备1021可以为一种终端设备，也可以为服务器；数据采集设备103用于不同节点设备的日志信息统一起来，并根据预先针对各个节点设备配置的过滤规则配置文件对来自不同节点设备的日志信息进行相应的过滤处理，进而将过滤处理后的节点信息至 搜索服务器，以便于服务器对个节点信息进行相应的处理，例如存储数据。
在一个实施例中，客户端101可以向日志管理服务器102发送针对目标节点设备的过滤规则处理结果信息，日志管理服务器102接收到该过滤规则处理结果信息，该过滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。
进一步地，日志管理服务器102可以基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
进一步地，日志管理服务器102可以基于开始标识和结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
进一步地，日志管理服务器102可以将更新后的数据处理配置文件发送至目标数据采集设备，以便于目标数据采集设备采集到来自目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对日志信息进行过滤处理。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
参见图2，图2是本申请实施例提供的一种数据处理方法的流程示意图，该方法应用于日志管理服务器，可由日志管理服务器执行，该日志管理服务器对应至少一个节点设备，日志管理服务器与至少一个数据采集设备已预先建立通信连接，如图所示，该数据处理方法可包括：
201：接收针对目标节点设备的过滤规则处理结果信息，该过滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。
其中，日志管理服务器可以用于管理各个数据采集设备针对各个节点设备的过滤规则。
在一个实施例中，日志管理服务器可以与客户端建立数据连接，该客户端可以展示各个节点设备的过滤规则配置页面，用户可以基于自身需求在该过滤规则配置页面，对各个数据采集设备针对各个节点设备的过滤规则进行配置，在检测到用户针对任一节点设备(即目标节点设备)的过滤规则配置完成时，可以生成针对该目标节点设备的过滤规则处理结果信息，该滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。其中，该目标节点设备的标识信息可以包括设备号，IP地址、ID等等。
示例性地，参见图3，客户端展示了针对目标节点设备Risic 111117的过滤规则配置页面。用户通过该配置页面配置了一条针对目标节点设备的Risic 111117的过滤规则“过滤日志信息中的时间”，当客户端检测到用户针对功能按钮“确定”输入的触控操作时，也可以确定用户对目标节点设备的过滤规则配置完成，则生成一个针对该目标节点设备的过滤规则处理结果信息，该过滤规则处理结果信息包括过目标节点设备的标识信息(Risic 111117)，以及用于指示“过滤日志信息中的时间”的过滤规则信息。进一步地，客户端可以将该过滤规则处理结果信息发送至日志管理服务器。
202：基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
在一个实施例中，日志管理服务器预先存储有至少一个数据采集设备中各个数据采集设备与各个节点设备对应标识信息的对应关系，当日志管理服务器接收到针对目标节点设备的过滤规则处理结果信息后，可以根据过滤规则处理结果信息中目标节点设备的标识信 息，从预先存储的各个数据采集设备与各个节点设备对应标识信息的对应关系中，确定出目标节点设备的标识信息对应的目标数据采集设备。
在一个实施例中，日志管理服务器的存储区域中预先存储有至少一个数据采集设备中各个数据采集设备的数据处理配置文件，每一个数据处理配置文件与各个数据采集设备的ID信息对应。这种情况下，日志管理服务器确定出目标数据采集设备之后，可以获取该目标数据采集设备的ID信息，并在存储区域中获取预先存储的该ID信息对应的数据处理配置文件。
其中，每一个数据处理配置文件包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
在一个实施例中，由于同样是数据采集服务，在普通主机里使用和在Docker里使用的数据配置文件是完全不同的，例如：如果是Docker，那么日志管理服务器需要读取“docker_”对应的数据配置文件，如果是普通主机，则日志管理服务器需要读取“native_”对应的数据配置文件。
针对这种情况，日志管理服务器确定出目标节点设备所属的目标数据采集设备之后，可以检测目标数据采集设备对应操作系统的目标类型，并从预先与目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取目标类型对应的数据处理配置文件。示例性地，该目标类型可以包括普通主机类型和Docker。
203：基于上述开始标识和上述结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，目标节点设备的标识信息包括ID信息，可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，多个开始标识中各个开始标识对应的节点ID不同。针对这种情况，日志管理服务器可以根据目标节点设备的ID信息和预设字符从可调规则配置信息包括的多个开始标识中，确定出目标节点设备对应的目标开始标识。进一步地，日志管理服务器以目标开始标识为检测起点，将目标开始标识后检测到的第一个结束标识确定为目标节点设备对应的目标结束标识，进而在可调规则配置信息中将目标开始标识与目标结束标识之间的位置确定为目标位置。
在本申请实施例中，每一个数据采集设备可以对应一个或者多个节点设备，因此，该每一个数据采集设备对应的数据处理配置文件可以包括多个节点设备的开始标识和结束标识。示例性地，假设目标数据采集设备对应2个节点设备，分别为第一节点设备和第二节点设备，第一节点设备的ID为“ID1”，第二节点设备的ID为“ID2”，预设字符为“A”，该可调规则配置信息对应的结构可以如图4所示，该可调规则配置信息对应的结构包括第一节点设备的开始标识400，第一节点设备的结束标识402，第一节点设备对应的目标位置401，第二节点设备的开始标识410，第二节点设备的结束标识412，以及第二节点对应的目标位置411。
针对这种情况，假设目标节点设备的ID为“ID1”，日志管理服务器可以根据目标节点设备的ID信息和预设字符从可调规则配置信息包括的多个开始标识中，确定出目标节点设备对应的目标开始标识为第一节点设备的开始标识400。一步地，日志管理服务器以第一节点设备的开始标识400为检测起点，将第一节点设备的开始标识400后检测到的第一个结束标识确定为目标节点设备对应的目标结束标识，即将第一节点设备的结束标识402确定为目标节点设备对应的目标结束标识。进一步地，可以将第一节点设备对应的目标位置401目标节点在可调配置信息中对应的目标位置，并利用过滤规则处理结果信息中的过滤规则信息对目标位置401对应的信息进行更新，从而实现对数据处理配置文件的更新。
可以理解的是，基于过滤规则信息对目标位置对应的信息进行更新，可以包括对目标位置对应信息的修改、删除等等，本申请对此不作具体限定。
在一个实施例中，日志管理服务器得到更新后的数据处理配置文件之后，可以将更新后的数据处理配置文件发送至目标数据采集设备，以便于目标数据采集设备采集到来自目标节点设备的日志信息时，依据数据处理配置文件中过滤规则配置文件指示的过滤规则对日志信息进行过滤处理。
示例性地，假设目标节点设备为第一节点设备，该更新后的数据处理配置文件中过滤规则配置文件指示的过滤规则为“过滤日志信息中的时间信息”。这种情况下，当目标数据采集设备采集到来自第一节点设备的日志信息时，可以依据该过滤规则将日志信息中的时间信息进行过滤，并将过滤掉时间信息的日志信息发送至搜索服务器，以便于搜索服务器对该日志信息进行相应的处理。
在一个实施例中，日志管理服务器基于过滤规则信息对所述目标位置对应的信息进行更新时，还可以检测过滤规则配置文件中是否存在解析规则文件，若不存在解析规则文件，则在过滤规则配置文件中创建一个预设解析规则文件，以得到更新后的数据处理配置文件。该解析规则文件有利于当前次对数据处理配置文件的更新。
本申请实施例中，日志管理服务器可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
参见图5，图5是本申请实施例提供的另一种数据处理方法的流程示意图，该方法应用于日志管理服务器，可由日志管理服务器执行，该日志管理服务器对应至少一个节点设备，日志管理服务器与至少一个数据采集设备已预先建立通信连接，如图所示，该数据处理方法可包括：
501：接收客户端针对目标节点设备的过滤规则调整请求，该过滤规则调整请求中携带有目标节点设备对应的目标日志展示方式。
502：从预先建立的日志展示方式与过滤规则格式的对应关系中确定出目标日志展示方式对应的目标过滤规则格式。
503：向客户端发送指示信息，该指示信息用于指示客户端生成与目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，不同节点设备的日志信息存在不同的日志展现方式，不同的日志展现方式对应不同的过滤规则。日志管理服务器可以预先建立日志展示方式与过滤规则格式的对应关系，并将该日志展示方式与过滤规则格式的对应关系存储在存储区域中。
例如，节点设备1对应的日志展现方式1为：时间+所在代码类+线程号+输出的日志信息，那么，该日志展现方式1对应的过滤规则格式1则为“时间”、“所在代码类”以及“输出的日志信息”的格式；又例如，节点2对应的日志展现方式2为：所在代码类+时间+输出的日志信息，那么，日志展现方式2对应的过滤规则格式2则为“所在代码类”、“时间”、以及“输出的日志信息”的格式。
进一步地，与该过滤规则格式1匹配的过滤规则信息1对应的格式则为“时间”、“所在代码类”以及“输出的日志信息”，与该过滤规则格式2匹配的过滤规则信息2对应的格式则为“所在代码类”、“时间”、以及“输出的日志信息”。
504：接收针对目标节点设备的过滤规则处理结果信息，该过滤规则处理结果信息包括过滤规则信息以及目标节点设备的标识信息。
505：基于目标节点设备的标识信息从至少一个数据采集设备中确定出目标节点设备所属的目标数据采集设备，并获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件，该数据处理配置文件中包括过滤规则配置文件，该过滤规则配置文件包括固定规则配置信息和可调规则配置信息，该可调规则配置信息包括开始标识和结束标识。
在一个实施例中，上述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，该初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端 口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，该第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，该第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。采用这样的方式，对于至少一个数据采集设备可以配置一个通用的初始数据处理配置文件，有利于降低对存储空间的占用。
具体实现中，对数据采集设备的配置可以分为三部分，第一部分为针对数据采集设备的端口对应的第一初始端口配置文件，其中，对数据采集设备的端口可以理解为数据采集设备向外传输数据所使用的发送端口；第二部分为传输对象的端口对应的第二初始端口配置文件，其中，传输对象的端口可以理解为数据采集设备传输数据至传输对象的到达端口，例如，将数据传输至传输对象的端口2(即到达端口)；第三部分为初始过滤规则配置文件。其中，该三部分的每一部分均包括固定信息部分，和可以根据实际情况填写的可调信息部分，该可调部分在配置时可以用特殊符号代替。
在本申请实施例中，第一初始端口配置文件中的固定信息部分称为第一端口固定配置信息，可调信息部分称为第一端口可调配置信息；第二初始端口配置文件中的固定信息部分称为第二端口固定配置信息，可调信息部分称为第二端口可调配置信息；初始过滤规则配置文件中的固定信息部分称为初始固定规则配置信息，可调信息部分称为初始可调规则配置信息。
在一个实施例中，日志管理服务器获取预先与目标数据采集设备的ID信息关联存储的数据处理配置文件之前，当检测到数据采集设备处于维护状态时，获取数据采集设备在系统时间下的端口信息，以及在系统时间下数据采集设备对应传输对象的端口信息。进一步地，可以备份该初始数据处理配置文件，并基于数据采集设备在系统时间下的端口信息对备份的初始数据处理配置文件中的第一端口可调配置信息进行更新，以及基于系统时间下数据采集设备对应传输对象的端口信息对第二端口可调配置信息进行更新，得到数据采集设备对应的数据处理配置文件，进而将数据处理配置文件与数据采集设备对应的ID信息关联存储。
示例性地，假设数据采集设备为Logstash服务器，当检测到任一Logstash服务器正在维护时，可以获取该任一Logstash在系统时间下的参数信息，参数信息包括该任一Logstash在系统时间下的发送端口的端口地址(即数据采集设备在系统时间下的端口信息)，以及该任一Logstash输出到elasticsearch搜索服务器的到达端口的端口地址(即传输对象的端口信息)。进一步地，服务器可以备份该初始数据处理配置文件，一方面利用该发送端口的端口地址替换第一端口可调配置信息中的特殊符号部分，从而实现对第一端口可调配置信息的更新，得到更新后的第一初始端口配置文件，即第一端口配置文件；另一方面，利用该到达端口的端口地址替换第二端口可调配置信息中的特殊符号部分，从而实现对第二端口可调配置信息的更新，得到更新后的第二初始端口配置文件，即第二端口配置文件。进一步地，可以利用该第一端口配置文件、第二端口配置文件以及该初始过滤规则配置文件组合为一个数据处理配置文件，并将该数据处理配置文件与该任一Logstash服务器的ID信息关联存储。
506：基于上述开始标识和上述结束标识定位到可调规则配置信息中的目标位置，并基于过滤规则信息对目标位置对应的信息进行更新，得到更新后的数据处理配置文件。其中，步骤506的具体实施方式可以参见上述实施例中步骤203的相关描述，此处不再赘述。
本申请实施例中，日志管理服务器可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
本申请实施例还提供了一种数据处理装置。该装置包括用于执行前述图2或者图5所述的方法的模块，配置于日志管理服务器，所述日志管理服务器对应至少一个节点设备， 所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，具体地，参见图6，是本申请实施例提供的数据处理装置的示意框图。本实施例的数据处理装置包括：
通信模块60，用于接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
处理模块61，用于基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
处理模块61，还用于基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，处理模块61，具体用于：
根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
在一个实施例中，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
在一个实施例中，处理模块61，还用于当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
在一个实施例中，处理模块61，具体用于：检测所述目标数据采集设备对应操作系统的目标类型；从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
在一个实施例中，所述通信模块60，还用于接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；所述处理模块61，还用于从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；所述通信模块60，还用于向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，所述通信模块60，还用于将所述更新后的数据处理配置文件发送至 所述目标数据采集设备，以便于所述目标数据采集设备采集到来自所述目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对所述日志信息进行过滤处理。
需要说明的是，本申请实施例所描述的数据处理装置的各功能模块的功能可根据图2或者图5所述的方法实施例中的方法具体实现，其具体实现过程可以参照图2或者图5的方法实施例的相关描述，此处不再赘述。
请参见图7，图7是本申请实施例提供的一种服务器的示意性框图，如图7所示，该服务器包括，处理器701、存储器702和网络接口703。上述处理器701、存储器702和网络接口703可通过总线或其他方式连接，在本申请实施例所示图7中以通过总线连接为例。其中，网络接口703受所述处理器的控制用于收发消息，存储器702用于存储计算机程序，所述计算机程序包括程序指令，处理器701用于执行存储器702存储的程序指令。其中，处理器701被配置用于调用所述程序指令执行：通过网络接口703接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
在一个实施例中，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，处理器701，具体用于：
根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
在一个实施例中，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
在一个实施例中，处理器701，还用于当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
在一个实施例中，处理器701，具体用于：检测所述目标数据采集设备对应操作系统的目标类型；从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置 文件中获取所述目标类型对应的数据处理配置文件。
在一个实施例中，所述网络接口703，还用于接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；所述处理器701，还用于从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；所述网络接口703，还用于向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
在一个实施例中，所述网络接口703，还用于将所述更新后的数据处理配置文件发送至所述目标数据采集设备，以便于所述目标数据采集设备采集到来自所述目标节点设备的日志信息时，依据所述数据处理配置文件中过滤规则配置文件指示的过滤规则对所述日志信息进行过滤处理。
应当理解，在本申请实施例中，所称处理器701可以是中央处理单元(Central Processing Unit，CPU)，该处理器701还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器。例如，存储器702还可以存储设备类型的信息。
具体实现中，本申请实施例中所描述的处理器701、存储器702和网络接口703可执行本申请实施例提供的图2或者图5所述的方法实施例所描述的实现方式，也可执行本申请实施例所描述的数据处理装置的实现方式，在此不再赘述。
在本申请的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access  Memory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (20)

  1. 一种数据处理方法，其特征在于，所述方法应用于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，所述方法包括：
    接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
    基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
    基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
  2. 根据权利要求1所述的方法，其特征在于，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，所述基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，包括：
    根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；
    以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；
    在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
  3. 根据权利要求1所述的方法，其特征在于，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
  4. 根据权利要求3所述的方法，其特征在于，所述获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件之前，所述方法还包括：
    当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
    备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；
    将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
  5. 根据权利要求1所述的方法，其特征在于，所述获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，包括：
    检测所述目标数据采集设备对应操作系统的目标类型；
    从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中 获取所述目标类型对应的数据处理配置文件。
  6. 根据权利要求1所述的方法，其在特征在于，所述方法还包括：
    接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；
    从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；
    向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
  7. 根据权利要求5所述的方法，其在特征在于，所述目标类型包括普通主机类型或者Docker类型。
  8. 一种数据处理装置，其特征在于，所述装置于日志管理服务器，所述日志管理服务器对应至少一个节点设备，所述日志管理服务器与至少一个数据采集设备已预先建立通信连接，所述装置包括：
    通信模块，用于接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；
    处理模块，用于基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；
    处理模块，还用于基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
  9. 根据权利要求8所述的装置，其特征在于，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，所述处理模块，具体用于根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
  10. 根据权利要求8所述的装置，其特征在于，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
  11. 根据权利要求10所述的装置，其特征在于，所述处理模块，还用于当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
  12. 根据权利要求8所述的装置，其特征在于，所述处理模块，还具体用于检测所述目标数据采集设备对应操作系统的目标类型；从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
  13. 根据权利要求8所述的装置，其在特征在于，所述通信模块，还用于
    接收客户端针对目标节点设备的过滤规则调整请求，所述过滤规则调整请求中携带有所述目标节点设备对应的目标日志展示方式；所述处理模块，还用于从预先建立的日志展示方式与过滤规则格式的对应关系中确定出所述目标日志展示方式对应的目标过滤规则格式；所述通信模块，还用于向所述客户端发送指示信息，所述指示信息用于指示所述客户端生成与所述目标过滤规则格式匹配的过滤规则信息。
  14. 根据权利要求12所述的装置，其在特征在于，所述目标类型包括普通主机类型或者Docker类型。
  15. 一种服务器，其特征在于，包括处理器、存储器和网络接口，所述处理器、所述存储器和所述网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行：通过所述网络接口接收针对目标节点设备的过滤规则处理结果信息，所述过滤规则处理结果信息包括过滤规则信息以及所述目标节点设备的标识信息；基于所述目标节点设备的标识信息从所述至少一个数据采集设备中确定出所述目标节点设备所属的目标数据采集设备，并获取预先与所述目标数据采集设备的ID信息关联存储的数据处理配置文件，所述数据处理配置文件中包括过滤规则配置文件，所述过滤规则配置文件包括固定规则配置信息和可调规则配置信息，所述可调规则配置信息包括开始标识和结束标识；基于所述开始标识和结束标识定位到所述可调规则配置信息中的目标位置，并基于所述过滤规则信息对所述目标位置对应的信息进行更新，得到更新后的数据处理配置文件。
  16. 根据权利要求15所述的服务器，其特征在于，所述目标节点设备的标识信息包括ID信息，所述可调规则配置信息包括多个开始标识和多个结束标识，每个开始标识由预设字符和节点ID组成，所述多个开始标识中各个开始标识对应的节点ID不同，所述处理器，具体用于根据目标节点设备的ID信息和预设字符从所述可调规则配置信息包括的多个开始标识中，确定出所述目标节点设备对应的目标开始标识；以所述目标开始标识为检测起点，将所述目标开始标识后检测到的第一个结束标识确定为所述目标节点设备对应的目标结束标识；在所述可调规则配置信息中将所述目标开始标识与所述目标结束标识之间的位置确定为目标位置。
  17. 根据权利要求15所述的服务器，其特征在于，所述至少一个数据采集设备预先配置有一个通用的初始数据处理配置文件，所述初始数据处理配置文件包括初始的过滤规则配置文件、针对数据采集设备的端口对应的第一初始端口配置文件以及传输对象的端口对应的第二初始端口配置文件，所述第一初始端口配置文件包括第一端口固定配置信息以及第一端口可调配置信息，所述第二初始端口配置文件包括第二端口固定配置信息以及第二端口可调配置信息。
  18. 根据权利要求17所述的服务器，其特征在于，所述处理器，还用于当检测到数据采集设备处于维护状态时，获取所述数据采集设备在系统时间下的端口信息，以及在系统时间下所述数据采集设备对应传输对象的端口信息；
    备份所述初始数据处理配置文件，并基于所述数据采集设备在系统时间下的端口信息对所述备份的初始数据处理配置文件中的所述第一端口可调配置信息进行更新，以及基于所述系统时间下所述数据采集设备对应传输对象的端口信息对所述第二端口可调配置信息进行更新，得到所述数据采集设备对应的数据处理配置文件；将所述数据处理配置文件与所述数据采集设备对应的ID信息关联存储。
  19. 根据权利要求15所述的服务器，其特征在于，所述处理器，还具体用于检测所述目标数据采集设备对应操作系统的目标类型；从预先与所述目标数据采集设备的ID信息关联存储的至少一种数据处理配置文件中获取所述目标类型对应的数据处理配置文件。
  20. 一种计算机非易失性可读存储介质，其特征在于，所述计算机非易失性可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任意一项所述的方法。
PCT/CN2019/122701 2019-07-25 2019-12-03 一种数据处理方法及相关设备 WO2021012568A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910680964.8 2019-07-25
CN201910680964.8A CN110489391B (zh) 2019-07-25 2019-07-25 一种数据处理方法及相关设备

Publications (1)

Publication Number Publication Date
WO2021012568A1 true WO2021012568A1 (zh) 2021-01-28

Family

ID=68548477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/122701 WO2021012568A1 (zh) 2019-07-25 2019-12-03 一种数据处理方法及相关设备

Country Status (2)

Country Link
CN (1) CN110489391B (zh)
WO (1) WO2021012568A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112787868A (zh) * 2021-01-29 2021-05-11 杭州迪普科技股份有限公司 一种信息同步的方法和装置
CN113342768A (zh) * 2021-06-01 2021-09-03 北京奇艺世纪科技有限公司 一种日志读取方法、装置、电子设备及可读存储介质
CN113486077A (zh) * 2021-06-11 2021-10-08 北京空间飞行器总体设计部 使用实时数据库处理航天器电源系统测试数据的方法
CN113608735A (zh) * 2021-08-11 2021-11-05 中国银行股份有限公司 采集工具配置文件生成方法及装置
CN113687852A (zh) * 2021-09-09 2021-11-23 中国银行股份有限公司 日志采集配置文件自动生成方法及装置
CN113987317A (zh) * 2021-10-29 2022-01-28 平安普惠企业管理有限公司 前端请求处理方法、装置、设备及存储介质
CN114238694A (zh) * 2021-11-09 2022-03-25 中国科学院信息工程研究所 基于Linux的数据处理方法、装置、电子设备及存储介质
CN114915643A (zh) * 2022-05-09 2022-08-16 北京交大微联科技有限公司 铁路信号集中监测系统的配置方法、装置、设备及介质
CN114979217A (zh) * 2022-05-31 2022-08-30 重庆长安汽车股份有限公司 一种车身大数据传输方法
WO2024093971A1 (zh) * 2022-11-04 2024-05-10 中车长春轨道客车股份有限公司 一种车载超导磁体监测系统的确定方法、系统及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489391B (zh) * 2019-07-25 2022-06-28 深圳壹账通智能科技有限公司 一种数据处理方法及相关设备
CN111125004B (zh) * 2019-12-03 2021-09-17 中盈优创资讯科技有限公司 文件采集方法及装置
CN111142964A (zh) * 2019-12-16 2020-05-12 苏宁云计算有限公司 一种配置文件信息的加载方法及系统
CN113377848A (zh) * 2020-02-25 2021-09-10 北京数聚鑫云信息技术有限公司 一种数据处理方法、装置、设备及存储介质
CN111930709B (zh) * 2020-07-20 2024-04-12 北京百度云途腾科技有限责任公司 数据存储方法、装置、电子设备和计算机可读介质
CN112035331B (zh) * 2020-11-04 2021-02-19 北京爱奇艺智能科技有限公司 用于虚拟现实设备的日志采集方法
CN112434949A (zh) * 2020-11-25 2021-03-02 平安普惠企业管理有限公司 基于人工智能的业务预警处理方法、装置、设备和介质
CN113806331A (zh) * 2021-08-13 2021-12-17 阿里云计算有限公司 数据处理方法及装置
CN114466387B (zh) * 2022-01-13 2024-04-09 三维通信股份有限公司 基站的配置文件的更新方法、装置、存储介质和电子装置
CN115047835B (zh) * 2022-06-27 2024-06-04 中国核动力研究设计院 基于dcs系统定期试验数据获取方法、装置、设备及介质
CN115544319B (zh) * 2022-11-25 2023-03-14 上海喆塔信息科技有限公司 工业互联网大数据平台及数据处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170664A1 (ja) * 2015-04-24 2016-10-27 株式会社日立製作所 異常パケットフィルタリング装置、及び、異常パケットフィルタリング方法
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统
CN108021809A (zh) * 2017-12-19 2018-05-11 北京明朝万达科技股份有限公司 一种数据处理方法及系统
CN110046073A (zh) * 2019-03-29 2019-07-23 厦门网宿有限公司 一种日志采集方法及装置、设备、存储介质
CN110489391A (zh) * 2019-07-25 2019-11-22 深圳壹账通智能科技有限公司 一种数据处理方法及相关设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327193A1 (en) * 2008-06-27 2009-12-31 Nokia Corporation Apparatus, method and computer program product for filtering media files
US20080320033A1 (en) * 2007-06-21 2008-12-25 Nokia Corporation Method, Apparatus and Computer Program Product for Providing Association of Objects Using Metadata
CN103560906B (zh) * 2013-10-22 2017-01-25 珠海多玩信息技术有限公司 数据复制的方法及装置
CN105376077B (zh) * 2014-08-06 2019-08-13 中国移动通信集团黑龙江有限公司 网络行为信息的处理方法、日志的发送方法、装置及系统
CN104378233B (zh) * 2014-11-17 2018-04-03 北京百度网讯科技有限公司 设备统一管理方法、纳入方法及相应装置
CN104462349B (zh) * 2014-12-05 2019-02-19 曙光信息产业(北京)有限公司 一种文件处理方法及装置
CN107026821B (zh) * 2016-02-01 2021-06-01 阿里巴巴集团控股有限公司 报文的处理方法及装置
US10496605B2 (en) * 2016-04-29 2019-12-03 Splunk Inc. Application deployment for data intake and query system
US10178152B2 (en) * 2016-04-29 2019-01-08 Splunk Inc. Central repository for storing configuration files of a distributed computer system
US10977260B2 (en) * 2016-09-26 2021-04-13 Splunk Inc. Task distribution in an execution node of a distributed execution environment
CN108234233B (zh) * 2016-12-22 2021-09-24 阿里巴巴集团控股有限公司 日志处理方法及装置
CN108259371A (zh) * 2016-12-28 2018-07-06 亿阳信通股份有限公司 一种基于流处理的网络流量数据解析方法和装置
CN108540302B (zh) * 2017-03-03 2020-08-04 腾讯科技（深圳）有限公司 一种大数据处理的方法及设备
US10191736B2 (en) * 2017-04-28 2019-01-29 Servicenow, Inc. Systems and methods for tracking configuration file changes
CN107733863B (zh) * 2017-09-07 2019-12-24 济南双瑞软件有限公司 一种分布式hadoop环境下的日志调试方法和装置
US10771486B2 (en) * 2017-09-25 2020-09-08 Splunk Inc. Systems and methods for detecting network security threat event patterns
CN108600029B (zh) * 2018-05-09 2022-11-08 深圳壹账通智能科技有限公司 一种配置文件更新方法、装置、终端设备及存储介质
CN109032824B (zh) * 2018-05-31 2023-05-16 康键信息技术（深圳）有限公司 数据库校验方法、装置、计算机设备和存储介质
CN109344162A (zh) * 2018-09-14 2019-02-15 北京京东金融科技控股有限公司 业务数据处理方法和装置
CN109471786B (zh) * 2018-11-16 2019-08-30 苏州好玩友网络科技有限公司 一种数据采集方法、装置、设备和存储介质
CN109815013A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 业务数据处理方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170664A1 (ja) * 2015-04-24 2016-10-27 株式会社日立製作所 異常パケットフィルタリング装置、及び、異常パケットフィルタリング方法
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统
CN106385331A (zh) * 2016-09-08 2017-02-08 努比亚技术有限公司 一种基于日志的监控告警方法及系统
CN108021809A (zh) * 2017-12-19 2018-05-11 北京明朝万达科技股份有限公司 一种数据处理方法及系统
CN110046073A (zh) * 2019-03-29 2019-07-23 厦门网宿有限公司 一种日志采集方法及装置、设备、存储介质
CN110489391A (zh) * 2019-07-25 2019-11-22 深圳壹账通智能科技有限公司 一种数据处理方法及相关设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112787868B (zh) * 2021-01-29 2023-06-30 杭州迪普科技股份有限公司 一种信息同步的方法和装置
CN112787868A (zh) * 2021-01-29 2021-05-11 杭州迪普科技股份有限公司 一种信息同步的方法和装置
CN113342768A (zh) * 2021-06-01 2021-09-03 北京奇艺世纪科技有限公司 一种日志读取方法、装置、电子设备及可读存储介质
CN113342768B (zh) * 2021-06-01 2023-10-10 北京奇艺世纪科技有限公司 一种日志读取方法、装置、电子设备及可读存储介质
CN113486077A (zh) * 2021-06-11 2021-10-08 北京空间飞行器总体设计部 使用实时数据库处理航天器电源系统测试数据的方法
CN113486077B (zh) * 2021-06-11 2023-08-22 北京空间飞行器总体设计部 使用实时数据库处理航天器电源系统测试数据的方法
CN113608735A (zh) * 2021-08-11 2021-11-05 中国银行股份有限公司 采集工具配置文件生成方法及装置
CN113687852A (zh) * 2021-09-09 2021-11-23 中国银行股份有限公司 日志采集配置文件自动生成方法及装置
CN113987317A (zh) * 2021-10-29 2022-01-28 平安普惠企业管理有限公司 前端请求处理方法、装置、设备及存储介质
CN114238694A (zh) * 2021-11-09 2022-03-25 中国科学院信息工程研究所 基于Linux的数据处理方法、装置、电子设备及存储介质
CN114915643A (zh) * 2022-05-09 2022-08-16 北京交大微联科技有限公司 铁路信号集中监测系统的配置方法、装置、设备及介质
CN114915643B (zh) * 2022-05-09 2024-01-26 北京交大微联科技有限公司 铁路信号集中监测系统的配置方法、装置、设备及介质
CN114979217B (zh) * 2022-05-31 2023-06-06 重庆长安汽车股份有限公司 一种车身大数据传输方法
CN114979217A (zh) * 2022-05-31 2022-08-30 重庆长安汽车股份有限公司 一种车身大数据传输方法
WO2024093971A1 (zh) * 2022-11-04 2024-05-10 中车长春轨道客车股份有限公司 一种车载超导磁体监测系统的确定方法、系统及存储介质

Also Published As

Publication number Publication date
CN110489391A (zh) 2019-11-22
CN110489391B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
WO2021012568A1 (zh) 一种数据处理方法及相关设备
CN108549580B (zh) 自动部署Kubernetes从节点的方法及终端设备
US11206451B2 (en) Information interception processing method, terminal, and computer storage medium
US11082355B2 (en) Controllng distribution of resources in a network
CN108566290B (zh) 服务配置管理方法、系统、存储介质和服务器
US9667643B2 (en) Apparatus, system, and method for correlating security vulnerabilities from multiple independent vulnerability assessment methods
WO2020087948A1 (zh) 网络切片模板生成方法、装置、设备及存储介质
US11057464B1 (en) Synchronization of data between local and remote computing environment buffers
CN103795804A (zh) 存储资源调度方法及存储计算系统
US11108829B2 (en) Managing network connections based on their endpoints
CA2896865A1 (en) Method and system for using a recursive event listener on a node in hierarchical data structure
TW201814609A (zh) 一種資訊推送的方法和系統及用戶端和伺服器
CN110764894A (zh) 一种定时任务管理方法、装置、设备及存储介质
CN112052227A (zh) 数据变更日志的处理方法、装置和电子设备
US20120069406A1 (en) Determining scan priority of documents
CN115694699A (zh) 时延参数采集方法、装置、电子设备及存储介质
US11349957B2 (en) Automatic knowledge management for data lineage tracking
CN115208671B (zh) 防火墙配置方法、装置、电子设备和存储介质
US9917738B2 (en) Intelligent device data router
US9667642B2 (en) Apparatus, system, and method for reconciling network discovered hosts across time
CN112380411B (zh) 敏感词处理方法、装置、电子设备、系统及存储介质
WO2021189895A1 (zh) 配置数据的管理方法、装置、设备及存储介质
CN109104499B (zh) 一种会话建立方法、装置、设备和存储介质
US11734316B2 (en) Relationship-based search in a computing environment
CN111367867B (zh) 日志信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938991

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938991

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 090822)

122 Ep: pct application non-entry in european phase

Ref document number: 19938991

Country of ref document: EP

Kind code of ref document: A1