WO2018103315A1 - 监控数据的处理方法、装置、服务器及存储设备 - Google Patents

监控数据的处理方法、装置、服务器及存储设备 Download PDF

Info

Publication number
WO2018103315A1
WO2018103315A1 PCT/CN2017/091002 CN2017091002W WO2018103315A1 WO 2018103315 A1 WO2018103315 A1 WO 2018103315A1 CN 2017091002 W CN2017091002 W CN 2017091002W WO 2018103315 A1 WO2018103315 A1 WO 2018103315A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring data
distributed
data
data source
target data
Prior art date
Application number
PCT/CN2017/091002
Other languages
English (en)
French (fr)
Inventor
费永军
Original Assignee
上海壹账通金融科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海壹账通金融科技有限公司 filed Critical 上海壹账通金融科技有限公司
Publication of WO2018103315A1 publication Critical patent/WO2018103315A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Definitions

  • the present invention relates to the field of computer technologies, and in particular, to a method, an apparatus, a server, and a storage device for processing monitoring data.
  • InfluxDB is Go An open source distributed time series database for language development, which is very suitable for storing data such as indicators, events, and analysis. It is often used to store monitoring data for services and systems.
  • InfluxDB provides cluster services, which collect monitoring data from various business servers and store them directly in the InfluxDB cluster.
  • an InfluxDB can be selected as the Leader node to manage the entire InfluxDB cluster and control the data storage and reading operations of each InfluxDB in the cluster.
  • the Leader node fails, the new Leader node needs to be selected from other InfluxDBs in the cluster, and the management information stored in the original Leader node is synchronized to the new Leader node to implement switching between the new and old Leader nodes.
  • the overall InfluxDB cluster The stability is poor, and it is easy to cause problems such as loss of monitoring data.
  • a method, an apparatus, a server, and a storage device for processing monitoring data are provided.
  • a method of processing monitoring data including:
  • the consumer machine obtains a distributed time series database corresponding to the target data source according to the target data source identifier, where the distributed time series database is a stand-alone version;
  • the monitoring data is sent to the corresponding distributed time series database for storage by the consumer machine.
  • a processing device for monitoring data comprising:
  • An acquisition module configured to collect monitoring data of a target data source
  • a writing module configured to write the monitoring data into a distributed publish and subscribe message system
  • a reading module configured to read the monitoring data from the distributed publishing subscription message system by using a consumer machine
  • a data source identifier obtaining module configured to enable the consumer machine to acquire a target data source identifier in the monitoring data
  • timing database obtaining module configured to enable the consumer to acquire a distributed time series database corresponding to the target data source according to the target data source identifier, where the distributed time series database is a stand-alone version;
  • a storage module configured to send the monitoring data to the corresponding distributed time series database for storage by the consumer machine.
  • a server comprising a memory and a processor, the memory storing computer executable instructions, the computer executable instructions being executed by the processor, such that the processor performs the following steps:
  • the consumer machine obtains a distributed time series database corresponding to the target data source according to the target data source identifier, where the distributed time series database is a stand-alone version;
  • the monitoring data is sent to the corresponding distributed time series database for storage by the consumer machine.
  • One or more storage devices storing computer executable instructions that, when executed by one or more processors, cause the one or more processors to perform the following steps:
  • the consumer machine obtains a distributed time series database corresponding to the target data source according to the target data source identifier, where the distributed time series database is a stand-alone version;
  • the monitoring data is sent to the corresponding distributed time series database for storage by the consumer machine.
  • Figure 1 is a block diagram of a server in one embodiment
  • FIG. 2 is an application scenario diagram of a method for processing monitoring data in an embodiment
  • FIG. 3 is a flow chart of a method for processing monitoring data in an embodiment
  • 5 is a flow chart of writing monitoring data to a distributed publish and subscribe message system in one embodiment
  • FIG. 6 is a flow chart of a consumer machine reading monitoring data from a distributed publish and subscribe message system in an embodiment
  • FIG. 7 is a flow chart of a consumer machine storing monitoring data in a distributed time series database corresponding to a target data source in an embodiment
  • Figure 8 is a structural diagram of a processing device for monitoring data in an embodiment
  • FIG. 9 is a block diagram of an acquisition module in one embodiment
  • Figure 10 is a block diagram of a write module in one embodiment
  • FIG. 11 is a block diagram of a processing device for monitoring data in another embodiment
  • Figure 12 is a block diagram of a timing database acquisition module in one embodiment.
  • FIG. 1 is a block diagram of a server in one embodiment.
  • the server includes a processor, memory, and network interface connected by a system bus.
  • the server's processor is used to provide computing and control capabilities to support the operation of the entire server.
  • the server's memory is used to store data, code instructions, etc., and in one embodiment, the memory can include non-volatile storage media and internal memory.
  • the non-volatile storage medium stores an operating system, a database, and computer-executable instructions.
  • the database stores the monitoring data.
  • the computer-executable instructions are used to implement a method for processing monitoring data provided in the embodiments of the present application.
  • the internal memory provides a cached operating environment for operating systems and computer executable instructions in a non-volatile storage medium.
  • the network interface of the server is used to communicate with an external terminal through a network connection, such as sending monitoring data to the terminal to enable the terminal to display through the interface.
  • the server can be implemented with a stand-alone server or a server cluster consisting of multiple servers. It will be understood by those skilled in the art that the structure shown in FIG. 1 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the server to which the solution of the present application is applied. Specifically, the server may include a ratio. More or fewer components are shown in the figures, or some components are combined, or have different component arrangements.
  • FIG. 2 is an application scenario diagram of a method for processing monitoring data in an embodiment.
  • the proxy nodes installed on the respective target data sources 202 collect the monitoring data of the target data source 202 and write the collected monitoring data to the distributed publish subscription message system 204.
  • the distributed time series database cluster is composed of one or more stand-alone versions of the distributed time series database 208, and the consumer machine 206 reads the monitoring data from the distributed publish and subscribe message system 204, obtains the target data source identifier in the monitored data, and according to the target The data source identifier acquires the distributed time series database 208 corresponding to the target data source 202, and then sends the monitoring data to the corresponding distributed time series database 208 for storage.
  • a method for processing monitoring data is provided, which is applicable to the server shown in FIG. 1, and includes the following steps S310 to S360:
  • Step S310 collecting monitoring data of the target data source.
  • the target data source refers to the server of each business system that needs to be monitored, and the monitoring data may include the CPU of the server (Central) Processing Unit, CPU, load status, memory information, disk usage, number of requests, response time, and business conditions, etc., business conditions may include order statistics, sales statistics, and so on.
  • CPU Central Processing Unit
  • load status memory information
  • disk usage number of requests, response time, and business conditions
  • business conditions may include order statistics, sales statistics, and so on.
  • step S310 collects monitoring data of the target data source, including step S402 and step S404:
  • Step S402 collecting monitoring data of the target data source by using the proxy node.
  • An agent may be separately set on each target data source, and the agent may collect monitoring data on the corresponding target data source every first preset time, for example, every 1 minute, 2 minutes, etc., to perform monitoring data. collection.
  • Step S404 the monitoring data is cached in the ring message queue by the proxy node.
  • the ring message queue is a queue data structure connected end to end, which can pass two pointers. Read_pos and write_pos Point to the ring message queue read location and write location, respectively.
  • the monitoring data is written to the ring message queue, it can be judged whether the ring message queue is full. If yes, the monitoring data cannot be written. Wait for the monitoring data in the ring message queue to be read before it can be written normally. , the monitoring data is written to the ring message queue.
  • step S320 the monitoring data is written into the distributed publish and subscribe message system.
  • Multiple threads can be created to read the monitoring data one by one from the ring message queue and write the read monitoring data to the distributed publish subscription message system.
  • the pre-established thread can read the monitoring data from the ring message queue every second preset time, for example, every 100 milliseconds, 200 milliseconds, etc., or when the number of messages in the ring message queue reaches the preset according to the write_pos pointer At the threshold, the monitoring data is read from the ring message queue and written to the distributed publish subscription message system, and is not limited thereto.
  • the ring message queue can set up a lock mechanism to control access of multiple threads. When one thread acquires a lock, other threads need to wait while accessing the ring message queue until the thread holding the lock releases the lock, and the next thread is woken up and read. Take monitoring data.
  • the distributed publish and subscribe message system can be Kafka, which is a high-level extended and high-throughput distributed publish and subscribe message system.
  • Kafka is a high-level extended and high-throughput distributed publish and subscribe message system.
  • After the pre-established thread reads the monitoring data from the ring message queue, it can write the monitoring data to Kafka, and partition and copy the monitoring data in Kafka.
  • the distributed storage of the distributed messaging system through the distributed distribution prevents the monitoring data from being directly transmitted to the distributed time series database for data loss, and reduces the pressure on the network transmission.
  • Step S330 reading the monitoring data from the distributed publish and subscribe message system through the consumer machine.
  • the consumer machine refers to the server that reads data from Kafka.
  • the consumer machine can subscribe to the Topic corresponding to the monitoring data in Kafka.
  • the monitoring data is written to Kafka for storage, the consumer machine can use its own data.
  • the processing capability actively reads and processes the monitoring data associated with the subscribed Topic from Kafka.
  • Step S340 causing the consumer machine to acquire the target data source identifier in the monitoring data.
  • the target data source identifier may include the service type identifier and the IP of the collected server (Internet) Protocol, Internet Protocol, etc., where the service type identifier can be a service name, a number, and the like. After the consumer machine reads the monitoring data from Kafka, the target data source identifier can be extracted from the monitoring data.
  • Step S350 the consumer machine acquires a distributed time series database corresponding to the target data source according to the target data source identifier.
  • the distributed timing database may be InfluxDB.
  • the InfluxDB cluster is built by using the stand-alone version of InfluxDB, and each InfluxDB is operated separately, and each InfluxDB is independent of each other and does not affect each other.
  • Each target data source has its corresponding InfluxDB, and the configuration information in the consumer machine stores the correspondence between the target data source and the InfluxDB, and the consumer machine can find and collect from the configuration information according to the target data source identifier in the monitoring data. InfluxDB corresponding to the target data source.
  • InfluxDB cluster when it is required to expand the capacity of the InfluxDB cluster, it is only necessary to add the newly added relationship between the InfluxDB and the target data source in the configuration information of the consumer machine, which is convenient and low in cost expansion, and the expansion of the InfluxDB cluster. Good sex.
  • Step S360 the monitoring data is sent to the corresponding distributed time series database for storage by the consumer machine.
  • the monitoring data read from Kafka can be sent to the corresponding InfluxDB for storage.
  • the system administrator can access InfluxDB in real time through the visualization tools such as Grafana, obtain monitoring data from InfluxDB, and display it in the form of reports, charts, etc., so that the system administrator can obtain the status of the servers of each business system in real time, and ensure that The normal operation of the server.
  • the above monitoring data processing method collects monitoring data of the target data source, and writes the monitoring data into the distributed publishing and subscribing message system, and the consumer machine reads the monitoring data from the distributed publishing and subscribing message system, and identifies the target data source according to the monitoring data.
  • step S320 writes the monitoring data to the distributed publish subscription message system, including the following steps S502 to S506:
  • Step S502 acquiring a primary key of the monitoring data, and calculating a partition number according to the primary key.
  • the pre-established thread reads the monitoring data from the ring message queue, and writes the monitoring data into Kafka.
  • the primary key (key) of the monitoring data is obtained first, and the partition number is calculated according to the primary key, wherein the primary key of the monitoring data is used for identification monitoring.
  • Data the primary key of the monitoring data of the same target data source can be set to be the same, so that the monitoring data of the same target data source is written into the same partition.
  • Step S504 serializing the monitoring data to obtain a data stream in a unified format.
  • the monitoring data can be serialized before the monitoring data is written to Kafka, where serialization refers to the process of converting the state information of the object into a form that can be stored or transmitted.
  • serialization refers to the process of converting the state information of the object into a form that can be stored or transmitted.
  • the byte length required for serialization of all the fields included in the monitoring data may be calculated first, and then the field list may be output, and the output field may include byte data of key (key) and value (value). .
  • a binary data stream is obtained.
  • the data in the stream is a series of key-value pairs, and each key-value pair corresponds to a field, where the key is used to identify a specific field.
  • Step S506 Write the data stream into the partition in the distributed publish and subscribe message system that matches the partition number, and assign an ordered identifier to the data stream.
  • the binary data stream obtained by the serialization process can be written into the corresponding partition in Kafka according to the calculated partition number.
  • Kafka can assign an ordered identifier to the binary data stream, and the ordered identifier is used for labeling. The location of this binary data stream in the message log.
  • the consumer machine reads data from Kafka, it can first obtain the ordered identifier corresponding to the monitoring data, and the ordered data can accurately read the required data.
  • redundant backup can be performed. When the monitoring data is lost, the backup monitoring data can be obtained to ensure the data integrity.
  • the partition number can be calculated according to the primary key of the monitoring data, and the monitoring data is serialized, the data transmission is facilitated, the network transmission pressure is reduced, and the monitoring data is first written into the distributed publish and subscribe message system. Effectively prevent the loss of monitoring data directly to the distributed time series database.
  • the method for processing the monitoring data further includes steps S602 to S610:
  • Step S602 reading the data stream from the partition matching the partition number according to the ordered identifier.
  • the order mark of the message log corresponding to the Topic subscribed to by the consumer machine changes in Kafka, it indicates that the data stream obtained after the new monitoring data is serialized and processed is written into Kafka, and Kafka can send a message to the consumer machine. After the consumer obtains the message, the location of the data stream can be accurately located according to the ordered identification, and the data stream is read from the partition.
  • Step S604 deserializing the data stream to obtain monitoring data.
  • the data stream can be deserialized, and the byte length corresponding to the entire data stream can be obtained first, and the data stream of a complete data packet is read according to the length of the byte, and then in the data stream.
  • Each key-value pair is parsed one by one. According to the key, it is determined which field the value corresponds to, and the corresponding byte data is read according to the byte length of the value and converted into the type corresponding to the value to obtain the original monitoring data.
  • Step S606 Acquire a target data source identifier in the monitoring data.
  • Step S608 determining, according to the target data source identifier, whether the monitoring data belongs to the data in the blacklist. If yes, step S610 is performed, and if no, step S350 is performed.
  • a blacklist can be set up in the consumer machine.
  • the failed server can be added to the blacklist, and the IP address of the failed server is recorded in the blacklist.
  • the consumer machine can determine whether the target data source exists in the blacklist according to the target data source identifier of the read monitoring data, and if so, the monitoring data belongs to the data in the blacklist, and the consumer machine can discard the monitoring data without processing, if Otherwise, the monitoring data can be stored in InfluxDB corresponding to the target data source.
  • step S610 the monitoring data is discarded, and no processing is performed.
  • Step S350 acquiring a distributed time series database corresponding to the target data source according to the target data source identifier.
  • a blacklist can be set up in the consumer machine to automatically filter the monitoring data of the server in the blacklist, thereby speeding up the processing efficiency of the monitoring data.
  • step S340 after the consumer machine acquires the target data source identifier in the monitoring data in step S340, the following steps S702 to S710 are further included:
  • Step S702 the consumer machine is configured to acquire an active distributed time series database corresponding to the target data source according to the target data source identifier.
  • a target data source can correspond to a set of InfluxDBs, and a set of InfluxDBs can contain one primary InfluxDB and one or more standby InfluxDBs.
  • the active InfluxDB corresponding to the target data source can be obtained according to the target data source identifier in the monitoring data.
  • Step S704 it is detected by the consumer machine whether the main distributed time series database is faulty. If yes, step S706 is performed, and if no, step S710 is performed.
  • the heartbeat packet can be sent to the primary InfluxDB through the address of the primary InfluxDB to detect whether the primary InfluxDB is faulty, and if the primary InfluxDB does not respond within the time threshold. For example, if the response is not responded within 5 milliseconds and 7 milliseconds, it indicates that the primary InfluxDB has failed, and can be switched to the standby InfluxDB corresponding to the primary InfluxDB for storage. If the main InfluxDB has not failed, the consumer directly sends the monitoring data to the main InfluxDB for storage.
  • Step S706 acquiring, by the consumer machine, an alternate distributed time series database that matches the primary distributed time series database.
  • Step S708 the monitoring data is sent to the standby distributed time series database for storage by the consumer machine.
  • the standby InfluxDB corresponding to the primary InfluxDB may be acquired, and the monitoring data is written into the standby InfluxDB for storage.
  • Step S710 the monitoring data is sent to the main distributed time series database for storage by the consumer machine.
  • a target data source may correspond to a set of distributed time series databases.
  • the monitoring data is stored in the corresponding alternate distributed time series database to ensure distributed timing. High availability of database clusters.
  • a processing device 800 for monitoring data including an acquisition module 810, a writing module 820, a reading module 830, a data source identification acquiring module 840, and a timing database obtaining module 850. And a storage module 860.
  • the collecting module 810 is configured to collect monitoring data of the target data source.
  • the acquisition module 810 includes an acquisition unit 812 and a cache unit 814.
  • the collecting unit 812 is configured to collect monitoring data of the target data source by using the proxy node.
  • the buffer unit 814 is configured to cache the monitoring data in the ring message queue by using the proxy node.
  • the writing module 820 is configured to write the monitoring data into the distributed publish subscription message system.
  • the writing module 820 is further configured to read the monitoring data one by one from the ring message queue by using a pre-established thread, and write the read monitoring data into the distributed publishing subscription message system.
  • the reading module 830 is configured to read the monitoring data from the distributed publishing subscription message system through the consumer machine.
  • the data source identifier obtaining module 840 is configured to enable the consumer machine to acquire the target data source identifier in the monitoring data.
  • the timing database obtaining module 850 is configured to enable the consumer to acquire a distributed time series database corresponding to the target data source according to the target data source identifier, where the distributed time series database is a stand-alone version.
  • the storage module 860 is configured to send the monitoring data to the corresponding distributed time series database for storage by the consumer machine.
  • the processing device for monitoring data collects monitoring data of the target data source, and writes the monitoring data into the distributed publishing and subscribing message system, and the consumer machine reads the monitoring data from the distributed publishing and subscribing message system, and identifies the target data source according to the monitoring data.
  • the write module 820 includes a computing unit 822, a serialization unit 824, and a write unit 826.
  • the calculating unit 822 is configured to acquire a primary key of the monitoring data, and calculate a partition number according to the primary key.
  • the serialization unit 824 is configured to serialize the monitoring data to obtain a data stream in a unified format.
  • the writing unit 826 is configured to write the data stream into the partition in the distributed publish and subscribe message system that matches the partition number, and assign an ordered identifier to the data stream.
  • the partition number can be calculated according to the primary key of the monitoring data, and the monitoring data is serialized, the data transmission is facilitated, the network transmission pressure is reduced, and the monitoring data is first written into the distributed publish and subscribe message system. Effectively prevent the loss of monitoring data directly to the distributed time series database.
  • the processing device for monitoring data includes an acquisition module 810, a writing module 820, a reading module 830, a data source identifier obtaining module 840, a timing database obtaining module 850, and a storage module. 860, further comprising a judging module 870 and a discarding module 880.
  • the reading module 830 includes a reading unit 832 and a deserialization unit 834.
  • the reading unit 832 is configured to read the data stream from the partition matching the partition number according to the ordered identifier.
  • the deserialization unit 834 is configured to deserialize the data stream to obtain monitoring data.
  • the determining module 870 is configured to determine, according to the target data source identifier, whether the monitoring data belongs to data in the blacklist.
  • the discarding module 880 is configured to discard the monitoring data if the monitoring data belongs to the data in the blacklist, and does not process the data.
  • a blacklist can be set up in the consumer machine to automatically filter the monitoring data of the server in the blacklist, thereby speeding up the processing efficiency of the monitoring data.
  • the timing database acquisition module 850 includes an acquisition unit 852 and a detection unit 854.
  • the obtaining unit 852 is configured to obtain an active distributed time series database corresponding to the target data source according to the target data source identifier.
  • the detecting unit 854 is configured to detect whether the primary distributed timing database is faulty.
  • the obtaining unit 852 is further configured to acquire an alternate distributed time series database that matches the primary distributed time series database if the primary distributed time series database fails.
  • the storage module 860 is further configured to send the monitoring data to the standby distributed timing database for storage.
  • a target data source may correspond to a set of distributed time series databases.
  • the monitoring data is stored in the corresponding alternate distributed time series database to ensure distributed timing. High availability of database clusters.
  • the various modules in the processing device for monitoring data described above may be implemented in whole or in part by software, hardware, or a combination thereof.
  • the deserialization unit 834 may perform deserialization processing on the data stream by using a processor of the server to obtain monitoring data, where the processor may be a central processing unit, a microprocessor, or the like.
  • the above modules may be embedded in the hardware of the server or may be stored in the memory of the server in a software form, so that the processor can call the corresponding operations of the above modules.
  • the storage device may be a magnetic disk, an optical disk, or a read-only storage memory (Read-Only) Memory, ROM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种监控数据的处理方法，包括：采集目标数据源的监控数据（S310）；将所述监控数据写入分布式发布订阅消息系统（S320）；通过消费机从所述分布式发布订阅消息系统读取所述监控数据（S330）；使所述消费机获取所述监控数据中的目标数据源标识（S340）；使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库（S350），所述分布式时序数据库为单机版本；及通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储（S360）。

Description

监控数据的处理方法、装置、服务器及存储设备
本申请要求于2016年12月9日提交中国专利局、申请号为2016111324499 、发明名称为“监控数据的处理方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
【技术领域】
本发明涉及计算机技术领域，特别是涉及一种监控数据的处理方法、装置、服务器及存储设备。
【背景技术】
InfluxDB是 Go 语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据，常用于存储业务、系统等的监控数据。InfluxDB提供集群服务，从各个业务服务器采集监控数据后直接存储在InfluxDB集群中。在InfluxDB集群中可选取一个InfluxDB作为Leader（领导）节点对整个InfluxDB集群进行统一管理，控制集群中各个InfluxDB的数据存储及读取等操作。而当Leader节点发生故障时，需要从集群中其它的InfluxDB中选取新的Leader节点，并将原Leader节点中存储的管理信息同步至新的Leader节点，实现新旧Leader节点间的切换，整体InfluxDB集群的稳定性较差，容易造成监控数据丢失等问题。
【发明内容】
根据本申请的各种实施例，提供一种监控数据的处理方法、装置、服务器及存储设备。
一种监控数据的处理方法，包括：
采集目标数据源的监控数据；
将所述监控数据写入分布式发布订阅消息系统；
通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
使所述消费机获取所述监控数据中的目标数据源标识；
使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
一种监控数据的处理装置，包括：
采集模块，用于采集目标数据源的监控数据；
写入模块，用于将所述监控数据写入分布式发布订阅消息系统；
读取模块，用于通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
数据源标识获取模块，用于使所述消费机获取所述监控数据中的目标数据源标识；
时序数据库获取模块，用于使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
存储模块，用于通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
一种服务器，包括存储器和处理器，所述存储器中储存有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，使得所述处理器执行以下步骤：
采集目标数据源的监控数据；
将所述监控数据写入分布式发布订阅消息系统；
通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
使所述消费机获取所述监控数据中的目标数据源标识；
使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
一个或多个存储有计算机可执行指令的存储设备，所述计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
采集目标数据源的监控数据；
将所述监控数据写入分布式发布订阅消息系统；
通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
使所述消费机获取所述监控数据中的目标数据源标识；
使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
【附图说明】
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中服务器的框图；
图2为一个实施例中监控数据的处理方法的应用场景图；
图3为一个实施例中监控数据的处理方法的流程图；
图4为一个实施例中采集监控数据的流程图；
图5为一个实施例中将监控数据写入分布式发布订阅消息系统的流程图；
图6为一个实施例中消费机从分布式发布订阅消息系统读取监控数据的流程图；
图7为一个实施例中消费机将监控数据存储在与目标数据源对应的分布式时序数据库中的流程图；
图8为一个实施例中监控数据的处理装置的结构图；
图9为一个实施例中采集模块的框图；
图10为一个实施例中写入模块的框图；
图11为另一个实施例中监控数据的处理装置的框图；
图12为一个实施例中时序数据库获取模块的框图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中服务器的框图。如图1所示，该服务器包括通过系统总线连接的处理器、存储器和网络接口。其中，该服务器的处理器用于提供计算和控制能力，支撑整个服务器的运行。该服务器的存储器用于存储数据、代码指令等，在一个实施例中，存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机可执行指令，数据库中存储有监控数据，该计算机可执行指令用于实现本申请实施例中提供的一种监控数据的处理方法。内存储器为非易失性存储介质中的操作系统及计算机可执行指令提供高速缓存的运行环境。该服务器的网络接口用于据以与外部的终端通过网络连接通信，比如向终端发送监控数据以使终端通过界面进行展示等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体地服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图2为一个实施例中监控数据的处理方法的应用场景图。如图2所示，安装在各个目标数据源202上的代理节点采集目标数据源202的监控数据，并将采集的监控数据写入分布式发布订阅消息系统204。分布式时序数据库集群由一个或多个单机版本的分布式时序数据库208构成，消费机206从分布式发布订阅消息系统204读取监控数据，获取监控数据中的目标数据源标识，并根据该目标数据源标识获取与目标数据源202对应的分布式时序数据库208，再将监控数据发送至该对应的分布式时序数据库208中进行存储。
如图3所示，在一个实施例中，提供了一种监控数据的处理方法，适用于如图1所示的服务器，包括以下步骤S310~步骤S360：
步骤S310，采集目标数据源的监控数据。
目标数据源指的是需要进行监控的各个业务系统的服务器，监控数据可包括服务器的CPU（Central Processing Unit，中央处理器）负载情况、内存信息、磁盘使用率、请求个数、响应时间及业务情况等，其中，业务情况可包括订单统计、销售额统计等。
如图4所示，在一个实施例中，步骤S310采集目标数据源的监控数据，包括步骤S402及步骤S404：
步骤S402，通过代理节点采集目标数据源的监控数据。
可在每个目标数据源上分别设置Agent（代理节点），Agent可每隔第一预设时间采集对应的目标数据源上的监控数据，例如每隔1分钟、2分钟等，对监控数据进行采集。
步骤S404，通过代理节点将监控数据缓存在环形消息队列中。
目标数据源上的Agent采集监控数据后，可将监控数据写入环形消息队列中进行缓存，其中，环形消息队列是一种首尾相连的队列数据结构，可通过两个指针 read_pos 和 write_pos 分别指向环形消息队列读取位置和写入位置。将监控数据写入环形消息队列时，可先判断环形消息队列中是否为满，若是，则无法写入监控数据，需等待环形消息队列中的监控数据被读取才可正常写入，若否，则将监控数据写入环形消息队列中。
步骤S320，将监控数据写入分布式发布订阅消息系统。
可建立多个线程用于从环形消息队列中逐一读取监控数据，并将读取的监控数据写入分布式发布订阅消息系统。预先建立的线程可每隔第二预设时间从环形消息队列中读取监控数据，例如每隔100毫秒、200毫秒等，或是当根据write_pos指针判断出环形消息队列中的消息数达到预设阈值时，则从环形消息队列中读取监控数据写入分布式发布订阅消息系统，并不限于此。环形消息队列可设立锁机制控制多个线程的访问，当有一个线程获取锁时，其它线程要访问环形消息队列时需要进行等待直至持有锁的线程释放锁，则下一个线程被唤醒并读取监控数据。
在本实施例中，分布式发布订阅消息系统可为Kafka，Kafka是一种高水平拓展和高吞吐量的分布式发布订阅消息系统。预先建立线程从环形消息队列中读取监控数据后，可将监控数据写入Kafka，并在Kafka中对监控数据进行分区及副本存储等。通过分布式发布订阅消息系统的副本存储，可防止监控数据直接传输至分布式时序数据库发生数据丢失的情况，且可减少网络传输的压力。
步骤S330，通过消费机从分布式发布订阅消息系统读取监控数据。
消费机指的是从Kafka中消费读取数据的服务器，消费机可在Kafka中订阅与监控数据对应的Topic（主题），当监控数据被写入Kafka进行存储时，消费机可根据自身的数据处理能力从Kafka中主动读取与订阅的Topic关联的监控数据并进行处理。
步骤S340，使消费机获取监控数据中的目标数据源标识。
目标数据源标识可包括业务型标识及采集的服务器的IP（Internet Protocol，网际协议）地址等，其中，业务型标识可为业务名称、编号等。消费机从Kafka读取监控数据后，可从监控数据中提取目标数据源标识。
步骤S350，使消费机根据目标数据源标识获取与目标数据源对应的分布式时序数据库。
在本实施例中，分布式时序数据库可为InfluxDB，与传统的InfluxDB集群不同，本实施例中利用单机版本的InfluxDB搭建InfluxDB集群，每个InfluxDB单独运行，各个InfluxDB之间相互独立、互不影响。每个目标数据源均有其对应的InfluxDB，消费机中的配置信息存储有目标数据源及InfluxDB的对应关系，消费机根据监控数据中的目标数据源标识可从配置信息中查找到与采集的目标数据源对应的InfluxDB。
在其它的实施例中，当需要扩展InfluxDB集群的容量时，只需在消费机的配置信息中添加新增加的InfluxDB与目标数据源的对应关系即可，扩容方便且成本低，InfluxDB集群的扩展性好。
步骤S360，通过消费机将监控数据发送至对应的分布式时序数据库中进行存储。
消费机获取与目标数据源对应的InfluxDB后，可将从Kafka读取的监控数据发送至该对应的InfluxDB进行存储。系统管理员可在终端通过Grafana等可视化工具实时访问InfluxDB，从InfluxDB中获取监控数据，并以报表、图表等形式进行展示，可使系统管理员实时获取到各个业务系统的服务器的各个状态，保证服务器的正常运行。
上述监控数据的处理方法，采集目标数据源的监控数据，将监控数据写入分布式发布订阅消息系统，消费机从分布式发布订阅消息系统读取监控数据，并根据监控数据的目标数据源标识获取与目标数据源对应的分布式时序数据库，再将监控数据存储在该对应的分布式时序数据库中，先将监控数据写入分布式发布订阅消息系统中再发送至分布式时序数据库，可有效减少监控数据丢失的情况，且利用单机版本的分布式时序数据库搭建分布式时序数据库集群，使集群中的各个分布式时序数据库相互独立、互不影响，保证了分布式时序数据库集群的稳定性及高可用性。
如图5所示，在一个实施例中，步骤S320将监控数据写入分布式发布订阅消息系统，包括以下步骤S502~步骤S506：
步骤S502，获取监控数据的主键，并根据主键计算分区号。
预先建立的线程从环形消息队列中读取监控数据，将监控数据写入Kafka中，可先获取监控数据的主键（key），并根据主键计算分区号，其中，监控数据的主键用于标识监控数据，可设定同一目标数据源的监控数据的主键相同，使得同一目标数据源的监控数据被写入同一分区中。可通过轮询调度算法或哈希算法等计算监控数据对应的分区号，其中，哈希算法的计算公式为Partition=hash(key) %N，其中，Partition指的是分区号，key为监控数据的主键，N为Kafka中的分区数，根据分区号可确定监控数据应该存储在Kafka的第几个分区。
步骤S504，对监控数据进行序列化处理，得到统一格式的数据流。
在将监控数据写入Kafka之前，可对监控数据进行序列化处理，其中，序列化指的是将对象的状态信息转换为可以存储或传输的形式的过程。在进行序列化处理时，可先计算监控数据中包含的所有字段序列化所需占用的字节长度，再输出字段列表，输出的字段可包含key（键）及value（值）的字节数据。监控数据进行序列化处理后，可得到二进制数据流，该流中的数据为一系列的key-value对，每个key-value对对应一个字段，此处的key用于标识具体的字段。
步骤S506，将数据流写入分布式发布订阅消息系统中与分区号匹配的分区中，并对数据流分配有序标识。
可根据计算得到的分区号，将序列化处理得到的二进制数据流写入Kafka中对应的分区中，写入成功后，Kafka可为该二进制数据流分配有序标识，该有序标识用于标注该二进制数据流在消息日志中的位置。消费机在每次从Kafka读取数据时，可先获取监控数据对应的有序标识，通过有序标识即可准确读取所需的数据。此外，在将二进制数据流写入Kafka中相应的分区后，可进行冗余备份，当发生监控数据丢失时，可获取备份的监控数据，保证数据完整。
在本实施例中，可根据监控数据的主键计算分区号，并对监控数据进行序列化处理，方便进行数据传输，减少网络传输压力，且先将监控数据写入分布式发布订阅消息系统，可有效防止监控数据直接传输至分布式时序数据库发生数据丢失的情况。
如图6所示，在一个实施例中，上述监控数据的处理方法，还包括步骤S602~步骤S610：
步骤S602，根据有序标识从与分区号匹配的分区中读取数据流。
当Kafka中与消费机订阅的Topic对应的消息日志的有序标识发生变化，说明有新的监控数据进行序列化后处理后得到的数据流被写入Kafka中，Kafka可向消费机发送消息，消费机获取该消息后，可根据有序标识准确定位数据流的位置，并从分区中读取该数据流。
步骤S604，对数据流进行反序列化处理，得到监控数据。
消费机读取数据流后，可对数据流进行反序列化处理，可先获取整个数据流对应的字节长度，并根据字节长度读取一个完整数据包的数据流，再对数据流中的各个key-value对逐一进行解析，根据key可确定value对应于哪一个字段，根据value的字节长度读取对应的字节数据并转换为value对应的类型，得到原始的监控数据。
步骤S606，获取监控数据中的目标数据源标识。
步骤S608，根据目标数据源标识判断监控数据是否属于黑名单中的数据，若是，则执行步骤S610，若否，则执行步骤S350。
消费机中可设立黑名单，当业务系统的服务器发生故障时，可将该发生故障的服务器添加到黑名单中，黑名单中记录有该发生故障的服务器的IP等信息。消费机可根据读取的监控数据的目标数据源标识判断目标数据源是否存在于黑名单中，若是，则说明监控数据属于黑名单中的数据，消费机可丢弃该监控数据不进行处理，若否，则可将监控数据存储到与目标数据源对应的InfluxDB中。
步骤S610，丢弃监控数据，不进行处理。
步骤S350，根据目标数据源标识获取与目标数据源对应的分布式时序数据库。
在本实施例中，消费机中可设立黑名单，自动过滤黑名单中的服务器的监控数据，加快监控数据的处理效率。
如图7所示，在一个实施例中，在步骤S340使消费机获取监控数据中的目标数据源标识之后，还包括以下步骤S702~步骤S710：
步骤S702，使消费机根据目标数据源标识获取与目标数据源对应的主用分布式时序数据库。
一个目标数据源可对应于一组InfluxDB，一组InfluxDB中可包含有一个主用InfluxDB及一个或多个备用InfluxDB。消费机从Kafka读取监控数据后，可根据监控数据中的目标数据源标识获取与目标数据源对应的主用InfluxDB。
步骤S704，通过消费机检测主用分布式时序数据库是否发生故障，若是，则执行步骤S706，若否，则执行步骤S710。
消费机获取与目标数据源对应的主用InfluxDB后，可通过该主用InfluxDB的地址向该主用InfluxDB发送心跳包，检测该主用InfluxDB是否发生故障，若主用InfluxDB在时间阈值内未响应，例如在5毫秒、7毫秒内未响应，则说明该主用InfluxDB发生故障，可切换至与该主用InfluxDB对应的备用InfluxDB进行存储。若主用InfluxDB未发生故障，消费机则直接将监控数据发送至该主用InfluxDB进行存储。
步骤S706，通过消费机获取与主用分布式时序数据库匹配的备用分布式时序数据库。
步骤S708，通过消费机将监控数据发送至备用分布式时序数据库中进行存储。
若与目标数据源对应的主用InfluxDB发生故障，则可获取与该主用InfluxDB对应的备用InfluxDB，并将监控数据写入该备用InfluxDB中进行存储。
步骤S710，通过消费机将监控数据发送至主用分布式时序数据库中进行存储。
在本实施例中，一个目标数据源可对应于一组分布式时序数据库，当主用分布式时序数据库发生故障时，则将监控数据存储在对应的备用分布式时序数据库时，保证了分布式时序数据库集群的高可用性。
如图8所示，在一个实施例中，提供了一种监控数据的处理装置800，包括采集模块810、写入模块820、读取模块830、数据源标识获取模块840、时序数据库获取模块850及存储模块860。
采集模块810，用于采集目标数据源的监控数据。
如图9所示，在一个实施例中，采集模块810包括采集单元812及缓存单元814。
采集单元812，用于通过代理节点采集目标数据源的监控数据。
缓存单元814，用于通过代理节点将监控数据缓存在环形消息队列中。
写入模块820，用于将监控数据写入分布式发布订阅消息系统。
写入模块820，还用于通过预先建立的线程从环形消息队列中逐一读取监控数据，并将读取的监控数据写入分布式发布订阅消息系统。
读取模块830，用于通过消费机从分布式发布订阅消息系统读取监控数据。
数据源标识获取模块840，用于使消费机获取监控数据中的目标数据源标识。
时序数据库获取模块850，用于使消费机根据目标数据源标识获取与目标数据源对应的分布式时序数据库，该分布式时序数据库为单机版本。
存储模块860，用于通过消费机将监控数据发送至对应的分布式时序数据库中进行存储。
上述监控数据的处理装置，采集目标数据源的监控数据，将监控数据写入分布式发布订阅消息系统，消费机从分布式发布订阅消息系统读取监控数据，并根据监控数据的目标数据源标识获取与目标数据源对应的分布式时序数据库，再将监控数据存储在该对应的分布式时序数据库中，先将监控数据写入分布式发布订阅消息系统中再发送至分布式时序数据库，可有效减少监控数据丢失的情况，且利用单机版本的分布式时序数据库搭建分布式时序数据库集群，使集群中的各个分布式时序数据库相互独立、互不影响，保证了分布式时序数据库集群的稳定性及高可用性。
如图10所示，在一个实施例中，写入模块820包括计算单元822、序列化单元824及写入单元826。
计算单元822，用于获取监控数据的主键，并根据主键计算分区号。
序列化单元824，用于对监控数据进行序列化处理，得到统一格式的数据流。
写入单元826，用于将数据流写入分布式发布订阅消息系统中与分区号匹配的分区中，并对数据流分配有序标识。
在本实施例中，可根据监控数据的主键计算分区号，并对监控数据进行序列化处理，方便进行数据传输，减少网络传输压力，且先将监控数据写入分布式发布订阅消息系统，可有效防止监控数据直接传输至分布式时序数据库发生数据丢失的情况。
如图11所示，在一个实施例中，上述监控数据的处理装置，除了包括采集模块810、写入模块820、读取模块830、数据源标识获取模块840、时序数据库获取模块850及存储模块860，还包括判断模块870及丢弃模块880。
读取模块830，包括读取单元832及反序列化单元834。
读取单元832，用于根据有序标识从与分区号匹配的分区中读取数据流。
反序列化单元834，用于对数据流进行反序列化处理，得到监控数据。
判断模块870，用于根据目标数据源标识判断监控数据是否属于黑名单中的数据。
丢弃模块880，用于若监控数据属于黑名单中的数据，则丢弃监控数据，不进行处理。
在本实施例中，消费机中可设立黑名单，自动过滤黑名单中的服务器的监控数据，加快监控数据的处理效率。
如图12所示，在一个实施例中，时序数据库获取模块850包括获取单元852及检测单元854。
获取单元852，用于根据目标数据源标识获取与目标数据源对应的主用分布式时序数据库。
检测单元854，用于检测主用分布式时序数据库是否发生故障。
获取单元852，还用于若主用分布式时序数据库发生故障，则获取与主用分布式时序数据库匹配的备用分布式时序数据库。
存储模块860，还用于将监控数据发送至备用分布式时序数据库中进行存储。
在本实施例中，一个目标数据源可对应于一组分布式时序数据库，当主用分布式时序数据库发生故障时，则将监控数据存储在对应的备用分布式时序数据库时，保证了分布式时序数据库集群的高可用性。
上述监控数据的处理装置中的各个模块可全部或部分通过软件、硬件或其组合来实现。例如，在硬件实现上，上述反序列化单元834可通过服务器的处理器对数据流进行反序列化处理，得到监控数据，其中，处理器可以为中央处理单元、微处理器等。上述各模块可以硬件形式内嵌于或独立于服务器的处理器中，也可以以软件形式存储于服务器的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储设备中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储设备可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种监控数据的处理方法，包括：
    采集目标数据源的监控数据；
    将所述监控数据写入分布式发布订阅消息系统；
    通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
    使所述消费机获取所述监控数据中的目标数据源标识；
    使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
    通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
  2. 根据权利要求1所述的监控数据的处理方法，其特征在于，所述采集目标数据源的监控数据，包括：
    通过代理节点采集目标数据源的监控数据；及
    通过所述代理节点将所述监控数据缓存在环形消息队列中；
    所述将所述监控数据写入分布式发布订阅消息系统，包括：
    通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。
  3. 根据权利要求1所述的监控数据的处理方法，其特征在于，所述将所述监控数据写入分布式发布订阅消息系统，包括：
    获取所述监控数据的主键，并根据所述主键计算分区号；
    对所述监控数据进行序列化处理，得到统一格式的数据流；及
    将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。
  4. 根据权利要求3所述的监控数据的处理方法，其特征在于，所述通过消费机从所述分布式发布订阅消息系统读取所述监控数据，包括：
    根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；及
    对所述数据流进行反序列化处理，得到所述监控数据；
    在所述使所述消费机获取所述监控数据中的目标数据源标识之后，所述方法还包括：
    根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；及
    若属于，则丢弃所述监控数据，不进行处理。
  5. 根据权利要求1至4任一所述的监控数据的处理方法，其特征在于，所述使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，包括：
    根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；
    检测所述主用分布式时序数据库是否发生故障；及
    若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；
    所述通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储，包括：
    将所述监控数据发送至所述备用分布式时序数据库中进行存储。
  6. 一种监控数据的处理装置，包括：
    采集模块，用于采集目标数据源的监控数据；
    写入模块，用于将所述监控数据写入分布式发布订阅消息系统；
    读取模块，用于通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
    数据源标识获取模块，用于使所述消费机获取所述监控数据中的目标数据源标识；
    时序数据库获取模块，用于使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
    存储模块，用于通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
  7. 根据权利要求6所述的监控数据的处理装置，其特征在于，所述采集模块，包括：
    采集单元，用于通过代理节点采集目标数据源的监控数据；及
    缓存单元，用于通过所述代理节点将所述监控数据缓存在环形消息队列中；
    所述写入模块，还用于通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。
  8. 根据权利要求6所述的监控数据的处理装置，其特征在于，所述写入模块，包括：
    计算单元，用于获取所述监控数据的主键，并根据所述主键计算分区号；
    序列化单元，用于对所述监控数据进行序列化处理，得到统一格式的数据流；及
    写入单元，用于将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。
  9. 根据权利要求8所述的监控数据的处理装置，其特征在于，所述读取模块，包括：
    读取单元，用于根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；及
    反序列化单元，用于对所述数据流进行反序列化处理，得到所述监控数据；
    所述装置还包括：
    判断模块，用于根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；及
    丢弃模块，用于若所述监控数据属于黑名单中的数据，则丢弃所述监控数据，不进行处理。
  10. 根据权利要求6至9任一所述的监控数据的处理装置，其特征在于，所述时序数据库获取模块，包括：
    获取单元，用于根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；
    检测单元，用于检测所述主用分布式时序数据库是否发生故障；及
    所述获取单元，还用于若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；
    所述存储模块，还用于将所述监控数据发送至所述备用分布式时序数据库中进行存储。
  11. 一种服务器，包括存储器和处理器，所述存储器中储存有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，使得所述处理器执行以下步骤：
    采集目标数据源的监控数据；
    将所述监控数据写入分布式发布订阅消息系统；
    通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
    使所述消费机获取所述监控数据中的目标数据源标识；
    使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
    通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
  12. 根据权利要求11所述的服务器，其特征在于，所述采集目标数据源的监控数据，包括：
    通过代理节点采集目标数据源的监控数据；及
    通过所述代理节点将所述监控数据缓存在环形消息队列中；
    所述将所述监控数据写入分布式发布订阅消息系统，包括：
    通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。
  13. 根据权利要求11所述的服务器，其特征在于，所述将所述监控数据写入分布式发布订阅消息系统，包括：
    获取所述监控数据的主键，并根据所述主键计算分区号；
    对所述监控数据进行序列化处理，得到统一格式的数据流；及
    将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。
  14. 根据权利要求13所述的服务器，其特征在于，所述通过消费机从所述分布式发布订阅消息系统读取所述监控数据，包括：
    根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；及
    对所述数据流进行反序列化处理，得到所述监控数据；
    所述计算机可执行指令被所述处理器执行时，还使得所述处理器在执行所述使所述消费机获取所述监控数据中的目标数据源标识的步骤之后，还执行：
    根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；及
    若属于，则丢弃所述监控数据，不进行处理的步骤。
  15. 根据权利要求11至14任一所述的服务器，其特征在于，所述使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，包括：
    根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；
    检测所述主用分布式时序数据库是否发生故障；及
    若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；
    所述通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储，包括：
    将所述监控数据发送至所述备用分布式时序数据库中进行存储。
  16. 一个或多个存储有计算机可执行指令的存储设备，所述计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
    采集目标数据源的监控数据；
    将所述监控数据写入分布式发布订阅消息系统；
    通过消费机从所述分布式发布订阅消息系统读取所述监控数据；
    使所述消费机获取所述监控数据中的目标数据源标识；
    使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；及
    通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。
  17. 根据权利要求16所述的存储设备，其特征在于，所述采集目标数据源的监控数据，包括：
    通过代理节点采集目标数据源的监控数据；及
    通过所述代理节点将所述监控数据缓存在环形消息队列中；
    所述将所述监控数据写入分布式发布订阅消息系统，包括：
    通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。
  18. 根据权利要求16所述的存储设备，其特征在于，所述将所述监控数据写入分布式发布订阅消息系统，包括：
    获取所述监控数据的主键，并根据所述主键计算分区号；
    对所述监控数据进行序列化处理，得到统一格式的数据流；及
    将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。
  19. 根据权利要求18所述的存储设备，其特征在于，所述通过消费机从所述分布式发布订阅消息系统读取所述监控数据，包括：
    根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；及
    对所述数据流进行反序列化处理，得到所述监控数据；
    所述计算机可执行指令被一个或多个处理器执行时，还使得所述一个或多个处理器在执行所述使所述消费机获取所述监控数据中的目标数据源标识的步骤之后，还执行：
    根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；及
    若属于，则丢弃所述监控数据，不进行处理的步骤。
  20. 根据权利要求16至19任一所述的存储设备，其特征在于，所述使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，包括：
    根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；
    检测所述主用分布式时序数据库是否发生故障；及
    若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；
    所述通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储，包括：
    将所述监控数据发送至所述备用分布式时序数据库中进行存储。
PCT/CN2017/091002 2016-12-09 2017-06-30 监控数据的处理方法、装置、服务器及存储设备 WO2018103315A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611132449.9 2016-12-09
CN201611132449.9A CN107015872B (zh) 2016-12-09 2016-12-09 监控数据的处理方法及装置

Publications (1)

Publication Number Publication Date
WO2018103315A1 true WO2018103315A1 (zh) 2018-06-14

Family

ID=59439581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/091002 WO2018103315A1 (zh) 2016-12-09 2017-06-30 监控数据的处理方法、装置、服务器及存储设备

Country Status (2)

Country Link
CN (1) CN107015872B (zh)
WO (1) WO2018103315A1 (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684159A (zh) * 2018-09-07 2019-04-26 平安普惠企业管理有限公司 分布式消息系统的状态监控方法、装置、设备及存储介质
CN109861878A (zh) * 2019-01-17 2019-06-07 平安科技（深圳）有限公司 kafka集群的topic数据的监控方法及相关设备
CN110309109A (zh) * 2019-05-23 2019-10-08 中国平安财产保险股份有限公司 数据监控方法、装置、计算机设备及存储介质
CN110321359A (zh) * 2019-07-05 2019-10-11 浪潮软件集团有限公司 一种基于cmsp的空间数据增量更新方法
CN110635966A (zh) * 2019-08-20 2019-12-31 华能四川水电有限公司 一种流量数据的可视化展示系统、方法、介质和电子设备
CN110737565A (zh) * 2019-09-12 2020-01-31 华青融天(北京)软件股份有限公司 一种数据监控方法、装置、电子设备及存储介质
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及系统
CN110764705A (zh) * 2019-10-22 2020-02-07 北京锐安科技有限公司 一种数据的读写方法、装置、设备和存储介质
CN110941530A (zh) * 2019-11-11 2020-03-31 南方电网财务有限公司 监控数据的获取方法、装置、计算机设备和存储介质
CN110968370A (zh) * 2019-11-18 2020-04-07 中国银行股份有限公司 一种数据处理方法及装置
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111200637A (zh) * 2019-12-20 2020-05-26 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111225024A (zh) * 2019-11-22 2020-06-02 北京旷视科技有限公司 大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质
CN111367953A (zh) * 2020-03-30 2020-07-03 中国建设银行股份有限公司 一种资讯数据的流式处理方法及装置
CN111552695A (zh) * 2020-06-04 2020-08-18 支付宝(杭州)信息技术有限公司 数据存储和查询的方法、装置以及机器可读存储介质
CN111680108A (zh) * 2019-03-11 2020-09-18 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及一种数据获取方法、装置
CN111679878A (zh) * 2020-06-03 2020-09-18 云和恩墨(北京)信息技术有限公司 分布式存储数据库一体机的首页布局方法及装置
CN111752920A (zh) * 2020-06-22 2020-10-09 杭州数澜科技有限公司 用于管理元数据的方法、系统及存储介质
CN111901224A (zh) * 2020-07-24 2020-11-06 中国平安财产保险股份有限公司 延时消息加载方法、装置、设备及计算机可读存储介质
CN111932890A (zh) * 2020-08-19 2020-11-13 甘肃机电职业技术学院（甘肃省机械工业学校、甘肃省机械高级技工学校） 一种基于大数据的智能管理交通系统
CN111966943A (zh) * 2020-08-13 2020-11-20 上海哔哩哔哩科技有限公司 流式数据分发方法和系统
CN112182087A (zh) * 2020-09-30 2021-01-05 银盛支付服务股份有限公司 一种OGG同步实现Mongo多库连接方法及系统
CN112445795A (zh) * 2020-10-22 2021-03-05 浙江蓝卓工业互联网信息技术有限公司 一种时序数据库的分布式存储扩容方法及数据查询方法
CN112486473A (zh) * 2020-11-30 2021-03-12 中国电子科技集团公司第二十八研究所 基于Kafka和Redis的准实时目标航迹显示方法
CN112988702A (zh) * 2019-12-12 2021-06-18 天翼电子商务有限公司 异构数据源实时数据传输方法及系统、存储介质及终端
CN113190528A (zh) * 2021-04-21 2021-07-30 中国海洋大学 一种并行分布式大数据架构构建方法及系统
CN113220727A (zh) * 2021-05-07 2021-08-06 国网陕西省电力公司信息通信公司 基于云平台的电力物联数据可视化展现系统及其展现方法
CN113438619A (zh) * 2021-06-29 2021-09-24 中车青岛四方车辆研究所有限公司 一种基于物联网多数据源信息采集系统及其方法
CN113821495A (zh) * 2021-08-30 2021-12-21 山东有人物联网股份有限公司 数据库集群实现系统及方法
CN113923212A (zh) * 2020-06-22 2022-01-11 大唐移动通信设备有限公司 一种网络数据包处理方法和装置
CN113919412A (zh) * 2021-09-02 2022-01-11 中国电子科技集团公司第二十九研究所 一种数据分发方法、设备及存储介质
CN114125045A (zh) * 2021-10-29 2022-03-01 北京旷视科技有限公司 数据处理方法、装置和电子系统
CN114297109A (zh) * 2021-12-28 2022-04-08 中汽创智科技有限公司 一种基于订阅发布模式的数据处理方法、装置、电子设备及存储介质
CN114401284A (zh) * 2021-12-02 2022-04-26 南京工业大学 固定污染源治理工况实时数据采集与传输系统及方法
CN114422339A (zh) * 2022-03-29 2022-04-29 西安塔力科技有限公司 一种自动调度的分布式数据监控系统及方法
CN114817410A (zh) * 2022-06-23 2022-07-29 心鉴智控(深圳)科技有限公司 业务数据处理方法、装置、设备及存储介质
CN116112545A (zh) * 2021-11-09 2023-05-12 北京金山云网络技术有限公司 设备在线状态的监测方法、装置、系统和电子设备
CN117930737A (zh) * 2024-01-11 2024-04-26 深圳市互联兴邦科技有限公司 一种工业生产设备预警的可视化监测方法及装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108183835B (zh) * 2017-12-08 2021-05-07 中国航空工业集团公司成都飞机设计研究所 一种分布式系统军用1394总线数据完整性监控方法
CN108512726B (zh) * 2018-03-29 2020-06-02 上海连尚网络科技有限公司 一种数据监控的方法及设备
CN108897796B (zh) * 2018-06-12 2023-07-14 平安科技（深圳）有限公司 一种业务系统调用influxdb数据库的方法、存储介质和服务器
CN109684161B (zh) * 2018-11-02 2022-05-03 深圳壹账通智能科技有限公司 数据分析方法、装置、服务器及存储介质
CN109634519A (zh) * 2018-11-28 2019-04-16 平安科技（深圳）有限公司 电子装置、监控数据缓存的方法及存储介质
CN109739659B (zh) * 2018-12-13 2020-06-19 上海恺英网络科技有限公司 一种分布式消息队列的消息消费的方法和系统
CN109726240A (zh) * 2018-12-26 2019-05-07 亚信科技（中国）有限公司 实时业务轨迹跟踪方法和实时业务轨迹处理方法
CN111694693A (zh) * 2019-03-12 2020-09-22 上海晶赞融宣科技有限公司 数据流存储方法、装置以及计算机存储介质
CN111752987B (zh) * 2019-03-29 2023-12-12 北京数聚鑫云信息技术有限公司 一种数据库访问方法、装置、存储介质和计算机设备
CN110502424A (zh) * 2019-06-28 2019-11-26 浙江吉利控股集团有限公司 一种应用软件的性能数据处理方法、装置、系统及终端
CN110807067B (zh) * 2019-09-29 2023-12-22 北京淇瑀信息科技有限公司 关系型数据库和数据仓库的数据同步方法、装置及设备
CN110806958A (zh) * 2019-10-24 2020-02-18 长城计算机软件与系统有限公司 一种监控方法、监控装置、存储介质及电子设备
CN110781065A (zh) * 2019-10-28 2020-02-11 北京北信源软件股份有限公司 一种业务应用的监控方法及装置
CN111045869B (zh) * 2019-12-16 2023-03-10 上海钧正网络科技有限公司 一种数据备份方法、装置及可读存储介质
CN111258978B (zh) * 2020-01-17 2024-04-19 广东小天才科技有限公司 一种数据存储的方法
CN111371900B (zh) * 2020-03-13 2022-07-12 北京奇艺世纪科技有限公司 一种监测同步链路健康状态的方法及系统
CN111541824B (zh) * 2020-04-21 2021-11-26 北京思特奇信息技术股份有限公司 一种用于通讯信息传递的方法及系统
CN111611104B (zh) * 2020-05-14 2022-11-29 华云数据有限公司 一种InfluxDB数据备份方法、系统及终端设备
CN111641710A (zh) * 2020-05-29 2020-09-08 深圳壹账通智能科技有限公司 基于微服务的数据处理方法、装置、终端及存储介质
CN111782647A (zh) * 2020-05-29 2020-10-16 易联众信息技术股份有限公司 一种eos网络的区块数据存储方法、系统、介质及设备
CN112905901A (zh) * 2020-09-11 2021-06-04 卞美玲 面向大数据定位的服务兴趣提取方法、系统及平台
CN112307057A (zh) * 2020-10-27 2021-02-02 北京健康之家科技有限公司 数据的处理方法及装置、电子设备、计算机存储介质
CN112231290A (zh) * 2020-11-03 2021-01-15 上海智臻智能网络科技股份有限公司 一种本地日志的处理方法、装置、设备及存储介质
CN113342606A (zh) * 2021-06-07 2021-09-03 平安证券股份有限公司 基于消息中间件的数据监控方法、装置、设备和存储介质
CN113609139A (zh) * 2021-09-30 2021-11-05 苏州浪潮智能科技有限公司 一种监控数据管理方法、装置及电子设备和存储介质
CN114168405A (zh) * 2021-11-17 2022-03-11 深圳市梦网科技发展有限公司 一种数据监控方法、装置、终端设备及存储介质
CN114490576A (zh) * 2022-01-17 2022-05-13 成都飞机工业（集团）有限责任公司 一种数据库存储方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681472A (zh) * 2016-03-28 2016-06-15 微梦创科网络科技（中国）有限公司 一种日志传输方法及装置
CN105868253A (zh) * 2015-12-23 2016-08-17 乐视网信息技术（北京）股份有限公司 数据导入、查询方法及装置
CN105912709A (zh) * 2016-04-28 2016-08-31 泰华智慧产业集团股份有限公司 基于大数据的伴随车分析方法及系统
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685575B (zh) * 2014-01-06 2018-09-07 洪高颖 一种基于云架构的网站安全监控方法
CN105760398A (zh) * 2014-12-18 2016-07-13 中兴通讯股份有限公司 一种日志记录系统及日志记录操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160359695A1 (en) * 2015-06-04 2016-12-08 Cisco Technology, Inc. Network behavior data collection and analytics for anomaly detection
CN105868253A (zh) * 2015-12-23 2016-08-17 乐视网信息技术（北京）股份有限公司 数据导入、查询方法及装置
CN105681472A (zh) * 2016-03-28 2016-06-15 微梦创科网络科技（中国）有限公司 一种日志传输方法及装置
CN105912709A (zh) * 2016-04-28 2016-08-31 泰华智慧产业集团股份有限公司 基于大数据的伴随车分析方法及系统

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750562B (zh) * 2018-07-20 2023-10-27 宿迁市公安局 基于Storm的实时数据比对预警方法及系统
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及系统
CN109684159A (zh) * 2018-09-07 2019-04-26 平安普惠企业管理有限公司 分布式消息系统的状态监控方法、装置、设备及存储介质
CN109861878A (zh) * 2019-01-17 2019-06-07 平安科技（深圳）有限公司 kafka集群的topic数据的监控方法及相关设备
CN109861878B (zh) * 2019-01-17 2022-03-25 平安科技（深圳）有限公司 kafka集群的topic数据的监控方法及相关设备
CN111680108A (zh) * 2019-03-11 2020-09-18 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及一种数据获取方法、装置
CN111680108B (zh) * 2019-03-11 2023-11-03 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及一种数据获取方法、装置
CN110309109A (zh) * 2019-05-23 2019-10-08 中国平安财产保险股份有限公司 数据监控方法、装置、计算机设备及存储介质
CN110309109B (zh) * 2019-05-23 2024-02-02 中国平安财产保险股份有限公司 数据监控方法、装置、计算机设备及存储介质
CN110321359A (zh) * 2019-07-05 2019-10-11 浪潮软件集团有限公司 一种基于cmsp的空间数据增量更新方法
CN110321359B (zh) * 2019-07-05 2023-06-09 浪潮软件集团有限公司 一种基于cmsp的空间数据增量更新方法
CN110635966A (zh) * 2019-08-20 2019-12-31 华能四川水电有限公司 一种流量数据的可视化展示系统、方法、介质和电子设备
CN110737565B (zh) * 2019-09-12 2023-12-05 华青融天(北京)软件股份有限公司 一种数据监控方法、装置、电子设备及存储介质
CN110737565A (zh) * 2019-09-12 2020-01-31 华青融天(北京)软件股份有限公司 一种数据监控方法、装置、电子设备及存储介质
CN110764705B (zh) * 2019-10-22 2023-08-04 北京锐安科技有限公司 一种数据的读写方法、装置、设备和存储介质
CN110764705A (zh) * 2019-10-22 2020-02-07 北京锐安科技有限公司 一种数据的读写方法、装置、设备和存储介质
CN110941530B (zh) * 2019-11-11 2023-09-26 南方电网财务有限公司 监控数据的获取方法、装置、计算机设备和存储介质
CN110941530A (zh) * 2019-11-11 2020-03-31 南方电网财务有限公司 监控数据的获取方法、装置、计算机设备和存储介质
CN110968370B (zh) * 2019-11-18 2024-02-23 中国银行股份有限公司 一种数据处理方法及装置
CN110968370A (zh) * 2019-11-18 2020-04-07 中国银行股份有限公司 一种数据处理方法及装置
CN111225024A (zh) * 2019-11-22 2020-06-02 北京旷视科技有限公司 大体积数据的传输方法、系统、装置、电子设备及计算机可读存储介质
CN111143158B (zh) * 2019-12-04 2023-05-16 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN112988702A (zh) * 2019-12-12 2021-06-18 天翼电子商务有限公司 异构数据源实时数据传输方法及系统、存储介质及终端
CN111200637A (zh) * 2019-12-20 2020-05-26 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111200637B (zh) * 2019-12-20 2022-07-08 新浪网技术(中国)有限公司 一种缓存的处理方法及装置
CN111367953A (zh) * 2020-03-30 2020-07-03 中国建设银行股份有限公司 一种资讯数据的流式处理方法及装置
CN111679878A (zh) * 2020-06-03 2020-09-18 云和恩墨(北京)信息技术有限公司 分布式存储数据库一体机的首页布局方法及装置
CN111552695A (zh) * 2020-06-04 2020-08-18 支付宝(杭州)信息技术有限公司 数据存储和查询的方法、装置以及机器可读存储介质
CN111752920A (zh) * 2020-06-22 2020-10-09 杭州数澜科技有限公司 用于管理元数据的方法、系统及存储介质
CN113923212A (zh) * 2020-06-22 2022-01-11 大唐移动通信设备有限公司 一种网络数据包处理方法和装置
CN113923212B (zh) * 2020-06-22 2022-12-13 大唐移动通信设备有限公司 一种网络数据包处理方法和装置
CN111901224A (zh) * 2020-07-24 2020-11-06 中国平安财产保险股份有限公司 延时消息加载方法、装置、设备及计算机可读存储介质
CN111966943A (zh) * 2020-08-13 2020-11-20 上海哔哩哔哩科技有限公司 流式数据分发方法和系统
CN111932890A (zh) * 2020-08-19 2020-11-13 甘肃机电职业技术学院（甘肃省机械工业学校、甘肃省机械高级技工学校） 一种基于大数据的智能管理交通系统
CN112182087A (zh) * 2020-09-30 2021-01-05 银盛支付服务股份有限公司 一种OGG同步实现Mongo多库连接方法及系统
CN112445795A (zh) * 2020-10-22 2021-03-05 浙江蓝卓工业互联网信息技术有限公司 一种时序数据库的分布式存储扩容方法及数据查询方法
CN112486473A (zh) * 2020-11-30 2021-03-12 中国电子科技集团公司第二十八研究所 基于Kafka和Redis的准实时目标航迹显示方法
CN113190528A (zh) * 2021-04-21 2021-07-30 中国海洋大学 一种并行分布式大数据架构构建方法及系统
CN113220727A (zh) * 2021-05-07 2021-08-06 国网陕西省电力公司信息通信公司 基于云平台的电力物联数据可视化展现系统及其展现方法
CN113438619A (zh) * 2021-06-29 2021-09-24 中车青岛四方车辆研究所有限公司 一种基于物联网多数据源信息采集系统及其方法
CN113821495A (zh) * 2021-08-30 2021-12-21 山东有人物联网股份有限公司 数据库集群实现系统及方法
CN113919412A (zh) * 2021-09-02 2022-01-11 中国电子科技集团公司第二十九研究所 一种数据分发方法、设备及存储介质
CN113919412B (zh) * 2021-09-02 2023-07-25 中国电子科技集团公司第二十九研究所 一种数据分发方法、设备及存储介质
CN114125045A (zh) * 2021-10-29 2022-03-01 北京旷视科技有限公司 数据处理方法、装置和电子系统
CN114125045B (zh) * 2021-10-29 2024-04-02 北京旷视科技有限公司 数据处理方法、装置和电子系统
CN116112545A (zh) * 2021-11-09 2023-05-12 北京金山云网络技术有限公司 设备在线状态的监测方法、装置、系统和电子设备
CN114401284A (zh) * 2021-12-02 2022-04-26 南京工业大学 固定污染源治理工况实时数据采集与传输系统及方法
CN114401284B (zh) * 2021-12-02 2023-09-29 南京工业大学 固定污染源治理工况实时数据采集与传输系统及方法
CN114297109A (zh) * 2021-12-28 2022-04-08 中汽创智科技有限公司 一种基于订阅发布模式的数据处理方法、装置、电子设备及存储介质
CN114297109B (zh) * 2021-12-28 2024-05-24 中汽创智科技有限公司 一种基于订阅发布模式的数据处理方法、装置、电子设备及存储介质
CN114422339A (zh) * 2022-03-29 2022-04-29 西安塔力科技有限公司 一种自动调度的分布式数据监控系统及方法
CN114817410A (zh) * 2022-06-23 2022-07-29 心鉴智控(深圳)科技有限公司 业务数据处理方法、装置、设备及存储介质
CN114817410B (zh) * 2022-06-23 2022-09-13 心鉴智控(深圳)科技有限公司 业务数据处理方法、装置、设备及存储介质
CN117930737A (zh) * 2024-01-11 2024-04-26 深圳市互联兴邦科技有限公司 一种工业生产设备预警的可视化监测方法及装置

Also Published As

Publication number Publication date
CN107015872B (zh) 2018-03-16
CN107015872A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
WO2018103315A1 (zh) 监控数据的处理方法、装置、服务器及存储设备
WO2018161479A1 (zh) 区块链集群处理系统、方法、计算机设备和存储介质
WO2018036167A1 (zh) 测试任务执行机分配方法、装置、服务器和存储介质
WO2020233077A1 (zh) 系统服务的监控方法、装置、设备及存储介质
WO2020224246A1 (zh) 基于区块链的数据管理方法、装置、设备和存储介质
WO2013185434A1 (zh) 高可靠易扩展的录像存储、检索方法及其系统
WO2018014582A1 (zh) 保单数据处理方法、装置、服务器和存储介质
WO2015109804A1 (zh) 一种虚拟化环境下针对网络服务的双机热备份容灾系统及其方法
WO2011023123A1 (zh) Eaps 环网拓扑监控方法及系统
WO2020253116A1 (zh) 数据跑批方法、装置、存储介质及集群中的成员主机
WO2011105860A2 (en) Method and apparatus for generating minimum boot image
WO2018036168A1 (zh) 数据处理任务执行方法、装置、执行服务器和存储介质
WO2020186773A1 (zh) 调用请求监控方法、装置、设备及存储介质
WO2015180434A1 (zh) 一种数据库集群管理数据的方法、节点及系统
WO2019189963A1 (ko) 분산 클러스터 관리 시스템 및 그 방법
WO2018233037A1 (zh) 数据库集成测试方法、装置、服务器及存储介质
WO2021072881A1 (zh) 基于对象存储的请求处理方法、装置、设备及存储介质
WO2014044136A1 (zh) 基于分布式数据的并发处理方法、系统和计算机存储介质
WO2018227772A1 (zh) 柜员机控件更新方法、装置、计算机设备及存储介质
WO2018227771A1 (zh) 基于保单服务的区域划分方法、系统、服务器和存储介质
WO2014044130A1 (zh) 业务巡检方法和系统、计算机存储介质
WO2020237859A1 (zh) 基于nbd设备的数据迁移方法、装置、设备及存储介质
WO2017157125A1 (zh) 在云计算环境中删除云主机的方法、装置、服务器及存储介质
WO2018076863A1 (zh) 数据存储的方法、装置、存储介质、服务器及系统
WO2021012481A1 (zh) 系统性能监控方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17878366

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 071019)

122 Ep: pct application non-entry in european phase

Ref document number: 17878366

Country of ref document: EP

Kind code of ref document: A1