WO2018120705A1 - 一种数据处理方法、装置及系统 - Google Patents
一种数据处理方法、装置及系统 Download PDFInfo
- Publication number
- WO2018120705A1 WO2018120705A1 PCT/CN2017/090976 CN2017090976W WO2018120705A1 WO 2018120705 A1 WO2018120705 A1 WO 2018120705A1 CN 2017090976 W CN2017090976 W CN 2017090976W WO 2018120705 A1 WO2018120705 A1 WO 2018120705A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data processing
- data
- collected
- released
- collected data
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 239000000872 buffer Substances 0.000 claims description 28
- 230000003139 buffering effect Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/0842—Multiuser, multiprocessor or multiprocessing cache systems for multiprocessing or multitasking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
Definitions
- the present invention relates to the field of data processing technologies, and in particular, to a data processing method, apparatus, and system.
- Data processing technology is widely used in various industries. For example, in the agricultural planting industry, a large number of collection devices, such as sensors, are required to collect data from the planting site, and then the collected data is transmitted to the data processing device through the network to perform related data. Processing work, and finally the data processing device sends the processing result to the server, thereby realizing remote monitoring of the planting site. Since the collection equipment at the planting site is very large, the workload of the data processing device is very large.
- the data processing flow of the existing data processing device is: the collected data is directly processed, and since the processing mode is serial processing, when there is a large amount of data to be processed, a backlog of data occurs, and if the previous data is not present, After processing, the subsequent data must wait, so the data processing speed is very slow, and the processing result cannot be provided to the server in time, resulting in poor real-time performance during the monitoring process.
- the present invention provides a data processing method, including:
- the cache queue caches the collected data collected by each collection device, and the cache amount exceeds the predetermined amount. In the case of quantity, the cached collected data is released to each data processing unit according to a predetermined rule;
- Each data processing unit receives the released collected data, and respectively starts respective data processing threads for data processing to obtain data processing results.
- each of the data processing units receives the released collected data, and respectively starts a data processing thread to perform data processing to obtain a data processing result, which specifically includes:
- each of the data processing units there are multiple data processing threads in each of the data processing units.
- the releasing the cached collected data to each data processing unit according to a predetermined rule is: releasing the cached collected data according to the principle of first in first out, first in first out, according to current data processing units Processing status allocates cached acquisition data.
- the buffering the collected data according to the current processing state of each of the data processing units is specifically: if there is an idle data processing unit, the buffered collected data is allocated to the idle data processing unit; otherwise, Randomly assigned.
- the method further includes: each of the data processing units transmitting the data processing result to a monitoring server.
- the method further includes: when the data processing result is abnormal, the corresponding data processing unit outputs alarm prompt information, where the collected data includes identity information of the collecting device, where the alarm prompt information includes the corresponding collecting device Identity Information.
- the method further includes: the storage unit storing the data processing result of each of the data processing units.
- the present invention provides a data processing apparatus, including:
- a cache queue for buffering the collected data collected by each collection device, and releasing the cached collected data to each data processing unit according to a predetermined rule when the buffer amount exceeds a predetermined amount
- each data processing unit is configured to receive the released collected data, and respectively start respective data processing threads for data processing to obtain data processing results.
- each of the data processing units specifically includes:
- the time buffer stream module is configured to receive the released collected data in real time and buffer the second time; determine whether the release time is reached; if yes, release the collected data of the secondary cache; if not, continue to determine whether the release time is reached;
- the stream processing module is configured to start its own data processing thread for data processing to obtain data processing results.
- the present invention provides a data processing system, including each collection device, a monitoring server, and the data processing device described above.
- the data processing method provided by the present invention includes a buffer queue buffering the collected data collected by each collection device, and when the buffer amount exceeds a predetermined amount, releasing the cached collected data to each data processing unit according to a predetermined rule; each data The processing unit receives the released collected data, and respectively starts respective data processing threads for data processing to obtain data processing results. It can be seen that the method can process the collected data collected by multiple collection devices in parallel, fully utilize the processing capability of the CPU, reduce the backlog of the collected data, and improve the overall data processing speed, so that the real-time monitoring is high.
- the data processing apparatus and system provided by the present invention also have the above-described advantageous effects.
- FIG. 1 is a flowchart of a data processing method according to an embodiment of the present invention
- FIG. 2 is a structural diagram of a data processing apparatus according to an embodiment of the present invention.
- FIG. 3 is a flowchart of another data processing method according to an embodiment of the present invention.
- FIG. 4 is a structural diagram of another data processing apparatus according to an embodiment of the present invention.
- FIG. 5 is a structural diagram of a data processing system according to an embodiment of the present invention.
- the core of the present invention is to provide a data processing method, apparatus and system for overcoming the shortcomings of the data processing method in the prior art, thereby improving the real-time performance and processing speed of the monitoring.
- FIG. 1 is a flowchart of a data processing method according to an embodiment of the present invention. As shown in Figure 1, the data processing method includes:
- the cache queue buffers the collected data collected by each collection device, and when the buffer amount exceeds a predetermined amount, releases the cached collected data to each data processing unit according to a predetermined rule.
- Each data processing unit receives the released collected data, and respectively starts respective data processing threads for data processing to obtain data processing results.
- FIG. 2 is a structural diagram of a data processing apparatus according to an embodiment of the present invention. It should be noted that, in FIG. 2, it is only a specific implementation manner, and the number of data processing units 11 in the data processing apparatus 1 is at least two.
- the cache queue 10 is used to cache the collected data collected by each collection device, and is cached.
- the collection device may have hundreds or even thousands, and the collection frequency of different collection devices is different. This causes the amount of data to be collected without a fixed frequency. Therefore, if one acquisition data is processed according to the serial processing method of the prior art, the CPU is the core hardware of the data processing device at the same time.
- CPUs are usually multi-core, such as dual-core, quad-core or more cores, capable of processing multiple data in parallel, and the processing speed is not significantly reduced. Only one data can be processed, so the superior performance of the CPU cannot be achieved, resulting in a large amount of data. Backlogs, resulting in very slow data processing.
- the collected data is first cached in the cache queue 10.
- the capacity of the cache queue 10 is usually large, and a large amount of collected data can be cached at the same time.
- Cache queue 10 follows the cached data in advance
- the rules are released into the data processing units 11, and after receiving the released collected data, the data processing unit 11 calls the respective data processing threads, so that the CPU performs data processing on the collected data.
- the predetermined rules can be flexibly set, for example, the predetermined rules are first in first out, in and out, and allocated according to the current processing state of each data processing unit, so as a preferred embodiment, the cached
- the collected data is released to each data processing unit according to a predetermined rule.
- the buffered collected data is released according to the principle of first in first out, one out and one out, and the buffered collected data is allocated according to the current processing state of each data processing unit. For example, if the buffer queue has a capacity of 100, the first collected data will be released when the 101st collected data comes in.
- the buffered collected data is allocated according to the current processing state of each data processing unit, specifically: if there is an idle data processing unit, the buffered collected data is allocated to the idle data processing unit, otherwise, randomly allocated.
- the performance of each data processing unit can be fully utilized, and the data processing speed is faster.
- the data processing method provided in this embodiment includes: the cache queue caches the collected data collected by each collection device, and releases the cached collected data to each data processing unit according to a predetermined rule when the buffer amount exceeds a predetermined amount; each data The processing unit receives the released collected data, and respectively starts respective data processing threads for data processing to obtain data processing results. It can be seen that the method can process the collected data collected by multiple collection devices in parallel, fully utilize the processing capability of the CPU, reduce the backlog of the collected data, and improve the overall data processing speed, so that the real-time monitoring is high.
- FIG. 3 is a flowchart of another data processing method according to an embodiment of the present invention.
- step S11 specifically includes:
- S112 All the collected data of the secondary cache are released, and the respective data processing threads are started to perform data processing to obtain data processing results.
- FIG. 4 is a structural diagram of another data processing apparatus according to an embodiment of the present invention.
- each data processing unit 11 includes a time buffer stream module 110 and a stream processing module 111.
- the implementation of the cache queue 10 is the same as the above, and is not described in this embodiment.
- Each time buffer stream module 110 receives the collected data released by the buffer queue 10 in real time and caches it again.
- Each time stream cache module 110 has its own release time, which works by releasing data only when the release time is reached, otherwise it is always cached. It should be noted that the release time of each time stream buffer module 110 may be the same and may be different. When the respective release time is reached, the cached collected data is all released to the corresponding stream processing module 111 for data processing. The release time of each time stream buffer module 10 is calculated from the time when the data was last released.
- the release time is 15 seconds. Therefore, at a time between 10-15 seconds, the time stream buffer module 110 does not release data, and the stream processing module 111 is in an idle state, then the CPU is idle, and other operations can be performed while the CPU is idle. Obviously, this can improve CPU utilization.
- the release period of the time buffer stream module 110 can be set to 5 seconds.
- the stream processing module 111 receives the data and the data processing thread calls the data processing thread for 1 second, the CPU can idle 4 times. Seconds of time.
- each data processing unit there are a plurality of data processing threads in each data processing unit.
- the more data processing threads the more data that can be processed at the same time, but the processing speed of the CPU will also decrease. Therefore, the data processing threads are not as good as possible. And can not exceed the processing power of the CPU.
- the method further includes: when the data processing result is abnormal, the corresponding data processing unit outputs the alarm prompt information, where the collected data includes the identity information of the collection device, and the alarm prompt information includes Corresponding collection device identity letter interest.
- the abnormality of the data processing result in the embodiment refers to that the collected data is deviated from the data under normal conditions. For example, for a data corresponding to a temperature signal, the processing result under normal conditions should be 20 degrees Celsius - 35 degrees Celsius. If this range is exceeded, it indicates that the data processing result is abnormal. For example, if the current data processing result is 38 degrees Celsius, an alarm prompt message is output.
- the method further includes: the storage unit stores the data processing result of each data processing unit.
- the data processing results of the data processing units are stored in this embodiment. It can be understood that the data processing result may be partitioned and stored according to the data processing unit, that is, one storage area stores data processing results of the same data processing unit, or may all be stored in the same storage area.
- the data processing apparatus 1 includes:
- the cache queue 10 is configured to buffer the collected data collected by each collection device, and when the buffer amount exceeds a predetermined number, the cached collected data is released to each data processing unit 11 according to a predetermined rule;
- the plurality of data processing units 11 are configured to receive the released collected data, and respectively start respective data processing threads for data processing to obtain data processing results.
- each data processing unit 11 specifically includes:
- the time buffer stream module 110 is configured to receive the released collected data in real time and buffer the second time; determine whether the release time is reached; if yes, release the collected data of the secondary cache; if not, continue to determine whether the release time is reached. ;
- the stream processing module 111 is configured to start its own data processing thread for data processing to obtain a data processing result.
- the embodiment of the device part is described in the description of the embodiment of the method part, and details are not described herein.
- the data processing device includes a buffer queue for buffering the collected data collected by each collection device, and releasing the cached collected data to each data processing unit according to a predetermined rule when the buffer amount exceeds a predetermined amount.
- each data processing unit is configured to receive the released collected data, and respectively start respective data processing threads for data processing to obtain data processing results. It can be seen that the device can process the collected data collected by multiple collection devices in parallel, fully utilize the processing capability of the CPU, reduce the backlog of collected data, and improve the overall data processing speed, so that the real-time monitoring is high.
- the present invention also provides a system including the above data processing apparatus, that is, a data processing system including each collection device 2, a monitoring server 3, and a data processing device 1 according to the above embodiment.
- the embodiment of the system part corresponds to the embodiment of the device part.
- the embodiment of the system part please refer to the description of the embodiment of the device part, and details are not described herein.
- the data processing system provided in this embodiment includes the data processing device of the foregoing embodiment, where the data processing device includes a buffer queue for buffering the collected data collected by each collection device, and when the buffer amount exceeds a predetermined amount, The cached collected data is released to each data processing unit according to a predetermined rule; a plurality of data processing units, each data processing unit is configured to receive the released collected data, and respectively start respective data processing threads for data processing to obtain data processing results. It can be seen that the device can process the collected data collected by multiple collection devices in parallel, fully utilize the processing capability of the CPU, reduce the backlog of collected data, and improve the overall data processing speed, so that the real-time monitoring is high. In summary, the data processing system provided by this embodiment also has corresponding advantages.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Debugging And Monitoring (AREA)
Abstract
一种数据处理方法、装置及系统，其中，数据处理方法包括缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该方法、装置及系统能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。
Description
本申请要求于2016年12月29日提交中国专利局、申请号为201611248259.3、发明名称为“一种数据处理方法、装置及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、装置及系统。
数据处理技术广泛应用于各个行业，例如在农业种植行业，需要大量的采集设备，例如传感器等对种植现场进行数据采集，然后将采集到的数据通过网络传输到数据处理装置中，进行相关的数据处理工作，最后数据处理装置将处理结果发送到服务器，从而实现对种植现场的远程监测。由于种植现场的采集设备非常多，因此，数据处理装置的工作量非常大。
现有的数据处理装置的数据处理流程是：将采集到的数据直接进行处理，由于其处理模式是串行处理，因此当待处理数据非常多时，就会出现数据的积压，前面的数据如果没有处理完，则后面的数据就必须等待，因此数据处理的速度非常慢，无法及时向服务器提供处理结果，导致监测过程中实时性较差。
由此可见，如何克服现有技术中数据处理装置的数据处理方法的缺点，从而提高监测的实时性和处理速度是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种数据处理方法、装置及系统，用于克服现有技术中数据处理装置的数据处理方法的缺点，从而提高监测的实时性和处理速度。
为解决上述技术问题，本发明提供一种数据处理方法，包括：
缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定
数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；
各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。
优选地，所述各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果具体包括：
实时接收释放的采集数据，并二次缓存；
判断是否到达各自的释放时间；
如果是，则将二次缓存的采集数据全部释放，并启动各自的数据处理线程进行数据处理以得到数据处理结果；
如果否，则继续判断是否到达各自的释放时间。
优选地，各所述数据处理单元中的数据处理线程为多个。
优选地，所述将已缓存的采集数据按照预定规则释放至各数据处理单元具体为：按照先进先出、进一出一的原则释放已缓存的采集数据，按照各所述数据处理单元当前的处理状态分配已缓存的采集数据。
优选地，所述按照各所述数据处理单元当前的处理状态分配已缓存的采集数据具体为：如果有空闲的数据处理单元，则将已缓存的采集数据分配给空闲的数据处理单元，否则，随机分配。
优选地，还包括：各所述数据处理单元将所述数据处理结果发送给监控服务器。
优选地，还包括：当所述数据处理结果出现异常时对应的数据处理单元输出报警提示信息，其中所述采集数据中包含有采集设备的身份信息，所述报警提示信息包含对应的采集设备的身份信息。
优选地，还包括：存储单元存储各所述数据处理单元的数据处理结果。
为解决上述技术问题，本发明提供一种数据处理装置，包括：
缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；
多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。
优选地，各所述数据处理单元具体包括：
时间缓存流模块，用于实时接收释放的采集数据，并二次缓存；判断是否到达释放时间；如果是，则将二次缓存的采集数据全部释放；如果否，则继续判断是否到达释放时间；
流处理模块，用于启动自身的数据处理线程进行数据处理以得到数据处理结果。
为解决上述技术问题，本发明提供一种数据处理系统，包括各采集设备，监控服务器，还包括上述所述的数据处理装置。
本发明所提供的数据处理方法，包括缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该方法能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。此外，本发明所提供的数据处理装置及系统，同样具有上述有益效果。
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程图；
图2为本发明实施例提供的一种数据处理装置的结构图；
图3为本发明实施例提供的另一种数据处理方法的流程图；
图4为本发明实施例提供的另一种数据处理装置的结构图；
图5为本发明实施例提供的一种数据处理系统的结构图。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种数据处理方法、装置及系统，用于克服现有技术中数据处理方法的缺点，从而提高监测的实时性和处理速度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种数据处理方法的流程图。如图1所示，数据处理方法包括：
S10：缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元。
S11：各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。
为了更清楚表达图1所示的流程图，本实施例给出一种与该方法对应的结构图。图2为本发明实施例提供的一种数据处理装置的结构图。需要说明的是，图2中只是一种具体的实施方式，数据处理装置1中的数据处理单元11的数量至少为两个。
如图2所示，缓存队列10用来缓存各采集设备采集到的采集数据，并缓存，在具体实施中，采集设备可能有几百甚至几千，不同的采集设备的采集频率是不同的，这就造成采集数据的量并没有一个固定的频率，因此，如果按照现有技术的串行处理方式，来一个采集数据处理一个，则在同一时间CPU(CPU是数据处理装置的核心硬件，目前CPU通常都是多核，例如双核、四核或者更多核，能够并行处理多个数据，且处理速度没有明显的降低)只能处理一个数据，因此无法发挥CPU的优越性能，最终导致大量的数据积压，造成数据处理的速度非常缓慢。而采用本实施例提供的技术方案，采集数据首先缓存在缓存队列10中，缓存队列10的容量通常很大，能够同时缓存大量的采集数据。缓存队列10把已缓存的数据按照预
定规则释放到各数据处理单元11中，数据处理单元11在接收到释放的采集数据后，调用各自的数据处理线程，使得CPU对采集数据进行数据处理。
需要说明的是，预定规则可以灵活设置，例如，预定规则为先进先出、进一出一，并且按照各数据处理单元当前的处理状态分配，因此作为一种优选的实施方式，将已缓存的采集数据按照预定规则释放至各数据处理单元具体为：按照先进先出、进一出一的原则释放已缓存的采集数据，按照各数据处理单元当前的处理状态分配已缓存的采集数据。例如，如果缓存队列的容量为100个，则当第101个采集数据进来后，第一个采集数据就会被释放。
作为优选地，按照各数据处理单元当前的处理状态分配已缓存的采集数据具体为：如果有空闲的数据处理单元，则将已缓存的采集数据分配给空闲的数据处理单元，否则，随机分配。通过这样的处理机制，可以充分发挥各数据处理单元的性能，使得数据处理的速度更快。
本实施例提供的数据处理方法，包括缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该方法能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。
可以理解的是，在具体实施中，如何进行数据处理，即采用何种数据处理方法可以参见现有技术的处理方法，本实施例不再赘述。数据处理装置完成数据处理后，可以将数据处理结果发送给监控服务器或者存储在自身的存储单元中，并实施例不再赘述。
在上述实施例中，虽然能够提高整体的数据处理的速度，但是这样的处理方式使得CPU需要一直处于待命状态，这对CPU的性能的影响要比同时处理多个数据的影响大得多。基于这个问题，本实施例中，通过如下技术方案实现。图3为本发明实施例提供的另一种数据处理方法的流程图。作为优选地实施方式，步骤S11具体包括：
S110：实时接收释放的采集数据，并二次缓存；
S111：判断是否到达各自的释放时间；如果是，进入步骤S112，否则，返回S111。
S112：将二次缓存的采集数据全部释放，并启动各自的数据处理线程进行数据处理以得到数据处理结果。
为了更加清楚说明图3所示的流程图，本实施例给出相应的数据处理装置的结构图。图4为本发明实施例提供的另一种数据处理装置的结构图。
如图4所示，每个数据处理单元11包括时间缓存流模块110和流处理模块111。对于缓存队列10的实施方式与上文相同，本实施例不再赘述。各时间缓存流模块110实时接收缓存队列10释放的采集数据，并再次缓存。每个时间流缓存模块110都有各自的释放时间，其工作方式是，到达释放时间才释放数据，否则一直缓存。需要说明的是，各时间流缓存模块110的释放时间可以相同，可以不同。当到了各自的释放时间，则将缓存的采集数据全部释放给相应的流处理模块111，以进行数据处理。各时间流缓存模块10的释放时间是从上一次释放数据的时刻开始计算，如果周期为5秒，上一次释放数据的时刻为10秒的话，则本次释放时间就是15秒。因此，在10-15秒之间的时刻，时间流缓存模块110不会释放数据，则流处理模块111处于空闲状态，那么CPU就相应的空闲了，在CPU空闲的阶段就可以执行其它的操作，很显然，这样可以提高CPU的利用率。以一个具体例子说明，可以设置时间缓存流模块110的释放周期为5秒，流处理模块111接收到数据，调用数据处理线程进行数据处理所需的时间为1秒的话，则CPU可以空闲出4秒的时间。
作为优选地实施方式，各数据处理单元中的数据处理线程为多个。
可以理解的是，数据处理线程的个数越多，则同一时间能够处理的数据量就会越多，但是CPU的处理速度也会有所下降，因此，数据处理线程也不是越多越好，且不能超过CPU的处理能力。
在上述实施例的基础上，作为优选地实施方式，还包括：当数据处理结果出现异常时对应的数据处理单元输出报警提示信息，其中采集数据中包含有采集设备的身份信息，报警提示信息包含对应的采集设备的身份信
息。
可以理解的是，采集设备有多个，当数据处理结果出现异常时，进行提示，但是如果不知道对应哪个采集设备的话，则虽然能够起到报警提示的作用，但是定位难度非常大。通过本实施例，不仅可以实现报警提示的作用，而且能够自动定位。本实施例中所述的数据处理结果异常指的是，采集数据与正常情况下的数据有偏差，例如对于一个温度信号对应的采集数据，正常情况下的处理结果应该是20摄氏度-35摄氏度，一旦超过这个范围就表明数据处理结果出现异常，例如当前的数据处理结果为38摄氏度，则输出报警提示信息。
在上述实施例的基础上，作为优选地实施方式，还包括：存储单元存储各数据处理单元的数据处理结果。
为了方便后续查看，本实施例中将各数据处理单元的数据处理结果进行存储。可以理解的是，可以按照数据处理单元将数据处理结果分区存储，即一个存储区域存储同一个数据处理单元的数据处理结果，或者也可以全部存储在同一个存储区域中。
上文中是数据处理方法对应的实施方式，下文中给出该方法对应的装置部分的实施方式。
如图2所示，数据处理装置1，包括：
缓存队列10，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元11；
多个数据处理单元11，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。
如图4所示，作为优选的实施方式，各数据处理单元11具体包括：
时间缓存流模块110，用于实时接收释放的采集数据，并二次缓存；判断是否到达释放时间；如果是，则将二次缓存的采集数据全部释放；如果否，则继续判断是否到达释放时间；
流处理模块111，用于启动自身的数据处理线程进行数据处理以得到数据处理结果。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本实施例提供的数据处理装置，包括缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该装置能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。
另外，本发明还提供一种包含上述数据处理装置的系统，即数据处理系统，该数据处理系统包括各采集设备2，监控服务器3，还包括上述实施例所述的数据处理装置1。
由于系统部分的实施例与装置部分的实施例相互对应，因此系统部分的实施例请参见装置部分的实施例的描述，这里暂不赘述。
本实施例提供的数据处理系统，包括上述实施例所述的数据处理装置，该数据处理装置包括缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该装置能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。综上所述，本实施例提供的数据处理系统也具有相应的优点。
以上对本发明所提供的一种数据处理方法、装置及系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发
明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (11)
- 一种数据处理方法，其特征在于，包括：缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。
- 根据权利要求1所述的数据处理方法，其特征在于，所述各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果具体包括：实时接收释放的采集数据，并二次缓存；判断是否到达各自的释放时间；如果是，则将二次缓存的采集数据全部释放，并启动各自的数据处理线程进行数据处理以得到数据处理结果；如果否，则继续判断是否到达各自的释放时间。
- 根据权利要求2所述的数据处理方法，其特征在于，各所述数据处理单元中的数据处理线程为多个。
- 根据权利要求1所述的数据处理方法，其特征在于，所述将已缓存的采集数据按照预定规则释放至各数据处理单元具体为：按照先进先出、进一出一的原则释放已缓存的采集数据，按照各所述数据处理单元当前的处理状态分配已缓存的采集数据。
- 根据权利要求4所述的数据处理方法，其特征在于，所述按照各所述数据处理单元当前的处理状态分配已缓存的采集数据具体为：如果有空闲的数据处理单元，则将已缓存的采集数据分配给空闲的数据处理单元，否则，随机分配。
- 根据权利要求1所述的数据处理方法，其特征在于，还包括：各所述数据处理单元将所述数据处理结果发送给监控服务器。
- 根据权利要求1所述的数据处理方法，其特征在于，还包括：当所述数据处理结果出现异常时对应的数据处理单元输出报警提示信息，其中所述采集数据中包含有采集设备的身份信息，所述报警提示信息包含对应 的采集设备的身份信息。
- 根据权利要求1所述的数据处理方法，其特征在于，还包括：存储单元存储各所述数据处理单元的数据处理结果。
- 一种数据处理装置，其特征在于，包括：缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。
- 根据权利要求9所述的数据处理装置，其特征在于，各所述数据处理单元具体包括：时间缓存流模块，用于实时接收释放的采集数据，并二次缓存；判断是否到达释放时间；如果是，则将二次缓存的采集数据全部释放；如果否，则继续判断是否到达释放时间；流处理模块，用于启动自身的数据处理线程进行数据处理以得到数据处理结果。
- 一种数据处理系统，包括各采集设备，监控服务器，其特征在于，还包括权利要求9或10所述的数据处理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611248259.3 | 2016-12-29 | ||
| CN201611248259.3A CN106649140A (zh) | 2016-12-29 | 2016-12-29 | 一种数据处理方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018120705A1 true WO2018120705A1 (zh) | 2018-07-05 |
Family
ID=58836359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2017/090976 WO2018120705A1 (zh) | 2016-12-29 | 2017-06-30 | 一种数据处理方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106649140A (zh) |
| WO (1) | WO2018120705A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114338556A (zh) * | 2022-01-07 | 2022-04-12 | 南昌济铃新能源科技有限责任公司 | 一种can网络和车载以太网间的报文转发方法及网关系统 |
| WO2023226314A1 (zh) * | 2022-05-23 | 2023-11-30 | 杨正 | 应用的缓存可伸缩处理方法、装置、设备及介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649140A (zh) * | 2016-12-29 | 2017-05-10 | 深圳前海弘稼科技有限公司 | 一种数据处理方法、装置及系统 |
| WO2019140645A1 (zh) * | 2018-01-19 | 2019-07-25 | 深圳市大疆创新科技有限公司 | 一种数据处理方法、装置、控制器及可移动装置 |
| CN109460289A (zh) * | 2018-08-21 | 2019-03-12 | 深圳市华力特电气有限公司 | 一种楼宇数据处理系统和方法 |
| CN110430229B (zh) * | 2019-06-19 | 2020-09-11 | 特斯联（北京）科技有限公司 | 基于云平台的智慧社区物联传感信息采集处理系统及方法 |
| CN110413540B (zh) * | 2019-06-28 | 2021-07-16 | 苏州浪潮智能科技有限公司 | 一种fpga数据缓存的方法、系统、设备及存储介质 |
| CN114070718B (zh) * | 2021-10-19 | 2023-11-21 | 深圳市有方科技股份有限公司 | 一种告警方法、装置和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020133760A1 (en) * | 2001-02-08 | 2002-09-19 | International Business Machines Corporation | Cache thresholding method, apparatus, and program for predictive reporting of array bit line or driver failures |
| CN101786384A (zh) * | 2010-01-07 | 2010-07-28 | 浙江大学 | 数码印花机接口转换系统和数据传输方法 |
| CN102542635A (zh) * | 2012-02-09 | 2012-07-04 | 重庆长安汽车股份有限公司 | 一种与车道偏离报警系统结合的行车记录仪 |
| CN103593307A (zh) * | 2013-11-25 | 2014-02-19 | 湖南强军科技有限公司 | 一种电磁法勘探系统处理采集数据的方法和装置 |
| CN103678078A (zh) * | 2012-09-25 | 2014-03-26 | 深圳市中兴微电子技术有限公司 | 一种调试系统及方法 |
| CN104422694A (zh) * | 2013-09-11 | 2015-03-18 | 法国圣戈班玻璃公司 | 测量数据的处理装置及处理方法、光学测量系统 |
| CN106649140A (zh) * | 2016-12-29 | 2017-05-10 | 深圳前海弘稼科技有限公司 | 一种数据处理方法、装置及系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7661036B1 (en) * | 2005-11-08 | 2010-02-09 | Oakley Networks | Cache for collecting events on a monitored computer |
| CN103384206B (zh) * | 2012-05-02 | 2016-05-25 | 中国科学院计算机网络信息中心 | 一种面向海量数据的并行处理方法及系统 |
| CN102831091B (zh) * | 2012-07-31 | 2015-01-21 | 宁波成电泰克电子信息技术发展有限公司 | 一种基于串口的船用雷达回波数据的采集方法 |
| CN103207775B (zh) * | 2013-03-11 | 2016-03-09 | 中国科学技术大学苏州研究院 | 采用gpu加速进行实时网络流应用程序的处理方法 |
| DE102013108073B4 (de) * | 2013-07-29 | 2019-12-19 | Infineon Technologies Ag | Datenverarbeitungsanordnung und verfahren zur datenverarbeitung |
| CN103678522B (zh) * | 2013-11-28 | 2017-06-23 | 许继电气股份有限公司 | 一种智能变电站计量系统数据采集和转换方法 |
| CN103617592B (zh) * | 2013-11-28 | 2016-08-17 | 中国科学院光电研究院 | 基于fpga+多dsp的高光谱图像高速并行处理系统及方法 |
| CN104683445A (zh) * | 2015-01-26 | 2015-06-03 | 北京邮电大学 | 分布式实时数据融合系统 |
| CN204496485U (zh) * | 2015-04-14 | 2015-07-22 | 北京宏锐星通科技有限公司 | 一种基于高速数据采集存储系统的i/o加速存取装置 |
| CN106020777B (zh) * | 2016-04-29 | 2018-08-07 | 杭州华橙网络科技有限公司 | 一种数据处理方法、装置及系统 |
| CN106095832B (zh) * | 2016-06-01 | 2020-02-18 | 东软集团股份有限公司 | 分布式并行数据处理方法以及装置 |
| CN106019395B (zh) * | 2016-07-14 | 2018-06-26 | 中国地质大学（北京） | 一种基于相关辨识的电法接收处理系统及其方法 |
-
2016
- 2016-12-29 CN CN201611248259.3A patent/CN106649140A/zh active Pending
-
2017
- 2017-06-30 WO PCT/CN2017/090976 patent/WO2018120705A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020133760A1 (en) * | 2001-02-08 | 2002-09-19 | International Business Machines Corporation | Cache thresholding method, apparatus, and program for predictive reporting of array bit line or driver failures |
| CN101786384A (zh) * | 2010-01-07 | 2010-07-28 | 浙江大学 | 数码印花机接口转换系统和数据传输方法 |
| CN102542635A (zh) * | 2012-02-09 | 2012-07-04 | 重庆长安汽车股份有限公司 | 一种与车道偏离报警系统结合的行车记录仪 |
| CN103678078A (zh) * | 2012-09-25 | 2014-03-26 | 深圳市中兴微电子技术有限公司 | 一种调试系统及方法 |
| CN104422694A (zh) * | 2013-09-11 | 2015-03-18 | 法国圣戈班玻璃公司 | 测量数据的处理装置及处理方法、光学测量系统 |
| CN103593307A (zh) * | 2013-11-25 | 2014-02-19 | 湖南强军科技有限公司 | 一种电磁法勘探系统处理采集数据的方法和装置 |
| CN106649140A (zh) * | 2016-12-29 | 2017-05-10 | 深圳前海弘稼科技有限公司 | 一种数据处理方法、装置及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114338556A (zh) * | 2022-01-07 | 2022-04-12 | 南昌济铃新能源科技有限责任公司 | 一种can网络和车载以太网间的报文转发方法及网关系统 |
| WO2023226314A1 (zh) * | 2022-05-23 | 2023-11-30 | 杨正 | 应用的缓存可伸缩处理方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106649140A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018120705A1 (zh) | 一种数据处理方法、装置及系统 | |
| KR101915198B1 (ko) | 프로세서간 메시지처리장치 및 방법 | |
| EP3562096B1 (en) | Method and device for timeout monitoring | |
| CN113366457B (zh) | 处理输入/输出存储指令 | |
| US10069674B2 (en) | Monitoring file system operations between a client computer and a file server | |
| US10114723B2 (en) | Synchronous input/output measurement data | |
| CN111813573B (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| JP7379491B2 (ja) | 入出力ストア命令をハンドリングする方法、システム、およびプログラム | |
| JP2022518340A (ja) | 入出力ストア命令をハンドリングする方法、システム、およびプログラム | |
| US20160299788A1 (en) | Prioritising Event Processing Based on System Workload | |
| JP2022518351A (ja) | 入出力ストア命令をハンドリングする方法、システム、およびプログラム | |
| Dunne et al. | A comparison of data streaming frameworks for anomaly detection in embedded systems | |
| CN115617527A (zh) | 线程池的管理方法、配置方法、管理装置和配置装置 | |
| US9577959B2 (en) | Hierarchical caching system for lossless network packet capture applications | |
| US8752028B2 (en) | Efficient monitoring in a software system | |
| US8127305B1 (en) | Rerouting messages to parallel queue instances | |
| US9298576B2 (en) | Collecting processor usage statistics | |
| US20120303720A1 (en) | Rapid notification system | |
| CN111104168B (zh) | 一种计算结果提交方法及装置 | |
| US11765065B1 (en) | System and method for scalable telemetry | |
| CN115022243B (zh) | 数据流量控制方法、装置、系统、电子设备及存储介质 | |
| CN112286660A (zh) | 一种延时触发交易的控制方法以及控制装置 | |
| CN112364062A (zh) | 数据到达检测方法、装置、电子设备以及存储介质 | |
| CN114793192A (zh) | 故障定位方法、装置、设备、介质和程序产品 | |
| CN116302331A (zh) | 一种Kubernetes集群健康巡检的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17885717 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 28/10/2019) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17885717 Country of ref document: EP Kind code of ref document: A1 |