WO2017107793A1 - 一种数据处理方法和设备 - Google Patents

一种数据处理方法和设备 Download PDF

Info

Publication number
WO2017107793A1
WO2017107793A1 PCT/CN2016/109413 CN2016109413W WO2017107793A1 WO 2017107793 A1 WO2017107793 A1 WO 2017107793A1 CN 2016109413 W CN2016109413 W CN 2016109413W WO 2017107793 A1 WO2017107793 A1 WO 2017107793A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
time
processed
time window
time point
Prior art date
Application number
PCT/CN2016/109413
Other languages
English (en)
French (fr)
Inventor
李灼灵
熊奇
韩森
李巨雷
Original Assignee
阿里巴巴集团控股有限公司
李灼灵
熊奇
韩森
李巨雷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集团控股有限公司, 李灼灵, 熊奇, 韩森, 李巨雷 filed Critical 阿里巴巴集团控股有限公司
Priority to EP16877604.5A priority Critical patent/EP3396909A4/en
Priority to JP2018532610A priority patent/JP2019501458A/ja
Publication of WO2017107793A1 publication Critical patent/WO2017107793A1/zh
Priority to US16/015,100 priority patent/US11055272B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805—Real-time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp

Definitions

  • the present invention relates to the field of communications technologies, and in particular, to a data processing method, and to a data processing device.
  • streaming computing can calculate the dynamically generated data in real time and feed back the results in time.
  • streaming computing has been widely used in financial banking applications, Internet applications, and Internet of Things applications. It is mainly used to collect statistics on data within a certain time interval, that is, to perform statistics on data within a predetermined time window.
  • time window in the flow calculation is divided into two types: “system time window” and “data time window”, and their respective characteristics and disadvantages are as follows:
  • the system time window counts the data of the data generation end based on the system time. First, the statistical time of the data is divided into multiple system time windows according to a preset time interval, and then the system time window statistical result is output. If the data is processed only according to the system time window, the data has a certain delay from the generating end to the statistical end, and the data processed in the system time window is often not equal to the generated value generated by the generating end in the preset time interval. Data, which makes the results of streaming calculations affected.
  • the data time window counts the data at the data generation end based on the data time.
  • the data time of the data received by the statistics terminal is not necessarily strictly increased according to the order of the data time. Therefore, the problem of data out of order occurs in the statistical results based on the data time window. In the actual statistical process, it is easy to appear that the edge of the current data time window will have some data spanning into another data time window, so that the result of the streaming calculation is affected.
  • the accuracy of the streaming calculation can be guaranteed only by ensuring that all data of the current data time window reaches the statistical end. Therefore, the current actual statistical process only closes the current data time when the data received by the statistical terminal exceeds the data time window and reaches the preset value, or the data received by the statistical terminal reaches the preset number in the next data time window. window.
  • the data of the flow calculation is usually unstable. When the amount of data of a certain statistical item is small, the data of the next data time window has not reached the statistical end, and the statistical result of the current data time window is not output in time, resulting in data. Statistical delays have affected the results of streaming calculations.
  • the invention provides a data processing method, which solves the problem that the statistical data is complete and the statistical data processing in real time cannot be balanced by setting the closing time point and the synchronization time point for each system time window of the data statistics system in advance. problem.
  • the method is applied to a data statistics system, wherein each segment of the system time window of the data statistics system is preset with a closing time point and a synchronization time point, the closing time point is before the synchronization time point, and is located in the After the start time point of the system time window, the method includes:
  • the system receiving time is in the The data to be processed before the synchronization time point is cached, and the data to be processed after the synchronization time point of the system reception time is processed immediately;
  • the pending data of the system receiving time before the closing time point is processed immediately, and the system receiving time is at the closing time point.
  • the pending data is discarded.
  • determining a system time window corresponding to the to-be-processed data according to the data time of the to-be-processed data specifically:
  • the method further includes:
  • the method further includes:
  • the closing time point is set according to a time difference between the system time and the data time
  • the synchronization time point is set according to the time consumption of the closing time window and the clock difference between the devices in the data statistics system.
  • the present application also proposes a data processing device, which is applied to a data statistics system, wherein each system time window of the data statistics system is preset with a shutdown a time point and a synchronization time point, the closing time point being before the synchronization time point and after the starting time point of the system time window, the device comprising:
  • a determining module when receiving data to be processed in the current system time window, determining a system time window corresponding to the to-be-processed data according to the data time of the to-be-processed data;
  • a first processing module in the data time period, within a current system time window, buffering data to be processed before the synchronization time point of the system receiving time, and receiving the system receiving time at the synchronization time point
  • the pending data is processed immediately;
  • a second processing module when the data time is within a range of a previous system time window, processing the to-be-processed data of the system receiving time before the closing time point, and receiving the system receiving time The data to be processed after the closing time point is discarded.
  • the determining module is specifically configured to:
  • the device further includes:
  • a first output module when the system time of the data statistics system reaches the closing time point, outputting a processing result of the data to be processed whose data time is within the range of the previous system time window, and closing the The data time window corresponding to the previous system time window.
  • the device further includes:
  • a second output module when the system time of the data statistics system reaches the synchronization time point, processing data to be processed that is buffered before the synchronization time point and whose data time is within a current system time window range, and Output processing results.
  • the closing time point is set according to a time difference between the system time and the data time
  • the synchronization time point is based on the time consumption of the closing time window and the data statistics system The clock difference setting between each device.
  • FIG. 1 is a schematic flow chart of a data processing method proposed by the present application.
  • FIG. 2 is a schematic flow chart of a data processing method according to a specific embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a data processing device according to the present application.
  • the present application provides a data processing method, by setting a closing time point and a synchronization time point in each system time window, and treating the data to be processed by using the closing time point and the synchronization time point as nodes. Segmentation processing and output effectively improve the accuracy and real-time performance of data processing results.
  • the closing time point is the closing time of the data time window corresponding to the previous system time window, and also serves as the starting synchronization time of the data time window corresponding to the current system time window.
  • the synchronization time point is the end synchronization time of the data time window corresponding to the current system time window. Therefore, the system time window is divided into different processing and output stages by using the closing time point and the synchronization time point as nodes, and the real-time performance of the processing result output can be ensured while ensuring the integrity of the data processing.
  • the closing time point is set according to a time difference between the system time and the data time
  • the synchronization time point is according to a time consuming time window and a data statistics system.
  • the data statistics system needs to process all data generated by the corresponding device in the system time window of 0 to 1 min, assuming that it corresponds to all data of the data time window with a time stamp of 10:04.
  • the data with the timestamp of 10:04 may arrive at 1min10s of the system time window of 1 ⁇ 2min at the latest, set the 1min11s to the closing time point to ensure the corresponding time window of 0 ⁇ 1min. All pending data arrives at the data statistics system.
  • the 1 min 13 s is set as the synchronization time point, and the received 1 to 2 min system time window corresponds to the waiting time. Processing data is globally synchronized during this time period.
  • FIG. 1 a schematic flowchart of a data processing method proposed by the present application is applied to a data statistics system, where each system time window of the data statistics system is preset with a closing time point and a synchronization time point.
  • the closing time point of the same system time window is before the synchronization time point and after the starting time point, the method comprising the steps of:
  • the data time of the data to be processed by the data statistics system is not necessarily strictly increased according to the order of the data time, because the clock difference of the device at the data generating end and the speed of the data transmission process are affected. Therefore, it is easy for the pending data belonging to the previous system time window to cross the current system time window. That is to say, in the data to be processed received by the current system time window, there may be some data to be processed corresponding to the previous system time window. This will not only affect the integrity of the data in the previous system time window, but also interfere with the data processing of the current system time window.
  • the data statistics system needs to process all data generated by the corresponding device in the system time window of 0 to 1 min, assuming that it corresponds to all data of the data time window with a time stamp of 10:04.
  • the data type with a timestamp of 10:04 may arrive in the system time window of 1 ⁇ 2min. This will not only affect the integrity of the data processing of the system time window from 0 to 1 min, but also interfere with the data processing of the system time window of 1 to 2 minutes.
  • the system time window corresponding to the data to be processed needs to be determined according to the data time of the data to be processed, and the specific determination process is as follows:
  • timestamp of the data to be processed is only an example of the preferred embodiment of the present application.
  • data time of the data to be processed can also be represented by selecting other forms, so that the present application is applicable to more.
  • the field of application these improvements are within the scope of the invention.
  • the processed data is processed separately by using the synchronization time point as a demarcation point.
  • the data statistics system Before the synchronization time point, the data statistics system not only needs to process and output the data to be processed whose data time is within the range of the previous system time window, but also needs to globally synchronize the data to be processed whose data time is within the current system time window. Considering the statistical and computational efficiency and preventing the confusion of the statistics and calculation process, only the data to be processed before the synchronization time point in the system reception time is cached.
  • the system receiving time is at the synchronization time.
  • the pending data after the point is processed immediately.
  • the system is The data to be processed whose reception time is before the shutdown time point is processed immediately, and the data to be processed after the system reception time is after the shutdown time point is discarded.
  • the data to be processed is separately processed by using the closing time point as a demarcation point.
  • the data to be processed arriving at the data statistics system at this moment affects the global synchronization of the data to be processed whose data time is within the current system time window. It may even cause confusion in the statistics and calculation process of the data to be processed within the current system time window. Therefore, the to-be-processed data of the system receiving time after the closing time point is discarded.
  • the output node is the result of the processing by the closing time point and the synchronization time point, respectively.
  • the processing result of the data to be processed whose data time is within the range of the previous system time window is output, and is closed with the previous A data time window corresponding to a system time window.
  • processing the to-be-processed buffered before the synchronization time point and the data time is within the current system time window range Data and output processing results.
  • the closing time point and the synchronization time point are respectively used as nodes, and are closed.
  • the time point and the synchronization time point are segmented and outputted by the node to process the data, and the global synchronization process of the data to be processed is also added, and the data can be processed in time under the premise of ensuring the integrity of the data statistics, thereby improving the data location.
  • the accuracy and real-time nature of the results are also added, and the data can be processed in time under the premise of ensuring the integrity of the data statistics, thereby improving the data location.
  • a data processing method in which the data time window is used as the time basis for data statistics, and the system time window is closed as the data time window. The basis for synchronization with the global.
  • the method pre-sets the closing time point and the synchronization time point in each system time window.
  • the closing time point is set according to the time difference between the system time and the data time
  • the synchronization time point is set according to the time consumption of the closing time window and the clock difference between the devices in the data statistics system.
  • the application scenario takes 0-1 as the previous system time window, and 1-2 is the current system time window.
  • the previous system time window presets the closing time point ct0 and the synchronization time point st0
  • the current system time window presets the closing time point ct1 and the synchronization time point st1.
  • the method specifically includes the following steps:
  • Step 1 1 to ct1 the data statistics system receives the data to be processed, and determines according to the data time of the data to be processed. If the data time is within the range of the current system time window 1-2, the data to be processed is cached. If the data time is in the previous system time window 0-1 Within the scope, the data to be processed is processed and output in real time.
  • the data to be processed received in this time period corresponds to the previous system time window 0-1 and the current system time window 1-2. If the data to be processed corresponds to the previous system time window 0-1, the data is processed and output in real time; if the data to be processed corresponds to the current system time window 1-2, only the data is cached and not processed.
  • Step 2 At time ct1, outputting the processing result of all the data to be processed within the range of the previous system time window 0-1, and closing the data time window corresponding to the previous system time window 0-1 .
  • Step 3 ct1 ⁇ st1, receiving the data to be processed, and determining according to the data time of the data to be processed. If the data time is within the range of the current system time window 1-2, the data to be processed is cached, and The cached data is globally synchronized; if the data time is within the range of 0-1 of the previous system time window, the data to be processed is discarded.
  • the data to be processed received in this time period corresponds to the previous system time window 0-1 and the current system time window 1-2. If the data to be processed corresponds to the previous system time window 0-1, the data to be processed is discarded; if the data to be processed corresponds to the current system time window 1-2, the data to be processed is buffered for global synchronization without processing.
  • Step 4 st1 ⁇ 2, receiving the data to be processed and processing, and simultaneously buffering the data from 1 to ct1, and outputting the above processing result in real time.
  • the data to be processed received during this time period has a corresponding current system time window 1-2.
  • the received data to be processed is processed along with the data to be processed within the range of the current system time window 1-2 together with the data time buffered in the period of 1 to st1, and the above processing result is output in real time.
  • the statistics are set by closing the time point and the synchronization time point in advance for each system time window of the data statistics system.
  • the global synchronization of the data can be processed in time to ensure the integrity of the data statistics, thereby improving the accuracy and real-time performance of the data processing results.
  • the present application also proposes a data processing device.
  • the device is applied to a data statistics system, wherein each system time window of the data statistics system is preset with a shutdown time. A point and a synchronization time point, wherein the closing time point of the same system time window is before the synchronization time point and after the starting time point.
  • the device includes:
  • a determining module when receiving data to be processed in the current system time window, determining a system time window corresponding to the to-be-processed data according to the data time of the to-be-processed data;
  • a first processing module in the data time period, within a current system time window, buffering data to be processed before the synchronization time point of the system receiving time, and receiving the system receiving time at the synchronization time point
  • the pending data is processed immediately;
  • a second processing module when the data time is within a range of a previous system time window, processing the to-be-processed data of the system receiving time before the closing time point, and receiving the system receiving time The data to be processed after the closing time point is discarded.
  • the determining module is specifically configured to:
  • the device further includes:
  • a first output module when the system time of the data statistics system reaches the closing time point, outputting a processing result of the data to be processed whose data time is within the range of the previous system time window, and closing the The data time window corresponding to the previous system time window.
  • the device further includes:
  • a second output module when the system time of the data statistics system reaches the synchronization time point, processing data to be processed that is buffered before the synchronization time point and whose data time is within a current system time window range, and Output processing results.
  • the closing time point is set according to a time difference between the system time and the data time
  • the synchronization time point is set according to the time consumption of the closing time window and the clock difference between the devices in the data statistics system.
  • the present invention can be implemented by hardware or by means of software plus a necessary general hardware platform.
  • the technical solution of the present invention may be embodied in the form of a software product, which may be stored in a non-volatile storage medium (which may be a CD-ROM, a USB flash drive, a mobile hard disk, etc.), including several The instructions are for causing a computer device (which may be a personal computer, server, or network device, etc.) to perform the methods described in various implementation scenarios of the present invention.
  • modules in the apparatus in the implementation scenario may be distributed in the apparatus for implementing the scenario according to the implementation scenario description, or may be correspondingly changed in one or more devices different from the implementation scenario.
  • the modules of the above implementation scenarios may be combined into one module, or may be further split into multiple sub-modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理方法。当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；若所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；若所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。从而在保证数据统计完整的前提下及时进行处理，提高了数据处理结果的准确性和实时性。

Description

一种数据处理方法和设备 技术领域
本发明涉及通信技术领域，特别涉及一种数据处理方法，本申请同时还涉及一种数据处理设备。
背景技术
作为一种新的数据处理方式，流式计算能够对动态产生的数据进行实时计算并及时反馈结果。目前，流式计算已广泛应用于金融银行业应用、互联网应用和物联网应用等领域中，主要用于对一定时间间隔内的数据进行统计，即对于预定时间窗口内的数据进行统计。
在现有技术中，流式计算所存在时间窗口分为“系统时间窗口”以及“数据时间窗口”这两种，其各自的特点以及缺点如下：
(1)系统时间窗口
系统时间窗口基于系统时间对数据产生端的数据进行统计，首先根据预设的时间间隔将数据的统计时间划分为多个系统时间窗口，然后输出系统时间窗口统计结果。若仅按照系统时间窗口对数据进行处理的话，数据从产生端到统计端是有一定延迟性，在系统时间窗口内处理的数据往往不等于实际过程中产生端在预设时间间隔内所产生的数据，这使得流式计算的结果会受到影响。
(2)数据时间窗口
数据时间窗口基于数据时间对数据产生端的数据进行统计。在实际统计过程中，受到数据产生端的设备的时钟不完全同步以及数据采集传输过程的快慢程度的影响，统计端接收到数据的数据时间未必是按照数据时间的先后顺序严格递增的。因此基于数据时间窗口的统计结果中就会出现数据乱序的问题。在实际统计过程中很容易出现当前数据时间窗口的边缘会有部分数据跨越到另一数据时间窗口中的情况，使得流式计算的结果受到影响。
一旦出现在数据乱序的情况下，只有通过保证当前数据时间窗口的所有数据都到达统计端，才能够保证流式计算的准确程度。因此现有的实际统计过程只有在统计端接收到数据的数据时间超过数据时间窗口并达到预设值时或者统计端接收到下一数据时间窗口的数据达到预设数量时，才关闭当前数据时间窗口。
在实现本申请的过程中，发明人发现现有技术至少存在如下问题：
(1)流式计算的数据通常是不稳定的，当某个统计项数据量较少时，下个数据时间窗口数据一直没有到达统计端，当前数据时间窗口的统计结果没有及时输出，导致数据统计延误，使得流式计算的结果受到影响。
(2)流式计算的同级计算单元一般都是并发多个的，当需要同级计算单元的统计结果按顺序输出时，由于不同计算单元的处理进度的不同，则会出现不同计算单元的数据的数据时间不同步的情况，使得流式计算的结果受到影响。
由此可见，现有技术在针对流式计算中进行实时统计数据时，无法在保证数据统计完整的前提下及时输出统计数据，同时不能对统计数据的进行全局同步，从而影响了数据处理结果的准确性。
发明内容
本发明提供了一种数据处理方法，通过预先为数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点的方式，解决了保证统计数据完整和实时进行统计数据处理二者无法兼顾的问题。
该方法应用于数据统计系统中，其中所述数据统计系统的每一段系统时间窗口均预先设置有关闭时间点以及同步时间点，所述关闭时间点在所述同步时间点之前，并位于所述系统时间窗口的起始时间点之后，所述方法包括：
当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；
若所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所 述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；
若所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
优选地，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口，具体为：
根据所述待处理数据在数据时间窗口的时间戳，获取所述待处理数据的数据时间；
判断所述数据时间是否在当前的系统时间窗口的起始时间点之后；
若是，确认所述待处理数据在当前系统时间窗口范围之内；
若否，确认所述待处理数据在之前系统时间窗口范围之内。
优选地，所述方法还包括：
当所述数据统计系统的系统时间到达所述关闭时间点时，将数据时间在所述前一系统时间窗口范围之内的待处理数据的处理结果进行输出，并关闭与所述前一系统时间窗口对应的数据时间窗口。
优选地，所述方法还包括：
当所述数据统计系统的系统时间到达所述同步时间点时，处理在所述同步时间点之前所缓存的且数据时间在当前系统时间窗口范围之内的待处理数据，并输出处理结果。
优选地，所述关闭时间点根据所述系统时间与所述数据时间之间的时间差值设置；
所述同步时间点根据关闭时间窗口的耗时以及所述数据统计系统中各设备之间的时钟差值设置。
相应地，本申请还提出了一种数据处理设备，该设备应用于数据统计系统中，其中所述数据统计系统的每一段系统时间窗口均预先设置有关闭 时间点以及同步时间点，所述关闭时间点在所述同步时间点之前，并位于所述系统时间窗口的起始时间点之后，所述设备包括：
确定模块，当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；
第一处理模块，在所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；
第二处理模块，在所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
优选地，所述确定模块具体用于：
根据所述待处理数据在数据时间窗口的时间戳，获取所述待处理数据的数据时间；
判断所述数据时间是否在当前的系统时间窗口的起始时间点之后；
若是，确认所述待处理数据在当前系统时间窗口范围之内；
若否，确认所述待处理数据在之前系统时间窗口范围之内。
优选地，所述设备还包括：
第一输出模块，在所述数据统计系统的系统时间到达所述关闭时间点时，将数据时间在所述前一系统时间窗口范围之内的待处理数据的处理结果进行输出，并关闭与所述前一系统时间窗口对应的数据时间窗口。
优选地，所述设备还包括：
第二输出模块，在所述数据统计系统的系统时间到达所述同步时间点时，处理在所述同步时间点之前所缓存的且数据时间在当前系统时间窗口范围之内的待处理数据，并输出处理结果。
优选地，所述关闭时间点根据所述系统时间与所述数据时间之间的时间差值设置；
所述同步时间点根据关闭时间窗口的耗时以及所述数据统计系统中 各设备之间的时钟差值设置。
由此可见，通过应用本申请的技术方案，在针对需要实时并完整输出计算结果的流式计算过程中，通过预先为数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点的方式，对统计数据的进行全局同步，可以在保证数据统计完整的前提下对其及时进行处理，从而提高了数据处理结果的准确性和实时性。
附图说明
图1为本申请提出的一种数据处理方法的流程示意图；
图2为本申请的具体实施例所提出的一种数据处理方法的流程示意图；
图3为本申请提出的一种数据处理设备的结构示意图。
具体实施方式
有鉴于现有技术中的问题，本申请提供了一种数据处理方法，通过在各个系统时间窗口预设关闭时间点以及同步时间点，并以关闭时间点和同步时间点为节点对待处理数据进行分段处理与输出，有效提高了数据处理结果的准确性和实时性。
其中，关闭时间点为所述前一系统时间窗口对应的数据时间窗口的关闭时刻，其同时也作为当前系统时间窗口对应的数据时间窗口的开始同步时刻。同步时间点为当前系统时间窗口对应的数据时间窗口的结束同步时刻。故以关闭时间点和同步时间点作为节点，将系统时间窗口划分为不同的处理与输出阶段，可以在保证数据处理的完整性的同时兼顾处理结果输出的实时性。
本申请的优选实施例中，所述关闭时间点根据所述系统时间与所述数据时间之间的时间差值设置，所述同步时间点根据关闭时间窗口的耗时以及所述数据统计系统中各设备之间的时钟差值设置。
举例来说，数据统计系统需要处理0～1min系统时间窗口内由对应设备生成的所有数据，假设其对应数据时间窗口的时间戳为10:04的所有数据。在实际统计过程中，如果时间戳为10:04的数据最晚可能在1～2min系统时间窗口的1min10s时到达，则将1min11s处设为关闭时间点，保证0～1min系统时间窗口所对应的所有待处理数据全部到达数据统计系统。如果0～1min系统时间窗口的耗时与数据统计系统中各设备之间时钟差值之和为2s，则将1min13s处设为同步时间点，接收到的1～2min系统时间窗口所对应的待处理数据在此时间段内全局同步。
如图1所示，为本申请提出的数据处理方法的流程示意图，该方法应用于数据统计系统中，其中所述数据统计系统的每一段系统时间窗口均预先设置有关闭时间点以及同步时间点，其中，同一系统时间窗口的所述关闭时间点是位于所述同步时间点之前以及起始时间点之后，该方法包括以下步骤：
S101，当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口。
在实际应用场景中，由于会受到数据产生端的设备的时钟差值以及数据传输过程快慢的影响，所述数据统计系统所接收到不同待处理数据的数据时间未必是严格按照数据时间的先后顺序递增的，因此就会容易出现属于前一系统时间窗口的待处理数据跨越到当前系统时间窗口的情况。也就是说，当前系统时间窗口所接收到待处理数据中，可能会存在部分对应于前一系统时间窗口的待处理数据。这样不仅会影响到前一系统时间窗口数据的完整性，同时还会对当前系统时间窗口的数据处理造成干扰。
举例来说，数据统计系统需要处理0～1min系统时间窗口内由对应设备生成的所有数据，假设其对应数据时间窗口的时间戳为10:04的所有数据。在实际统计过程中，时间戳为10:04的数据种可能会存在部分在1～2min系统时间窗口才到达。这样不仅会影响到0～1min系统时间窗口数据处理的完整性，同时还会对1～2min系统时间窗口的数据处理造成干扰。
因此，为了防止由于待处理数据的乱序对计算结果造成影响，在本申 请的优选实施例中，当在当前系统时间窗口接收到待处理数据时，需要根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口，具体确定过程如下：
a)根据所述待处理数据在数据时间窗口的时间戳，获取所述待处理数据的数据时间；
b)判断所述数据时间是否在当前的系统时间窗口的起始时间点之后；
c)若是，确认所述待处理数据在当前系统时间窗口范围之内；
d)若否，确认所述待处理数据在之前系统时间窗口范围之内。
需要说明的是，以上待处理数据的时间戳仅为本申请优选实施例提出的示例，在此基础上还可以通过选择其他形式来表示待处理数据的数据时间，以使本申请适用于更多的应用领域，这些改进都属于本发明的保护范围。
S102，若所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理。
具体的，接收到的如果是当前系统时间窗口所对应的待处理数据，以同步时间点为分界点对待处理数据进行分别处理。
在同步时间点之前，数据统计系统不仅需要处理并输出数据时间在前一系统时间窗口范围之内的待处理数据，还需要对数据时间在当前系统时间窗口范围之内的待处理数据进行全局同步，考虑到统计与计算效率以及防止统计与计算过程的混乱，故只将在系统接收时间在所述同步时间点之前的待处理数据进行缓存。
在同步时间点之后，由于前一系统时间窗口对应的数据时间窗口已关闭，且当前系统时间窗口范围之内的待处理数据也已完成全局同步，故将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理。
S103，若所述数据时间在前一系统时间窗口的范围之内，将所述系统 接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
具体的，接收到的如果是前一系统时间窗口所对应的待处理数据，以关闭时间点为分界点对待处理数据进行分别处理。
在关闭时间点之前，由于会受到数据产生端的设备的时钟差值以及数据传输过程快慢的影响，可能会存在部分对应于前一系统时间窗口的待处理数据在当前系统时间窗口才到达数据统计系统，这些数据对保证前一系统时间窗口数据处理的完整性与准确性起着重要的作用。故将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理。
在关闭时间点之后，由于前一系统时间窗口对应的数据时间窗口已关闭，此刻到达数据统计系统的待处理数据则会影响到数据时间在当前系统时间窗口范围之内的待处理数据的全局同步，甚至还会造成数据时间在当前系统时间窗口范围之内的待处理数据统计与计算过程的混乱。故将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
本申请的优选实施例中，分别以关闭时间点和同步时间点作为处理结果的输出节点。
具体的，当所述数据统计系统的系统时间到达所述关闭时间点时，将数据时间在所述前一系统时间窗口范围之内的待处理数据的处理结果进行输出，并关闭与所述前一系统时间窗口对应的数据时间窗口。
本申请的优选实施例中，当所述数据统计系统的系统时间到达所述同步时间点时，处理在所述同步时间点之前所缓存的且数据时间在当前系统时间窗口范围之内的待处理数据，并输出处理结果。
由此可见，通过应用本申请的技术方案，通过预先为数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点的方式，分别以关闭时间点和同步时间点为节点，并以关闭时间点和同步时间点为节点对待处理数据进行分段处理与输出，同时还增加了待处理数据的全局同步过程，可以在保证数据统计完整的前提下对其及时进行处理，从而提高了数据处 理结果的准确性和实时性。
为了进一步阐述本发明的技术思想，现结合图2所示的具体的应用场景，对本申请的技术方案进行说明。
在对流式计算的数据进行统计时，由于数据的系统时间和数据时间之间存在差异，故很容易出现当前数据时间窗口的边缘会有部分数据跨越到另一数据时间窗口中的情况，从而使得流式计算的结果受到影响。由于数据的系统时间和数据时间之间的差异往往不是很大，故当前数据时间窗口的边缘的部分数据一般仅跨越到相邻的数据时间窗口(即下一数据时间窗口)中，即使出现极少量当前数据时间窗口对应的数据跨越到非相邻的数据时间窗口时(即下一数据时间窗口之后的数据时间窗口)，则到对应的数据时间窗口数据处理节点时，将该跨越的数据丢弃即可。在流式计算中，出现上述情况的可能性极低，再者即使出现上述情况，选择将极少量的数据丢弃，也不会影响到对当前数据时间窗口数据的统计处理结果。
故此具体的应用场景中，在针对需要实时并完整输出计算结果的流式计算过程中，提出了一种数据处理方法，以数据时间窗口作为数据统计的时间依据，系统时间窗口作为数据时间窗口关闭和全局同步的依据。
该方法通过在每一段系统时间窗口均预先设置关闭时间点以及同步时间点。其中关闭时间点根据系统时间与所述数据时间之间的时间差值设置，同步时间点根据关闭时间窗口的耗时以及数据统计系统中各设备之间的时钟差值设置。
具体的，本应用场景以0-1为上一系统时间窗口，1-2为当前系统时间窗口。其中，上一系统时间窗口预先设置关闭时间点ct0和同步时间点st0，当前系统时间窗口预先设置关闭时间点ct1和同步时间点st1。
该方法具体包括如下步骤：
步骤1 1～ct1，数据统计系统接收待处理数据，根据所述待处理数据的数据时间进行判断，若所述数据时间在当前系统时间窗口1-2的范围之内，将待处理数据进行缓存；若所述数据时间在前一系统时间窗口0-1的 范围之内，将待处理数据进行即时处理并输出。
具体地，此时间段内接收的待处理数据，既有对应前一系统时间窗口0-1的，也有对应当前系统时间窗口1-2的。若待处理数据对应前一系统时间窗口0-1，则对数据进行即时处理并输出；若待处理数据对应当前系统时间窗口1-2，则仅对数据进行缓存而不处理。
步骤2 ct1时刻，输出数据时间在所述前一系统时间窗口0-1的范围之内的所有待处理数据的处理结果，并关闭与所述前一系统时间窗口0-1对应的数据时间窗口。
具体地，到达ct1时刻时，则不再缓存对应于前一系统时间窗口0-1的待处理数据。
步骤3 ct1～st1，接收待处理数据，根据所述待处理数据的数据时间进行判断，若所述数据时间在当前系统时间窗口1-2的范围之内，将待处理数据进行缓存，并对缓存的将待处理数据进行全局同步；若所述数据时间在前一系统时间窗口0-1的范围之内，丢弃待处理数据。
具体地，此时间段内接收的待处理数据，既有对应前一系统时间窗口0-1的，也有对应当前系统时间窗口1-2的。若待处理数据对应前一系统时间窗口0-1，则丢弃待处理数据；若待处理数据对应当前系统时间窗口1-2，则对待处理数据进行缓存以进行全局同步而不处理。
步骤4 st1～2，接收待处理数据并处理，同时还对1～ct1缓存的，实时输出上述处理结果。
具体地，此时间段内接收的待处理数据有对应当前系统时间窗口1-2的。将所接收的待处理数据连同之前在1～st1时间段内缓存的数据时间在当前系统时间窗口1-2的范围之内的待处理数据进行处理，并实时输出上述处理结果。上述具体应用场景的技术方案中，在针对需要实时并完整输出计算结果的流式计算过程中，通过预先为数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点的方式，对统计数据的进行全局同步，可以在保证数据统计完整的前提下对其及时进行处理，从而提高了数据处理结果的准确性和实时性。
在此需要说明的是，以上具体的应用场景的内容仅为本申请优选实施例提出的示例，在此基础上还可以包括更多的应用领域，从而使得本技术方案具有更广泛的应用，这些改进都属于本发明的保护范围。
为达到以上技术目的，本申请还提出了一种数据处理设备，如图3所示，该设备应用于数据统计系统中，其中所述数据统计系统的每一段系统时间窗口均预先设置有关闭时间点以及同步时间点，其中，同一系统时间窗口的所述关闭时间点位于所述同步时间点之前以及起始时间点之后。该设备包括：
确定模块，当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；
第一处理模块，在所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；
第二处理模块，在所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
在具体的应用场景中，所述确定模块具体用于：
根据所述待处理数据在数据时间窗口的时间戳，获取所述待处理数据的数据时间；
判断所述数据时间是否在当前的系统时间窗口的起始时间点之后；
若是，确认所述待处理数据在当前系统时间窗口范围之内；
若否，确认所述待处理数据在之前系统时间窗口范围之内。
在具体的应用场景中，所述设备还包括：
第一输出模块，在所述数据统计系统的系统时间到达所述关闭时间点时，将数据时间在所述前一系统时间窗口范围之内的待处理数据的处理结果进行输出，并关闭与所述前一系统时间窗口对应的数据时间窗口。
在具体的应用场景中，所述设备还包括：
第二输出模块，在所述数据统计系统的系统时间到达所述同步时间点时，处理在所述同步时间点之前所缓存的且数据时间在当前系统时间窗口范围之内的待处理数据，并输出处理结果。
在具体的应用场景中，所述关闭时间点根据所述系统时间与所述数据时间之间的时间差值设置；
所述同步时间点根据关闭时间窗口的耗时以及所述数据统计系统中各设备之间的时钟差值设置。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

  1. 一种数据处理方法，应用于数据统计系统中，其特征在于，预先为所述数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点，所述关闭时间点在所述同步时间点之前，并位于所述系统时间窗口的起始时间点之后，所述方法包括：
    当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；
    若所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；
    若所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
  2. 如权利要求1所述的方法，其特征在于，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口，具体为：
    根据所述待处理数据在数据时间窗口的时间戳，获取所述待处理数据的数据时间；
    判断所述数据时间是否在当前的系统时间窗口的起始时间点之后；
    若是，确认所述待处理数据在当前系统时间窗口范围之内；
    若否，确认所述待处理数据在之前系统时间窗口范围之内。
  3. 如权利要求1所述的方法，其特征在于，还包括：
    当所述数据统计系统的系统时间到达所述关闭时间点时，将数据时间在所述前一系统时间窗口范围之内的待处理数据的处理结果进行输出，并关闭与所述前一系统时间窗口对应的数据时间窗口。
  4. 如权利要求1所述的方法，其特征在于，还包括：
    当所述数据统计系统的系统时间到达所述同步时间点时，处理在所述同步时间点之前所缓存的且数据时间在当前系统时间窗口范围之内的待 处理数据，并输出处理结果。
  5. 如权利要求1-4任一项所述的方法，其特征在于，
    所述关闭时间点根据所述系统时间与所述数据时间之间的时间差值设置；
    所述同步时间点根据关闭时间窗口的耗时以及所述数据统计系统中各设备之间的时钟差值设置。
  6. 一种数据处理设备，应用于数据统计系统中，其特征在于，预先为所述数据统计系统的每一段系统时间窗口设置关闭时间点以及同步时间点，所述关闭时间点在所述同步时间点之前，并位于所述系统时间窗口的起始时间点之后，所述设备包括：
    确定模块，当在当前系统时间窗口接收到待处理数据时，根据所述待处理数据的数据时间确定与所述待处理数据对应的系统时间窗口；
    第一处理模块，在所述数据时间在当前系统时间窗口范围之内，将系统接收时间在所述同步时间点之前的待处理数据进行缓存，以及将所述系统接收时间在所述同步时间点之后的待处理数据即时进行处理；
    第二处理模块，在所述数据时间在前一系统时间窗口的范围之内，将所述系统接收时间在所述关闭时间点之前的待处理数据即时进行处理，以及将所述系统接收时间在所述关闭时间点之后的待处理数据丢弃。
  7. 如权利要求6所述的设备，其特征在于，所述确定模块具体用于：
    根据所述待处理数据在数据时间窗口的时间戳，获取所述待处理数据的数据时间；
    判断所述数据时间是否在当前的系统时间窗口的起始时间点之后；
    若是，确认所述待处理数据在当前系统时间窗口范围之内；
    若否，确认所述待处理数据在之前系统时间窗口范围之内。
  8. 如权利要求6所述的设备，其特征在于，还包括：
    第一输出模块，在所述数据统计系统的系统时间到达所述关闭时间点 时，将数据时间在所述前一系统时间窗口范围之内的待处理数据的处理结果进行输出，并关闭与所述前一系统时间窗口对应的数据时间窗口。
  9. 如权利要求6所述的设备，其特征在于，还包括：
    第二输出模块，在所述数据统计系统的系统时间到达所述同步时间点时，处理在所述同步时间点之前所缓存的且数据时间在当前系统时间窗口范围之内的待处理数据，并输出处理结果。
  10. 如权利要求6-9任一项所述的设备，其特征在于，
    所述关闭时间点根据所述系统时间与所述数据时间之间的时间差值设置；
    所述同步时间点根据关闭时间窗口的耗时以及所述数据统计系统中各设备之间的时钟差值设置。
PCT/CN2016/109413 2015-12-22 2016-12-12 一种数据处理方法和设备 WO2017107793A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16877604.5A EP3396909A4 (en) 2015-12-22 2016-12-12 METHOD AND DEVICE FOR DATA PROCESSING
JP2018532610A JP2019501458A (ja) 2015-12-22 2016-12-12 データ処理方法及び装置
US16/015,100 US11055272B2 (en) 2015-12-22 2018-06-21 Data processing method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510971758.4 2015-12-22
CN201510971758.4A CN106911589B (zh) 2015-12-22 2015-12-22 一种数据处理方法和设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/015,100 Continuation US11055272B2 (en) 2015-12-22 2018-06-21 Data processing method and apparatus

Publications (1)

Publication Number Publication Date
WO2017107793A1 true WO2017107793A1 (zh) 2017-06-29

Family

ID=59089006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/109413 WO2017107793A1 (zh) 2015-12-22 2016-12-12 一种数据处理方法和设备

Country Status (5)

Country Link
US (1) US11055272B2 (zh)
EP (1) EP3396909A4 (zh)
JP (1) JP2019501458A (zh)
CN (1) CN106911589B (zh)
WO (1) WO2017107793A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019386B (zh) * 2017-09-05 2021-01-15 中国移动通信有限公司研究院 一种流数据处理方法及设备
CN107704373B (zh) * 2017-10-31 2021-08-27 北京奇艺世纪科技有限公司 一种数据处理方法及装置
JP6599064B1 (ja) * 2018-12-27 2019-10-30 三菱電機株式会社 データ配送制御装置、方法、及びプログラム
CN110209685B (zh) * 2019-06-12 2020-04-21 北京九章云极科技有限公司 一种数据实时处理方法及系统
CN110336881B (zh) * 2019-07-10 2020-11-20 北京三快在线科技有限公司 执行业务处理请求的方法和装置
CN111142942B (zh) * 2019-12-26 2023-08-04 远景智能国际私人投资有限公司 窗口数据的处理方法、装置、服务器及存储介质
CN111723114B (zh) * 2020-06-24 2023-07-25 中国工商银行股份有限公司 流式统计方法、装置和电子设备
CN112231340B (zh) * 2020-12-09 2021-03-23 金锐同创(北京)科技股份有限公司 数据展示方法、装置及电子设备
CN113204387A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 实时计算中数据超时的处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544117A (zh) * 2012-07-13 2014-01-29 阿里巴巴集团控股有限公司 一种数据读取方法及装置
CN104202122A (zh) * 2014-09-03 2014-12-10 国家电网公司 一种数据处理方法和装置
CN104317958A (zh) * 2014-11-12 2015-01-28 北京国双科技有限公司 一种实时数据处理方法及系统
US20150178327A1 (en) * 2013-12-24 2015-06-25 Ronen Cohen Systems and methods providing master data management statistics
CN105070054A (zh) * 2015-07-23 2015-11-18 银江股份有限公司 一种基于流式计算与时间窗动态优化的多源交通状态判别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350031B (zh) * 2008-08-21 2014-04-30 深圳市同洲电子股份有限公司 一种数据存储方法及系统
JP5058209B2 (ja) * 2009-05-22 2012-10-24 株式会社日立製作所 ストリームデータ処理において逆再生を行うデータ処理システム
US8478743B2 (en) * 2010-12-23 2013-07-02 Microsoft Corporation Asynchronous transfer of state information between continuous query plans
CN102752669B (zh) * 2011-04-19 2015-09-16 中国电信股份有限公司 多通道实时流媒体文件的传送处理方法与系统、接收装置
US9405795B2 (en) * 2011-07-20 2016-08-02 Hitachi, Ltd. Stream data processing server and a non-transitory computer-readable storage medium storing a stream data processing program
CN103853766B (zh) * 2012-12-03 2017-04-05 中国科学院计算技术研究所 一种面向流式数据的在线处理方法及系统
CN103297529B (zh) * 2013-06-06 2016-01-20 浙江大学 基于时间戳的树型结构数据同步方法
JP6114473B2 (ja) * 2013-06-21 2017-04-12 株式会社日立製作所 時間調整を使用したストリームデータ処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544117A (zh) * 2012-07-13 2014-01-29 阿里巴巴集团控股有限公司 一种数据读取方法及装置
US20150178327A1 (en) * 2013-12-24 2015-06-25 Ronen Cohen Systems and methods providing master data management statistics
CN104202122A (zh) * 2014-09-03 2014-12-10 国家电网公司 一种数据处理方法和装置
CN104317958A (zh) * 2014-11-12 2015-01-28 北京国双科技有限公司 一种实时数据处理方法及系统
CN105070054A (zh) * 2015-07-23 2015-11-18 银江股份有限公司 一种基于流式计算与时间窗动态优化的多源交通状态判别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3396909A4 *

Also Published As

Publication number Publication date
JP2019501458A (ja) 2019-01-17
US20180300365A1 (en) 2018-10-18
EP3396909A4 (en) 2019-05-22
CN106911589B (zh) 2020-04-24
CN106911589A (zh) 2017-06-30
US11055272B2 (en) 2021-07-06
EP3396909A1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
WO2017107793A1 (zh) 一种数据处理方法和设备
US9237108B2 (en) Jitter buffer emulation for RTP streams in passive network monitoring systems
US9311932B2 (en) Adaptive pause detection in speech recognition
CN107801080A (zh) 一种音视频同步方法、装置及设备
WO2020023822A1 (en) In-order processing of transactions
US8285886B1 (en) Live media playback adaptive buffer control
EP2538689A1 (en) Adaptive media delay matching
WO2015096692A1 (zh) 数据接收流量控制方法及其系统、计算机存储介质
US20160359910A1 (en) Handling out of order events
WO2016029738A1 (zh) 对流数据进行处理的方法及装置
WO2017181614A1 (zh) 流式数据定位方法、装置及电子设备
US20210307026A1 (en) Dejittering System
CN111831383A (zh) 窗口拼接方法、装置、设备以及存储介质
US9535450B2 (en) Synchronization of data streams with associated metadata streams using smallest sum of absolute differences between time indices of data events and metadata events
US20090190604A1 (en) Method and System for Dynamically Adjusting Acknowledgement Filtering for High-Latency Environments
US8898223B2 (en) System for high reliability and high performance application message delivery
US11089386B1 (en) Accommodating irregular timing information in streamed media data
CN104506631A (zh) 一种音频文件缓存方法和设备
WO2017097034A1 (zh) 光传输网络中时间报文的时戳处理方法及装置
EP3328010B1 (en) Adaptive jitter buffer
TW201828097A (zh) 資料處理方法和設備
US20200280597A1 (en) Transmitting data over a network in representational state transfer (rest) applications
WO2016134632A1 (zh) 数据处理系统
CN115002541A (zh) 一种降低客户端云串流渲染的系统
US20180091434A1 (en) Managing a data stream in a multicore system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16877604

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018532610

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016877604

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016877604

Country of ref document: EP

Effective date: 20180723