WO2014015665A1 - 数据处理方法、装置和系统 - Google Patents

数据处理方法、装置和系统 Download PDF

Info

Publication number
WO2014015665A1
WO2014015665A1 PCT/CN2013/070509 CN2013070509W WO2014015665A1 WO 2014015665 A1 WO2014015665 A1 WO 2014015665A1 CN 2013070509 W CN2013070509 W CN 2013070509W WO 2014015665 A1 WO2014015665 A1 WO 2014015665A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
reporting message
computing node
processing device
message
Prior art date
Application number
PCT/CN2013/070509
Other languages
English (en)
French (fr)
Inventor
吴聿旻
许慧锋
郭海涛
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2014015665A1 publication Critical patent/WO2014015665A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication

Definitions

  • the present invention relates to the field of data processing technologies, and in particular, to a data processing method, apparatus, and system. Background technique
  • a service channel aggregation frame that is, 10 frames
  • the 10 frames serve as data aggregation.
  • the 10 frames receive different data from different channels and forward them to the computing nodes.
  • the computing nodes need to consume a large amount of resources for data processing, which seriously affects the performance of each computing node. Summary of the invention
  • Embodiments of the present invention provide a data processing method, apparatus, and system, which implement pre-processing of data, share processing pressure of a computing node, and effectively prevent data congestion of a computing node.
  • the embodiment of the invention provides a data processing method, including:
  • the data processing device receives the first data report message sent by the data center, where the first data report message carries the data sent to the computing node;
  • the data processing device acquires the data from the first data report message, and performs pre-processing on the data;
  • the data processing device transmits the preprocessed data to the computing node.
  • the embodiment of the invention further provides a data processing device, including:
  • a first receiving module configured to receive a first data report message sent by the data center, where the first data report message carries data sent to the computing node;
  • a pre-processing module configured to acquire the data from the first data report message, and use the data According to the pretreatment
  • a first sending module configured to send pre-processed data to the computing node
  • the embodiment of the present invention further provides a data processing system, including: the data processing device and the computing node, where the computing node is configured to receive the second data report message sent by the data processing device, and report the second data report message Process it.
  • FIG. 1 is a schematic flowchart diagram of a data processing method according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic flowchart of a data processing method according to Embodiment 2 of the present invention.
  • FIG. 3 is a schematic flowchart of a data processing method according to Embodiment 3 of the present invention.
  • FIG. 4 is a schematic structural diagram of a data processing apparatus according to Embodiment 1 of the present invention.
  • Figure 5 is a schematic structural diagram of a data processing apparatus according to a second embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of an embodiment of a data processing system according to the present invention.
  • 1 is a schematic flow chart of a data processing method according to Embodiment 1 of the present invention. As shown in FIG. 1, the data processing method includes:
  • Step S101 The data processing device receives the first data report message sent by the data center, where the first data report message carries the data sent to the computing node.
  • the data center is, for example, a server cluster, a computing node group of a data collection system, and the like.
  • the data aggregation device such as the IO box, aggregates the data packets sent by the data center, and the data processing device receives the aggregated data packet sent by the data center, that is, the first data report message, and the first data report message. Carry data that needs to be sent to the compute node.
  • the computing node is configured to receive the pre-processed data and perform internal basic data processing operations to obtain the resulting data.
  • Step S102 The data processing device acquires data from the first data report message, and the data is input. Line preprocessing.
  • the data processing device obtains data to be sent to the computing node from the first data report message, and performs data cleaning, data integration, data conversion, data protocol, etc. on the data, that is, pre-processing the data.
  • Step S103 The data processing device sends the preprocessed data to the computing node.
  • the preprocessed data is sent to the computing node, and the preprocessed data is processed by the CPU in the computing node.
  • the data aggregation device such as the IO frame
  • the data processing device can be integrated with the data processing device, that is, the data processing device performs the data pre-processing function while the data packet is aggregated, and the data processing device can also be in the embodiment. Shown as a standalone device. Regardless of the implementation, only the differences in form do not result in substantial changes to the solution of the invention.
  • the data processing method provided in this embodiment shares the processing pressure of the computing node, and can effectively prevent data congestion in the computing node.
  • FIG. 2 is a schematic flowchart diagram of a data processing method according to Embodiment 2 of the present invention. As shown in Figure 2, the steps of data processing include:
  • S201 Receive, by using a first physical interface of the data processing device, a first data report message sent by the data center, where the first physical interface corresponds to a protocol type of the first data report message, and is used to transmit the first data report message. Text.
  • the data aggregation device such as the IO box, aggregates the data packets sent by the data center, and the data processing device receives the aggregated data packet sent by the data center, that is, the first data report message, and the first data report message. Carry data that needs to be sent to the compute node.
  • the first data report message sent by the data center reaches the data processing device through the first physical interface of the data processing device.
  • the first data report message includes a data message of any of the following protocol types, for example: bus and interface standard
  • PCIE Peripheral Component Interface Express
  • PCIE Peripheral Component Interface Express
  • the private protocol data message is transmitted through the interface in the corresponding private protocol interface group.
  • the InfiniBand (hereinafter referred to as the old) data message which is transmitted to the data processing device through the interface in the corresponding old interface group
  • GE Gigabit Ethernet
  • FE Ethernet Fast Ethernet
  • 10GE Ten Gigabit Ethernet
  • the first physical interface is, for example, the PCIE interface, the private protocol interface, the old interface, the FE/GE interface, and the 10GE interface.
  • Step S202 Obtain, according to the protocol type of the first data report message, the data sent to the computing node from the first data report message.
  • the data obtained from the first data report message and sent to the computing node includes: enterprise resource plan type data, for example, supply and update information of materials in production, product capacity and storage and shipment details, and production Process flow in management, work calendar information, change information generated by changes in personnel resources, etc.;
  • Audio and video data such as video surveillance data collected by a video surveillance system, or audio data collected during a conference call;
  • the production process monitoring data for example, the production condition control data obtained by collecting the parameters such as temperature and humidity on the production line of the product.
  • Step S203 Perform pre-processing on the acquired data sent to the computing node.
  • the data processing device preprocesses the data, including: one of data pre-processing, data integration, data transformation, data protocol, and the like.
  • the data cleaning includes: sorting and supplementing the incomplete, vacant, noisy, and inconsistent data in the data, and the vacancy value generally fills in the average value of all samples of the same class as the given tuple, or uses the most Possible values are populated.
  • data aggregation devices such as IO boxes
  • a large amount of invalid false data and duplicate data are formed. If such data is directly sent to the computing node, it will cause huge processing pressure on the computing nodes, so the data needs to be Perform filtering and flow control, for example, the temperature and humidity parameters collected during the production process.
  • the data integration includes: synthesizing the data in the first data report message from different data centers into a consistent storage data, that is, mapping the data field by field to the data warehouse.
  • a consistent storage data that is, mapping the data field by field to the data warehouse.
  • the data transformation includes: conceptualizing and normalizing the data, and converting the obtained unconstructed data and non-standard structured data into a form suitable for data mining to meet different requirements. For example, in the audio and video data collected, different computing nodes have different requirements for the clarity of the data, and the data can be secondarily structured by the data processing device to be converted into a necessary format.
  • Data protocols include: Aggregating, aggregating, and compressing data to make data mining more efficient, such as setting permissions on data ratings and weighting data.
  • an enterprise has a cross-regional branch office. Different branches will have overlapping business for individual projects, and independent settlement data generated by each branch will be easy to duplicate.
  • the duplicated parts of the settlement data can be normalized, the non-repeating parts are aggregated and aggregated, and the project weights of each branch company are generated, and the result of the data specification is to directly generate the overall settlement of the single item, thereby Compress the overall amount of data.
  • Step S204 Generate, according to the protocol type used by the computing node, a second data report message corresponding to the protocol type of the computing node, where the second data report message includes pre-processed data, and passes the protocol type with the computing node.
  • a corresponding second physical interface is sent to the computing node.
  • the second physical interface corresponds to the protocol type of the second data report message, and is used to transmit the second data report message, for example, a PCIE interface, a private protocol interface, an old interface, an FE/GE interface, a 10GE interface, and the like. .
  • the data aggregation device such as the IO frame
  • the data processing device can be integrated with the data processing device, that is, the data processing device has a data preprocessing function while performing data packet aggregation, and the data processing device can also be the same as the embodiment. As shown in the figure, it is an independent device. Regardless of the implementation, only the differences in form do not result in substantial changes in the solution of the invention.
  • the data processing method provided by the embodiment of the present invention preprocesses the first data report message sent by the data center using multiple access modes such as Ethernet, old, and PCIE to meet the requirements of the multi-level data center, and remote access. Powerful.
  • the pair of computing nodes in the running process is avoided.
  • the complex processing of massive data makes the data processing pressure of the computing node too large, resulting in a waste of computing node resources.
  • FIG. 3 is a schematic flowchart diagram of a data processing method according to Embodiment 3 of the present invention.
  • the data aggregation device for example, the data frame sent by the data center is aggregated by the data frame, and the data processing device receives the aggregated data packet sent by the data center, that is, the first data report message, the first A data report message carries data that needs to be sent to the compute node.
  • the data carried in the aggregated first data report message sent by the data center received by the data processing device is specifically data with lower delay requirement, and data with higher bandwidth or lower priority data. Any one or a combination thereof; any one of data requiring higher delay, data occupying higher bandwidth, or data having higher processing priority or a combination thereof is directly transmitted by the data center through a direct link Give the compute node.
  • the data carried in the first data report message is data with lower delay requirement, and the occupied bandwidth is occupied.
  • the data or a combination thereof for example, the non-fetching instruction in the data with higher delay requirement, can occupy the direct connection path between the computing node and the data center, minimize the passing device, reduce the device delay, and give stable
  • the bandwidth is sent to the compute node in time, thereby reducing data congestion caused by bandwidth being occupied, as indicated by the dashed arrow in the figure.
  • the data processing apparatus preprocesses the data and sends the data to the computing node, specifically: generating two or more message queues according to the preprocessed data, each message queue corresponding to one computing node, and two The data in the above message queue is sent to the corresponding computing node.
  • a traditional data aggregation device that is, a 10-frame, such as a virtual address (hereinafter referred to as VA) of a 10-channel service channel (Input/Output, hereinafter referred to as 10), can be mapped to a data processing device, and then according to a protocol used by the computing node.
  • VA virtual address
  • 10 10-channel service channel
  • the type is mapped to the compute node, ie the address mapping for the real 10 is done by the secondary mapping.
  • the Reduced Instruction-Set Computer (hereinafter referred to as RISC) is a single root 10.
  • the data processing device virtualizes the associated 10 into 10s that can support multiple roots, and passes the time on the data processing device.
  • SR-I0V Single-Root I/O Virtualization
  • MR-I0V Multiple-Virtualization
  • the data aggregation device such as the 10-frame
  • the data processing device can be integrated with the data processing device. Even if the data processing device has a data pre-processing function while performing data packet aggregation, the data processing device can be as in this embodiment. As shown in the figure, it is an independent device. Regardless of the implementation, the differences in form do not result in substantial changes to the solution of the invention.
  • FIG. 4 is a schematic structural diagram of a data processing apparatus according to Embodiment 1 of the present invention. As shown in FIG. 4, the data processing apparatus includes: a first receiving module 1, a preprocessing module 2, and a first sending module 3.
  • the first receiving module 1 is configured to receive a first data report message sent by the data center, where the first data report message carries data sent to the computing node.
  • the data aggregation device for example, the data packet sent by the data center is aggregated by the data frame, and the data processing device receives the aggregated data packet sent by the data center, that is, the first data report message, where the first data report message is carried. There is data that needs to be sent to the compute node.
  • the first receiving module 1 of the data processing device receives the first data report message sent by the data center.
  • the data center is, for example, a server cluster, a computing node group of the data collection system, and the like, and the first receiving module receives the data packet from each server and the computing node, that is, the first data reporting message, and the first data reporting message
  • the document carries data that needs to be sent to the compute node.
  • the pre-processing module 2 is configured to obtain data sent to the computing node from the first data report message, and pre-process the data.
  • the above data includes:
  • Enterprise resource planning data such as supply and consumption information of materials in production, product capacity and storage and shipping details, process flow in production management, work calendar information, changes in personnel resources, etc.
  • Audio and video data such as video surveillance data collected by a video surveillance system, or audio data collected during a conference call;
  • the production process monitoring data for example, the production condition control data obtained by collecting the parameters such as temperature and humidity on the production line of the product.
  • the pre-processing module 2 of the data processing device obtains the data sent to the computing node from the first data report message received by the first receiving module 1, and performs data cleaning, data integration, data conversion, data protocol, and the like on the data. That is, the data is preprocessed.
  • the first sending module 3 is configured to send the pre-processed data to the computing node.
  • the first transmitting module 3 transmits the data processed by the pre-processing module 2 to the computing node, which is processed by the CPU in the computing node.
  • the data processing device may be integrated with the data aggregation device, such as an IO frame, that is, the IO frame has a data preprocessing function while performing data packet aggregation, and the data processing device may also be in the embodiment. Shown as a standalone device. Regardless of the implementation, only the differences in form do not result in substantial changes to the inventive arrangements.
  • FIG. 5 is a schematic structural diagram of a data processing apparatus according to Embodiment 2 of the present invention. As shown in FIG. 5, the data processing apparatus includes: a first physical interface 4, a first receiving module 1, a preprocessing module 22, a first transmitting module 23, and a second physical interface 5.
  • the data aggregation device such as the IO box, aggregates the data packets sent by the data center, and the data processing device receives the aggregated data packet sent by the data center, that is, the first data report message, and the first data report message. Carry data that needs to be sent to the compute node.
  • the first physical interface 4 is configured to transmit a first data report message of a specific protocol type, for example, a PCIE interface group, a private protocol interface group, an old interface group, an FE/GE interface group, and 10GE. Interface group, etc.
  • the first receiving module 1 is configured to receive a first data report message sent by the data center from the first physical interface 4 of the data processing device.
  • the first receiving module 1 1 is, for example, an interface protocol conversion module integrated with a Field Programmable Gata Array (FPGA) or a Reduced Instruction-Set Computer (RISC) chip.
  • the block receives the first data report message sent by the data center by using the first physical interface 4 of the data processing device.
  • FPGA Field Programmable Gata Array
  • RISC Reduced Instruction-Set Computer
  • the first data report message includes a data packet of any of the following protocol types, for example: a PCIE data packet, which is transmitted to the data processing device through an interface in the corresponding PCIE interface group; and the private protocol data packet passes the corresponding The interface in the private protocol interface group is transmitted to the data processing device; the old data packet is transmitted to the data processing device through the interface in the corresponding old interface group; the GE/FE data packet passes the corresponding FE/GE The interface in the interface group is transmitted to the data processing device; the 10GE data packet is transmitted to the data processing device through the interface in the corresponding 10GE interface group.
  • a PCIE data packet which is transmitted to the data processing device through an interface in the corresponding PCIE interface group
  • the private protocol data packet passes the corresponding
  • the interface in the private protocol interface group is transmitted to the data processing device;
  • the old data packet is transmitted to the data processing device through the interface in the corresponding old interface group;
  • the GE/FE data packet passes the corresponding FE/GE
  • the interface in the interface group
  • the pre-processing module 22 is configured to perform pre-processing on the data received by the first receiving module 11, such as data cleaning, data integration, data transformation, data specification, and pre-processing module 22
  • the processing action of one or any combination of the above may be selected according to the situation.
  • the pre-processing module 22 can, for example, integrate a pre-processing and virtualization logic control core of a chip such as an FPGA/RISC, so that the data processing device becomes a powerful CPU or a reduced instruction set computer (Reduced Instruction-Set) Computer, hereinafter referred to as RISC), has improved throughput performance for I/O.
  • RISC reduced instruction set computer
  • the first sending module 23 is configured to generate, according to the protocol type used by the computing node, a second data reporting message corresponding to the protocol type of the computing node, where the second data reporting message includes pre-processed data, and A second physical interface corresponding to the protocol type of the computing node is sent to the computing node.
  • the pre-processing module 22 can, for example, integrate an interface protocol conversion module of a chip such as an FPGA/RISC. It sends the pre-processed data to the computing node through a second physical interface.
  • the second physical interface 5 is configured to send the pre-processed data to the computing node according to a specific protocol type.
  • the second physical interface is, for example, a PCIE interface group, a private protocol interface group, an old interface group, an FE/GE interface group, and a 10GE interface group.
  • the data carried in the first data report message sent by the data center received by the first receiving module 11 is specifically data with lower delay requirement, and the occupied bandwidth is higher. Any one or a combination of data or lower priority data; data requiring higher latency, data occupying higher bandwidth, or data having higher priority processing, or a combination thereof It is sent directly to the compute node by the data center through the direct link.
  • the data in the above embodiment that is insensitive to the delay requirement is suitable for using powerful processing capability and access energy.
  • Force data processing device receives the first data reporting message sent by the data aggregation device (such as the IO box) as the data with lower delay requirement, and occupies the data with higher bandwidth or the data with lower priority. Any one or a combination thereof, such as a fetching instruction, is often preprocessed by the data processing device due to a large amount of data, and transmitted to the computing node through the crossbar matrix channel.
  • the data with high delay requirement, the data occupying high bandwidth, or the data with higher priority processing, or a combination thereof, such as a non-fetching instruction, can occupy the straightness of the computing node and the data center. Even the path.
  • the data processing device needs to minimize the passing of the IO data with higher delay requirements, reduce the device delay, and at the same time give a stable network bandwidth to reduce data congestion caused by the bandwidth being occupied.
  • the preprocessed data is sent to the computing node, specifically: generating two or more message queues by using the preprocessed data, each message queue corresponding to one computing node, and two or more messages.
  • the data in the queue is sent to the corresponding compute node.
  • the first sending module generates two or more message queues by the pre-processed module 22, and each message queue corresponds to one computing node, and sends data in two or more message queues to the corresponding computing nodes.
  • the data aggregation device such as the IO frame and the data processing device, may be integrated into one, that is, the IO frame has a data preprocessing function while performing data packet aggregation, and the data processing device may also be in the embodiment. Shown as a standalone device. Regardless of the implementation, only the differences in form do not result in substantial changes to the inventive arrangements.
  • FIG. 6 is a schematic structural diagram of a data processing system according to the present invention. As shown in FIG. 6, the data processing system includes: at least one data processing device 6, at least one computing node 7, at least one crossbar matrix 8, at least one conventional IO box 9, and at least one data center 10.
  • the data with high delay requirement sent by the data center 10, such as any one of high delay requirement class data, low bandwidth class data or high priority class data, or a combination thereof, can be aggregated and then forwarded to the calculation through the conventional IO box 9.
  • the computing node 7 performs data pre-processing, grouping, unpacking, and the like, that is, the data center directly sends the data to the conventional IO box and then forwards to the computing node.
  • Data that is insensitive to delay requirements, such as low-latency data, high-bandwidth data, or low-priority data, or a combination thereof, transmitted by data center 10, may be subjected to conventional IO box 9.
  • An interface (not shown) is transmitted to the data processing device 6, and the data is acquired by the data processing device 6, and the data is subjected to data pre-processing, data integration, data conversion, and data specification, and at least one of the data is pre-processed to generate the second data.
  • the reported message is sent to the computing node 7 via a second physical interface (not shown).
  • the data transmitted by the data center 10 can also be directly transmitted to the data processing device 6 for corresponding processing and then sent to the computing node 7.
  • the above-mentioned computing nodes 7, between the data processing device 6 and the computing node 7, can be connected by a crossbar matrix 8.
  • the data processing method, device and system provided by the embodiments of the present invention share the processing capability of the computing node by preprocessing the data, and make the IO data according to different types of data, priority levels, and data traffic sizes. Streaming different topological paths prevents critical data congestion and improves overall efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供一种数据处理方法、装置和系统。该方法包括：接收数据中心发送的第一数据上报报文，所述第一数据上报报文中携带发送给计算节点的数据。从所述第一数据上报报文中获取所述数据，并对所述数据进行预处理。将预处理后的数据发送给计算节点。本发明实施例可以对数据中心发送的数据进行预处理，分担了计算节点的处理压力，能够有效防止在计算节点发生数据拥塞。

Description

数据处理方法、 装置和系统 技术领域 本发明实施例涉及数据处理技术领域， 尤其涉及一种数据处理方法、装置 和系统。 背景技术
在现有的数据处理中，通常需要将分散的数据进行汇聚， 汇聚到统一的计 算节点进行处理，根据各计算节点处理的数据类型的不同， 可以设置多个计算 节点。
现有技术在具体的实施过程中， 需要将各种类型的数据进行汇聚， 完成上 述数据汇聚功能的数据汇聚装置被称为业务通道汇聚框， 即 10框，该 10框起数 据汇聚作用。 10框从不同通道接收不同数据并转发给计算节点，计算节点需要 消耗大量的资源进行数据处理， 这会严重影响各计算节点的性能。 发明内容
本发明实施例提供一种数据处理方法、装置和系统， 实现对数据进行预处 理， 分担计算节点的处理压力， 有效防止计算节点的数据的拥塞。
本发明实施例提供一种数据处理方法， 包括：
数据处理装置接收数据中心发送的第一数据上报报文，所述第一数据上报 报文中携带发送给计算节点的数据；
所述数据处理装置从所述第一数据上报报文中获取所述数据，对所述数据 进行预处理；
所述数据处理装置将预处理后的数据发送给所述计算节点。
本发明实施例还提供一种数据处理装置， 包括：
第一接收模块， 用于接收数据中心发送的第一数据上报报文， 所述第一数 据上报报文中携带发送给计算节点的数据；
预处理模块， 用于从所述第一数据上报报文中获取所述数据， 并对所述数 据进行预处理；
第一发送模块， 用于将预处理后的数据发送给所述计算节点
本发明实施例还提供一种数据处理系统， 包括： 上述数据处理装置以及计 算节点，计算节点用于接收所述数据处理装置发送的第二数据上报报文，对所 述第二数据上报报文进行处理。
本发明实施例提供的数据处理方法、装置和系统， 通过对数据中心发送的 数据进行预处理， 分担了计算节点的处理压力， 能够有效防止在计算节点发生 数据拥塞。 附图说明 图 1为本发明实施例一的数据处理方法的流程示意图；
图 2为本发明实施例二的数据处理方法的流程示意图；
图 3为本发明实施例三的数据处理方法的流程示意图；
图 4为本发明实施例一的数据处理装置的结构示意图；
图 5位本发明实施例二的数据处理装置的结构示意图；
图 6为本发明数据处理系统实施例的结构示意图。 具体实施方式 图 1为本发明实施例一的数据处理方法的流程示意图。如图 1所示，该数据 处理方法包括：
步骤 S101 :数据处理装置接收数据中心发送的第一数据上报报文，第一数 据上报报文中携带发送给计算节点的数据。
其中， 数据中心例如是： 服务器集群、 数据釆集系统的计算节点群等。 数 据汇聚装置， 如 IO框， 将数据中心发送的数据报文进行汇聚， 数据处理装置接 收来自数据中心发送的经汇聚的数据报文， 即第一数据上报报文， 该第一数据 上报报文携带有需要发给计算节点的数据。 计算节点用于接收预处理后的数 据， 并经过内部基本数据处理操作， 得到结果数据。 在下面各实施例中使用的 数据中心的含义与这里使用的含义相同， 不再赘述。
步骤 S102: 数据处理装置从第一数据上报报文中获取数据， 对该数据进 行预处理。
数据处理装置从第一数据上报报文中获取需要发送给计算节点的数据，并 对该数据进行数据清理、 数据集成、 数据变换、 数据规约等， 即对数据进行预 处理。
步骤 S103: 数据处理装置将预处理后的数据发送给计算节点。
将预处理后的数据发送给计算节点，由计算节点中的 CPU对预处理后的数 据进行处理。
本发明实施例中， 数据汇聚装置， 如 IO框， 与数据处理装置可以集成为一 体， 即数据处理装置进行数据报文汇聚的同时具有数据预处理功能，数据处理 装置也可以如本实施例中所示， 为独立装置。 无论哪种实现方式， 只是形式上 的差异， 并不会导致本发明方案的实质性变化。
本实施例提供的数据处理方法， 分担了计算节点的处理压力， 能够起到有 效防止在计算节点数据拥塞的作用。
图 2为本发明实施例二的数据处理方法的流程示意图。如图 2所示，该数据 处理的步骤包括：
S201： 从数据处理装置的第一物理接口接收数据中心发送的第一数据上 报报文， 该第一物理接口与所述第一数据上报报文的协议类型对应， 用于传输 第一数据上报报文。
数据汇聚装置， 如 IO框， 将数据中心发送的数据报文进行汇聚， 数据处理 装置接收来自数据中心发送的经汇聚的数据报文， 即第一数据上报报文， 该第 一数据上报报文携带有需要发给计算节点的数据。 经过汇聚后，数据中心发送 的第一数据上报报文，通过数据处理装置的第一物理接口，到达数据处理装置。 第一数据上报报文包括如下任一协议类型的数据报文， 例如： 总线和接口标准
( Peripheral Component Interface Express, 以下简称： PCIE )数据报文， 其通过对应的 PCIE接口群中的接口传输至数据处理装置； 私有协议数据报文， 其通过对应的私有协议接口群中的接口， 传输至数据处理装置； 无限宽带 ( InfiniBand , 以下简称旧）数据报文， 其通过对应的旧接口群中的接口传输 至数据处理装置； 百兆网 （ Gigabit Ethernet, 以下简称 GE )数据报文、 以太 网 （Fast Ethernet, 以下简称： FE )数据报文（FE/GE数据报文） ， 其通过 对应的 FE/GE接口群中的接口传输至数据处理装置； 万兆位 （Ten Gigabit Ethernet, 以下简称： 10GE )数据报文， 其通过对应的 10GE接口群中的接口 传输至数据处理装置。
第一物理接口， 例如为上述的 PCIE接口、私有协议接口、 旧接口、 FE/GE 接口、 10GE接口等。
步骤 S202: 根据第一数据上报报文的协议类型， 从第一数据上报报文中 获取发送给计算节点的数据。
其中， 上述从第一数据上报报文中获取发送给计算节点的数据包括： 企业资源计划类数据， 例如是生产中物料的供应消耗及更新信息、产品的 产能及存储与出货明细信息、 生产管理中的工艺流程、 工作日历信息、 人事资 源变动而产生的变化信息等；
音频视频类数据， 例如是视频监控系统釆集的视频监控数据， 或者类似电 话会议过程中釆集的音频数据等；
生产工艺过程监控数据， 例如是对产品生产线上的温度、 湿度等参数的釆 集而获得的生产条件控制类数据。
除上述发送给计算节点的数据外，还有如紧急执行命令、异常报警信息等 对延时要求较高类的数据， 则不需要进行预处理， 该些数据直接由数据中心通 过直连链路发送至计算节点以进行处理。
步骤 S203: 对获取到的发送给计算节点的数据进行预处理。
本步骤中，数据处理装置对数据进行预处理， 包括：数据清理，数据集成， 数据变换， 数据规约等预处理中的一种或其组合。
其中数据清理包括： 针对数据中不完整的、 有空缺的、 含噪音的、 不一致 的数据进行整理和补充等，空缺值一般填写与给定元组同一类的所有样本的平 均值， 或使用最可能的值填充。 在经数据汇聚装置， 如 IO框进行数据汇聚后， 会形成大量的无效的虚假数据与重复数据，这样的数据如果直接发送到计算节 点， 会对计算节点造成巨大的处理压力， 因此需要对数据进行过滤与流控， 例 如对生产过程中釆集的温度、 湿度参数， 如果设置的釆样点过密， 釆集到的大 量的数据， 但釆集的大量数据基本相同， 因此可以进行必要的流控， 即通过数 据处理装置对数据进行数据清理预处理。 数据集成包括： 将来自不同的数据中心的第一数据上报报文中的数据， 整 合成一致的存储数据， 即将数据逐字段的映射到数据仓库。例如企业资源计划 系统中， 数据中有两个与人员有关的信息， 在定义人员性别属性的类型时， 一 个可能是 char(2)，存储的数据值为 "男"和 "女"，而另一个属性类型为 char(1 )， 数据值为 "F" 和 "M" , 这两个人员的信息都是正确的， 但对于计算节点来 说， 必须加工为一种单一的方法来显示该属性值， 才能保证数据的质量， 通过 数据处理装置的预处理数据集成过程， 最终实现数据的真正统一。
数据变换包括： 将数据进行概念化、 规范化， 将获得的同时包含非结构化 数据和非标准结构化数据转换成适于数据挖掘的形式， 以满足不同的要求。例 如釆集的音视频数据中， 不同的计算节点对数据的清晰度要求不同， 则可以通 过数据处理装置对数据进行二次结构化， 转换成必要的格式。
数据规约包括： 将数据进行汇总、聚集、压缩，使得对数据的挖掘更有效， 如对数据分级设置权限， 以及对数据进行权重排序。 例如， 企业存在跨区域的 分公司， 不同的分公司针对单项项目会出现业务重叠， 分公司各自产生的独立 结算数据， 这样就容易出现重复结算。 通过规约预处理， 可以将结算数据中重 复的部分进行归一，将不重复的部分进行汇总和聚集， 同时生成各分公司的项 目权重，数据规约的结果是直接生成单项目的总体结算，从而压缩整体数据量。
步骤 S204: 根据计算节点使用的协议类型， 生成与该计算节点的协议类 型对应的第二数据上报报文， 该第二数据上报报文包括预处理后的数据， 并通 过与计算节点的协议类型对应的第二物理接口发送给该计算节点。第二物理接 口与所述第二数据上报报文的协议类型对应， 用于传输所述第二数据上报报 文， 例如为 PCIE接口、 私有协议接口、 旧接口、 FE/GE接口、 10GE接口等。
本发明实施例中， 数据汇聚装置， 如 IO框， 与数据处理装置可以集成为一 体， 即数据处理装置在进行数据报文汇聚的同时具有数据预处理功能，数据处 理装置也可以如本实施例中所示， 为独立装置。 无论哪种实现方式， 只是形式 上的差异， 并不会导致本发明方案的实质性变化。
本发明实施例提供的数据处理方法， 将数据中心釆用以太网， 旧， PCIE 等多种接入方式发送的第一数据上报报文进行预处理，满足多级数据中心的需 求， 远程接入能力强大。 通过数据预处理方法， 避免了运行过程中计算节点对 海量数据进行复杂处理使得计算节点数据处理压力过大，导致白白浪费计算节 点资源的问题。
图 3为本发明实施例三的数据处理方法的流程示意图。 本发明实施例中， 数据汇聚装置，如 10框将数据中心发送的数据报文进行汇聚，数据处理装置接 收来自数据中心发送的经汇聚的数据报文， 即第一数据上报报文， 该第一数据 上报报文携带有需要发给计算节点的数据。数据处理装置接收的数据中心发送 的经汇聚的所述第一数据上报报文中携带的数据具体为对延时要求较低的数 据， 占用带宽较高的数据或处理优先级较低的数据中的任意一种或其组合； 对 延时要求较高的数据、占用带宽较高的数据或处理优先级较高的数据中的任意 一种数据或其组合由数据中心通过直连链路直接发送给计算节点。
具体的， 请参照图 3, 本实施例中， 数据中心发送的数据经由数据中心的 常规 10框汇聚后， 第一数据上报报文中携带的数据为对延时要求较低的数据， 占用带宽较高的数据或处理优先级较低的数据中的任意一种或其组合，例如对 延时要求不敏感的数据中的访存类指令，往往由于数据量较大， 由数据处理装 置进行预处理，通过交叉开关矩阵通道传输给计算节点， 如图中实线箭头流向 所示； 而对延时要求较高的数据、 占用带宽较高的数据或处理优先级较高的数 据中的任意一种数据或其组合， 例如对延时要求较高的数据中的非访存类指 令， 可以占用计算节点和数据中心的直连路径， 尽量减少通过的设备， 降低设 备延时， 同时给予稳定的带宽， 及时发送给计算节点， 从而降低由于带宽被占 用后造成的数据拥塞， 如图中虚线箭头所示。 上述仅仅是一种分类方式， 还可 以根据不同的数据种类， 数据形式来决定不同的数据路径。
本发明上述实施例中， 数据处理装置将数据进行预处理后发送给计算节 点， 具体为： 根据预处理后的数据生成两个以上的消息队列， 每个消息队列对 应一个计算节点， 将两个以上的消息队列中的数据分别发送给对应的计算节 点。 传统的数据汇聚装置， 即 10框， 如 10框业务通道（Input/Output，以下简称 10 ) 的虚拟地址（Virtual Address, 以下简称 VA ) 可以映射到数据处理装置 上，再根据计算节点使用的协议类型映射到该计算节点上， 即通过二次映射完 成对于真正 10的地址映射。对于数据处理装置来说，其本身起到一个 10虚拟桥 的作用。 相对传统的数据汇聚装置， 如 10框， 数据处理装置中的 CPU 或精简 指令集计算机 ( Reduced Instruction-Set Computer, 以下简称 RISC )是一个 单根的 10,相对于计算节点群，数据处理装置将所属的 10虚拟成可以支持多根 的 10,在数据处理装置上通过时间片划分或者通信队列的划分，用软件达到对 多根的支持， 满足计算节点对多根虚拟化的要求。
本发明的上述实施例中， 不但可以实现单根虚拟化 （Single-Root I/O Virtualization ， 以下简称 SR-I0V) , 数据处理装置预处理后， 将 10框转发过来 的数据整合下发， 还可实现多根虚拟化（Multi-Root I/O Virtualization, 以下 简称 MR-I0V),在数据包级别上对常规 10框进行资源共享和隔离， 实现高级虚 拟化。
本发明实施例中， 数据汇聚装置， 如 10框， 与数据处理装置可以集成为一 体， 即使数据处理装置在进行数据报文汇聚的同时具有数据预处理功能，数据 处理装置也可以如本实施例中所示， 为独立装置。 无论哪种实现方式， 只是形 式上的差异， 并不会导致本发明方案的实质性变化。
图 4为本发明实施例一的数据处理装置的结构示意图。如图 4所示，该数据 处理装置包括： 第一接收模块 1、 预处理模块 2、 第一发送模块 3。
其中， 第一接收模块 1用于接收数据中心发送的第一数据上报报文， 所述 第一数据上报报文中携带发送给计算节点的数据。
数据汇聚装置，如 10框将数据中心发送的数据报文进行汇聚，数据处理装 置接收来自数据中心发送的经汇聚的数据报文， 即第一数据上报报文， 该第一 数据上报报文携带有需要发给计算节点的数据。在本发明实施例中，数据处理 装置的第一接收模块 1接收数据中心发送的第一数据上报报文。 其中， 数据中 心例如是： 服务器集群、 数据釆集系统的计算节点群等， 第一接收模块接收来 自各个服务器及计算节点的数据报文， 即第一数据上报报文， 该第一数据上报 报文携带有需要发给计算节点的数据。
预处理模块 2用于从第一数据上报报文中获取发送给计算节点的数据， 并 对所述数据进行预处理。 其中， 上述的数据包括：
企业资源计划类数据， 例如是生产中物料的供应消耗及更新信息、产品的 产能及存储与出货明细信息、 生产管理中的工艺流程、 工作日历信息、 人事资 源变动而产生的变化信息等； 音频视频类数据， 例如是视频监控系统釆集的视频监控数据， 或者类似电 话会议过程中釆集的音频数据等；
生产工艺过程监控数据， 例如是对产品生产线上的温度、 湿度等参数的釆 集而获得的生产条件控制类数据等。
除上述数据外，还有如紧急执行命令、异常报警信息等高延时要求类的数 据， 该些数据则不需要进行预处理， 直接由数据中心通过直连链路发送至计算 节点以进行处理。
数据处理装置的预处理模块 2从第一接收模块 1接收到的第一数据上报报 文中获取发送给计算节点的数据， 并对该数据进行数据清理、 数据集成、 数据 变换、 数据规约等， 即对数据进行预处理。 第一发送模块 3, 用于将预处理后 的数据发送给计算节点。
第一发送模块 3将预处理模块 2处理过的数据发送给计算节点，由该计算节 点中的 CPU对其进行处理。
本发明实施例中， 数据处理装置可以与数据汇聚装置， 如 IO框， 集成为一 体， 即 IO框在进行数据报文汇聚的同时具有数据预处理功能，数据处理装置也 可以如本实施例中所示，为独立装置。无论哪种实现方式，只是形式上的差异， 并不会导致本发明方案的实质性变化。
图 5位本发明实施例二的数据处理装置的结构示意图。如图 5所示，该数据 处理装置包括： 第一物理接口 4, 第一接收模块 1 1、 预处理模块 22、 第一发送 模块 23, 第二物理接口 5。
数据汇聚装置， 如 IO框， 将数据中心发送的数据报文进行汇聚， 数据处理 装置接收来自数据中心发送的经汇聚的数据报文， 即第一数据上报报文， 该第 一数据上报报文携带有需要发给计算节点的数据。在本发明实施例中， 第一物 理接口 4,用于传输特定协议类型的第一数据上报报文，例如为： PCIE接口群、 私有协议接口群、 旧接口群， FE/GE接口群、 10GE接口群等。
第一接收模块 1 1， 用于从数据处理装置的第一物理接口 4接收数据中心发 送的第一数据上报报文。 第一接收模块 1 1 , 例如是集成了现场可编程门阵列 ( Field Programmable Gata Array，以下简称 FPGA)或精简指令集计算机 ( Reduced Instruction-Set Computer，以下简称 RISC )芯片的接口协议转换模 块， 其通过数据处理装置的第一物理接口 4, 接收数据中心发送的第一数据上 报报文。 第一数据上报报文包括如下任一协议类型的数据报文， 例如： PCIE 数据报文， 其通过对应的 PCIE接口群中的接口传输至数据处理装置； 私协议 数据报文， 其通过对应的私有协议接口群中的接口， 传输至数据处理装置； 旧 数据报文， 其通过对应的旧接口群中的接口， 传输至数据处理装置； GE/FE 数据报文，其通过对应的 FE/GE接口群中的接口，传输至数据处理装置； 10GE 数据报文， 其通过对应的 10GE接口群中的接口， 传输至数据处理装置。
预处理模块 22, 用于对第一接收模块 1 1接收到的数据进行预处理， 如对 数据进行数据清理、 对数据进行数据集成、 对数据进行数据变换、 对数据进行 规约，预处理模块 22可以根据情况选择对数据进行上述一种或任意组合的处理 动作。 本实施例中， 预处理模块 22例如可以使集成了 FPGA/RISC等芯片的预 处理与虚拟化逻辑控制核，使得本数据处理装置变成了强大的 CPU或精简指令 集计算机 ( Reduced Instruction-Set Computer，以下简称 RISC ) , I/O的吞吐 性能得到提升。
第一发送模块 23,用于根据计算节点所使用的协议类型，生成与该计算节 点的协议类型对应的第二数据上报报文，该第二数据上报报文包括预处理后的 数据， 并通过与该计算节点的协议类型对应的第二物理接口发送给该计算节 点。 本实施例中， 预处理模块 22例如可以使集成了 FPGA/RISC等芯片的接口 协议转换模块。其通过对于的第二物理接口，将预处理后的数据发送给该计算 节点。
第二物理接口 5, 用于根据特定协议类型， 将预处理后的数据发送给该计 算节点。 具体的， 第二物理接口例如为： PCIE接口群、 私有协议接口群、 旧 接口群， FE/GE接口群、 10GE接口群等。
本发明数据处理置的另一实施例中，第一接收模块 1 1接收的数据中心发送 的第一数据上报报文中携带的数据具体为对延时要求较低的数据，占用带宽较 高的数据或处理优先级较低的数据中的任意一种或其组合；对延时要求较高的 数据、占用带宽较高的数据或处理优先级较高的数据中的任意一种数据或其组 合由数据中心通过直连链路直接发送给计算节点。
上述实施例中对延时要求不敏感的数据，适于釆用强大处理能力和接入能 力的数据处理装置。 具体的， 第一接收模块 1 1接收数据汇聚装置 （如 IO框） 发送的第一数据上报报文为对延时要求较低的数据，占用带宽较高的数据或处 理优先级较低的数据中的任意一种或其组合， 例如访存类指令，往往由于数据 量较大，由数据处理装置进行预处理，通过交叉开关矩阵通道传输给计算节点。
而对延时要求较高的数据、占用带宽较高的数据或处理优先级较高的数据 中的任意一种数据或其组合， 例如非访存类指令， 可以占用计算节点和数据中 心的直连路径。数据处理装置对于延时要求较高的 IO数据需要尽量减少通过的 设备， 降低设备延时， 同时给予稳定的网络带宽， 以降低由于带宽被占用后造 成的数据拥塞。
本发明上述实施例中， 将预处理后的数据发送给计算节点， 具体为： 将预 处理后的数据生成两个以上的消息队列，每个消息队列对应一个计算节点，将 两个以上的消息队列中的数据分别发送给对应的计算节点。第一发送模块将预 处理模块 22预处理后的数据生成两个以上的消息队列，每个消息队列对应一个 计算节点， 将两个以上的消息队列中的数据分别发送给对应的计算节点。上述 仅仅是一种分类方式，还可以根据不同的数据种类，数据形式来决定不同的数 据路径。
本发明实施例中，数据汇聚装置， 比如 IO框与数据处理装置可以集成为一 体， 即 IO框在进行数据报文汇聚的同时具有数据预处理功能，数据处理装置也 可以如本实施例中所示，为独立装置。无论哪种实现方式，只是形式上的差异， 并不会导致本发明方案的实质性变化。
图 6为本发明数据处理系统的结构示意图。如图 6所示，该数据处理系统包 括： 至少一个数据处理装置 6、至少一个计算节点 7、 至少一个交叉开关矩阵 8、 至少一个常规 IO框 9及至少一个数据中心 10。
数据中心 10发送的延时要求高的数据，例如高延时要求类数据、低带宽类 数据或高优先级类数据中的任意一种或其组合等， 可以通过常规的 IO框 9汇聚 后转发给计算节点 7, 由计算节点 7做数据预处理， 分组、 拆包等动作， 即由数 据中心直接发送给常规的 IO框再转发至计算节点。 对于延时要求不敏感的数 据， 例如低延时类数据， 高带宽类数据或低优先级类数据中的任意一种或其组 合等由数据中心 10发送的数据， 可以经常规 IO框 9的汇聚通过对应的第一物理 接口（未示出)传输至数据处理装置 6, 由数据处理装置 6获取数据， 并对数据进 行数据清理、数据集成、数据变换及数据规约等至少其中之一的数据预处理后 生成第二数据上报报文， 经由第二物理接口（未示出)发送给计算节点 7。 由数 据中心 10发送的数据， 也可以直接传输至数据处理装置 6进行相应的处理后发 送给计算节点 7。 上述的计算节点 7之间、 数据处理装置 6和计算节点 7之间可 以通过交叉开关矩阵 8连接。
本发明实施例提供的数据处理的方法、装置和系统，通过对数据进行预处 理， 分担了计算节点的处理能力， 并根据数据的不同类型、 优先级的高低、 数 据流量的大小， 使 IO数据流走不同的拓朴路径， 防止关键数据拥塞， 提高了整 体效率。
最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对其 限制； 尽管参照前述各实施例对本发明进行了详细的说明， 本领域的普通技术 人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改， 或者 对其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

WO 2014/015665 4-τΐ Cii τττί - - -Ν· PCT/CN2013/070509 权 利 要 求 书
1、 一种数据处理方法， 其特征在于， 包括：
数据处理装置接收数据中心发送的第一数据上报报文，所述第一数据上报 报文中携带发送给计算节点的数据；
所述数据处理装置从所述第一数据上报报文中获取所述数据，对所述数据 进行预处理；
所述数据处理装置将预处理后的数据发送给所述计算节点。
2、 根据权利要求 1所述的数据处理方法， 其特征在于， 所述第一数据上 报报文包括如下任一协议类型的数据报文： PCIE数据报文、 私有协议数据报 文、 旧数据报文、 FE/GE数据报文或 10GE数据报文；
所述接收数据中心发送的第一数据上报报文具体为：
从所述数据处理装置的第一物理接口接收所述数据中心发送的所述第一 数据上报报文， 所述第一物理接口与所述第一数据上报报文的协议类型对应， 用于传输所述第一数据上报报文。
3、根据权利要求 2所述的数据处理方法， 其特征在于， 所述数据处理装置 从所述第一数据上报报文中获取所述数据具体为：
所述数据处理装置根据所述第一数据上报报文的协议类型，从所述第一数 据上报报文中获取所述数据；
所述数据处理装置将预处理后的数据发送给计算节点包括：
所述数据处理装置根据所述计算节点使用的协议类型 ,生成与所述计算节 点的协议类型对应的第二数据上报报文，所述第二数据上报报文包括所述预处 理后的数据，并通过与所述计算节点的协议类型对应的第二物理接口发送给所 述计算节点；
所述第二物理接口与所述第二数据上报报文的协议类型对应 ,用于传输所 述第二数据上报报文。
4、根据权利要求 1所述的数据处理方法， 其特征在于， 所述数据包括如下 任意一种数据或其组合：
企业资源计划类数据、 音视频类数据或生产工艺过程监控类数据。
5、根据权利要求 1所述的数据处理方法， 其特征在于， 所述对所述数据进 行预处理包括如下任一或其组合： 对所述数据进行数据清理；
对所述数据进行数据集成；
对所述数据进行数据变换；
对所述数据进行数据归约。
6、根据权利要求 1所述的数据处理方法， 其特征在于， 所述第一数据上报 报文中还携带低延时要求类数据，高带宽类数据或低优先级类数据中的任意一 种或其组合。
7、 一种数据处理装置， 其特征在于， 包括：
第一接收模块， 用于接收数据中心发送的第一数据上报报文， 所述第一数 据上报报文中携带发送给计算节点的数据；
预处理模块， 用于从所述第一数据上报报文中获取所述数据， 并对所述数 据进行预处理；
第一发送模块， 用于将预处理后的数据发送给所述计算节点。
8、根据权利要求 7所述的数据处理装置， 其特征在于， 所述第一数据上报 报文包括如下任一协议类型的数据报文： PCIE数据报文、 私有协议数据报文、
I B数据报文、 F E/G E数据报文或 10 G E数据报文；
所述第一接收模块具体用于从第一物理接口接收所述数据中心发送的所 述第一数据上报报文；
所述第一物理接口， 与所述第一数据上报报文的协议类型对应， 用于传输 所述第一数据上报报文。
9、根据权利要求 8所述的数据处理装置， 其特征在于， 所述预处理模块具 体用于根据所述第一数据上报报文的协议类型，从所述第一数据上报报文中获 取所述数据；
所述第一发送模块具体用于根据所述计算节点所使用的协议类型 ,生成与 所述计算节点所使用的协议类型对应的第二数据上报报文，所述第二数据上报 报文包括所述预处理后的数据，并通过与所述计算节点的协议类型对应第二物 理接口发送给所述计算节点；
所述第二物理接口， 与所述第二数据上报报文的协议类型对应， 用于传输 所述第二数据上报报文。
10、 根据权利要求 7所述的数据处理装置， 其特征在于， 所述预处理模块 具体用于进行如下任一或其组合处理：
对所述数据进行数据清理；
对所述数据进行数据集成；
对所述数据进行数据变换；
对所述数据进行数据归约。
1 1、 根据权利要求 7所述的数据处理装置， 其特征在于， 所述第一接收模 块接收的数据中心发送的第一数据上报报文中具体携带低延时要求类数据，高 带宽类数据或低优先级类数据中的任意一种或其组合。
12、 一种数据处理系统， 其特征在于， 包括： 权利要求 7-1 1任一所述的数 据处理装置，还包括计算节点， 所述计算节点用于接收所述数据处理装置发送 的第二数据上报报文， 对所述第二数据上报报文进行处理。
PCT/CN2013/070509 2012-07-27 2013-01-16 数据处理方法、装置和系统 WO2014015665A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210263936.4A CN102821042B (zh) 2012-07-27 2012-07-27 数据处理方法、装置和系统
CN201210263936.4 2012-07-27

Publications (1)

Publication Number Publication Date
WO2014015665A1 true WO2014015665A1 (zh) 2014-01-30

Family

ID=47304903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/070509 WO2014015665A1 (zh) 2012-07-27 2013-01-16 数据处理方法、装置和系统

Country Status (2)

Country Link
CN (1) CN102821042B (zh)
WO (1) WO2014015665A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190005178A (ko) * 2016-05-18 2019-01-15 주식회사 쿠라레 적층체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821042B (zh) * 2012-07-27 2015-05-06 华为技术有限公司 数据处理方法、装置和系统
CN108171596A (zh) * 2017-12-28 2018-06-15 广州华夏职业学院 一种用于金融数据的多重处理分析系统及方法
CN111125208A (zh) * 2018-10-30 2020-05-08 华为技术有限公司 一种数据采集处理方法、装置及系统
CN112613007B (zh) * 2020-12-22 2024-02-09 北京八分量信息科技有限公司 基于可信认证的数据准入方法、装置及相关产品
CN114267289A (zh) * 2021-12-31 2022-04-01 深圳市中科创激光技术有限公司 一种灯具温度监控方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101027889A (zh) * 2004-08-06 2007-08-29 高通股份有限公司 支持网络协议之间的故障转移的无线网络
CN102118448A (zh) * 2011-03-17 2011-07-06 中兴通讯股份有限公司 一种云计算的实现方法、系统及终端
CN102576349A (zh) * 2009-08-18 2012-07-11 弗森-艾奥公司 输入/输出（i/0）虚拟化系统中主计算机与外围资源之间的通信
CN102821042A (zh) * 2012-07-27 2012-12-12 华为技术有限公司 数据处理方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285811A (ja) * 2005-04-04 2006-10-19 Hitachi Ltd ストレージシステム及びデータ処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101027889A (zh) * 2004-08-06 2007-08-29 高通股份有限公司 支持网络协议之间的故障转移的无线网络
CN102576349A (zh) * 2009-08-18 2012-07-11 弗森-艾奥公司 输入/输出（i/0）虚拟化系统中主计算机与外围资源之间的通信
CN102118448A (zh) * 2011-03-17 2011-07-06 中兴通讯股份有限公司 一种云计算的实现方法、系统及终端
CN102821042A (zh) * 2012-07-27 2012-12-12 华为技术有限公司 数据处理方法、装置和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190005178A (ko) * 2016-05-18 2019-01-15 주식회사 쿠라레 적층체
KR102194359B1 (ko) 2016-05-18 2020-12-23 주식회사 쿠라레 적층체

Also Published As

Publication number Publication date
CN102821042A (zh) 2012-12-12
CN102821042B (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
WO2014015665A1 (zh) 数据处理方法、装置和系统
WO2021052374A1 (zh) 网络拥塞控制方法、节点、系统及存储介质
CN109194984B (zh) 一种基于边缘计算的视频帧调度方法
US11074042B2 (en) Scalable input/output system and techniques to transmit data between domains without a central processor
EP2963874B1 (en) Data scheduling and switching method, apparatus, and system
US10706062B2 (en) Method and system for exchanging data from a big data source to a big data target corresponding to components of the big data source
DE112017003279T5 (de) Grafikverarbeitungseinheit (gpu) für pakettransfer
JP2014036240A (ja) 制御装置、方法及びプログラム、並びにシステム及び情報処理方法
CN102932327A (zh) 零终端设备与桌面虚拟机之间的通信方法及系统
CN102143218B (zh) web接入云体系结构及接入方法
US20140133320A1 (en) Inter-packet interval prediction learning algorithm
CN105808343A (zh) 用于复杂生产管理系统中的群集资源控制方法
WO2023103419A1 (zh) 基于消息队列的5g消息批量发送方法、装置及电子设备
WO2023147750A1 (zh) 边缘集群调度方法及装置
US11991083B2 (en) Systems and methods for enhanced autonegotiation
CN114024801B (zh) 一种工业边缘计算服务网关
WO2020078381A1 (zh) 数据汇聚方法、装置、设备、存储介质和系统
CN104219298A (zh) 集群系统及其数据备份的方法
CN114710571B (zh) 数据包处理系统
CN106648905A (zh) 一种电力大数据分布控制系统及其构建方法
CN103269431B (zh) 一种云转码实现方法及装置
CN112422663A (zh) 工业物联网的数据集中系统及数据汇聚、处理、存储方法
WO2017088489A1 (zh) 一种数据报文传输方法、系统及通信系统
CN104270433B (zh) 基于复杂包交换系统的分布式ssm协议处理系统及方法
WO2015154433A1 (zh) 线卡管理方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822365

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13822365

Country of ref document: EP

Kind code of ref document: A1