WO2019169986A1

WO2019169986A1 - 数据处理方法、装置及系统

Info

Publication number: WO2019169986A1
Application number: PCT/CN2019/074052
Authority: WO
Inventors: 黄伊; 夏寅贲; 刘孟竹
Original assignee: 华为技术有限公司
Priority date: 2018-03-05
Filing date: 2019-01-31
Publication date: 2019-09-12
Also published as: EP3754915A1; CN110233798A; EP4092992A1; CN113098773A; CN110233798B; CN113098773B; US11855880B2; EP3754915A4; US11522789B2; US20230047068A1; EP3754915B1; US20200403904A1

Abstract

本申请提供了一种数据处理方法、装置及系统，涉及分布式计算领域，控制器接收到指定节点发送的携带有用于执行指定计算任务的多个计算节点的标识的处理请求后，可以从用于连接该多个计算节点的交换设备中确定目标交换设备；并分别向该目标交换设备以及该指定节点发送用于指示该多个计算节点与该目标交换设备之间的数据转发路径的路由信息；其中，目标交换设备用于根据该路由信息对该多个计算节点上报的数据进行合并处理后发送至每个计算节点，指定节点用于将该路由信息发送至每个计算节点，每个计算节点可以根据该路由信息向目标交换设备上报数据。本申请提供的方法可以降低网络拥塞的概率，提高计算任务的执行算效率。

Description

数据处理方法、装置及系统

本申请要求了2018年3月5日提交的，申请号为CN 201810178287.5发明名称为“数据处理方法、装置及系统”的中国申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及分布式计算领域，特别涉及一种数据处理方法、装置及系统。

背景技术

分布式机器学习一般采用数据并行的方式进行模型训练。在采用该数据并行的方式进行模型训练时，各个计算节点(也称为worker)中均存储有算法模型，且每个节点可以分别获取到部分样本数据，并能对获取到的样本数据进行训练得到模型参数。各个计算节点需要将计算得到的模型参数发送至参数服务器(parameter server，ps)，该参数服务器用于对各个计算节点上报的模型参数进行汇聚更新，并将更新后的模型参数再发送至各个计算节点。

相关技术中，通常采用高性能计算(High Performance Computing，HPC)数据中心网络来实现分布式机器学习。具体的，可以选取一台服务器作为参数服务器，选取另一台服务器作为主节点，并可以选取多台其他服务器作为计算节点。其中，该主节点用于向该多个计算节点下发该参数服务器的网络地址，以及驱动该多个计算节点执行分布式机器学习任务。在该HPC数据中心网络中，该参数服务器与各个计算节点之间可以通过交换设备交互数据，以实现模型参数的上报，以及更新后的模型参数的下发。

但是，在该分布式机器学习的过程，数据中心网络中的数据传输量较大，可能会出现网络拥塞，导致计算节点与参数服务器之间的数据传输时延较大，影响分布式机器学习的效率。

发明内容

本申请提供了一种数据处理方法、装置及系统，可以解决相关技术中的数据中心网络在实现分布式计算时，网络中数据传输量较大，可能会出现网络拥塞，影响计算效率的问题。技术方案如下：

第一方面，提供了一种数据处理方法，应用于数据中心网络的控制器，该方法可以包括：

接收指定节点发送的针对指定计算任务的处理请求，该处理请求中包括用于执行该指定计算任务的多个计算节点的标识，之后控制器可以从用于连接该多个计算节点的交换设备中确定目标交换设备，并分别向目标交换设备以及指定节点发送指定计算任务对应的路由信息，该路由信息用于指示该多个计算节点与目标交换设备之间的数据转发路径。

其中，该路由信息用于在目标交换设备对多个计算节点上报的数据进行合并处理后根据该路由信息将该合并处理后的数据发送至每个计算节点。也即是，目标交换设备可以根据该路由信息对该多个计算节点上报的数据进行合并处理后发送至每个计算节点。此外，指定节点接收到路由信息后，可以将该路由信息发送至该多个计算节点中除该指定节点之外的每个计算节点，每个计算节点可以根据该路由信息向该目标交换设备上报数据。

本申请提供的方法，由于控制器可以选取目标交换设备对多个计算节点上报的数据进行合并处理，因此各计算节点无需再通过交换设备向参数服务器发送数据，参数服务器也无需再通过交换设备将合并处理后的结果反馈至各计算节点，有效减小了数据中心网络中的数据传输量，降低了网络拥塞的概率以及数据传输的时延，提高了计算任务的执行算效率。

可选的，该多个计算节点与该目标交换设备之间的数据转发路径上可以包括至少一个交换设备，该方法还可以包括：

将该数据转发路径上包括的至少一个交换设备中，与该多个计算节点中的至少两个计算节点连接的交换设备确定为中间交换设备；并向中间交换设备发送路由信息，该路由信息用于该中间交换设备将与其连接的至少两个计算节点上报的数据进行合并处理后根据该路由信息将合并处理后的数据发送至该目标交换设备。

各计算节点在向目标交换设备上报数据的过程中，通过中间交换设备对至少两个计算节点上报的数据进行合并处理后再发出，相比于中间交换设备直接转发数据，可以进一步减小网络中的数据传输量，进而可以进一步降低网络拥塞的概率。

可选的，控制器分别向目标交换设备以及该指定节点发送指定计算任务对应的路由信息的过程可以包括：

向目标交换设备发送包括该目标交换设备的直连设备的标识的路由信息，该目标交换设备的直连设备为计算节点或者中间交换设备；

向指定节点发送包括每个计算节点的直连设备的标识的路由信息，每个计算节点的直连设备为目标交换设备或者中间交换设备，该指定节点用于将每个计算节点的直连设备的标识发送至对应的计算节点；

相应的，控制器向中间交换设备发送路由信息的过程可以包括：

向中间交换设备发送包括该中间交换设备的直连设备的标识的路由信息，中间交换设备的直连设备为计算节点、该目标交换设备或其他中间交换设备。

其中每个设备的标识可以为设备的IP地址。

控制器向每个设备发送的路由信息可以仅包括该设备的直连设备的标识，从而可以在保证数据正常转发的基础上，进一步降低路由信息的数据量，有效提高路由信息的传输效率。

可选的，控制器从用于连接该多个计算节点的交换设备中确定目标交换设备的过程可以包括：

分别计算用于连接该多个计算节点的交换设备中，每个交换设备与各个计算节点之间的路由跳数之和；将路由跳数之和最少的交换设备确定为目标交换设备。

在本发明实施例中，选取路由跳数之和最少的交换设备作为目标交换设备，可以保证选取出的目标交换设备与各个计算节点之间的总路径较短，可以有效降低网络中的数据传输量较少，进而可以降低网络拥塞的概率。

作为一种可选的实现方式，控制器将路由跳数之和最少的交换设备确定为目标交换设备的过程可以包括：

当路由跳数之和最少的交换设备包括多个时，分别确定每个路由跳数之和最少的交换设备的性能参数，该性能参数包括可用带宽、吞吐量、计算负载以及被选为目标交换设备的次数中的至少一种；将多个路由跳数之和最少的交换设备中，性能参数满足预设条件的交换设备确定为目标交换设备。

根据交换设备的性能参数选取目标交换设备，可以保证选取出的目标交换设备的性能较好，能够保证较高的计算效率。

作为另一种可选的实现方式，控制器将路由跳数之和最少的交换设备确定为目标交换设备的过程可以包括：

当路由跳数之和最少的交换设备包括多个时，分别确定每个路由跳数之和最少的交换设备与各个所述计算节点之间的路由跳数的均衡程度；将多个路由跳数之和最少的交换设备中，路由跳数的均衡程度最高的交换设备确定为目标交换设备。

根据路由跳数的均衡程度选取目标交换设备，可以保证选取出的目标交换设备与各个计算节点之间的路径长度较为均衡，进而可以保证各个计算节点上报数据时所需的时长较为接近，使得目标交换设备可以在较短的时间内接收到所有计算节点上报的数据，并进行合并处理，进一步提高了计算任务的执行效率。

可选的，控制器在计算每个交换设备与各个计算节点之间的路由跳数之和之前，还可以先检测该多个计算节点是否均直接连接至同一个交换设备；当该多个计算节点均直接连接至同一个交换设备时，控制器可以直接将该多个计算节点直接连接的交换设备确定为目标交换设备，而无需再计算交换设备与各个计算节点之间的路由跳数之和，可以提高目标交换设备的确定效率；当该多个计算节点直接连接至不同的交换设备时，控制器再计算每个交换设备与各个计算节点之间的路由跳数之和。

可选的，该方法还可以包括：

接收该数据中心网络中每个交换设备上报的拓扑信息；根据接收到的拓扑信息，确定该多个计算节点之间的拓扑结构；相应的，控制器在确定与该各个计算节点均具有连接关系的交换设备时，可以基于该拓扑结构确定。

可选的，控制器从与多个计算节点均具有连接关系的交换设备中确定目标交换设备时，还可以先从用于连接该多个计算节点的交换设备中确定至少一个备选交换设备，每个备选交换设备能够通过下行路径与至少两个计算节点连接；之后，控制器可以从该至少一个备选交换设备中确定该目标交换设备。

可选的，控制器在确定目标交换设备时，还可以先从用于连接该多个计算节点的交换设备中确定至少一个备选交换设备，其中每个备选交换设备可以通过下行路径与该多个计算节点中的至少两个计算节点连接；之后，控制器可以再从该至少一个备选交换设备中确定目标交换设备。

可选的，指定节点发送的处理请求还可以包括：该指定计算任务对应的合并处理类型；相应的，该方法还可以包括：

向目标交换设备发送该指定计算任务对应的合并处理类型，该目标交换设备用于按照该合并处理类型对该多个计算节点上报的数据进行合并处理。

由于不同的计算任务对应的合并处理类型可能不同，按照指定计算任务对应的合并处理类型对接收到的数据进行合并处理，可以保证数据处理的精度。

第二方面，提高了另一种数据处理方法，应用于数据中心网络的交换设备，该方法可以包括：接收控制器发送的指定计算任务对应的路由信息，该路由信息用于指示多个计算节点与目标交换设备之间的数据转发路径，该多个计算节点用于执行该指定计算任务；进一步的，交换设备可以对该多个计算节点上报的数据进行合并处理，并可以根据该路由信息，发送合并处理后的数据。其中，该路由信息为控制器接收到指定节点发送的针对该指定计算任务的处理请求后，从用于连接该多个计算节点的交换设备中确定目标交换设备后发送的。

本申请提供的方法，由于交换设备可以对多个计算节点上报的数据进行合并处理后再发出，因此各计算节点无需再通过交换设备向参数服务器发送数据，参数服务器也无需再通过交换设备将合并处理后的结果反馈至各计算节点，有效减小了数据中心网络中的数据传输量，降低了网络拥塞的概率以及数据传输的时延，提高了计算任务的执行算效率。

可选的，交换设备在对该多个计算节点上报的数据进行合并处理之前，还可以接收该控制器发送的该指定计算任务对应的合并处理类型；相应的，交换设备对该多个计算节点上报的数据进行合并处理的过程可以包括：按照该合并处理类型，对该多个计算节点上报的数据进行合并处理。

可选的，该交换设备可以为目标交换设备；此时，该目标交换设备根据该路由信息，发送合并处理后的数据的过程可以包括：

根据该路由信息，向每个计算节点发送合并处理后的数据。

可选的，该交换设备可以为用于连接该目标交换设备和至少两个该计算节点的中间交换设备；此时，该中间交换设备对该多个计算节点上报的数据进行合并处理的过程可以包括：对至少两个该计算节点上报的数据进行合并处理；

相应的，中间交换设备根据该路由信息，发送合并处理后的数据的过程可以包括：根据该路由信息，向该目标交换设备发送合并处理后的数据。

第三方面，提供了一种数据处理装置，应用于数据中心网络的控制器，该装置可以包括至少一个模块，该至少一个模块用于实现上述第一方面所提供的数据处理方法。

第四方面，提供了一种数据处理装置，应用于数据中心网络的交换设备，该装置可以包括至少一个模块，该至少一个模块用于实现上述第二方面所提供的数据处理方法。

第五方面，提供了一种控制器，该控制器可以包括处理器、存储器以及通信接口；该存储器中存储有供该处理器运行的计算机程序，该处理器、存储器以及该通信接口可以用于实现上述第一方面所提供的数据处理方法。

第六方面，提供了一种交换设备，该交换设备包括交换芯片、处理器以及存储器，该交换芯片、处理器以及存储器可以用于实现上述第二方面所提供的数据处理方法。

第七方面，提供了一种数据处理系统，该系统可以包括：控制器、多个计算节点以及至少一个交换设备；该控制器可以包括第三方面所示的数据处理装置，或者可以为第五方面所示的控制器；每个交换设备可以包括第四方面所示的数据处理装置，或者可以为第七方面所示的交换设备。

第八方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该计算机可读存储介质在计算机上运行时，使得计算机执行上述第一方面或第二方面所提供的数据处理方法。

第九方面，提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，可以使得计算机执行上述第一方面或第二方面所提供的数据处理方法。

综上所述，本申请提供了一种数据处理方法、装置及系统，指定节点向控制器发送的针对指定计算任务的处理请求中包括用于执行该指定计算任务的多个计算节点的标识，控制器接收到该处理请求后，可以从用于连接该多个计算节点的交换设备中确定目标交换设备，并分别向该目标交换设备以及该指定节点发送用于指示该多个计算节点与该目标交换设备之间的数据转发路径的路由信息，以使得每个计算节点可以根据该路由信息向该目标交换设备上报数据，目标交换设备可以根据该路由信息对该多个计算节点上报的数据进行合并处理后再发送至每个计算节点。因此通过本申请提供的方法，各计算节点无需再通过交换设备向参数服务器发送数据，参数服务器也无需再通过交换设备将合并处理后的结果反馈至各计算节点，有效减小了数据中心网络中的数据传输量，降低了网络拥塞的概率以及数据传输的时延，提高了计算任务的执行算效率。

附图说明

图1A是本发明实施例提供的数据处理方法所涉及的数据中心网络的架构图；

图1B是本发明实施例提供的一种交换设备的架构图；

图1C是本发明实施例提供的另一种交换设备的架构图；

图1D是本发明实施例提供的一种数据中心网络中的控制器的架构图；

图2是本发明实施例提供的一种数据处理方法的流程图；

图3是本发明实施例提供的另一种数据中心网络的架构图；

图4是本发明实施例提供的一种多个计算节点之间的拓扑结构示意图；

图5是本发明实施例提供的一种确定目标交换设备的方法流程图；

图6是本发明实施例提供的另一种多个计算节点之间的拓扑结构示意图；

图7是本发明实施例提供的一种数据处理装置的结构示意图；

图8是本发明实施例提供的一种发送模块的结构示意图；

图9是本发明实施例提供的一种确定模块的结构示意图；

图10是本发明实施例提供的另一种数据处理装置的结构示意图；

图11是本发明实施例提供的又一种数据处理装置的结构示意图。

具体实施方式

图1A是本发明实施例提供的数据处理方法所涉及的数据中心网络的架构图，如图1A所示，该数据中心网络可以包括控制器01、多个计算节点02以及用于连接该多个计算节点02的至少一个交换设备03。其中，该控制器01以及每个计算节点02均可以部署在服务器中，该交换设备03可以为具备数据转发以及数据处理功能的交换机。参考图1A可以看出，该控制器01与每个交换设备03均建立有通信连接，任意两个计算节点02之间可以通过交换设备03建立通信连接。

在本发明实施例中，该多个计算节点02可以用于实现分布式机器学习等分布式计算任务，例如该多个计算节点02可以实现基于深度神经网络(Deep Neural Networks，DNN)人工智能(Artificial Intelligence，AI)模型训练。在通过该多个计算节点02中的若干计算节点实现某个分布式计算任务时，可以在该若干计算节点中的每个计算节点中均部署该分布式计算任务的算法模型，并且可以在该若干计算节点中选取一个指定节点，或者也可以在其他计算节点中选取一个指定节点。该指定节点中部署有用于驱动该分布式计算任务的驱动程序，该若干计算节点可以在该指定节点的驱动下，并行执行分布式计算任务。

随着计算硬件的快速发展，以张量处理单元(Tensor Processing Unit，TPU)和图形处理单元(Graphics Processing Unit，GPU)为核心的计算节点的计算性能得到了大幅度的提升，这使得各个计算节点执行分布式计算任务时的计算时间大幅缩短，因此对各计算节点与参数服务器之间的通信时间也提出了较高要求，一般需要将该通信时间限制在毫秒级时间周期内。

为了缩短各个计算节点与参数服务器之间的通信时间，本发明实施例提供的数据中心网络中，可以将参数服务器的功能卸载(offload)至交换设备中，即可以由该交换设备对各个计算节点上报的数据进行合并处理后，再反馈至各个计算节点，从而可以有效缩短数据的通信时间，提高分布式计算任务的执行效率。

图1B是本发明实施例提供的一种交换设备的架构图，如图1B所示，数据中心网络中的每个交换设备02可以包括交换功能组件021、网络计算组件022以及网络管理组件023。其中，交换功能组件021用于实现传统交换设备的数据转发功能；该网络计算组件022用于对多个计算节点02上报的数据进行合并处理；网络管理组件023用于感知网络拓扑、存储不同分布式计算任务所对应的路由信息，以及根据该路由信息指导交换功能组件021转发网络计算组件022合并处理后的数据。

图1C是本发明实施例提供的另一种交换设备的架构图，如图1C所示，该交换设备02的硬件部分主要可以包括交换芯片02a、中央处理器(Central Processing Unit，CPU)02b以及存储器02c。软件部分可以包括至少一个容器02d、部署在每个容器02d内的参数服务器02e以及网络管理组件023。该部署在容器02d内的参数服务器02e可以是指能够实现参数服务器功能的应用程序。其中，交换芯片02a可以为交换设备02的交换功能组件，用于实现二层报文或者三层报文的转发。CPU 02b以及该参数服务器02e可以为交换设备02的网络计算组件；该CPU可以为基于x86指令集(或者其他类型的指令集)的CPU，其具有较高的计算性能，用于提供常规虚拟化容器等软件的处理需求以及用于支撑参数服务器的数据计算功能；该参数服务器02e运行在CPU 02b上，具备分布式计算所需的数据合并处理(也可以称为汇聚处理)功能。

此外，参考图1C，该交换芯片02a与CPU 02b之间可以通过高速互连接口b1连接，该高速互连接口b1可以为网络适配器(Network Interface Card，NIC)接口，能够满足分布式计算数据传输的高带宽和低时延要求。其中，网络适配器一般也称为网卡。该高速互连接口b1的带宽速率可以为交换设备的对外接口a1的带宽速率的多倍，例如该高速互连接口b1的单向带宽速率可以大于40Gbps(吉比特每秒)。该高速互连接口b1可以有效降低多个计算节点或者交换设备同时向一个交换设备上报数据(也称为多打一)时出现导致网络拥塞的概率。

图1D是本发明实施例提供的一种数据中心网络中的控制器的架构图，如图1D所示，该控制器01可以为基于软件定义网络(Software-defined Network，SDN)架构的控制器，该SDN架构可以包括应用层、控制层和转发层。其中，控制器01的应用层包括分布式计算加速SDN应用(简称加速应用)011，控制层包括分布式计算加速SDN控制器(简称加速控制器)012，转发层包括分布式计算加速SDN数据通道(简称数据通道)013。

其中，该加速应用011主要用于通过网络服务接口(例如Restful接口)与指定节点交互。例如，该加速应用可以接收指定节点发送的处理请求，并可以将控制器确定的路由信息(该路由信息中可以包括用于实现参数服务器功能的交换设备的标识)反馈给该指定节点。此外，该加速应用011还可以与加速控制器012交互，可以向该加速控制器012提供指定计算任务对应的计算节点的标识，以及合并处理类型等信息，并可以接收该加速控制器012反馈的路由信息。

该加速控制器012可以为控制器01中用于实现分布式计算加速的功能主体，该加速控制器012中保存了数据中心网络的物理拓扑，并可以根据该物理拓扑，确定用于加速指定分布式计算任务的路由信息。此外，加速控制器012还可以统一获取数据中心网络中各个交换设备的性能参数，该性能参数可以包括可用带宽、吞吐量和计算负载等。

该数据通道013可以为逻辑上的数据转发通道，构成了控制器与指定节点之间的数据转发路径，以及控制器与各交换设备之间的数据转发路径。

图2是本发明实施例提供的一种数据处理方法的流程图，该方法可以应用于图1A所示的数据中心网络中，参考图2，该方法可以包括：

步骤101、每个交换设备向控制器上报拓扑信息。

其中，每个交换设备上报的拓扑信息可以包括该交换设备的标识，以及该交换设备所连接的设备(例如计算节点或者其他交换设备)的标识，该设备的标识可以为设备的网络地址，例如互联网协议(Internet Protocol，IP)地址。在本发明实施例中，数据中心网络中的每个交换设备均具备拓扑感知功能，每个交换设备可以在数据中心网络的拓扑稳定后，获取其所连接的设备的标识并上报至控制器。图2中仅示出了从该数据中心网络所包括的多个交换设备中选取出的目标交换设备和中间交换设备，实际上该数据中心网络中的每个交换设备均可以向控制器上报拓扑信息。控制器获取到各个交换设备的上报的拓扑信息后，即可确定出数据中心网络的整体拓扑结构。

示例的，图3是本发明实施例提供的另一种数据中心网络的架构图，如图3所示，假设该数据中心网络中包括控制器01，计算节点V1至计算节点V8，以及交换设备SW1至SW6。其中，交换设备SW2所连接的设备包括：计算节点V1、计算节点V2、交换设备SW1以及交换设备SW6，则该交换设备SW2可以通过其网络管理组件获取到拓扑信息，并通过其交换功能组件向控制器01上报拓扑信息。该交换设备SW2向控制器01上报的拓扑信息中可以包括交换设备SW2的IP地址、计算节点V1的IP地址、计算节点V2的IP地址、交换设备SW1的IP地址以及交换设备SW6的IP地址。

控制器01根据交换设备SW1至交换设备SW6上报的拓扑信息，可以确定该数据中心网络的拓扑结构为二层的叶脊(leaf-spine)拓扑结构。其中，交换设备SW2至交换设备SW5为叶(leaf)交换设备(即第一层交换设备)，交换设备SW1和交换设备SW6为脊(spine)交换设备(即第二层交换设备)，并且每个leaf交换设备连接有两个计算节点。

步骤102、指定节点向控制器发送针对指定计算任务的处理请求。

该处理请求可以包括用于执行该指定计算任务的多个计算节点的标识，该指定节点为预先从数据中心网络所包括的计算节点中选定的用于驱动执行指定计算任务的计算节点。该指定节点中可以部署有用于驱动该多个计算节点执行该指定计算任务的分布式驱动程序。一个具体的实施例中，该指定节点以及用于执行该指定计算任务的多个计算节点均为开发人员预先选定的，并且该指定节点可以为该多个计算节点中的一个节点，或者，该指定节点也可以为单独设置的一个计算节点，本发明实施例对此不做限定。

示例的，假设该指定计算任务为分布式AI训练任务，用于执行该分布式AI训练任务的计算节点包括计算节点V1、计算节点V2和计算节点V7，且指定节点为计算节点V1。参考图3中编号为1的虚线，该计算节点V1可以通过控制器01提供的接口(例如Restful接口)向控制器01发送处理请求，该处理请求中可以包括该分布式AI训练任务的标识，以及计算节点列表，该计算节点列表中记录有计算节点V1的IP地址、计算节点V2的IP地址及计算节点V7的IP地址。

步骤103、控制器根据接收到的拓扑信息，确定多个计算节点之间的拓扑结构。

控制器01接收到指定节点发送的处理请求后，可以根据预先确定的数据中心网络的拓扑结构，确定用于执行该指定计算任务的多个计算节点之间的拓扑结构。该多个计算节点之间的拓扑结构可以包括该多个计算节点，以及用于连接该多个计算节点的交换设备。

一般的，对于leaf-spine拓扑结构的数据中心网络，考虑到spine交换设备所具备的负载均衡的特性，即每个spine交换设备均可以与数据中心网络中的所有leaf交换设备连接，因此可以将数据中心网络中的所有spine交换设备均纳入至该多个计算节点之间的拓扑结构中。

示例的，控制器01可以根据预先确定的数据中心网络的拓扑结构，以及该计算节点V1、计算节点V2和计算节点V7中每个计算节点的IP地址，确定该三个计算节点之间的拓扑结构。该三个计算节点之间的拓扑结构可以如图4所示。从图4可以看出，该拓扑结构包括该三个计算节点，以及用于连接该三个计算节点的所有交换设备。用于连接该三个计算节点的交换设备的集合为{SW2，SW5，SW1，SW6}。

步骤104、控制器基于该拓扑结构，从用于连接该多个计算节点的交换设备中确定至少一个备选交换设备。

其中，每个备选交换设备可以为能够通过下行路径与该多个计算节点中的至少两个计算节点连接的交换设备，且该下行路径上可以包括其他交换设备，也可以不包括其他交换设备。

示例的，如图4所示，假设用于连接计算节点V1、计算节点V2和计算节点V7的交换设备的集合为{SW2，SW5，SW1，SW6}。由于其中spine交换设备SW1可以通过下行路径分别与计算节点V1、计算节点V2和计算节点V7连通，spine交换设备SW6也可以通过下行路径分别与计算节点V1、计算节点V2和计算节点V7连通；leaf交换设备SW2通过下行路径能够与计算节点V1和计算节点V2连通，而leaf交换设备SW5通过下行路径只能与计算节点V7连通，因此控制器01可以将交换设备SW1、交换设备SW2以及交换设备SW6确定为备选交换设备。

由于本发明实施例提供的方法中，每个交换设备均具备对数据进行合并处理的能力，而备选交换设备可以通过下行路径与至少两个计算节点连接，因此能够对其所连接的至少两个计算节点上报的数据进行合并处理后再发出，从该备选交换设备中确定目标交换设备以及中间交换设备，可以保证进行分布式计算时，网络中的数据传输量较小。

步骤105、控制器从该至少一个备选交换设备中确定目标交换设备。

图5是本发明实施例提供的一种确定目标交换设备的方法流程图，参考图5，该确定目标交换设备的过程可以包括：

步骤1051、检测多个计算节点是否均直接连接至同一个备选交换设备。

当该多个计算节点均直接连接至同一个备选交换设备时，控制器可以执行步骤1052；当该多个计算节点直接连接至不同的备选交换设备时，控制器可以执行步骤1053。

示例的，参考图3，假设用于执行某个指定计算任务的计算节点包括计算节点V3和计算节点V4，则由于该两个计算节点均直接连接至备选交换设备SW3，因此控制器01可以执行步骤1052。

或者，如图4所示，假设用于执行某个指定计算任务的计算节点包括计算节点V1、计算节点V2和计算节点V7，由于计算节点V1和计算节点V2均直接连接至备选交换设备SW2，而计算节点V7通过交换设备SW5连接至备选交换设备SW1，该三个计算节点直接连接的备选交换设备不为同一个备选交换设备，因此控制器01可以执行步骤1053。

步骤1052、将该多个计算节点直接连接的备选交换设备确定为目标交换设备。

当该多个计算节点均直接连接至同一个备选交换设备时，控制器可以直接将该多个计算节点直接连接的备选交换设备确定为目标交换设备。参考图3，如上述计算节点包括计算节点V3和计算节点V4示例中，控制器01可以直接将备选交换设备SW3确定为目标交换设备。

在本发明实施例中，该多个计算节点在执行指定计算任务时，可以将计算得到的数据上报至目标交换设备，目标交换设备可以对该各个计算节点上报的数据进行合并处理，并将合并处理后的数据再分别发送至每个计算节点。由于该目标交换设备即可实现参数服务器的功能，因此该各个计算节点无需再通过交换设备向参数服务器上报数据，参数服务器也无需再通过交换设备下发合并处理后的数据，因此有效减少了数据中心网络中的数据传输量，降低了网络拥塞的概率和数据传输的时延，进而可以有效提高指定计算任务的执行算效率。

步骤1053、计算每个备选交换设备与各个计算节点之间的路由跳数之和。

当该多个计算节点直接连接至不同的备选交换设备时，控制器可以基于该多个计算节点之间的拓扑结构，计算每个备选交换设备与各个计算节点之间的路由跳数之和，并将路由跳数之和最少的备选交换设备确定目标交换设备。

在本发明实施例中，在统计第一备选交换设备与各个计算节点之间的路由跳数之和时，控制器可以将该第一备选交换设备与各个计算节点之间的拓扑结构中，每相邻两个设备之间的路径记为一跳。

示例的，对于图4所示的拓扑结构，由于备选交换设备SW1与该三个计算节点之间的拓扑结构中，计算节点V1与备选交换设备SW2之间的路径可以记为一跳，计算节点V2与备选交换设备SW2之间的路径可以记为一跳，备选交换设备SW2与备选交换设备SW1之间的路径可以记为一跳，计算节点V7与交换设备SW5之间的路径记为一跳，交换设备SW5与备选交换设备SW1之间的路径可以记为一跳，因此控制器01可以确定该备选交换设备SW1与该三个计算节点之间的路由跳数之和为5。同样的，控制器01可以确定备选交换设备SW6与该三个计算节点之间的路由跳数之和也为5，备选交换设备SW2与该三个计算节点之间的路由跳数之和也为5。

步骤1054、当路由跳数之和最少的备选交换设备包括一个时，将该路由跳数之和最少的备选交换设备确定为目标交换设备。

若控制器能确定出一个路由跳数之和最少的备选交换设备，则可以直接将该路由跳数之和最少的备选交换设备确定为目标交换设备。由于在本发明实施例提供的方法中，每个交换设备均具备对数据进行合并处理的能力，当某个交换设备接收到多个其他设备(例如计算节点或交换设备)上报的数据后，可以将接收到的数据进行合并处理后再发送至下一跳交换设备，因此在各个计算节点每次上报数据的过程中，每相邻两个设备之间的一跳路径可以仅用于传输一份数据。

根据上述分析可知，通过路由跳数之和能够直观反映出数据传输过程中，每个备选交换设备与各计算节点之间的数据传输量，选择路由跳数之和最少的备选交换设备作为目标交换设备，使得目标交换设备与各个计算节点之间数据传输量均较少，可以有效降低数据传输时延以及网络拥塞的概率，进而可以有效提高计算任务的执行效率。

步骤1055、当路由跳数之和最少的备选交换设备包括多个时，分别确定每个路由跳数之和最少的备选交换设备的性能参数。

若路由跳数之和最少的备选交换设备包括多个，控制器则可以根据各个路由跳数之和最少的备选交换设备的性能参数，确定该目标交换设备。其中，每个路由跳数之和最少的备选交换设备的性能参数可以包括可用带宽、计算负载、吞吐量以及被选为目标交换设备的次数中的至少一种。其中，计算负载可以是指交换设备对数据进行合并处理时的负载。在本发明实施例中，控制器可以实时或者周期性的获取数据中心网络中每个交换设备的性能参数，例如，该控制器01可以通过其加速控制器012周期性的获取每个交换设备的性能参数。

步骤1056、将多个路由跳数之和最少的备选交换设备中，性能参数满足预设条件的备选交换设备确定为目标交换设备。

具体的实施例中，根据控制器所获取到的性能参数所包括的参数类型的不同，该预设条件也有所不同。例如：当该性能参数包括可用带宽时，该预设条件可以为：交换设备的可用带宽最高；当该性能参数包括吞吐量时，该预设条件可以为：交换设备的吞吐量最低；当该性能参数包括计算负载时，该预设条件可以为：交换设备的计算负载最低；当该性能参数包括被选为目标交换设备的次数时，该预设条件可以为：被选为目标交换设备的次数最少。此外，若该性能参数包括多种类型的参数，控制器可以根据预设的参数优先级，以优先级较高的参数为基准依次进行判断。

例如，假设该预设的参数优先级为：可用带宽、计算负载、吞吐量和被选为目标交换设备的次数，则控制器在确定目标交换设备时，可以先对比各个备选交换设备的可用带宽，并选择可用带宽最高的备选交换设备作为目标交换设备；若可用带宽最高的备选交换设备包括多个，则控制器可以继续对比该多个可用带宽最高的备选交换设备的计算负载，若该多个可用带宽最高的备选交换设备中，计算负载最低的备选交换设备包括多个，则控制器可以继续对比各个备选交换设备的吞吐量，直至确定出满足该预设条件的目标交换设备。此外，若控制器通过上述判断过程，确定出的性能参数满足该预设条件的备选交换设备包括多个，则控制器可以从该性能参数满足预设条件的多个备选交换设备中任意确定一个备选交换设备作为该目标交换设备。

示例的，由于在图4所示的拓扑结构中，备选交换设备SW1、备选交换设备SW2和备选交换设备SW6对应的路由跳数之和均为5，则控制器可以对比该三个备选交换设备的性能参数。假设控制器获取到的性能参数为计算负载，且备选交换设备SW1的计算负载最低，则控制器可以将该备选交换设备SW1确定为目标交换设备。

在本发明实施例中，通过路由跳数之和，以及交换设备的性能参数选取目标交换设备，可以保证选取出的目标交换设备与各个计算节点之间的数据传输量较少，且目标交换设备的性能较好，能够保证较高的计算效率。

在本发明实施例中，控制器除了可以基于性能参数确定目标交换设备，还可以分别确定每个路由跳数之和最少的备选交换设备与各个计算节点之间的路由跳数的均衡程度，并将路由跳数的均衡程度最高的备选交换设备确定为目标交换设备。当然，控制器也可以在上述步骤1056中，确定出多个性能参数均满足该预设条件的备选交换设备后，再基于该路由跳数的均衡程度确定目标交换设备。由于目标交换设备需要获取到用于执行指定计算任务的所有计算节点上报的数据后，才能进行合并处理，因此选取路由跳数的均衡程度最高的交换设备作为目标交换设备，可以保证该各个计算节点上报数据时所需的时长较为接近，使得目标交换设备可以在较短的时间内接收到所有计算节点上报的数据，并进行合并处理，降低了目标交换设备的等待时长，进一步提高了计算任务的执行效率。

其中，路由跳数的均衡程度可以由路由跳数的方差、均方差或平均差等参数确定。且该均衡程度的高低与上述任一参数的参数值大小负相关，即参数值越小表明均衡程度越高。示例的，对于多个路由跳数之和最少的备选交换设备中的每个备选交换设备，控制器可以分别统计该备选交换设备与每个计算节点之间的路由跳数，并计算该备选交换设备与各个计算节点之间的路由跳数的方差，之后可以将方差最小的备选交换设备确定为目标交换设备。

需要说明的是，在本发明实施例中，当控制器在上述步骤104中确定出多个备选交换设备时，还可以将该多个备选交换设备中的任意一个确定为目标交换设备。或者，控制器还可以进一步从该多个备选交换设备中，确定出能够通过下行路径与该多个计算节点均连接的候选交换设备，进而再从该候选交换设备中确定目标交换设备。例如，对于图4所示的拓扑结构，备选交换设备为SW1、SW2和SW6，由于其中备选交换设备SW1和SW6能够通过下行路径与该三个计算节点建立连接，因此控制器可以将该备选交换设备SW1和SW6作为候选交换设备，并从该两个候选交换设备中确定目标交换设备。

步骤106、控制器将除目标交换设备之外的备选交换设备中，用于连接该目标交换设备与至少两个计算节点的备选交换设备确定为中间交换设备。

在本发明实施例中，若控制器在上述步骤104中确定出了多个备选交换设备，则在确定出目标交换设备之后，还可以将剩余的备选交换设备中，用于连接该目标交换设备与该多个计算节点中的至少两个计算节点的备选交换设备确定为中间交换设备。由于在执行指定计算任务的过程中，该中间交换设备可以将其所连接的至少两个计算节点上报的数据进行合并处理后发送至目标交换设备，由此可以进一步减小网络中的数据传输量。

示例的，参考图4，假设备选交换设备为SW1、SW2和SW6，则当控制器01确定目标交换设备为SW1之后，由于剩余的两个备选交换设备中，备选交换设备SW2能够连接该目标交换设备SW1和两个计算节点(V1和V2)，因此可以将该备选交换设备SW2确定为中间交换设备。

或者，参考图6，假设用于执行指定计算任务的计算节点包括计算节点V1、V2、V3和V7，根据图6所示的拓扑结构可知，能够通过下行路径与至少两个计算节点连接的备选交换设备包括：SW21、SW23、SW1和SW6。若最终确定的目标交换设备为SW1，剩余的三个备选交换设备中，由于备选交换设备SW21和SW23，能够连接该目标交换设备SW1和两个计算节点(V1和V2)，因此控制器01可以将该备选交换设备SW21和SW23均确定为中间交换设备。

步骤107、控制器分别向该目标交换设备、中间交换设备以及该指定节点发送路由信息。

该路由信息可以用于指示该多个计算节点与该目标交换设备之间的数据转发路径。例如，该路由信息中可以包括该多个计算节点的标识以及该目标交换设备的标识。若该多个计算节点与目标交换设备之间的数据转发路径上还包括中间交换设备，则该路由信息中还可以包括该中间交换设备的标识。

在本发明实施例中，为了降低路由信息的数据量，提高路由信息的发送效率，控制器向每个设备发送的该指定计算任务对应的路由信息中可以仅包括该设备在该数据转发路径中的直连设备的标识。其中，直连设备可以包括该多个计算节点、中间交换设备和目标交换设备，而对于该数据转发路径上未被选取为中间交换设备的其他交换设备，则不在该路由信息的统计范围内。

例如，该控制器向该目标交换设备发送的路由信息可以仅包括该目标交换设备的直连设备的标识，该目标交换设备的直连设备可以为计算节点或者中间交换设备。控制器向该指定节点发送的路由信息可以仅包括每个计算节点直接连接的交换设备的标识，即该控制器向指定节点发送的路由信息可以包括参数服务器列表，该参数服务器列表中记录有用于实现参数服务器功能的交换设备的标识；该指定节点用于将每个计算节点直接连接的中间交换设备或者目标交换设备的标识发送至对应的计算节点。控制器向每个中间交换设备发送的路由信息可以包括该中间交换设备的直连设备的标识，每个中间交换设备的直连设备为计算节点、该目标交换设备或者其他中间交换设备。

示例的，结合图4，假设用于执行分布式AI训练任务的计算节点为计算节点V1、V2和V7，目标交换设备为SW1，中间交换设备为SW2。其中，目标交换设备SW1的直连设备为中间交换设备SW2和计算节点V7；中间交换设备SW2的直连设备为目标交换设备SW1，以及计算节点V1和V2；计算节点V1和V2的直连设备均为中间交换设备SW2，计算节点V7的直连设备为目标交换设备SW1。则控制器01向该目标交换设备SW1发送的路由信息可以仅包括中间交换设备SW2的IP地址，以及计算节点V7的IP地址；控制器01向中间交换设备SW2发送的路由信息可以包括目标交换设备SW1的IP地址，计算节点V1的IP地址，以及计算节点V2的IP地址。控制器01向指定节点V1发送的路由信息可以包括中间交换设备SW2的IP地址，以及目标交换设备SW1的IP地址。该控制器01向各个设备发送路由信息的过程可以如图3中编号为2的虚线所示。

需要说明的是，在上述步骤102中，控制器接收到指定节点发送的针对指定计算任务的处理请求后，还可以为该指定计算任务生成一个任务标识(taskID)，例如，控制器为分布式AI训练任务生成的taskID可以为1；或者，该控制器也可以直接将该处理请求中携带的该指定计算任务的标识确定为该任务标识。

相应的，控制器向各个设备发送该指定计算任务对应的路由信息时，还可以在该路由信息中携带该任务标识，以便各个设备可以基于该任务标识，存储不同计算任务所对应的路由信息。

示例的，目标交换设备SW1存储的路由信息可以如表1所示，从表1可以看出，taskID为1的计算任务所对应的路由信息中包括IP1和IP2共两个IP地址，其中IP1可以为中间交换设备SW2的IP地址，IP2为计算节点V7的IP地址；taskID为2的计算任务所对应的路由信息中则可以包括IP3至IP5共三个IP地址。

表1

taskID	路由信息	合并处理类型
1	IP1、IP2	计算加权平均值
2	IP3、IP4、IP5	求和

还需要说明的是，在上述步骤102中，指定节点向控制器发送的处理请求中还可以包括该指定计算任务对应的合并处理类型。因此，控制器还可以向该目标交换设备以及每个中间交换设备发送该指定计算任务对应的合并处理类型，以便该目标交换设备和每个中间交换设备可以按照该合并处理类型，对多个计算节点上报的数据进行合并处理。由于不同的计算任务对应的合并处理类型可能不同，按照指定计算任务对应的合并处理类型对接收到的数据进行合并处理，可以保证数据处理的精度。

示例性的，该合并处理类型可以包括：计算平均值、计算加权平均值、求和、计算最大值和计算最小值中的任一种。

此外，控制器可以在向该目标交换设备以及每个中间交换设备发送该指定计算任务对应的路由信息的同时，发送该指定计算任务对应的合并处理类型；或者，控制器也可以单独发送该指定计算任务对应的合并处理类型，本发明实施例对此不做限定。

示例的，假设该taskID为1的分布式AI训练任务对应的合并处理类型为计算加权平均值，则该控制器向目标交换设备SW1，以及中间交换设备SW2发送分布式AI训练任务对应的路由信息时，可以在该路由信息中声明该分布式AI训练任务对应的合并处理类型为计算加权平均值，以便各个交换设备可以存储该分布式AI训练任务对应的合并处理类型。例如，参考表1，目标交换设备SW1可以存储taskID为1的计算任务对应的合并处理类型为计算加权平均值；taskID为2的计算任务对应的合并处理类型为求和。

步骤108、指定节点向每个计算节点发送路由信息。

指定节点接收到控制器发送的该指定计算任务对应的路由信息后，可以将该路由信息转发至各个计算节点，以便各个计算节点在完成数据计算后，可以根据接收到的路由信息上报数据。

进一步的，由于控制器向该指定节点发送的路由信息中可以仅包括每个计算节点的直连设备的标识，其中每个计算节点之间连接的设备为用于实现参数服务器功能的中间交换设备或目标交换设备。因此该指定节点向每个计算节点发送的路由信息中，也可以仅包括该计算节点所直接连接的用于实现参数服务器功能的交换设备的标识。

示例的，该指定节点V1向计算节点V2发送的路由信息中可以仅包括该计算节点V2所直接连接的中间交换设备SW2的IP地址，该指定节点V1向计算节点V7发送的路由信息中可以仅包括该计算节点V7所直接连接的目标交换设备SW1的IP地址。该指定节点V1向各个计算节点发送路由信息的过程可以如图4中编号为3的虚线所示。

步骤109、每个计算节点根据该指定计算任务对应的算法模型进行数据计算。

在本发明实施例中，用于执行该指定计算任务的每个计算节点中预先存储有该指定计算任务对应的算法模型，每个计算节点在接收到该指定节点下发的驱动指令后，即可根据该算法模型对获取到的输入数据进行数据计算。

示例的，假设该分布式AI训练任务为基于DNN的图像识别应用的训练任务。该训练任务可以包括多个相同计算集合的迭代，每次迭代过程中，可以分别向每个计算节点输入多张样本图片，每个计算节点可以根据预先存储的神经网络模型对输入的多张样本图片进行数据计算，得到图像识别应用所使用的神经网络模型的梯度(即误差修正数据)。

步骤110、每个计算节点向对应的交换设备上报数据。

进一步的，每个计算节点完成数据计算后，即可根据接收到的路由信息，向对应的交换设备上报计算得到的数据。

示例的，参考图4中编号为4的虚线，计算节点V1和计算节点V2可以根据接收到的路由信息，将计算得到的梯度发送至中间交换设备SW2；参考图4中编号为5的虚线，计算节点V7可以根据接收到的路由信息，将计算得到的梯度直接发送至目标交换设备SW1。参考图4还可以看出，该计算节点V7向目标交换设备SW1上报梯度时，需要通过交换设备SW5进行数据的透传，即该交换设备SW5仅转发数据，而不会对数据进行处理。

步骤111、中间交换设备对其所连接的至少两个计算节点上报的数据进行合并处理。

在本发明实施例中，参考图1C，每个交换设备中可以配置有用于对数据进行合并处理的参数服务器。每个中间交换设备在接收到控制器发送的路由信息后，可以配置和启动本地参数服务器实例，并可以在接收到其所连接的至少两个计算节点上报的数据后，基于该参数服务器实例，对接收到的数据进行合并处理。

示例的，中间交换设备SW2接收到计算节点V1和计算节点V2上报的梯度后，可以对该两个计算节点上报的梯度进行合并处理。

进一步的，由于控制器还可以向每个中间交换设备发送该指定计算任务对应的合并处理类型；因此相应的，每个中间交换设备在接收到用于执行该指定计算任务的至少两个计算节点上报的数据后，还可以按照该指定计算任务对应的合并处理类型，对该至少两个计算节点上报的数据进行合并处理。

示例的，假设控制器01向中间交换设备SW2发送路由信息时，还声明了分布式AI训练任务对应的合并处理类型为计算加权平均值。则中间交换设备SW2接收到计算节点V1和计算节点V2上报的梯度后，可以计算该两个计算节点上报的梯度的加权平均值。其中，每个计算节点上报梯度时，还可以上报该梯度所对应的权重，因此中间交换设备SW2可以根据各个计算节点上报的权重，计算梯度的加权平均值。

步骤112、中间交换设备向目标交换设备发送合并处理后的数据。

每个中间交换设备对其所连接的至少两个计算节点上报的数据进行合并处理后，即可根据接收到的路由信息，向目标交换设备发送合并处理后的数据。由于该中间交换设备能够对至少两个计算节点上报的数据进行合并处理后再发出，相比于交换设备分别转发两个计算节点上报的数据，本发明实施例提供的方法中，中间交换设备仅需向目标交换设备上报一路数据，从而能够有效减少数据中心网络中的数据传输量，降低网络拥塞的概率。

示例的，参考图4中编号为6的虚线，中间交换设备SW2可以根据接收到的路由信息中，目标交换设备SW1的IP地址，将其计算得到的加权平均值发送至该目标交换设备SW1。

步骤113、目标交换设备对接收到的数据进行合并处理。

在本发明实施例中，参考图1C，目标交换设备中可以配置有用于对数据进行合并处理的参数服务器。目标交换设备在接收到控制器发送的路由信息后，可以配置和启动本地参数服务器实例，并可以在接收到计算节点和/或中间交换设备上报的数据后，基于该参数服务器实例，对接收到的数据进行合并处理。

示例的，目标交换设备SW2接收到计算节点V7上报的梯度，以及中间交换设备SW2上报的加权平均值之后，可以对该梯度以及加权平均值进行合并处理。

进一步的，由于控制器还可以向目标交换设备发送该指定计算任务对应的合并处理类型；因此相应的，目标交换设备接收到该指定计算任务对应的计算节点和/或中间交换设备上报的数据后，还可以按照该指定计算任务对应的合并处理类型，对接收到的数据进行合并处理。

示例的，假设目标交换设备存储有表1所示的对应关系，则目标交换设备SW1接收到IP地址为IP2的计算节点V7上报的梯度，以及IP地址为IP1的中间交换设备SW2上报的加权平均值之后，可以计算该梯度和该加权平均值的加权平均值。其中，计算节点V7上报梯度时，还可以上报该梯度所对应的权重，因此目标交换设备SW1可以根据该计算节点V7上报的权重，计算计算节点V7上报的梯度与中间交换设备SW2上报的加权平均值的加权平均值。

步骤114、目标交换设备向每个计算节点发送合并处理后的数据。

最后，目标交换设备即可根据路由信息，将合并处理后的数据分别发送至每个计算节点，以便该各个计算节点根据合并处理后的数据继续执行该指定计算任务。并且，该目标交换设备向第一计算节点发送合并处理后的数据时的数据转发路径，与该第一计算节点上报数据时的数据转发路径可以相同，也可以不同，本发明实施例对此不做限定。该第一计算节点可以为该多个计算节点中的任一节点。

可选的，在本发明实施例中，由于分布式计算任务一般包括多个迭代的计算过程，因此每个计算节点可以在下一个迭代开始前，向该目标交换设备发送获取请求，目标交换设备可以在接收到该获取请求后，将合并处理后的数据发送至各个计算节点。

示例的，参考图4中编号为7的虚线，目标交换设备SW1可以将计算得到的加权平均值分别发送至计算节点V1、计算节点V2和计算节点V7。例如，该目标交换设备SW1可以通过中间交换设备SW2将加权平均值分别转发至计算节点V1和计算节点V2，并可以通过交换设备SW5将加权平均值转发至计算节点V7。该计算节点V1、计算节点V2和计算节点V7用于根据该加权平均值继续进行图像识别应用的模型训练。

需要说明的是，本发明实施例提供的数据处理方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤104可以根据情况进行删除，则在上述步骤105中，控制器可以直接从用于连接该多个计算节点的交换设备中确定目标交换设备；相应的，在上述步骤后106中，控制器可以将该目标交换设备与各个计算节点之间的数据转发路径上，用于连接该目标交换设备和至少两个计算节点的交换设备确定为目标交换设备。或者，上述步骤106和步骤111也可以根据情况进行删除，即控制器可以仅确定一个目标交换设备，由该目标交换设备对各个计算节点上报的数据进行合并处理。又或者，上述步骤1051和步骤1052也可以根据情况进行删除，即控制器在确定各个计算节点之间的拓扑结构之后，可以直接根据路由跳数之和确定目标交换设备。又或者，上述步骤1053和步骤1054也可以根据情况进行删除，即控制器可以直接基于各交换设备的性能参数(或路由跳数的均衡程度)确定目标交换设备。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。

综上所述，本发明实施例提供了一种数据处理方法，指定节点向控制器发送的针对指定计算任务的处理请求中包括用于执行该指定计算任务的多个计算节点的标识，控制器接收到该处理请求后，可以从用于连接该多个计算节点的交换设备中确定目标交换设备，并分别向该目标交换设备以及该指定节点发送用于指示该多个计算节点与该目标交换设备之间的数据转发路径的路由信息，以使得每个计算节点可以根据该路由信息向该目标交换设备上报数据，目标交换设备可以根据该路由信息对该多个计算节点上报的数据进行合并处理后再发送至每个计算节点。由于目标交换设备可以对多个计算节点上报的数据进行合并处理，因此各计算节点无需再通过交换设备向参数服务器发送数据，参数服务器也无需再通过交换设备将合并处理后的结果反馈至各计算节点，有效减小了数据中心网络中的数据传输量，降低了网络拥塞的概率以及数据传输的时延，提高了计算任务的执行算效率。

可选的，本发明实施例提供的方法还可以应用于HPC数据中心网络中，该HPC数据中心网络可以使用消息传输接口(MPI，Message Passing Interface)作为分布式信息交互的编程接口，并且可以采用可扩展分层聚合协议(Scalable Hierarchical Aggregation and Reduction Protocol，SHARP)技术将MPI的集合操作中的部分操作(例如Reduction操作和Aggregation操作)卸载(offload)到交换设备上，即由交换设备执行该部分操作。也即是，该数据中心网络即可以支持SHARP技术，也可以支持本申请所提供的数据处理方法，具体的，数据中心网络中的各个交换设备可以在管理服务器的控制下实现该SHARP技术，并可以在控制器的控制下实现本发明实施例提供的数据处理方法。由于SHARP技术受限于MPI集合操作，需要计算节点采用特定的MPI函数库，其应用灵活性较低；又由于MPI集合操作中并未设定根汇聚节点，导致管理服务器选择用于执行该部分操作的交换设备时的计算复杂度较高，因此仅采用该SHARP技术难以支持较大规模的数据中心网络。而该HPC数据中心网络在采用本发明实施例提供的数据处理方法后，由于交换设备可以实现参数服务器的功能，因此各个交换设备不再受限于MPI集合操作，有效提高了数据处理的灵活性；并且，由于控制器仅需选取用于实现参数服务器功能的目标交换设备和中间交换设备，因此其选取过程的计算复杂度较低，能够支持较大规模的数据中心网络。

图7是本发明实施例提供的一种数据处理装置的结构示意图，该装置可以应用于图1A所示的数据中心网络的控制器01中，参考图7，该装置可以包括：

接收模块201，用于接收指定节点发送的针对指定计算任务的处理请求，该处理请求包括用于执行该指定计算任务的多个计算节点的标识。接收模块201的具体实现可以参考上述图2所示实施例中的步骤102中的详细描述，此处不再予以赘述。

确定模块202，用于从用于连接该多个计算节点的交换设备中确定目标交换设备。确定模块202的具体实现可以参考上述图2所示实施例中的步骤104和步骤105中的详细描述，此处不再予以赘述。

发送模块203，用于分别向该目标交换设备以及该指定节点发送该指定计算任务对应的路由信息，该路由信息用于指示该多个计算节点与该目标交换设备之间的数据转发路径。发送模块203的具体实现可以参考上述图2所示实施例中的步骤107中的详细描述，此处不再予以赘述。

其中，该路由信息用于在目标交换设备对该多个计算节点上报的数据进行合并处理后根据该路由信息将合并处理后的数据发送至每个计算节点。即该目标交换设备可以根据该路由信息对该多个计算节点上报的数据进行合并处理后发送至每个计算节点。此外，该指定节点可以在接收到该路由信息后，将该路由信息发送至每个计算节点，每个计算节点用于根据该路由信息向该目标交换设备上报数据。

此外，该接收模块201和发送模块203的功能可以与图1D所示架构中，加速应用011和数据通道013的功能类似；确定模块202的功能可以与图1D所示架构中加速控制器012的功能类似。

可选的，该多个计算节点与该目标交换设备之间的数据转发路径上可以包括至少一个交换设备；

相应的，该确定模块202，还可以用于：从该至少一个交换设备中确定至少一个中间交换设备，每个中间交换设备与至少两个计算节点连接。具体实现可以参考上述图2所示实施例中的步骤106中的详细描述，此处不再予以赘述。

该发送模块203，还可以用于向每个中间交换设备发送该路由信息，每个中间交换设备用于根据该路由信息，将该中间交换设备连接的至少两个计算节点上报的数据进行合并处理后发送至该目标交换设备。具体实现可以参考上述图2所示实施例中的步骤107中的详细描述，此处不再予以赘述。

可选的，该路由信息可以包括：每个计算节点的标识、目标交换设备的标识，以及中间设备的标识；图8是本发明实施例提供的一种发送模块的结构示意图，参考图8，该发送模块203可以包括：

第一发送子模块2031，用于向该目标交换设备发送该目标交换设备的直连设备的标识，该目标交换设备的直连设备为计算节点或者中间交换设备。

第二发送子模块2032，用于向该指定节点发送每个计算节点的直连设备的标识，每个计算节点的直连设备为目标交换设备或者中间交换设备，该指定节点用于将每个计算节点的直连设备的标识发送至对应的计算节点。

第三发送子模块2033，用于向中间交换设备发送该中间交换设备的直连设备的标识，中间交换设备的直连设备为计算节点、该目标交换设备或者其他中间交换设备。

以上各发送子模块的具体实现可以参考上述图2所示实施例中的步骤107中的详细描述，此处不再予以赘述。

图9是本发明实施例提供的一种确定模块的结构示意图，参考图9，该确定模块202可以包括：

计算子模块2021，用于计算用于连接该多个计算节点的交换设备中，每个交换设备与各个计算节点之间的路由跳数之和。该计算子模块2021的具体实现可以参考上述图5所示实施例中的步骤1053中的详细描述，此处不再予以赘述。

第一确定子模块2022，用于将路由跳数之和最少的交换设备确定为目标交换设备。

该第一确定子模块2022的具体实现可以参考上述图5所示实施例中的步骤1054至步骤1056中的详细描述，此处不再予以赘述。

可选的，如图9所示，该确定模块202还可以包括：

检测子模块2023，用于实现上述图5所示实施例中步骤1051所示的方法。

第二确定子模块2024，用于实现上述图5所示实施例中步骤1052所示的方法。

相应的，计算子模块2021可以用于实现上述图5所示实施例中步骤1053所示的方法。

可选的，该确定模块202还可以用于实现上述图2所示实施例中步骤103至步骤105所示的方法。

可选的，该处理请求还可以包括：该指定计算任务对应的合并处理类型；

相应的，该发送模块203，还可以用于向该目标交换设备发送该指定计算任务对应的合并处理类型，该目标交换设备用于按照该合并处理类型对该多个计算节点上报的数据进行合并处理。其具体实现可以参考上述图2所示实施例中的步骤107中的详细描述，此处不再予以赘述。

综上所述，本发明实施例提供了一种数据处理装置，该装置接收到的针对指定计算任务的处理请求中包括用于执行该指定计算任务的多个计算节点的标识，该装置可以从用于连接该多个计算节点的交换设备中确定目标交换设备，并分别向该目标交换设备以及该指定节点发送用于指示该多个计算节点与该目标交换设备之间的数据转发路径的路由信息，以使得每个计算节点可以根据该路由信息向该目标交换设备上报数据，目标交换设备可以根据该路由信息对该多个计算节点上报的数据进行合并处理后再发送至每个计算节点。由于目标交换设备可以对多个计算节点上报的数据进行合并处理，因此各计算节点无需再通过交换设备向参数服务器发送数据，参数服务器也无需再通过交换设备将合并处理后的结果反馈至各计算节点，有效减小了数据中心网络中的数据传输量，降低了网络拥塞的概率以及数据传输的时延，提高了计算任务的执行算效率。

图10是本发明实施例提供的另一种数据处理装置的结构示意图，该装置可以应用于图1A所示的数据中心网络的交换设备03中，参考图10，该装置可以包括：

接收模块301，用于接收控制器发送的指定计算任务对应的路由信息，该路由信息用于指示多个计算节点与目标交换设备之间的数据转发路径，该多个计算节点用于执行该指定计算任务。接收模块301的具体实现可以参考上述图2所示实施例中的步骤107中的详细描述，此处不再予以赘述。

处理模块302，用于对该多个计算节点上报的数据进行合并处理。处理模块302的具体实现可以参考上述图2所示实施例中的步骤111或者步骤113中的详细描述，此处不再予以赘述。

发送模块303，用于根据该路由信息，发送合并处理后的数据。发送模块303的具体实现可以参考上述图2所示实施例中的步骤112或者步骤114中的详细描述，此处不再予以赘述。

其中，该路由信息为该控制器接收到指定节点发送的针对该指定计算任务的处理请求后，从用于连接该多个计算节点的交换设备中确定目标交换设备后发送的。

此外，该接收模块301和发送模块303的功能可以与图1B所示架构中交换功能组件021的功能类似；该处理模块302的功能可以与图1B所示架构中网络计算组件022的功能类似。

可选的，该接收模块301，还用于在对该多个计算节点上报的数据进行合并处理之前，接收该控制器发送的该指定计算任务对应的合并处理类型。其具体实现可以参考上述图2所示实施例中步骤107中的详细描述，此处不再予以赘述。

相应的，该处理模块302，可以用于：按照该合并处理类型，对该多个计算节点上报的数据进行合并处理。其具体实现可以参考上述图2所示实施例中步骤111或者步骤113中的详细描述，此处不再予以赘述。

可选的，当该交换设备可以为目标交换设备时，该发送模块303可以用于实现上述图2所示实施例中步骤114所示的方法。

可选的，当该交换设备为用于连接该目标交换设备和至少两个该计算节点的中间交换设备时，该处理模块302，可以用于实现上述图2所示实施例中步骤111所示的方法。

该发送模块303，可以用于实现上述图2所示实施例中步骤112所示的方法。

此外，在本发明实施例中，该数据处理装置还可以包括拓扑感知模块，该拓扑感知模块用于在数据中心网络的拓扑稳定后，获取交换设备所连接的其他设备的标识并上报至控制器。该拓扑感知模块的作用可以与图1B所示架构中网络管理组件023的功能类似。

综上所述，本发明实施例提供了一种数据处理装置，该装置可以根据控制器发送的指定计算任务所对应的路由信息，对用于执行该指定计算任务的多个计算节点上报的数据进行合并处理后再发送至每个计算节点。因此各计算节点无需再通过交换设备向参数服务器发送数据，参数服务器也无需再通过交换设备将合并处理后的结果反馈至各计算节点，有效减小了数据中心网络中的数据传输量，降低了网络拥塞的概率以及数据传输的时延，提高了计算任务的执行算效率。

关于上述实施例中的装置，其中各个模块执行操作的实现方式已经在有关该方法的实施例中进行了详细描述，故此处不再阐述说明。

请参考图11，其示出了本申请实施例提供的一种数据处理装置600的结构示意图，该数据处理装置可以配置于图1A所示的控制器01中，参见图11，该数据处理装置600可以包括：处理器610、通信接口620和存储器630，通信接口620和存储器630分别与处理器610相连，示例地，如图11所示，通信接口620和存储器630通过总线640与处理器610相连。

其中，处理器610可以为中央处理器(CPU)，处理器610包括一个或者一个以上处理核心。处理器610通过运行计算机程序，从而执行各种功能应用以及数据处理。该处理器610的具体实现可以参考上述图2所示实施例中步骤103至步骤106中的详细描述，以及图5所示实施例中的详细描述，此处不再予以赘述。

其中，通信接口620可以为多个，该通信接口620用于数据处理装置600与外部设备进行通信，该外部设备例如显示器、第三方设备(例如，存储设备、移动终端和交换设备等)等。该通信接口620的具体实现可以参考上述图2所示实施例中步骤101、步骤102以及步骤107中的详细描述，此处不再予以赘述。

其中，存储器630可以包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、快闪存储器、光存储器。该存储器630负责信息存储，例如，该存储器630用于存储供处理器610运行的计算机程序。

可选地，该数据处理装置600还可以包括：输入/输出(I/O)接口(图11中未示出)。I/O接口与处理器610、通信接口620以及存储器630连接。I/O接口例如可以为通用串行总线(USB)。

本发明实施例还提供了一种交换设备，如图1C所示，该交换设备02可以包括交换芯片02a、CPU 02b以及存储器02c。其中存储器02c中可以存储有计算机程序，该CPU 02b可以通过执行该计算机程序，实现上述图2所示实施例中步骤111或者步骤113所示的方法，其具体实现过程此处不再予以赘述。该交换芯片02a可以用于实现上述图2所示实施例中步骤101、步骤112和步骤114所示的方法，其具体实现过程此处不再予以赘述。

本发明实施例还提供了一种数据处理系统，参考图1A，该系统可以包括：控制器01、多个计算节点02以及至少一个交换设备03。

该控制器01可以包括如图7或图11所示的数据处理装置，该数据处理装置可以包括图8所示的发送模块和图9所示的确定模块；或者，该控制器01可以为图1D所示的控制器。每个交换设备可以包括如图10所示的数据处理装置，或者，每个交换设备可以为如图1B或图1C所示的交换设备。

本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该计算机可读存储介质在计算机上运行时，使得计算机执行上述方法实施例提供的数据处理方法。

本发明实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例所提供的数据处理方法。

Claims

一种数据处理方法，其特征在于，应用于数据中心网络的控制器，所述方法包括：

接收指定节点发送的针对指定计算任务的处理请求，所述处理请求包括用于执行所述指定计算任务的多个计算节点的标识，所述多个计算节点包括所述指定节点；

从用于连接所述多个计算节点的交换设备中确定目标交换设备；

分别向所述目标交换设备以及所述指定节点发送所述指定计算任务对应的路由信息，所述路由信息用于指示所述多个计算节点与所述目标交换设备之间的数据转发路径；

其中，所述路由信息用于在所述目标交换设备对所述多个计算节点上报的数据进行合并处理后根据所述路由信息将所述合并处理后的数据发送至每个所述计算节点。
根据权利要求1所述的方法，其特征在于，所述多个计算节点与所述目标交换设备之间的数据转发路径上包括至少一个交换设备，所述方法还包括：

将所述数据转发路径上包括的至少一个交换设备中，与所述多个计算节点中的至少两个计算节点连接的交换设备确定为中间交换设备；

向所述中间交换设备发送所述路由信息，所述路由信息用于所述中间交换设备将与所述中间交换设备连接的至少两个计算节点上报的数据进行合并处理后根据所述路由信息将所述合并处理后的数据发送至所述目标交换设备。
根据权利要求2所述的方法，其特征在于，所述分别向所述目标交换设备以及所述指定节点发送所述指定计算任务对应的路由信息，包括：

向所述目标交换设备发送包括所述目标交换设备的直连设备的标识的路由信息，所述目标交换设备的直连设备为计算节点或者中间交换设备；

向所述指定节点发送包括每个所述计算节点的直连设备的标识的路由信息，每个所述计算节点的直连设备为目标交换设备或者中间交换设备，所述指定节点用于将每个所述计算节点的直连设备的标识发送至对应的计算节点；

所述向所述中间交换设备发送所述路由信息，包括：

向所述中间交换设备发送包括所述中间交换设备的直连设备的标识的路由信息，所述中间交换设备的直连设备为计算节点、所述目标交换设备或其他中间交换设备。
根据权利要求1至3任一所述的方法，其特征在于，所述从用于连接所述多个计算节点的交换设备中确定目标交换设备，包括：

分别计算用于连接所述多个计算节点的交换设备中，每个交换设备与各个所述计算节点之间的路由跳数之和；

将路由跳数之和最少的交换设备确定为目标交换设备。
根据权利要求4所述的方法，其特征在于，所述将路由跳数之和最少的交换设备确定为目标交换设备，包括：

当路由跳数之和最少的交换设备包括多个时，分别确定每个所述路由跳数之和最少的交换设备的性能参数，所述性能参数包括可用带宽、计算负载、吞吐量以及被选为目标交换设备的次数中的至少一种；

将多个所述路由跳数之和最少的交换设备中，性能参数满足预设条件的交换设备确定为目标交换设备。
根据权利要求4所述的方法，其特征在于，所述将路由跳数之和最少的交换设备确定为目标交换设备，包括：

当路由跳数之和最少的交换设备包括多个时，分别确定每个所述路由跳数之和最少的交换设备与各个所述计算节点之间的路由跳数的均衡程度；

将多个所述路由跳数之和最少的交换设备中，路由跳数的均衡程度最高的交换设备确定为目标交换设备。
根据权利要求4所述的方法，其特征在于，在计算每个交换设备与各个所述计算节点之间的路由跳数之和之前，所述方法还包括：

检测所述多个计算节点是否均直接连接至同一个交换设备；

当所述多个计算节点均直接连接至同一个交换设备时，将所述多个计算节点直接连接的交换设备确定为所述目标交换设备；

所述计算用于连接所述多个计算节点的交换设备中，每个交换设备与各个所述计算节点之间的路由跳数之和，包括：

当所述多个计算节点直接连接至不同的交换设备时，计算用于连接所述多个计算节点的交换设备中，每个交换设备与各个所述计算节点之间的路由跳数之和。
根据权利要求1至3任一所述的方法，其特征在于，所述从用于连接所述多个计算节点的交换设备中确定目标交换设备，包括：

从用于连接所述多个计算节点的交换设备中确定至少一个备选交换设备，每个所述备选交换设备通过下行路径与所述多个计算节点中的至少两个计算节点连接；

从所述至少一个备选交换设备中确定所述目标交换设备。
根据权利要求1至3任一所述的方法，其特征在于，所述处理请求还包括：所述指定计算任务对应的合并处理类型；所述方法还包括：

向所述目标交换设备发送所述指定计算任务对应的合并处理类型，所述目标交换设备用于按照所述合并处理类型对所述多个计算节点上报的数据进行合并处理。
一种数据处理方法，其特征在于，应用于数据中心网络的交换设备，所述方法包括：

接收控制器发送的指定计算任务对应的路由信息，所述路由信息用于指示多个计算节点与目标交换设备之间的数据转发路径，所述多个计算节点用于执行所述指定计算任务；

对所述多个计算节点上报的数据进行合并处理；

根据所述路由信息，发送合并处理后的数据；

其中，所述路由信息为所述控制器接收到指定节点发送的针对所述指定计算任务的处理请求后，从用于连接所述多个计算节点的交换设备中确定目标交换设备后发送的。
根据权利要求10所述的方法，其特征在于，在对所述多个计算节点上报的数据进行合并处理之前，所述方法还包括：

接收所述控制器发送的所述指定计算任务对应的合并处理类型；

所述对所述多个计算节点上报的数据进行合并处理，包括：

按照所述合并处理类型，对所述多个计算节点上报的数据进行合并处理。
根据权利要求10或11所述的方法，其特征在于，所述交换设备为所述目标交换设备；所述根据所述路由信息，发送合并处理后的数据，包括：

根据所述路由信息，向每个所述计算节点发送合并处理后的数据。
根据权利要求10或11所述的方法，其特征在于，所述交换设备为用于连接所述目标交换设备和至少两个所述计算节点的中间交换设备；

所述对所述多个计算节点上报的数据进行合并处理，包括：

对至少两个所述计算节点上报的数据进行合并处理；

所述根据所述路由信息，发送合并处理后的数据，包括：

根据所述路由信息，向所述目标交换设备发送合并处理后的数据。
一种数据处理装置，其特征在于，应用于数据中心网络的控制器，所述装置包括：

接收模块，用于接收指定节点发送的针对指定计算任务的处理请求，所述处理请求包括用于执行所述指定计算任务的多个计算节点的标识，所述多个计算节点包括所述指定节点；

确定模块，用于从用于连接所述多个计算节点的交换设备中确定目标交换设备；

发送模块，用于分别向所述目标交换设备以及所述指定节点发送所述指定计算任务对应的路由信息，所述路由信息用于指示所述多个计算节点与所述目标交换设备之间的数据转发路径；

其中，所述路由信息用于在所述目标交换设备对所述多个计算节点上报的数据进行合并处理后根据所述路由信息将所述合并处理后的数据发送至每个所述计算节点。
根据权利要求14所述的装置，其特征在于，所述多个计算节点与所述目标交换设备之间的数据转发路径上包括至少一个交换设备；

所述确定模块，还用于将所述数据转发路径上包括的至少一个交换设备中，与所述多个计算节点中的至少两个计算节点连接的交换设备确定为中间交换设备；

所述发送模块，还用于向所述中间交换设备发送所述路由信息，所述路由信息用于将与所述中间交换设备连接的至少两个计算节点上报的数据进行合并处理后根据所述路由信息将所述合并处理后的数据发送至所述目标交换设备。
根据权利要求15所述的装置，其特征在于，所述发送模块，包括：

第一发送子模块，用于向所述目标交换设备发送包括所述目标交换设备的直连设备的标识的路由信息，所述目标交换设备的直连设备为计算节点或者中间交换设备；

第二发送子模块，用于向所述指定节点发送包括每个所述计算节点的直连设备的标识的路由信息，每个所述计算节点的直连设备为目标交换设备或者中间交换设备，所述指定节点用于将每个所述计算节点的直连设备的标识发送至对应的计算节点；

第三发送子模块，用于向所述中间交换设备发送包括所述中间交换设备的直连设备的标识的路由信息，所述中间交换设备的直连设备为计算节点、所述目标交换设备或其他中间交换设备。
根据权利要求14至16任一所述的装置，其特征在于，所述确定模块，包括：

计算子模块，用于计算用于连接所述多个计算节点的交换设备中，每个交换设备与各个所述计算节点之间的路由跳数之和；

第一确定子模块，用于将路由跳数之和最少的交换设备确定为目标交换设备。
根据权利要求17所述的装置，其特征在于，所述第一确定子模块，用于：

当路由跳数之和最少的交换设备包括多个时，分别确定每个所述路由跳数之和最少的交换设备的性能参数，所述性能参数包括可用带宽、计算负载、吞吐量以及被选为目标交换设备的次数中的至少一种；

将多个所述路由跳数之和最少的交换设备中，性能参数满足预设条件的交换设备确定为目标交换设备。
根据权利要求17所述的装置，其特征在于，所述第一确定子模块，用于：

当路由跳数之和最少的交换设备包括多个时，分别确定每个所述路由跳数之和最少的交换设备与各个计算节点所述之间的路由跳数的均衡程度；

将多个所述路由跳数之和最少的交换设备中，路由跳数的均衡程度最高的交换设备确定为目标交换设备。
根据权利要求17所述的装置，其特征在于，所述确定模块，还包括：

检测子模块，用于检测所述多个计算节点是否均直接连接至同一个交换设备；

第二确定子模块，用于当所述多个计算节点均直接连接至同一个交换设备时，将所述多个计算节点直接连接的交换设备确定为所述目标交换设备；

所述计算子模块，用于：当所述多个计算节点直接连接至不同的交换设备时，计算用于连接所述多个计算节点的交换设备中，每个交换设备与各个所述计算节点之间的路由跳数之和。
根据权利要求14至16任一所述的装置，其特征在于，所述确定模块，用于：

从用于连接所述多个计算节点的交换设备中确定至少一个备选交换设备，每个所述备选交换设备通过下行路径与至少两个计算节点连接；

从所述至少一个备选交换设备中确定所述目标交换设备。
根据权利要求14至16任一所述的装置，其特征在于，所述处理请求还包括：所述指定计算任务对应的合并处理类型；

所述发送模块，还用于向所述目标交换设备发送所述指定计算任务对应的合并处理类型，所述目标交换设备用于按照所述合并处理类型对所述多个计算节点上报的数据进行合并处理。
一种数据处理装置，其特征在于，应用于数据中心网络的交换设备，所述装置包括：

接收模块，用于接收控制器发送的指定计算任务对应的路由信息，所述路由信息用于指示多个计算节点与目标交换设备之间的数据转发路径，所述多个计算节点用于执行所述指定计算任务；

处理模块，用于对所述多个计算节点上报的数据进行合并处理；

发送模块，用于根据所述路由信息，发送合并处理后的数据；

其中，所述路由信息为所述控制器接收到指定节点发送的针对所述指定计算任务的处理请求后，从用于连接所述多个计算节点的交换设备中确定目标交换设备后发送的。
根据权利要求23所述的装置，其特征在于，

所述接收模块，还用于在对所述多个计算节点上报的数据进行合并处理之前，接收所述控制器发送的所述指定计算任务对应的合并处理类型；

所述处理模块，用于：

按照所述合并处理类型，对所述多个计算节点上报的数据进行合并处理。
根据权利要求23或24所述的装置，其特征在于，所述交换设备为所述目标交换设备；所述发送模块，用于：

根据所述路由信息，向每个所述计算节点发送合并处理后的数据。
根据权利要求23或24所述的装置，其特征在于，所述交换设备为用于连接所述目标交换设备和至少两个所述计算节点的中间交换设备；

所述处理模块，用于：对至少两个所述计算节点上报的数据进行合并处理；

所述发送模块，用于：根据所述路由信息，向所述目标交换设备发送合并处理后的数据。
一种数据处理系统，其特征在于，所述系统包括：控制器、多个计算节点以及至少一个交换设备；

所述控制器包括如权利要求14至22任一所述的数据处理装置；

每个所述交换设备包括如权利要求23至26任一所述的数据处理装置。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行权利要求1至13任一所述的数据处理方法。