WO2017181890A1 - 基于服务器集群的数据处理系统及方法 - Google Patents

基于服务器集群的数据处理系统及方法 Download PDF

Info

Publication number
WO2017181890A1
WO2017181890A1 PCT/CN2017/080200 CN2017080200W WO2017181890A1 WO 2017181890 A1 WO2017181890 A1 WO 2017181890A1 CN 2017080200 W CN2017080200 W CN 2017080200W WO 2017181890 A1 WO2017181890 A1 WO 2017181890A1
Authority
WO
WIPO (PCT)
Prior art keywords
data processing
server
response
address translation
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/080200
Other languages
English (en)
French (fr)
Inventor
杨森
陈林
徐立伟
张飞
许斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Publication of WO2017181890A1 publication Critical patent/WO2017181890A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Definitions

  • the present invention relates to data processing systems and methods, and more particularly to server cluster based data processing systems and methods.
  • load balancing of multiple data processing servers in the server cluster of the back end is usually implemented in the front end by using an application layer-based load dispatcher, that is, the load dispatcher will wait
  • the processed data processing requests are distributed to different data processing servers to maintain load balancing between the data processing servers.
  • the present invention proposes a server cluster-based data processing system and method with high data processing performance (ie, data processing speed and efficiency) and good load balancing capability.
  • a server cluster-based data processing system includes:
  • An address translation server configured to receive a data processing request from at least one client and forward it to a dispatch server, and receive a data processing response from any of the at least two data processing servers, and Send it back to the corresponding client;
  • a scheduling server configured to receive a data processing request forwarded by the address translation server and then distribute it to one of the at least two data processing servers according to a predetermined scheduling algorithm to ensure load balancing ;
  • At least two data processing servers each of the at least two data processing servers configured to process the received data processing request and construct a data processing response based on the processing result, and subsequently the data processing response Transfer to the address translation server.
  • the system further includes a task status storage device configured to store a data processing task status table that records data processing indicated by each data processing request Task and its processing status.
  • each of the at least two data processing servers writes a data processing task indicated by the data processing task to one of the data processing task status tables after receiving the data processing request In the new record, set the processing status of the data processing task to "Pending.”
  • each of the at least two data processing servers accesses the data processing task status table when having idle resources to acquire one or more processing states as "waiting" according to a predetermined rule Processes the data processing task, and then processes the data processing task, sets its processing state to "Processing", and sets its processing state to "Processed” after processing is complete.
  • the task status storage device periodically polls the records in the data processing task status table and sets the task status to "in process” and duration in the state The status of the data processing task that exceeds the predetermined threshold is reset to "Pending.”
  • the address translation server generates a globally unique identifier according to a predetermined rule after receiving the data processing request, and associates the identifier with the data processing request, and then includes A data processing request for the associated identifier is forwarded to the dispatch server and a mapping relationship between the identifier and the source address of the data processing request is saved.
  • the address translation server processes the identifier included in the response according to the data and saves The mapping relationship between the identifier and the source address of the data processing request determines the destination address of the data processing response, and then transmits it back to the client pointed to by the destination address end.
  • a data processing method based on server clusters includes the following steps:
  • the address translation server receives the data processing request from the at least one client and forwards it to the dispatch server;
  • the scheduling server distributes the data processing request forwarded by the address translation server to one of the at least two data processing servers according to a predetermined scheduling algorithm to ensure load balancing;
  • each of the at least two data processing servers processing the received data processing request, and constructing a data processing response based on the processing result, and subsequently transmitting the data processing response to the address translation server ;
  • the address translation server transmits the data processing response back to the corresponding client after receiving the data processing response.
  • the server cluster-based data processing system and method disclosed by the present invention has the following advantages: high data processing performance (ie, high data processing speed and efficiency) and good load balancing capability.
  • FIG. 1 is a schematic structural diagram of a server cluster-based data processing system according to an embodiment of the present invention
  • FIG. 2 is a flow chart of a server cluster based data processing method in accordance with an embodiment of the present invention.
  • the server cluster-based data processing system disclosed by the present invention includes an address translation server 1, a scheduling server 2, and at least two data processing servers 3.
  • the address translation server 1 is configured to receive a data processing request from at least one client and forward it to The server 2 is scheduled, and a data processing response from any of the at least two data processing servers 3 is received and subsequently transmitted back to the corresponding client.
  • the scheduling server 2 is configured to receive a data processing request forwarded by the address translation server 1 and then distribute it to one of the at least two data processing servers 3 according to a predetermined scheduling algorithm to ensure load balancing .
  • Each of the at least two data processing servers 3 is configured to process the received data processing request and construct a data processing response based on the processing result, and subsequently transmit the data processing response to the address translation Server 1.
  • the server cluster-based data processing system disclosed herein further includes a task state storage device 4 configured to store a data processing task status table that records each data processing request indication Data processing tasks and their processing status.
  • each of the at least two data processing servers 3 writes the data processing task indicated by the at least two data processing servers after the data processing request is received.
  • the data is processed in a new record in the task status table, and the processing status of the data processing task is set to "pending".
  • each of the at least two data processing servers 3 accesses the data processing task status table when having idle resources to acquire one according to a predetermined rule. Or multiple data processing tasks whose processing status is "Pending”, and then process the data processing task, set its processing status to "Processing”, and set its processing status to "Processed” after processing is completed. ".
  • the task state storage device 4 periodically polls the records in the data processing task status table and sets the task status to "in process”. And the state of the data processing task in which the duration exceeds the predetermined threshold in this state is reset to "pending". From the above, when a certain or some data processing server fails, it can ensure that the processing of the data processing task is not terminated unexpectedly.
  • the address translation server 1 generates a globally unique identifier according to a predetermined rule after receiving the data processing request, and associates the identifier with the data processing. Requesting, then forwarding a data processing request containing the associated identifier to the dispatch server 2 and saving the identifier with the source address of the data processing request (eg, the IP address of the client sending the data processing request) Mapping relations.
  • the source address of the data processing request eg, the IP address of the client sending the data processing request
  • the address translation server 1 processes the data according to the data.
  • the identifier included in the response and the mapping relationship between the saved identifier and the source address of the data processing request determine the destination address of the data processing response (ie, the source address of the data processing request corresponding to the response), and then Send back to the client pointed to by the destination address.
  • the server cluster-based data processing system disclosed by the present invention has the following advantages: high data processing performance (ie, high data processing speed and efficiency) and good load balancing capability.
  • the server cluster-based data processing method disclosed by the present invention includes the following steps: (A1) an address translation server receives a data processing request from at least one client and forwards it to a scheduling server; (A2) After receiving the data processing request forwarded by the address translation server, the scheduling server distributes it to one of the at least two data processing servers according to a predetermined scheduling algorithm to ensure load balancing; (A3) the at least two data processing Each of the servers processes the received data processing request and constructs a data processing response based on the processing result, and subsequently transmits the data processing response to the address translation server; (A4) the address translation server is After receiving the data processing response, it is transmitted back to the corresponding client.
  • the step (A3) further includes: each of the at least two data processing servers instructing the data processing request after receiving the data processing request The data processing task is written into a new record in the data processing task status table, and the processing status of the data processing task is set to "pending", wherein the data processing task status table records each data processing request The indicated data processing tasks and their processing status.
  • the step (A3) further comprises: each of the at least two data processing servers accessing the data processing task when having idle resources a status table to obtain one or more data processing tasks whose processing status is "pending" according to a predetermined rule, and then process the data processing task, and set its processing status to "in process", and after the processing is completed Its processing status is set to "Processed”.
  • the steps (A3) further comprising: a state of the data processing task in which the record in the data processing task status table is periodically polled and the task status is "in process” and the time duration in the state exceeds a predetermined threshold Reset to "Pending.”
  • the step (A1) further includes: the address translation server generates a globally unique identifier according to a predetermined rule after receiving the data processing request, and Associating the identifier with the data processing request, and subsequently forwarding a data processing request including the associated identifier to the dispatch server, and saving the identifier with a source address of the data processing request (eg, transmitting the data)
  • the mapping relationship of the IP address of the client that handles the request is not limited to the address of the client.
  • the step (A4) further comprises: after receiving a data processing response from any one of the at least two data processing servers, Determining, by the address translation server, the destination address of the data processing response according to the identifier included in the data processing response and the mapping relationship between the saved identifier and the source address of the data processing request (ie, the source of the data processing request corresponding to the response) Address) and then transfer it back to the client pointed to by the destination address.
  • the server cluster-based data processing method disclosed by the present invention has the following advantages: high data processing performance (ie, high data processing speed and efficiency) and good load balancing capability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出了基于服务器集群的数据处理方法及系统。所述方法包括：地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；调度服务器在接收到地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；至少两个数据处理服务器中的每个处理接收到的数据处理请求，并基于处理结果构建数据处理应答，以及随之将数据处理应答传送至地址转换服务器；地址转换服务器在接收到数据处理应答后将其传送回对应的客户端.本发明所公开的数据处理方法及系统具有高的数据处理性能以及良好的负载均衡能力。

Description

基于服务器集群的数据处理系统及方法 技术领域
本发明涉及数据处理系统及方法，更具体地，涉及基于服务器集群的数据处理系统及方法。
背景技术
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，针对来自用户的海量业务处理请求的数据处理系统变得越来越重要。
在现有的基于服务器集群的数据处理系统中，通常在前端采用基于应用层的负载调度机的方式实现针对后端的服务器集群中的多个数据处理服务器的负载均衡，即由负载调度机将待处理的数据处理请求分发给不同的数据处理服务器，以保持所述数据处理服务器之间的负载均衡。
然而，上述现有的技术方案存在如下问题：由于通常请求报文较短而应答报文包含大量的数据，故由于请求报文和应答报文均需要负载调度机进行调度，当待处理的数据处理请求较多时，负载调度机将成为整个系统的性能瓶颈。
因此，存在如下需求：提供具有高的数据处理性能(即数据处理速度和效率)以及良好的负载均衡能力的基于服务器集群的数据处理系统及方法。
发明内容
为了解决上述现有技术方案所存在的问题，本发明提出了具有高的数据处理性能(即数据处理速度和效率)以及良好的负载均衡能力的基于服务器集群的数据处理系统及方法。
本发明的目的是通过以下技术方案实现的：
一种基于服务器集群的数据处理系统，所述基于服务器集群的数据处理系统包括：
地址转换服务器，所述地址转换服务器被配置为接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器，以及接收来自至少两个数据处理服务器中的任一个的数据处理应答，并随之将其传送回对应的客户端；
调度服务器，所述调度服务器被配置为接收经所述地址转换服务器转发的数据处理请求，并随之根据预定的调度算法将其分发至所述至少两个数据处理服务器中的一个以确保负载均衡；
至少两个数据处理服务器，所述至少两个数据处理服务器中的每个被配置为处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器。
在上面所公开的方案中，优选地，所述系统进一步包括任务状态存储装置，其被配置为存储数据处理任务状态表，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
在上面所公开的方案中，优选地，所述至少两个数据处理服务器中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入所述数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”。
在上面所公开的方案中，优选地，所述至少两个数据处理服务器中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
在上面所公开的方案中，优选地，所述任务状态存储装置周期性地轮询所述数据处理任务状态表中的记录，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。
在上面所公开的方案中，优选地，所述地址转换服务器在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器，并保存该标识符与该数据处理请求的来源地址的映射关系。
在上面所公开的方案中，优选地，在接收来自所述至少两个数据处理服务器中的任一个的数据处理应答后，所述地址转换服务器根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址，并随之将其传送回该目的地址所指向的客户 端。
本发明的目的也可以通过以下技术方案实现：
一种基于服务器集群的数据处理方法。所述方法包括下列步骤：
(A1)地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；
(A2)所述调度服务器在接收到所述地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；
(A3)所述至少两个数据处理服务器中的每个处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器；
(A4)所述地址转换服务器在接收到所述数据处理应答后将其传送回对应的客户端。
本发明所公开的基于服务器集群的数据处理系统及方法具有下列优点：具有高的数据处理性能(即较高的数据处理速度和效率)以及良好的负载均衡能力。
附图说明
结合附图，本发明的技术特征以及优点将会被本领域技术人员更好地理解，其中：
图1是根据本发明的实施例的基于服务器集群的数据处理系统的示意性结构图；
图2是根据本发明的实施例的基于服务器集群的数据处理方法的流程图。
具体实施方式
图1是根据本发明的实施例的基于服务器集群的数据处理系统的示意性结构图。如图1所示，本发明所公开的基于服务器集群的数据处理系统包括地址转换服务器1、调度服务器2、至少两个数据处理服务器3。其中，所述地址转换服务器1被配置为接收来自至少一个客户端的数据处理请求，并将其转发至 调度服务器2，以及接收来自所述至少两个数据处理服务器3中的任一个的数据处理应答，并随之将其传送回对应的客户端。所述调度服务器2被配置为接收经所述地址转换服务器1转发的数据处理请求，并随之根据预定的调度算法将其分发至所述至少两个数据处理服务器3中的一个以确保负载均衡。所述至少两个数据处理服务器3中的每个被配置为处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器1。
优选地，本发明所公开的基于服务器集群的数据处理系统进一步包括任务状态存储装置4，其被配置为存储数据处理任务状态表，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述至少两个数据处理服务器3中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入所述数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”。
优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述至少两个数据处理服务器3中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述任务状态存储装置4周期性地轮询所述数据处理任务状态表中的记录，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。由上，在某个或某些数据处理服务器发生故障时能够保证数据处理任务的处理不被意外终止。
优选地，在本发明所公开的基于服务器集群的数据处理系统中，地址转换服务器1在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器2，并保存该标识符与该数据处理请求的来源地址(例如，发送该数据处理请求的客户端的IP地址)的映射关系。
优选地，在本发明所公开的基于服务器集群的数据处理系统中，在接收来自所述至少两个数据处理服务器3中的任一个的数据处理应答后，所述地址转换服务器1根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址(即该应答对应的数据处理请求的来源地址)，并随之将其传送回该目的地址所指向的客户端。
由上可见，本发明所公开的基于服务器集群的数据处理系统具有下列优点：具有高的数据处理性能(即较高的数据处理速度和效率)以及良好的负载均衡能力。
图2是根据本发明的实施例的基于服务器集群的数据处理方法的流程图。如图2所示，本发明所公开的基于服务器集群的数据处理方法包括下列步骤：(A1)地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；(A2)所述调度服务器在接收到所述地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；(A3)所述至少两个数据处理服务器中的每个处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器；(A4)所述地址转换服务器在接收到所述数据处理应答后将其传送回对应的客户端。
优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A3)进一步包括：所述至少两个数据处理服务器中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”，其中，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A3)进一步包括：所述至少两个数据处理服务器中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
优选地，在本发明所公开的基于服务器集群的数据处理系统中，所述步骤 (A3)进一步包括：所述数据处理任务状态表中的记录被周期性的轮询，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任务的状态重新设置为“待处理”。由上，在某个或某些数据处理服务器发生故障时能够保证数据处理任务的处理不被意外终止。
优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A1)进一步包括：所述地址转换服务器在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器，并保存该标识符与该数据处理请求的来源地址(例如，发送该数据处理请求的客户端的IP地址)的映射关系。
优选地，在本发明所公开的基于服务器集群的数据处理方法中，所述步骤(A4)进一步包括：在接收到来自所述至少两个数据处理服务器中的任一个的数据处理应答后，所述地址转换服务器根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址(即该应答对应的数据处理请求的来源地址)，并随之将其传送回该目的地址所指向的客户端。
由上可见，本发明所公开的基于服务器集群的数据处理方法具有下列优点：具有高的数据处理性能(即较高的数据处理速度和效率)以及良好的负载均衡能力。
尽管本发明是通过上述的优选实施方式进行描述的，但是其实现形式并不局限于上述的实施方式。应该认识到：在不脱离本发明主旨和范围的情况下，本领域技术人员可以对本发明做出不同的变化和修改。

Claims (8)

  1. 一种基于服务器集群的数据处理系统，所述基于服务器集群的数据处理系统包括：
    地址转换服务器，所述地址转换服务器被配置为接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器，以及接收来自至少两个数据处理服务器中的任一个的数据处理应答，并随之将其传送回对应的客户端；
    调度服务器，所述调度服务器被配置为接收经所述地址转换服务器转发的数据处理请求，并随之根据预定的调度算法将其分发至所述至少两个数据处理服务器中的一个以确保负载均衡；
    至少两个数据处理服务器，所述至少两个数据处理服务器中的每个被配置为处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器。
  2. 根据权利要求1所述的基于服务器集群的数据处理系统，其特征在于，所述系统进一步包括任务状态存储装置，其被配置为存储数据处理任务状态表，所述数据处理任务状态表记录每个数据处理请求所指示的数据处理任务及其处理状态。
  3. 根据权利要求2所述的基于服务器集群的数据处理系统，其特征在于，所述至少两个数据处理服务器中的每一个在接收到数据处理请求后将其所指示的数据处理任务写入所述数据处理任务状态表中的一条新的记录中，并将该数据处理任务的处理状态设置为“待处理”。
  4. 根据权利要求3所述的基于服务器集群的数据处理系统，其特征在于，所述至少两个数据处理服务器中的每一个在具有空闲资源时访问所述数据处理任务状态表以便按预定规则获取一个或多个处理状态为“待处理”的数据处理任务，并随之处理该数据处理任务，并将其处理状态设置为“处理中”，以及在处理完成后将其处理状态设置为“已处理”。
  5. 根据权利要求4所述的基于服务器集群的数据处理系统，其特征在于，所述任务状态存储装置周期性地轮询所述数据处理任务状态表中的记录，并将任务状态为“处理中”且在该状态下持续的时间超过预定的阈值的数据处理任 务的状态重新设置为“待处理”。
  6. 根据权利要求5所述的基于服务器集群的数据处理系统，其特征在于，所述地址转换服务器在接收到数据处理请求后按预定规则生成全局唯一的标识符，并将所述标识符关联于该数据处理请求，随之将包含关联的标识符的数据处理请求转发至所述调度服务器，并保存该标识符与该数据处理请求的来源地址的映射关系。
  7. 根据权利要求6所述的基于服务器集群的数据处理系统，其特征在于，在接收来自所述至少两个数据处理服务器中的任一个的数据处理应答后，所述地址转换服务器根据该数据处理应答中包含的标识符以及所保存标识符与数据处理请求的来源地址之间的映射关系确定该数据处理应答的目的地址，并随之将其传送回该目的地址所指向的客户端。
  8. 一种基于服务器集群的数据处理方法。所述方法包括下列步骤：
    (A1)地址转换服务器接收来自至少一个客户端的数据处理请求，并将其转发至调度服务器；
    (A2)所述调度服务器在接收到所述地址转换服务器转发的数据处理请求后根据预定的调度算法将其分发至至少两个数据处理服务器中的一个以确保负载均衡；
    (A3)所述至少两个数据处理服务器中的每个处理接收到的所述数据处理请求，并基于处理结果构建数据处理应答，以及随之将所述数据处理应答传送至所述地址转换服务器；
    (A4)所述地址转换服务器在接收到所述数据处理应答后将其传送回对应的客户端。
PCT/CN2017/080200 2016-04-19 2017-04-12 基于服务器集群的数据处理系统及方法 Ceased WO2017181890A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610241628.X 2016-04-19
CN201610241628.XA CN105959346A (zh) 2016-04-19 2016-04-19 基于服务器集群的数据处理系统及方法

Publications (1)

Publication Number Publication Date
WO2017181890A1 true WO2017181890A1 (zh) 2017-10-26

Family

ID=56917945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/080200 Ceased WO2017181890A1 (zh) 2016-04-19 2017-04-12 基于服务器集群的数据处理系统及方法

Country Status (2)

Country Link
CN (1) CN105959346A (zh)
WO (1) WO2017181890A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114448960A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 一种调度系统、方法、装置、设备及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959346A (zh) * 2016-04-19 2016-09-21 中国银联股份有限公司 基于服务器集群的数据处理系统及方法
CN106790610B (zh) * 2016-12-29 2020-01-17 华为技术有限公司 一种云系统消息分发方法，装置和系统
CN107872539B (zh) * 2017-12-15 2021-01-15 安徽长泰信息安全服务有限公司 一种基于云计算平台的数据处理系统及方法
CN108282520A (zh) * 2017-12-29 2018-07-13 广东电网有限责任公司电力科学研究院 发电厂优化系统及其运行方法
CN108874548B (zh) * 2018-07-11 2021-04-02 深圳市东微智能科技股份有限公司 数据处理调度方法、装置、计算机设备和数据处理系统
CN111552748A (zh) * 2020-05-08 2020-08-18 深圳知路科技有限公司 数据处理方法、装置和系统
CN115442373A (zh) * 2022-09-29 2022-12-06 建信金融科技有限责任公司 数据处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101815033A (zh) * 2010-03-12 2010-08-25 成都市华为赛门铁克科技有限公司 负载均衡的方法、设备及系统
WO2010127017A1 (en) * 2009-04-28 2010-11-04 Cisco Technology, Inc. Methods and apparatus to get feedback information in virtual environment for server load balancing
CN102752188A (zh) * 2011-04-21 2012-10-24 北京邮电大学 一种传输控制协议连接迁移方法及系统
CN103220354A (zh) * 2013-04-18 2013-07-24 广东宜通世纪科技股份有限公司 一种实现服务器集群负载均衡的方法
CN105959346A (zh) * 2016-04-19 2016-09-21 中国银联股份有限公司 基于服务器集群的数据处理系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158512B (zh) * 2010-02-11 2016-03-30 联想(北京)有限公司 一种负载均衡调度方法、装置及系统
CN102761608B (zh) * 2012-06-28 2016-06-01 深圳市深信服电子科技有限公司 Udp会话复用的方法和负载均衡设备
CN103677752B (zh) * 2012-09-19 2017-02-08 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN104468174B (zh) * 2013-09-25 2017-10-13 北京新媒传信科技有限公司 一种集群服务器执行任务的方法和装置
CN105389209B (zh) * 2015-12-25 2019-04-26 中国建设银行股份有限公司 一种异步批量任务处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010127017A1 (en) * 2009-04-28 2010-11-04 Cisco Technology, Inc. Methods and apparatus to get feedback information in virtual environment for server load balancing
CN101815033A (zh) * 2010-03-12 2010-08-25 成都市华为赛门铁克科技有限公司 负载均衡的方法、设备及系统
CN102752188A (zh) * 2011-04-21 2012-10-24 北京邮电大学 一种传输控制协议连接迁移方法及系统
CN103220354A (zh) * 2013-04-18 2013-07-24 广东宜通世纪科技股份有限公司 一种实现服务器集群负载均衡的方法
CN105959346A (zh) * 2016-04-19 2016-09-21 中国银联股份有限公司 基于服务器集群的数据处理系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114448960A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 一种调度系统、方法、装置、设备及介质

Also Published As

Publication number Publication date
CN105959346A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
WO2017181890A1 (zh) 基于服务器集群的数据处理系统及方法
KR102498777B1 (ko) 실시간 메시지들을 전달하기 위한 메시징 플랫폼
CN104123265B (zh) 一种众核间通信方法及系统
US8655955B2 (en) Stream processing using a client-server architecture
CN102469064B (zh) 通信实现方法及通信设备
CN109756417B (zh) 离线消息分发方法、服务器及存储介质
CN105450618A (zh) 一种api服务器处理大数据的运算方法及其系统
US9160791B2 (en) Managing connection failover in a load balancer
CN107391271A (zh) 一种基于消息队列系统的延时任务触发方法和装置
CN106909451A (zh) 一种分布式任务调度系统及方法
CN102130959A (zh) 一种实现云存储资源调度的系统及方法
CN105373420B (zh) 数据传输方法及装置
JP2008033952A (ja) 共通作業キュー環境における最適格サーバ
US9104488B2 (en) Support server for redirecting task results to a wake-up server
US9448827B1 (en) Stub domain for request servicing
US10063663B2 (en) Subscribing to multiple resources through a common connection
CN108092915A (zh) 一种用户服务质量流量控制方法及装置
CN111478781A (zh) 一种消息广播的方法和装置
CN105681426A (zh) 异构系统
CN113472846A (zh) 消息处理方法、装置、设备和计算机可读存储介质
CN103338160B (zh) 基于缓存队列的轮询业务的优化系统及优化方法
CN106911739B (zh) 一种信息分发方法及装置
WO2025119344A1 (zh) 一种k8s网关服务watch资源优化方法及系统
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
CN108076111B (zh) 一种在大数据平台中分发数据的系统及方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785375

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17785375

Country of ref document: EP

Kind code of ref document: A1