WO2013013478A1

WO2013013478A1 - 网络流量控制方法、装置、系统及服务器

Info

Publication number: WO2013013478A1
Application number: PCT/CN2011/083693
Authority: WO
Inventors: 孙云刚; 孙才; 陈曦
Original assignee: 中国科学院计算机网络信息中心
Priority date: 2011-07-27
Filing date: 2011-12-08
Publication date: 2013-01-31
Also published as: CN102316025B; CN102316025A

Abstract

本发明提供一种网络流量控制方法、装置、系统及服务器。该方法包括：接收以太网数据包，生成与所述以太网数据包对应的随机数；根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置；所述水线值根据已输出给所述业务处理装置的以太网数据包的输出流量与目标流量的差值确定，所述水线值的取值范围是所述随机数的取值范围的子集。本发明通过闭环控制，使得在用户发送的大量请求中，能够按照一定的比率进行随机丟弃，避免了服务器可能由于过载而出现服务能力下降甚至崩溃的现象。

Description

网络流量控制方法、装置、系统及服务器

技术领域本发明涉及通信技术领域，特别是涉及一种网络流量控制方法、装置、系统及服务器。背景技术

以太网是当今现有局域网采用的最通用的通信协议标准。不管是从需求面还是从供应面来看，整体网络都朝着宽带的脚步迈进，这给予以太网一个艮好的发展空间。从技术面看，二十年来，以太网带宽由十兆、百兆、千兆，一直发展到 2002年的万兆，现今甚至四万兆、十万兆都已经处于研究讨论阶段，这使得以太网技术有了很好的扩展性；从应用面看，以太网不仅仅只局限在局域网的应用，万兆以太网更进一步将以太网延伸到广域网的应用，再酉己合电气和电子工程师十办会 ( Institute of Electrical and Electronics Engineers , 以下简称 IEEE)于 2000年底成立的第一英里以太网（ Ethernet in the First Mile , 以下简称 EFM )工作组试图发展的新型宽带接入技术，和目前已经流行的以太网小区接入、大楼接入，使得以太网统一了下层网络。

通过以太网连接着各种网络节点，其中包括各种用户设备和服务器设备。经过多年的发展，服务器技术有了大幅度提高，然而，其发展仍然赶不上用户设备数量的爆炸式增加和网络带宽的指数提高。当大量用户同时访问同一服务器时，服务器的服务能力往往不能满足用户的需求。以域名服务系统 (Domain Name System, 以下简称 DNS)来说，它负责为 Internet上的主机分配域名地址和 IP地址。用户使用域名地址，该系统就会自动把域名地址转为 IP 地址。执行域名服务的服务器称之为 DNS服务器，通过 DNS服务器来应答域名服务的查询。一个典型的 DNS服务器能够支持的并发域名解析请求数往往为每秒十几万到几十万，而与之相连的千兆以太网能够传送的请求数为每秒百万量级。

因此，在现有技术中，当大量用户同时访问同一服务器时，由于服务器的服务能力有限，服务器可能由于过载而出现服务能力下降甚至崩溃的现象。发明内容

本发明提供一种网络流量控制方法、装置、系统及服务器，用以在大量用户同时访问同一服务器时，避免服务器过载而造成服务能力下降甚至崩溃。

为实现上述目的，本发明提供一种网络流量控制方法，包括：

接收以太网数据包，生成与所述以太网数据包对应的随机数；

根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置；

所述水线值根据已输出给所述业务处理装置的以太网数据包的输出流量与目标流量的差值确定，所述水线值的取值范围是所述随机数的取值范围的子集。

为实现上述目的，本发明还提供了一种网络流量控制装置，包括：丟包仲裁模块，用于接收以太网数据包，生成与所述以太网数据包对应的随机数，根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置；

水线值生成模块，用于根据已输出给所述业务处理装置的以太网数据包的输出流量与目标流量的差值确定所述水线值，所述水线值的取值范围是所述随机数的取值范围的子集。

为实现上述目的，本发明还提供了一种网络流量控制系统，包括相互连接的服务器和如上所述的网络流量控制装置，所述服务器包括业务处理装置。

为实现上述目的，本发明还提供了一种服务器，包括相互连接的业务处理装置和如上所述的以太网流量闭环控制装置。

本发明提供的一种以太网流量闭环控制方法、装置、系统及服务器，通过将输出给服务器的业务处理装置的以太网数据包的输出流量和根据业务处理装置的处理能力设定的目标流量的差值反馈回来控制丟弃以太网数据包的比率，形成一个闭环控制，使得在用户发送的大量请求中，能够按照一定的比率进行随机丟弃，避免了服务器可能由于过载而出现服务能力下降甚至崩溃的现象。附图说明图 1为本发明提供的一种网络流量控制方法实施例一的流程图。

图 2为本发明提供的一种网络流量控制方法的实施例二中确定水线值的流程图。

图 3为本发明提供的一种网络流量控制装置实施例一的结构示意图。图 4为本发明提供的一种网络流量控制装置实施例二的结构示意图。图 5为本发明提供的一种网络流量控制系统实施例的结构示意图。

图 6为本发明所提供的一种服务器实施例的结构示意图。具体实施方式图 1为本发明提供的一种网络流量控制方法实施例一的流程图，如图

1所示，本实施例包括以下步骤：

步骤 100: 接收以太网数据包，生成与所述以太网数据包对应的随机数；

这里的以太网数据包可以是用户发送给内容服务器、应用服务器等服务器的请求，如发给 DNS服务器的域名解析请求。

在生成随机数时可以设定一个取值范围，使生成的随机数在这个范围内。

步骤 101 : 根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置；其中，所述水线值根据已输出给所述业务处理装置的以太网数据包的输出流量与目标流量的差值确定，所述水线值的取值范围是所述随机数的取值范围的子集。

所述目标流量通常根据所述业务处理装置的处理能力预先设定，也可以根据服务器的负载情况随时调整。

假设水线值的取值范围为 [0,10] , 则随机数的取值范围可以为 [0,10] , 也可以是 [0,15]等。以随机数的取值范围为 [0,10]为例，由于水线值（设为 A )是根据输出流量和目标流量的差值确定的 , A会随差值的变化而在 [0,10] 区间内变化，而随机数在 [0,10]范围内任意值的取值概率是均等的，这样，当根据所述随机数与水线值确定是否丟弃所述以太网数据包时，随机数出现在 [Ο,Α]和 [Α,ΙΟ]两个区间内的 ^既率是随 A变化的，对应地丟包的比例也是随 A变化的，这样就是实现了将输出给服务器的业务处理装置的以太网数据包的输出流量和根据业务处理装置的处理能力设定的目标流量的差值反馈回来控制丟弃以太网数据包的比率，形成一个闭环控制。

为了根据服务器的负载情况动态调整数据包的丟弃比例，更进一步地，本实施例中还可以周期性地统计输出给所述业务处理装置的以太网数据包的输出流量，对应地根据周期性统计的所述以太网数据包的输出流量周期性地更新所述水线值。这个周期可以根据想要达到的反馈控制的灵敏度来设定，通常取值在 [0.01 ,1]秒范围内。

本发明实施例通过输出给服务器的业务处理装置的以太网数据包的输出流量与目标流量的差值确定水线值，根据水线值和接收到的以太网数据包对应的随机数来确定是否丟弃所述数据包，所述水线值的取值范围是所述随机数的取值范围的子集，使得在用户发送的大量请求中，根据反馈回来的输出流量与目标流量的差值确定的比率进行随机丟弃，形成一个闭环控制，避免了服务器可能由于过载而出现服务能力下降甚至崩溃的现象。

这里的水线值通常是通过对以太网数据包的输出流量与目标流量的差值进行一定的数学运算来得到。这里可进行的数据运算的方式有很多种，比如积分运算，积分 +直通、双重积分等低通运算，只能能够使得水线值随所述差值的变化按照一定的关系在其取值范围中变化即可。其中积分运算较为简单，在工程上易实现。

在本发明提供的一种网络流量控制方法实施例一的基础上，对其中确定水线值的步骤进行细化，以积分运算为例，对通过积分运算确定水线值的过程进行详细说明，形成网络流量控制方法的实施例二。本领域技术人员根据本发明公开的内容和公知常识，可以推导出通过其他运算方式确定水线值的过程，因此在本发明实施例中不再对通过其他运算方式确定水线值的具体过程做详细说明。

图 2为本发明提供的一种网络流量控制方法的实施例二中确定水线值的流程图。假设随机数和水线值的取值范围均为 [Κ,Μ] , Κ、 Μ为自然数，积分运算的结果为 Α, 周期性统计的以太网数据包的输出流量为 R, 目标流量为 R0, R，为输出流量检测的中间结果， T为统计以太网数据包输出流量、更新水线值的周期，假设 T是一个自动增加的定时计数，不失一般性，进一步假设 R和 R0的基本单位为： 1个数据包数 /T秒，从而每输出一个数据包时， R，的值应该加 1。如图 2所示，包括以下步骤：

步骤 200: 初始化 A=K,R=R， =0, T=0, 给定目标流量 RO;

应用中， A 的初始值可以为 [Κ,Μ]范围内的任意值，本实施例以初始化 Α=Κ为例进行说明；

步骤 201 : 检测到一个数据包输出时，令 R， = R， +1 ;

步骤 202: 判断定时 T是否超时；若是则执行步骤 203 , 否则返回步骤 201 ;

步骤 203 : ^ R=R，，输出 R; 令 R， =0, 定时 T=0;

步骤 204: 接收 R, 进行减法运算 Diff=R-R0, 输出 Diff;

步骤 205: 接收 Diff, ^ A=A+Diff , A=max(K,min(A,M)) , 输出 Α为水线值；返回步骤 201。

由于积分运算与加法运算的等价性，得到积分结果为 A=A+Diff, 由于水线值的范围为 [Κ,Μ] , 若 Α超出则将其截至该范围，相应的数学运算为 A=max(K,min(A,M));即若 A小于 K则令 A=K,若 A大于 M则令 A=M, 若 A在 [Κ,Μ]范围内则不变，将 Α作为水线值。

在通过上述步骤确定了水线值后，本实施例中还包括：

接收以太网数据包，生成与所述以太网数据包对应的随机数；根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置。具体地，若所述随机数小于所述水线值，则丟弃所述以太网数据包，否则确定不丟弃所述以太网数据包。

由于在物理实现上加法和减法运算在逻辑上是可以互换的，只要整个闭环反馈环路能够达成流量控制的目的即可。比如，在具体实现时，步骤 205中的积分运算也可以使用 A=A-Diff, 较优地， A的初始值设为 M, 对应地，所述根据所述随机数与水线值，确定是否丟弃所述以太网数据包，具体为：若随机数大于水线值则丟弃当前包，否则确定不丟弃。

在实际应用中， T的典型值为 [0.01,1]秒。 M的取值范围比较灵活，一般是 R0的 1/5〜1/10, R0的取值取决于服务器的处理能力。为工程实现方便， K通常取为 0, 当然根据服务器的过载承受能力， Κ值也可以适当的提高。以 DNS服务器为例，若 DNS服务器允许的最大域名请求量为每秒 15万次，而统计周期 Τ为 0.01秒，则 R0=0.01* 150000=1500, M可以取为 200。基于本实施例，设 K=0, Μ=200, 初始化 Α=0, 每个周期用户发出的请求数均为 1520, 第一个周期 Τ由于水线值为 0, 随机数小于该水线值的概率为 0,因此不丟包，第一个周期后统计得到的 R=1520,则 Diff=20, 积分运算后 A=0+20=20, 而随机数的取值范围为 [0,200] , 这样第二个周期的丟包比例大约为 10%, 那么第二个周期输出给业务处理装置的数据包的输出流量 R=1520* ( 100%- 10% ) =1368 , 则 Diff=-132 , 积分运算后 A=20-132=-112,截止范围后 A=0,这样第三个周期的丟包比例大约为 0%, 那么第三个周期输出给业务处理装置的数据包的输出流量 R= 1520 , Diff=20 ,积分运算后 Α=0+20=20 ,这样第四个周期的丟包比例大约为 10% , 那么第四个周期输出给业务处理装置的数据包的输出流量 R=1368。截止到第四个周期， 0.04 秒的时间内，输出给业务处理装置的数据包总共有 4256, 按这样的趋势，每秒服务器要处理的请求为 4256/0.04=106400 次 <150000次。由于网络中用户的情况是随时变化的，每个周期用户发出的请求数也不是一个恒定的数值，对于这种动态变化的情况，本发明实施例所提供的动态反馈机制会有更好的效果。

本发明实施例中动态闭环控制的原理是这样的：假定输入端的流量为 Ri, 输出端的流量为 R, 目标流量为 R0, M为积分结果取值范围的最大值， K为积分结果取值范围的最小值，得如下方程：

Ri= ( M-K ) *R/ ( M- J (R - R0) ) 。

定性分析环路控制流程如下：

1 )假定 Ri突然增大，由于环路响应需要一定时间则 R增大， R增大将导致反馈项 J" (R - R0)的增大，在负反馈的作用下将抑制 R的增大，直至环路平衡。

2 )假定 Ri突然减小，由于环路响应需要一定时间则 R减小， R减小将导致反馈项 J" (R - R0)的减小，在负反馈的作用下将抑制 R的减小，直至环路平衡。

3 ) 在环路平衡时，反馈项 i (R - R0)将保持在一个相对固定的值， R的值与 R0大致相同但保持微小波动。

通过这样的环路控制，使得流量控制精度高，收敛速度快，在实际系统中表现出良好的性能。

图 3为本发明提供的一种网络流量控制装置实施例一的结构示意图。如图所示，该装置包括：

丟包仲裁模块 30 , 用于接收以太网数据包，生成与所述以太网数据包对应的随机数，根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置；水线值生成模块 31 ,用于根据已输出给所述业务处理装置的以太网数据包的输出流量与目标流量的差值确定所述水线值，所述水线值的取值范围是所述随机数的取值范围的子集。

为了根据服务器的负载情况动态调整数据包的丟弃比例，水线值生成模块 3 1 具体用于，周期性地统计所述已输出给所述业务处理装置的以太网数据包的输出流量，并根据所述周期性统计的输出流量周期性地更新所述水线值。

本发明实施例中模块的具体实现可以参照对应的方法实施例。本发明实施例通过输出给服务器的业务处理装置的以太网数据包的输出流量与目标流量的差值确定水线值，根据水线值和接收到的以太网数据包对应的随机数来确定是否丟弃所述数据包，所述水线值的取值范围是所述随机数的取值范围的子集，使得在用户发送的大量请求中，根据反馈回来的输出流量与目标流量的差值确定的比率进行随机丟弃，形成一个闭环控制，避免了服务器可能由于过载而出现服务能力下降甚至崩溃的现象。

在本发明提供的一种网络流量控制装置的实施例一的基础上，本发明还提供了一种网络流量控制装置实施例二，如图 4所示，水线值生成模块 31具体包括：

流量检测单元 31 1 , 用于检测输出给所述业务处理装置的以太网数据包的输出流量；

减法器 312, 用于将所述输出流量减去目标流量得到差值；

积分器 313 , 用于将所述差值进行积分运算，将积分运算的结果作为所述水线值。

进一步地，丟包仲裁模块 30具体用于设定所述随机数的范围为 [Κ,Μ]，其中 Κ、 Μ为自然数；积分器 313具体用于设定所述水线值的范围为 [Κ,Μ] , 若所述积分运算的结果小于 Κ, 则将所述水线值取值为 Κ, 若所述积分运算的结果大于 Μ, 则将所述水线值取值为 Μ。

丟包仲裁模块 30具体用于当所述随机数小于所述水线值时，确定丟弃所述以太网数据包，否则确定不丟弃所述以太网数据包。

本发明所提供的一种网络流量控制装置可以作为一个独立的设备设置在需要流量控制的服务器与用户之间，也可以作为一个模块设置在需要流量控制的服务器内部，对发给服务器的请求进行前置处理后再发给业务处理装置。

图 5是本发明提供的一种网络流量控制系统实施例的结构示意图，如图 5所示，该系统包括：相互连接的服务器 50和网络流量控制装置 51 , 服务器 50包括业务处理装置 501 , 网络流量控制装置 51为如本发明提供的一种网络流量控制装置实施例一或二所述的装置。具体地，服务器 50 可以与网络流量控制装置 51中的丟包仲裁模块、流量检测单元连接。

图 6为本发明提供的一种服务器实施例的结构示意图，如图 6所示，该服务器包括：业务处理装置 60和网络流量控制装置 61 , 网络流量控制装置 61 为如本发明提供的一种网络流量控制装置实施例一或二所述的装置。具体地，业务处理装置 60可以与网络流量控制装置 61中的丟包仲裁模块、流量检测单元连接。

在本发明提供的服务器中，虽然业务处理装置和网络流量控制装置共享一个平台，但由于网络流量处理装置所需资源相对业务处理装置所需资源小得多，因此仍然可以起到保护服务器不过载的作用。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权利要求书

1、一种网络流量控制方法，其特征在于，包括：

2、根据权利要求 1所述的方法，其特征在于，所述水线值根据已输出给所述业务处理装置的以太网数据包的输出流量与目标流量的差值确定，包括：对所述差值进行积分运算，将积分运算的结果作为所述水线值。

3、根据权利要求 2所述的方法，其特征在于，所述接收以太网数据包，生成与所述以太网数据包对应的一随机数之前，还包括：

设定所述随机数和所述水线值的取值范围均初始化为 [Κ,Μ] , 其中 Κ、 Μ 为自然数；

对所述差值进行积分运算，将积分运算的结果作为所述水线值，包括：若所述积分运算的结果小于 Κ, 则将所述水线值取值为 Κ, 若所述积分运算的结果大于 Μ, 则将所述水线值取值为 Μ。

4、根据权利要求 3所述的方法，其特征在于，所述根据所述随机数与水线值，确定是否丟弃所述数据包，具体包括：

若所述随机数小于所述水线值，则丟弃所述以太网数据包，否则确定不丟弃所述以太网数据包。

5、根据权利要求 3所述的方法，其特征在于， Μ为所述目标流量的 1/10 到 1/5。

6、根据权利要求 1〜5任一所述的方法，其特征在于，所述已输出给所述业务处理装置的以太网数据包的输出流量通过周期性地统计获取，所述水线值根据所述周期性统计获取的输出流量周期更新。

7、根据权利要求 1〜5任一所述的方法，其特征在于，所述目标流量根据所述业务处理装置的处理能力预先设定。

8、一种网络流量控制装置，其特征在于，包括：丟包仲裁模块，用于接收以太网数据包，生成与所述以太网数据包对应的随机数，根据所述随机数与水线值，确定是否丟弃所述以太网数据包，若确定不丟弃，则将所述以太网数据包输出给服务器的业务处理装置；

9、根据权利要求 8所述的装置，其特征在于，所述水线值生成模块具体包括：

流量检测单元，用于检测输出给所述业务处理装置的以太网数据包的输出流量；

减法器，用于将所述输出流量减去目标流量得到差值；

积分器，用于将所述差值进行积分运算，将积分运算的结果作为所述水线值。

10、根据权利要求 9所述的装置，其特征在于，所述丟包仲裁模块具体用于将所述随机数的取值范围设定为 [Κ,Μ], 其中 Κ、 Μ为自然数；所述积分器具体用于将所述水线值的取值范围设定为 [Κ,Μ], 其中 Κ、 Μ为自然数，若所述积分运算的结果小于 Κ, 则将所述水线值取值为 Κ, 若所述积分运算的结果大于 Μ, 则将所述水线值取值为M。

11、根据权利要求 10所述的装置，其特征在于，所述丟包仲裁模块具体用于当所述随机数小于所述水线值时，确定丟弃所述以太网数据包，否则确定不丟弃所述以太网数据包。

12、根据权利要求 8〜11任一所述的装置，其特征在于，所述水线值生成模块具体用于，周期性地统计所述已输出给所述业务处理装置的以太网数据包的输出流量，并根据所述周期性统计的输出流量周期性地更新所述水线值。

13、根据权利要求 8〜11任一所述的装置，其特征在于，所述目标流量根据所述业务处理装置的处理能力预先设定。

14、一种网络流量控制系统，其特征在于，包括相互连接的服务器和如权利要求 8〜13 任一所述的网络流量控制装置，所述服务器包括业务处理装置。

15、一种服务器，其特征在于，包括相互连接的业务处理装置和如权利要求 8〜13任一所述的网络流量控制装置。