WO2023061119A1 - 一种流的搬移方法及网络设备 - Google Patents

Abstract

本申请提供一种流的搬移方法及网络设备。该方法可应用于支持多网卡的设备，该方法包括：网络设备在检测到多条链路的负载失衡时，可从带宽占用率较高的链路上删除至少一条流，然后对删除的流重新分配转发链路，经过至少一次流搬移，尽可能使得多条链路上的负载处于均衡状态。并且，在本申请中只需要搬移部分流，无需将带宽占用率较高的链路上的所有流进行搬移，能够避免网络卡顿的情况发生，提升用户体验。

Description

一种流的搬移方法及网络设备

相关申请的交叉引用

本申请要求在2021年10月14日提交中国专利局、申请号为202111198889.5、申请名称为“一种流的搬移方法及网络设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及终端技术领域，尤其涉及一种流的搬移方法及网络设备。

背景技术

网卡绑定技术是将多张物理网卡绑定为一个逻辑网卡。比如，当一个物理网卡出现损坏或者断开时，可以将数据包切换到该逻辑网卡中的另一个物理网卡上以保证数据包的正常传输。或者，也可以同时使用多个物理网卡进行数据传输，以实现带宽扩容。应理解，数据包中可包括五元组信息，可根据五元组信息是否相同将数据包分为至少一条流。

目前，通常是基于物理网卡(或者称为：接口)进行流的搬移，比如当以太网(ethernet，ETH)接口断开时，可以将ETH接口上的流的搬移到无线保真(wireless fidelity，Wi-Fi)接口上，这种方式虽然可以保证业务的正常传输，但是如果数据量比较大，可能会使得搬移时间较长，出现网络卡顿的情况。

发明内容

本申请提供一种流的搬移方法及网络设备，用以避免出现搬移数据量过大导致网络卡顿的情况，提升用户体验。

第一方面，本申请提供一种流的搬移方法。该方法可应用于支持多网卡的网络设备。具体的，该方法包括：首先，网络设备确定第一链路和第二链路上的负载处于负载失衡状态。其中，第一链路和第二链路为网络设备的上行传输方向上包括的链路，第一链路的带宽占用率大于第二链路的带宽占用率；然后，网络设备从带宽占用率较高的第一链路上搬移N条流，第一链路上当前正在传输的流的总数量为M，M、N均为正整数，且M>N。

通过上述技术方案，网络设备可以在检测到多条链路出现负载失衡时，从带宽占用率高的链路搬移部分流，这样可降低带宽占用率较高的链路上的负载，在充分利用多条链路的同时，能够提升用户体验。

在一种可能的设计中，网络设备确定第一链路和第二链路上的负载处于负载失衡状态，包括：

网络设备获取第一链路的带宽占用率和第二链路的带宽占用率；若确定第一链路的带宽占用率大于第一设定阈值，且第二链路的带宽占用率小于第二设定阈值，则确定第一链路和第二链路上的负载处于负载失衡状态。

通过上述技术方案，网络设备可根据链路的带宽占用率确定链路是否处于负载失衡状态，以便判断是否要进行流的搬移步骤。

在一种可能的设计中，网络设备从第一链路上搬移N条流之前，该方法还包括：

网络设备确定自身设备的上行传输方向上包括的链路满足流搬移条件。其中，流搬移条件包括如下条件中的至少一项：上行传输方向上包括至少两条链路；至少一条链路的带宽占用率大于第一设定阈值，且其它链路的带宽占用率小于第二设定阈值；流的搬移的目的链路的链路权重大于流的搬移的源链路的链路权重；带宽占用率最小的链路的链路带宽>上行传输方向上包括的链路的总链路带宽*W，0<W<1；相邻两次的流的搬移时间间隔小于等于设定值。

通过上述技术方案，当网络设备确定链路满足上述流搬移条件之后，才能进行流搬移。如果链路为负载失衡状态，但是不满足流搬移条件，那么也不能执行流搬移的步骤。这样可提高流搬移的成功率。

在一种可能的设计中，网络设备从第一链路上搬移N条流之前，该方法还包括：网络设备确定第一链路上需要搬移的流的数量N。

通过上述技术方案，网络设备在进行流搬移之前，需要确定从带宽占用率较高的链路上搬移的流的数量，然后才能对相应数量的流进行搬移。

本申请实施例中，可以通过下述两种方式确定需要搬移的流的数量：

方式1：网络设备获取第一链路上当前正在传输的流的总数量M；然后确定设定比例的流的数量，该设定比例为第一链路上当前正在传输的流的总数量M的设定比例；最后，网络设备将设定比例的流的数量作为第一链路上需要搬移的流的数量N。

也就是说，网络设备搬移的流的数量为当前链路上正在传输的流的数量的一定比例，比如搬移20％的流，这样尽可能的使得搬移的流的数据量不会很大，避免出现网络卡顿的情况，从而提升用户体验。

方式2：网络设备确定设定比例的流的数量，该设定比例为第一链路上当前正在传输的流的总数量的设定比例。若设定比例的流的数量大于设定阈值，则将设定阈值作为搬移的流的数量N；若设定比例的流的数量小于设定阈值，则将设定比例的流的数量作为搬移的流的数量N。

也就是说，网络设备在计算出搬移一定比例的流之后，可继续基于设定阈值确定最终需要搬移的流的数量，进一步保证搬移的流的数量不会出现数据量过大的情况，能够提升用户体验。

在一种可能的设计中，网络设备确定第一链路和第二链路上的负载处于负载失衡状态之前，所述方法还包括：

网络设备接收用户设备发送的第一报文，并将第一报文对应的流记录在第一流表中，该第一流表中包括网络设备转发的流的记录信息，所述记录信息包括五元组信息、流的接收端口、流的转发端口，所述第一报文包括Q条流，Q为正整数，且Q>M。

通过上述技术方案，网络设备中可接收用户设备发送的报文，然后将报文对应的多条流分配到不同的链路上，这样有可能出现链路上的带宽占用率不均的情况，即负载不均衡的情况发生。

在一种可能的设计中，网络设备从第一链路上搬移N条流，包括：

网络设备删除第一流表中的N条流；网络设备接收用户设备发送的第二报文，并对第二报文对应的流中包括的N条流分配转发链路；网络设备将N条流按照分配的转发链路进行搬移。

通过上述技术方案，网络设备从带宽占用率较高的链路上删除部分流之后，链路带宽权重可随之发生变化，然后网络设备再对需要搬移的流重新分配链路，能够使得这些流分配到带宽占用率较小的链路上，从而尽可能的使得链路负载均衡。

在一种可能的设计中，网络设备对第二报文对应的流中包括的N条流分配转发链路，包括：

网络设备根据N条流的五元组信息和网络设备的上行传输方向上包括的至少两条链路的剩余带宽，将N条流分配在上行传输方向上包括的至少两条链路上。

通过上述技术方案，网络设备可根据流的五元组信息和链路剩余带宽对流的转发链路进行分配，从而使得流尽可能的分配到多条不同的链路上，并且尽可能的保证链路的负载均衡。

在一种可能的设计中，网络设备对N条流进行搬移之后，该方法还包括：

网络设备确定搬移第一链路上的P条流；网络设备对P条流进行搬移第一链路上当前正在传输的流的总数量为L，L为大于0的整数，P为大于等于0的整数，且L>P，L<M。

通过上述技术方案，如果网络设备在搬移一次流之后，在下一个周期内仍然检测到链路负载失衡，则继续进行流的搬移步骤。也就是说，在本申请中，可以通过至少一次流搬移，调整链路的负载。当然，流的搬移次数越少越好。并且，流的搬移数量可以为一条，也可以为多条。

第二方面，本申请提供一种网络设备。该网络设备包括一个或多个处理器；一个或多个存储器；以及一个或多个计算机程序；其中一个或多个计算机程序被存储在所述一个或多个存储器中，一个或多个计算机程序包括指令，当该指令被一个或多个处理器调用执行时，使得网络设备执行上述第一方面及其第一方面任一可能设计的方法。

示例性地，当该指令被一个或多个处理器调用执行时，使得该网络设备执行下述步骤：确定第一链路和第二链路上的负载处于负载失衡状态，第一链路和第二链路为网络设备的上行传输方向上包括的链路，第一链路的带宽占用率大于第二链路的带宽占用率；从第一链路上搬移N条流，第一链路上当前正在传输的流的总数量为M，M、N均为正整数，且M>N。

第三方面，本申请还提供一种计算机可读存储介质。计算机可读存储介质中存储有指令，当该指令在网络设备上运行时，使得网络设备执行第一方面及其第一方面任一可能设计的方法。

第四方面，本申请实施例提供一种计算机程序产品。当该计算机程序产品在网络设备上运行时，使得网络设备执行本申请实施例第一方面及其第一方面任一可能设计的方法。

上述第二方面至第四方面中的各种可能方案以及各种可能方案可能达到的技术效果请参照上述针对第一方面中的各种可能方案可以达到的技术效果说明，此处不再赘述。

附图说明

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种路由器之间的数据传输示意图；

图3为本申请实施例提供的一种流的搬移方法流程图；

图4为本申请实施例提供的一种流的搬移方法流程图；

图5为本申请实施例提供的一种五元组学习的方法流程图；

图6为本申请实施例提供的一种链路分配方法的流程图；

图7为本申请实施例提供的链路权重示意图；

图8为本申请实施例提供的一种流的搬移设备的示意图。

具体实施方式

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

网卡绑定技术是将多张物理网卡绑定(Bonding，或者称为：聚合)为一个逻辑网卡，以实现网卡冗余、带宽扩容和负载均衡。其中，网卡冗余指的是正常情况下，只有一个网卡工作，其它网卡作为备份网卡。当工作的网卡发生故障时，可以使用其它的网卡继续进行工作。当多个网卡并行使用时，可以增加带宽。并且，在多个网卡并发使用的过程中，如果一个网卡断开，可以将断开的网卡上的数据转移到其它的网卡上，以实现业务的无缝接续，保证业务的正常传输。在多个网卡并发使用的过程中，如果有一个网卡的带宽占用率较高，另一个网卡的带宽占用率较低，则可以将带宽占用率高的网卡上的数据部分转移到带宽占用率较低的网卡上，以实现负载均衡。

目前，流的搬移技术是基于Bonding技术实现，根据Bonding中聚合的多个网卡(或者称为：接口/链路)，将流均匀的分配到各个接口上，以最大化的利用聚合的网卡带宽。当接口出现断开的情况时，可将整个接口上的流的搬移到另一个接口上，即当前的流的搬移只能实现接口的流的搬移。

有鉴于此，本申请实施例提出了一种流的搬移方法，在网络设备支持多网卡并发的情 况下，可从一个网卡上搬移部分流到其它的网卡上，而不是直接将一个网卡上的所有流都搬移到其它的网卡上，从而提高数据传输的效率，避免由于搬移数据量过大导致网络卡顿的问题，提升用户体验。

示例性地，图1示出了本申请实施例提供的流的搬移方法的一种应用场景。如图1所示，该场景可包括服务器11、主路由器设备(以下简称：主路由器)12、从路由器设备(以下简称：从路由器)13以及用户设备(user device，UD)14。其中，从路由器13和用户设备14之间可以通过通信网络互联。示例性地，该通信网络可以为局域网，比如Wi-Fi热点网络。用户设备14可以包括至少一个，且至少一个用户设备14可以通过通信网络连接到同一个从路由器13上。当然，至少一个用户设备14也可以通过通信网络连接到不同的从路由器13上。服务器11为互联网服务器，主路由器可以与互联网服务器建立连接。示例性的，手机14向从路由器13发送报文，从路由器13可将报文转发给主路由器12，然后主路由器12再将报文发送给互联网服务器11。

应理解，图1仅是一种示意性说明，本申请实施例中对于用户设备14的数量、从路由器13的数量并不做具体限定。

需要说明的是，在本申请实施例中，路由器支持多网卡，即在不同的路由器之间转发报文时，可通过多条链路转发。并且，路由器可将自身设备上能够到达下一个路由器的多条链路的端口聚合成一个虚拟的Bonding口。即Bonding口为路由器在上行方向上的转发端口聚合得到的。

在一些实施例中，假设手机向从路由器发送报文，从路由器在接收到手机发送的报文之后，再将报文转发给主路由器。当从路由器将报文转发给主路由器的过程中，如果检测到链路负载失衡，则计算需要搬移的流的数量，进行流的搬移的过程。

以两个从路由器为例介绍本申请提供的流的搬移方法。示例性地，如图2所示，数据传输的方向为从从路由器2向从路由器1传输。假设从路由器2通过ETH接口或者Wi-Fi接口接收手机发送的报文，从路由器2与从路由器1之间通过Wi-Fi链路、电力线(power line communication，PLC)链路传输报文。当从路由器2接收到报文之后，若报文是首次接收到，则报文可进入从路由器2的内核Bonding进行分流，即将报文对应的流分配到不同的链路上。若报文不是首次接收到，则路由器2的内核Bonding可查询内核流表，按照流表中记录的转发链路(转发出口)进行转发。当从路由器2检测到Wi-Fi链路和PLC链路上的负载失衡时，可在内核流表上随机删除带宽占用率高的一条链路上的设定数量的流，然后这些流会重新进入内核Bonding，由内核Bonding重新分配链路。按照上述方式，经过至少一次流的搬移，尽可能使得Wi-Fi链路和PLC链路上的负载处于负载均衡状态。

可选的，链路度量模块可周期性的(比如，每隔15秒)向网络中的各个路由器同步一次链路度量值。需要说明的是，在本申请实施例中，流的搬移方法可应用于两个不同的路由器之间，比如可应用于两个不同的从路由器之间，或者还可以应用于从路由器与主路由器之间，本申请对此不作限定。

以下以路由器为例介绍本申请实施例的流的搬移方法。示例性地，图3为本申请实施例提供的一种流的搬移方法流程图。如图3所示，该方法可包括如下步骤：

S301、路由器获取链路度量值。

作为一种可能的实现方式，路由器可以每隔X秒(比如，15秒)同步一次链路的链路度量值，然后根据链路度量值判断链路是否满足并发混动条件。

可选的，在S301执行之前，路由器可接收用户设备，比如手机发送的报文。

S302、路由器根据链路度量值判断是否满足并发混动条件。

这里，链路度量值可以包括链路的带宽、时延、剩余带宽等信息。若路由器获取到的链路度量值仅包括一条链路的带宽，即传输链路只有一条链路时，不满足并发混动条件。

若路由器获取到的链路度量值包括多条链路的带宽时，即路由器可以通过多条链路转发报文。此时，路由器可根据获取到的多条链路的带宽判断是否满足并发混动条件。示例性的，在申请实施例中可以通过如下条件判断链路是否满足并发混动条件：

条件1：当多条链路的链路最大带宽均大于40M时链路满足并发混动条件。

条件2：当多条链路中的至少一条链路的链路最大带宽小于40M时，需要判断小于40M的链路的链路带宽是否大于并发链路中链路最大带宽值的预设比例(比如，预设比例可以为三分之一)。若该链路带宽大于并发链路中链路最大带宽值的三分之一，则链路满足并发混动条件。否则，该链路不满足并发混动条件。举个例子，比如有三条链路，PLC链路、5G链路和2.4G链路，5G链路的最大带宽<PLC链路的最大带宽<2.4G链路的最大带宽，如果5G链路的链路最大带宽小于40M，PLC链路和2.4G链路的链路最大带宽都大于40M，此时需要判断5G链路的链路带宽是否大于2.4G链路的最大带宽的三分之一。若5G链路的链路带宽小于2.4G链路的最大带宽的三分之一，则5G链路不满足混动并发条件，即PLC链路和2.4G链路满足混动并发条件。

当上述两个条件中的任意一个条件满足时，可确定链路满足并发混动条件。需要说明的是，本申请实施例中并不限定如何确定链路是否满足混动并发条件，即判断条件并不限于上述两种，只要判断条件能够满足通过至少两条链路传输报文即可包含在本申请的保护范围内。

S303、路由器根据链路度量值判断链路是否负载失衡。若链路是负载失衡状态，则继续执行S304。

在一些实施例中，路由器可以可周期性地(比如，每隔8秒)获取各条链路上的带宽占用率，比如可分别获取Wi-Fi链路和PLC链路上的带宽占用率，然后根据链路的带宽占用率判断链路是否负载均衡。示例性的，当Wi-Fi链路的带宽占用率大于第一设定阈值，比如90％，且PLC链路的带宽占用率小于第一设定阈值，比如30％时，可以确定链路处于负载失衡状态。当然，也可以在PLC链路的带宽占用率大于90％，且Wi-Fi链路的带宽占用率小于30％时，确定链路处于负载失衡状态。也就是说，在两条链路中，若其中一条链路的带宽占用率大于第一设定阈值，且另外一条链路的带宽占用率小于第二设定阈值时，确定链路为负载失衡状态。

当然，上述第一设定阈值和第二设定阈值的取值仅是一种示意性说明，第一设定阈值也可以为80％，第二设定阈值也可以为20％等，本申请对此不作限定。

S304、路由器进行流的搬移。

在一些实施例中，当出现链路负载失衡时，可将流进行搬移，即将带宽占用率较大的链路上的流的搬移到带宽占用率较小的链路上。应理解，带宽占用率＝实际使用的带宽/最大带宽。比如，当Wi-Fi链路的带宽占用率大于90％，且PLC链路的带宽占用率小于30％时，可以将Wi-Fi链路上的流的搬移部分流到PLC链路上，以降低Wi-Fi链路上的负载，充分利用每条链路的带宽，提升用户体验。

作为一种可能的实现方式，路由器在进行流的搬移时，可进行至少一次流的搬移，才 能使得链路尽可能达到负载均衡状态。比如，Wi-Fi链路的带宽占用率为95％，PLC链路的带宽占用率为20％，当路由器进行一次流的搬移，比如搬移20条流之后，可以在下一个周期继续根据链路度量值判断链路是否为负载失衡状态。如果仍然处于负载失衡状态，则继续进行流的搬移。

下面详细介绍如何进行流的搬移，使得链路尽可能处于负载均衡的过程。示例性地，如图4所示，为本申请实施例提供的一种流的搬移的方法流程图，参阅图4所示，该方法可包括如下步骤：

S401、路由器判断是否满足流的搬移条件。若满足流的搬移条件，则继续执行S402，若不满足流的搬移条件，则结束。

在一些实施例中，路由器可通过如下条件中的至少一项判断是否满足流的搬移条件：

条件1：链路包括至少两条链路；

条件2：带宽占用率满足要求，即至少一条链路的带宽占用率大于第一设定阈值，且其它链路的带宽占用率小于第二设定阈值。

条件3：链路权重要求：流的搬移的目的链路的链路权重大于流的搬移的源链路的链路权重。比如，要将Wi-Fi链路上的流的搬移部分流到PLC链路上，则PLC链路上的链路权重要大于Wi-Fi链路上的链路权重。

条件4：链路带宽要求：带宽占用率最小的链路的链路带宽>总链路带宽*W，0<W<1。示例性的，当W＝0.1时，即带宽占用率最小的链路的链路带宽大于总链路带宽的10％。比如，链路包括2.4G、5G、PLC，带宽占用率最小的链路为5G，则5G链路的链路带宽大于(2.4G+5G+PLC)这三条链路的链路带宽*10％。

条件5：流的搬移间隔时间要求：两次流的搬移的时间间隔小于等于设定值(比如，1分钟)。应理解，每次流的搬移可以搬移至少一条流。

S402、路由器确定需要搬移的流的数量。

作为一种可能的实现方式，路由器可根据链路上传输的流的数量计算需要搬移的流的数量。示例性地，假设Wi-Fi链路的带宽占用率大于90％，且PLC链路的带宽占用率小于30％时，即需要将Wi-Fi链路上的流的搬移部分流到PLC链路上。若Wi-Fi链路上传输的流的总数量为X，则可以搬移设定比例的流，比如(X*20％)条流。比如，Wi-Fi链路上传输的流的总数量为100条，则可以先从Wi-Fi链路上搬移20条流，如果需要搬移多次，则可以在进行一次流搬移之后，计算待搬移链路上的流的总数量，比如搬移一次之后Wi-Fi链路上传输的流的总数量为Y(比如80条)，然后在80条流的基础上继续搬移(Y*20％)，比如继续搬移16条流。应理解，流的搬移数量也可以为(X*30％)条流等，本申请对此不作限定。

另一示例，假设路由器在进行一次流搬移之后，可计算待搬移链路上的流的总数量，比如搬移一次之后Wi-Fi链路上传输的流的总数量为Y(比如86条)，然后在84条流的基础上继续搬移(Y*20％＝86*20％＝17.2)条流。由于流的条数均为整数，此时可取值17，即继续搬移17条流。当然，也可以取值18，即继续搬移18条流，本申请对此不作限定。

作为另一种可能的实现方式，路由器在计算出设定比例，比如(X*20％)条流的基础上，继续根据设定比例的流的数量与设定阈值的大小关系确定需要搬移的流的数量。具体的，当X*20％>设定阈值(比如200条)时，路由器可搬移的流的数量最大为200条；当X*20％<设定阈值(比如200条)时，路由器可搬移的流的数量为X*20％条。例如，Wi-Fi 链路上的流总数X为2000条，则X*20％＝400，即X*20％>设定阈值，则路由器可搬移的流的数量为200条；若Wi-Fi链路上的流总数X为800条，则X*20％＝160，即X*20％<设定阈值，则路由器可搬移的流的数量为160条。

S403、路由器在流表中删除需要搬移的流的信息。

在一些实施例中，当路由器接收到报文之后，可根据报文中的五元组信息将报文分为至少一条流(Flow)，然后学习每一条Flow的入口和出口，并将其记录在流表中。并且，路由器上的流表中记录的每一条流可设置有一个定时器，当路由器接收到报文并学习到报文之后，流表中可记录该五元组信息的表项，并启动该五元组信息对应的流的定时器。当定时器的时间达到每一条记录的更新时间(或者称为：老化时间)之后，可删除该条记录，即删除流记录。示例性地，流表可以参阅下述表1所示。

表1

五元组	入口	出口	更新时间(秒)
Flow1	eth	2.4G	120
Flow2	eth	5G	5
Flow3	5G	PLC	15
Flow4	2.4G	5G_2	100

应理解，表1仅是一种示意性说明，本申请实施例中对于出口、入口以及更新时间等不作具体限定。需要说明的是，同一条流的五元组信息完全相同，不同的流的五元组信息不同。其中，五元组信息可包括源互联网协议(Internet Protocol，IP)地址、源端口号、目的IP地址、目的端口号、协议号。

其中，报文中可包括五元组信息、源媒体存取控制(media access control，MAC)地址、目的MAC地址。当路由器接收到报文之后，可将报文转发给报文的目的MAC地址对应的设备，在此过程中，如果检测到负载失衡，则需要进行流的搬移，此时，路由器可以在流的老化时间内删除带宽占用率最高的链路上的至少一条流。应理解，路由器在流表中删除至少一条流时可以任意删除带宽占用率最高的链路上的至少一条流，也可以按照流的接收时间删除带宽占用率最高的链路上的至少一条流等，本申请对此不作限定。

S404、路由器对需要搬移的流重新分配链路。

由于链路负载失衡时，链路权重可能发生变化，因此，路由器在流表中删除至少一条流之后，当手机再次向路由器发送报文时，路由器可根据报文对应的流重新为删除的流分配链路。应理解，在本申请中链路负载失衡是在业务传输过程中发生的，即手机会不断的向路由器发送报文，因此，当路由器在流表中删除部分流之后，手机仍然会再次向路由器发送报文。

示例性地，假设路由器的流表中包括100条流，比如Flow1-Flow100，若路由器删除了Flow1-Flow20，则该路由器再次接收到手机发送的报文时，可重新为Flow1-Flow20中的五元组信息对应的流分配链路，Flow21-Flow100可继续按照流表中继续的链路进行转发。

下面介绍在内核学习五元组信息的过程。示例性地，如图5所示，为本申请实施例提供的一种五元组学习的方法流程图，参阅图5所示，该方法可包括如下步骤：

S501、路由器在流表中查找是否存在五元组信息。若流表中存在该五元组信息，则按照流表中记录的出口转发流。若流表中不存在该五元组信息，则继续执行S502。

在一些实施例中，当路由器接收到报文之后，若在流表中查找到五元组信息，则说明 流没有被删除，可以按照流表中记录的出口进行转发。若路由器没有在流表中查找到五元组信息，则说明流被删除或者路由器第一次接收到，此时路由器可学习该五元组信息。

S502、路由器记录该五元组信息。

在一些实施例中，当路由器接收到报文之后，路由器可将报文对应的流(这里送到内核学习的流指的是流表中没有记录的流)送到内核进行学习，然后在并发链路上分流，这样可以重新为需要搬移的流分配链路。

可选的，路由器的流表中若没有该五元组信息，则可创建该五元组流表表项，并对该五元组信息设置为未学习标识，然后可在内核Bonding进行学习，即学习该五元组信息对应的转发链路。

由于链路负载失衡时，链路权重可能发生变化，因此，路由器在对删除的流进行分配链路时，分配的链路可能和删除之前分配的链路不同。当然，再次分配的链路也可能和流删除之前分配的链路相同，本申请对此不作限定。

S503、路由器根据五元组信息确定该五元组信息对应的流的转发链路。

可选的，当路由器对需要搬移的流重新确定出转发出口之后，可在内核出口处根据学习标识，将流表中的标识为未学习标识的五元组的标识更新为已学习标识，即更新流表中的记录。

S504、路由器学习五元组信息对应的流的转发出口。

当路由器确定出流的转发链路之后，可将流的转发出口记录在流表中，这样路由器的流表可学习到该五元组信息，并学习到该五元组信息对应的转发链路。

通过上述方式，路由器可以为删除的流重新分配链路，经过至少一次流的搬移，至少一次链路重分配可以尽可能使得多条链路的负载均衡。当然，流的搬移次数越少，网络抖动越小，用户体验更好。

下面详细介绍S503的具体实现过程。示例性地，图6为本申请实施例提供的一种链路分配方法的流程图。如图6所示，该方法可包括如下步骤：

S601、路由器获取链路度量值。

其中，链路度量值可包括链路的最大带宽、剩余带宽(剩余带宽＝链路的最大带宽-实际使用的带宽)、时延、连接状态、信道占用率等。

S602、路由器根据报文的五元组信息和链路度量值确定报文的转发链路。

在一些实施例中，路由器可从网络中获取到链路度量值，然后可根据获取的链路度量值得到链路的剩余带宽，然后根据剩余带宽和五元组信息确定报文的转发链路。

假设路由器B与路由器A之间存在三条链路，例如包括5G链路、2.4G链路、PLC链路。作为一种可能的实现方式，可以通过哈希(hash)算法计算五元组信息的哈希值，然后基于计算之后的哈希值以及不同链路上的剩余带宽所占的权重确定转发链路。示例性地，如图7所示，为本申请实施例提供的链路权重示意图。参阅图7所示，假设5G链路的剩余带宽、2.4G链路的剩余带宽、PLC链路的剩余带宽的比值依次为：1:3:6，即5G链路占1/10，2.4G链路占3/10，PLC链路占6/10。

需要说明的是，如果报文在路由器的出口和入口的频段相同，即报文从2.4G的入口进入路由器A，并且路由器A的出口为2.4G频段，或者报文从5G的入口进入路由器A，并且路由器A的出口为5G频段，则在计算出口时权重值可取一半。比如，手机到路由器1的频段为5G，路由器1与主路由器2的频段为5G，5G链路的权重值为6，则在路由器1 处计算报文的出口方向时，将5G链路的权重值取值为3。

在一些实施例中，可以根据哈希值与权重之和的比值的余数确定报文的转发链路。示例性地，余数值与链路之间的转换关系可参阅下述表2所示。

表2

余数值	链路
0≤n<1	5G
1≤n<4	2.4G
4≤n<10	PLC

应理解，上述表2仅是一种示意性说明，当链路的剩余权重比值不同时，余数值与链路的对应关系也可能发生变化。也就是说，当余数值0≤n<1，则从路由器将报文从5G链路的出口转发出去；当1≤n<4时，从路由器将报文从2.4G链路的出口转发出去；当4≤n<10时，则从路由器将报文从PLC链路的出口转发出去。

S603、从路由器按照确定的转发链路将报文转发给主路由器。

以表1为例，假设Flow1的五元组信息哈希之后的哈希值与链路权重之和相比，余数为5，则从路由器可将Flow1按照PLC链路转发给主路由器。即不同的流，可能通过相同或不同的链路转发给主路由器。

通过上述实施例，可以基于五元组的维度区分每一条流，然后使用五元组信息进行分流，可以实现对流的精细化控制。并且，在流的搬移时，可以搬移一条或者多条流到其它的网卡上，以实现并发链路上的负载均衡。

需要说明的是，本申请提供的上述各个实施例的全部或部分，均可以自由地、任意地相互组合。组合后的技术方案，也在本申请的范围之内。

为了实现上述本申请实施例提供的方法中的各功能，网络设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

基于以上实施例，本申请实施例还提供了一种流的搬移设备，该设备可以为前述实施例中的网络设备、路由器设备。参阅图8所示，流的搬移设备800包括：收发器801、处理器802以及存储器803。其中，收发器801、处理器802以及存储器803之间相互连接。

可选的，收发器801、处理器802以及存储器803之间通过总线804相互连接。总线804可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器803，用于存放程序指令和数据等。具体地，程序指令可以包括程序代码，该程序代码包括计算机操作指令。存储器803可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。处理器802调用存储器803中存储的程序指令和数据，使得流的搬移设备800执行下述步骤：

确定第一链路和第二链路上的负载处于负载失衡状态第一链路和所述第二链路为该 设备的上行传输方向上包括的链路，第一链路的带宽占用率大于第二链路的带宽占用率；从第一链路上搬移N条流，第一链路上当前正在传输的流的总数量为M，M、N均为正整数，且M>N。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800执行下述步骤：

获取第一链路的带宽占用率和第二链路的带宽占用率；若确定第一链路的带宽占用率大于第一设定阈值，且第二链路的带宽占用率小于第二设定阈值，则确定第一链路和第二链路上的负载处于负载失衡状态。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800从第一链路上搬移N条流之前，还执行下述步骤：

确定自身设备的上行传输方向上包括的链路满足流搬移条件，该流搬移条件包括如下条件中的至少一项：上行传输方向上包括至少两条链路；至少一条链路的带宽占用率大于第一设定阈值，且其它链路的带宽占用率小于第二设定阈值；流的搬移的目的链路的链路权重大于流的搬移的源链路的链路权重；带宽占用率最小的链路的链路带宽>上行传输方向上包括的链路的总链路带宽*W，0<W<1；相邻两次的流的搬移时间间隔小于等于设定值。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800从第一链路上搬移N条流之前，还执行下述步骤：

确定所述第一链路上需要搬移的流的数量N。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800执行下述步骤：

获取第一链路上当前正在传输的流的总数量M；确定设定比例的流的数量，设定比例为所述第一链路上当前正在传输的流的总数量M的设定比例；将设定比例的流的数量作为第一链路上需要搬移的流的数量N。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800执行下述步骤：

确定设定比例的流的数量，设定比例为第一链路上当前正在传输的流的总数量的设定比例；若设定比例的流的数量大于设定阈值，则将设定阈值作为搬移的流的数量N；若设定比例的流的数量小于设定阈值，则将设定比例的流的数量作为搬移的流的数量N。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800确定第一链路和第二链路上的负载处于负载失衡状态之前，还执行下述步骤：

接收用户设备发送的第一报文，并将第一报文对应的流记录在第一流表中，第一流表中包括网络设备转发的流的记录信息，记录信息包括五元组信息、流的接收端口、流的转发端口，所述第一报文包括Q条流，所述Q为正整数，且Q>M。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800执行下述步骤：

删除第一流表中的N条流；接收用户设备发送的第二报文，并对第二报文对应的流中包括的N条流分配转发链路；将N条流按照分配的转发链路进行搬移。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800执行下述步骤：

根据N条流的五元组信息和网络设备的上行传输方向上包括的至少两条链路的剩余带宽，将N条流分配在所述网络设备的上行传输方向上包括的至少两条链路上。

在一种可能的实现方式中，处理器802调用存储器803中存储的所述指令，使得流的搬移设备800对N条流进行搬移之后，还执行下述步骤：

确定搬移第一链路上的P条流；对P条流进行搬移，第一链路上当前正在传输的流的总数量为L，所述L为大于0的整数，P为大于等于0的整数，且L>P，L<M。

在本申请实施例中，处理器802可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储器803中，处理器802读取存储器803中的程序指令，结合其硬件完成上述任意一种实施例方法的步骤。

在本申请实施例中，存储器803可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatile memory)，例如RAM。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储指令和/或数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于以上实施例，本申请还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被计算机执行时，使得所述计算机执行以上实施例提供的方法。

本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行以上实施例提供的方法。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (11)

1. 一种流的搬移方法，应用于网络设备，所述网络设备支持多网卡，其特征在于，所述方法包括：

   网络设备确定第一链路和第二链路上的负载处于负载失衡状态，所述第一链路和所述第二链路为所述网络设备的上行传输方向上包括的链路，所述第一链路的带宽占用率大于所述第二链路的带宽占用率；

   所述网络设备从所述第一链路上搬移N条流，所述第一链路上当前正在传输的流的总数量为M，所述M、N均为正整数，且M>N。
2. 如权利要求1所述的方法，其特征在于，网络设备确定第一链路和第二链路上的负载处于负载失衡状态，包括：

   网络设备获取所述第一链路的带宽占用率和所述第二链路的带宽占用率；

   所述网络设备若确定所述第一链路的带宽占用率大于第一设定阈值，且所述第二链路的带宽占用率小于第二设定阈值，则确定第一链路和第二链路上的负载处于负载失衡状态。
3. 如权利要求1或2所述的方法，其特征在于，所述网络设备从所述第一链路上搬移N条流之前，所述方法还包括：

   所述网络设备确定自身设备的上行传输方向上包括的链路满足流搬移条件，所述流搬移条件包括如下条件中的至少一项：

   上行传输方向上包括至少两条链路；

   至少一条链路的带宽占用率大于第一设定阈值，且其它链路的带宽占用率小于第二设定阈值；

   流的搬移的目的链路的链路权重大于流的搬移的源链路的链路权重；

   带宽占用率最小的链路的链路带宽>上行传输方向上包括的链路的总链路带宽*W，0<W<1；

   相邻两次的流的搬移时间间隔小于等于设定值。
4. 如权利要求1-3任一项所述的方法，其特征在于，所述网络设备从所述第一链路上搬移N条流之前，所述方法还包括：

   所述网络设备确定所述第一链路上需要搬移的流的数量N；

   所述网络设备确定所述第一链路上需要搬移的流的数量N，包括：

   所述网络设备获取所述第一链路上当前正在传输的流的总数量M；

   所述网络设备确定设定比例的流的数量，所述设定比例为所述第一链路上当前正在传输的流的总数量M的设定比例；

   所述网络设备将所述设定比例的流的数量作为所述第一链路上需要搬移的流的数量N。
5. 如权利要求1-3任一项所述的方法，其特征在于，所述网络设备从所述第一链路上搬移N条流之前，所述方法还包括：

   所述网络设备确定所述第一链路上需要搬移的流的数量N；

   所述网络设备确定所述第一链路上需要搬移的流的数量N，包括：

   所述网络设备确定设定比例的流的数量，所述设定比例为所述第一链路上当前正在传输的流的总数量的设定比例；

   若所述设定比例的流的数量大于设定阈值，则将所述设定阈值作为搬移的流的数量N；

   若所述设定比例的流的数量小于设定阈值，则将所述设定比例的流的数量作为搬移的流的数量N。
6. 如权利要求1-5任一项所述的方法，其特征在于，网络设备确定第一链路和第二链路上的负载处于负载失衡状态之前，所述方法还包括：

   所述网络设备接收用户设备发送的第一报文，并将所述第一报文对应的流记录在第一流表中，所述第一流表中包括所述网络设备转发的流的记录信息，所述记录信息包括五元组信息、流的接收端口、流的转发端口，所述第一报文包括Q条流，所述Q为正整数，且所述Q>M。
7. 如权利要求6所述的方法，其特征在于，所述网络设备从所述第一链路上搬移N条流，包括：

   所述网络设备删除所述第一流表中的N条流；

   所述网络设备接收用户设备发送的第二报文，并对所述第二报文对应的流中包括的N条流分配转发链路；

   所述网络设备将所述N条流按照分配的转发链路进行搬移。
8. 如权利要求7所述的方法，其特征在于，所述网络设备对所述第二报文对应的流中包括的N条流分配转发链路，包括：

   所述网络设备根据所述N条流的五元组信息和所述网络设备的上行传输方向上包括的至少两条链路的剩余带宽，将所述N条流分配在所述网络设备的上行传输方向上包括的至少两条链路上。
9. 如权利要求1-8任一项所述的方法，其特征在于，所述网络设备对所述N条流进行搬移之后，所述方法还包括：

   所述网络设备确定搬移所述第一链路上的P条流；

   所述网络设备对所述P条流进行搬移，所述第一链路上当前正在传输的流的总数量为L，所述L为大于0的整数，所述P为大于等于0的整数，且L>P，L<M。
10. 一种网络设备，其特征在于，所述网络设备包括一个或多个处理器；一个或多个存储器以及一个或多个计算机程序；

    其中，所述一个或多个计算机程序被存储在所述一个或多个存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器调用执行时，使得所述网络设备执行如权利要求1-9任一项所述的方法。
11. 一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在网络设备上运行时，使得所述第一网络设备执行如权利要求1-9任一项所述的方法。

Images