WO2011110026A1

WO2011110026A1 - 一种实现数据中心资源负载均衡的方法及装置

Info

Publication number: WO2011110026A1
Application number: PCT/CN2010/078247
Authority: WO
Inventors: 田文洪; 卢国明; 景晨; 钟元椋; 胡金安; 董旭
Original assignee: 华为技术有限公司
Priority date: 2010-10-29
Filing date: 2010-10-29
Publication date: 2011-09-15
Also published as: US8510747B2; CN102232282B; US20120204176A1; CN102232282A

Abstract

本发明涉及一种实现数据中心资源负载均衡的方法及装置，技术方案中所述方法包括：获取调度域内各物理机属性的当前利用率，并根据所述当前利用率确定剩余能力满足当前分配任务的物理机，所述属性包括CPU负载、内存负载及网络负载；根据所述当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；选择所述负载方差值最小的物理机部署所述当前分配任务。本发明所述装置包括选择控制模块、计算处理模块及部署执行模块。采用本发明的技术方案，能够解决用户需求规定和物理服务器规定不一致造成的物理服务器负载不均衡问题。

Description

一种实现数据中心资源负载均衡的方法及装置技术领域

本发明涉及计算机数据处理领域，更具体的说，涉及一种实现数据中心资源负载均衡的方法及装置。

发明背景

云计算数据中心作为一些大型服务器集群，存在大量规格配置存在差异的的物理服务器，通过虚拟化技术，每个物理服务器可以虚拟出多个虚拟机为用户来部署和调度资源。通常云计算数据中心调度系统的主要流程如图 1所示：用户通过 Internet发起请求；超级调度中心依据用户的身份特征和请求的业务特征，将该请求提交给合适的数据中心，再由数据中心的管理程序提交给某个调度域，在调度域内执行某种调度算法，对该资源请求分配；调度中心在后台同时执行优化操作，将不同数据中心的资源按照优化目标函数和空闲及配置等信息排序，以备后来者使用；对该资源请求分配后，执行调度任务，部署资源，用户开始使用资源。

云计算数据中心将虚拟机按用户需求规格动态地自动化地分配给用户。但是由于用户的需求规格和数据中心所有物理服务器的规格配置很可能不一致，如果采用常用的轮转法，加权轮转法，最小负载（或链接数）优先，加权最小负载优先法，哈希法等简单的分配调度方法，很难达到物理服务器负载均衡。

轮转法通过预先设定一个轮转周期，依次将用户需求的虚拟机分配给不同的物理服务器，一个轮转周期结束后重新开始新一个轮转，可以看出此方法在分配虚拟机时并没有考虑负载均衡的问题。

加权轮转法通过预先对物理服务器设定权值，在负载均衡分配虚拟机的过程中，轮转选择物理服务器，如果被选择的物理服务器的权值为 0，则跳过该服务器并选择下一台，如被选择的服务器的权值不为 0，则选中该服务器并将该服务器的权值减 1，后继的选择在前次选择的基础上轮转，因此权值高的物理服务器获得的服务次数就与其权值成正比。

最小负载（或链接数）优先法在每次分配虚拟机时，要先检査当前一段时间内所有物理服务器的负载情况，然后选择当前一段时间内负载最小的物理服务器分配虚拟机，但该方法是合理的平均分配访问量来实现均衡，不是虚拟机的调度与分配，不能实现数据中心内各物理资源的负载均衡。

加权最小负载优先法，与加权轮转法类似，对规格配置不一致的物理服务器设定不同的权值，按照服务器设定的权值来选择分配虚拟机。

哈希法，主要是通过预先设计一个哈希函数，用于映射用户需求的虚拟机到相应的物理服务器上，执行速度较快，但如何设计既满足用户规格需求又满足不同物理服务器规格配置，并能解决负载不均衡的问题的一个哈希函数几乎是不可能的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：上述简单的分配调度方法，均不能解决用户规格需求和物理服务器规格配置不一致造成的各物理服务器负载不均衡问题。发明内容

本发明的目的是提供一种实现数据中心资源负载均衡的方法及装置，能够解决用户需求规格与物理服务器配置不一致造成的物理服务器负载不均衡的问题。

本发明实施例提供了一种实现数据中心资源负载均衡的方法，包括：

一种实现数据中心资源负载均衡的方法，其特征在于，包括：

获取调度域内各物理机属性的当前利用率，并根据所述当前利用率确定剩余能力满足当前分配任务的物理机，所述属性包括 CPU负载、内存负载及网络负载；

根据所述当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

选择所述负载方差值最小的物理机部署所述当前分配任务。

本发明实施例提供了一种实现数据中心资源负载均衡的装置，包括：

选择控制模块，用于获取调度域内各物理机属性的当前利用率，并根据所述当前利用率确定剩余能力满足当前分配任务的物理机，所述属性包括 CPU负载、内存负载及网络负载；

计算处理模块，用于根据所述当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

部署执行模块，用于选择所述负载方差值最小的物理机部署所述当前分配任务。

由上述本发明的实施例提供的技术方案可以看出，通过对调度域中各物理机的属性以及当前利用率进行监控，能够及时确定物理机当前的负载状态，同时采用均方差最小值法来选择合适的物理机，解决了需求规格不同造成的负载不均衡的问题。

附图简要说明

图 1为现有调度系统参考体系结构示意图；

图 2为本发明实施例一种实现数据中心资源负载均衡的方法流程图；

图 3为本发明实施例一种实现数据中心资源负载均衡的方法具体流程图；

图 4为本发明实施例一种实现数据中心资源负载均衡的装置结构示意图；

图 5为本发明实施例一种实现数据中心资源负载均衡的装置具体结构示意图。

实施本发明的方式

本发明实施例一种实现数据中心资源负载均衡的方法及装置，能够根据获取的调度域内各物理机属性的当前利用率来确定剩余能力满足当前分配任务的物理机；根据当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；选择所述负载方差值最小的物理机部署所述当前分配任务。由于剩余能力是根据获取到的各物理机属性的当前利用率确定的，因此该剩余能力代表了调度中各物理机的实际状态；在计算负载方差值的过程中，根据用户任务需求对部署虚拟机后的物理机的负载程度进行了预测，因此能够准确的考虑到部署虚拟机后各物理机的负载状态，从而选择合适的虚拟机进行任务部署。解决了云计算数据中心现有简单调度分配方法不能解决用户需求规格和数据中心物理服务器配置规格不一样产生的负载不均衡问题。

下面为了进一步理解本发明实施例的技术方案，下面结合附图进行说明。

首先，对本发明实施例的实现过程中涉及的参数进行定义，具体如下： ( 1 ) 一个 CPU的利用率定义为：该 CPU在时间 t内的平均利用率；

一台物理机的 CPU的利用率 lc定义为：这台物理机上所有 CPU的利用率的平均值；

一个调度域内的 CPU负载均值 Vc定义为：一个调度域内的所有物理机的 CPU利用率，依据物理机各自的 CPU个数 (n_Ui)进行加权平均，得到 CPU负载均值 Vc，负载告警值 δ c=b+Vc,其中 b为自定义常量，

( 2 ) 一台物理机的内存的利用率 lm定义为：该物理机内存在时间 t内的平均利用率；内存负载均值 Vm的定义：一个调度域内的所有物理机的内存的利用率，依据物理机各自的内存大小 nu进行加权平均的平均值 Vm;

负载告警值 S m=b+Vm，其中 b为自定义常量， Vm= (∑1π¾ *π¾ ) /∑m_{i ;}

( 3 ) 一台物理机的网络的利用率 In定义为：此物理机网络在时间 t内的平均利用率；网络负载均值 Vn的定义：一个调度域内的所有物理机的网络的利用率，依据物理机各自的网络带宽大小进行加权平均的平均值 Vn;

负载告警值 S n=b+Vn，其中 b为自定义常量， Vn= ( Σ

) /∑n_{i ;}

(4)一台物理机的综合负载 M的定义：综合负载是一个六维向量， Mi = (_Ci, mi, bi, lCi, 1ι¾， lm) ; 其中 _Ci 代表物理服务器 i的 CPU计算能力（可用 CPU clock speed Ghz或等价值衡量）， 1¾表示物理服务器 i的内存总大小（可用 Giga byte为单位衡量）， ^表示物理服务器 i的对外总带宽（可用 Mbps为单位衡量），（l_Ci， lmi, l )分别为前一段时间 t内物理服务器 i的 CPU, 内存和网络带宽的利用率平均值；

( 5 )物理服务器的剩余能力（CPU, 内存，网络） =该物理服务器的总（CPU, 内存，网络）能力 -该物理服务器已被暂用的 (CPU, 内存，网络）能力；其中，剩余能力可以从（4) 定义的综合负载六维向量计算出。

如图 2所示，本发明实施例一种实现数据中心资源负载均衡的方法，技术方案包括：步骤 201、获取调度域内各物理机属性的当前利用率，并根据所述当前利用率确定剩余能力满足当前分配任务的物理机，所述属性包括 CPU负载、内存负载及网络负载；

步骤 202、根据所述当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

步骤 203、选择所述负载方差值最小的物理机部署所述当前分配任务。

可见，通过获取调度域内各物理机属性的当前利用率，能够充分获知当前物理机的实际剩余能力，同时，由于在选择部署的物理机的过程中，采用了均方差最小值法，解决了需求规格不同造成的负载不均衡问题。

在本发明的一个实施例中，步骤 201中根据所述当前利用率确定剩余能力满足当前分配任务的物理机，包括：

( 1 )将所述调度域内各物理机属性的总负载能力与所述各物理机属性的当前利用率的差值，做为所述各物理机属性的剩余能力；

( 2 )将所述剩余能力与所述当前分配任务的规格做比较，确定所述剩余能力大于或等于当前分配任务规格的物理机。

需要说明的是，本发明实施例中物理机属性的总负载能力是指该物理机具有的 CPU、内存及网络的总大小；各物理机 CPU的当前利用率是其所具有的 CUP实际利用率的平均值。各物理机的剩余能力可以采用上述定义（5 ) 剩余能力的公式计算出来。

例如：一个物理机 PM1的总负载能力为，（4CU， 3G， 100M) ，该物理机内存的当前利用率是 50%，网络当前利用率是 10%，该物理机包含了 4个 CPU, 第一个 CPU实际利用率是 30%，第二个 CPU实际利用率是 30%，第三个 CPU实际利用率是 40%，第 4个 CPU实际利用率是 20%，那么该物理机 CPU的当前利用率为（30%+30%+40%+20%) /4=30%；

用定义（4)提出的物理机综合负载形式表示该物理机的综合负载 PM1的具体形式为：

PM1= (4CU, 3G， 100M, 30%, 50%, 10%)

PM1属性的剩余能力= (4* ( 1-30%) ， 3* ( 1-50%) ， 100* ( 1-10%) ) = (2. 8, 1. 5, 90) .

用 PM1的剩余能力与当前分配任务的规格做比较，来判断是否满足当前分配任务，例如：当前分配任务为（2， 1 , 10) ，该 PM1的剩余能力满足当前分配任务。在本发明的一个实施例中，步骤 202根据所述当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值，具体包括：

( 1 )针对满足所述当前分配任务的物理机，对所述物理机部署虚拟机后的属性的利用率进行预测，获得所述负载预测值；

( 2 )根据所述负载均值及所述负载预测值计算获得所述负载方差值；所述负载方差值的计算公式包括：

D= (a%-x) ²+ (b%-y) ²+ (c%- z) ²

其中， a%、 b%、 c%为对所述物理机预测部署虚拟机后获得的 CPU、内存及网络的负载预测值， χ、 y、 z为所述调度域内当前 CPU负载均值，内存负载均值及网络负载均值。

具体的说，调度域内属性的负载均值 Vc、 Vm、 Vn可以根据定义（1 ) ( 2 ) (3)中描述的方法，来根据获得的属性当前利用率 lc、 lm、 In计算获得。

在对物理机部署虚拟机后的属性利用率进行预测时，本发明实施例中要遵循预定的规则，所述预定规则包括：

在预测部署虚拟机时，对于所在物理服务器来说，该物理服务器的综合负载要增加，因此总是按照虚拟机属性（CPU、内存、网络）所需的最大份额计算其属性预测值，以留足资源；同时若在观察一段时间 t后发现该虚拟机并未使用到所要求的最大份额，则再分配虚拟机时进行动态调整。

也就是说，对于一个物理机来说，其 CPU预测值 =CPU当前利用率 + (虚拟机所占 CPU/该物理机总 CPU) *100%；内存预测值 =内存当前利用率 + (虚拟机所占内存 /该物理机总内存） *100%；网络预测值=网络当前利用率 + (虚拟机所占网络负载 /该物理机总网络负载） *100%。在本发明的一个实施例中，所述方法还可以包括: 判断所述当前分配任务是否为单虚拟机任务；

当所述当前分配任务为单虚拟机任务时，将所述调度域内的各物理机排列成 n X (m+2)矩阵， m=MAX (单物理机 CPU的个数），矩阵的每一行为每个物理机各 CPU在一段时间内的利用率、内存利用率及网络利用率，每一列为所述调度域中各物理机；

当所述当前分配任务非单虚拟机任务时，将所述调度域内各物理机集群排列成 n X 3矩阵，矩阵的每一行为一个物理机集群的 CPU—段时间内的利用率，内存利用率及网络利用率，每一列为所述调度域中各物理机集群。

需要说明的是，由于本发明实施例中是要根据二维网格算法来确定最佳的物理机部署虚拟机任务，因此要将每个物理机的属性信息，排列成矩阵的形式。使用二维网格算法时，二维网格每一行并行计算出每个物理机的各属性的加权后的方差，形成一列值，然后每一列再排序找出方差值最小的物理机进行部署。

由于物理机集群属于特殊业务，因此集群的 CPU当前利用率用一个能力值来表示，此能力值为集群内所有物理机的 CPU实际能力的平均值。在本发明的一个实施例中，步骤 203选择所述负载方差值最小的物理机部署所述当前分配任务，包括：

当所述当前分配任务为单虚拟机任务时，选择满足所述当前分配任务的物理机中负载方差值最小的物理机进行部署；

当所述当前分配任务为非单虚拟机任务时，选择满足所述当前分配任务的物理机集群中负载方差值最小的物理机进行部署；

当所述负载方差值最小的物理机或物理机集群的数量为大于一个时，任选一个物理机或物理机集群部署当前分配任务。在本发明的一个实施例中，所述方法还可以包括：

( 1 )对所述调度域内各物理机属性的利用率进行监控；

( 2 )在所述属性的利用率超出预定值的物理机触发告警迁移时，根据所述属性的告警值与调度域内该属性负载均值的差值，确定移除所述物理机上的虚拟机；

( 3 ) 为移除的所述虚拟机寻找物理机进行部署。

具体的说，本发明实施例中当调度域中某台物理机的属性，如： CPU、内存、网络一种或多种超过各自的告警值 δ时，将触发告警迁移流程。例如：某个物理机的 CPU告警时，可以用当前告警的 CPU 负载值减去该调度域的 CPU负载均值，得到一个差值，用该差值比较此物理机上所有虚拟机的 CPU利用率，来决定移除哪些虚拟机，具体可以是当当前虚拟机的 CPU利用率中至少有一个大于等于该差值时，要移除一个或多个虚拟机，然后重新计算该差值，并确定该物理机的 CPU是否仍存在告警，如果告警仍存在，则继续对虚拟机进行移除。

在本发明的一个实施例中，为移除的所述虚拟机寻找物理机进行部署，进一步包括：根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；

根据各物理机的当前利用率确定调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

选择所述负载方差值最小的物理机部署所述当前分配任务。

需要说明的是，本发明实施例中为移除的虚拟机进行部署的过程，与为上述步骤 201、 202、 203 所述的分配任务部署的过程相同，也就是说，在告警处理之后，需要为移除的虚拟机任务重新确定一个或多个物理机进行部署。因此，为移除的虚拟机确定物理机的部署过程可以参见上述关于步骤 201、 202、 203中的相关内容，在此不作一一赘述。

在本发明的一个实施例中，所述方法还可以包括：

( 1 ) 确定需要进行优化操作的物理机的 ID;

( 2 )用所述物理机各属性的当前利用率与优化目的值的差值，与所述物理机上各虚拟机的属性利用率做比较，以便确定要移除的虚拟机；

( 3 ) 为移除的所述虚拟机选择物理机进行部署。

需要说明的是，在优化过程中优化目的值是根据管理员的经验预先设定的，同时，在用当前利用率与优化目的值的差值，比较虚拟机各属性利用率来移除虚拟机的过程和目的，与上述告警处理过程中移除虚拟机的技术方案相似，例如：同样在当前虚拟机的 CPU利用率中至少有一个大于等于该差值时，要移除一个或多个虚拟机，然后重新计算该差值，直到确定虚拟机 CPU全部小于该差值时，结束对虚拟机的移除过程。

在本发明的一个实施例中，为移除的所述虚拟机选择物理机进行部署，进一步包括：根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；

选择所述负载方差值最小的物理机部署所述当前分配任务。

需要说明的是，本发明实施例中为移除的虚拟机进行部署的过程，与为上述步骤 201、 202、 203 所述的分配任务部署的过程相同，也就是说，在优化操作之后，需要为移除的虚拟机任务重新确定一个或多个物理机进行部署。因此，为移除的虚拟机确定物理机的部署过程可以参见上述关于步骤 201、 202、 203中的相关内容，在此不作一一赘述。

需要说明的是，上述实施例分别说明了一种实现数据中心资源负载均衡的方法的三个处理过程: ( 1 ) 当前任务的分配过程；（2 ) 告警迁移处理过程；（3 ) 优化操作过程；

本发明实施例为上述三个处理过程分别设定了处理优先级，（2 )大于（3 )大于（1 ) ，可以按照该优先级的顺序执行上述三个过程，但本发明实施例并不限定与该优先级顺序。

图 3所示，表示出按照上述优先级执行本发明实施例技术方案的具体流程图：

首先，判断告警迁移队列中是否有待处理的告警任务，如果有，则实施上述实施例中描述的告警迁移流程；如果没有，则判断优化队列中是否有待处理的优化任务；

如果优化队列中有待处理的优化任务时，则实施上述实施例中描述的优化处理流程；如果没有，则继续判断新任务队列中是否有待处理的分配任务;

当新任务队列中有待处理的分配任务时，实施上述实施例中描述的任务分配流程，没有，则输出当前任务为空的指示。

上述本发明实施例一种实现数据中心资源负载均衡的方法，实际应用中的具体算法如下:

1) checkAlertQueue ()； (优先级最高）

2) if (AlertQueue!=null)

3) {

4) allocTask(FirstTask)；

5) getdownVM(PMID)

6) {

7) 〃计算当前负载超越值

8) getValue=PMLoad- δ；

9) 〃计算得出该迁移下哪些 VM

10) ObtainVM(getValue)；

11) }

12) 〃得到物理机矩阵

13) matri [] [] =getMatri (PM[n] )；

14) 〃二维网格算法找出平均负载最低的 PM

15) Algorithm 2D- mesh (matrix口口)

16) {

17) For(i=l;i<=m+2;i++)

18) For(AllCPU)

19) ComputeLoad ()；

20) For(j=l; j<=n; j++)

21) BubbleSort (PMLoadi)；

22) }

23) return PM;

24) }

25) Else

26) {

27) checkOptimQueue ()； (优先级次于告警队列）

28) if (OptimQueue !=null)

29)

30) allocTask(FirstTask)；

31) getdownVM(PMID)

32) {

33) 〃计算当前负载超越值

34) getValue=PMLoad-EndLoad;

35) 〃计算得出该迁移哪些 VM

36) ObtainVM(getValue)；

37) }

38) 〃得到物理机矩阵

39) matri [] [] =getMatri (PM[n] )；

40) 〃二维网格算法找出平均负载最低的 PM

41) Algorithm 2D- mesh (matrix口口)

42) {

43) For(i=l;i<=m+2;i++)

44) For(AllCPU)

45) ComputeLoad ()；

46) For(j=l; j<=n; j++) 47, BubbleSort (PMLoadi) :48: }

:49: return PM;

:50:

51：

:52:

:53: checkTaskAllocQueue ()； (优先级最低）

:54: if (TaskAllocQueue !=null)

55： {

:56: allocTask(FirstTask)；

57： switch (tasktype)

:58: {

:59: case (SingleVMTask)：

60： {

61：〃得到物理机矩阵

62： matri [] []=getMatrix(PM[n])； :63: 〃二维网格算法找出平均负载最低的 PM :64: Algorithm 2D- mesh (matrix口口) :65: {

:66: For(i=l;i<=m+2;i++)

:67: For(AllCPU)

ComputeLoad ()；

For(j=l; j<=n; j++)

BubbleSort (PMLoadi)；

}

return PM;

}

74： case (ClusterTask)：

{

〃得到物理机集群矩阵

matrix [] [] =getMatr ix (PCluster [n] )；

78：〃二维网格算法找出平均负载最低的 PCluster 79： Algorithm 2D- mesh (matrix口口) :80: {

:81: For(i=l;i<=m+2;i++)

:82: For (All PCluster)

83： ComputeLoad ()；

84： For(j=l; j<=n; j++)

85： BubbleSort (PCluster Loadi)； 86： }

87： return PCluster;

88： }

89： default:

90： return Error;

91： }

92： }

93： Else

94： {

95： return NoTask;

:96:

:97:

98：如图 4所示，基于上述图 2的方法实施例，本发明实施例提供了一种实现数据中心资源负载均衡的装置，包括：

选择控制模块 41，用于获取调度域内各物理机属性的当前利用率，并根据所述当前利用率确定剩余能力满足当前分配任务的物理机，所述属性包括 CPU负载、内存负载及网络负载；

计算处理模块 42，用于根据所述当前利用率确定所述调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

部署执行模块 43，用于选择所述负载方差值最小的物理机部署所述当前分配任务。

如图 5所示，在本发明的一个实施例中，选择控制模块 41可以包括：

计算单元 411，用于将所述调度域内各物理机属性的总负载能力与所述各物理机属性的当前利用率的差值，做为所述各物理机属性的剩余能力；

判定单元 412，用于将所述剩余能力与所述当前分配任务的规格做比较，确定所述剩余能力大于或等于当前分配任务规格的物理机。

在本发明的一个实施例中，计算处理模块 42可以包括：

预测单元 421，用于针对满足所述当前分配任务的物理机，对所述物理机部署虚拟机后的属性的利用率进行预测，获得所述负载预测值；

确定单元 422，用于根据所述负载均值及所述负载预测值计算获得所述负载方差值；所述负载方差值的计算公式包括：

D= (a%- X) ²+ (b%-y) ²+ (c%- z) ²

其中， a%、 b%、 c%为对所述物理机预测部署虚拟机后获得的 CPU、内存及网络的负载预测值， x、 y、 z为所述调度域内当前 CPU负载均值，内存负载均值及网络负载均值。

在本发明的一个实施例中，所述装置还包括：

任务处理模块 44，用于判断所述当前分配任务是否为单虚拟机任务；

在本发明的一个实施例中，部署执行模块 43可以包括：

选择单元 431，用于判断当所述负载方差值最小的物理机或物理机集群的数量是否为大于一个；执行单元 432，用于当所述物理机或物理机集群的数量为一个时，选择满足所述当前分配任务的物理机或物理机集群中负载方差值最小的物理机或物理机集群进行部署；当所述物理机或物理机集群的数量为大于一个时，任选一个物理机或物理机集群部署当前分配任务。

在本发明的一个实施例中，所述装置还可以包括：告警监控模块 45，用于对所述调度域内各物理机属性的利用率进行监控；

告警迁移模块 46，用于在所述属性的利用率超出预定值的物理机触发告警迁移时，根据所述属性的告警值与调度域内该属性负载均值的差值，确定移除所述物理机上的虚拟机；

迁移部署模块 47，用于为移除的所述虚拟机寻找物理机进行部署。

在本发明的一个实施例中，迁移部署模块 47进一步包括：

计算处理单元 471，用于根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；以及，根据各物理机的当前利用率确定调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

部署执行单元 472，用于选择所述负载方差值最小的物理机部署所述当前分配任务。

在本发明的一个实施例中，所述装置还可以包括：

优化选择模块 48，用于确定需要进行优化操作的物理机的 ID;

优化操作模块 49，用于用所述物理机各属性的当前利用率与优化目的值的差值，与所述物理机上各虚拟机的属性利用率做比较，以便确定要移除的虚拟机；

优化部署模块 50，用于为移除的所述虚拟机选择物理机进行部署。

在本发明的一个实施例中，优化部署模块 50进一步包括：

优化计算单元 501，用于根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；以及，根据各物理机的当前利用率确定调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

优化部署单元 502，用于选择所述负载方差值最小的物理机部署所述当前分配任务。

需要说明的是，本发明所述的装置实施例是基于上述图 2的方法实施例获得的，其中各功能模块与图 2方法实施例中各步骤一一对应，因此本发明所述的装置实施例与图 2的方法实施例包含了相同或相应的技术特征，本发明所述的装置实施例中涉及的具体技术方案已经在图 2实施例中作出了同样的描述，具体可以参见图 2的方法实施例，在此不作赘述。

下面将结合具体实例进一步说明本发明的技术方案，以上述三个处理过程中的新任务分配过程为例，对本发明的技术方案进行说明。

分配虚拟机任务如下：

输入任务：虚拟机部署任务规格 VMx: 2CU (2个 CPU计算能力单元）、 1G内存、 10M带宽，该任务规格可以表示为（2， 1, 10) ；

步骤 100、获取调度域内各物理机属性的当前利用率；

具体包括：该调度域内设定有三个物理机， PM1 的总负载能力为 4CU， 3G， 100M，其中获取到的 4 个 CPU各自的实际利用率是 30%、 30%, 30%, 20%, 因此根据所述实际利用率获得的 CPU当前利用率为 30%，获取到的内存当前利用率为 50%，网络当前利用率为 10%_;

PM2的总负载能力为 6CU， 3G， 100M,其中获取到的 6个 CPU各自的实际利用率是 10%、 10%, 5%， 10%、 10%、 15%, 因此根据所述实际利用率获得的 CPU当前利用率为 10%，获取到的内存当前利用率为 10%，网络当前利用率为 30%; PM1的总负载能力为 2CU， 2G， 100M,其中获取到的 2个 CPU各自的实际利用率是 70%、 70%, 因此根据所述实际利用率获得的 CPU当前利用率为 70%，获取到的内存当前利用率为 60%，网络当前利用率为 40%;

为了更清楚的表述出 PM1的综合负载状态，采用定义（4 )将三个物理机的综合负载能力表述为： PM1= (4CU, 3G, 100M, 30%, 50%, 10%)

PM2= (6CU, 3G, 100M, 10%, 10%, 30%)

PM3= (2CU, 2G, 100M, 70%, 60%, 40%)

200、根据所述当前利用率确定剩余能力满足当前分配任务的物理机；

具体包括：将调度域内的 n个物理机列成 n X (m+2)矩阵 (m=MAX (单物理机 CPU的个数)），矩阵的每一行为物理机的各个 CPU各自在一段时间（比如时间 t ) 内的实际利用率、内存当前利用率、网络当前利用率，每一列为此调度域内所有物理机；

在本实施例中 n=3， m=6，因此，矩阵表示为：

PM1 30% 30% 40% 20% * * 50% 10%

PM2 10% 10% 5% 10% 10% 15% 10% 30%

PM3 70% 70% * * * * 60% 40%, 其中 *号处表示对应的位置为空。

通过二维网格算法确定三个物理机的剩余能力：

首先，采用定义（5 ) 中剩余能力 =总能力一已被暂用的能力，并行计算所有物理机的剩余能力：

PM1= (4* ( 1-30%) ， 3* (1-50%)， 100* (1-10%) ) = (2. 8, 1. 5, 90)；

PM2= (6* ( 1-10%) ， 3* (1-10%)， 100* (1-30%) ) = (5. 4, 2. 7, 70)；

PM3= (2* ( 1-70%) ， 2* (1-60%)， 100* (1-40%) ) = (0. 6, 0. 8, 60)；

与输入一任务规格（2， 1, 10) 相对比，确定 PM3剩余能力（CPU,内存）不够，只有 PM1和 PM2 剩余能力满足；

300、根据所述当前利用率确定所述调度域属性的负载均值；

具体包括：采用上述定义（1 ) (2 ) ( 3 ) 中提出的算法计算获得该调度域中 CPU负载均值 Vc，内存负载均值 Vm以及网络负载均值 Vn。

具体的 Vc= (∑lCi*n_Ui ) /∑nui=40%

400、根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；具体的负载方差值通过 D= (a%-x) ²+ (b%-y) ²+ (c%-z) ²计算获得，其中， a%、 b%、 c%为预测部署虚拟机后 CPU、内存、网络的利用率， x、 y、 z为调度域内当前 CPU负载均值 Vc，内存负载均值 Vm，网络负载均值 Vn。

预测该物理机部署虚拟机后的负载预测值时，按照上述实施例提出的预测规则进行预测，总是考虑该虚拟机（CPU, 内存，网络）所需的最大份额计算，以留足资源；同时若在观察一段时间 t后发现该虚拟机并未使用到其所要求的最大份额，则再分配虚拟机时动态调整。

对于第一个物理机 PM1的负载方差值 D1的计算过程如下：

PM1 = (4CU, 2G, 100M, 30%, 50%, 10%)；

计算放置虚拟机后的 CPU利用率预测值 a%=30%+ (2/4) *100%=80%；

内存利用率预测值 b%=50%+ (1/3) *100%=83%；

网络利用率预测值 c%=10%+ (10/100) *100%=20%；

Dl= (80%- 40%) 2+ (83%- 50%) 2+ (20%- 20%) 2=0. 2689。

对于第二个物理机 PM2负载方差值 D2的计算过程如下：

PM2 = (6CU, 3G, 100M, 10%, 10%, 30%)；

计算放置虚拟机后的 CPU利用率预测值 a%=10%+ (2/6) *100%=43% ;

内存利用率预测值 b%=10%+ (1/3) *100%=43%；

网络利用预测值率 c%=30%+ (10/100) *100%=40%；

D2= (43%- 40%) 2+ (43%- 50%) 2+ (40%- 20%) 2=0. 0458。

500、上一步的并行计算生成 2个子和 Dl、 D2, 作为一列，对这一列进行一维的排序，査找出 D 值最小的一个合适的物理机，此处排序结果为 PM2; 即选定 PM2作为要部署的物理机；

600、当找到有几个物理机的 D值相同时，则认为他们等价，则任选一个 PMx作为部署的物理机；

700、输出分配结果：将此虚拟机分配任务部署到物理机 PM2上。

由上述实施例可知，本发明实施例针对目前常用的负载均衡调度算法很难解决用户需求和物理服务器规格不一致造成的物理服务器负载不均衡问题，提出了一个依据动态负载反馈调整的负载均衡算法。通过对物理机属性当前利用率进行获取，能够准确获得各物理机的实际剩余能力；通过对该物理机部署虚拟机后的属性进行预测，能够更好的获知各物理机部署虚拟机后的负载状态，选择最佳的物理机进行部署，以便保证各物理机的负载均衡。能够更客观的找到使系统负载最均衡的物理机进行分配，解决了需求规则与服务器规格不同带来的负载不均衡的问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体 (Read- Only Memory, ROM) 或随机存储记忆体 (Random Access Memory, RAM) 等。

Claims

权利要求

1、一种实现数据中心资源负载均衡的方法，其特征在于，包括：

选择所述负载方差值最小的物理机部署所述当前分配任务。

2、根据权利要求 1所述的方法，其特征在于，根据所述当前利用率确定剩余能力满足当前分配任务的物理机，包括：

将所述调度域内各物理机属性的总负载能力与所述各物理机属性的当前利用率的差值，做为所述各物理机属性的剩余能力；

将所述剩余能力与所述当前分配任务的规格做比较，确定所述剩余能力大于或等于当前分配任务规格的物理机。

3、根据权利要求 2所述的方法，其特征在于，根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值，包括：

针对满足所述当前分配任务的物理机，对所述物理机部署虚拟机后的属性的利用率进行预测，获得所述负载预测值；

根据所述负载均值及所述负载预测值计算获得所述负载方差值；所述负载方差值的计算公式包括：

D= (a%- X) ²+ (b%-y) ²+ (c%- z) ²

4、根据权利要求 1或 2所述的方法，其特征在于，所述方法还包括：

判断所述当前分配任务是否为单虚拟机任务；

5、根据权利要求 4所述的方法，其特征在于，选择所述负载方差值最小的物理机部署所述当前分配任务，包括：

当所述负载方差值最小的物理机或物理机集群的数量为大于一个时，任选一个物理机或物理机集群部署当前分配任务。

6、根据权利要求 1所述的方法，其特征在于，所述方法还包括：

对所述调度域内各物理机属性的利用率进行监控；

在所述属性的利用率超出预定值的物理机触发告警迁移时，根据所述属性的告警值与调度域内该属性负载均值的差值，确定移除所述物理机上的虚拟机；

为移除的所述虚拟机寻找物理机进行部署。

7、根据权利要求 6所述的方法，其特征在于，为移除的所述虚拟机寻找物理机进行部署，进一步包括：

根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；根据各物理机的当前利用率确定调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

选择所述负载方差值最小的物理机部署所述当前分配任务。

8、根据权利要求 1所述的方法，其特征在于，所述方法还包括：

确定需要进行优化操作的物理机的 ID;

用所述物理机各属性的当前利用率与优化目的值的差值，与所述物理机上各虚拟机的属性利用率做比较，以便确定要移除的虚拟机；

为移除的所述虚拟机选择物理机进行部署。

9、根据权利要求 8所述的方法，其特征在于，为移除的所述虚拟机选择物理机进行部署，进一步包括：

选择所述负载方差值最小的物理机部署所述当前分配任务。

10、一种实现数据中心资源负载均衡的装置，其特征在于，包括：

11、根据权利要求 10所述的装置，其特征在于，选择控制模块包括：

计算单元，用于将所述调度域内各物理机属性的总负载能力与所述各物理机属性的当前利用率的差值，做为所述各物理机属性的剩余能力；

判定单元，用于将所述剩余能力与所述当前分配任务的规格做比较，确定所述剩余能力大于或等于当前分配任务规格的物理机。

12、根据权利要求 11所述的装置，其特征在于，计算处理模块包括：

预测单元，用于针对满足所述当前分配任务的物理机，对所述物理机部署虚拟机后的属性的利用率进行预测，获得所述负载预测值；

确定单元，用于根据所述负载均值及所述负载预测值计算获得所述负载方差值；所述负载方差值的计算公式包括：

D= (a%- X) ²+ (b%-y) ²+ (c%- z) ²

13、根据权利要求 11或 12所述的装置，其特征在于，所述装置还包括：

任务处理模块，用于判断所述当前分配任务是否为单虚拟机任务；

14、根据权利要求 10或 13所述的装置，其特征在于，部署执行模块包括：

选择单元，用于判断当所述负载方差值最小的物理机或物理机集群的数量是否为大于一个；执行单元，用于当所述物理机或物理机集群的数量为一个时，选择满足所述当前分配任务的物理机或物理机集群中负载方差值最小的物理机或物理机集群进行部署；当所述物理机或物理机集群的数量为大于一个时，任选一个物理机或物理机集群部署当前分配任务。

15、根据权利要求 10所述的装置，其特征在于，所述装置还包括：

告警监控模块，用于对所述调度域内各物理机属性的利用率进行监控；

告警迁移模块，用于在所述属性的利用率超出预定值的物理机触发告警迁移时，根据所述属性的告警值与调度域内该属性负载均值的差值，确定移除所述物理机上的虚拟机；

迁移部署模块，用于为移除的所述虚拟机寻找物理机进行部署。

16、根据权利要求 15所述的装置，其特征在于，迁移部署模块进一步包括：

计算处理单元，用于根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；以及，根据各物理机的当前利用率确定调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

部署执行单元，用于选择所述负载方差值最小的物理机部署所述当前分配任务。

17、根据权利要求 10所述的装置，其特征在于，所述装置还包括：

优化选择模块，用于确定需要进行优化操作的物理机的 ID;

优化操作模块，用于用所述物理机各属性的当前利用率与优化目的值的差值，与所述物理机上各虚拟机的属性利用率做比较，以便确定要移除的虚拟机；

优化部署模块，用于为移除的所述虚拟机选择物理机进行部署。

18、根据权利要求 17所述的装置，其特征在于，优化部署模块进一步包括：

优化计算单元，用于根据各物理机的当前利用率确定剩余能力满足被移除的虚拟机分配任务的物理机；以及，根据各物理机的当前利用率确定调度域属性的负载均值，并根据所述负载均值及对所述物理机属性的负载预测值计算所述物理机的负载方差值；

优化部署单元，用于选择所述负载方差值最小的物理机部署所述当前分配任务。