WO2017041556A1 - 虚拟资源调度方法、装置及系统 - Google Patents

虚拟资源调度方法、装置及系统 Download PDF

Info

Publication number
WO2017041556A1
WO2017041556A1 PCT/CN2016/085351 CN2016085351W WO2017041556A1 WO 2017041556 A1 WO2017041556 A1 WO 2017041556A1 CN 2016085351 W CN2016085351 W CN 2016085351W WO 2017041556 A1 WO2017041556 A1 WO 2017041556A1
Authority
WO
WIPO (PCT)
Prior art keywords
vnf
performance data
scheduling
virtual resource
service
Prior art date
Application number
PCT/CN2016/085351
Other languages
English (en)
French (fr)
Inventor
于跃波
蒋天超
欧阳新志
左奇
楚俊生
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2017041556A1 publication Critical patent/WO2017041556A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Abstract

一种虚拟资源调度方法包括：获取与虚拟化网络功能VNF相关的性能数据；根据性能数据，确定VNF的虚拟资源的调度策略；根据调度策略，对虚拟资源执行调度操作。

Description

虚拟资源调度方法、装置及系统 技术领域
本申请涉及但不限于通信领域，尤其涉及一种虚拟资源调度方法、装置及系统。
背景技术
目前在通信行业，政府、企事业单位的信息技术(IT)部门，随着信息化程度的提高，计算资源的规模越来越庞大，直接将各种业务应用部署在硬件主机上，不仅工作量越来越大，管理也越来越困难。而云计算的出现，使得各种应用可以统一地部署在云平台上，不仅屏蔽了各种底层硬件的差异，管理也越来越简单，并且虚拟化管理系统可以根据业务应用的运行情况，对虚拟资源进行动态的控制。特别是在电信行业，专用的网络设备成本高，维护复杂，能耗高，且设备提供的业务功能单一，而借助云计算的力量，则可以实现资源的灵活配置，降低各项成本。
相关技术中的动态调度方法，一般根据操作系统指标，例如，操作系统的中央处理器(Central Processing Unit，简称CPU)、内存、磁盘输入/输出(Input/Output，简称为I/O)、网络带宽或系统访问量等指标来控制虚拟资源的伸缩，不足之处在于都只是间接地通过CPU、内存、访问量等指标来反映操作系统的处理能力，并独立地使用这些数据作为资源调度的依据，而该操作系统上的业务系统的性能只能被动感知；然而，虽然操作系统的处理能力能够从一定程度上反映业务系统的性能，但是这种相关程度并不是绝对的。例如，在操作系统分配给业务系统的磁盘资源少的情况下，业务系统可能已经出现了磁盘资源不足的情况，然而操作系统的磁盘资源并没有出现不足的情况。可见，相关技术中的资源调度方案无法保障业务系统的性能。
在虚拟资源的动态伸缩方面，相关技术中的虚拟资源管理系统与业务系统没有交互；相关技术虽然在一定程度上解决了系统对资源的伸缩需求，但是对于业务逻辑较复杂的系统，则不能对业务单元做太多的干预操作，当业务单元之间有逻辑关系时，就不能满足业务单元之间的协调运行。
在电信行业，依据欧洲电信标准协会(ETSI)提出的网络功能虚拟化(Network Function Virtualization，简称为NFV)标准，借助基础资源虚拟化，软件定义网络(Software Defined Network，简称为SDN)等虚拟化技术，工业界已经实现了电信网元等资源的虚拟化运作。NFV架构可以作为通用的云计算虚拟资源管理架构，所有基于虚拟机(可简称为虚机)的管理模型都可以对应到NFV架构中。
在NFV架构下可以通过虚拟化基础设施管理器(Virtualized Infrastructure Manager，简称为VIM)获取系统性能数据，由NFV调用性能上报接口给虚拟化网络功能管理器(Virtualized Network Function Manager，简称为VNFM)，VNFM根据收集到的虚拟化网络功能(Virtualized Network Function，简称为VNF)的性能数据来做业务调度。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本文提供了一种虚拟资源调度方法、装置及系统，以至少解决单独根据操作系统级别的数据进行VNF的虚拟资源调度无法保障业务系统的性能的问题。
本发明实施例提供了一种虚拟资源调度方法，包括：
获取与虚拟化网络功能VNF相关的性能数据；
根据所述性能数据，确定所述VNF的虚拟资源的调度策略；
根据所述调度策略，对所述虚拟资源执行调度操作。
可选地，所述性能数据包括以下至少之一：
系统性能数据、业务指标数据；其中，所述系统性能数据是用于衡量部署所述VNF的虚拟资源的性能的量化数据；所述业务指标数据是用于衡量所述VNF的业务系统的业务特性的量化数据。
可选地，所述系统性能数据包括：
由所述VNF采集并上报的系统性能数据；
由虚拟化基础设施管理器VIM采集并上报的系统性能数据。
可选地，根据所述性能数据，确定所述VNF的虚拟资源的所述调度策略包括：
汇总由所述VNF采集并上报的系统性能数据和由所述VIM采集并上报的系统性能数据；
根据所述业务指标数据和汇总后的所述系统性能数据，确定所述VNF的虚拟资源的所述调度策略。
可选地，汇总由所述VNF采集并上报的系统性能数据和由所述VIM采集并上报的系统性能数据包括：
对于从所述VNF和从所述VIM都能够采集到的系统性能数据以从所述VNF或者从所述VIM采集的系统性能数据为准；或者
对于从所述VNF和从所述VIM都能够采集到的系统性能数据按加权平均算法进行汇总处理。
可选地，所述业务指标数据包括以下至少之一：在单位时间内的业务处理量，和/或，其他与业务特性相关的性能数据；
所述系统性能数据包括以下至少之一：中央处理器CPU利用率、内存利用率、磁盘写入/读出性能指标、剩余磁盘空间、网络带宽利用率、网络负载、网卡包丢失率。
可选地，在获取与所述VNF相关的所述性能数据之前，所述方法还包括：
发送订阅信息至所述VNF，其中，所述订阅信息用于订阅所述性能数据的一个或多个，并设置所述性能数据的上报周期。
可选地，所述订阅信息还用于设置上报所述性能数据的触发门限和持续时长。
可选地，在发送所述订阅信息至所述VNF之后，所述方法还包括：
所述VNF接收所述订阅信息；
在所述性能数据超过所述触发门限的持续时间超过所述持续时长的情况下，所述VNF上报所述性能数据。
可选地，所述VNF上报所述性能数据的上报周期与虚拟化基础设施管理器VIM上报系统性能数据的上报周期相同。
可选地，对所述虚拟资源执行调度操作包括：
发送预调度通知至所述VNF，其中，所述预调度通知用于指示将对所述虚拟资源执行调度操作；
在接收到预调度确认响应的情况下，对所述虚拟资源执行调度操作，其中，所述预调度确认响应用于指示所述VNF已完成与所述虚拟资源的调度操作相关的业务处理，允许虚拟化系统执行资源伸缩操作。
可选地，在对所述虚拟资源执行调度操作之后，所述方法还包括：
发送调度完成确认通知至所述VNF，其中，所述调度完成确认通知用于指示已完成对所述虚拟资源的调度操作。
可选地，在所述调度操作包括增加虚拟资源或者变更虚拟资源的情况下，在对所述虚拟资源执行调度操作之前，所述方法还包括：
接收虚拟化基础设施管理器VIM上报的物理机的物理机系统性能数据；
选择所述物理机系统性能数据满足所述调度操作要求的第一物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。
可选地，根据所述性能数据，确定所述VNF的虚拟资源的所述调度策略包括：
根据所述性能数据，计算所述VNF的性能指标；
查询与所述性能指标对应的预设调度策略，其中，所述预设调度策略用于指示在所述性能指标的情况下，应执行的调度操作。
可选地，通过下列公式计算所述性能指标：
所述性能指标
Figure PCTCN2016085351-appb-000001
其中，wi表示所述VNF的第i个性能数据的预设指标权重、hi表示所述VNF的第i个性能数据的值、si表示在所述VNF满负荷运行时第i个性能数据的值。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被执行时实现上述虚拟资源调度方法。
本发明实施例还提供了一种虚拟资源调度装置，包括：
获取模块，设置为：获取与虚拟化网络功能VNF相关的性能数据；
确定模块，设置为：根据所述性能数据，确定所述VNF的虚拟资源的调度策略；
执行模块，设置为：根据所述调度策略，对所述虚拟资源执行调度操作。
可选地，所述性能数据包括以下至少之一：
系统性能数据、业务指标数据；其中，所述系统性能数据是用于衡量部署所述VNF的虚拟资源的性能的量化数据；所述业务指标数据是用于衡量所述VNF的业务系统的业务特性的量化数据。
可选地，所述系统性能数据包括：
由所述VNF采集并上报的系统性能数据；
由虚拟化基础设施管理器VIM采集并上报的系统性能数据。
可选地，所述确定模块包括：
汇总单元，设置为：汇总由所述VNF采集并上报的系统性能数据和由所述VIM采集并上报的系统性能数据；
确定单元，设置为：根据所述业务指标数据和汇总后的所述系统性能数据，确定所述VNF的虚拟资源的所述调度策略。
可选地，所述汇总单元是设置为：
对于从所述VNF和从所述VIM都能够采集到的系统性能数据以从所述VNF或者从所述VIM采集的系统性能数据为准；或者
对于从所述VNF和从所述VIM都能够采集到的系统性能数据按加权平均算法进行汇总处理。
可选地，所述业务指标数据包括以下至少之一：在单位时间内的业务处理量，和/或，其他与业务特性相关的性能数据；
所述系统性能数据包括以下至少之一：中央处理器CPU利用率、内存利用率、磁盘写入/读出性能指标、剩余磁盘空间、网络带宽利用率、网络负载、网卡包丢失率。
可选地，所述装置还包括：
第一发送模块，设置为：发送订阅信息至所述VNF，其中，所述订阅信息用于订阅所述性能数据的一个或多个，并设置所述性能数据的上报周期。
可选地，所述订阅信息还用于设置上报所述性能数据的触发门限和持续时长。
可选地，所述VNF上报所述性能数据的上报周期与虚拟化基础设施管理器VIM上报系统性能数据的上报周期相同。
可选地，所述执行模块包括：
发送单元，设置为：发送预调度通知至所述VNF，其中，所述预调度通知用于指示将对所述虚拟资源执行调度操作；
执行单元，设置为：在接收到预调度确认响应的情况下，对所述虚拟资源执行调度操作，其中，所述预调度确认响应用于指示所述VNF已完成与所述虚拟资源的调度操作相关的业务处理，允许虚拟化系统执行资源伸缩操作。
可选地，所述装置还包括：
第二发送模块，设置为：发送调度完成确认通知至所述VNF，其中，所述调度完成确认通知用于指示已完成对所述虚拟资源的调度操作。
可选地，所述装置还包括：
接收模块，设置为：在所述调度操作包括增加虚拟资源或者变更虚拟资源的情况下，接收虚拟化基础设施管理器VIM上报的物理机的物理机系统性能数据；
选择模块，设置为：选择所述物理机系统性能数据满足所述调度操作要求的第一物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。
可选地，所述确定模块包括：
计算单元，设置为：根据所述性能数据，计算所述VNF的性能指标；
查询单元，设置为：查询与所述性能指标对应的预设调度策略，其中，所述预设调度策略用于指示在所述性能指标的情况下，应执行的调度操作。
可选地，所述计算单元通过下列公式计算所述性能指标：
所述性能指标
Figure PCTCN2016085351-appb-000002
其中，wi表示所述VNF的第i个性能数据的预设指标权重、hi表示所述VNF的第i个性能数据的值、si表示在所述VNF满负荷运行时第i个性能数据的值。
本发明实施例还提供了一种虚拟资源调度系统，所述系统包括：
虚拟化网络功能管理器VNFM和虚拟化网络功能VNF，其中，所述VNFM与所述VNF连接，所述VNFM包括上述的虚拟资源调度装置。
可选地，所述系统还包括：
虚拟化基础设施管理器VIM，其中，
所述VIM与所述VNFM连接，所述VIM设置为：采集并上报所述VNF的系统性能数据。
通过本发明实施例，采用获取与虚拟化网络功能(VNF)相关的性能数据；根据性能数据，确定VNF的虚拟资源的调度策略；根据调度策略，对虚拟资源执行调度操作的方式，解决了单独根据操作系统级别的性能指标进行VNF的虚拟资源调度无法保障业务系统的性能的问题，保障了业务系统的性能及稳定性。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图概述
图1是根据本发明实施例的虚拟资源调度方法的流程图；
图2是根据本发明实施例的一种虚拟资源调度装置的结构框图；
图3是根据本发明实施例的另一种虚拟资源调度装置的结构示意图；
图4是根据本发明实施例的又一种虚拟资源调度装置的结构示意图；
图5是根据本发明实施例的又一种虚拟资源调度装置的结构示意图；
图6是根据本发明实施例的又一种虚拟资源调度装置的结构示意图；
图7是根据本发明实施例的又一种虚拟资源调度装置的结构示意图；
图8是根据本发明实施例的又一种虚拟资源调度装置的结构示意图；
图9是根据本发明可选实施例的NFV构架的结构示意图；
图10是根据本发明可选实施例的虚拟资源调度方法的流程图；
图11是根据本发明可选实施例的通用虚拟化云管理系统中的虚拟资源调度方法的流程图。
本发明的较佳实施方式
下面结合附图对本发明的实施方式进行描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的各种方式可以相互组合。
需要说明的是，本文中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
经过研究发现，由于VIM上报给VNFM的数据只能获取操作系统级别的性能指标比如CPU、部分系统的内存使用率、磁盘I/O，对于VNF应用系统层面的资源性能指标信息不能获取，比如磁盘使用率，所有系统的内存使用率，带宽使用率，VNF相应网元的业务量、接通率等特殊使用率；那么，如果根据VIM获取的性能数据来作为VNF调度判定，同样存在无法保障业务系统的性能的问题。
针对相关技术中单独根据操作系统级别的性能指标进行VNF的虚拟资源调度无法保障业务系统的性能的问题，相关技术中尚未提出有效的解决方案。
在本实施例中提供了一种虚拟资源调度方法，图1是根据本发明实施例的虚拟资源调度方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取与虚拟化网络功能VNF相关的性能数据；
步骤S104，根据性能数据，确定VNF的虚拟资源的调度策略；
步骤S106，根据调度策略，对虚拟资源执行调度操作。
通过上述步骤，根据与VNF相关的性能数据确定调度策略，进而根据该调度策略执行对VNF的虚拟资源的调度操作；例如，性能数据可以是系统性能数据，也可以是业务指标数据，并且，系统性能数据可以从VNF直接获取也可以从VIM获取，与VNF相关的性能数据可以反映业务系统的处理能力， 因此，解决了VNF根据单一类型数据进行VNF的虚拟资源调度无法保障业务系统的性能的问题，保障了业务系统的性能及稳定性。
可选地，上述步骤可以由VNFM或者NFVO来执行，或者在VNFM和NFVO上分别执行其中的一部分和另一部分操作。另外，由NFV架构中的其他管理实体执行上述步骤也是可以被设想的。
可选地，性能数据包括但不限于以下至少之一：系统性能数据、业务指标数据；其中，系统性能数据是用于衡量部署VNF的虚拟资源的性能的量化数据；业务指标数据是用于衡量VNF的业务系统的业务特性的量化数据。
可选地，系统性能数据包括：由VNF采集并上报的系统性能数据；由虚拟化基础设施管理器VIM采集并上报的系统性能数据。
由于系统性能数据可以从VNF采集，也可以从VIM采集，因此，在步骤S104中，可以汇总由VNF采集并上报的系统性能数据和由VIM采集并上报的系统性能数据；进而根据业务指标数据和汇总后的系统性能数据，确定VNF的虚拟资源的调度策略。
另外，考虑到从VNF采集到的系统性能数据和从VIM采集到的系统性能数据可能是相同类型的系统性能数据，因此，在进行系统性能数据汇总时，至少可以采用以下方式：
方式1，对于从VNF和从VIM都能够采集到的系统性能数据以从VNF采集的系统性能数据为准；
方式2，对于从VNF和从VIM都能够采集到的系统性能数据以从VIM采集的系统性能数据为准；
方式3，对于从VNF和从VIM都能够采集到的系统性能数据按加权平均算法进行汇总处理。
上述的系统性能数据和业务指标数据用来表示VNF的业务系统的业务处理性能，能够表示业务处理性能的参数可以有很多，并且根据VNF的业务类型，关注的业务处理性能的参数也有可能不同。例如，业务指标数据可包括但不限于以下至少之一：在单位时间内的业务处理量，和/或，其他与业务特性相关的性能数据；系统性能数据包括可但不限于以下至少之一：中央处 理器CPU利用率、内存利用率、磁盘写入/读出性能指标、剩余磁盘空间、网络带宽利用率、网络负载、网卡包丢失率。这些业务指标数据均可以是量化的数据。
可选地，在步骤S102中，从VNF获取到的业务指标数据和系统性能数据是由VNF定期或者不定期上报的；虽然VIM也可以上报系统性能数据，但是对于VIM的上报周期VNF无法进行控制；而通过VNF上报业务指标数据和系统性能数据则可以做到业务指标数据和系统性能数据的同时上报，例如，在VNF的同一上报周期中同时上报业务指标数据和系统性能数据，就能实现业务指标数据和系统性能数据的同时上报，这样避免了VNFM或者NFVO通过VNF获取业务指标数据和通过VIM获取系统性能数据不同步所导致的调度策略选择偏差的问题。
可选地，系统性能数据的上报周期与业务指标数据的上报周期可以相同，或者业务指标数据的上报周期可为系统性能数据上报周期的整数倍。
这样，在获取虚拟化网络功能VNF的系统性能数据和业务指标数据之前，还可以发送订阅信息至VNF，其中，订阅信息用于订阅性能数据的一个或多个，并设置性能数据的上报周期。通过上述方式，可以对需要关注的性能数据进行个性化订阅。
可选地，订阅信息还用于设置上报性能数据的触发门限和持续时长。
可选地，在设置了VNF上报性能数据的触发门限和持续时长之后，可选地，在发送订阅信息至VNF之后，VNF可接收订阅信息；在性能数据超过触发门限的持续时间超过持续时长的情况下，VNF可上报性能数据。通过上述方式，避免了实时上报性能数据导致的系统资源的大量占用。
可选地，在步骤S106中进行虚拟资源的调度操作时，可以发送预调度通知至VNF，其中，预调度通知用于指示将对虚拟资源执行调度操作；并可在接收到预调度确认响应的情况下，对虚拟资源执行调度操作，其中，预调度确认响应用于指示VNF已完成与虚拟资源的调度操作相关的业务处理，允许虚拟化系统执行资源伸缩操作。通过上述方式，提供了一种在调度前进行通知的方式，可以保障VNF上业务的正常执行，避免由于虚拟资源调度所导致的业务中断或者异常。
可选地，在对虚拟资源执行调度操作之后，还可以发送调度完成确认通知至VNF，其中，调度完成确认通知用于指示已完成对虚拟资源的调度操作。通过上述方式，使得VNF能够感知到虚拟资源调度的完成情况，进而进行后续处理，例如，VNF可在接收到调度完成确认通知后开始利用新分配的虚拟资源执行业务操作。
可选地，物理机的性能指标可以由VIM上报，在一些增加虚拟资源(例如，虚拟机上电、新增虚拟机等操作)或者变更虚拟资源(例如虚拟机迁移)的情况下，则需要考虑物理机的选择问题。一般而言，选择的物理机至少要能够提供足够的虚拟资源以供虚拟机上电、新增虚拟机或者虚拟机迁移使用。例如，在步骤S106之前，VNFM可以接收虚拟化基础设施管理器VIM上报的物理机的物理机系统性能数据；VNFM可以选择物理机系统性能数据满足调度操作要求的第一物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。此外，可以在调度操作中选择资源使用率低的物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。
可选地，在步骤S104中，在确定调度策略时，一般的做法可以是采用加权方式计算性能数据的权重值，进而，根据计算出来的权重值选择对应于这个权重值的调度策略。性能数据的权重值可以根据需要进行设置，例如，在更关注某个VNF的业务性能的情况下，可以将这个业务指标数据的权重值设置得更大一些。
可选地，步骤S104中，可以根据业务指标数据和系统性能数据，计算VNF的业务性能指标；查询与业务性能指标对应的预设调度策略，其中，预设调度策略用于指示在业务性能指标的情况下，应执行的调度操作。这些调度操作可包括：虚拟机上电、下电、伸缩CPU、伸缩内存、扩展磁盘、新建虚拟机、删除虚拟机，迁移虚拟机等。预设调度策略可以根据业务需要分别进行配置。
可选地，可以通过下列公式计算业务性能指标：业务性能指标
Figure PCTCN2016085351-appb-000003
其中，wi表示VNF的第i个指标数据的预设指标权重、hi表示VNF的第i个指标数据的值、si表示在VNF满负荷运行时第i个指标数据的值；指标数据可包括：业务指标数据和系统性能数据。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明实施例的方法。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被执行时实现上述虚拟资源调度方法。
在本实施例中还提供了一种虚拟资源调度装置，该装置设置为：实现上述实施例及可选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置可以以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的一种虚拟资源调度装置的结构框图，如图2所示，该装置包括：获取模块22、确定模块24和执行模块26，其中，获取模块22设置为：获取与虚拟化网络功能VNF相关的性能数据；确定模块24耦合至获取模块22，设置为：根据性能数据，确定VNF的虚拟资源的调度策略；执行模块26耦合至确定模块24，设置为：根据调度策略，对虚拟资源执行调度操作。
可选地，性能数据包括以下至少之一：系统性能数据、业务指标数据；其中，系统性能数据是用于衡量部署VNF的虚拟资源的性能的量化数据；业务指标数据是用于衡量VNF的业务系统的业务特性的量化数据。
可选地，系统性能数据包括：由VNF采集并上报的系统性能数据；由虚拟化基础设施管理器VIM采集并上报的系统性能数据。
图3是根据本发明实施例的另一种虚拟资源调度装置的结构框图，如图3所示，可选地，确定模块24包括：
汇总单元242，设置为：汇总由VNF采集并上报的系统性能数据和由VIM采集并上报的系统性能数据；
确定单元244，耦合至汇总单元242，设置为：根据业务指标数据和汇总后的系统性能数据，确定VNF的虚拟资源的调度策略。
可选地，汇总单元是设置为：
对于从VNF和从VIM都能够采集到的系统性能数据以从VNF或者从VIM采集的系统性能数据为准；或者
对于从VNF和从VIM都能够采集到的系统性能数据按加权平均算法进行汇总处理。
可选地，业务指标数据可包括以下至少之一：在单位时间内的业务处理量，和/或，其他与业务特性相关的性能数据；系统性能数据可包括以下至少之一：中央处理器CPU利用率、内存利用率、磁盘写入/读出性能指标、剩余磁盘空间、网络带宽利用率、网络负载、网卡包丢失率。
图4是根据本发明实施例的又一种虚拟资源调度装置的结构框图，如图4所示，可选地，装置还包括：
第一发送模块42，耦合至VNF，设置为：发送订阅信息至VNF，其中，订阅信息用于订阅性能数据的一个或多个，并设置性能数据的上报周期。
可选地，订阅信息还用于设置上报性能数据的触发门限和持续时长。
可选地，VNF上报性能数据的上报周期与虚拟化基础设施管理器VIM上报系统性能数据的上报周期相同。
图5是根据本发明实施例的又一种虚拟资源调度装置的结构框图，如图5所示，可选地，执行模块26包括：
发送单元262，耦合至VNF，设置为：发送预调度通知至VNF，其中，预调度通知用于指示将对虚拟资源执行调度操作；
执行单元264，耦合至VNF，设置为：在接收到预调度确认响应的情况下，对虚拟资源执行调度操作，其中，预调度确认响应用于指示VNF已完成与虚拟资源的调度操作相关的业务处理，允许虚拟化系统执行资源伸缩操作。
图6是根据本发明实施例的又一种虚拟资源调度装置的结构框图，如图6所示，可选地，装置还包括：
第二发送模块62，耦合至执行模块26和VNF，设置为：发送调度完成确认通知至VNF，其中，调度完成确认通知用于指示已完成对虚拟资源的调度操作。
图7是根据本发明实施例的又一种虚拟资源调度装置的结构框图，如图7所示，可选地，装置还包括：
接收模块72，耦合至VIM，设置为：在调度操作包括增加虚拟资源或者变更虚拟资源的情况下，接收虚拟化基础设施管理器VIM上报的物理机的物理机系统性能数据；
选择模块74，耦合至接收模块72和执行模块26，设置为：选择物理机系统性能数据满足调度操作要求的第一物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。
图8是根据本发明实施例的又一种虚拟资源调度装置的结构框图，如图8所示，可选地，确定模块24包括：
计算单元246，设置为：根据性能数据，计算VNF的性能指标；
查询单元248，耦合至计算单元246，设置为：查询与性能指标对应的预设调度策略，其中，预设调度策略用于指示在性能指标的情况下，应执行的调度操作。
可选地，计算单元通过下列公式计算性能指标：
性能指标
Figure PCTCN2016085351-appb-000004
其中，wi表示VNF的第i个性能数据的预设指标权重、hi表示VNF的第i个性能数据的值、si表示在VNF满负荷运行时第i个性能数据的值。
需要说明的是，上述模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。
本实施例还提供了一种虚拟资源调度系统，该系统设置为实现上述虚拟资源调度方法。该系统包括：虚拟化网络功能管理器(VNFM)和虚拟化网络功能(VNF)，其中，VNFM与VNF连接，VNFM包括上述的虚拟资源调度装置。
可选地，系统还包括：虚拟化基础设施管理器(VIM)，其中，VIM与VNFM连接，VIM设置为：采集并上报VNF的系统性能数据。
本发明实施例还提供了一种软件，该软件用于执行上述实施例及可选实施方式中描述的技术方案。
本发明实施例还提供了一种存储介质。在本实施例中，上述存储介质可以设置为存储用于执行以下步骤的程序代码：
步骤S102，获取与虚拟化网络功能VNF相关的性能数据；
步骤S104，根据性能数据，确定VNF的虚拟资源的调度策略；
步骤S106，根据调度策略，对虚拟资源执行调度操作。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
为了使本发明实施例的描述更加清楚，下面结合可选实施例进行描述和说明。
本发明可选实施例提供了一种由VNF上报系统性能和业务指标数据，进行虚拟资源动态伸缩的资源调度方法；综合系统性能数据和业务指标数据，确定VNF的虚拟资源的调度策略；根据调度策略，对虚拟资源执行调度操作的方式，解决了单独根据操作系统级别的性能指标，或单独通过业务性能指标进行VNF的虚拟资源调度无法保障业务系统的性能的问题，保障了业务系统的性能。
在NFV架构中，VIM可以上报VNF底层操作系统级的性能数据(CPU、内存、磁盘I/O)给VNFM，但是有的应用层性能数据无法从VIM获取，比如磁盘剩余空间、网络吞吐量、网络延迟、网络使用率、以及VNF自身业务指标数据；并且VNF性能指标数据的上报周期由VNF来动态设置，而VIM的上报周期一般都是统一确定的时间周期。在本发明可选实施例中，VNF可 以设置为：根据需要调整性能指标数据的上报周期，并且设置为：调度决策业务性能数据和系统性能数据都可以通过VNF来进行上报，这样就保证了数据在时间维度上的统一，使得业务调度的配置更加灵活性。在本可选实施例中，在调度中还可以参考VIM上报的物理机的性能数据，有利于伸缩的时候选择更合理的宿主机来运行VNF。
本发明可选实施例以NFV构架为例进行描述和说明。图9是根据本发明可选实施例的NFV构架的结构示意图，如图9所示，该NFV构架包括：
网络功能虚拟化基础架构(Network Functions Virtualization Infrastructure，简称为NFVI，包含部署VNF应用所需的软件、硬件(hardware，简称HW)环境)、VIM、VNFM、VNF，还可以包括：
网络功能虚拟化协调器(Network Functions Virtualization Orchestrator，简称为NFVO)；NFVO可以代替VNFM执行调度操作。
在本发明可选实施例中：
VIM包括以下功能：
1、可以对虚拟资源进行管理。
2、可以执行VNF的伸缩动作。
3、采集宿主机性和客户机的系统性能数据；
VNF包括以下功能：
1、配置相应系统性能数据和业务指标数据的统计周期、上报周期。
2、在预先设置的统计周期内，根据VNF的特性，编写相应方法，生成本周期的业务指标数据和系统性能数据，系统性能数据和业务指标数据可包括但不限于：CPU/内存/磁盘占用率，同时还可以考虑磁盘I/O和网络带宽使用率和网络吞吐量，以及特殊VNF网元的特殊性能指标。
3、可以根据VNFM或NVFO的动态伸缩操作指令，对VNF进行处理。如：当关闭一台虚拟机时，可以结束该虚拟机的业务，由VNFM将此虚拟机的业务转移到其他未关闭虚拟机进行处理或在其他节点启动新VNF来继续处理业务，保证业务的平滑性。
4、保证满足业务系统最低资源需求，当业务调度中心传来的指令关闭某台虚拟机，但是关闭该虚拟机后将造成业务系统所拥有的资源数低于最低资源数时，能拒绝关闭该虚拟机。
5、可以根据VNFM或NFVO传来的虚拟资源动态伸缩结果，对业务进行处理。如：当扩展一台新虚拟机时，新的虚拟机已经启动完毕，且业务系统获取到VFNM或NFVO传来的资源伸缩操作结果，则业务系统可以初始化该虚拟机的业务，使得该虚拟机可以与其他虚拟机一起处理业务。
VNFM或NFVO包括以下功能：
1、VNFM可以保存业务系统上报的系统性能数据和业务指标数据。
2、VNFM可以接收VNF上报的业务指标数据和系统性能数据。
3、VNFM或NFVO可以创建根据系统性能数据和业务指标数据进行动态伸缩的策略执行机制。
4、可以给传递动态伸缩指令。
5、可以确定虚拟资源动态伸缩结果。
6、可以接受VIM上报的宿主机和客户机的系统性能数据。
基于上述NFV构架，本发明可选实施例提出的根据VNF上报数据进行动态伸缩的调度方法包括如下步骤：
步骤一，业务系统的每个业务单元的业务数据生成模块，根据业务指标生成方法，实时地生成业务指标数据，这些数据反应了业务系统的业务处理能力。同时具备生成系统性能数据，以及将生成的系统性能数据上报给VNFM的能力。
步骤二，业务系统的业务指标数据采集模块，对业务系统的每个业务单元的业务指标数据进行汇总处理生成上报数据，传递给VNFM。
步骤三，VNFM或NFVO判断系统中配置的调度策略是否满足触发条件，如果满足，则根据接口调用VNF进行操作前的通知确认流程。调度策略可包括设置的业务指标当量和系统性能数据指标，系统性能数据指标可较大比重地依赖于CPU/内存/磁盘占用率，同时可考虑磁盘I/O、网络带宽使用率和网络吞吐量。
步骤四，在VNF收到伸缩操作前的通知后，VNF内部进行伸缩操作前的预处理。
步骤五，VNF在完成伸缩操作前的预处理后，和VNFM或NFVO进行操作前的确认。
步骤六，NFVO或VNFM在接收到确认后，通知VIM进行资源伸缩操作。
步骤七，在VIM完成资源伸缩操作后，VNFM或NFVO通知业务系统完成伸缩
步骤八，VNF在收到资源伸缩处理完毕的通知后，将伸缩后的资源变化情况保存到业务系统中。
在本发明可选实施例中，可主动地由业务单元来产生需要关注的系统性能数据和业务指标数据，用于资源动态伸缩触发的条件。配置系统可基于策略综合业务和系统两方面的性能指标来综合判定伸缩，同时可在VNF上报磁盘I/O、网络带宽使用率和网络吞吐量等数据来进行系统预警性伸缩，确保系统维度的稳定可靠。
此外，在本发明可选实施例中还提供了在虚拟资源伸缩前后进行通知、确认的方法，使得业务系统，可以更灵活地控制虚拟资源的伸缩对系统的影响，使得资源伸缩后，系统可以更加稳定地运行。
采用本发明可选实施例提供的方案，可以解决传统的根据CPU、内存等间接的指标来动态调整虚拟资源的不足，更能反映出业务和资源的紧密关系，这样才能真实地反映VNF的处理能力。可见，与相关技术相比，本可选实施例完善了业务系统对自身业务处理能力进行控制，达到了动态伸缩资源的效果，节省了人力，提高了业务系统的稳定地处理业务的能力。
下面以两个实例对本发明可选实施例进行描述和说明。
可选实施例1
图10是根据本发明可选实施例的虚拟资源调度方法的流程图，如图10所示，该流程包括如下步骤：
步骤1，设置VNF业务数据采集模块的采集时间间隔。
步骤2，设置VNF业务指标数据上报的时间间隔。
这里同时也可以设置VNFM的调度策略，为后续伸缩作为决策设置。策略设置可以是根据业务指标计算出来的当量百分比进行控制，同时兼顾VNF本身的系统性能数据，为了确保VNF的可靠运行，可以设置系统磁盘I/O检测判断和网络吞吐判断，以确保VNF硬件的可靠性。
步骤3，部署在不同VNF的业务指标数据采集模块，根据自身的业务需要，采集自身的系统性能数据和业务指标原始数据。这些系统性能数据和指标数据可以包括但不限于：单位时间内业务处理量、业务系统CPU、内存的利用率、磁盘I/O、磁盘空间的剩余大小、网络带宽、网络负载、包丢失率，特殊VNF的特殊性能指标等。
步骤4，VNF根据设置的采样周期获取业务数据的性能指标和操作系统层面的性能数据，保持统一采集粒度，并将这些性能数据上报到VNFM。VNFM需要提供业务性能数据上报接口和VNF系统性能数据接口，VNF系统性能数据可包含但不限于和业务系统相关的：CPU、内存、磁盘I/O、磁盘剩余空间、带宽吞吐和网络使用率等数据。最终数据可结合业务自身特点要求进行获取上报。VNFM要提供通用的度量上报接口。特别是一些从VIM无法获取的应用层面的数据如磁盘剩余空间、网络使用率等。
步骤5，VNFM将全部VNF节点的业务指标原始数据进行汇总处理，根据算法折算成调度需要的业务指标数据。这个业务指标数据的计算方式可以有多种方式，下面列举一个：
在一个业务数据采集周期中，根据：(1)VNF业务数据指标项的个数n，(2)步骤3采集的VNF节点的业务原始数据h，(3)多个业务指标原始数值的权重w，(4)VNF全部指标项满负荷运行时的值s，进行计算，获得一个业务指标数据，计算公式可以是下面的公式：
Figure PCTCN2016085351-appb-000005
步骤6，VIM调用和VNFM的接口，周期上报宿主机系统性能数据到VNFM中作为调度资源参考。可对后续VNFM做伸缩决策用，比如可以在伸缩过程中选择宿主机资源使用率低的宿主机作为目标机器，决策可执行依据VNFM的策略制定。
步骤7，VNFM根据上报的业务指标数据进行调度策略的判断。调度策略可为VNFM中配置的触发虚拟资源伸缩操作的策略，VNFM可根据各种业务指标数据的值进行资源伸缩操作的调度。
其中，伸缩操作可以是VNF节点的创建、删除、迁移、挂起、唤醒等，可以根据需要进行配置。
例如，系统可配置两个业务调度策略：
策略1，当业务处理量大于系统处理能力的60％时，将增加VNF1-2。
策略2，当业务处理量小于系统处理能力的40％时，将删除VNF1-2。
这样当上报的业务指标数据大于60％时，例如上报值为61％，则资源调度模块将触发新增VNF1-2的策略。
当上报值小于40％时，触发删除VNF1-2电源的策略。
同时系统还可以配置业务性能调度策略，如CPU、内存、磁盘I/O在一定的区间时根据业务特征进行迁移。这个策略可以和业务调度策略综合设置，因为不同的业务可能对CPU和内存、磁盘I/O的要求不一样：有的业务比如是消息中间件，对内存使用有要求；有的业务比如是计算服务，对CPU有要求；有的业务比如是文件存储服务，对内存和磁盘I/O要求高。这个在设置策略的时候可以考虑业务场景。
对CPU，磁盘I/O，网络吞吐以及网络使用率情况进行系统健康判断，如果判断的系统健康状况不符合预期，则可以迁移VNF到其他目的主机运行，确保业务正常可靠。
步骤8，VNFM调用VNF的业务伸缩操作前通知接口，发出伸缩操作前的通知。
步骤9，VNF根据接收到的伸缩前通知，做VNF内部的策略预处理或业务切换等操作，确保伸缩执行中不影响原有VNF所有功能。
例如，当策略为删除VNF1-2时，VNFM将VNF1-2上的业务转移到VNF1-1进行处理，并判断VNF1-2是否可以删除，如果可以，则在系统中配置VNF1-2的相关业务信息为暂停处理。如果VNF1-2当前处理的业务未结束，则本次伸缩操作结束，待下次伸缩操作触发，并执行到本步骤时，再进 行判断处理。
步骤10，VNF调用VNFM提供的伸缩操作前确认接口，确认可以由VNFM执行伸缩操作。
步骤11，VNFM获取到步骤10的伸缩操作前确认后，调用VIM进行资源伸缩操作。
步骤12，VIM执行伸缩操作。如执行步骤9中需要删除VNF1-2，这时VNF1-2被删除。
步骤13，VNFM在资源伸缩操作执行结束后，调用相关的VNF节点的资源伸缩操作后通知接口，通知VNF的伸缩操作已经结束。
步骤14，相关VNF在接收到通知后，自行根据需要处理相关流程。
例如，如果步骤9为增加VNF1-2，则步骤13将通知其他相关的VNF节点，在步骤13中相关的VNF将对新增的VNF1-2的信息进行处理，并在后续向该新增的VNF1-2转发相关数据，以进行数据分流。如果步骤9是删除VNF1-2，同样其他VNF在收到该通知后，将对删除的VNF1-2的信息进行处理，避免向该删除的VNF1-2发送数据。
需要说明的是，上述的过程可以是持续进行的，系统周期性检测调度操作的触发条件，一旦上报的系统性能数据和业务指标数据满足调度策略的触发条件，就会执行策略配置的伸缩操作。
可选实施例2
下面针对通用的虚拟化云管理，对本发明可选实施例进行描述。
图11是根据本发明可选实施例的虚拟化云管理系统中的虚拟资源调度方法的流程图，如图11所示，该方法包括如下步骤：
步骤1，在业务系统设置业务指标数据采集时间间隔。
步骤2，在业务调度中心，设置上报业务指标数据的时间间隔。
步骤3，业务指标数据由部署在每个虚拟机上的业务节点的业务数据生成模块，根据自身的业务处理量，生成自身的系统性能数据和业务指标原始数据。
这些系统性能数据和指标数据可以包括但不限于：单位时间内业务处理量、业务系统CPU、内存的利用率、磁盘IO、磁盘的剩余大小、网络带宽等。
步骤4，业务系统的业务指标数据采集模块，根据步骤1设置的时间间隔，采集步骤3每个业务节点生成的业务指标原始数据，并将采集的业务节点原始数据进行汇总处理，封装为需要上报的业务指标数据。
这个业务指标数据的计算方式可以有多种，下面列举一个：
在一个业务数据采集周期中，根据：(1)正常运行的业务节点的数量n，(2)业务节点单节点满负荷运行时的处理能力s，(3)步骤4采集的每个业务节点的原始业务数据h，(4)每个业务节点的权重w(默认可以为1)，进行计算，获得一个业务指标数据，计算公式可以是下面的公式：
Figure PCTCN2016085351-appb-000006
步骤5，业务调度中心调用虚拟资源调度系统提供的业务指标数据上报接口，上报步骤4生成的业务指标数据到虚拟资源调度系统。
步骤6，虚拟资源调度系统的资源调度模块根据上报的业务指标数据进行调度策略的判断。调度策略可以是虚拟化调度系统中配置的触发虚拟资源伸缩操作的策略，虚拟化调度系统可根据各种业务指标数据的值进行资源伸缩操作的调度。
伸缩操作可以是虚拟机上电、下电、伸缩CPU、伸缩内存、扩展磁盘、新建虚拟机、删除虚拟机，迁移虚拟机等，可以根据需要进行配置。
例如，系统可配置两个调度策略：
策略1，当业务处理量大于系统处理能力的60％时，将虚拟机1电源打开。
策略2，当业务处理量小于系统处理能力的40％时，将虚拟机1电源关闭。
这样当上报的业务指标数据大于60％时，例如当上报值为61％时，资源调度模块将触发打开虚拟机1电源的策略。
当上报值小于40％时，资源调度模块将触发关闭虚拟机1电源的策略。
需要说明的是，即如果业务系统没有上报业务指标数据，步骤6也是会执行的，这个是定时执行的任务，这个任务同时具备了判断业务上报的数据，及判断虚拟资源调度系统自身采集的虚拟机性能数据，来决定调度策略的执行。即，可以只判断业务上报的业务指标数据，也可以只判断虚拟化资源调度系统自身采集的虚拟机性能数据，也可以对两个数据都进行判断。
另外，步骤6中相关的策略可以根据业务系统对虚拟资源的需求来进行创建，例如：
1、可以创建一条策略，当虚拟机迁移时，强制虚拟机的迁移只能在与其有亲和性的主机下进行迁移。虚拟机与主机之间的亲和性，满足了虚拟机对不同的应用有不同的I/O速率、CPU计算能力、网络带宽、存储等需求时的特殊处理。
2、可以创建一条策略，具有排他性的虚拟机不能在同一台主机下运行。排他性可以满足相同业务的冗余处理单元，不能同时部署在同一台主机的需求时的特殊处理。
3、当夜晚等非忙时段，将不能下电的虚拟机迁移到同一台主机上，并将调用接口将主机断电，当白天正常时段，再将调用主机上电接口将主机上电，并将原来部署在这些主机上的虚拟机迁移回来，以此达到节能降耗的目的。
此外，策略还可以有很多，在此就不再一一列举。
步骤7，虚拟资源调度系统调用业务调度中心的业务操作通知接口，发出伸缩操作前的通知。
步骤8，业务系统处理模块根据业务调度中心接收到的伸缩前通知，对相应的业务进行判断，并进行处理。
例如，当策略为虚拟机1下电操作时，业务系统处理模块将虚拟机1上的业务转移到其他正常的虚拟机进行处理，并判断当前虚拟机1是否可以处理本次伸缩操作，如果可以，则可在系统中配置虚拟机1的相关业务信息为暂停处理。如果虚拟机1当前处理的业务未结束，则本次伸缩操作结束，待下次伸缩操作触发，并在执行到本步骤时，再进行判断处理。
步骤9，当业务系统处理模块完成了因为资源伸缩引起的业务处理流程 变动后，由业务调度中心调用虚拟化调度系统提供的伸缩操作前确认接口，确认可以由虚拟资源调度系统执行伸缩操作。
步骤10，虚拟资源调度系统获取到步骤9的伸缩操作前确认后，通知资源管理模块进行资源伸缩操作。
步骤11，资源管理模块执行伸缩操作。如果步骤8中需要虚拟机1的下电操作，则这时虚拟机1将下电。
步骤12，虚拟资源调度系统在资源伸缩操作执行结束后，调用业务调度中心的资源伸缩操作后通知接口，通知虚拟资源的伸缩操作已经结束。
步骤13，业务系统处理模块根据业务调度中心接收到的伸缩操作后通知，对业务系统进行后续的处理。
例如，如果步骤8中需要虚拟机1的上电操作，则在步骤8可以直接返回成功，不做处理，而在步骤13对业务进行处理。在步骤13，业务系统可对虚拟机1上部署的应用进行初始化，并在业务系统中添加虚拟机1的业务信息，以及在完成其他配置工作后，将业务操作分配给虚拟机1进行处理。
需要说明的是，上述的过程可以是持续进行的，系统周期性地检测调度操作的触发条件，一旦上报的业务指标数据满足调度策略的触发条件，就会执行策略配置的伸缩操作。
本领域的技术人员可以明白，上述模块或步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件、处理器等)执行，在执行时，包括方法实施例的步骤之一或其组合。
可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。
上述实施例中的装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。
上述实施例中的装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。
本领域的普通技术人员可以理解，可以对本申请的技术方案进行修改或者等同替换，而不脱离本申请技术方案的精神和范围。本申请的保护范围以权利要求所定义的范围为准。
工业实用性
通过本发明实施例，采用获取与虚拟化网络功能(VNF)相关的性能数据；根据性能数据，确定VNF的虚拟资源的调度策略；根据调度策略，对虚拟资源执行调度操作的方式，解决了单独根据操作系统级别的性能指标进行VNF的虚拟资源调度无法保障业务系统的性能的问题，保障了业务系统的性能及稳定性。

Claims (31)

  1. 一种虚拟资源调度方法，包括：
    获取与虚拟化网络功能VNF相关的性能数据；
    根据所述性能数据，确定所述VNF的虚拟资源的调度策略；
    根据所述调度策略，对所述虚拟资源执行调度操作。
  2. 根据权利要求1所述的方法，其中，
    所述性能数据包括以下至少之一：系统性能数据、业务指标数据；
    其中，所述系统性能数据是用于衡量部署所述VNF的虚拟资源的性能的量化数据；所述业务指标数据是用于衡量所述VNF的业务系统的业务特性的量化数据。
  3. 根据权利要求2所述的方法，其中，所述系统性能数据包括：
    由所述VNF采集并上报的系统性能数据；
    由虚拟化基础设施管理器VIM采集并上报的系统性能数据。
  4. 根据权利要求3所述的方法，其中，根据所述性能数据，确定所述VNF的虚拟资源的所述调度策略包括：
    汇总由所述VNF采集并上报的系统性能数据和由所述VIM采集并上报的系统性能数据；
    根据所述业务指标数据和汇总后的所述系统性能数据，确定所述VNF的虚拟资源的所述调度策略。
  5. 根据权利要求4所述的方法，其中，汇总由所述VNF采集并上报的系统性能数据和由所述VIM采集并上报的系统性能数据包括：
    对于从所述VNF和从所述VIM都能够采集到的系统性能数据以从所述VNF或者从所述VIM采集的系统性能数据为准；或者
    对于从所述VNF和从所述VIM都能够采集到的系统性能数据按加权平均算法进行汇总处理。
  6. 根据权利要求1至5中任一项所述的方法，其中，
    所述业务指标数据包括以下至少之一：在单位时间内的业务处理量，和/或，其他与业务特性相关的性能数据；
    所述系统性能数据包括以下至少之一：中央处理器CPU利用率、内存利用率、磁盘写入/读出性能指标、剩余磁盘空间、网络带宽利用率、网络负载、网卡包丢失率。
  7. 根据权利要求1所述的方法，在获取与所述VNF相关的所述性能数据之前，所述方法还包括：
    发送订阅信息至所述VNF，其中，所述订阅信息用于订阅所述性能数据的一个或多个，并设置所述性能数据的上报周期。
  8. 根据权利要求7所述的方法，所述订阅信息还用于设置上报所述性能数据的触发门限和持续时长。
  9. 根据权利要求8所述的方法，在发送所述订阅信息至所述VNF之后，所述方法还包括：
    所述VNF接收所述订阅信息；
    在所述性能数据超过所述触发门限的持续时间超过所述持续时长的情况下，所述VNF上报所述性能数据。
  10. 根据权利要求7所述的方法，其中，
    所述VNF上报所述性能数据的上报周期与虚拟化基础设施管理器VIM上报系统性能数据的上报周期相同。
  11. 根据权利要求1所述的方法，其中，对所述虚拟资源执行调度操作包括：
    发送预调度通知至所述VNF，其中，所述预调度通知用于指示将对所述虚拟资源执行调度操作；
    在接收到预调度确认响应的情况下，对所述虚拟资源执行调度操作，其中，所述预调度确认响应用于指示所述VNF已完成与所述虚拟资源的调度操作相关的业务处理，允许虚拟化系统执行资源伸缩操作。
  12. 根据权利要求1所述的方法，在对所述虚拟资源执行调度操作之后， 所述方法还包括：
    发送调度完成确认通知至所述VNF，其中，所述调度完成确认通知用于指示已完成对所述虚拟资源的调度操作。
  13. 根据权利要求1所述的方法，在所述调度操作包括增加虚拟资源或者变更虚拟资源的情况下，在对所述虚拟资源执行调度操作之前，所述方法还包括：
    接收虚拟化基础设施管理器VIM上报的物理机的物理机系统性能数据；
    选择所述物理机系统性能数据满足所述调度操作要求的第一物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。
  14. 根据权利要求1至13中任一项所述的方法，其中，根据所述性能数据，确定所述VNF的虚拟资源的所述调度策略包括：
    根据所述性能数据，计算所述VNF的性能指标；
    查询与所述性能指标对应的预设调度策略，其中，所述预设调度策略用于指示在所述性能指标的情况下，应执行的调度操作。
  15. 根据权利要求14所述的方法，其中，通过下列公式计算所述性能指标：
    所述性能指标
    Figure PCTCN2016085351-appb-100001
    其中，wi表示所述VNF的第i个性能数据的预设指标权重、hi表示所述VNF的第i个性能数据的值、si表示在所述VNF满负荷运行时第i个性能数据的值。
  16. 一种虚拟资源调度装置，包括：
    获取模块，设置为：获取与虚拟化网络功能VNF相关的性能数据；
    确定模块，设置为：根据所述性能数据，确定所述VNF的虚拟资源的调度策略；
    执行模块，设置为：根据所述调度策略，对所述虚拟资源执行调度操作。
  17. 根据权利要求16所述的装置，其中，
    所述性能数据包括以下至少之一：系统性能数据、业务指标数据；
    其中，所述系统性能数据是用于衡量部署所述VNF的虚拟资源的性能的量化数据；所述业务指标数据是用于衡量所述VNF的业务系统的业务特性的量化数据。
  18. 根据权利要求17所述的装置，其中，所述系统性能数据包括：
    由所述VNF采集并上报的系统性能数据；
    由虚拟化基础设施管理器VIM采集并上报的系统性能数据。
  19. 根据权利要求18所述的装置，其中，所述确定模块包括：
    汇总单元，设置为：汇总由所述VNF采集并上报的系统性能数据和由所述VIM采集并上报的系统性能数据；
    确定单元，设置为：根据所述业务指标数据和汇总后的所述系统性能数据，确定所述VNF的虚拟资源的所述调度策略。
  20. 根据权利要求19所述的装置，其中，所述汇总单元是设置为：
    对于从所述VNF和从所述VIM都能够采集到的系统性能数据以从所述VNF或者从所述VIM采集的系统性能数据为准；或者
    对于从所述VNF和从所述VIM都能够采集到的系统性能数据按加权平均算法进行汇总处理。
  21. 根据权利要求16至20中任一项所述的装置，其中，
    所述业务指标数据包括以下至少之一：在单位时间内的业务处理量，和/或，其他与业务特性相关的性能数据；
    所述系统性能数据包括以下至少之一：中央处理器CPU利用率、内存利用率、磁盘写入/读出性能指标、剩余磁盘空间、网络带宽利用率、网络负载、网卡包丢失率。
  22. 根据权利要求16所述的装置，所述装置还包括：
    第一发送模块，设置为：发送订阅信息至所述VNF，其中，所述订阅信息用于订阅所述性能数据的一个或多个，并设置所述性能数据的上报周期。
  23. 根据权利要求22所述的装置，所述订阅信息还用于设置上报所述性能数据的触发门限和持续时长。
  24. 根据权利要求22所述的装置，其中，
    所述VNF上报所述性能数据的上报周期与虚拟化基础设施管理器VIM上报系统性能数据的上报周期相同。
  25. 根据权利要求16所述的装置，其中，所述执行模块包括：
    发送单元，设置为：发送预调度通知至所述VNF，其中，所述预调度通知用于指示将对所述虚拟资源执行调度操作；
    执行单元，设置为：在接收到预调度确认响应的情况下，对所述虚拟资源执行调度操作，其中，所述预调度确认响应用于指示所述VNF已完成与所述虚拟资源的调度操作相关的业务处理，允许虚拟化系统执行资源伸缩操作。
  26. 根据权利要求16所述的装置，所述装置还包括：
    第二发送模块，设置为：发送调度完成确认通知至所述VNF，其中，所述调度完成确认通知用于指示已完成对所述虚拟资源的调度操作。
  27. 根据权利要求16所述的装置，所述装置还包括：
    接收模块，设置为：在所述调度操作包括增加虚拟资源或者变更虚拟资源的情况下，接收虚拟化基础设施管理器VIM上报的物理机的物理机系统性能数据；
    选择模块，设置为：选择所述物理机系统性能数据满足所述调度操作要求的第一物理机作为新增的虚拟资源或者变更的虚拟资源的宿主机。
  28. 根据权利要求16至27中任一项所述的装置，其中，所述确定模块包括：
    计算单元，设置为：根据所述性能数据，计算所述VNF的性能指标；
    查询单元，设置为：查询与所述性能指标对应的预设调度策略，其中，所述预设调度策略用于指示在所述性能指标的情况下，应执行的调度操作。
  29. 根据权利要求28所述的装置，其中，所述计算单元通过下列公式计算所述性能指标：
    所述性能指标
    Figure PCTCN2016085351-appb-100002
    其中，wi表示所述VNF的第i个性能数据的预设指标权重、hi表示所述 VNF的第i个性能数据的值、si表示在所述VNF满负荷运行时第i个性能数据的值。
  30. 一种虚拟资源调度系统，所述系统包括：虚拟化网络功能管理器VNFM和虚拟化网络功能VNF，其中，
    所述VNFM与所述VNF连接，所述VNFM包括如权利要求16至29中任一项所述的虚拟资源调度装置。
  31. 根据权利要求30所述的虚拟资源调度系统，所述系统还包括：虚拟化基础设施管理器VIM，其中，
    所述VIM与所述VNFM连接，所述VIM设置为：采集并上报所述VNF的系统性能数据。
PCT/CN2016/085351 2015-09-11 2016-06-08 虚拟资源调度方法、装置及系统 WO2017041556A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510580104.9 2015-09-11
CN201510580104.9A CN106533723B (zh) 2015-09-11 2015-09-11 虚拟资源调度方法、装置及系统

Publications (1)

Publication Number Publication Date
WO2017041556A1 true WO2017041556A1 (zh) 2017-03-16

Family

ID=58240567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/085351 WO2017041556A1 (zh) 2015-09-11 2016-06-08 虚拟资源调度方法、装置及系统

Country Status (2)

Country Link
CN (1) CN106533723B (zh)
WO (1) WO2017041556A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241239A (zh) * 2019-07-18 2021-01-19 浙江宇视科技有限公司 存储任务管控方法、存储任务管控装置和存储设备
CN112395081A (zh) * 2019-08-15 2021-02-23 中国移动通信集团浙江有限公司 一种资源在线自动回收方法、系统、服务器以及存储介质
CN112787874A (zh) * 2019-11-04 2021-05-11 烽火通信科技股份有限公司 一种用于spn网络ioam功能的丢包测量方法及系统
CN114493672A (zh) * 2021-12-30 2022-05-13 广州趣丸网络科技有限公司 虚拟物品的发放方法及系统
WO2022116846A1 (zh) * 2020-12-01 2022-06-09 武汉绿色网络信息服务有限责任公司 虚拟网元的运行数据采集方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070709B (zh) * 2017-03-31 2020-06-26 上海交通大学 一种基于底层numa感知的nfv实现方法
CN108737144B (zh) * 2017-04-24 2021-06-29 华为技术有限公司 资源管理的方法和设备
CN110574339A (zh) * 2017-04-24 2019-12-13 英特尔Ip公司 网络功能虚拟化基础设施性能
EP3635548A1 (en) * 2017-06-07 2020-04-15 Intel IP Corporation Performance measurements related to virtualized resources
CN109257240B (zh) * 2017-07-12 2021-02-23 上海诺基亚贝尔股份有限公司 一种监测虚拟化网络功能单元性能的方法和装置
CN109257241B (zh) * 2017-07-13 2021-02-05 中国电信股份有限公司 虚拟网元功能模块性能评估方法、装置和系统
CN107368351B (zh) * 2017-07-25 2021-03-19 苏州浪潮智能科技有限公司 一种虚拟机配置自动升级扩容方法和装置
CN107608767A (zh) * 2017-10-30 2018-01-19 中国联合网络通信集团有限公司 一种节点管理的方法及设备
US11625258B2 (en) 2017-10-31 2023-04-11 Nokia Solutions And Networks Oy Method, apparatus and system for real-time virtual network function orchestration
CN110018898B (zh) * 2018-01-10 2021-06-18 普天信息技术有限公司 选择虚拟化基础设施管理器的方法及装置
CN110858160B (zh) * 2018-08-24 2023-04-11 阿里巴巴集团控股有限公司 资源调度方法及装置、存储介质和处理器
CN112054917A (zh) * 2019-06-06 2020-12-08 华为技术有限公司 一种获取性能意图指标的方法、装置及系统
CN110888714B (zh) * 2019-11-26 2023-06-23 北京京东尚科信息技术有限公司 容器的调度方法、装置和计算机可读存储介质
CN113067714B (zh) * 2020-01-02 2022-12-13 中国移动通信有限公司研究院 一种内容分发网络调度处理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011510A1 (en) * 2004-04-20 2012-01-12 Hitachi, Ltd. Method and system for controlling computer resources
CN102521055A (zh) * 2011-12-15 2012-06-27 广州杰赛科技股份有限公司 一种虚拟机资源分配方法及其系统
CN104050045A (zh) * 2014-06-27 2014-09-17 华为技术有限公司 基于磁盘io的虚拟资源分配方法及装置
CN104331328A (zh) * 2013-07-22 2015-02-04 中国电信股份有限公司 虚拟资源调度方法和虚拟资源调度装置
CN104866382A (zh) * 2014-02-21 2015-08-26 中国电信股份有限公司 虚拟资源调度方法与装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140007097A1 (en) * 2012-06-29 2014-01-02 Brocade Communications Systems, Inc. Dynamic resource allocation for virtual machines
US10664297B2 (en) * 2014-02-24 2020-05-26 Hewlett Packard Enterprise Development Lp Activating pre-created VNFCs when a monitored performance level of a VNF exceeds a maximum value attainable by the combined VNFCs that form a VNF

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011510A1 (en) * 2004-04-20 2012-01-12 Hitachi, Ltd. Method and system for controlling computer resources
CN102521055A (zh) * 2011-12-15 2012-06-27 广州杰赛科技股份有限公司 一种虚拟机资源分配方法及其系统
CN104331328A (zh) * 2013-07-22 2015-02-04 中国电信股份有限公司 虚拟资源调度方法和虚拟资源调度装置
CN104866382A (zh) * 2014-02-21 2015-08-26 中国电信股份有限公司 虚拟资源调度方法与装置
CN104050045A (zh) * 2014-06-27 2014-09-17 华为技术有限公司 基于磁盘io的虚拟资源分配方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241239A (zh) * 2019-07-18 2021-01-19 浙江宇视科技有限公司 存储任务管控方法、存储任务管控装置和存储设备
CN112241239B (zh) * 2019-07-18 2023-03-14 浙江宇视科技有限公司 存储任务管控方法、存储任务管控装置和存储设备
CN112395081A (zh) * 2019-08-15 2021-02-23 中国移动通信集团浙江有限公司 一种资源在线自动回收方法、系统、服务器以及存储介质
CN112395081B (zh) * 2019-08-15 2024-05-07 中国移动通信集团浙江有限公司 一种资源在线自动回收方法、系统、服务器以及存储介质
CN112787874A (zh) * 2019-11-04 2021-05-11 烽火通信科技股份有限公司 一种用于spn网络ioam功能的丢包测量方法及系统
CN112787874B (zh) * 2019-11-04 2022-06-03 烽火通信科技股份有限公司 一种用于spn网络ioam功能的丢包测量方法及系统
WO2022116846A1 (zh) * 2020-12-01 2022-06-09 武汉绿色网络信息服务有限责任公司 虚拟网元的运行数据采集方法及装置
CN114493672A (zh) * 2021-12-30 2022-05-13 广州趣丸网络科技有限公司 虚拟物品的发放方法及系统

Also Published As

Publication number Publication date
CN106533723B (zh) 2020-10-23
CN106533723A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
WO2017041556A1 (zh) 虚拟资源调度方法、装置及系统
US20210349749A1 (en) Systems and methods for dynamic provisioning of resources for virtualized
US10972344B2 (en) Automated adjustment of subscriber policies
US10048979B2 (en) Managing virtual machine migration
CN107408020B (zh) 数据卷的动态配置
CN106452818B (zh) 一种资源调度的方法和系统
US9098214B1 (en) Managing virtual machine migration
US20170206107A1 (en) Systems And Methods For Provisioning Of Storage For Virtualized Applications
US8856483B1 (en) Virtual data storage service with sparse provisioning
US20140130055A1 (en) Systems and methods for provisioning of storage for virtualized applications
WO2015101089A1 (zh) 大规模集群的管理方法、装置和系统
US20210109789A1 (en) Auto-scaling cloud-based computing clusters dynamically using multiple scaling decision makers
CN111796908A (zh) 一种资源自动弹性伸缩的系统、方法及云平台
CN110677274A (zh) 一种基于事件的云网络服务调度方法及装置
US10021008B1 (en) Policy-based scaling of computing resource groups
WO2020134364A1 (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
Ferdaus et al. Multi-objective, decentralized dynamic virtual machine consolidation using aco metaheuristic in computing clouds
US20210406053A1 (en) Rightsizing virtual machine deployments in a cloud computing environment
US10148592B1 (en) Prioritization-based scaling of computing resources
US9607275B2 (en) Method and system for integration of systems management with project and portfolio management
KR101608859B1 (ko) 클라우드 기반의 지능형 전력제어 시스템
CN107329797B (zh) 一种实例弹性伸缩方法、实例管理模块以及计算设备
Zhang et al. PRMRAP: A proactive virtual resource management framework in cloud
Okonor et al. Intelligent agent-based technique for virtual machine resource allocation for energy-efficient cloud data centre
WO2024051236A1 (zh) 资源调度方法及其相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16843494

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16843494

Country of ref document: EP

Kind code of ref document: A1