WO2022027776A1

WO2022027776A1 - 边缘计算网络任务调度与资源分配方法和边缘计算系统

Info

Publication number: WO2022027776A1
Application number: PCT/CN2020/114304
Authority: WO
Inventors: 李林峰; 肖林松; 余伟峰; 陈永
Original assignee: 威胜信息技术股份有限公司
Priority date: 2020-08-03
Filing date: 2020-09-10
Publication date: 2022-02-10
Also published as: CN112039950A; CN112039950B

Abstract

本申请涉及边缘计算网络任务调度与资源分配方法以及边缘计算系统。一种边缘计算网络任务调度与资源分配方法，使用边缘服务器和若干个移动边缘设备构建边缘计算系统，在移动边缘设备中构建应用Q网络，边缘服务器中构建目标Q网络，包括步骤：S1、边缘服务器接收所有所述移动边缘设备的独立任务信息；S2、对所述移动边缘设备的应用Q网络进行初始化得到网络参数；S3、得到每个所述移动边缘设备在所述边缘服务器上的预分配频率；S4、得到卸载决策向量和卸载任务集合；S5、得到服务器分配频率和有序卸载集合；S6、输出最优服务器分配频率和最优调度顺序。在大幅度降低能量消耗的同时大幅度降低延迟，从而提高用户体验和能量、网络资源利用率。

Description

边缘计算网络任务调度与资源分配方法和边缘计算系统

技术领域

本发明涉及边缘计算，尤其涉及边缘计算网络任务调度与资源分配方法以及边缘计算系统。

背景技术

第五代移动通信技术(5G)正面临着爆炸式数据流量增长和大规模设备连接的新挑战。虚拟现实、增强现实、无人驾驶汽车和智能电网等5G网络新业务对延迟提出了更高的要求，同时这些计算密集型应用也会消耗大量的能量，用户设备自身无法解决这些问题，移动边缘计算应运而生。移动边缘计算把计算和存储资源部署在移动网络边缘，来满足某些应用的严苛的延迟要求。边缘设备可以通过无线信道将计算任务整体或部分卸载到MEC服务器进行计算，降低延迟和能耗，从而获得良好的用户体验。现有的传统优化算法对于解决MEC计算卸载与资源资源分配问题是可行的，但是传统优化算法并不是很适用于高实时性的MEC系统。

因现有技术主要采用凸优化方法求解移动边缘计算中的卸载决策和资源分配问题，但是凸优化无法解决非凸问题。问题P1可以通过寻找最优卸载决策和计算卸载的资源分配来解决。然而卸载决策向量X是二元变量的可行集并且目标函数是非凸问题。此外，当任务数增加时，问题P1的求解难度将会呈指数规模增加，因此其是一个从背包问题扩展而来的非凸问题，是NP难题。申请号为201910959379.1的专利文献公开了一种超密网边缘计算的计算资源分配与任务卸载方法，包括以下步骤：步骤1，基于SDN的超密网边缘计算网络建立系统模型，获取网络参数；步骤2，获取边缘计算所需参数：依次通过本地计算、卸载到宏基站的边缘服务器和卸载到连接小基站s的边缘服务器，得到传输计算任务的上行链路数据率；步骤3，采用Q-learning方案，得到最优计算资源分配以及任务卸载策略；步骤4，采用DQN方案，得到最优计算资源分配以及任务卸载策略。它通过在学习变量的基础上刺激智能体找到最优解而适用于动态系统。在强化学习(RL)算法中，Q-Learning在某些时变网络中表现良好。将深度学习技术与Q-learning相结合，提出一种基于深度Q网络(DQN)的学习方案，不仅在时变环境下实现同时优化移动设备和运营商的效益，而且比基于Q-learning的方法学习时间更短，收敛更快。但是依然没有解决上述问题。

因而现有的边缘计算中任务调度和资源分配上存在不足，还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供边缘计算网络任务调度与资源分配方法以及边缘计算系统，用针对多用户基于流水车间调度原理的部分卸载决策与调度算法解决移动设备上的卸载决策和卸载调度问题，用强化学习方法解决服务器端的资源分配问题。

为了达到上述目的，本发明采取了以下技术方案：

一种边缘计算网络任务调度与资源分配方法，使用边缘服务器和若干个移动边缘设备构建边缘计算系统，在移动边缘设备中构建应用Q网络，边缘服务器中构建目标Q网络，包括步骤：

S1、边缘服务器接收所有所述移动边缘设备的独立任务信息、边缘设备的设备CPU频率、传输所有所述独立任务信息的传输功率；所述独立任务信息包括所述独立任务信息的数据量和所在的所述移动边缘设备处理每单位数据量所需CPU周期；

S2、对所述移动边缘设备的应用Q网络进行初始化得到网络参数，并根据所述网络参数在所述边缘服务器同步目标Q网络；

S3、使用所述目标Q网络根据所述设备CPU频率、所述边缘服务器的服务CPU频率、所述传送功率、所述数据量、所述CPU周期和所述网络参数采用服务器频率分配预分类方法，分别得到每个所述移动边缘设备的在所述边缘服务器上的预分配频率；

S4、使用所述目标Q网络基于流水车间作业调度的卸载调度方法得到卸载决策向量和卸载任务集合；

S5、根据所述卸载决策向量和所述卸载任务集合利用强化学习方法对目标Q网络进行优化，同步优化应用Q网络，求解边缘设备的服务器资源分配，得到服务器分配频率和有序卸载集合；

S6、以步骤S4-S5为一次分配迭代，判定迭代次数是否小于预定值，若是，则执行步骤S4，若否，则输出最优服务器分配频率和最优调度顺序。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S3具体包括：

S31、分别计算每个移动边缘设备的所述设备CPU频率占所有所述移动边缘设备的所述设备CPU频率之和的主频比例；

S32、根据每个所述独立任务信息计算每个独立任务的本地执行时延，分别计算每个移动边缘设备的本地执行时延占所有所述移动边缘设备的所述本地执行时延之和的相对时延比例；

S33、根据所述主频比例和所述相对时延比例，分别计算每个所述移动边缘设备的分配权重；

S34、根据所述分配权重和所述服务CPU频率分别计算每个所述移动边缘设备在边缘服务器中的分配频率。

优选的所述的边缘计算网络任务调度与资源分配方法，步骤S33中，所述分配权重的计算公式为：

其中，η _i为每个所述移动边缘设备的分配权重；t _i,ratio为移动边缘设备的本地执行时延占系统总时延的时延比例；f _ratio,i为移动边缘设备的资源占系统总资源的资源比例。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S4具体包括：

S41、将所有所述移动边缘设备的所述独立任务信息根据卸载时间和服务器执行时间进行分类，将卸载时间小于服务器执行时间的所述独立任务信息添加到第一数组，并将所述第一数组中的所有的所述独立任务信息按照所述卸载时间升序排列；将卸载时间大于或等于所述服务器执行时间的所述独立任务信息添加到第二数组，并将所述第二数组中的所有所述独立任务信息根据所述服务器执行时间降序排列；

S42、对所述第一数据组和所述第二数组中的独立任务信息进行调度优化，得到卸载决策向量和卸载任务集合。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S4中，所述调度优化具体包括：

S421、获取所述第一数组内每个所述独立任务信息的服务器执行时间和卸载时间，得到每个所述独立任务信息的服务器处理时间；获取所述第二数组内每个所述独立任务信息的本地执行时间；

S422、获取所述第一数组内所有所述独立任务信息的总服务器处理时间与所述第二数组内所有所述独立任务信息的总本地执行时间之间的时间差值；

S423、根据所述时间差值确定时间较长的数组内列后的所有所述独立任务信息，形成第三数组；将处理后的所述第一数组作为卸载任务集合，将处理后的所述第二数组作为本地任务集合；

S424、将所述第三数组内的每个所述独立任务信息分别计算服务器处理时间和本地执行时间，将服务器处理时间大于所述本地执行时间的独立任务信息放入所述本地任务预分配集合，将服务器处理时间小于或等于所述本地执行时间的独立任务信息放入所述卸载任务预分配集合；

S425、将所述第三数组中的所述独立任务信息分配完毕后，得到卸载任务集合和本地任务集合，并根据所述最终卸载任务集合得到卸载决策向量。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S2中，在对所述目标Q网络初始化前，所述边缘服务器为每个所述移动边缘设备构建对应的目标Q网络。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S5具体包括：

S51、通过提出优化问题，根据优化问题使用强化学习方法对所述目标Q网络进行奖励迭代，同时构建奖励树；

S52、使用所述奖励树对目标Q网络进行训练，并根据所述目标Q网络的网络参数同步更新应用Q网络的网络参数；

S53、得到服务器的服务器资源分配。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S51中，所述奖励迭代的奖励公式为：

其中，r(s,a)为奖励结果；tc为系统消耗；

为单一独立任务的本地执行时间；e _(i,j),L为单一独立任务的本地执行耗能。

优选的所述的边缘计算网络任务调度与资源分配方法，所述步骤S6中，所述预定值为100-200。

一种使用所述的边缘计算网络任务调度与资源分配方法的边缘计算系统，包括边缘服务器和若干移动边缘设备；边缘服务器与若干所述移动边缘设备之间使用所述联合任务调度和资源分配方法进行工作。

相较于现有技术，本发明提供的边缘计算网络任务调度与资源分配方法以及边缘计算系统，具有有益效果：

本发明提供的联合任务调度和资源分配方法，使用强化学习方法对边缘服务器中目标Q网络进行训练，同步对移动边缘设备中的应用Q网络进行更新，同时输出最佳的服务器分配频率和最优的调度方案，在大幅度降低能量消耗的同时大幅度降低延迟，从而提高用户体验和能量、网络资源利用率。

附图说明

图1是本发明提供的边缘计算网络任务调度与资源分配方法的流程图；

图2是本发明提供的边缘计算系统的结构图；

图3是本发明所采用的Q网络结构图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的边缘计算网络联合任务调度和资源分配方法的相关概念如下：

卸载：是指将网络边缘端的设备中的任务上传到边缘服务器执行；

卸载调度:是指将网络边缘端的设备中的任务上传到边缘服务器执行的任务执行顺序；

卸载决策：决定将网络边缘端设备中的哪些任务上传到边缘服务器执行；

系统延迟：组成边缘计算系统中的所有设备中的最后一个任务的完成时间即为卸载延迟；

系统能耗：完成边缘计算系统中所有设备的任务所需要消耗的能量；

凸优化：是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题；

强化学习：是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

请参阅图1和图2，图2中，MEC server为边缘服务器，eNB为通信基站，其他均为移动边缘设备(手机或计算机)。本发明提供一种边缘计算网络任务调度与资源分配方法，使用边缘服务器和若干个移动边缘设备构建边缘计算系统，在移动边缘设备中构建应用Q网络，边缘服务器中构建目标Q网络，包括步骤：

S1、边缘服务器接收所有所述移动边缘设备的独立任务信息、边缘设备的设备CPU频率、传输所有所述独立任务信息的传输功率；所述独立任务信息包括所述独立任务信息的数据量和所在的所述移动边缘设备处理每单位数据量所需CPU周期；相应的，首先将所有移动边缘设备U＝{U ₁,U ₂,…,U _K}中移动边缘设备U _i的所有独立任务抽象成包含两个特征的任务集合G＝{T _i,j|1≤j≤N,1≤i≤K},T _i,j＝(D _i,j,C _i,j)，其中D _i,j为移动边缘设备U _i的独立任务的数据量大小，单位为比特；C _i,j为边缘设备U _i处理每单位数据量所需CPU周期数，单位为周期/比特。边缘设备U _i的CPU频率为f _i,user，单位为Hz，边缘服务器分配给边缘设备U _i的CPU频率为f _i,ser,单位为Hz，边缘设备U _i的所有任务传输功率为传输功率p，初始化目标值Val _best＝100；

S2、对所述移动边缘设备的应用Q网络进行初始化得到网络参数，并根据所述网络参数在所述边缘服务器同步目标Q网络；相应的，初始化所述应用Q网络参数w，并同步所述目标Q’网络的网络参数w’＝w；初始化经验回放SumTree的默认数据结构，SumTree的V个叶子节点的优先级p _V＝1，step＝0，epoch＝0；

S5、根据所述卸载决策向量和所述卸载任务集合利用强化学习方法对所述预分配频率进行优化，求解边缘设备的服务器资源分配，得到服务器分配频率和调度顺序，同步优化应用Q网络；

S6、以步骤S4-S5为一次分配迭代，判定迭代次数是否小于预定值，若是，则执行步骤S4，若否，则输出最优服务器分配频率和最优调度顺序。相应的，判断epoch<M，若是则返回步骤4，否则输出最优服务器分配频率f _ser,best和最优调度顺序Val _best。

具体的，本发明提供的任务调度和资源分配方法，基于强化学习的DQN算法，解决了移动边缘计算系统中的卸载决策、卸载调度、服务器资源分配问题，通过有效的卸载资源调度和服务器资源分配方法，提高计算资源的利用率并减小任务延迟。强化学习算法很适合解决资源分配问题，如MEC服务器资源分配。强化学习可以通过有别于传统优化算法的尝试-回报反馈机制，自己创造经验进行学习，完成优化目标。而深度学习算法可以学习历史数据特征，训练完成之后相比传统优化算法有极大的效率提升。联合任务调度和资源分配方法是一种结合了调度优化和强化学习的一种卸载迭代算法：1、先固定分配给边缘设备的服务器频率，然后求能达到最小完成时间的任务卸载顺序和卸载决策。2、由上一步得到的卸载顺序固定不变的条件下求各个卸载任务在该卸载顺序下所对应的最优服务器分配频率。反复进行这两步迭代最终得到最优服务器分配频率和最优调度顺序。

作为优选方案，本实施例中，所述步骤S3具体包括：

具体的，求解服务器预分类分配频率f _ser,base＝f _ser,best＝{f _1,ser,...,f _K,ser}。

移动边缘设备U _i的独立任务T _i,j在边缘服务器的执行时间表示为

独立任务T _i,j的本地执行时间(即在移动边缘设备中的执行时间)表示为

独立任务T _i,j的卸载传输速度(即独立任务由移动边缘设备上传到边缘服务器的时间)为：

其中，w为传输带宽，g ₀为路径损耗常数，L ₀为相对距离，L _i为移动边缘设备到边缘服务器之间的实际距离，θ为路径损耗指数，N ₀为噪声功率谱密度，p表示移动边缘设备卸载独立任务T _i,j到边缘服务器的传输功率。

独立任务T _i,j的卸载传输时间为

独立任务T _i,j的卸载传输耗能为e _(i,j),S：

独立任务T _i的本地执行耗能为e _(i,j),L：

e _(i,j),L＝δ _LC _i,j (6)

其中，δ _L为移动边缘设备每CPU周期耗能，单位为焦耳/周期。

1)计算移动边缘设备U _i的资源占系统总资源的比例f _ratio,i：

2)计算移动边缘设备U _i的本地执行时延占系统总时延的相对比例t _i,ratio：

3)计算移动边缘设备U _i的频率分配权重η _i:

4)计算移动边缘设备在所述边缘服务器中的分配频率f _i,base：

f _i,base＝η _i*F (10)

作为优选方案，本实施例中，所述步骤S4具体包括：

S41、将所有所述移动边缘设备的所述独立任务信息根据卸载时间和服务器执行时间进行分类，将卸载时间小于服务器执行时间的所述独立任务信息添加到第一数组P _i，并将所述第一数组P _i中的所有的所述独立任务信息按照所述卸载时间升序排列；将卸载时间大于或等于所述服务器执行时间的所述独立任务信息添加到第二数组Q _i，并将所述第二数组Q _i中的所有所述独立任务信息根据所述服务器执行时间降序排列；

S42、对所述第一数据组P _i和所述第二数组Q _i中的独立任务信息进行调度优化，得到卸载决策向量和卸载任务集合。

作为优选方案，本实施例中，所述步骤S4中，所述调度优化具体包括：

S421、获取所述第一数组P _i内每个所述独立任务信息的服务器执行时间和卸载时间，得到每个所述独立任务信息的服务器处理时间；获取所述第二数组Q _i内每个所述独立任务信息的本地执行时间；

S422、获取所述第一数组P _i内所有所述独立任务信息的总服务器处理时间与所述第二数组Q _i内所有所述独立任务信息的总本地执行时间之间的时间差值；

S423、根据所述时间差值确定时间较长的数组内列后的所有所述独立任务信息，形成第三数组M；将处理后的所述第一数组P _i作为卸载任务预分配集合S _i，将处理后的所述第二数组Q _i作为本地任务预分配集合L _i；

S424、将所述第三数组M内的每个所述独立任务信息分别计算服务器处理时间和本地执行时间，将服务器处理时间大于所述本地执行时间的独立任务信息放入所述本地任务预分配集合L _i，将服务器处理时间小于或等于所述本地执行时间的独立任务信息放入所述卸载任务预分配集合S _i；

S425、将所述第三数组M中的所述独立任务信息分配完毕后，得到卸载任务集合S _i和本地任务集合L _i，并根据所述最终卸载任务集合S得到卸载决策向量X _i＝{x _i,1,x _i,2,...,x _i,K}。

具体的，基于流水车间作业调度的卸载调度方法求卸载决策向量，基于流水车间作业调度的卸载调度方法(通过所述目标Q网络实现)的步骤如下：

输入：移动边缘设备U _i的所有独立任务集合G _i，移动边缘设备U _i的CPU频率f _i,user，服务器分配给移动边缘设备U _i的CPU频率f _i,ser。

输出：卸载任务集合S _i＝{S _i,1,S _i,2,...,S _i,Ns}，本地任务集合L _i＝{L _i,1,L _i,2,...,L _i,Nl}，卸载决策向量X _i＝{x _i,1,x _i,2,...,x _i,K}。

1)对所有独立任务T _i,j进行分类，通过比较卸载传输时间

和边缘服务器执行时间

将卸载传输时间小于边缘服务器执行时间的独立任务加入所述第一数组P _i，

将第一数组P _i中所有独立任务根据卸载传输时间

升序排列。将卸载传输时间大于或等于边缘服务器执行时间的独立任务加入所述第二数组Q _i，

将第二数组Q _i中所有独立任务根据边缘服务器执行时间

降序排列。将第二数组Q _i加到第一数组P _i后面得到新的任务顺序σ _i＝[P _i Q _i]。

2)设第一数组P _i和第二数组Q _i的初始下标值分别为hp＝1和hq＝1，从第一数组P _i中取出独立任务P _i[hp]放入卸载任务预分配集合S _i，独立任务P _i[hp]的卸载决策变量

hp＝hp+1。从第二数组Q _i中取出独立任务Q _i[hq]放入本地任务预分配集合L _i，独立任务Q _i[hq]的卸载决策变量

hq＝hq+1。

3)计算本地任务预分配集合L _i中新加入的第一个任务k0＝1的完成时间

计算卸载任务预分配集合S _i中新加入的第一个任务k1＝1的完成时间

分别如式(11)和式(12)所示。

4)比较

的大小，若

说明本地任务预分配集合L _i中新加入的任务k0先执行完，则执行步骤i)，否则执行步骤ii)，以下两步循环执行直至跳出循环：

ⅰ)从第二数组Q _i中反复取独立任务Q _i[hq]放入本地任务预分配集合L _i，独立任务T _i,j的卸载决策变量x _i＝0，hq＝hq+1，k0＝k0+1，根据式(11)计算新加入的独立任务k0的完成时间，比较

与

如果

小于

并且第二数组Q _i中还有任务，则继续执行步骤ⅰ)；如果

大于

并且第二数组Q _i中还有独立任务，则执行步骤ii)；如果

小于

并且第二数组Q _i中没有独立任务了，则说明第二数组Q _i中独立任务被取完且本地任务预分配集合L _i中所有独立任务完成时间仍小于卸载任务预分配集合S _i中所有独立任务的完成时间，则执行步骤5)，并将QN标志位置1，表示第二数组Q集合被提前分配完且第一数组P _i集合有剩余。

ii)从第一数组P中反复取独立任务P _i[hp]放入卸载任务预分配集合S _i，独立任务T _i,j的卸载决策变量x _i＝1，hp＝hp+1，k1＝k1+1，根据式(12)计算新加入的任务k1的完成时间，比较

与

如果

小于

并且第一数组P中还有独立任务，则继续执行步骤ii)；如果

大于

并且第一数组P _i中还有独立任务，则执行步骤ⅰ)；如果

小于

并且第一数组P _i中没有独立任务了，则说明第一数组P _i中独立任务被取完且卸载任务预分配集合S _i中所有独立任务完成时间仍小于本地任务预分配集合L _i中所有独立任务的完成时间，则执行步骤5)，并将PN标志位置1，表示第一数组P _i集合被提前分配完且第二数组Q _i集合有剩余。

其中

5)检测标志位PN、QN。若QN＝1，则第一数组P _i中独立任务仍有剩余，将第一数组P _i中所有独立任务存入第三数组M；若PN＝1，则第二数组Q _i中独立任务仍有剩余，将第二数组Q _i中所有独立任务存入第三数组M；

6)取出集合第三数组M中的独立任务，根据公式(13)、(14)分别求出若该独立任务加入本地任务预分配集合L、卸载任务预分配集合S中的完成时间

7)比较两者大小，若

则将独立任务加入本地任务预分配集合L，否则将独立任务加入卸载任务预分配集合S。

8)反复执行步骤6)到步骤7)，直至第三数组M中独立任务被取完为止。

作为优选方案，本实施例中，所述步骤S5中，对所述目标Q网络使用所述强化学习方法进行多次优化迭代，每次优化迭代同步使用所述目标Q网络优化所述应用Q网络。

具体的，根据步骤4求得的卸载任务集合和卸载决策向量，利用强化学习的方法求解所有移动边缘设备U＝{U ₁,U ₂,…,U _K}的服务器资源分配f _ser,best＝{f _1,ser,...,f _K,ser}，的求解步骤如下：

输入：迭代步长T，采样权重系数β，衰减因子γ,探索率∈,当前应用Q网络Q，目标 Q网络Q’,目标Q网络Q’参数更新频率C，批量梯度下降的样本数m,SumTree的叶子节点数V。

输出：服务器资源分配：f _ser,best＝{f _1,ser,...,f _K,ser}

1)联合任务调度和服务器资源分配问题的目标是最小化能量消耗和所有任务的完成时间，优化问题的数学模型如(16)至(21)所示，记为原问题P1。其中式(16)为目标函数，式(17)至(21)为约束。

P1

s.t.

其中

表示排序后所有卸载任务的完成时间，Ns表示所有卸载执行任务数。表示排序后所有卸载任务的完成时间，Nl表示本地执行任务数。

表示边缘服务器执行所有任务的总耗能。

为排序后第j个卸载任务的完成时间，

为集合S中第j个卸载任务的服务器执行时间。

为集合S中第1至第j个卸载任务的传输时间，计算公式如式(15)所示。

2)以ε的概率生成一个随机动作a＝{(f _1,ser,...f _i,ser,...,f _K,ser)|0≤f _i,ser≤2f _i,base,0≤i≤K}，或以1-ε的概率将状态s＝(tc,ac)输入目标网络Q'，由神经网络预测出动作a。其中，tc为当前状态下整个系统的系统消耗，由式(16)可得。输出动作a对应的输出层神经元索引a _id＝{a _1,id,...,a _i,id,...a _K,id}，step＝step+1。计算a _id的方法如下：

ⅰ)对于随机动作a＝(f _1,ser,...f _i,ser,...,f _K,ser)，首先生成一个数组F _i,list，F _i,list为取值范围在(0,2f _i,base)之间，共sec个数组成的等差数列，sec为神经网络预测范围的分段数。依次将a中的频率f _i,ser插入F _i,list，并对F _i,list就地升序排列，f _i,ser在F _i,list中的顺序序号即为f _i,ser在F _i,list中的索引idx，故f _i,ser对应输出层神经元的索引a _i,id为(i-1)*sec+idx。

ii)对于神经网络的预测动作a＝(f _1,ser,...f _i,ser,...,f _K,ser)，直接输出动作a对应的输出层神经元索引即可。

ac为MEC服务器的可用计算容量，计算方式如下：

ε的计算方式如下：

其中，ε _end为收敛随机率，ε _init为初始随机率，ε _const为随机率常数。

3)根据动作a计算下一个状态s'＝(tc,ac)。若ac<0则标志位end＝True否则end＝False，奖励r,将Sam＝(s,s',r,a _id,end)依次存入SumTree，并进行状态迭代：s＝s'。

其中，奖励r的计算公式如下：

4)如果tc<tc _best，则tc _best＝tc，f _ser,best＝a。

5)判断step>V，若是则此时经验池已存满则进入下一步，若否返回2)

6)从SumTree中抽取m个样本训练神经网络Q，抽取方式如下：

ⅰ)令i＝1，j＝1。对SumTree中的所有叶子节点求和得到根节点的值，值为L _1,1。SumTree共有Floor＝1+log ₂V层。

ⅰi)将根节点值L _1,1平均分成

个区间，在每个区间随机选取一个数,得到t＝[t ₁,...,t _i,...,t _y]。

ⅰii)按照t _i从最顶上的根节点开始搜索。

iv)设此时左边叶子节点的值为left，右边叶子节点的值为right。若left>t _i，则进入左边叶子节点，反之进入右边叶子节点；若进入右边叶子节点，则t _i＝t _i-left。j＝j+1。重复该步骤直到j>Floor。此时t _i所对应的叶子节点所存储的样本为Sam _i。

v)重复上述步骤，直至选出Sam＝[Sam ₁,...,Sam _m]共m个样本为止。

vi)并更新每个样本的优先级，样本优先级更新方式如下：

p _y＝loss _y+0.0001,y∈V (25)

其中，loss _y为样本y的损失值，0.0001是为了防止求和后L _1,1＝0。

7)判断step％C＝0，若是则进入步骤8)，否则进入步骤9)。

8)同步当前网络Q与目标网络Q’的权重：w’＝w。

9)判断end＝True or step％T＝0，若是则epoch＝epoch+1并进入步骤S6，否则返回步骤2)

作为优选方案，本实施例中，所述步骤S2中，在对所述目标Q网络初始化前，所述边缘服务器为每个所述移动边缘设备构建对应的目标Q网络。

作为优选方案，本实施例中，所述步骤S6中，所述预定值为100。

以下，请一并参阅图1-图3，同时以上述实施例中内容为基础，以图2所示的移动边缘计算场景模型使用本发明提供的任务调度和资源分配方法，进行详细说明。其中，本实施例中，边缘计算模型还有一个边缘服务器，2个移动边缘设备，每个所述移动边缘设备还有7个独立任务，即移动边缘设备的数量K＝2，独立任务的数量N＝7。相应的，以计算独立任务的集合为

每个独立任务T _i,j所需处理的数据量为D _i,j，每个独立任务T _i,j的处理每单位数据所需CPU周期为C _i,j，每个独立任务对应的最大传输功率为p _max＝100mw，移动边缘设备到边缘服务器的传输距离为L＝{L ₁,L ₂}。

S1-1初始化任务集合，独立任务T _i,j的数据量D _i,j和所需CPU周期C _i,j如表1所示，为了便于求解最优解，设两个移动边缘设备对应的传输功率分别为p＝(64.248，59.039)mw，移动边缘设备每CPU周期的耗能δ _L＝1.6541*10 ^-9W/Hz，移动边缘设备的CPU频率为f _user＝(0.5，1)GHz，移动边缘设备U＝{U ₁,U ₂}到边缘服务器的距离为L＝(154.881,171.518)m。边缘服务器的CPU频率为f _ser＝2GHz。每个移动边缘设备传输带宽为5MHz，初始化目标值Val _best的初值为100。

表1各个任务的参数表

系统参数如表2所示。

表2任务的执行时间和能耗表

S1-2初始化应用Q网络Q的网络参数w，并同步目标Q网络Q’的网络参数w’＝w。初始化经验回放SumTree的默认数据结构，SumTree的V(V＝64)个叶子节点的优先级p _V＝1，epoch＝0。神经网络结构如图3所示。

S1-3求解服务器预分类分配频率：

计算各个独立任务的本地执行时间

任务传输时间

任务传输耗能e _(i,j),S、本地执行耗能e _(i,j),L，计算结果表3所示：

表3任务的执行时间和能耗表

由式(7)可算得移动边缘设备U＝{U ₁,U ₂}的本地执行时延占系统总时延的相对比例f _ratio,i＝(0.016,0.327)。

由式(8)可算得移动边缘设备U＝{U ₁,U ₂}的本地执行时延占系统总时延的相对比例t _i,ratio＝(0.063,0.936)

由式(9)可算得移动边缘设备U＝{U ₁,U ₂}的频率分配权重η _i＝(0.057,0.424)。

由式(10)可算得移动边缘设备的分配频率f _i,base＝(1.15*10 ⁹,8.49*10 ⁸)。

S1-4基于流水车间作业调度的卸载调度方法求卸载决策向量：

S4-1对所有独立任务T _i,j进行分类，通过比较同一独立任务的卸载传输时间

和边缘服务器执行时间

将卸载传输时间小于边缘服务器执行时间的独立任务加入第一数组P _i，

将第一数组P _i中所有任务根据卸载传输时间

升序排列。将卸载传输时间大于或等于边缘服务器执行时间的独立任务加入第二数组Q _i，

将第二数组Q _i中所有任务根据边缘服务器执行时间

任务第一数组P中所有独立任务的卸载时间

边缘服务器执行时间

如表4所示：

表4第一数组P中独立任务的卸载时间和执行时间

任务第二数组Q中所有独立任务的卸载时间

服务器执行时间

如表5所示：

表5第二数组Q中独立任务的卸载时间和执行时间

S4-2第二数组P _i和第一数组Q _i的初始下标值分别为hp＝1和hq＝1，从第一数组P _i中取出P _i[hp]放入卸载任务预分配集合S，独立任务P _i[hp]的卸载决策变量

hp＝hp+1。从第二数组Q中取出Q _i[hq]放入本地任务预分配集合L，独立任务Q _i[hq]的卸载决策变量

hq＝hq+1。

S4-3由式(11)和式(12)，计算本地任务预分配集合L _i中新加入的第一个任务k0＝1的完成时间

S4-4比较

的大小，若

说明本地任务预分配集L _i中新加入的任务k0先执行完，则执行步骤S44-1，否则执行步骤S44-2，以下两步循环执行直至跳出循环：

S44-1从第二数组Q _i中反复取独立任务Q[hq]放入本地任务预分配集合L _i，独立任务T _i,j的卸载决策变量x _i＝0，hq＝hq+1，k0＝k0+1，根据式(13)计算新加入的独立任务k0的完成时间，比较

与

如果

小于

并且第二数组Q _i中还有独立任务，则继续执行步骤S44-1；如果

大于

并且第二数组Q _i中还有独立任务，则执行步骤S44-2；如果

小于

并且第二数组Q _i中没有独立任务了，则说明第二数组Q _i中任务被取完且本地任务预分配集合L _i中所有任务完成时间仍小于卸载任务预分配集合S _i中所有任务的完成时间，则执行步骤S4-5,并将QN标志位置1，表示第二数组Q _i被提前分配完且第一数组P _i集合有剩余。

S44-2从第一数组P中反复取独立任务P[hp]放入卸载任务预分配集合S _i，任务T _i,j的卸载决策变量x _i＝1，hp＝hp+1，k1＝k1+1，根据式(14)计算新加入的独立任务k1的完成时间，比较

与

如果

小于

并且第一数组P中还有独立任务，则继续执行步骤S44-2；如果

大于

并且第一数组P _i中还有任务，则执行步骤S44-1；如果

小于

并且第一数组P _i中没有任务了，则说明第一数组P _i中任务被取完且卸载任务预分配集合S _i中所有独立任务完成时间仍小于本地任务预分配集合L中所有独立任务的完成时间，则执行步骤S4-5，并将PN标志位置1，表示第一数组P _i集合被提前分配完且第二数组Q _i集合有剩余。

执行步骤S4-4后集合卸载任务预分配集合S _i、本地任务预分配集合L _i分布如表6所示：

表6卸载任务预分配集合S _i、本地任务预分配集合L _i中独立任务分布

S ₁	T _1,1	T _1,2	T _1,3	T _1,7
L ₁	T _1,4
S ₂	T _2,1
L ₂	T _2,2

卸载任务预分配集合S _i、本地任务预分配集合L _i中独立任务完成时间

分别为：

此时，第二数组Q中独立任务被取完，将标志位QN置1，进入步骤S2-5。

S4-5检测标志位PN、QN。此时，QN＝1，则第一数组P中独立任务仍有剩余，将第一数组P中所有独立任务存入第三数组M；此时卸载任务预分配集合S _i、本地任务预分配集合L _i、第三数组M中的独立任务分布表7所示：

表7集合S、L、M中任务分布

S ₁	T _1,1	T _1,2	T _1,3	T _1,7
L ₁	T _1,4
S ₂	T _2,1
L ₂	T _2,2
M ₁	T _1,5	T _1,6
M ₂	T _2,3	T _2,4	T _2,5	T _2,6	T _2,7

S4-6依次取出第三数组M中的独立任务，根据公式(13)、(14)分别求出若该独立任务存入本地任务预分配集合L _i、卸载任务预分配集合S _i中的完成时间

S4-7比较两者大小，若

则将任务加入本地任务预分配集合L，否则将任务加入卸载任务预分配集合S。

S4-8反复执行步骤S4-6-步骤S4-7，直至第三数组M中独立任务被取完为止。

此时卸载任务预分配集合S _i、本地任务预分配集合L _i中的独立任务分布表8所示：

表8集合S、L中任务分布

S ₁	T _1,1	T _1,2	T _1,3	T _1,7	T _1,6
L ₁	T _1,4	T _1,5
S ₂	T _2,1	T _2,3	T _2,5	T _2,6
L ₂	T _2,2	T _2,4	T _2,7

卸载任务预分配集合S _i、本地任务预分配集合L _i中任务完成时间

分别为：

计算给定卸载任务集合和卸载决策向量下的系统状态，s＝(0.0226,0)。

S1-5根据步骤S1-4求得的卸载任务集合和卸载决策向量，利用强化学习的方法求解所有移动边缘设备U＝{U ₁,U ₂,…,U _K}的服务器资源分配f _ser,best＝{f _1,ser,...,f _K,ser}：

S5-1构造优化问题P1。

S5-2随机生成一个在(0,1)之间的小数ε ₀，若ε ₀<ε则生成一个随机动作a，否则将状态s输入目标Q网络Q’，预测出动作a。计算动作a对应的输出层神经元索引a _id，step＝step+1。

此时，ε ₀＝0.388，ε＝0.798，ε ₀<ε,生成的随机动作为a＝(1.046*10 ⁹,9.5308*10 ⁸)，a _id＝(31,98)。

S5-3根据动作a计算下一个状态s'＝(0.021,0)，end＝False,奖励r＝0.85,将(s,s',r,a _id,end)存入SumTree，状态迭代s＝s'，目标值Val＝0.021。

S5-4判断tc<tc _best是否成立，成立则tc _best＝tc，f _ser,best＝f _ser。不成立则直接进入S4-5。

S5-5判断step>V是否满足，若不满足则返回步骤S4-2，满足则进入步骤S4-6。

S5-6从SumTree中抽取m个样本训练目标Q网络Q，并更新每个样本的优先级。

S5-7判断step％C＝0是否成立，成立则同步应用Q网络Q与目标Q网络Q’的权重：w’＝w，不成立则直接进入S4-8。

S5-8判断end＝True or step％T＝0是否成立，成立则epoch＝epoch+1。不成立则返回步骤S4-2。

S1-6判断epoch<M是否成立，成立则输出Val _best,f _ser,best，不成立则返回步骤S1-4。优选的，M值优选为100-200，进一步优选为100。

以上未做详细说明的是，均是本领域的公知技术，本发明不做赘述，可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims

一种边缘计算网络任务调度与资源分配方法，其特征在于，使用边缘服务器和若干个移动边缘设备构建边缘计算系统，在移动边缘设备中构建应用Q网络，边缘服务器中构建目标Q网络，包括步骤：

S1、边缘服务器接收所有所述移动边缘设备的独立任务信息、边缘设备的设备CPU频率、传输所有所述独立任务信息的传输功率；所述独立任务信息包括所述独立任务信息的数据量和所在的所述移动边缘设备处理每单位数据量所需CPU周期；

S2、对所述移动边缘设备的应用Q网络进行初始化得到网络参数，并根据所述网络参数在所述边缘服务器同步目标Q网络；

S3、使用所述目标Q网络根据所述设备CPU频率、所述边缘服务器的服务CPU频率、所述传送功率、所述数据量、所述CPU周期和所述网络参数采用服务器频率分配预分类方法，分别得到每个所述移动边缘设备的在所述边缘服务器上的预分配频率；

S4、使用所述目标Q网络基于流水车间作业调度的卸载调度方法得到卸载决策向量和卸载任务集合；

S5、根据所述卸载决策向量和所述卸载任务集合利用强化学习方法对目标Q网络进行优化，同步优化应用Q网络，求解边缘设备的服务器资源分配，得到服务器分配频率和有序卸载集合；

S6、以步骤S4-S5为一次分配迭代，判定迭代次数是否小于预定值，若是，则执行步骤S4，若否，则输出最优服务器分配频率和最优调度顺序。
根据权利要求1所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S3具体包括：

S31、分别计算每个移动边缘设备的所述设备CPU频率占所有所述移动边缘设备的所述设备CPU频率之和的主频比例；

S32、根据每个所述独立任务信息计算每个独立任务的本地执行时延，分别计算每个移动边缘设备的本地执行时延占所有所述移动边缘设备的所述本地执行时延之和的相对时延比例；

S33、根据所述主频比例和所述相对时延比例，分别计算每个所述移动边缘设备的分配权重；

S34、根据所述分配权重和所述服务CPU频率分别计算每个所述移动边缘设备在边缘服务器中的分配频率。
根据权利要求2所述的边缘计算网络任务调度与资源分配方法，其特征在于，步骤S33中，所述分配权重的计算公式为：

其中，η _i为每个所述移动边缘设备的分配权重；t _i,ratio为移动边缘设备的本地执行时延占系统总时延的时延比例；f _ratio,i为移动边缘设备的资源占系统总资源的资源比例。
根据权利要求1所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S4具体包括：

S41、将所有所述移动边缘设备的所述独立任务信息根据卸载时间和服务器执行时间进行分类，将卸载时间小于服务器执行时间的所述独立任务信息添加到第一数组，并将所述第一数组中的所有的所述独立任务信息按照所述卸载时间升序排列；将卸载时间大于或等于所述服务器执行时间的所述独立任务信息添加到第二数组，并将所述第二数组中的所有所述独立任务信息根据所述服务器执行时间降序排列；

S42、对所述第一数据组和所述第二数组中的独立任务信息进行调度优化，得到卸载决策向量和卸载任务集合。
根据权利要求4所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S4中，所述调度优化具体包括：

S421、获取所述第一数组内每个所述独立任务信息的服务器执行时间和卸载时间，得到每个所述独立任务信息的服务器处理时间；获取所述第二数组内每个所述独立任务信息的本地执行时间；

S422、获取所述第一数组内所有所述独立任务信息的总服务器处理时间与所述第二数组内所有所述独立任务信息的总本地执行时间之间的时间差值；

S423、根据所述时间差值确定时间较长的数组内列后的所有所述独立任务信息，形成第三数组；将处理后的所述第一数组作为卸载任务集合，将处理后的所述第二数组作为本地任务集合；

S424、将所述第三数组内的每个所述独立任务信息分别计算服务器处理时间和本地执行时间，将服务器处理时间大于所述本地执行时间的独立任务信息放入所述本地任务预分配集合，将服务器处理时间小于或等于所述本地执行时间的独立任务信息放入所述卸载任务预分配集合；

S425、将所述第三数组中的所述独立任务信息分配完毕后，得到卸载任务集合和本地任务集合，并根据所述最终卸载任务集合得到卸载决策向量。
根据权利要求1所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S2中，在对所述目标Q网络初始化前，所述边缘服务器为每个所述移动边缘设备构建对应的目标Q网络。
根据权利要求1所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S5具体包括：

S51、通过提出优化问题，根据优化问题使用强化学习方法对所述目标Q网络进行奖励迭代，同时构建奖励树；

S52、使用所述奖励树对目标Q网络进行训练，并根据所述目标Q网络的网络参数同步更新应用Q网络的网络参数；

S53、得到服务器的服务器资源分配。
根据权利要求7所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S51中，所述奖励迭代的奖励公式为：

其中，r(s,a)为奖励结果；tc为系统消耗；
为单一独立任务的本地执行时间；e _(i,j),L为单一独立任务的本地执行耗能。
根据权利要求1所述的边缘计算网络任务调度与资源分配方法，其特征在于，所述步骤S6中，所述预定值为100-200。
一种使用权利要求1-9任一所述的边缘计算网络任务调度与资源分配方法的边缘计算系统，其特征在于，包括边缘服务器和若干移动边缘设备；边缘服务器与若干所述移动边缘设备之间使用所述联合任务调度和资源分配方法进行工作。