WO2021139537A1 - 一种工业物联网中基于功率控制和资源分配的任务卸载方法 - Google Patents

一种工业物联网中基于功率控制和资源分配的任务卸载方法 Download PDF

Info

Publication number
WO2021139537A1
WO2021139537A1 PCT/CN2020/138947 CN2020138947W WO2021139537A1 WO 2021139537 A1 WO2021139537 A1 WO 2021139537A1 CN 2020138947 W CN2020138947 W CN 2020138947W WO 2021139537 A1 WO2021139537 A1 WO 2021139537A1
Authority
WO
WIPO (PCT)
Prior art keywords
computing
task
resource allocation
edge server
calculation
Prior art date
Application number
PCT/CN2020/138947
Other languages
English (en)
French (fr)
Inventor
徐金城
周鹏
杨博
陈彩莲
关新平
Original Assignee
上海交通大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海交通大学 filed Critical 上海交通大学
Publication of WO2021139537A1 publication Critical patent/WO2021139537A1/zh
Priority to US17/861,123 priority Critical patent/US11778018B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Definitions

  • the present invention relates to the field of industrial Internet of things, and in particular to a task offloading method based on power control and resource allocation in the industrial Internet of things.
  • Industrial Internet of Things is the application and promotion of Internet of Things technology in the industrial field. Compared with the Internet of Things in other application fields, such as smart medical care and smart transportation, the industrial field has higher requirements for the real-time and reliability of data. Related research shows that most of the collected industrial data needs to be stored and processed in real time. Therefore, it is very necessary to study effective task processing strategies to meet the requirements of low latency and high reliability.
  • edge computing has become a suitable computing architecture in industrial networks. It can use the computing and storage capabilities of network edge devices to extend the capabilities of cloud computing to the edge of the network, providing rich computing resources while effectively reducing network latency. Reduce network load pressure. Edge computing is suitable for many computationally intensive and delay-sensitive scenarios due to its advantages of low latency and high bandwidth.
  • the technical problem to be solved by the present invention is to provide a method for offloading computing tasks in the industrial Internet of Things, so as to realize the optimization of communication power and cross-domain resource allocation. Under the premise of meeting device communication power requirements and computing capacity constraints, this method minimizes task offloading overhead through methods such as communication power control of devices in different cluster domains, edge server computing resource allocation, and offload location decision-making.
  • the present invention provides a task offloading method based on power control and resource allocation in the Industrial Internet of Things, which includes the following steps:
  • Step 1 Configure the industrial IoT network
  • the industrial IoT network includes a plurality of switches and a plurality of devices, and the plurality of switches communicate in a wired manner;
  • each of the plurality of cluster domains includes an edge server and at least one of the plurality of devices, and the at least one device performs wireless communication with a switch in the cluster domain where it is located; the edge
  • the computing power of the server is
  • the computing capability of each of the at least one device is
  • the at least one device is configured to generate each of a computing task Q i, Q i is the computing task task configured to contain the amount of data d i and index calculation task index c i;
  • the unloading position includes a first unloading position, a second unloading position, and a third unloading position; wherein, the first unloading position is the device itself; the second unloading position is a second edge server, the The second edge server includes the edge server in the cluster domain where the device is located, the device offloads the computing task to the second edge server for calculation through a second switch, and the second switch includes The switch in the cluster domain where the device is located; the second edge server is configured to allocate a certain proportion of computing resources to the computing tasks that are offloaded thereon; the third offload location is the third edge Server, the third edge server includes the edge servers in the other cluster domains where the device is not; the device offloads the computing task to the third switch through the second switch and the third switch Computing is performed on an edge server, the third switch includes a switch in the cluster domain where the third edge server is located; the third edge server is configured to allocate a certain percentage of the computing tasks offloaded thereon Computing resources;
  • Step 2 Establish a total cost model of all the computing tasks in the industrial IoT network according to the first calculation model, the second calculation model, and the third calculation model, construct an objective function, and construct a mixed integer non Linear programming problem;
  • Step 3 Decompose the non-linear programming problem in step 2 into communication power optimization problems and computational resource allocation problems, and obtain the optimal communication power at the extreme point or domain boundary of the communication power optimization problem, and use pull
  • the Grange multiplier method and the KKT condition simultaneous equations obtain the optimal calculation resource allocation strategy for calculation resource allocation, and substitute the optimal communication power and the optimal calculation resource allocation strategy into the objective function to obtain offloading Location decision problem model;
  • Step 4 According to the unloading position decision problem model obtained in step 3, a reinforcement learning model is established, and the deep reinforcement learning algorithm is used to train the parameters of the deep neural network, so that the cumulative reward of the reinforcement learning model in multi-step iterations is maximized, and the results are obtained.
  • the optimal unloading position decision of the computing task is described, and a joint optimization strategy including the optimal communication power, the optimal computing resource allocation strategy and the optimal unloading position decision is obtained.
  • the first calculation model includes a first time consumption, a first energy consumption, and a first cost.
  • the first energy consumption is Where ⁇ i is the energy consumption density of the device i to perform the calculation task.
  • ⁇ i is the weighting factor
  • ⁇ i (0, 1).
  • the second calculation model includes a second time consumption, a second energy consumption, and a second cost.
  • ⁇ i denotes the computing tasks perform a second edge servers Q i, ⁇ i ⁇ ⁇ 1,2, ... , N ⁇ , It represents the second edge server ⁇ i is assigned to the computing task Q i ratio computing power,
  • the total wireless communication bandwidth of the second switch S j is B j
  • the set of all devices in the cluster domain where the device is located is ⁇ j
  • the actual bandwidth allocated by the device i is
  • the device i and the second switch adopt time division multiple access (TDMA) wireless communication, and the data transmission rate is
  • p i is the communication transmission power of the device i
  • g i is the channel gain between the device i and the switch
  • N 0 is the channel noise unilateral power spectral density.
  • ⁇ i is the weighting factor
  • ⁇ i (0, 1).
  • the third calculation model includes a third time consumption, a third energy consumption, and a third cost.
  • the data transfer rate between the second switch and the third switch is constant r w ; and the third time consumption is
  • d i / r i is the device to offload computing tasks to the transmission time of the second switch
  • d i / r w is the computing of the second switch to said third switch offload Transmission time
  • ⁇ i represents the third edge server that executes the calculation task Q i , ⁇ i ⁇ ⁇ 1,2,...,N ⁇ , Indicates the third edge server ⁇ i is assigned to the computing task Q i ratio computing power,
  • the total wireless communication bandwidth of the second switch S j is B j
  • the set of all devices in the cluster domain where the device is located is ⁇ j
  • the actual bandwidth allocated by the device i is
  • the device i and the second switch adopt time division multiple access (TDMA) wireless communication, and the data transmission rate is
  • p i is the communication transmission power of the device i
  • g i is the channel gain between the device i and the switch
  • N 0 is the channel noise unilateral power spectral density.
  • the establishment of the total offloading cost model of all the computing tasks in the industrial IoT network in the step 2 includes:
  • the unloading position is executed;
  • ⁇ i represents the edge server performing the calculation task, ⁇ i ⁇ ⁇ 1,2,...,N ⁇ ;
  • the total cost of all the computing tasks in the industrial IoT network is:
  • the step 3 includes: substituting a set of feasible solutions x 0 , ⁇ 0 and ⁇ 0 into the objective function according to the unloading position at which the calculation task is executed to obtain the function and continuous function of the continuous variable ⁇ i
  • the function of the variable p i ; the function of the continuous variable p i is converted into a communication power optimization problem, and the optimal communication power is obtained by solving
  • the function of the continuous variable ⁇ i is transformed into a computing resource allocation problem, and the optimal computing resource allocation strategy is obtained by solving Combine the optimal communication power and And the optimal computing resource allocation strategy Substituting into the original objective function, the unloading position decision problem is obtained, which is expressed as:
  • the communication power optimization problem is configured to use the properties of a function to solve the optimal communication power.
  • the computational resource allocation problem is configured to first use the convex optimization theory to make a determination, and then use the Lagrangian multiplier method and the KKT (Karush-Kuhn-Tucker) condition to solve the optimal allocation strategy.
  • step 4 includes:
  • Step 4.1 Define status, action and reward
  • Step 4.2 Initialize the memory buffer area, the memory buffer area is configured to store at least one set of memory data, the memory data including the current state, the current action, the current reward and the next state; the weight of the initialization value function network , Making the network parameters of the objective function consistent with the network parameters of the value function;
  • Step 4.3 the function initializes the network state value, calculating a total time of all consumption of the computing task T and the total energy consumption E, the calculated results as the state s1, s1 state of the input network function value, obtained in a state s 1 , The output of the value function corresponding to different actions;
  • Step 4.4 Use the ⁇ -greedy strategy to select the current action; get an instant reward after executing the current action, and reach the next state st+1 ; store each group of the memory data in the memory buffer area;
  • Step 4.5 Randomly sample a plurality of the memory data from the memory buffer area; in the case that the current state is the final state, the time difference target is configured as r j ; in the case that the current state is not the final state Next, input each of the plurality of the memory data into the objective function network to calculate the time difference target, and the network output of the objective function is
  • Step 4.6 Use the network output of the value function as an estimated value, use the network output of the objective function as a label value, and update the network parameters of the value function using an SGD (stochastic gradient descent) algorithm;
  • SGD stochastic gradient descent
  • Step 4.7 Repeat the steps 4.4-4.6 until the network parameters of the value function are updated a fixed number of times; assign the value function network parameters in the current state to the objective function network, and output the optimal state and the maximum The actions associated with the superior state.
  • the state includes the total time consumption T and the total energy consumption E of all the computing tasks;
  • the total time consumption T is the first time consumption, the second time consumption and the total energy consumption of all the computing tasks.
  • the total energy consumption E is the sum of the first energy consumption, the second energy consumption, and the third energy consumption of all the computing tasks;
  • the actions include a first decision variable vector [x 1 , x 2 ,..., x m ], a second decision variable vector [ ⁇ 1 , ⁇ 2 ,..., ⁇ m ], and a third decision variable vector [ ⁇ 1 , ⁇ 2 ,..., ⁇ m ];
  • the first decision variable vector is configured to determine whether the computing task needs to be uninstalled
  • the second decision variable vector is configured to determine whether the computing task is in the edge server in the cluster domain where the device is located
  • the third decision variable vector is configured to determine the edge server where the computing task is located;
  • the reward is configured as a reward function
  • U local is the total cost when all the calculation tasks are performed at the first unloading position
  • U is the total cost required to complete all the calculation tasks under the current decision.
  • the present invention is based on cross-domain offloading in the industrial Internet of Things, constructs a computing task offloading model in a cross-domain network, minimizes the offloading overhead of all computing tasks, and satisfies the computational energy consumption and processing delay of computationally intensive tasks in an industrial environment. Requirements.
  • the invention considers communication power optimization, calculation resource allocation and unloading location decision-making problems, establishes a mixed integer nonlinear programming problem, and decomposes the problem into three sub-optimization problems for solution.
  • a deep reinforcement learning algorithm is used to solve the problem, and a reinforcement learning model for task offloading in a cross-domain network is constructed, which can not only reduce task offloading overhead, but also has lower time complexity.
  • Fig. 1 is a schematic diagram of a computing task offloading model based on a cross-domain network of the present invention
  • Figure 2 is a schematic flow chart of the task offloading method of the present invention.
  • Fig. 3 is a flow chart of unloading location decision based on deep reinforcement learning of the present invention.
  • the task offloading method based on power control and resource allocation includes the following steps, see Figure 2:
  • Step 1 Configure the industrial IoT network
  • the industrial Internet of Things network includes multiple switches and multiple devices, and the multiple switches communicate in a wired manner; wherein, multiple devices can be any type of equipment used in the industrial field, including but not limited to production products
  • the equipment such as AGV, hoisting machinery and other products conveying equipment, testing equipment;
  • each of the multiple cluster domains includes an edge server and at least one device.
  • the devices in each cluster domain communicate wirelessly with switches in the cluster domain, and offload computing tasks to the switches in the cluster domain.
  • the edge server in the cluster domain performs calculations. There is no direct communication between devices and switches in different cluster domains, but switches in different cluster domains can communicate through wired means. Therefore, computing tasks on devices in a cluster domain can be offloaded by switches in the cluster domain. Perform calculations on edge servers in other cluster domains.
  • the computing power of the edge server is The computing power of a device is A device configured to generate a computing task Q i, Q i is the computing task task configured to contain the amount of data d i and index calculation task index c i;
  • the device 11 in the first cluster domain 1 is taken as an example to describe the configuration process of the unloading position of the computing task. It should be understood that the process of configuring the unloading position of the computing tasks generated by the devices in other cluster domains all follow the same steps.
  • the unloading position includes a first unloading position, a second unloading position, and a third unloading position; wherein, the first unloading position is the device 11 itself that generates the computing task; the second unloading position is a second edge server,
  • the second edge server includes an edge server 12 in the first cluster domain 1 where the device 11 is located, and the device 11 offloads the computing task to the second edge server 12 for calculation through a second switch,
  • the second switch includes the switch 13 in the first cluster domain 1 where the device 11 is located; the second edge server is configured to allocate a certain percentage of computing resources to the computing tasks offloaded thereon;
  • the third uninstall location is a third edge server, which includes edge servers in other cluster domains where the device 11 is not located, for example, the edge server 22 in the second cluster domain 2 or the third cluster domain 3
  • Step 2 Establish a total cost model of all the computing tasks in the industrial IoT network according to the first calculation model, the second calculation model, and the third calculation model, and construct a mixed integer nonlinear programming problem .
  • Step 3 Decompose the non-linear programming problem in step 2 into communication power optimization problems and computational resource allocation problems, and obtain the optimal communication power at the extreme point or domain boundary of the communication power optimization problem, and use pull
  • the Grange multiplier method and the KKT condition simultaneous equations obtain the optimal calculation resource allocation strategy for calculation resource allocation, and substitute the optimal communication power and the optimal calculation resource allocation strategy into the objective function to obtain offloading Location decision problem model;
  • Step 4 Establish a reinforcement learning model based on the communication power and the computing resource allocation strategy obtained in step 3, and use the deep reinforcement learning algorithm to train the parameters of the deep neural network, so that the reinforcement learning model can perform in multi-step iterations
  • the cumulative reward is the largest, the optimal unloading position decision of the computing task is obtained, and the joint optimization strategy including the optimal communication power, the optimal computing resource allocation strategy, and the optimal unloading position decision is obtained.
  • n switches are arranged in the industrial network system. According to the communication coverage of the switches, the network is divided into n cluster domains. An edge server is arranged next to each switch, and its computing capacity is There are m field devices distributed in n cluster domains in the network, and the computing power of the field devices is Each device will generate a computational task Q i, Q i comprises two indicators task: Task data size d i, computation tasks c i. There are three calculation methods for each task: computing on the device, computing on the edge server in the cluster domain, and computing on the edge server in other cluster domains.
  • the first time consumption calculated on this device is
  • the first energy consumption calculated on this device is Where ⁇ i is the energy consumption density calculated by device i.
  • the first cost calculated on this device is Among them, ⁇ i is the weighting factor, and ⁇ i ⁇ (0,1).
  • the time consumption calculated on the edge server in the local cluster domain is the task transmission time plus the calculation time, and the wireless transmission model is first established.
  • TDMA Time Division Multiple Access
  • TDMA technology divides the time into periodic, non-overlapping frames.
  • a TDMA frame is divided into several time slots.
  • the equipment transmits data in each assigned time slot, which can realize many-to-one communication without generating Interference with each other, thereby improving the utilization of wireless channel resources.
  • the wireless channel can be better used to ensure the quality and rate of transmission, and also provide a guarantee for the real-time performance of the task.
  • a dynamic time slot allocation algorithm is adopted. If the device needs to send data, the device is allocated time slots to avoid interference with the uplink of other devices. At the same time, the utilization rate of the time slot is improved.
  • the structure of a TDMA frame includes a header bit, a number of time slots, and a tail bit. Each time slot contains information such as synchronization bits, user information bits, and protection bits. The data that needs to be transmitted is included in the user information bits.
  • the total wireless communication bandwidth of switch j in a cluster domain is B j
  • the total bandwidth that can be allocated for a TDMA frame is B j
  • it is necessary to allocate time slots and bandwidth to the devices according to the number of unloaded devices in the cluster domain and the amount of task data Assuming that the corresponding device set in the cluster domain of a switch S j is ⁇ j , the corresponding rules are determined according to the actual network topology.
  • time slots and bandwidth are allocated to devices that need to perform task offloading, and the allocation ratio is determined according to the size of the task data. Then the actual bandwidth allocated by device i is
  • x i is a binary variable
  • B i is the wireless channel bandwidth allocated by device i
  • p i is the communication transmission power of the device
  • g i is the channel gain between device i and the switch
  • N 0 is the channel noise unilateral power spectral density.
  • ⁇ i denotes an edge position calculating server of the task Q i, ⁇ i ⁇ ⁇ 1,2, ... , N ⁇ , It represents an edge server ⁇ i Q i allocated to the task ratio computing capability. Because the optimization object in the present invention only considers equipment, the energy consumption is equal to the second energy consumption for the equipment to transfer tasks to the cluster domain switch, which is
  • the transmission path is two hops, that is, first from the device to the switch in the local cluster domain, and then from the switch in the local cluster domain to the switch in the target cluster domain.
  • Switches in different cluster domains are connected by wire, and their data transmission rate is constant r w .
  • the time consumption of computing tasks calculated on edge servers in other cluster domains is divided into three parts: the transmission time for the device to offload tasks to switches in the cluster domain, the transmission time for switches in the cluster domain to offload tasks to the target cluster domain switch, and The calculation time of the task on the edge server in the target cluster domain, so the third time consumption is
  • the third energy consumption is the third energy consumption.
  • the third cost is the third cost.
  • Step 2 specifically is:
  • the total cost model of offloading calculation tasks is constructed.
  • Uninstall the total cost of computing tasks Q i Then the total offloading overhead of all computing tasks in the industrial IoT network is:
  • step 3 the mixed integer nonlinear programming problem constructed in step 2 is solved.
  • step 3 Given a set of feasible solutions x 0 , ⁇ 0, and ⁇ 0 corresponding to the unloading position of the computing task, they are substituted into the original objective function, assuming that there are a total of l field devices that choose to unload the computing task to the edge Processing on the server. Among them, p devices choose to offload tasks to edge servers in other cluster domains for processing. The remaining devices choose to perform calculations locally, and only continuous variables ⁇ i and p i remain in the objective function. The function is expressed as
  • the nonlinear programming problem is decomposed into the communication power optimization problem and the computing resource allocation problem, and the following functions and constraints are obtained respectively:
  • G′(q i ) increases monotonously in the domain of definition.
  • G′(q i ) 0, and get the first derivative of 0 value. then G′(q i ) ⁇ 0, G(q) decreases monotonously; G′(q i )>0, G(q) increases monotonically; according to the constraint range of the p i value, the constraint range of the q i value is obtained as If The optimal value is which is Otherwise, the optimal value is which is which is
  • the function h( ⁇ ) is a convex function with respect to the variable ⁇ .
  • the constraint condition is a linear constraint, so the resource allocation sub-problem is a convex optimization problem about the variable ⁇ , and the Lagrangian function of h( ⁇ ) is constructed Using the KKT condition to solve, the optimal allocation strategy of computing resources can be obtained as
  • the unloading position decision problem is an integer linear programming problem with variables x i , ⁇ i and ⁇ i , which is solved in step 4 by a deep reinforcement learning algorithm.
  • Reinforcement learning has three key elements, state, action and reward. For the unloading location decision problem model in this application, the following definitions are given for these three elements.
  • the system status is the total time consumption T and total energy consumption E of all tasks.
  • U local is the total cost of all tasks in the case of device calculation
  • U is the total cost of the system to complete the task under the current decision. Therefore, the value of the objective function is negatively correlated with the reward function, and the minimum value of the objective function can be obtained when the value of the reward function is the largest.
  • step 4 deep reinforcement learning includes the following steps:
  • Step 4.1 Define status, action and reward
  • Step 4.2 Initialize the memory buffer area, the memory buffer area is configured to store at least one set of memory data, the memory data including the current state, the current action, the current reward and the next state; the weight of the initialization value function network , Making the network parameters of the objective function consistent with the network parameters of the value function;
  • Step 4.3 Initialize the value function network state, calculate the total time consumption T and total energy consumption E of all the calculation tasks, and use the calculation result as the state s 1 , and input the state s 1 into the value function network to obtain the state s1 Next, take the output of the value function corresponding to different actions.
  • Step 4.4 using ⁇ -greedy strategy selection operation to select a random probability [epsilon] action a t, otherwise, select the maximum value of the function corresponding to the operation.
  • the action is executed, the instant reward is obtained and the next state s t+1 is reached.
  • Each group of such memory data (including state, action, instant reward, and next state) is stored in the memory buffer area for network training .
  • Step 4.5 Randomly sample a plurality of the memory data from the memory buffer area; in the case that the current state is the final state, the time difference target is configured as r j ; in the case that the current state is not the final state Next, input each of the plurality of the memory data into the objective function network to calculate the time difference target, and the network output of the objective function is
  • Step 4.6 Use the network output of the value function as an estimated value, use the network output of the objective function as a label value, and update the network parameters of the value function using an SGD (stochastic gradient descent) algorithm;
  • SGD stochastic gradient descent
  • Step 4.7 Repeat the steps 4.4-4.6 until the network parameters of the value function are updated a fixed number of times; assign the value function network parameters in the current state to the objective function network, and output the optimal state and the maximum The actions associated with the superior state. Moreover, this assignment method weakens the correlation between the data before and after, and improves the stability of the network parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种工业物联网中基于功率控制和资源分配的任务卸载方法，包括建立计算任务在不同卸载位置的计算模型，将通信功率控制、资源分配和计算卸载问题构建为混合整数非线性规划模型，利用深度强化学习算法进行求解，得到卸载计算任务的最优策略，以实现通信功率的优化和跨域资源分配。

Description

一种工业物联网中基于功率控制和资源分配的任务卸载方法 技术领域
本发明涉及工业物联网领域，尤其涉及一种工业物联网中基于功率控制和资源分配的任务卸载方法。
背景技术
工业物联网是物联网技术在工业领域的应用和推广。相比于物联网在其他应用领域，比如智慧医疗、智能交通，工业领域对数据的实时性和可靠性有更高要求。相关研究表明：大多数收集到的工业数据需要被实时存储、处理。因此，研究有效的任务处理策略，满足低时延高可靠性的要求，是十分必要的。
工业物联网的发展对计算架构提出了更高的要求。云计算作为一种常见的计算架构，拥有丰富的计算资源和存储资源，用户把数据上传云服务器进行计算，可以降低终端设备的计算负担。然而，工业现场环境中设备众多，且设备上产生的计算密集型任务对处理时延有较高的要求，把大量数据上传到云服务器不仅会导致网络拥塞，而且会产生较大的时延。因此边缘计算成为了工业网络中一种适用的计算架构，它可以利用网络边缘设备的计算和存储能力，将云计算的能力延伸到网络边缘，在提供丰富计算资源的同时有效降低网络时延，减轻网络负载压力。边缘计算因其低时延和高带宽的优点适用于许多计算密集型和时延敏感型的场景。
工业物联网在结合了边缘计算之后，给网络中的任务处理带来了一些新的模式和挑战。首先，在工业现场的复杂环境中，底层设备的异构性导致设备的计算和通信能力不同，产生的计算任务也有不同的数据量、计算量和时延要求，设备需要确定最优的计算模式来满足任务的要求；其次，当设备选择将任务卸载到边缘服务器计算时，需要选择合适的边缘服务器提高计算效率，而边缘服务器也要对卸载到其上的任务分配相应的计算资源。以往的研究工作往往只关注计算资源的分配，而真实场景中，无线网络资源同样是限制任务卸载的关键，因此需要联合计算资源、通信资源和计算模式对任务卸载进行优化，从而得到任务卸载的最优策略。
因此，基于以上分析，在结合边缘计算与工业无线技术的工业物联网中，亟需一种有效的任务卸载方法和资源分配策略，最小化设备处理任务的开销，满足工业数据被实时存储、处理的时延要求。
因此，本领域的技术人员致力于开发一种工业物联网中基于功率控制和资源分配的任务卸载方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种工业物联网中的计算任务卸载的方法，以实现通信功率的优化和跨域资源分配。该方法在满足设备通信功率要求以及计算能力约束的前提下，通过不同簇域中设备的通信功率控制、边缘服务器计算资源分配以及卸载位置决策等方式，实现任务卸载开销的最小化。
为实现上述目的，本发明提供了一种工业物联网中基于功率控制和资源分配的任务卸载方法，包括以下步骤：
步骤1、配置工业物联网络；
其中，所述工业物联网络包含复数台交换机和复数台设备，所述复数台交换机之间通过有线方式通信；
根据所述复数台交换机的通信覆盖范围将所述工业物联网络分为复数个簇域；
其中，所述复数个簇域中的每一个包含一台边缘服务器和所述复数台设备中的至少一台设备，所述至少一台设备与其所在的簇域内的交换机进行无线通信；所述边缘服务器的计算能力为
Figure PCTCN2020138947-appb-000001
所述至少一台设备中的每个的计算能力为
Figure PCTCN2020138947-appb-000002
所述至少一台设备中的每个被配置为产生一个计算任务Q i，所述计算任务Q i被配置为包含任务数据量指标d i和任务计算量指标c i；
配置所述计算任务的卸载位置；
其中，所述卸载位置包括第一卸载位置、第二卸载位置和第三卸载位置；其中，所述第一卸载位置为所述设备本身；所述第二卸载位置为第二边缘服务器，所述第二边缘服务器包括所述设备所在的所述簇域内的所述边缘服务器，所述设备通过第二交换机将所述计算任务卸载到所述第二边缘服务器上进行计算，所述第二交换机包括所述设备所在的所述簇域内的所述交换机；所述第二边缘服务器被配置为向卸载到其上的所述计算任务分配一定比例的计算资源；所述第三卸载位置为第三边缘服务器，所述第三边缘服务器包括所述设备不在其中的其他所述簇域内的所述边缘服务器；所述设备通过所述第二交换机和第三交换机将所述计算任务卸载到所述第三边缘服务器上进行计算，所述第三交换机包括所述第三边缘服务器所在的所述簇域内的交换机；所述第三边缘服务器被配置为向卸载到其上的所述计算任务分配一定比例的计算资源；
在所述计算任务在所述第一卸载位置被执行的情况下，建立第一计算模型；
在所述计算任务在所述第二卸载位置被执行的情况下，建立第二计算模型；
在所述计算任务在所述第三卸载位置被执行的情况下，建立第三计算模型。
步骤2、根据所述第一计算模型、所述第二计算模型和所述第三计算模型建立 所述工业物联网络中全部所述计算任务的总开销模型，构建目标函数，构建混合整数非线性规划问题；
步骤3、将所述步骤2中的所述非线性规划问题分解为通信功率优化问题和计算资源分配问题，在通信功率优化问题的极值点或定义域边界取到最优通信功率，利用拉格朗日乘子法和KKT条件联立方程组求得计算资源分配的最优计算资源分配策略，将所述最优通信功率和和所述最优计算资源分配策略代入所述目标函数中，得到卸载位置决策问题模型；
步骤4、根据所述步骤3得到的卸载位置决策问题模型，建立强化学习模型，利用深度强化学习算法训练深度神经网络参数，使得所述强化学习模型在多步迭代中的累计奖励最大，得到所述计算任务的最优卸载位置决策，得到包括最优通信功率、最优计算资源分配策略和最优卸载位置决策的联合优化策略。
进一步地，所述第一计算模型包括第一时间消耗、第一能量消耗和第一开销。
进一步地，所述第一时间消耗为
Figure PCTCN2020138947-appb-000003
进一步地，所述第一能量消耗为
Figure PCTCN2020138947-appb-000004
其中ζ i是所述设备i执行所述计算任务的能耗密度。
进一步地，所述第一开销为
Figure PCTCN2020138947-appb-000005
其中α i为权重因子，α i∈(0，1)。
进一步地，所述第二计算模型包括第二时间消耗、第二能量消耗和第二开销。
进一步地，所述第二时间消耗为
Figure PCTCN2020138947-appb-000006
其中，γ i表示执行所述计算任务Q i的所述第二边缘服务器，γ i∈{1,2,…,N}，
Figure PCTCN2020138947-appb-000007
表示所述第二边缘服务器γ i分配给所述计算任务Q i计算能力的比例，
所述第二交换机S j总的无线通信带宽为B j，所述设备所在的所述簇域内的全部设备的集合是Ψ j，所述设备i分配到的实际带宽大小为
Figure PCTCN2020138947-appb-000008
其中，x i是二进制变量，x i＝0表示所述计算任务在所述第一卸载位置执行，x i＝1表示所述计算任务在所述第二边缘服务器执行；
所述设备i与所述第二交换机采用时分多址(Time division multiple access，TDMA)无线通信，数据传输速率为
Figure PCTCN2020138947-appb-000009
其中，p i为所述设备i的通信发射功率，g i为所述设备i与所述交换机之间的信道增益，N 0为信道噪声单边功率谱密度。
进一步地，所述第二能量消耗为
Figure PCTCN2020138947-appb-000010
进一步地，所述第二开销为
Figure PCTCN2020138947-appb-000011
其中α i为权重因子，α i∈(0，1)。
进一步地，所述第三计算模型包括第三时间消耗、第三能量消耗和第三开销。
进一步地，所述第二交换机与所述第三交换机之间的数据传输率为常数r w；所述第三时间消耗为
Figure PCTCN2020138947-appb-000012
其中，d i/r i为所述设备将所述计算任务卸载到所述第二交换机的传输时间；d i/r w为所述第二交换机将所述计算任务卸载到所述第三交换机的传输时间；
Figure PCTCN2020138947-appb-000013
为所述计算任务在所述第三边缘服务器上的计算时间；
γ i表示执行所述计算任务Q i的所述第三边缘服务器，γ i∈{1,2,…,N}，
Figure PCTCN2020138947-appb-000014
表示所述第三边缘服务器γ i分配给所述计算任务Q i计算能力的比例，
所述第二交换机S j总的无线通信带宽为B j，所述设备所在的所述簇域内的全部设备的集合是Ψ j，所述设备i分配到的实际带宽大小为
Figure PCTCN2020138947-appb-000015
其中，x i是二进制变量，x i＝0表示所述计算任务在所述第一卸载位置执行，x i＝1表示所述计算任务在所述第三边缘服务器执行；
所述设备i与所述第二交换机采用时分多址(Time division multiple access，TDMA)无线通信，数据传输速率为
Figure PCTCN2020138947-appb-000016
其中，p i为所述设备i的通信发射功率，g i为所述设备i与所述交换机之间的信道增益，N 0为信道噪声单边功率谱密度。
进一步地，所述第三能量消耗为
Figure PCTCN2020138947-appb-000017
进一步地，所述第三开销为
Figure PCTCN2020138947-appb-000018
进一步地，所述步骤2中的建立所述工业物联网络中全部所述计算任务的总卸载开销模型包括：
定义第一决策变量x i＝{0,1}，其中，x i＝0表示所述计算任务在所述第一卸载位置执行，x i＝1表示所述计算任务被卸载到所述边缘服务器执行计算；
定义第二决策变量β i＝{0,1}，β i＝0表示所述计算任务在第一卸载位置或第二卸 载位置被执行，β i＝1表示所述计算任务在所述第三卸载位置被执行；
定义第三决策变量γ i，γ i表示执行所述计算任务的所述边缘服务器，γ i∈{1,2,…,N}；
所述计算任务Q i的开销为：
Figure PCTCN2020138947-appb-000019
所述工业物联网络中全部所述计算任务的总开销为：
Figure PCTCN2020138947-appb-000020
构建目标函数
Figure PCTCN2020138947-appb-000021
其中，约束条件为：
Figure PCTCN2020138947-appb-000022
x i∈{0,1},i＝1,2,…,m；β i∈{0,1},i＝1,2,…,m；γ i∈{1,2,…,n}；
Figure PCTCN2020138947-appb-000023
表示在所述边缘服务器γ i上处理的所述计算任务的集合，优化变量
Figure PCTCN2020138947-appb-000024
p i为连续变量，x i、β i和γ i为整数变量。
进一步地，所述步骤3包括：根据所述计算任务被执行的卸载位置，将一组可行解x 0、β 0和γ 0代入所述目标函数中，得到关于连续变量κ i的函数和连续变量p i的函数；将连续变量p i的函数转化为通信功率优化问题，求解得到所述最优通信功率
Figure PCTCN2020138947-appb-000025
将连续变量κ i的函数转化为计算资源分配问题，求解得到所述最优计算资源分配策略
Figure PCTCN2020138947-appb-000026
将所述最优通信功率和
Figure PCTCN2020138947-appb-000027
和所述最优计算资源分配策略
Figure PCTCN2020138947-appb-000028
代入原始的所述目标函数中，得到卸载位置决策问题，表示为：
Figure PCTCN2020138947-appb-000029
进一步地，所述通信功率优化问题被配置为利用函数的性质求解所述最优通信功率。
进一步地，所述计算资源分配问题被配置为先利用凸优化理论进行判定，再利用拉格朗日乘子法和KKT(Karush-Kuhn-Tucker)条件求解所述最优分配策略。
进一步地，所述步骤4包括：
步骤4.1、定义状态、动作与奖励；
步骤4.2、初始化记忆缓存区，所述记忆缓存区被配置为存储至少一组记忆数 据，所述记忆数据包括当前的状态、当前的动作、当前的奖励和下一步状态；初始化值函数网络的权重，使所述目标函数的网络参数与所述值函数的网络参数一致；
步骤4.3、初始化所述值函数网络状态，计算全部所述计算任务的总时间消耗T和总能量消耗E，计算结果作为状态s1，将状态s1输入所述值函数网络，得到在状态s 1下，采取不同动作所对应的值函数的输出；
步骤4.4、利用ε-greedy策略选择当前动作；执行所述当前动作之后得到即时奖励，并到达下一步状态s t+1；将每一组所述记忆数据储存到所述记忆缓存区中；
步骤4.5、从所述记忆缓存区中随机采样复数个所述记忆数据；在所述当前状态是最终状态的情况下，时间差分目标被配置为r j；在所述当前状态不是最终状态的情况下，将所述复数个所述记忆数据中的每一个输入所述目标函数网络以计算所述时间差分目标，所述目标函数的网络输出为
Figure PCTCN2020138947-appb-000030
步骤4.6、将所述值函数的所述网络输出作为估计值，将所述目标函数的所述网络输出作为标签值，利用SGD(随机梯度下降)算法更新所述值函数的所述网络参数；
其中，所述SGD算法的表达式为
Figure PCTCN2020138947-appb-000031
所述值函数的所述网络参数被配置为根据公式θ＝θ+Δθ被更新；
步骤4.7、重复所述步骤4.4-4.6，直至所述值函数的所述网络参数被更新固定次数；将当前状态下的值函数网络参数赋值给目标函数网络，输出最优状态以及与所述最优状态相关联的动作。
进一步地，所述状态包括全部所述计算任务的总时间消耗T和总能量消耗E；所述总时间消耗T为全部所述计算任务的所述第一时间消耗、所述第二时间消耗和所述第三时间消耗之和；所述总能量消耗E为全部所述计算任务的所述第一能量消耗、所述第二能量消耗和所述第三能量消耗之和；
所述动作包括第一决策变量向量[x 1,x 2,…,x m]、第二决策变量向量[β 1,β 2,…,β m]和第三决策变量向量[γ 1,γ 2,…,γ m]；
其中，所述第一决策变量向量被配置为决定所述计算任务是否需要卸载，所述第二决策变量向量被配置为决定所述计算任务是否在所述设备所在的簇域内的所述边缘服务器上执行计算，所述第三决策变量向量被配置为决定所述计算任务所在的边缘服务器；所述动作的动作空间为a＝[x 1,x 2,…,x m,β 1,β 2,…,β m,γ 1,γ 2,…,γ m]；
所述奖励被配置为奖励函数
Figure PCTCN2020138947-appb-000032
其中，U local是全部所述计算任务都在所述第一卸载位置执行计算时的总开销， U是采用当前决策下完成全部所述计算任务所需的总开销。
本发明基于工业物联网中的跨域卸载，构建了跨域网络中的计算任务卸载模型，最小化全部计算任务的卸载开销，以满足工业环境下计算密集型任务对计算能耗和处理时延的要求。本发明考虑了通信功率优化、计算资源分配和卸载位置决策问题，建立了混合整数非线性规划问题，并且将问题分解为三个子优化问题进行求解。针对卸载位置决策问题，采用了深度强化学习算法进行求解，构建了跨域网络中任务卸载的强化学习模型，不仅能够降低任务的卸载开销，并且具有较低的时间复杂度。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的基于跨域网络的计算任务卸载模型示意图；
图2是本发明的任务卸载方法流程示意图；
图3是本发明的基于深度强化学习的卸载位置决策流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1所示，是一种基于跨域网络的计算任务卸载模型。
其所使用的基于功率控制和资源分配的任务卸载方法包括以下步骤，参见图2：
步骤1、配置工业物联网络；
其中，所述工业物联网络包含多台交换机和多台设备，多台交换机之间通过有线方式通信；其中，多台设备可以是工业现场所使用的任意一种设备，包括但不限于生产产品的机器，诸如AGV、吊装机械等输送产品的设备，检测设备；
根据多台交换机的通信覆盖范围将工业物联网络分为多个簇域；
其中，多个簇域中的每一个包含一台边缘服务器和至少一台设备，每一个簇域内的设备与该簇域内的交换机进行无线通信，并通过及所在簇域内的交换机把计算任务卸载到本簇域中的边缘服务器进行计算。不同簇域中的设备和交换机之间无法进行直接通信，但是不同簇域中的交换机之间可以通过有线方式通信，因 此，一个簇域中的设备上的计算任务可以通过本簇域的交换机卸载到其他簇域的边缘服务器上进行计算。边缘服务器的计算能力为
Figure PCTCN2020138947-appb-000033
一个设备的计算能力为
Figure PCTCN2020138947-appb-000034
一个设备被配置为产生一个计算任务Q i，所述计算任务Q i被配置为包含任务数据量指标d i和任务计算量指标c i；
配置所述计算任务的卸载位置。如图1所示，以第一簇域1内的设备11为例，描述计算任务的卸载位置配置过程。应当理解，其他簇域内的设备所产生的计算任务，其卸载位置的配置过程都遵循相同的步骤。
所述卸载位置包括第一卸载位置、第二卸载位置和第三卸载位置；其中，所述第一卸载位置为产生该计算任务的设备11本身；所述第二卸载位置为第二边缘服务器，所述第二边缘服务器包括所述设备11所在的第一簇域1内的边缘服务器12，所述设备11通过第二交换机将所述计算任务卸载到所述第二边缘服务器12上进行计算，所述第二交换机包括所述设备11所在的第一簇域1内的交换机13；所述第二边缘服务器被配置为向卸载到其上的所述计算任务分配一定比例的计算资源；所述第三卸载位置为第三边缘服务器，所述第三边缘服务器包括所述设备11不在其中的其他簇域内的边缘服务器，例如第二簇域2内的边缘服务器22，或者第三簇域3内的边缘服务器23；所述设备11通过所述第二交换机和第三交换机将所述计算任务卸载到所述第三边缘服务器上进行计算，所述第三交换机包括所述设备11不在其中的其他簇域内的交换机，例如第二簇域2内的交换机23，或者第三簇域3内的边缘服务器33；所述第三边缘服务器被配置为向卸载到其上的所述计算任务分配一定比例的计算资源；
在所述计算任务在所述第一卸载位置被执行的情况下，建立第一计算模型；
在所述计算任务在所述第二卸载位置被执行的情况下，建立第二计算模型；
在所述计算任务在所述第三卸载位置被执行的情况下，建立第三计算模型。
步骤2、根据所述第一计算模型、所述第二计算模型和所述第三计算模型建立所述工业物联网络中全部所述计算任务的总开销模型，以及构建混合整数非线性规划问题。
步骤3、将所述步骤2中的所述非线性规划问题分解为通信功率优化问题和计算资源分配问题，在通信功率优化问题的极值点或定义域边界取到最优通信功率，利用拉格朗日乘子法和KKT条件联立方程组求得计算资源分配的最优计算资源分配策略，将所述最优通信功率和和所述最优计算资源分配策略代入所述目标函数中，得到卸载位置决策问题模型；
步骤4、根据所述步骤3得到的所述通信功率和所述计算资源分配策略，建立强化学习模型，利用深度强化学习算法训练深度神经网络参数，使得所述强化学习模型在多步迭代中的累计奖励最大，得到所述计算任务的最优卸载位置决策，得到包括最优通信功率、最优计算资源分配策略和最优卸载位置决策的联合优化策 略。
在步骤1中，工业网络系统中布置n台交换机，根据交换机的通信覆盖范围，将网络分为n个簇域，每台交换机旁布置了一台边缘服务器，其计算能力为
Figure PCTCN2020138947-appb-000035
网络中有m个现场设备分布在n个簇域中，现场设备的计算能力为
Figure PCTCN2020138947-appb-000036
每个设备上会产生一个计算任务Q i，任务Q i包含两个指标：任务数据量大小d i，任务计算量c i。每个任务有三种计算方式，分别是在该设备上计算、在本簇域内的边缘服务器计算，以及在其他簇域内的边缘服务器计算。
1)在该设备上计算(第一计算模型)：
在该设备上计算的第一时间消耗为
Figure PCTCN2020138947-appb-000037
在该设备上计算的第一能量消耗为
Figure PCTCN2020138947-appb-000038
其中ζ i是设备i计算的能耗密度。
在该设备上计算的第一开销为
Figure PCTCN2020138947-appb-000039
其中α i为权重因子，α i∈(0,1)。
2)将计算任务卸载到设备所在的本簇域内的边缘服务器上计算(第二计算模型)
在本地簇域内边缘服务器上计算的时间消耗为任务传输时间加上计算时间，首先建立无线传输模型。
同一个簇域内，设备向交换机上传数据的过程中，使用的是同一无线频率，不同设备的上行链路之间会产生干扰，影响传输速率和传输质量，因此采用时分多址(Time division multiple access，TDMA)技术。TDMA技术把时间分割成周期性、互不重叠的帧，一个TDMA帧被分为若干个时隙，设备在各自分配好的时隙内进行数据传输，能够实现多对一的通信而不会产生互相干扰，从而提高无线信道资源的利用率，在局部网络负载较大时，能够较好的利用无线信道，保证了传输的质量以及速率，也为任务实时性提供了保障。由于簇域内设备任务的卸载位置不同，对信道资源有不同的要求，因此采用动态时隙分配算法，如果设备需要发送数据，才给设备分配时隙，避免与其他设备的上行链路产生干扰，同时提高了时隙的利用率。
TDMA帧的结构包含头比特、若干个时隙以及尾比特，每个时隙中包含同步比特、用户信息比特和保护比特等信息，这其中需要传输的数据就包含在用户信息比特中，这也是TDMA帧传输的主要部分。一个簇域内交换机j总的无线通信带宽为B j，则一个TDMA帧的能够分配的总带宽是B j，需要根据簇域中进行卸载的设备数量以及任务的数据量给设备分配时隙以及带宽。假设一个交换机S j的簇域中对应的设备集合是Ψ j，对应规则根据网络实际拓扑确定。那么根据动态时隙分配算法，给需要进行任务卸载的设备分配时隙以及带宽，分配的比例按照任务 的数据量大小确定。则设备i分配到的实际带宽大小为
Figure PCTCN2020138947-appb-000040
其中x i是二进制变量，x i＝0表示任务在该设备上计算，x i＝1表示任务需要卸载到边缘服务器计算。
利用香农公式求出设备发送任务的数据传输速率，
Figure PCTCN2020138947-appb-000041
其中B i为设备i分配到的无线信道带宽，p i为设备的通信发射功率，g i为设备i与交换机之间的信道增益，N 0为信道噪声单边功率谱密度。可以求得第二时间消耗为
Figure PCTCN2020138947-appb-000042
其中γ i表示计算任务Q i的边缘服务器位置，γ i∈{1,2,…,N}，
Figure PCTCN2020138947-appb-000043
表示边缘服务器γ i分配给任务Q i计算能力的比例。因为本发明中的优化对象只考虑设备，因此能量消耗等于设备将任务传送到本簇域交换机的第二能量消耗，即为
Figure PCTCN2020138947-appb-000044
在本簇域内计算的第二开销为
Figure PCTCN2020138947-appb-000045
3)将计算任务卸载到其他簇域内的边缘服务器上计算(第三计算模型)
将计算任务卸载到其他簇域内的边缘服务器上，其传输路径是两跳的，即首先从设备到本地簇域内的交换机，然后从本地簇域内的交换机到目标簇域内的交换机。不同簇域的交换机之间是通过有线方式连接的，其数据传输率为常数r w。计算任务在其他簇域的边缘服务器上计算的时间消耗分为三部分：设备将任务卸载到本簇域内交换机的传输时间，本簇域的交换机将任务卸载到目标簇域交换机的传输时间，以及任务在目标簇域内边缘服务器上的计算时间，所以第三时间消耗为
Figure PCTCN2020138947-appb-000046
第三能量消耗为
Figure PCTCN2020138947-appb-000047
这里同样只考虑设备将任务传送到本簇域交换机的能量消耗。
第三开销为
Figure PCTCN2020138947-appb-000048
步骤2具体为：
根据步骤1建立的三种计算模型，构建卸载计算任务的总开销模型。首先定义决策变量x i＝{0,1}，x i＝0表示计算任务在本地设备计算，x i＝1表示将计算任务卸载到边缘服务器计算；定义决策变量β i＝{0,1}，β i＝0表示计算任务在本簇域内的边缘服务器上执行，β i＝1表示计算任务在其他簇域内的边缘服务器上执行，边缘服务器的位置由γ i表示，γ i∈{1,2,…,n}。卸载计算任务Q i的总开销为
Figure PCTCN2020138947-appb-000049
则工业物联网络中所有计算任务的卸载总开销为：
Figure PCTCN2020138947-appb-000050
构建如下目标函数：
Figure PCTCN2020138947-appb-000051
该函数的约束条件为：
Figure PCTCN2020138947-appb-000052
x i∈{0,1},i＝1,2,…,m；β i∈{0,1},i＝1,2,…,m；γ i∈{1,2,…,n}。其中，
Figure PCTCN2020138947-appb-000053
表示在边缘服务器γ i上处理的计算任务的集合，优化变量
Figure PCTCN2020138947-appb-000054
p i为连续变量，x i、β i和γ i为整数变量，因此构建了一个混合整数非线性规划问题。
在步骤3中，对步骤2中所构建的混合整数非线性规划问题进行求解。
在步骤3中，给定与计算任务的卸载位置相对应的一组可行解x 0、β 0和γ 0，将其代入原目标函数中，假设共有l个现场设备选择将计算任务卸载到边缘服务器上处理，这其中有p个设备选择将任务卸载到其他簇域内的边缘服务器上处理，剩 余的设备选择在本地进行计算，则目标函数中只剩下连续变量κ i和p i，将目标函数表示为
Figure PCTCN2020138947-appb-000055
将非线性规划问题分解为通信功率优化问题和计算资源分配问题，分别得到以下函数和约束条件：
Figure PCTCN2020138947-appb-000056
对应的约束为
Figure PCTCN2020138947-appb-000057
以及
Figure PCTCN2020138947-appb-000058
对应的约束为
Figure PCTCN2020138947-appb-000059
对于通信功率优化问题g(p)，做参数代换令
Figure PCTCN2020138947-appb-000060
q i＝log 2(1+C·p i)，则
Figure PCTCN2020138947-appb-000061
原函数化为
Figure PCTCN2020138947-appb-000062
求一阶导数
Figure PCTCN2020138947-appb-000063
二阶导数为
Figure PCTCN2020138947-appb-000064
Figure PCTCN2020138947-appb-000065
令
Figure PCTCN2020138947-appb-000066
所以y在定义域q i＞0上单调增，又y(q i＝0)＝0，所以
Figure PCTCN2020138947-appb-000067
在定义域q i＞0中是恒成立的，因此G″(q i)＞0，即函数G(q)是凸函数。
因为G″(q i)＞0，所以G′(q i)在定义域内单调增，令G′(q i)＝0，得到使一阶导数为0的
Figure PCTCN2020138947-appb-000068
值。则
Figure PCTCN2020138947-appb-000069
G′(q i)＜0，G(q)单调减；
Figure PCTCN2020138947-appb-000070
G′(q i)＞0，G(q)单调增；根据p i值的约束范围，求得q i值的约束范围为
Figure PCTCN2020138947-appb-000071
若
Figure PCTCN2020138947-appb-000072
则最优值为
Figure PCTCN2020138947-appb-000073
即
Figure PCTCN2020138947-appb-000074
否则，最优值为
Figure PCTCN2020138947-appb-000075
即
Figure PCTCN2020138947-appb-000076
通过求函数h(κ)关于变量κ的Hessian矩阵，可以证明函数h(κ)是关于变量κ的 凸函数。并且约束条件是线性约束，所以资源分配子问题是关于变量κ的凸优化问题，构建h(κ)的拉格朗日函数
Figure PCTCN2020138947-appb-000077
利用KKT条件求解可以得到计算资源的最优分配策略为
Figure PCTCN2020138947-appb-000078
将最优通信功率和
Figure PCTCN2020138947-appb-000079
和计算资源最优分配策略
Figure PCTCN2020138947-appb-000080
代入原目标函数中，得到卸载位置决策问题，表示为：
Figure PCTCN2020138947-appb-000081
该卸载位置决策问题是关于变量x i、β i和γ i的整数线性规划问题，在步骤4中通过深度强化学习算法进行求解。强化学习有三个关键元素，状态、动作和奖励。针对本申请中的卸载位置决策问题模型，对这三个元素给出如下的定义。
状态：系统状态为所有任务的总时间消耗T和总能量消耗E。
动作：系统的动作由三部分组成，分别是决定任务是否需要卸载的变量[x 1,x 2,…,x m]，决定任务是否在本簇域内边缘服务器计算的变量[β 1,β 2,…,β m]，以及计算任务的边缘服务器位置的变量[γ 1,γ 2,…,γ m]，因此动作空间定义为a＝[x 1,x 2,…,x m,β 1,β 2,…,β m,γ 1,γ 2,…,γ m]。
奖励：系统位于状态s时，采取一个动作a到达下一个状态s'，获得的即时奖励为R(s,a)。强化学习的目标是通过找到一个连续最优策略使得总的奖励最大，目标函数是要求所有任务的计算开销最短，所以定义系统的奖励为
Figure PCTCN2020138947-appb-000082
其中U local是所有任务都在设备计算情况下的总开销，U是系统采用当前决策下完成任务需要的总开销。因此目标函数的值与奖励函数呈负相关，当奖励函数值最大时可以得到目标函数的最小值。
如图3所示，在步骤4中，深度强化学习包括以下步骤：
步骤4.1、定义状态、动作与奖励；
步骤4.2、初始化记忆缓存区，所述记忆缓存区被配置为存储至少一组记忆数据，所述记忆数据包括当前的状态、当前的动作、当前的奖励和下一步状态；初始化值函数网络的权重，使所述目标函数的网络参数与所述值函数的网络参数一致；
步骤4.3、初始化所述值函数网络状态，计算全部所述计算任务的总时间消耗T和总能量消耗E，计算结果作为状态s 1，将状态s 1输入所述值函数网络，得到在 状态s1下，采取不同动作所对应的值函数的输出。
步骤4.4、利用ε-greedy策略进行动作的选择，以ε的概率随机选择一个动作a t，否则就选择对应值函数最大的动作。执行动作之后得到即时奖励，并到达下一步状态s t+1，将每一组这样的记忆数据(包括状态，动作，即时奖励，下一步状态)储存到记忆缓存区中，用于网络的训练。
步骤4.5、从所述记忆缓存区中随机采样复数个所述记忆数据；在所述当前状态是最终状态的情况下，时间差分目标被配置为r j；在所述当前状态不是最终状态的情况下，将所述复数个所述记忆数据中的每一个输入所述目标函数网络以计算所述时间差分目标，所述目标函数的网络输出为
Figure PCTCN2020138947-appb-000083
步骤4.6、将所述值函数的所述网络输出作为估计值，将所述目标函数的所述网络输出作为标签值，利用SGD(随机梯度下降)算法更新所述值函数的所述网络参数；
其中，所述SGD算法的表达式为
Figure PCTCN2020138947-appb-000084
所述值函数的所述网络参数被配置为根据公式θ＝θ+Δθ被更新；
步骤4.7、重复所述步骤4.4-4.6，直至所述值函数的所述网络参数被更新固定次数；将当前状态下的值函数网络参数赋值给目标函数网络，输出最优状态以及与所述最优状态相关联的动作。并且，这种赋值方式减弱了前后数据之间的关联性，提高了网络参数的稳定性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (20)

  1. 一种工业物联网中基于功率控制和资源分配的任务卸载方法，包括以下步骤：
    步骤1、配置工业物联网络；
    其中，所述工业物联网络包含复数台交换机和复数台设备，所述复数台交换机之间通过有线方式通信；
    根据所述复数台交换机的通信覆盖范围将所述工业物联网络分为复数个簇域；
    其中，所述复数个簇域中的每一个包含一台边缘服务器和所述复数台设备中的至少一台设备，所述至少一台设备与其所在簇域内的交换机进行无线通信；所述边缘服务器的计算能力为
    Figure PCTCN2020138947-appb-100001
    所述至少一台设备中的每个的计算能力为
    Figure PCTCN2020138947-appb-100002
    所述至少一台设备中的每个被配置为产生一个计算任务Q i，所述计算任务Q i被配置为包含任务数据量指标d i和任务计算量指标c i；
    配置所述计算任务的卸载位置；
    其中，所述卸载位置包括第一卸载位置、第二卸载位置和第三卸载位置；其中，所述第一卸载位置为所述设备本身；所述第二卸载位置为第二边缘服务器，所述第二边缘服务器包括所述设备所在的簇域内的所述边缘服务器，所述设备通过第二交换机将所述计算任务卸载到所述第二边缘服务器上进行计算，所述第二交换机包括所述设备所在的所述簇域内的所述交换机；所述第二边缘服务器被配置为向卸载到其上的所述计算任务分配计算资源；所述第三卸载位置为第三边缘服务器，所述第三边缘服务器包括所述设备不在其中的其他簇域内的所述边缘服务器；所述设备通过所述第二交换机和第三交换机将所述计算任务卸载到所述第三边缘服务器上进行计算，所述第三交换机包括所述第三边缘服务器所在的所述簇域内的交换机；所述第三边缘服务器被配置为向卸载到其上的所述计算任务分配计算资源；
    在所述计算任务在所述第一卸载位置被执行的情况下，建立第一计算模型；
    在所述计算任务在所述第二卸载位置被执行的情况下，建立第二计算模型；
    在所述计算任务在所述第三卸载位置被执行的情况下，建立第三计算模型；
    步骤2、根据所述第一计算模型、所述第二计算模型和所述第三计算模型建立所述工业物联网络中全部所述计算任务的总开销模型，构建目标函数，构建混合整数非线性规划问题；
    步骤3、将所述步骤2中的所述非线性规划问题分解为通信功率优化问题和计算资源分配问题，在通信功率优化问题的极值点或定义域边界取到最优通信功率，利用拉格朗日乘子法和KKT条件联立方程组求得计算资源分配的最优计算资源分配策略，将所述最优通信功率和和所述最优计算资源分配策略代入所述目标函数中，得到卸载位置决策问题模型；
    步骤4、根据所述步骤3得到的卸载位置决策问题模型，建立强化学习模型，利用深度强化学习算法训练深度神经网络参数，使得所述强化学习模型在多步迭代中的累计奖励最大，得到所述计算任务的最优卸载位置决策，得到包括最优通信功率、最优计算资源分配策略和最优卸载位置决策的联合优化策略。
  2. 如权利要求1所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第一计算模型包括第一时间消耗、第一能量消耗和第一开销。
  3. 如权利要求2所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第一时间消耗为
    Figure PCTCN2020138947-appb-100003
  4. 如权利要求3所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第一能量消耗为
    Figure PCTCN2020138947-appb-100004
    其中ζ i是设备i执行所述计算任务的能耗密度。
  5. 如权利要求4所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第一开销为
    Figure PCTCN2020138947-appb-100005
    其中α i为权重因子，α i∈(0，1)。
  6. 如权利要求5所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第二计算模型包括第二时间消耗、第二能量消耗和第二开销。
  7. 如权利要求6所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第二时间消耗为
    Figure PCTCN2020138947-appb-100006
    其中，γ i表示执行所述计算任务Q i的所述第二边缘服务器，γ i∈{1,2,…，N}，
    Figure PCTCN2020138947-appb-100007
    表示所述第二边缘服务器γ i分配给所述计算任务Q i计算能力的比例，
    所述第二交换机S j总的无线通信带宽为B j，所述设备所在的所述簇域内的全部设备的集合是Ψ j，所述设备i分配到的实际带宽大小为
    Figure PCTCN2020138947-appb-100008
    其中，x i是二进制变量，x i＝0表示所述计算任务在所述第一卸载位置执行，x i＝1表示所述计算任务在所述第二边缘服务器执行；
    所述设备i与所述第二交换机采用时分多址(TDMA)无线通信，数据传输速率为
    Figure PCTCN2020138947-appb-100009
    其中，p i为所述设备i的通信发射功率，g i为所述设备i与所述交换机之间的信道增益，N 0为信道噪声单边功率谱密度。
  8. 如权利要求7所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第二能量消耗为
    Figure PCTCN2020138947-appb-100010
  9. 如权利要求8所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第二开销为
    Figure PCTCN2020138947-appb-100011
    其中α i为权重因子，α i∈(0，1)。
  10. 如权利要求9所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第三计算模型包括第三时间消耗、第三能量消耗和第三开销。
  11. 如权利要求10所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第二交换机与所述第三交换机之间的数据传输率为常数r w；所述第三时间消耗为
    Figure PCTCN2020138947-appb-100012
    其中，d i/r i为所述设备将所述计算任务卸载到所述第二交换机的传输时间；d i/r w为所述第二交换机将所述计算任务卸载到所述第三交换机的传输时间；
    Figure PCTCN2020138947-appb-100013
    为所述计算任务在所述第三边缘服务器上的计算时间；
    γ i表示执行所述计算任务Q i的所述第三边缘服务器，γ i∈{1,2,…,N}，
    Figure PCTCN2020138947-appb-100014
    表示所述第三边缘服务器γ i分配给所述计算任务Q i计算能力的比例，
    所述第二交换机S j总的无线通信带宽为B j，所述设备所在的所述簇域内的全部设备的集合是Ψ j，所述设备i分配到的实际带宽大小为
    Figure PCTCN2020138947-appb-100015
    其中，x i是二进制变量，x i＝0表示所述计算任务在所述第一卸载位置执行，x i＝1表示所述计算任务在所述第三边缘服务器执行；
    所述设备i与所述第二交换机采用时分多址(TDMA)无线通信，数据传输速率为
    Figure PCTCN2020138947-appb-100016
    其中，p i为所述设备i的通信发射功率，g i为所述设备i与所述交换机之间的信道增益，N 0为信道噪声单边功率谱密度。
  12. 如权利要求11所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第三能量消耗为
    Figure PCTCN2020138947-appb-100017
  13. 如权利要求12所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述第三开销为
    Figure PCTCN2020138947-appb-100018
  14. 如权利要求13所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述步骤2中的建立所述工业物联网络中全部所述计算任务的总卸载开销模型包括：
    定义第一决策变量x i＝{0,1}，其中，x i＝0表示所述计算任务在所述第一卸载位置执行，x i＝1表示所述计算任务被卸载到所述边缘服务器执行计算；
    定义第二决策变量β i＝{0,1}，β i＝0表示所述计算任务在第一卸载位置或第二卸载位置被执行，β i＝1表示所述计算任务在所述第三卸载位置被执行；
    定义第三决策变量γ i，γ i表示执行所述计算任务的所述边缘服务器，γ i∈{1,2,...,N}；
    所述计算任务Q i的开销为：
    Figure PCTCN2020138947-appb-100019
    所述工业物联网络中全部所述计算任务的总开销为：
    Figure PCTCN2020138947-appb-100020
  15. 如权利要求14所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述步骤2中的构建混合整数非线性规划问题包括：
    构建目标函数
    Figure PCTCN2020138947-appb-100021
    其中，约束条件为：
    Figure PCTCN2020138947-appb-100022
    x i∈{0,1},i＝1,2,…,m；β i∈{0,1},i＝1,2,…,m；γ i∈{1,2,…,n}；
    Figure PCTCN2020138947-appb-100023
    表示在所述边缘服务器γ i上处理的所述计算任务的集合，优化变量
    Figure PCTCN2020138947-appb-100024
    p i为连续变量，x i、β i和γ i为整数变量。
  16. 如权利要求15所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述步骤3包括：根据所述计算任务被执行的卸载位置，将一组可行解x 0、β 0和γ 0代入所述目标函数中，得到关于连续变量κ i的函数和连续变量p i的函数；将连续变量p i的函数转化为通信功率优化问题，求解得到所述最优通信功率
    Figure PCTCN2020138947-appb-100025
    将连续变 量κ i的函数转化为计算资源分配问题，求解得到所述最优计算资源分配策略
    Figure PCTCN2020138947-appb-100026
    将所述最优通信功率和
    Figure PCTCN2020138947-appb-100027
    和所述最优计算资源分配策略
    Figure PCTCN2020138947-appb-100028
    代入原始的所述目标函数中，得到卸载位置决策问题，表示为：
    Figure PCTCN2020138947-appb-100029
  17. 如权利要求16所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述通信功率优化问题被配置为利用函数的性质求解所述最优通信功率。
  18. 如权利要求17所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述计算资源分配问题被配置为先利用凸优化理论进行判定，再利用拉格朗日乘子法和KKT(Karush-Kuhn-Tucker)条件求解所述最优分配策略。
  19. 如权利要求18所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述步骤4包括：
    步骤4.1、定义状态、动作与奖励；
    步骤4.2、初始化记忆缓存区，所述记忆缓存区被配置为存储至少一组记忆数据，所述记忆数据包括当前的状态、当前的动作、当前的奖励和下一步状态；初始化值函数网络的权重，使所述目标函数的网络参数与所述值函数的网络参数一致；
    步骤4.3、初始化所述值函数网络状态，计算全部所述计算任务的总时间消耗T和总能量消耗E，计算结果作为状态s 1，将状态s 1输入所述值函数网络，得到在状态s 1下，采取不同动作所对应的值函数的输出；
    步骤4.4、利用ε-greedy策略选择当前动作；执行所述当前动作之后得到即时奖励，并到达下一步状态s t+1；将每一组所述记忆数据储存到所述记忆缓存区中；
    步骤4.5、从所述记忆缓存区中随机采样复数个所述记忆数据；在所述当前状态是最终状态的情况下，时间差分目标被配置为r j；在所述当前状态不是最终状态的情况下，将所述复数个所述记忆数据中的每一个输入所述目标函数网络以计算所述时间差分目标，所述目标函数的网络输出为
    Figure PCTCN2020138947-appb-100030
    步骤4.6、将所述值函数的所述网络输出作为估计值，将所述目标函数的所述网络输出作为标签值，利用SGD(随机梯度下降)算法更新所述值函数的所述网络参数；
    其中，所述SGD算法的表达式为
    Figure PCTCN2020138947-appb-100031
    所述值函数的所述网络参数被配置为根据公式θ＝θ+Δθ被更新；
    步骤4.7、重复所述步骤4.4-4.6，直至所述值函数的所述网络参数被更新固定次数；将当前状态下的值函数网络参数赋值给目标函数网络，输出最优状态以及与所述最优状态相关联的动作。
  20. 如权利要求19所述的工业物联网中基于功率控制和资源分配的任务卸载方法，其中，所述状态包括全部所述计算任务的总时间消耗T和总能量消耗E；所述总时间消耗T为全部所述计算任务的所述第一时间消耗、所述第二时间消耗和所述第三时间消耗之和；所述总能量消耗E为全部所述计算任务的所述第一能量消耗、所述第二能量消耗和所述第三能量消耗之和；
    所述动作包括第一决策变量向量[x 1,x 2,…,x m]、第二决策变量向量[β 1,β 2,…,β m]和第三决策变量向量[γ 1,γ 2,…,γ m]；
    其中，所述第一决策变量向量被配置为决定所述计算任务是否需要卸载，所述第二决策变量向量被配置为决定所述计算任务是否在所述设备所在的簇域内的所述边缘服务器上执行计算，所述第三决策变量向量被配置为决定所述计算任务所在的边缘服务器；所述动作的动作空间为a＝[x 1,x 2,…,x m,β 1,β 2,…,β m,γ 1,γ 2,…,γ m]；
    所述奖励被配置为奖励函数
    Figure PCTCN2020138947-appb-100032
    其中，U local是全部所述计算任务都在所述第一卸载位置执行计算时的总开销，U是采用当前决策下完成全部所述计算任务所需的总开销。
PCT/CN2020/138947 2020-01-08 2020-12-24 一种工业物联网中基于功率控制和资源分配的任务卸载方法 WO2021139537A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/861,123 US11778018B2 (en) 2020-01-08 2022-07-08 Method for task offloading based on power control and resource allocation in industrial internet of things

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010018997.9 2020-01-08
CN202010018997.9A CN111245651B (zh) 2020-01-08 2020-01-08 一种基于功率控制和资源分配的任务卸载方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/861,123 Continuation-In-Part US11778018B2 (en) 2020-01-08 2022-07-08 Method for task offloading based on power control and resource allocation in industrial internet of things

Publications (1)

Publication Number Publication Date
WO2021139537A1 true WO2021139537A1 (zh) 2021-07-15

Family

ID=70873014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/138947 WO2021139537A1 (zh) 2020-01-08 2020-12-24 一种工业物联网中基于功率控制和资源分配的任务卸载方法

Country Status (3)

Country Link
US (1) US11778018B2 (zh)
CN (1) CN111245651B (zh)
WO (1) WO2021139537A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595801A (zh) * 2021-08-09 2021-11-02 湘潭大学 一种基于任务流量和时效性的边缘云网络服务器部署方法
CN113590229A (zh) * 2021-08-12 2021-11-02 中山大学 一种基于深度强化学习的工业物联网图任务卸载方法及系统
CN113676357A (zh) * 2021-08-30 2021-11-19 华北电力大学 面向电力物联网中边缘数据处理的决策方法及其应用
CN113709886A (zh) * 2021-08-23 2021-11-26 西安电子科技大学 基于匹配理论的移动边缘计算中的动态资源分配方法
CN113727308A (zh) * 2021-10-20 2021-11-30 湖北大学 一种基于车辆位置预测的边缘计算卸载优化方法
CN113904947A (zh) * 2021-11-15 2022-01-07 湖南大学无锡智能控制研究院 车路协同分布式边缘计算任务卸载与资源分配方法和系统
CN114025359A (zh) * 2021-11-01 2022-02-08 湖南大学 基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质
CN114143212A (zh) * 2021-11-26 2022-03-04 天津大学 一种面向智慧城市的社会化学习方法
CN114205899A (zh) * 2022-01-18 2022-03-18 电子科技大学 一种基于深度强化学习的异构网高能效功率控制方法
CN114564248A (zh) * 2022-02-23 2022-05-31 重庆邮电大学 移动边缘计算中一种根据用户移动模式计算卸载的方法
CN114866612A (zh) * 2022-03-30 2022-08-05 中国电力科学研究院有限公司 一种电力微服务卸载方法及装置
CN114866593A (zh) * 2022-05-13 2022-08-05 上海交通大学 一种端边协同的工业网络控制架构及资源联合分配方法
CN114884957A (zh) * 2022-07-12 2022-08-09 北京邮电大学 空天地网络中的计算任务卸载方法、装置和电子设备
CN114928653A (zh) * 2022-04-19 2022-08-19 西北工业大学 面向群智感知的数据处理方法及装置
CN114928609A (zh) * 2022-04-27 2022-08-19 南京工业大学 物联网场景的异构云-边环境的最优任务卸载方法
CN115022319A (zh) * 2022-05-31 2022-09-06 浙江理工大学 一种基于drl的边缘视频目标检测任务卸载方法及系统
CN115022937A (zh) * 2022-07-14 2022-09-06 合肥工业大学 拓扑特征提取方法和考虑拓扑特征的多边缘协作调度方法
CN115022893A (zh) * 2022-05-31 2022-09-06 福州大学 多任务边缘计算系统中最小化总计算时间的资源分配方法
CN115378963A (zh) * 2022-08-24 2022-11-22 重庆邮电大学 一种边缘数据服务方法
CN115686669A (zh) * 2022-10-17 2023-02-03 中国矿业大学 一种能量收集辅助的矿山物联网智能计算卸载方法
CN116069414A (zh) * 2023-03-06 2023-05-05 湖北工业大学 一种电力物联网计算任务卸载激励优化方法和存储介质
CN117177275A (zh) * 2023-11-03 2023-12-05 中国人民解放军国防科技大学 基于scma-mec的物联网设备计算速率优化方法
CN117541025A (zh) * 2024-01-05 2024-02-09 南京信息工程大学 一种用于密集输电线路巡检的边缘计算方法
CN117915405A (zh) * 2024-03-18 2024-04-19 华东交通大学 一种分布式多无人机协同任务卸载方法
CN117915405B (zh) * 2024-03-18 2024-05-31 华东交通大学 一种分布式多无人机协同任务卸载方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111245651B (zh) * 2020-01-08 2022-03-29 上海交通大学 一种基于功率控制和资源分配的任务卸载方法
EP4152702A4 (en) * 2020-06-08 2023-11-15 Huawei Technologies Co., Ltd. METHOD, APPARATUS AND APPARATUS FOR PROCESSING TAX MESSAGES IN A COLLECTIVE COMMUNICATIONS SYSTEM AND SYSTEM
CN112286677B (zh) * 2020-08-11 2021-07-16 安阳师范学院 一种面向资源受限边缘云的物联网应用优化部署方法
CN113572848B (zh) * 2020-08-18 2022-07-08 北京航空航天大学 基于价值空间估计的带数据刷新的在线服务放置方法
CN111970154B (zh) * 2020-08-24 2022-06-10 浙江工商大学 基于深度增强学习和凸优化的卸载决策及资源分配方法
CN112187534B (zh) * 2020-09-21 2021-09-24 上海交通大学 一种工业物联网中基于多跳传输的任务卸载方法
CN112291335B (zh) * 2020-10-27 2021-11-02 上海交通大学 移动边缘计算中的优化任务调度方法
CN114339819B (zh) * 2020-11-06 2023-10-03 北京航空航天大学 一种基于最优资源分配量和搜索算法的计算卸载方法
CN112671852A (zh) * 2020-12-14 2021-04-16 北京邮电大学 一种基于网内计算平台的物联网设备计算卸载架构
CN112667406A (zh) * 2021-01-10 2021-04-16 中南林业科技大学 一种云边融合异构网络中任务卸载与数据缓存方法
CN112995129A (zh) * 2021-01-28 2021-06-18 全球能源互联网研究院有限公司 基于边缘计算的电力业务安全传输方法及系统
CN113517920A (zh) * 2021-04-20 2021-10-19 东方红卫星移动通信有限公司 超密集低轨星座中物联网模拟载荷的计算卸载方法及系统
CN113207150B (zh) * 2021-04-23 2022-05-17 华中科技大学 一种基于背向散射通信的主被动混合卸载方法和装置
CN113727362B (zh) * 2021-05-31 2022-10-28 南京邮电大学 一种基于深度强化学习的无线供电系统的卸载策略方法
CN113296953B (zh) * 2021-06-04 2022-02-15 北京大学 云边端异构边缘计算网络的分布式计算架构、方法与装置
CN113543074B (zh) * 2021-06-15 2023-04-18 南京航空航天大学 一种基于车路云协同的联合计算迁移和资源分配方法
CN113543156B (zh) * 2021-06-24 2022-05-06 中国科学院沈阳自动化研究所 基于多智能体深度强化学习的工业无线网络资源分配方法
CN113452625B (zh) * 2021-06-28 2022-04-15 重庆大学 基于深度强化学习的卸载调度与资源分配方法
CN113645637B (zh) * 2021-07-12 2022-09-16 中山大学 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN113835878A (zh) * 2021-08-24 2021-12-24 润联软件系统(深圳)有限公司 一种资源分配方法、装置、计算机设备及存储介质
CN114125063B (zh) * 2021-08-30 2022-07-08 国网内蒙古东部电力有限公司 基于业务QoS的电力通信网任务卸载系统、方法及应用
CN113835886B (zh) * 2021-09-14 2023-08-29 北京信息科技大学 物联网资源分配方法、装置、电子设备及存储介质
CN114116209A (zh) * 2021-11-12 2022-03-01 中国人民解放军国防科技大学 基于深度强化学习的频谱地图构建与分发方法及系统
CN114390057B (zh) * 2022-01-13 2024-04-05 南昌工程学院 Mec环境下基于强化学习的多接口自适应数据卸载方法
CN114599041B (zh) * 2022-01-13 2023-12-05 浙江大学 一种计算和通信的融合方法
CN115277770B (zh) * 2022-07-20 2023-04-25 华北电力大学（保定） 一种节点接入和飞行策略联合优化的无人机信息收集方法
US20240037069A1 (en) * 2022-07-29 2024-02-01 Dell Products L.P. Multi-domain and multi-tier scale-out architecture for clustered file systems
CN115842731A (zh) * 2022-10-31 2023-03-24 吉林大学 一种数字化车间计算资源与服务的配置方法
CN116257361B (zh) * 2023-03-15 2023-11-10 北京信息科技大学 无人机辅助的易故障移动边缘计算资源调度优化方法
CN116483573B (zh) * 2023-04-25 2023-11-03 格莱杰(深圳)科技有限公司 一种响应待处理任务时的计算资源调度方法及装置
CN116528365B (zh) * 2023-05-18 2023-12-29 重庆邮电大学空间通信研究院 一种可靠性感知的边缘计算方法
CN116361009B (zh) * 2023-05-19 2023-11-10 南京邮电大学 一种mec计算卸载、资源分配及缓存联合优化方法
CN116647880B (zh) * 2023-07-26 2023-10-13 国网冀北电力有限公司 面向差异化电力业务的基站协作边缘计算卸载方法和装置
CN116668447B (zh) * 2023-08-01 2023-10-20 贵州省广播电视信息网络股份有限公司 一种基于改进自学习权重的边缘计算任务卸载方法
CN117201536B (zh) * 2023-09-08 2024-05-17 中国矿业大学 一种sdn跨域物联专网感知设备管控算力资源分配系统
CN117032994A (zh) * 2023-10-07 2023-11-10 中国信息通信研究院 工业互联网系统的卸载分配决策确定方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572185A (zh) * 2016-11-10 2017-04-19 北京邮电大学 一种移动物联网系统内节点的协同工作方法与装置
US20180131770A1 (en) * 2016-01-11 2018-05-10 Equinix, Inc. Distributed edge processing of internet of things device data in co-location facilities
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN110351760A (zh) * 2019-07-19 2019-10-18 重庆邮电大学 一种移动边缘计算系统动态任务卸载及资源分配方法
CN110418416A (zh) * 2019-07-26 2019-11-05 东南大学 移动边缘计算系统中基于多智能体强化学习的资源分配方法
CN110505644A (zh) * 2019-09-26 2019-11-26 江南大学 5g超密集异构网络下的用户任务卸载与资源分配联合优化方法
CN111245651A (zh) * 2020-01-08 2020-06-05 上海交通大学 一种基于功率控制和资源分配的任务卸载方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024395B1 (en) * 2001-09-04 2011-09-20 Gary Odom Distributed processing multiple tier task allocation
US8171480B2 (en) * 2004-01-27 2012-05-01 Network Appliance, Inc. Method and apparatus for allocating shared resources to process domains according to current processor utilization in a shared resource processor
BRPI0816037B1 (pt) * 2007-09-27 2021-01-19 Ronald N. Hilton aparelho para descarregar processameto de dados, sistema de descarregamento de processamento de dados, e, método implementado por máquina de descarregamento de processamento de dados
US8510577B2 (en) * 2008-07-28 2013-08-13 Microsoft Corporation Reducing power consumption by offloading applications
US9201865B2 (en) * 2013-03-15 2015-12-01 Bao Tran Automated assistance for user request that determines semantics by domain, task, and parameter
WO2017064565A1 (en) * 2015-10-13 2017-04-20 Schneider Electric Industries Sas Software defined automation system and architecture
US10484451B2 (en) * 2016-10-18 2019-11-19 Huawei Technologies Co., Ltd. Virtual network state management in mobile edge computing
US11244242B2 (en) * 2018-09-07 2022-02-08 Intel Corporation Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (MEC) networks
EP3657329A1 (en) * 2018-11-22 2020-05-27 Siemens Aktiengesellschaft System, devices and method for execution of tasks in an internet-of-things (iot) environment
KR20200084614A (ko) * 2019-01-03 2020-07-13 삼성전자주식회사 IMS(IP multimedia subsystem) 서비스를 제공하는 전자 장치
CN110035410B (zh) * 2019-03-07 2021-07-13 中南大学 一种软件定义车载边缘网络中联合资源分配和计算卸载的方法
US11423254B2 (en) * 2019-03-28 2022-08-23 Intel Corporation Technologies for distributing iterative computations in heterogeneous computing environments
US11711268B2 (en) * 2019-04-30 2023-07-25 Intel Corporation Methods and apparatus to execute a workload in an edge environment
CN110401936A (zh) * 2019-07-24 2019-11-01 哈尔滨工程大学 一种基于d2d通信的任务卸载与资源分配方法
EP3826368A1 (en) * 2019-11-19 2021-05-26 Commissariat à l'énergie atomique et aux énergies alternatives Energy efficient discontinuous mobile edge computing with quality of service guarantees

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180131770A1 (en) * 2016-01-11 2018-05-10 Equinix, Inc. Distributed edge processing of internet of things device data in co-location facilities
CN106572185A (zh) * 2016-11-10 2017-04-19 北京邮电大学 一种移动物联网系统内节点的协同工作方法与装置
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN110351760A (zh) * 2019-07-19 2019-10-18 重庆邮电大学 一种移动边缘计算系统动态任务卸载及资源分配方法
CN110418416A (zh) * 2019-07-26 2019-11-05 东南大学 移动边缘计算系统中基于多智能体强化学习的资源分配方法
CN110505644A (zh) * 2019-09-26 2019-11-26 江南大学 5g超密集异构网络下的用户任务卸载与资源分配联合优化方法
CN111245651A (zh) * 2020-01-08 2020-06-05 上海交通大学 一种基于功率控制和资源分配的任务卸载方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAUR KULJEET; GARG SAHIL; AUJLA GAGANGEET SINGH; KUMAR NEERAJ; RODRIGUES JOEL J. P. C.; GUIZANI MOHSEN: "Edge Computing in the Industrial Internet of Things Environment: Software-Defined-Networks-Based Edge-Cloud Interplay", IEEE COMMUNICATIONS MAGAZINE., IEEE SERVICE CENTER, PISCATAWAY., US, vol. 56, no. 2, 1 February 2018 (2018-02-01), US, pages 44 - 51, XP011677155, ISSN: 0163-6804, DOI: 10.1109/MCOM.2018.1700622 *
WU ZHENGKUN, JIANG LINGYUN;MU YANRU: "Application offloading algorithm based on multi-edge node collaboration", JOURNAL OF NANJING UNIVERSITY OF POSTS AND TELECOMMUNICATIONS (NATURAL SCIENCE EDITION), NANJING UNIVERSITY OF POSTS AND TELECOMMUNICATIONS, CN, vol. 39, no. 4, 1 August 2019 (2019-08-01), CN, pages 96 - 102, XP055827793, ISSN: 1673-5439, DOI: 10.14132/j.cnki.1673-5439.2019.04.013 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595801A (zh) * 2021-08-09 2021-11-02 湘潭大学 一种基于任务流量和时效性的边缘云网络服务器部署方法
CN113595801B (zh) * 2021-08-09 2023-06-30 湘潭大学 一种基于任务流量和时效性的边缘云网络服务器部署方法
CN113590229A (zh) * 2021-08-12 2021-11-02 中山大学 一种基于深度强化学习的工业物联网图任务卸载方法及系统
CN113590229B (zh) * 2021-08-12 2023-11-10 中山大学 一种基于深度强化学习的工业物联网图任务卸载方法及系统
CN113709886A (zh) * 2021-08-23 2021-11-26 西安电子科技大学 基于匹配理论的移动边缘计算中的动态资源分配方法
CN113709886B (zh) * 2021-08-23 2023-08-18 西安电子科技大学 基于匹配理论的移动边缘计算中的动态资源分配方法
CN113676357B (zh) * 2021-08-30 2022-07-29 国网内蒙古东部电力有限公司 面向电力物联网中边缘数据处理的决策方法及其应用
CN113676357A (zh) * 2021-08-30 2021-11-19 华北电力大学 面向电力物联网中边缘数据处理的决策方法及其应用
CN113727308A (zh) * 2021-10-20 2021-11-30 湖北大学 一种基于车辆位置预测的边缘计算卸载优化方法
CN113727308B (zh) * 2021-10-20 2023-06-30 湖北大学 一种基于车辆位置预测的边缘计算卸载优化方法
CN114025359A (zh) * 2021-11-01 2022-02-08 湖南大学 基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质
CN114025359B (zh) * 2021-11-01 2024-04-23 湖南大学 基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质
CN113904947A (zh) * 2021-11-15 2022-01-07 湖南大学无锡智能控制研究院 车路协同分布式边缘计算任务卸载与资源分配方法和系统
CN113904947B (zh) * 2021-11-15 2022-10-25 湖南大学无锡智能控制研究院 车路协同分布式边缘计算任务卸载与资源分配方法和系统
CN114143212B (zh) * 2021-11-26 2022-09-16 天津大学 一种面向智慧城市的社会化学习方法
CN114143212A (zh) * 2021-11-26 2022-03-04 天津大学 一种面向智慧城市的社会化学习方法
CN114205899A (zh) * 2022-01-18 2022-03-18 电子科技大学 一种基于深度强化学习的异构网高能效功率控制方法
CN114564248A (zh) * 2022-02-23 2022-05-31 重庆邮电大学 移动边缘计算中一种根据用户移动模式计算卸载的方法
CN114564248B (zh) * 2022-02-23 2023-12-26 北京麦匙科技有限公司 移动边缘计算中一种根据用户移动模式计算卸载的方法
CN114866612B (zh) * 2022-03-30 2024-05-31 中国电力科学研究院有限公司 一种电力微服务卸载方法及装置
CN114866612A (zh) * 2022-03-30 2022-08-05 中国电力科学研究院有限公司 一种电力微服务卸载方法及装置
CN114928653A (zh) * 2022-04-19 2022-08-19 西北工业大学 面向群智感知的数据处理方法及装置
CN114928653B (zh) * 2022-04-19 2024-02-06 西北工业大学 面向群智感知的数据处理方法及装置
CN114928609B (zh) * 2022-04-27 2023-02-03 南京工业大学 物联网场景的异构云-边环境的最优任务卸载方法
CN114928609A (zh) * 2022-04-27 2022-08-19 南京工业大学 物联网场景的异构云-边环境的最优任务卸载方法
CN114866593A (zh) * 2022-05-13 2022-08-05 上海交通大学 一种端边协同的工业网络控制架构及资源联合分配方法
CN115022893A (zh) * 2022-05-31 2022-09-06 福州大学 多任务边缘计算系统中最小化总计算时间的资源分配方法
CN115022319A (zh) * 2022-05-31 2022-09-06 浙江理工大学 一种基于drl的边缘视频目标检测任务卸载方法及系统
CN114884957A (zh) * 2022-07-12 2022-08-09 北京邮电大学 空天地网络中的计算任务卸载方法、装置和电子设备
CN115022937B (zh) * 2022-07-14 2022-11-11 合肥工业大学 拓扑特征提取方法和考虑拓扑特征的多边缘协作调度方法
CN115022937A (zh) * 2022-07-14 2022-09-06 合肥工业大学 拓扑特征提取方法和考虑拓扑特征的多边缘协作调度方法
CN115378963A (zh) * 2022-08-24 2022-11-22 重庆邮电大学 一种边缘数据服务方法
CN115686669A (zh) * 2022-10-17 2023-02-03 中国矿业大学 一种能量收集辅助的矿山物联网智能计算卸载方法
CN116069414B (zh) * 2023-03-06 2023-06-09 湖北工业大学 一种电力物联网计算任务卸载激励优化方法和存储介质
CN116069414A (zh) * 2023-03-06 2023-05-05 湖北工业大学 一种电力物联网计算任务卸载激励优化方法和存储介质
CN117177275B (zh) * 2023-11-03 2024-01-30 中国人民解放军国防科技大学 基于scma-mec的物联网设备计算速率优化方法
CN117177275A (zh) * 2023-11-03 2023-12-05 中国人民解放军国防科技大学 基于scma-mec的物联网设备计算速率优化方法
CN117541025A (zh) * 2024-01-05 2024-02-09 南京信息工程大学 一种用于密集输电线路巡检的边缘计算方法
CN117541025B (zh) * 2024-01-05 2024-03-19 南京信息工程大学 一种用于密集输电线路巡检的边缘计算方法
CN117915405A (zh) * 2024-03-18 2024-04-19 华东交通大学 一种分布式多无人机协同任务卸载方法
CN117915405B (zh) * 2024-03-18 2024-05-31 华东交通大学 一种分布式多无人机协同任务卸载方法

Also Published As

Publication number Publication date
CN111245651B (zh) 2022-03-29
CN111245651A (zh) 2020-06-05
US20220377137A1 (en) 2022-11-24
US11778018B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
WO2021139537A1 (zh) 一种工业物联网中基于功率控制和资源分配的任务卸载方法
CN109947545B (zh) 一种基于用户移动性的任务卸载及迁移的决策方法
Lee et al. An online secretary framework for fog network formation with minimal latency
CN111405568B (zh) 基于q学习的计算卸载和资源分配方法及装置
CN109951869B (zh) 一种基于云雾混合计算的车联网资源分配方法
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
CN112105062A (zh) 时敏条件下移动边缘计算网络能耗最小化策略方法
CN111132299B (zh) 中继系统的资源分配方法和装置
Chen et al. Code caching-assisted computation offloading and resource allocation for multi-user mobile edge computing
Yan et al. Optimal model placement and online model splitting for device-edge co-inference
CN115190033B (zh) 一种基于强化学习的云边融合网络任务卸载方法
CN116541106B (zh) 计算任务卸载方法、计算设备及存储介质
CN114885420A (zh) 一种noma-mec系统中的用户分组和资源分配方法及装置
Zhang et al. Joint offloading and resource allocation using deep reinforcement learning in mobile edge computing
Ren et al. Vehicular network edge intelligent management: A deep deterministic policy gradient approach for service offloading decision
CN116233926A (zh) 一种基于移动边缘计算的任务卸载及服务缓存联合优化方法
Jo et al. Deep reinforcement learning‐based joint optimization of computation offloading and resource allocation in F‐RAN
Alwarafy et al. DeepRAT: A DRL-based framework for multi-RAT assignment and power allocation in HetNets
Yan et al. Deep reinforcement learning based offloading for mobile edge computing with general task graph
Yu et al. Energy-aware device scheduling for joint federated learning in edge-assisted internet of agriculture things
Hwang et al. Deep reinforcement learning approach for uav-assisted mobile edge computing networks
Do et al. Deep reinforcement learning-based task offloading and resource allocation for industrial iot in MEC federation system
CN112689296B (zh) 一种异构IoT网络中的边缘计算与缓存方法及系统
Chen et al. DRL based partial offloading for maximizing sum computation rate of FDMA-based wireless powered mobile edge computing
Jeong et al. Deep reinforcement learning-based task offloading decision in the time varying channel

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912550

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912550

Country of ref document: EP

Kind code of ref document: A1