WO2022170654A1 - 一种适用于动态分布式物联网系统的数据加密学习方法 - Google Patents
一种适用于动态分布式物联网系统的数据加密学习方法 Download PDFInfo
- Publication number
- WO2022170654A1 WO2022170654A1 PCT/CN2021/080022 CN2021080022W WO2022170654A1 WO 2022170654 A1 WO2022170654 A1 WO 2022170654A1 CN 2021080022 W CN2021080022 W CN 2021080022W WO 2022170654 A1 WO2022170654 A1 WO 2022170654A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- iot device
- neighbor
- edge
- data encryption
- dynamic distributed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 10
- 230000001902 propagating effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/50—Safety; Security of things, users, data or systems
Definitions
- edge computing system data acquisition and learning can be performed at the edge closer to the data source, rather than centralizing the data to a third-party platform such as a cloud computing center, which is beneficial to privacy protection to a certain extent.
- a third-party platform such as a cloud computing center
- the extensive exchange of data (or related information based on data) between edge devices still has a certain risk of privacy leakage. Therefore, designing a data encryption learning method suitable for dynamic distributed IoT systems is an urgent problem to be solved.
- the present invention provides a data encryption method suitable for a dynamic distributed Internet of Things system, which has the following beneficial effects:
- the present invention considers the data encryption learning method in the dynamic network environment, and realizes that the distributed Internet of Things system can still realize the learning task even when the edge IoT device joins or leaves and a series of disturbances occur. Efficiency and Convergence.
- the invention provides a cutting-edge perspective for the subsequent learning method of the dynamic distributed Internet of Things system.
- FIG. 1 is a schematic diagram of stages of a data encryption learning method applicable to a dynamic distributed Internet of Things system disclosed in an embodiment of the present invention
- FIG. 2 is a schematic flowchart of a specific flow of a data encryption learning method applicable to a dynamic distributed Internet of Things system disclosed in an embodiment of the present invention.
- the present invention provides an edge data encryption method suitable for a dynamic distributed Internet of Things system. As shown in FIG. 1 , the method is first proposed to use differential privacy technology to realize the privacy of local data under the dynamic distributed Internet of Things system. protection, and to a certain extent reduce the impact on machine learning efficiency and convergence due to data noise.
- a data encryption method suitable for a dynamic distributed Internet of Things system comprising the following steps:
- each edge IoT device i uniformly extracts a data sample ⁇ k,i from the local database by random sampling and stores it in the memory.
- this step can be performed asynchronously.
- Each edge IoT device i determines the weight matrix W k according to the collected number information d k,j of its neighbor devices.
- the specific calculation method is as follows:
- N k (i) represents the neighbor set of node i in this round
- w k,ij represents the ith row and jth column of the weight matrix W k
- w k,im represents the ith row and mth column of the weight matrix W k
- d k,i represents the number of neighbor devices of edge IoT device i
- d k,j represents the number of neighbor devices of edge IoT device j.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer And Data Communications (AREA)
- Multi Processors (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种适用于动态分布式物联网系统的数据加密学习方法,包括以下步骤:初始化物联网络相关的全局参数;梯度计算过程;加噪处理过程;边缘物联设备间信息传递过程;计算权重矩阵过程;参数更新过程。本发明首次将数据加密方法用于动态分布式物联网系统,该方法可以在去中心化的动态网络模型下,每个边缘物联设备单独训练数据实现学习算法最终的收敛,并且每个边缘物联设备所存储的训练集会有差异,同时通过拉普拉斯加噪阶段在一定程度上保证网络中每个边缘物联设备的本地数据的安全。
Description
本发明属于分布式网络技术领域,特别涉及一种适用于动态分布式物联网系统的数据加密学习方法。
随着物联网的快速发展,全球物联网设备数量高速增长。随者物联网设备部署规模的爆炸性增长,网络边缘侧会产生海量的实时数据。因此,传统的以云为中心的集中式计算模式已经不足以高效处理和分析分布式边缘端产生的庞大的数据。为了降低云计算中心的负载,边缘计算技术将数据计算任务部署在靠近数据源的网络边缘端,而不是远程的云计算中心,在网络边缘形成融合网络、计算、存储、学习等平台。之前的分布式的数据加密学习方法主要是集中在网络节点不发生变化的情况下,但是随着5G和6G技术的到来,网络发生变化(即设备加入和离开,以及扰动性)的应用场景逐渐常见起来,因此,在动态分布式物联网系统下的研究越来越受到研究人员和工业人员的关注。
边缘物联设备是实现智能边缘计算的物理设备之一。该设备增加了数据协议转换和边缘计算能力,拥有数据采集、边缘计算和AI功能等几大模块。并且支持从实际应用场景出发,自定义开发部署应用,目前已完成作业现场诊断应用、新能源入网电量计算应用、数据中心基础设施和设备风险预警应用开发和部署。
随机人工智能的发展,机器学习技术在多个应用领域取得重大突破。将人工智能与边缘物联设备相结合,设计一种适用于动态分布式物联网系统的学习方法已经变成现在亟需解决的问题。去中心化的机器学习技术对边缘计算的应用有着重要的意义。在去中心化分布式学习的计算模式中,总的学习任务将被分配到若干个工作节点上平行处理来加速学习过程,提高边缘计算工作效率。由于没有中央服务器,去中心化的机器学习将对通信瓶颈和节点故障等问题有着更高的鲁棒性。
在边缘计算系统中,可以在更靠近数据源的边缘端进行数据获取和学习,而非将数据集中到如云计算中心等的第三方平台,在一定程度上有利于隐私保护。但是,在开放的分布式边缘计算环境下,数据(或基于数据产生的相关信息)在边缘端设备之间的广泛交换仍然具有一定的隐私泄露风险。因此,设计一种适用于动态分布式物联网系统的数据加密学习方法是目前亟待解决的问题。
发明内容
为解决上述技术问题,本发明提供了一种适用于动态分布式物联网系统的数据加密学习方法,首次在分布式物联网系统下,利用差分隐私技术来实现对本地数据隐私的保护,并且在一定程度上减少了由于数据加噪而对机器学习效率和收敛性的影响。
为达到上述目的,本发明的技术方案如下:
一种适用于动态分布式物联网系统的数据加密学习方法,包括以下步骤:
(1)初始化动态分布式边缘物联网系统相关的全局参数;
(2)梯度计算过程:每个边缘物联设备根据本地的数据以及本地存储的参数计算学习模型的损失函数的梯度;
(3)加噪处理过程:将本地存储的参数进行加噪声处理,并且将加噪声之后的变量称为扰动变量参数;
(4)信息传递过程:每个边缘物联设备将步骤(3)中计算的扰动变量参数和其邻居设备的个数传给邻居设备;
(5)计算权重矩阵过程:每个边缘物联设备根据邻居设备传递来的信息计算权重矩阵;
(6)参数更新过程:边缘物联设备根据邻居设备传来的扰动变量参数以及在步骤(2)中计算的梯度,进行本地参数的更新和存储。
上述方案中,步骤(2)具体如下:
(2.1)在第k+1轮迭代时,每个边缘物联设备i从本地数据库中以随机抽样的方法均匀地抽取出一条数据样本ξ
k,i并存入内存中;
上述方案中,步骤(3)具体如下:
上述方案中,步骤(4)具体如下:
(4.2)每一个边缘物联设备i接收邻居设备j传递过来的消息。
上述方案中,步骤(5)具体如下:
每个边缘物联设备i根据收集到的其邻居设备个数信息d
k,j来确定权重矩阵W
k,具体的计算方式如下:
其中,N
k(i)表示节点i在此轮的邻居集合,w
k,ij表示权重矩阵W
k的第i行第j列,w
k,im表示权重矩阵W
k的第i行第m列,d
k,i代表边缘物联设备i的邻居设备个数,d
k,j代表边缘物联设备j的邻居设备个数。
上述方案中,步骤(6)具体如下:
通过上述技术方案,本发明提供一种适用于动态分布式物联网系统的数据加密方法具有如下有益效果:
(1)本发明首次在动态网络的环境下,考虑数据加密学习方法,实现了在边缘物联设备发生加入或者离开以及一系列扰动等情况下,分布式的物联网系统仍然可以实现学习任务的效率和收敛性。本发明为后续的动态分布式物联网系统的学习方法提供了一种前沿性的视角。
(2)同时,在学习过程中,为了保护数据的隐私,引入了拉普拉斯噪声,对每个边缘物联设备的数据进行保护,而且在隐私保护的前提下,仍不影响学习任务的效率和收敛性。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种适用于动态分布式物联网系统的数据加密学习方法阶段示意图;
图2为本发明实施例所公开的一种适用于动态分布式物联网系统的数据加密学习方法具体流程示意图。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种适用于动态分布式物联网系统的边缘数据加密方法,如图1所示,该方法首次提出在动态分布式物联网系统下,利用差分隐私技术来实现对本地数据隐私的保护,并且在一定程度上减少了由于数据加噪而对机器学习效率和收敛性的影响。
如图2所示,具体实施方法如下:
一种适用于动态分布式物联网系统的数据加密方法,包括以下步骤:
(1)初始化阶段:
(1.1)设置模型参数的初始值x
0,该值一般设置为0,更靠近最优参数的初始值将更快地降低损耗函数的值并共同收敛到最优解。
(1.2)设置迭代次数K,来控制算法迭代的最多次数。
(1.3)设置超参学习率γ,分别用来控制学习速率。
当同步时钟拨动时,整个系统里的每个工作节点进入循环迭代阶段。
(2)梯度计算过程:
(2.1)在第k+1轮迭代时,每个边缘物联设备i从本地数据库中以随机抽样的方法均匀地抽取出一条数据样本ξ
k,i并存入内存中。
计算好梯度后,将梯度进行保存并进入下一轮,对于不同节点来说,此步可以异步进行。
(3)加噪处理阶段:
对参数进行加噪后,已经可以准备好进行消息通信操作。
(4)信息传播过程:
(4.2)每一个边缘物联设备i接收邻居设备j传递过来的消息。
(5)计算权重矩阵过程:
(5.1)每个边缘物联设备i根据收集到的其邻居设备个数信息d
k,j来确定权重矩阵W
k,具体的计算方式如下:
其中,N
k(i)表示节点i在此轮的邻居集合,w
k,ij表示权重矩阵W
k的第i行第j列,w
k,im表示权重矩阵W
k的第i行第m列,d
k,i代表边缘物联设备i的邻居设备个数,d
k,j代表边缘物联设备j的邻居设备个数。
此权重矩阵可以随网络而变化,因此可以在动态网络的模型下进行学习。
(6)参数更新过程:
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
- 一种适用于动态分布式物联网系统的数据加密学习方法,其特征在于,包括以下步骤:(1)初始化动态分布式边缘物联网系统相关的全局参数;(2)梯度计算过程:每个边缘物联设备根据本地的数据以及本地存储的参数计算学习模型的损失函数的梯度;(3)加噪处理过程:将本地存储的参数进行加噪声处理,并且将加噪声之后的变量称为扰动变量参数;(4)信息传递过程:每个边缘物联设备将步骤(3)中计算的扰动变量参数和其邻居设备的个数传给邻居设备;(5)计算权重矩阵过程:每个边缘物联设备根据邻居设备传递来的信息计算权重矩阵;(6)参数更新过程:边缘物联设备根据邻居设备传来的扰动变量参数以及在步骤(2)中计算的梯度,进行本地参数的更新和存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021000096.9T DE112021000096T5 (de) | 2021-02-09 | 2021-03-10 | Verfahren zum Lernen einer Datenverschlüsselung für dynamisch verteilte Internet-of-Things-Systeme |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176369.8A CN112989369B (zh) | 2021-02-09 | 2021-02-09 | 一种适用于动态分布式物联网系统的数据加密学习方法 |
CN202110176369.8 | 2021-02-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022170654A1 true WO2022170654A1 (zh) | 2022-08-18 |
Family
ID=76392434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2021/080022 WO2022170654A1 (zh) | 2021-02-09 | 2021-03-10 | 一种适用于动态分布式物联网系统的数据加密学习方法 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN112989369B (zh) |
DE (1) | DE112021000096T5 (zh) |
WO (1) | WO2022170654A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110213036A (zh) * | 2019-06-17 | 2019-09-06 | 西安电子科技大学 | 基于物联网雾计算-边缘计算的安全数据存储和计算方法 |
CN110691071A (zh) * | 2019-09-11 | 2020-01-14 | 湖北工业大学 | 一种具有隐私保护的海量数据处理系统及方法 |
US20200145337A1 (en) * | 2019-12-20 | 2020-05-07 | Brian Andrew Keating | Automated platform resource management in edge computing environments |
CN111611610A (zh) * | 2020-04-12 | 2020-09-01 | 西安电子科技大学 | 联邦学习信息处理方法、系统、存储介质、程序、终端 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341763B (zh) * | 2018-10-10 | 2020-02-04 | 广东长盈科技股份有限公司 | 一种基于物联网的运输数据采集系统及方法 |
CN109660408A (zh) * | 2019-01-28 | 2019-04-19 | 博频云彩(北京)科技有限公司 | 一种多层级分布式物联网数据源服务注册与访问机制 |
CN111475848B (zh) * | 2020-04-30 | 2022-10-11 | 北京理工大学 | 保障边缘计算数据隐私的全局和局部低噪声训练方法 |
CN112039673B (zh) * | 2020-08-06 | 2023-06-16 | 国电南瑞科技股份有限公司 | 一种基于Feistel结构的配电物联网巡检数据动态加密方法及装置 |
-
2021
- 2021-02-09 CN CN202110176369.8A patent/CN112989369B/zh active Active
- 2021-03-10 DE DE112021000096.9T patent/DE112021000096T5/de active Pending
- 2021-03-10 WO PCT/CN2021/080022 patent/WO2022170654A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110213036A (zh) * | 2019-06-17 | 2019-09-06 | 西安电子科技大学 | 基于物联网雾计算-边缘计算的安全数据存储和计算方法 |
CN110691071A (zh) * | 2019-09-11 | 2020-01-14 | 湖北工业大学 | 一种具有隐私保护的海量数据处理系统及方法 |
US20200145337A1 (en) * | 2019-12-20 | 2020-05-07 | Brian Andrew Keating | Automated platform resource management in edge computing environments |
CN111611610A (zh) * | 2020-04-12 | 2020-09-01 | 西安电子科技大学 | 联邦学习信息处理方法、系统、存储介质、程序、终端 |
Non-Patent Citations (1)
Title |
---|
LU, YUNLONG: "Research on Data Privacy Protection and Secure Data Sharing Methods", MASTER'S THESES, no. 1, 15 January 2021 (2021-01-15), pages 1 - 152, XP055959806, ISSN: 1674-022X * |
Also Published As
Publication number | Publication date |
---|---|
DE112021000096T5 (de) | 2022-11-17 |
CN112989369B (zh) | 2022-03-25 |
CN112989369A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Intelligent edge: Leveraging deep imitation learning for mobile edge computation offloading | |
Li et al. | An observer-based fuzzy adaptive consensus control method for nonlinear multiagent systems | |
Liu et al. | Federated reinforcement learning for decentralized voltage control in distribution networks | |
CN110275436A (zh) | 一种多单臂机械手的rbf神经网络自适应控制方法 | |
CN106156810A (zh) | 通用机器学习算法模型训练方法、系统和计算节点 | |
CN111461463B (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
CN112287990A (zh) | 一种基于在线学习的边云协同支持向量机的模型优化方法 | |
CN113312177B (zh) | 一种基于联邦学习的无线边缘计算系统、优化方法 | |
CN112311589B (zh) | 多智能体在Markov切换拓扑下的分组一致控制方法 | |
Xu et al. | A distributed simultaneous perturbation approach for large-scale dynamic optimization problems | |
Li et al. | Model-distributed dnn training for memory-constrained edge computing devices | |
WO2022095246A1 (zh) | 一种基于差分隐私机制的边缘智能电网协作决策方法 | |
WO2022170654A1 (zh) | 一种适用于动态分布式物联网系统的数据加密学习方法 | |
CN114154688A (zh) | 光伏电站的短期功率预测方法 | |
CN112749403B (zh) | 一种适用于边缘物联代理装置的边缘数据加密方法 | |
Liu et al. | Hybrid consensus-based algorithm for distributed economic dispatch problem | |
CN113031644B (zh) | 一种面向通信时滞的飞行器编队控制系统事件触发方法、装置及介质 | |
KR102394148B1 (ko) | 풍력 발전 단지의 전력 조정 최적화 방법 및 이를 수행하는 장치 | |
CN110768841A (zh) | 一种基于条件梯度的加速分布式在线优化方法 | |
Wu et al. | Decentralized state feedback adaptive tracking for a class of stochastic nonlinear large-scale systems | |
CN116579479B (zh) | 风电场功率超短期预测方法、系统、计算机及存储介质 | |
Chengjun et al. | Stochastic asymptotically stability of an information diffusion model with random perturbation in social network | |
Zhuang et al. | Secure Consensus of Stochastic Multi-agent Systems Subject to Deception Attacks via Impulsive Control | |
Zhou | Computer Network Dynamic Balance Flow Distribution Based on Closed‐Loop Particle Swarm Feedback Model | |
CN115834247B (zh) | 一种基于区块链的边缘计算信任评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21925310 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21925310 Country of ref document: EP Kind code of ref document: A1 |