WO2024222020A1 - 一种随机性在线云边端协同的数据存储方法及系统 - Google Patents

Abstract

本发明公开了一种随机性在线云边端协同的数据存储方法及系统，方法包括：首先选取研究对象，在一个地域范围内，随机选取一个可用区作为对象，统计该可用区AZ中边缘端节点的数量n，继而设定相关参数，随后设定滑动窗口尺寸大小并统计相关数据，设定滑动窗口的尺寸大小z，实时监测终端设备的数据请求情况，再计算弹性平衡点β_e，构造概率密度函数，获取随机因子k，最后设计随机性在线云边端协同数据存储算法，通过该算法判断当前数据是否需要进行迁移，它通过提供一种智能、灵活、高效的数据存储策略，在保证数据存储性能的同时极大地降低云存储服务的部署成本，提高云存储服务的部署效率。

Description

一种随机性在线云边端协同的数据存储方法及系统 技术领域

本发明属于云边端协同、云存储技术领域，特别是一种随机性在线云边端协同的数据存储方法及系统。

背景技术

近年来，伴随着数字经济的飞速发展，云计算一直保持着迅猛的发展势头，同时也是当今IT技术发展领域的热点话题之一。云计算作为计算技术和生产实践长期演变的产物，不仅可以有效降低服务的成本，也可以大幅提升资源的利用率。此外，云计算还具备着弹性扩展、容灾恢复、按需获取等诸多优点。

随着云计算在IaaS、PaaS、SaaS领域不断深耕并逐步发展壮大，数据量的激增给各大云服务提供商带来了前所未有的存储压力。相比于自建存储服务器所造成的硬件资源成本高、维护开销大等缺点，更多的互联网企业选择了存储成本低、更加智能化的云存储系统。得益于云存储的高效率、低成本、智能化、高可靠等特点，云存储被广泛地应用到各生产环境中，如：通用存储、大数据分析、数据库服务、微服务等领域，并发挥着关键的作用。

现如今，随着智能设备越来越多的接入网络，传统云计算范式中的数据存储、工作负载以及带宽资源等方面将面临巨大挑战，使得在车联网、智能监控等低延迟、高带宽需求的应用场景面临着诸多问题。对于存储在云端的数据，通过云边端协同可以更加高效的将需要实时计算和分析的数据存放到靠近终端设备的地方，以保证数据处理的实时性。在“云-边-端”架构中，“云”是中心节点，负责对边缘计算的管控，“边”是云计算的边缘侧，负责局部的数据分析，“端”是终端设备，负责数据的采集、感知等操作。云边端协同的机制，不仅可以有效降低云用户的存储成本，还可以在时空的维度为云用户提供 更加优质的服务。

对于云服务提供商而言，相较于在边缘端设立大量的存储服务器来进行数据存储，在云端存储数据往往会节省更多的成本。在一段时间内，如果某些数据在边缘侧被频繁访问，显然这些数据存放到边缘端更加合适，一方面可以尽可能地保证数据在传输过程中的实时性，另一方面可以有效降低数据在传输过程中带宽的开销。相反，如果某些数据一段时间内在边缘侧被访问的频次很低，显然这些数据存储在云端更加合适，这样不仅可以有效降低数据存储的成本，也可以有效缓解边缘侧数据存储的压力。

在现有的云边协同方案中，专利CN111800486A提供了一种云边协同的资源调度方法及系统。该发明在执行的过程中根据用户各地区带宽的实际占用情况实时地做出预留决策，从而有效减少由于访问人数短时间内的激增而导致的带宽费用的激增。该发明从访问带宽出发，通过实时监测各MEC服务器服务范围内客户对每一个资源的访问热度，来判断某地区某资源客户的访问带宽达到所设定的阈值，进而判断在该地区应当租用MEC服务器还是在所述租用MEC服务器的预留期内，协同使用MEC服务器和云服务器提供访问。然而，该发明没有充分考虑用户在使用云存储服务的QoS，其应用场景具有一定的局限性。同时，该发明提出的云边协同资源调度方法较为简单，在算法设计上有着很大的优化空间，以节约更多的存储成本。

专利CN113157446A提供了一种云边协同的资源分配方法、装置、设备及介质。该发明通过区块链和云边协同方案对资源进行限定控制，根据耦合规则逻辑启动所有子任务，最终根据所有的子任务执行成果聚合完成总任务。首先通过云边协同平台对需要分配资源的任务进行分析，确定所述待分配资源的任务参数以及最小拆分子集，并根据所述待分配资源的任务参数结合任务资源协同算法，确定云边协同方案，最终根据所述区块链以及所述云边协同方案，对所述待分配资源的任务进行资源分配。然而，该发明引入了区块链技术，会造成能源的大量消耗，伴随着数据量的激增，会衍生出不同程度的性能问题。此外，该发明没有考虑降低数据存储的成本，仅是单一的提出了一种理想化的云边协同资源分配策略。

近年来云服务提供商日益重视优化云成本、控制云浪费和提高云部署效率，加之越来越多的智能设备接入网络，边缘侧对数据的感知需求愈发强烈，因此如何从云边端协同的角度来充分降低云存储的成本，提高云存储服务的部署效率，具有重要的研究意义与价值。当前的云边协同资源调度机制已难以满足当前应用场景对任务处理的需求。

发明内容

本发明的目的是提供一种随机性在线云边端协同的数据存储方法及系统，以解决现有技术中的不足，它根据数据的历史存储行为以及云、边两侧对数据的处理频次，来实时提供一种智能、灵活、高效的数据存储策略，在保证数据存储性能的同时极大地降低云存储服务的部署成本，提高云存储服务的部署效率。

本申请的一个实施例提供了一种随机性在线云边端协同的数据存储方法，所述方法包括：

步骤1：开始选取研究对象，在一个地域范围内，随机选取一个可用区作为对象，统计该可用区AZ中边缘端节点的数量n。

步骤2：设定相关参数，令b_center为云端存储的数据量，令为边缘端存储的数据量，令p_center为数据在云端存储的单价，令为数据在边缘端存储的单价，其中i∈[1,n]，令q为数据存取的单价，令t为数据的存储时长，令T为存储计费的周期。假设在过去一个存储周期中数据存放在云端，令其存储成本为C_center，假设在过去一个存储周期中数据存放在边缘端，令其存储成本为C_edge。

步骤3：设定滑动窗口尺寸大小并统计相关数据，设定滑动窗口的尺寸大小z，实时监测终端设备的数据请求情况，记录并统计滑动窗口范围内云用户在终端发起的数据存取请求次数m，统计这些数据在云端和边缘端进行处理的次数，其中将在云端进行数据处理的次数记作h_center，将在边缘端进行数据处理的次数记作h_edge。

步骤4：计算弹性平衡点β_e，构造概率密度函数，获取随机因子k；

步骤5：设计随机性在线云边端协同数据存储算法；

步骤6：通过所述机性在线云边端协同数据存储算法判断当前数据是否需要进行迁移。

可选的，所述随机性在线云边端协同的数据存储方法还包括：

若所述当前数据需要迁移，则将存储在边缘端的数据迁移到云端，或将云端的数据迁移到边缘端，在当前存储周期T，随机性在线云边端协同的数据存储方法执行完毕，在下一存储周期T'，重复执行该方法，若所述当前数据不需要迁移，则直接结束进程。

进一步的，所述计算弹性平衡点β_e是为提出随机性在线云边端协同数据存储算法做前期准备，所述弹性平衡点β_e通过步骤1-3中设定的相关参数，得出在过去一个存储计费周期T中，数据存储在云端的成本为C_center＝b_center·p_center·t+z·h_center/T·q，数据存储在边缘端的成本为

进一步的，所述计算弹性平衡点β_e中将云端数据的存储成本C_center和边缘端数据的存储成本C_edge建立关联，并设定弹性区间s为[l,r]，其中l＝min(z/T·h_center,m)，r＝max(z/T·h_edge,m)。

进一步的，所述弹性平衡点β_e通过计算得出：

进一步的，在步骤4中，所述构造概率密度函数通过结合数据存储成本的计算公式以及设定的相关参数再结合计算得出的弹性平衡点β_e，其中令 所述构造概率密度函数如下：

其中，e为自然指数，δ(·)为狄拉克δ函数,k为随机因子。

进一步的，所述构造的概率密度函数，通过计算其反函数来获取随机因子k，其中令函数f(y)的数学期望计算f(k)的反函数得到随机因子k，其随机因子k的计算公式为：

进一步的，在步骤5中，所述设计随机性在线云边端协同数据存储算法，包括如下步骤：

在当前时刻t₀，分别统计从t₀-z+1时刻到t₀时刻期间数据在云端和边缘端被访问的次数h_center和h_edge，并由此计算出这段时间数据的存储成本其为

如果当前的数据存储在边缘端，在当前时刻t₀比较数据的存储成本和随机因子k的大小；

如果当前的数据存储在云端，在当前时刻t₀比较数据的存储成本和随机因子k的大小；

设置多级队列协调机制，创建n级存储队列，在当前时刻t₀，通过比较数据的存储成本和随机因子k的大小，确定数据应当存储在云端还是边缘端，对于需要进行物理迁移的数据，基于局部性原理首先将其存放到队列n_i中进行缓存，然后完成数据的迁移。

本申请的又一实施例提供了一种随机性在线云边端协同的数据存储系统，所述系统包括：

数据采集模块，获取云端、边缘端和终端的资源请求信息，并接收与服务器连接的数据存取记录信息；

实时监控模块，实时监控云端、边缘端和终端的数据存取请求，包括请求时间、数据量大小等参数；

数据存储模块，对采集的数据、设定的参数以及实时监控的信息进行存储；

计算模块，计算弹性平衡点、构造概率密度函数、获取随机因子、计算反函数、计算数学期望等关键数据；

算法生成模块，生成随机性在线云边端协同数据存储算法，判断当前数据应当存储在云端还是边缘端；

协同调度模块，将存储在云端的数据迁移到边缘端，或将存储在边缘端的数据迁移到云端；

日志模块，记录终端用户资源请求情况以及数据获取情况等信息，并对云端和边缘端两侧数据的迁移情况进行记录。

本申请的又一实施例提供了一种存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成随机性在线云边端协同的数据存储方法。

本申请的又一实施例提供了一种终端设备，包括存储器、处理器和计算机程序，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述任一项中所述的方法。

与现有技术相比，本发明可以实时地为数据应当存储在边缘端还是云端做出合理的决策，并尽可能降低云存储服务的部署成本，提高云存储服务的部署效率，同时能够保证用户在使用云存储服务时的QoS。提出了一种随机性在线云边端协同数据存储算法，通过将随机性在线云边端协同数据存储算法与概率分布、数学期望相结合，可以尽可能地降低云存储服务的部署成本，随机性在线云边端协同数据存储算法产生的随机因子可以实时地为数据应当存储在边缘端还是云端做出更加合理的决策。引入“滑动窗口”的概念，实现对存储在云端和边缘端的数据实时监控，并支持自定义滑动窗口的尺寸大小，可以自适 应地调整云端和边缘端对所存储数据的感知范围，通过将随机性在线云边端协同数据存储算法与滑动窗口相结合，可以有效提升随机性在线云边端协同数据存储算法预测结果的准确性与灵活性，并能够轻松应对不同的生产环境需求，提高云存储服务的部署效率，提出“弹性平衡点”(elastic-break-even-points)的概念，通常情况下，平衡点都是基于某一等式计算得出的定值，这样可以简化研究模型。然而，在一些对时延感知较为敏感的应用场景，设计一个具有弹性区间的平衡点，能够为数据应当存储在边缘端还是云端做出更加合理的决策，并在保证数据存储性能的同时极大地降低数据存储成本。引入多级队列协调机制，通过设定多级队列，基于局部性原理实现对云端和边缘端所存储数据的优先级缓存，从而在数据存取、使用的过程中更加稳定，以充分保证用户在使用云存储服务时的QoS。

附图说明

图1为本发明实施例一中提供的随机性在线云边端协同的数据存储方法流程示意图；

图2为本发明实施例一中提供的随机性在线云边端协同数据存储算法流程示意图；

图3为本发明实施例二中提供的一种随机性在线云边端协同的数据存储系统架构结构图。

具体实施方式

下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明实施例首先提供了一种基于富文本编辑器的编辑信息纠错方法，该方法可以应用于终端设备，如计算机终端，具体如普通电脑、量子计算机等。

下面以运行在计算机终端上为例对其进行详细说明。

实施例1：

图1为本发明实施例提供的一种随机性在线云边端协同的数据存储方法，包括如下步骤：

步骤1：选取研究对象。在一个地域(Region)范围内，随机选取一个可用区(Availability Zone)作为对象，统计该可用区AZ中边缘端节点的数量n。

步骤2：设定相关参数。令b_center为云端存储的数据量，令为边缘端存储的数据量，令p_center为数据在云端存储的单价，令为数据在边缘端存储的单价，其中i∈[1,n]，令q为数据存取的单价，令t为数据的存储时长，令T为存储计费的周期。假设在过去一个存储周期中数据存放在云端，令其存储成本为C_center，假设在过去一个存储周期中数据存放在边缘端，令其存储成本为C_edge。

步骤3：设定滑动窗口尺寸大小并统计相关数据。设定滑动窗口的尺寸大小z，实时监测终端设备的数据请求情况。记录并统计滑动窗口范围内云用户在终端发起的数据存取请求次数m。统计这些数据在云端和边缘端进行处理的次数。其中，将在云端进行数据处理的次数记作h_center，将在边缘端进行数据处理的次数记作h_edge。

步骤4：通过概率论、反函数等进行数学运算，计算弹性平衡点β_e，构造概率密度函数，获取随机因子k，为接下来提出随机性在线云边端协同数据存储算法做前期准备。

弹性平衡点β_e：

通过步骤1-3中设定的相关参数，可以得出在过去一个存储计费周期T中，数据存储在云端的成本为C_center＝b_center·p_center·t+z·h_center/T·q，数据存储在边缘端的成本为

进一步地，将云端数据的存储成本C_center和边缘端数据的存储成本C_edge建立关联，并设定弹性区间s为[l,r]。其中，l＝min(z/T·h_center,m)，r＝max(z/T·h_edge,m)，进而计算出弹性平衡点β_e。

概率密度函数：

结合数据存储成本的计算公式以及设定的相关参数，结合计算得出的弹性平衡点β_e，令构造如下的概率密度函数。

其中，e为自然指数，δ(·)为狄拉克δ函数,k为随机因子。

随机因子k：

通过构造的概率密度函数，计算其反函数，并通过反函数来获取随机因子k。令函数f(y)的数学期望计算f(k)的反函数，可以得到随机因子k。令F(k)＝u，则随机因子k的计算公式为：

步骤5：随机性在线云边端协同数据存储算法，其执行流程如图2所示，包括如下步骤：

在当前时刻t₀，分别统计从t₀-z+1时刻到t₀时刻期间数据在云端和边缘端被访问的次数h_center和h_edge，并由此计算出这段时间数据的存储成本

如果当前的数据存储在边缘端，在当前时刻t₀比较数据的存储成本和随机因子k的大小，若那么数据存储在云端会节约更多的成本；若那么数据继续存储在边缘端会节约更多的成本。

如果当前的数据存储在云端，在当前时刻t₀比较数据的存储成本和随机因子k的大小，若那么数据存储在边缘端会节约更多的成本；若那么数据继续存储在云端会节约更多的成本。

设置多级队列协调机制，创建n级存储队列。在当前时刻t₀，通过比较数据的存储成本和随机因子k的大小，确定数据应当存储在云端还是边缘端。对于需要进行物理迁移的数据，基于局部性原理首先将其存放到队列n_i中进行缓存，然后完成数据的迁移。

步骤6：在当前存储周期T，随机性在线云边端协同的数据存储方法执行完毕。在下一存储周期T'，重复执行该方法。

本实施例详细描述了云端冷热数据随机性在线分层存储方法的一种实施方式，用户在使用本公开所述方法时，不应局限于本实施例所述的方式，可以根据自己的业务和实际情况进行适当调整。

实施例2：

参见图3，图3为本发明实施例提供的一种随机性在线云边端协同的数据存储系统，本系统包括七个模块，分别为：数据采集模块、实时监控模块、数据存储模块、计算模块、算法生成模块、协同调度模块和日志模块。

具体的，数据采集模块能够获取云端、边缘端和终端的资源请求信息，并接收与服务器连接的数据存取记录信息；实时监控模块能够实时监控云端、边缘端和终端的数据存取请求，包括请求时间、数据量大小等参数；数据存储模块负责对采集的数据、设定的参数以及实时监控的信息进行存储；计算模块主要用于计算弹性平衡点(elastic-break-even-point)、构造概率密度函数、获取随机因子、计算反函数、计算数学期望等关键数据，为生成随机性在线云边端协同数据存储算法提供支持；算法生成模块通过生成随机性在线云边端协 同数据存储算法，判断当前数据应当存储在云端还是边缘端；协同调度模块，负责将存储在云端的数据迁移到边缘端，或将存储在边缘端的数据迁移到云端；日志模块，用于记录终端用户资源请求情况以及数据获取情况等信息，并对云端和边缘端两侧数据的迁移情况进行记录。

实施例3：

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

需要说明的是，本实施例中处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

更具体的，存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，实施例1的方法各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

在更多实施例中，还提供：

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但 是这种实现不应认为超出本申请的范围。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1. 一种随机性在线云边端协同的数据存储方法，其特征在于，所述方法包括：

   步骤1：开始选取研究对象，在一个地域范围内，随机选取一个可用区作为对象，统计该可用区AZ中边缘端节点的数量n。

   步骤2：设定相关参数，令b_center为云端存储的数据量，令为边缘端存储的数据量，令p_center为数据在云端存储的单价，令为数据在边缘端存储的单价，其中i∈[1,n]，令q为数据存取的单价，令t为数据的存储时长，令T为存储计费的周期。假设在过去一个存储周期中数据存放在云端，令其存储成本为C_center，假设在过去一个存储周期中数据存放在边缘端，令其存储成本为C_edge。

   步骤3：设定滑动窗口尺寸大小并统计相关数据，设定滑动窗口的尺寸大小z，实时监测终端设备的数据请求情况，记录并统计滑动窗口范围内云用户在终端发起的数据存取请求次数m，统计这些数据在云端和边缘端进行处理的次数，其中将在云端进行数据处理的次数记作h_center，将在边缘端进行数据处理的次数记作h_edge。

   步骤4：计算弹性平衡点β_e，构造概率密度函数，获取随机因子k；

   步骤5：设计随机性在线云边端协同数据存储算法；

   步骤6：通过所述机性在线云边端协同数据存储算法判断当前数据是否需要进行迁移。
2. 根据权利要求1所述的一种随机性在线云边端协同的数据存储方法，其特征在于，所述方法还包括：

   若所述当前数据需要迁移，则将存储在边缘端的数据迁移到云端，或将云端的数据迁移到边缘端，在当前存储周期T，随机性在线云边端协同的数据存储方法执行完毕，在下一存储周期T'，重复执行该方法，若所述当前数据不需要迁移，则直接结束进程。
3. 根据权利要求1所述的一种随机性在线云边端协同的数据存储方法，其特征在于，所述计算弹性平衡点β_e是为提出随机性在线云边端协同数据存储算法做前期准备，所述弹性平衡点β_e通过步骤1-3中设定的相关参数，得出在过去一个存储计费周期T中，数据存储在云端的成本为C_center＝b_center·p_center·t+z·h_center/T·q，数据存储在边缘端的成本为
4. 根据权利要求3所述的一种随机性在线云边端协同的数据存储方法，其特征在于，所述计算弹性平衡点β_e中将云端数据的存储成本C_center和边缘端数据的存储成本C_edge建立关联，并设定弹性区间s为[l,r]，其中l＝min(z/T·h_center,m)，r＝max(z/T·h_edge,m)。
5. 根据权利要求4一种随机性在线云边端协同的数据存储方法，其特征在于，所述弹性平衡点β_e通过计算得出：
   
6. 根据权利要求1所述的一种随机性在线云边端协同的数据存储方法，其特征在于，在步骤4中，所述构造概率密度函数通过结合数据存储成本的计算公式以及设定的相关参数再结合计算得出的弹性平衡点β_e，其中令 所述构造概率密度函数如下：
   

   其中，e为自然指数，δ(·)为狄拉克δ函数,k为随机因子。
7. 根据权利要求1所述的一种随机性在线云边端协同的数据存储方法，其特征在于，所述构造的概率密度函数，通过计算其反函数来获取随机因子k，其中令函数f(y)的数学期望计算f(k)的反函数得到随机因子k，其随机因子k的计算公式为：
   
8. 根据权利要求1所述的一种随机性在线云边端协同的数据存储方法，其特征在于，在步骤5中，所述设计随机性在线云边端协同数据存储算法，包括如下步骤：

   在当前时刻t₀，分别统计从t₀-z+1时刻到t₀时刻期间数据在云端和边缘端被访问的次数h_center和h_edge，并由此计算出这段时间数据的存储成本其为
   

   如果当前的数据存储在边缘端，在当前时刻t₀比较数据的存储成本和随机因子k的大小；

   如果当前的数据存储在云端，在当前时刻t₀比较数据的存储成本和随机因子k的大小；

   设置多级队列协调机制，创建n级存储队列，在当前时刻t₀，通过比较数据的存储成本和随机因子k的大小，确定数据应当存储在云端还是边缘端，对于需要进行物理迁移的数据，基于局部性原理首先将其存放到队列n_i中进行缓存，然后完成数据的迁移。
9. 一种随机性在线云边端协同的数据存储系统，其特征在于，所述系统包括七个模块：

   数据采集模块，获取云端、边缘端和终端的资源请求信息，并接收与服务器连接的数据存取记录信息；

   实时监控模块，实时监控云端、边缘端和终端的数据存取请求，包括请求时间、数据量大小等参数；

   数据存储模块，对采集的数据、设定的参数以及实时监控的信息进行存储；

   计算模块，计算弹性平衡点、构造概率密度函数、获取随机因子、计算反函数、计算数学期望等关键数据；

   算法生成模块，生成随机性在线云边端协同数据存储算法，判断当前数据应当存储在云端还是边缘端；

   协同调度模块，将存储在云端的数据迁移到边缘端，或将存储在边缘端的数据迁移到云端；

   日志模块，记录终端用户资源请求情况以及数据获取情况等信息，并对云端和边缘端两侧数据的迁移情况进行记录。
10. 一种终端设备，包括：至少一个处理器、至少一个存储器、以及至少一个计算机程序，其特征在于，所述处理器与存储器连接，所述存储器中存储有计算机程序，所述处理器被设置为执行所述计算机程序以实现所述权利要求1至8任一项中所述的方法。