WO2021082421A1 - 分布式系统的存储分配方法、装置及计算机设备 - Google Patents

分布式系统的存储分配方法、装置及计算机设备 Download PDF

Info

Publication number
WO2021082421A1
WO2021082421A1 PCT/CN2020/093024 CN2020093024W WO2021082421A1 WO 2021082421 A1 WO2021082421 A1 WO 2021082421A1 CN 2020093024 W CN2020093024 W CN 2020093024W WO 2021082421 A1 WO2021082421 A1 WO 2021082421A1
Authority
WO
WIPO (PCT)
Prior art keywords
osd
pgs
osds
weights
initial
Prior art date
Application number
PCT/CN2020/093024
Other languages
English (en)
French (fr)
Inventor
陈阳
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021082421A1 publication Critical patent/WO2021082421A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Definitions

  • the OSD weight setting is determined according to the size of the OSD disk space.
  • the actual number of PGs allocated by each OSD is often not uniform. If the number of PGs is not evenly distributed, part of the OSD space will be occupied in advance, resulting in a barrel effect, causing the entire distributed storage system cluster to be unwritable and greatly wasting the remaining disk space.
  • the control center in the distributed storage system (connected to each host in the system and used to manage the entire distributed storage system) can obtain the cluster information of the distributed storage system (the number of OSDs included) , The disk space size of each OSD, the IP address of the host where the OSD is located, etc.), and then obtain the disk space size of each OSD. Then, according to the disk space size of the OSD, the initial weights corresponding to the OSDs are configured and the initial PG numbers corresponding to the OSDs are allocated. For example, the larger the disk space of the OSD, the larger the corresponding initial weight, and the greater the number of initial PGs allocated; the smaller the disk space of the OSD, the smaller the corresponding initial weight and the smaller the number of initial PGs allocated.
  • the latest PG numbers corresponding to the OSDs are allocated.
  • this optional method (3) it is equivalent to setting two iteration termination conditions, one is the maximum number of iterations, and the other is the attenuation temperature, whichever condition is satisfied first ends the iteration.
  • the two termination conditions are determined by the same variance value, the same variance value does not mean that the number of PG allocations for each OSD is also the same. Therefore, the actual iterative effect is uncertain, so in order to obtain a better calculation effect,
  • This optional method (3) can automatically select appropriate termination conditions to achieve more accurate iterative calculation results, and the weight configuration of OSD is more accurate, so that the number of PGs in each OSD of the distributed storage system cluster is the same as possible to ensure sufficient Utilize disk space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种分布式系统的存储分配方法、装置及计算机设备，涉及计算机技术领域，能够极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同，进而避免部分OSD空间被提前占用满。其中方法包括：根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始PG数量；依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整；在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。本申请适用于分布式存储系统中OSD的权重配置。

Description

分布式系统的存储分配方法、装置及计算机设备
相关申请的交叉引用
本申请申明享有2019年10月31日递交的申请号为CN201911055685.9、名称为“分布式系统的存储分配方法、装置及计算机设备”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其是涉及到一种分布式系统的存储分配方法、装置及计算机设备。
背景技术
对于分布式存储系统(如Ceph)，可通过crush算法将所需存储的对象分布到不同的放置组(Placement Group，PG)当中存储，而PG也根据相应规则分布至各个对象存储设备(Object Storage Device，OSD)上，一个OSD包含有多个PG，其包含的PG数量与OSD的权重相关。
目前，对OSD权重的设置是按照OSD磁盘空间大小来决定。但是实际使用中可以发现，由于crush算法的缺陷，即使所有OSD采用相同大小的磁盘空间，并且设置相同权重时，往往实际每个OSD分配的PG数量也不均匀。若PG数量分配不均，会导致部分OSD空间被提前占用满，产生木桶效应，导致整个分布式存储系统集群不可写入，极大的浪费了剩余磁盘空间。
发明内容
有鉴于此，本申请提供了一种分布式系统的存储分配方法、装置及计算机设备，主要目的在于解决目前现有技术中分布式存储系统的每个OSD设置的权重不准确，会造成实际每个OSD分配的PG数量不均匀，进而会导致部分OSD空间被提前占用满，产生木桶效应，导致整个分布式存储系统集群不可写入，极大的浪费了剩余磁盘空间的技术问题。
根据本申请的一个方面，提供了一种分布式系统的存储分配方法，该方法包括：
根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始PG数量；
依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
根据本申请的另一个方面，提供了一种分布式系统的存储分配装置，该装置包括：
配置模块，用于根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始PG数量；
调整模块，用于依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
所述配置模块，还用于在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现以下步骤：
根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照 所述初始权重分配OSD各自对应的初始PG数量；
依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始PG数量；
依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
借由上述技术方案，本申请提供的一种分布式系统的存储分配方法、装置及计算机设备。与现有技术相比，本申请首先根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照初始权重分配OSD各自对应的初始PG数量。然后依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，在每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整。通过这种方式相当于每次迭代调整时，对PG数量最大的OSD的权重和PG数量最小的OSD的权重进行均衡调整，目的是为了极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同。进而避免部分OSD空间被提前占用满，减少产生木桶效应的可能性，保证整个分布式存储系统集群都可写入，充分利用了磁盘空间，从而避免产生磁盘空间浪费的情况。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种分布式系统的存储分配方法的流程示意图；
图2示出了本申请实施例提供的另一种分布式系统的存储分配方法的流程示意图；
图3示出了本申请实施例提供的一种分布式系统的存储分配装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所 固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
针对目前通过crush算法设置分布式存储系统中每个OSD的权重时，会造成实际每个OSD分配的PG数量不均匀，进而会导致部分OSD空间被提前占用满，产生木桶效应，导致整个分布式存储系统集群不可写入，极大的浪费了剩余磁盘空间的技术问题，本实施例提供了一种分布式系统的存储分配方法，如图1所示，该方法包括：
101、根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照初始权重分配OSD各自对应的初始PG数量。
在本实施例中，可通过分布式存储系统中的控制中心(连接系统中的各台主机，用于管理整个分布式存储系统)，获取该分布式存储系统的集群信息(包含的OSD的数量、各个OSD的磁盘空间大小、OSD所在主机的IP地址等)，进而获取各个OSD的磁盘空间大小。然后根据该OSD的磁盘空间大小，配置OSD各自对应的初始权重并分配OSD各自对应的初始PG数量。例如，OSD的磁盘空间越大，其对应的初始权重越大，分配的初始PG数量越多；OSD的磁盘空间越小，其对应的初始权重越小，分配的初始PG数量越少。
对于本实施例的执行主体可为用于分布式存储系统中各个OSD的权重配置的装置或设备，可配置在分布式存储系统侧，如具体可配置在控制中心侧。例如，对于Ceph分布式存储系统，可配置在Ceph软件部署的中心计算节点侧。
102、依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整。
其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整。
通过这种方式相当于每次迭代调整时，对PG数量最大的OSD的权重和PG数量最小的OSD的权重进行均衡调整，目的是为了极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同。
103、在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行分布式存储系统中OSD权重的最终配置。
其中，预设迭代终止条件可根据实际需求预先设置。例如，通过多次迭代调整以后，保证按照最新的OSD权重分配PG数量时，PG数量最多的OSD与PG数量最少的OSD之间的PG数量差值小于一定阈值，如果不能保证，则继续重复迭代，直至满足PG数量最多的OSD与PG数量最少的OSD之间的PG数量差值小于一定阈值。
与现有技术相比，通过本实施例中的分布式系统的存储分配方法，相当于每次迭代调整时，对PG数量最大的OSD的权重和PG数量最小的OSD的权重进行均衡调整，目的是为了极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同。进而避免部分OSD空间被提前占用满，减少产生木桶效应的可能性，保证整个分布式存储系统集群都可写入，充分利用了磁盘空间，从而避免产生磁盘空间浪费的情况。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种分布式系统的存储分配方法，如图2所示，该方法包括：
201、根据分布式存储系统中OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照初始权重分配OSD各自对应的初始PG数量。
202、依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整。
其中，在每次迭代中，从预设调整范围内随机生成一个随机数，将当时PG数量最多的OSD权重减去该随机数，同时将当时PG数量最少的OSD权重加上该随机数；并且按照调整 后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整。
每次迭代调整时随机数大小会有所差异，相当于每次调整时调整的幅度都具有一定的不确定性，但是都会在统一的调整范围内。通过这种增加一定扰度形式的调整方式，可更适用于实际调整场景，进而可对PG数量最大的OSD的权重和PG数量最小的OSD的权重进行更加均衡的调整，目的是为了极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同。
可选的，上述预设调整范围的确定过程，具体可包括：对OSD各自对应的初始权重进行方差计算；然后按照计算得到的第一方差值，以及初始权重中最大权重和最小权重，查询对应的预设调整范围。
对于本可选方式，可预先设置不同的方差值、最大权重和最小权重分别与不同的预设调整范围之间的映射关系，然后利用该映射关系查询对应的预设调整范围。通过执行本可选方式，其目的是为了每次迭代调整时能够平稳适合的调整，避免由于调整幅度过小出现影响调整效率的问题，以及避免由于调整幅度过大出现影响调整精度的问题。
203、在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，分配OSD各自对应的最新PG数量。
可选的，上述预设迭代终止条件的确定过程，具体可包括：首先对分配的各个初始PG数量进行方差计算；再获取与计算得到的第二方差值对应的最大迭代次数，以及获取与第二方差值对应的初始温度和温度衰减系数，其中，不同的第二方差值都有各自对应的最大迭代次数(可预先设置对应的映射关系)，不同的第二方差值都有各自对应的初始温度和温度衰减系数(可预先设置对应的映射关系)；然后根据获取到的最大迭代次数，确定预设迭代终止条件；或，根据获取到的初始温度和温度衰减系数，确定预设迭代终止条件；或，根据获取到的最大迭代次数、初始温度和温度衰减系数，确定预设迭代终止条件。
通过上述可选方式，可自动设置较为合适的迭代终止条件，代替人工设置，可提高权重配置的效率和准确性。上述确定预设迭代终止条件可进一步有三种可选方式：
(1)只利用最大迭代次数进行迭代终止条件的设定，相应的，上述根据获取到的最大迭代次数，确定预设迭代终止条件，具体可包括：当迭代次数等于获取到的最大迭代次数时，确定满足预设迭代终止条件；当迭代次数小于获取到的最大迭代次数时，则指示继续进行迭代。
(2)只利用温度衰减的限定方式进行迭代终止条件的设定，相应的，上述根据获取到的初始温度和温度衰减系数，确定预设迭代终止条件，具体可包括：利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为初始温度，a为温度衰减系数；当最新温度T n小于预设温度阈值时，确定满足预设迭代终止条件。当最新温度T n大于预设温度阈值时，则指示继续进行迭代。
上述利用初始温度和温度衰减系数确定预设迭代终止条件的方式并不唯一，进一步可选的，还可以有多种方式，例如，设置初始温度T和温度衰减系数a，然后经过一次迭代后，温度衰减到T-aT，然后再迭代一次后，温度再一次衰减到T-aT-a(T-aT)…以此类推，最终衰减到的温度小于预设温度阈值时停止迭代。
(3)上述两种方式(1)和(2)相结合，相应的，上述根据获取到的最大迭代次数、初始温度和温度衰减系数，确定预设迭代终止条件，具体可包括：利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为初始温度，a为温度衰减系数；当迭代次数等于获取到的最大迭代次数以及最新温度T n小于预设温度阈值时，确定满足预设迭代终止条件。相当于上述两种方式(1)和(2)其中之一满足迭代终止条件时就停止迭代；如果这两种方式都没有满足迭代终止条件时则继续进行迭代。
对于本可选方式(3)，相当于设置两个迭代终止条件，一个是最大迭代次数，另一个是衰减温度，哪个条件先满足就结束迭代。虽然是通过相同的方差值确定的两个终止条件， 但是方差值相同并不代表各OSD的PG分配数量也相同，因此实际迭代效果具有不确定性，所以为了得到更好的计算效果，本可选方式(3)可自动选择合适的终止条件，进而实现更加精准的迭代计算结果，OSD的权重配置更加精准，从而使得分布式存储系统集群每个OSD的PG数量尽量的相同，以便充分利用磁盘空间。
204、判断最新分配的PG数量最多的OSD与PG数量最少的OSD，二者之间的PG数量差值是否小于预定数量阈值。
其中，预定数量阈值可根据实际需求预先设定，用于整体判定各OSD之间最新分配的PG数量是否波动较大，如果波动较小，说明各OSD最新分配的PG数量已经尽量相同，可执行步骤205a；如果仍然波动较大，则执行步骤205b所示的过程。
205a、若二者之间的PG数量差值小于预定数量阈值，则按照多次迭代调整后的OSD各自对应的权重，执行分布式存储系统中OSD权重的最终配置。
与步骤205a并列的步骤205b、若二者之间的PG数量差值大于或等于预定数量阈值，则继续进行一次或多次迭代处理，直至二者之间的PG数量差值小于预定数量阈值时终止迭代，并按照最终迭代调整后的OSD各自所对应的权重，执行分布式存储系统中OSD权重的最终配置。
对于本实施例，由于预设迭代终止条件实际在一定程度上也会有所偏差(如少数个例在迭代终止时仍然不能满足PG数量分配尽量相同的需求，需要再迭代一次或多次)，因此通过上述方式，可最终使得各个OSD最终分配的PG数量尽量的相同，以便充分利用磁盘空间。
基于上述实施例方法，为了进一步说明本实施例具体实施过程，以Ceph分布式存储系统集群为例，给出如下实例，但不限于此：
例如，①首先Ceph集群中各个OSD的磁盘空间大小，并根据各个OSD的磁盘空间大小，配置OSD各自对应的初始权重，再基于这些初始权重确定得到初始向量
Figure PCTCN2020093024-appb-000001
即初始向量
Figure PCTCN2020093024-appb-000002
中包含各个OSD各自对应的初始权重。
②基于初始向量
Figure PCTCN2020093024-appb-000003
可确定初始状态
Figure PCTCN2020093024-appb-000004
E 0代表初始状态对应的方差值，
Figure PCTCN2020093024-appb-000005
为初始向量
Figure PCTCN2020093024-appb-000006
的目标函数，
Figure PCTCN2020093024-appb-000007
为根据第一个OSD的初始权重，为其所分配的PG数量，
Figure PCTCN2020093024-appb-000008
为根据第二个OSD的初始权重，为其所分配的PG数量…。
Figure PCTCN2020093024-appb-000009
为基于
Figure PCTCN2020093024-appb-000010
各个OSD分配PG数量的方差。
③根据E 0的大小，配置对应的最大迭代次数L、初始温度T以及温度衰减系数α。其中，OSD分配PG数量的方差计算方式具体为，计算
Figure PCTCN2020093024-appb-000011
的平均数，然后
Figure PCTCN2020093024-appb-000012
与平均数的差的平方的平均数，就是需要计算得到的方差值。具体可以预先设置映射关系，即不同的方差值都有各自对应的最大迭代次数L，以及不同的方差值都有各自对应的初始温度T以及温度衰减系数α。需要说明的是，这里最大迭代次数L、初始温度T以及温度衰减系数α用于作为迭代终止条件，在本方案中，当迭代次数等于最大迭代次数L、或温度衰减到一定阈值时，即停止迭代。通过这些终止条件，可尽量保证迭代完成后，Ceph集群中PG数量最多的OSD与PG数量最少的OSD之间的PG数量差值小于一定阈值(如小于10等)。
除了上述通过映射关系配置以外，还可以根据实际情况人工调整设置最为合适的最大迭代次数L、初始温度T以及温度衰减系数α。此时，通过上述初始配置，相当于确定了本方案的初始状态，令
Figure PCTCN2020093024-appb-000013
为
Figure PCTCN2020093024-appb-000014
为
Figure PCTCN2020093024-appb-000015
E m为E 0，m代表迭代次数。
④在每次迭代的具体过程中，利用生成的随机数θ，对Ceph集群中PG数量最多的OSD的权重和PG数量最少的OSD的权重进行调整。例如，生成随机数θ并确保θ l<θ<θ h,其中θ l为θ调整的最小范围值与θ h为θ调整的最大范围值，每次迭代调整时，θ l和θ h都是固定的，然后从这个范围内随机选择一个数θ进行调整。具体可使PG数量最大的osdj的权重 w j＝w j-θ,使PG数量最小的osdk的的权重w k＝w k+θ，这样产生新的权重向量
Figure PCTCN2020093024-appb-000016
Figure PCTCN2020093024-appb-000017
上述θ l和θ h的具体确定方式可包括：基于
Figure PCTCN2020093024-appb-000018
计算OSD各自对应的初始权重的方差，然后利用该方差以及
Figure PCTCN2020093024-appb-000019
中最大权重值和最小权重值，查询对应的范围值，进而确定θ l和θ h。除了这种通过映射关系配置以外，还可以根据实际情况人工调整设置较为合适的θ l和θ h。
⑤在每次迭代的具体过程中，在权重调整后，基于新的权重向量
Figure PCTCN2020093024-appb-000020
更新至Ceph集群的配置当中，以便根据新的权重向量
Figure PCTCN2020093024-appb-000021
中的各个osd新配置的权重，重新分配对应的PG数量。这里的重新分配的原则依然是权重越大，其对应分配的PG数量越多；权重越小，其对应分配的PG数量越少。
根据新的PG分配结果，从而获得向量
Figure PCTCN2020093024-appb-000022
该向量
Figure PCTCN2020093024-appb-000023
中包含Ceph集群中各个osd新分配的PG数量。计算
Figure PCTCN2020093024-appb-000024
ΔE＝E m+1-E m，即当前迭代中对应的方差减去上一次迭代中对应的方差，由于方差值越小，说明Ceph集群中各个OSD的PG数量越均衡，因此当ΔE<0时，说明本方案迭代过程正趋于找到最优解，因此可接受当前迭代对应的处理结果，即
Figure PCTCN2020093024-appb-000025
然后令
Figure PCTCN2020093024-appb-000026
进而指示执行下一次迭代过程。而当ΔE>0时，虽然暂时没有趋于找到最优解的趋势，但有可能基于当前这个迭代处理结果再执行下一次迭代过程时会找到更优的解，即有可能找到全局最优解，因此以概率
Figure PCTCN2020093024-appb-000027
接受
Figure PCTCN2020093024-appb-000028
然后指示执行下一次迭代过程。
在本方案中步骤③和④，相当于一次迭代过程中的处理过程。在完成一次迭代处理后，迭代次数累计1，并且T＝αT，即完成一次温度衰减。
⑥继续按照上述步骤④和⑤中的过程进行下一次迭代，直至迭代次数大于L、或者经过温度衰减，最新的温度值小于预设温度阈值时停止迭代。此时需要判断Ceph集群中最新分配的PG数量最多的OSD与PG数量最少的OSD，二者之间的PG数量差值是否小于一定阈值，如果小于该阈值则确定停止迭代。如果该差值大于一定阈值，则继续进行迭代，直至最新迭代后的该差值小于该阈值时停止。
计算迭代终止时对应的ΔE，即最后一次迭代对应的E值与上一次迭代对应的E值之间的差值。如果该ΔE小于0，那么说明满足趋于找到最优解的趋势，当前最终迭代得到的结果，就是本方案最终需要得到的结果，即
Figure PCTCN2020093024-appb-000029
为当前情况下的最优解，按照该向量中的各个OSD的权重值，设置Ceph集群中各个OSD的权重，进而可按照该权重设置，分配Ceph集群中各个OSD对应的PG数量。而如果该ΔE大于0，那么说明再进行迭代有可能会得到更好的全局最优解，因此可继续指示进行迭代，直至最新迭代后的ΔE小于0停止迭代，进而找到全局最优解。
通过本实施例中的分布式系统的存储分配方法，相当于每次迭代调整时，对PG数量最大的OSD的权重和PG数量最小的OSD的权重进行均衡调整，目的是为了极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同。进而避免部分OSD空间被提前占用满，减少产生木桶效应的可能性，保证整个分布式存储系统集群都可写入，充分利用了磁盘空间，从而避免产生磁盘空间浪费的情况。
进一步的，作为图1至图2所示方法的具体实现，本申请实施例提供了一种分布式系统的存储分配装置，如图3所示，该装置包括：配置模块31、调整模块32。
配置模块31，用于根据分布式存储系统中对象存储设备OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始放置组PG数量；
调整模块32，用于依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
所述配置模块31，还用于在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
在具体的应用场景中，调整模块32，具体用于在每次迭代中，从预设调整范围内随机生成一个随机数，将当时PG数量最多的OSD权重减去所述随机数，同时将当时PG数量最少的OSD权重加上所述随机数。
在具体的应用场景中，本装置还包括：确定模块33；
确定模块33，用于对所述OSD各自对应的初始权重进行方差计算；按照计算得到的第一方差值，以及所述初始权重中最大权重和最小权重，查询对应的所述预设调整范围。
在具体的应用场景中，确定模块33，还用于对分配的各个初始PG数量进行方差计算；获取与计算得到的第二方差值对应的最大迭代次数，以及获取与所述第二方差值对应的初始温度和温度衰减系数，其中，不同的第二方差值都有各自对应的最大迭代次数，不同的第二方差值都有各自对应的初始温度和温度衰减系数；根据获取到的所述最大迭代次数，确定所述预设迭代终止条件；或，根据获取到的所述初始温度和温度衰减系数，确定所述预设迭代终止条件；或，根据获取到的所述最大迭代次数、所述初始温度和温度衰减系数，确定所述预设迭代终止条件。
在具体的应用场景中，确定模块33，具体用于当迭代次数等于获取到的最大迭代次数时，确定满足预设迭代终止条件；
确定模块33，具体还用于利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为所述初始温度，a为所述温度衰减系数；当所述最新温度T n小于预设温度阈值时，确定满足预设迭代终止条件。
在具体的应用场景中，确定模块33，具体还用于利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为所述初始温度，a为所述温度衰减系数；当所述迭代次数等于获取到的最大迭代次数以及所述最新温度T n小于预设温度阈值时，确定满足预设迭代终止条件。
在具体的应用场景中，配置模块31，具体用于在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，分配OSD各自对应的最新PG数量；判断最新分配的PG数量最多的OSD与PG数量最少的OSD，二者之间的PG数量差值是否小于预定数量阈值；若所述二者之间的PG数量差值小于所述预定数量阈值，则按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置；若所述二者之间的PG数量差值大于或等于所述预定数量阈值，则继续进行一次或多次迭代处理，直至所述二者之间的PG数量差值小于所述预定数量阈值时终止迭代，并按照最终迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
需要说明的是，本实施例提供的一种分布式系统的存储分配装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，该存储介质可以是非易失性，也可以是易失性的，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的分布式系统的存储分配方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的分布式系统的存储分配方法。
可选的，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(Radio Frequency， RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，相当于每次迭代调整时，对PG数量最大的OSD的权重和PG数量最小的OSD的权重进行均衡调整，目的是为了极大程度的使分布式存储系统集群每个OSD的PG数量尽量的相同。进而避免部分OSD空间被提前占用满，减少产生木桶效应的可能性，保证整个分布式存储系统集群都可写入，充分利用了磁盘空间，从而避免产生磁盘空间浪费的情况。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (20)

  1. 一种分布式系统的存储分配方法，其中，包括：
    根据分布式存储系统中对象存储设备OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始放置组PG数量；
    依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
    在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
  2. 根据权利要求1所述的分布式系统的存储分配方法，其中，所述依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，具体包括：
    在每次迭代中，从预设调整范围内随机生成一个随机数，将当时PG数量最多的OSD权重减去所述随机数，同时将当时PG数量最少的OSD权重加上所述随机数。
  3. 根据权利要求2所述的分布式系统的存储分配方法，其中，所述预设调整范围的确定过程，具体包括：
    对所述OSD各自对应的初始权重进行方差计算；
    按照计算得到的第一方差值，以及所述初始权重中最大权重和最小权重，查询对应的所述预设调整范围。
  4. 根据权利要求1所述的分布式系统的存储分配方法，其中，所述预设迭代终止条件的确定过程，具体包括：
    对分配的各个初始PG数量进行方差计算；
    获取与计算得到的第二方差值对应的最大迭代次数，以及获取与所述第二方差值对应的初始温度和温度衰减系数，其中，不同的第二方差值都有各自对应的最大迭代次数，不同的第二方差值都有各自对应的初始温度和温度衰减系数；
    根据获取到的所述最大迭代次数，确定所述预设迭代终止条件；或，
    根据获取到的所述初始温度和温度衰减系数，确定所述预设迭代终止条件；或，
    根据获取到的所述最大迭代次数、所述初始温度和温度衰减系数，确定所述预设迭代终止条件。
  5. 根据权利要求4所述的分布式系统的存储分配方法，其中，所述根据获取到的所述最大迭代次数，确定所述预设迭代终止条件，具体包括：
    当迭代次数等于获取到的最大迭代次数时，确定满足预设迭代终止条件；
    所述根据获取到的所述初始温度和温度衰减系数，确定所述预设迭代终止条件，具体包括：
    利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为所述初始温度，a为所述温度衰减系数；
    当所述最新温度T n小于预设温度阈值时，确定满足预设迭代终止条件。
  6. 根据权利要求4所述的分布式系统的存储分配方法，其中，根据获取到的所述最大迭代次数、所述初始温度和温度衰减系数，确定所述预设迭代终止条件，具体包括：
    利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为所述初始温度，a为所述温度衰减系数；
    当所述迭代次数等于获取到的最大迭代次数以及所述最新温度Tn小于预设温度阈值时，确定满足预设迭代终止条件。
  7. 根据权利要求1所述的分布式系统的存储分配方法，其中，所述在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置，具体包括：
    在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，分配OSD各自对应的最新PG数量；
    判断最新分配的PG数量最多的OSD与PG数量最少的OSD，二者之间的PG数量差值是否小于预定数量阈值；
    若所述二者之间的PG数量差值小于所述预定数量阈值，则按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置；
    若所述二者之间的PG数量差值大于或等于所述预定数量阈值，则继续进行一次或多次迭代处理，直至所述二者之间的PG数量差值小于所述预定数量阈值时终止迭代，并按照最终迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
  8. 一种分布式系统的存储分配装置，其中，包括：
    配置模块，用于根据分布式存储系统中对象存储设备OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始放置组PG数量；
    调整模块，用于依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
    所述配置模块，还用于在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
  9. 根据权利要求8所述的分布式系统的存储分配装置，其中，所述调整模块具体用于：
    在每次迭代中，从预设调整范围内随机生成一个随机数，将当时PG数量最多的OSD权重减去所述随机数，同时将当时PG数量最少的OSD权重加上所述随机数。
  10. 根据权利要求9所述的分布式系统的存储分配装置，其中，所述预装置还包括确定模块，用于对所述OSD各自对应的初始权重进行方差计算；按照计算得到的第一方差值，以及所述初始权重中最大权重和最小权重，查询对应的所述预设调整范围。
  11. 根据权利要求8所述的分布式系统的存储分配装置，其中，所述确定模块还用于：对分配的各个初始PG数量进行方差计算；获取与计算得到的第二方差值对应的最大迭代次数，以及获取与所述第二方差值对应的初始温度和温度衰减系数，其中，不同的第二方差值都有各自对应的最大迭代次数，不同的第二方差值都有各自对应的初始温度和温度衰减系数；根据获取到的所述最大迭代次数，确定所述预设迭代终止条件；或，根据获取到的所述初始温度和温度衰减系数，确定所述预设迭代终止条件；或，根据获取到的所述最大迭代次数、所述初始温度和温度衰减系数，确定所述预设迭代终止条件。
  12. 根据权利要求11所述的分布式系统的存储分配装置，其中，所述确定模块具体用于当迭代次数等于获取到的最大迭代次数时，确定满足预设迭代终止条件；
    所述确定模块具体还用于利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为所述初始温度，a为所述温度衰减系数；当所述最新温度T n小于预设温度阈值时，确定满足预设迭代终止条件。
  13. 根据权利要求11所述的分布式系统的存储分配装置，其中，所述确定模块具体还用于利用公式T n＝a nT 0计算经过n次迭代后的最新温度T n，其中，T 0为所述初始温度，a为所述温度衰减系数；当所述迭代次数等于获取到的最大迭代次数以及所述最新温度Tn小于预设温度阈值时，确定满足预设迭代终止条件。
  14. 根据权利要求8所述的分布式系统的存储分配装置，其中，所述配置模块具体用于在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，分配OSD各自对应的最新PG数量；判断最新分配的PG数量最多的OSD与PG数量最少的OSD，二者之间的PG数量差值是否小于预定数量阈值；若所述二者之间的PG数量差值小于所述预定数量阈值，则按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置；若所述二者之间的PG数量差值大于或等于所述预定数量阈值，则继续进 行一次或多次迭代处理，直至所述二者之间的PG数量差值小于所述预定数量阈值时终止迭代，并按照最终迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
  15. 一种非易失性可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现以下步骤：
    根据分布式存储系统中对象存储设备OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始放置组PG数量；
    依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
    在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
  16. 根据权利要求15所述的非易失性可读存储介质，其中，所述依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，具体包括：
    在每次迭代中，从预设调整范围内随机生成一个随机数，将当时PG数量最多的OSD权重减去所述随机数，同时将当时PG数量最少的OSD权重加上所述随机数。
  17. 根据权利要求16所述的非易失性可读存储介质，其中，所述预设调整范围的确定过程，具体包括：
    对所述OSD各自对应的初始权重进行方差计算；
    按照计算得到的第一方差值，以及所述初始权重中最大权重和最小权重，查询对应的所述预设调整范围。
  18. 一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现以下步骤：
    根据分布式存储系统中对象存储设备OSD的磁盘空间大小，配置OSD各自对应的初始权重，并按照所述初始权重分配OSD各自对应的初始放置组PG数量；
    依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，其中，每次迭代中减少当时PG数量最多的OSD权重，同时增加当时PG数量最少的OSD权重，并且按照调整后的OSD各自对应的权重重新分配OSD各自对应的PG数量，以便基于重新分配的OSD各自对应的PG数量进行下次迭代调整；
    在满足预设迭代终止条件后，按照多次迭代调整后的OSD各自对应的权重，执行所述分布式存储系统中OSD权重的最终配置。
  19. 根据权利要求18所述的计算机设备，其中，所述依据分配的各个初始PG数量，对配置的OSD各自对应的初始权重进行多次迭代调整，具体包括：
    在每次迭代中，从预设调整范围内随机生成一个随机数，将当时PG数量最多的OSD权重减去所述随机数，同时将当时PG数量最少的OSD权重加上所述随机数。
  20. 根据权利要求18所述的计算机设备，其中，所述预设调整范围的确定过程，具体包括：
    对所述OSD各自对应的初始权重进行方差计算；
    按照计算得到的第一方差值，以及所述初始权重中最大权重和最小权重，查询对应的所述预设调整范围。
PCT/CN2020/093024 2019-10-31 2020-05-28 分布式系统的存储分配方法、装置及计算机设备 WO2021082421A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911055685.9A CN111090390B (zh) 2019-10-31 2019-10-31 分布式系统的存储分配方法、装置及计算机设备
CN201911055685.9 2019-10-31

Publications (1)

Publication Number Publication Date
WO2021082421A1 true WO2021082421A1 (zh) 2021-05-06

Family

ID=70394082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/093024 WO2021082421A1 (zh) 2019-10-31 2020-05-28 分布式系统的存储分配方法、装置及计算机设备

Country Status (2)

Country Link
CN (1) CN111090390B (zh)
WO (1) WO2021082421A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138194A (zh) * 2021-11-25 2022-03-04 苏州浪潮智能科技有限公司 一种数据分布存储方法、装置、设备及介质
CN114253482A (zh) * 2021-12-23 2022-03-29 深圳市名竹科技有限公司 数据储存方法、装置、计算机设备、存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090390B (zh) * 2019-10-31 2022-06-10 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备
CN112306692B (zh) * 2020-11-13 2023-01-06 苏州浪潮智能科技有限公司 一种分布式存储系统的归置组均衡方法和装置
CN112817535B (zh) * 2021-02-03 2021-11-02 柏科数据技术（深圳）股份有限公司 一种归置组分配方法、装置以及分布式存储系统
CN113282241B (zh) * 2021-05-26 2024-04-09 上海仪电（集团）有限公司中央研究院 一种基于Ceph分布式存储的硬盘权重优化方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160330281A1 (en) * 2015-05-07 2016-11-10 Dell Products L.P. Systems and methods to improve read/write performance in object storage applications
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN107317864A (zh) * 2017-06-29 2017-11-03 郑州云海信息技术有限公司 一种存储设备的数据均衡方法及装置
CN109359845A (zh) * 2018-09-30 2019-02-19 南京地铁集团有限公司 一种城市轨道交通层级救援站多目标选址方法
CN111090390A (zh) * 2019-10-31 2020-05-01 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135410A1 (en) * 2010-04-28 2011-11-03 Indian Statistical Institute Optimization technique using evolutionary algorithms
CN108509157A (zh) * 2018-04-13 2018-09-07 郑州云海信息技术有限公司 一种应用于分布式文件系统的数据均衡方法及装置
CN109343795A (zh) * 2018-09-14 2019-02-15 郑州云海信息技术有限公司 一种分布式存储系统osd容量的均衡调配方法
CN109343798A (zh) * 2018-09-25 2019-02-15 郑州云海信息技术有限公司 对分布式存储系统的主pg均衡调整的方法、装置及介质
CN110018799B (zh) * 2019-04-12 2020-07-03 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160330281A1 (en) * 2015-05-07 2016-11-10 Dell Products L.P. Systems and methods to improve read/write performance in object storage applications
CN106991170A (zh) * 2017-04-01 2017-07-28 广东浪潮大数据研究有限公司 一种分布式文件容量均衡的方法与装置
CN107317864A (zh) * 2017-06-29 2017-11-03 郑州云海信息技术有限公司 一种存储设备的数据均衡方法及装置
CN109359845A (zh) * 2018-09-30 2019-02-19 南京地铁集团有限公司 一种城市轨道交通层级救援站多目标选址方法
CN111090390A (zh) * 2019-10-31 2020-05-01 平安科技（深圳）有限公司 分布式系统的存储分配方法、装置及计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138194A (zh) * 2021-11-25 2022-03-04 苏州浪潮智能科技有限公司 一种数据分布存储方法、装置、设备及介质
CN114138194B (zh) * 2021-11-25 2023-06-09 苏州浪潮智能科技有限公司 一种数据分布存储方法、装置、设备及介质
CN114253482A (zh) * 2021-12-23 2022-03-29 深圳市名竹科技有限公司 数据储存方法、装置、计算机设备、存储介质

Also Published As

Publication number Publication date
CN111090390A (zh) 2020-05-01
CN111090390B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
WO2021082421A1 (zh) 分布式系统的存储分配方法、装置及计算机设备
US10733026B2 (en) Automated workflow selection
US9183024B2 (en) Computer system with a cluster load balancer for graphics processing and graphics processing method thereof
US7730185B2 (en) Method, apparatus and computer program product for sharing resources
WO2020119029A1 (zh) 分布式任务调度方法、系统及存储介质
CN104407925A (zh) 一种动态的资源分配方法
US20190253487A1 (en) Rolling capacity upgrade control
TW201447763A (zh) 虛擬主機控制系統及方法
US9063668B1 (en) Distributed memory allocation in multi-threaded programs
EP3637252A1 (en) Virtual machine deployment method and omm virtual machine
TW201423401A (zh) 動態改善邏輯分割區之記憶體親和性
US20170093963A1 (en) Method and Apparatus for Allocating Information and Memory
CN111562884B (zh) 一种数据存储方法、装置及电子设备
CN107920129A (zh) 一种数据存储的方法、装置、设备以及云存储系统
CN108845860B (zh) 一种quota管理方法、装置及电子设备
WO2024148864A1 (zh) 虚拟机内存的调整方法和装置、非易失性可读存储介质及电子装置
CN109582461B (zh) 一种针对Linux容器的资源部署方法及系统
EP3118742A1 (en) Information processing apparatus, parallel computer system, file server communication program, and file server communication method
US9183359B2 (en) Method and apparatus for assigning and releasing licenses
JP7214287B1 (ja) リソース割り当ての決定方法、装置、計算装置及びコンピュータプログラム
CN110764876A (zh) 一种云主机创建方法、装置、设备及可读存储介质
US10609132B2 (en) Hash data structure biasing
US20160139940A1 (en) Systems and methods for creating virtual machine
US11494079B2 (en) Method for allocating address space used by MMIO and computer system utilizing the same
EP3804381A1 (en) Cellular telecommunications network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883308

Country of ref document: EP

Kind code of ref document: A1