WO2021238408A1

WO2021238408A1 - 对象存储平台以及对象聚合方法、装置和服务器

Info

Publication number: WO2021238408A1
Application number: PCT/CN2021/085236
Authority: WO
Inventors: 郭军; 李金阳
Original assignee: 百果园技术(新加坡)有限公司; 郭军
Priority date: 2020-05-25
Filing date: 2021-04-02
Publication date: 2021-12-02
Also published as: CN111610936A; CN111610936B

Abstract

一种对象存储平台以及对象聚合方法、装置和服务器。该对象存储平台（10）包括：对象存储网关（110）、第一存储池（120）和第二存储池（130）；第一存储池（120）设置为存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系；第二存储池（130）设置为存储由多个第一类对象聚合后的第二类对象；其中，第一存储池（120）所支持的数据读写性能高于第二存储池所支持的数据读写性能；对象存储网关设置为定期将第一存储池（120）内未聚合到第二类对象的第一类对象聚合到第二存储池（130）内的第二类对象中，并在第一存储池（120）内将本次聚合的第一类对象更换为本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系。

Description

对象存储平台以及对象聚合方法、装置和服务器

本申请要求在2020年05月25日提交中国专利局、申请号为202010450286.9的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。

技术领域

本申请涉及数据处理技术领域，例如涉及一种对象存储平台以及对象聚合方法、装置和服务器。

背景技术

随着多媒体资源(如图片、音视频等)的逐渐增加，开源的Ceph文件系统对于不同大小的文件对象，会存在相应的存储和操作需求，而Ceph文件系统会为数据存储分配一个最小空间单元，即使小对象的数据量小于该最小空间单元也会全部占用该最小空间单元，导致存储空间的极大浪费；同时Ceph文件系统在扩容或者硬件故障时，通常以所支持的最小操作粒度为单位对其上存储的文件对象进行转移，对于数据量低于该最小操作粒度的小对象，Ceph文件系统在执行转换操作时可能会存在丢失数据的风险，而且大量小对象的转移会极大增加Ceph文件系统的数据读写负载。

Ceph文件系统针对数据量低于最小操作粒度的小对象，将多个小对象合并成一个大对象存储时，会利用第三方存储系统额外存储每个小对象的自定义对象名与在大对象中的合并位置之间的映射关系，在上述情况下Ceph文件系统借助第三方存储系统的功能，增加了对象存储的复杂性和维护难度，并使合并后的对象操作性能较差。

发明内容

本申请提供了一种对象存储平台以及对象聚合方法、装置和服务器，调整第一类对象的存储结构，降低对象存储的复杂性。

提供了一种对象存储平台，平台包括：对象存储网关、第一存储池和第二存储池；其中，

所述第一存储池为在所述对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，设置为存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系；

所述第二存储池为在所述对象存储平台的内部存储空间上采用设定磁盘技术构建出的存储空间，设置为存储由多个第一类对象聚合后的第二类对象；其中，所述第一存储池所支持的数据读写性能高于所述第二存储池所支持的数据读写性能；

所述对象存储网关设置为定期将所述第一存储池内未聚合到第二类对象的第一类对象聚合到所述第二存储池内的第二类对象中，并在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系。

还提供了一种对象聚合方法，应用于上述的对象存储平台中，包括：

定期在第一存储池内查找出未聚合到第二类对象的第一类对象；

将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系；

其中，所述第一存储池为在所述对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，设置为存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，所述第二存储池为在所述对象存储平台的内部存储空间上采用设定磁盘技术构建出的存储空间，设置为存储由多个第一类对象聚合后的第二类对象，所述第一存储池所支持的数据读写性能高于所述第二存储池所支持的数据读写性能。

还提供了一种对象聚合装置，设置于上述的对象存储平台中，包括：

对象查找模块，设置为定期在第一存储池内查找出未聚合到第二类对象的第一类对象；

对象聚合模块，设置为将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系；

还提供了一种服务器，包括：

一个或多个处理器；

存储装置，设置为存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的对象聚合方法。

还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的对象聚合方法。

附图说明

图1为本申请实施例一提供的一种对象存储平台的原理架构图；

图2为本申请实施例二提供的一种对象存储平台的结构示意图；

图3为本申请实施例三提供的一种对象聚合方法的流程图；

图4为本申请实施例四提供的一种对象聚合方法的流程图；

图5为本申请实施例五提供的一种对象聚合装置的结构示意图；

图6为本申请实施例六提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本申请进行说明。

实施例一

图1为本申请实施例一提供的一种对象存储平台的原理架构图。本实施例可适用于开源的Ceph文件系统下对任一对象进行存储的情况中。参照图1，该对象存储平台10可以包括：对象存储网关110、第一存储池120和第二存储池130。

第一存储池120为在对象存储平台10的内部存储空间上采用固态磁盘技术构建出的存储空间，存储有未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，第二存储池130为在对象存储平台10的内部存储空间上采用常规磁盘技术构建出的存储空间，存储有第一类对象聚合后的第二类对象。

对象存储网关110定期将第一存储池120内未聚合到第二类对象的第一类对象聚合到第二存储池130内的第二类对象中，并在第一存储池120内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系。

可选的，由于Ceph文件系统所支持的最小操作粒度为特定大小的对象，对于数据量高于该最小操作粒度的对象，Ceph文件系统能够准确无误地执行相应的迁移或转换等操作，而对于数据量低于该最小操作粒度的对象，Ceph文件系统在执行迁移或转换等操作时可能会存在丢失数据的风险，无法支持对象的完整操作，为了解决此类问题，本实施例提出将多个数据量低于该最小操作粒度的对象聚合成一个数据量高于该最小操作粒度的对象进行存储，后续整体执行迁移或转换等操作，因此本实施例中的第一类对象为操作粒度无法支持对象完整操作的对象，也就是Ceph文件系统内数据量低于所支持的最小操作粒度的对象，第二类对象为操作粒度支持对象完整操作，且用于聚合第一类对象的容器，也就是Ceph文件系统内预先设定的数据量高于所支持的最小操作粒度的对象容器，该容器能够聚合大量第一类对象；以媒体资源为例，本实施例中的第一类对象可以为互联网系统下存储的多类图片，而第二类对象可以为互联网系统下由大量图片聚合得到的视频。

本实施例在将第一类对象聚合到第二类对象的过程中，需要为第一类对象到第二类对象之间的聚合操作设定对应的存储结构和操作流程，准确将多个第一类对象共同聚合到一个第二类对象中，使得后续仅需要关注第二类对象的存储工作，并通过第二类对象统一执行所聚合的第一类对象的迁移或转换等操作，避免对第一类对象的操作过程中存在丢失数据的风险，提高Ceph文件系统中第一类对象的迁移或转换等操作的效率。

由于对象存储中，会额外配置一个第三方存储系统来存储多个小对象的对象名与在大对象中的合并位置之间的映射关系，增加了对象存储的复杂度和维护难度，因此本实施例中会直接在Ceph文件系统采用不同读写性能的磁盘技术，将该Ceph文件系统的内部存储空间区分成两个不同的存储空间，在内部存储空间上采用固态磁盘技术构建第一存储池120，在内部存储空间上采用常规磁盘技术构建第二存储池130，第一存储池120所支持的数据读写性能远高于第二存储池130所支持的数据读写性能，因此为了在对象聚合的基础上，保证部分第一类对象的读写性能，本实施例对于在Ceph文件系统内刚开始写入的每个第一类对象，都可以先将该第一类对象作为未聚合到第二类对象的第一类对象，直接存储到第一存储池120中，后续通过对象存储网关110定期将第一存储池120内的未聚合到第二类对象的第一类对象聚合到第二存储池130内的第二类对象中，无需借助第三方存储系统的功能，同时保证了未聚合到第二类对象的第一类对象的读写性能。

本实施例主要面向Ceph文件系统下的对象存储，因此对象存储网关110可以为Ceph文件系统下配置的可靠,自治,分布式对象存储(Reliable，Autonomic Distributed Object Store，RADOS)网关(RADOS Gateway，RGW)。

在本实施例中，第二存储池130内的第二类对象可以由所聚合的每个第一类对象的映射标签、属性标签、内容数据和校验标签组成。其中，映射标签用于指示第二类对象所聚合的第一类对象与该第二类对象之间的聚合映射关系，例如所聚合的第一类对象在第二类对象中的聚合偏移位置以及该第一类对象的数据长度等；属性标签用于指示第二类对象所聚合的多个第一类对象的对象标识和索引分类等元数据信息，本实施例的对象存储平台10还可以包括索引记录池140，设置为记录第一类对象的索引分类，例如，在对象存储平台10内每写入一个第一类对象时，首先会通过分析该第一类对象的内容分类，而在索引记录池140的对应索引分类标签下填写该第一类对象的对象标识，以指示本次写入的第一类对象属于该索引分类标签下的内容；内容数据为第二类对象所聚合的每个第一类对象的实际内容；校验标签用于判断第二类对象所聚合的每个第一类对象是否聚合出错。在将第一类对象聚合到第二类对象中时，直接将本次聚合的第一类对象按照映射标签、属性标签、内容数据和校验标签的数据格式依次追加到该第二类对象内最后聚合的第一类对象之后，从而保证第二类对象所聚合的多个第一类对象的顺序，避免在第二类对象的同一位置重复写入第一类对象而导致的聚合出错。

在将第一类对象聚合到第二类对象的过程中，第二存储池130主要负责存储第二类对象的内容数据，而第二类对象由多个第一类对象聚合而成，第二类对象的内容数据则为所聚合的多个第一类对象的内容数据，因此为了确保第一类对象到第二类对象的成功聚合，并防止第二类对象下第一类对象的过度聚合，本实施例会通过分析Ceph文件系统所支持的最小操作粒度，在第二存储池130上预先存储第二类对象的聚合上限，使得在将第一类对象聚合到第二类对象的过程中，如果第二类对象内所聚合的第一类对象的聚合占用空间已经达到该聚合上限，则不再向该第二类对象中继续聚合第一类对象，而切换到下一个新的第二类对象中聚合。

示例性的，对象存储网关110在将第一存储池120内未聚合到第二类对象的第一类对象聚合到第二存储池130内的第二类对象中的聚合过程中，对于每聚合一个第一类对象之前，首先需要检测第二存储池130内用于本次聚合的当前第二类对象下已经聚合的多个第一类对象的聚合容量是否大于或等于第二类对象的聚合上限；若已经聚合的多个第一类对象的聚合容量小于第二类对象的聚合上限，则继续在该当前第二类对象中按照第一类对象的映射标签、属性标签、内容数据和校验标签的数据格式追加本次聚合的第一类对象；若已经聚合的多个第一类对象的聚合容量大于或等于第二类对象的聚合上限，将第二存储池130内的下一第二类对象作为新的当前第二类对象，继续将本次聚合剩余的第一类对象聚合到新的当前第二类对象中。

对象存储网关110根据用户读写需求，会接收到用户对于其上存储的第一类对象的操作请求，对象存储网关110会根据该操作请求，对第一存储池120和第二存储池130下该操作请求指向的对象信息进行相应的读取、写入、修改或删除等处理；因此，如果对象存储网关110根据用户需求要删除一个第一类对象，且该第一类对象已经聚合到第二存储池130内的一个第二类对象中，则需要在所聚合的第二类对象内相应删除该第一类对象的内容数据，该第二类对象内会出现相应存储空缺，而由于不同第一类对象的内容数据也不同，因此无法在第二类对象内的存储空缺位置再次添加新的第一类对象，使得第二类对象下的存储空间无法被完全使用；为了解决上述问题，本实施例会在对象存储网关110上配置有回收进程111，并在第二存储池130上存储每个第二类对象的可回收容量，在删除第二存储池130内第二类对象所聚合的第一类对象时，当前仅需要删除第一存储池120内存储的该第一类对象与所聚合到的第二类对象之间的聚合映射关系，并根据本次删除的第一类对象的内容数据量来修改第二存储池130上本次删除的第一类对象所聚合到的第二类对象的可回收容量，后续通过回收进程111实时检测第二存储池130内每个第二类对象的可回收容量，来及时回收第二类对象所聚合的第一类对象中已经被删除的第一类对象，从而保证所删除的第一类对象的存储空间可以及时被回收。

回收进程111实时检测第二存储池130内每个第二类对象的可回收容量，进而查找出可回收容量超出预设回收上限的目标第二类对象，该目标第二类对象所聚合的大部分第一类对象已经被删除，由于已经删除的第一类对象与所聚合到的第二类对象之间的聚合映射关系已经在第一存储池120内删除了，因此可以根据第一存储池120剩余记录的与目标第二类对象相关的聚合映射关系，在该目标第二类对象所聚合的多个第一类对象中查找出未被删除的多个有效第一类对象，进而将该目标第二类对象所聚合的多个有效第一类对象重新写入到第一存储池120中，并删除第一存储池120内多个有效第一类对象与该目标第二类对象之间的聚合映射关系，以及第二存储池130中内的目标第二类对象，也就是将该目标第二类对象所聚合的多个有效第一类对象重新迁移到第一存储池110内，并在第二存储池130内全部删除该目标第二类对象，从而保证所删除的第一类对象的存储空间可以及时被回收，避免所删除的第一类对象所聚合的第二类对象上的存储空间浪费。

本实施例提供的技术方案，直接在对象存储平台的内部存储空间上采用固态磁盘技术构建出第一存储池，采用常规磁盘技术构建出第二存储池，第一存储池的数据读取性能远高于第二存储池，在第一存储池内存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，在第二存储池内存储第一类对象聚合后的第二类对象，无需借助第三方存储系统来存储第一类对象与第二类对象之间的聚合映射关系，调整了第一类对象的存储结构，提高了未聚合到第二类对象的第一类对象的读取性能；同时，对象存储网关能够定期将第一存储池内未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，实现第一类对象到第二类对象之间的动态聚合，防止第一存储池内未聚合到第二类对象的第一类对象的过度存储，提高第一存储池的存储性能。

实施例二

图2为本申请实施例二提供的一种对象存储平台的结构示意图。本实施例是在上述实施例提供的技术方案的基础上进行说明。参照图2，该对象存储平台20可以包括对象存储网关210、第一存储池220、第二存储池230、索引记录池240和日志记录池250。

第一存储池220为在对象存储平台20的内部存储空间上采用固态磁盘技术构建出的存储空间，存储有未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，第二存储池230为在对象存储平台20的内部存储空间上采用常规磁盘技术构建出的存储空间，存储有第一类对象聚合后的第二类对象，第二存储池230还存储有第二类对象的聚合上限；对象存储网关210上配置有回收进程211，第二存储池230还存储有每个第二类对象的可回收容量；索引记录池240设置为记录第一类对象的索引分类；日志记录池250设置为记录第一类对象的写入日志和修改日志，并标记对应的聚合检查点日志。

对象存储网关210定期将第一存储池220内未聚合到第二类对象的第一类对象聚合到第二存储池230内的第二类对象中，并在第一存储池220内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系。同时，对象存储网关210在将第一存储池220内未聚合到第二类对象的第一类对象聚合到第二存储池230内的第二类对象中时，如果第二存储池230内当前第二类对象中第一类对象的聚合容量大于或等于聚合上限，则将第二存储池内的下一第二类对象作为新的当前第二类对象，继续将本次聚合剩余的第一类对象聚合到新的当前第二类对象中。此外，对象存储网关210上配置的回收进程211实时在第二存储池230内查找出可回收容量超出预设回收上限的目标第二类对象，将目标第二类对象所聚合的多个第一类对象中未删除的多个有效第一类对象重新写入到第一存储池220中，并删除第一存储池220内多个有效第一类对象与目标第二类对象之间的聚合映射关系，以及第二存储池230内的目标第二类对象。

可选的，为了指示将第一存储池220内未聚合到第二类对象的第一类对象聚合到第二类对象中的聚合过程，避免第一存储池220内未聚合到第二类对象的第一类对象的聚合遗漏，本实施例会在对象存储网关210上额外配置对应的查找进程212和至少一个聚合进程213，后续由查找进程212和每个聚合进程213来共同配合，在第一存储池220内查找未聚合到第二类对象的第一类对象，并将所查找出的第一类对象聚合到第二存储池230的第二类对象中。

对象存储网关210上配置的查找进程212会定期在第一存储池220内查找未聚合到第二类对象的第一类对象，并将所查找出的未聚合到第二类对象的第一类对象逐一记录到对应的对象存储网关210的聚合分片中；其中，对象存储网关210上会预先设置多个聚合分片，多个聚合分片与多个聚合分片上配置的多个聚合进程213一一对应；查找进程212将从第一存储池220内查找出的未聚合到第二类对象的多个第一类对象分别记录到多个聚合分片后，多个聚合分片对应的多个聚合进程213会从相应聚合分片中并发读取该多个聚合分片中所记录的未聚合到第二类对象的多个第一类对象，并将读取出的第一类对象不断聚合到第二存储池230内的第二类对象中，同时在第一存储池220内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系，使得第一存储池220内不再存储已聚合到第二类对象的第一类对象的内容数据，而只存储已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，从而在避免第一存储池220过度存储的基础上，保证将第一存储池220内未聚合到第二类对象的第一类对象聚合到第二存储池230的第二类对象中的聚合准确性。

为了保证第一存储池220内所查找出的未聚合到第二类对象中的第一类对象的全面性，本实施例会预先设置一个日志记录池250，由于对于新写入或修改的第一类对象，本实施例会将其作为未聚合到第二类对象中的第一类对象，先存储到第一存储池220内，后续再定期聚合到第二存储池230的第二类对象中，以保证部分第一类对象的读写性能，因此对象存储网关210在根据用户需求在第一存储池220内写入新的第一类对象或者修改原有的第一类对象时，会在该日志记录池250中记录该第一类对象的写入日志或修改日志，以供对象存储网关210通过定期回放该日志记录池250中所记录的多个日志，并查找出未聚合到第二类对象中的每个第一类对象的回放日志，进而将所查找出的回放日志面向的第一类对象作为未聚合到第二类对象的第一类对象，聚合到第二存储池230内的第二类对象中。

为了保证所回放的日志能够准确判断所对应的第一类对象是否已经聚合到第二存储池230内的第二类对象中，本实施例在定期回放日志记录池250中所记录的多个日志时，还会相应标记出本次最后回放的日志，作为本实施例中的聚合检查点日志，由于对象存储网关210会按照日志记录顺序来回放日志记录池250中的日志，因此能够确定日志记录池250中位于所标记的聚合检查点日志之前的日志均已经回放过，而已经回放过的日志所面向的第一类对象在回访过程中已经聚合到第二存储池230内的第二类对象中，也就是日志记录池250中位于所标记的聚合检查点日志之前的多个写入日志和修改日志所面向的第一类对象均已经聚合到第二存储池230内的第二类对象中，而位于所标记的聚合检查点日志之后的多个写入日志和修改日志所面向的第一类对象还未聚合到第二存储池230内的第二类对象中，因此对象存储网关210在通过定期回放日志记录池250中的日志来查找未聚合到第二类对象的第一类对象时，仅需要定期回放日志记录池250中位于聚合检查点日志之后的多个写入日志和修改日志，每一回放日志面向的第一类对象为未聚合到第二类对象的第一类对象，进而将每一回放日志面向的第一类对象聚合到第二存储池230内的第二类对象中，同时根据本次聚合状态，在日志记录池250内重新标记对应的聚合检查点日志，下次回放日志时，继续从该聚合检查点日志开始回放；例如，如果本次定期回放的所有日志全部回放完成，则将本次回放的最后一个日志作为新的聚合检查点日志，在日志记录池250中标记出来，下次从该新的聚合检查点日志开始继续回放，从而提高未聚合到第二类对象的第一类对象的查找效率和准确性。

示例性的，本实施例以通过定期回放日志记录池250中位于聚合检查点日志之后的多个写入日志和修改日志，由对象存储网关210上配置的查找进程212和至少一个聚合进程213共同配合来确定未聚合到第二类对象的多个第一类对象为例，对第一存储池220内未聚合到第二类对象的多个第一类对象的查找过程进行说明：

对象存储网关210上配置的查找进程212会定期回放日志记录池250中位于聚合检查点日志之后的多个写入日志和修改日志，并将多个回放日志对应写入到多个聚合分片中，每个聚合进程213分别从各自对应的聚合分片中并发读取回放日志，并将每一回放日志面向的第一类对象作为未聚合到第二类对象的第一类对象聚合到第二存储池230内的第二类对象中，聚合进程213在每一第一类对象的聚合过程中，首先会检测第二存储池230内用于本次聚合的当前第二类对象下已经聚合的多个第一类对象的聚合容量是否大于或等于第二类对象的聚合上限；若已经聚合的多个第一类对象的聚合容量小于第二类对象的聚合上，则继续在该当前第二类对象中按照第一类对象的映射标签、属性标签、内容数据和校验标签的数据格式追加本次聚合的第一类对象；若已经聚合的多个第一类对象的聚合容量大于或等于第二类对象的聚合上，将第二存储池230内的下一第二类对象作为新的当前第二类对象，继续将本次聚合剩余的第一类对象聚合到新的当前第二类对象中。

本实施例根据用户需求对于对象存储平台20中的第一类对象会存在相应的写入、读取、删除和修改等多项操作，以下对于本实施例中第一类对象的每一操作过程进行解释说明：

1)针对第一类对象的写入操作，为了保证部分第一类对象的读写性能和避免第一存储池220的过度存储，本实施例对于每一第一类对象的初步写入，会直接将新写入的第一类对象作为未聚合到第二类对象中的第一类对象，直接将该第一类对象的内容数据存储到第一存储池220中，后续由对象存储网关210定期将未聚合到第二类对象的多个第一类对象统一聚合到第二存储池230内的第二类对象中，从而在避免第一存储池220的过度存储的基础上，提高第一类对象在初步写入阶段的读写性能。

对象存储网关210如果接收到对第一类对象的写入请求，则首先将本次写入的第一类对象作为未聚合到第二类对象的第一类对象，直接存储到第一存储池220内，并在日志记录池250中对应记录本次写入的第一类对象的写入日志，以便后续通过定期回放日志记录池250中位于聚合检查点日志之后的多个写入日志和修改日志，本次写入的第一类对象的写入日志则会被回放，进而将本次写入的第一类对象聚合到第二存储池230内的第二类对象中。

2)针对第一类对象的读取操作，由于第一类对象既可存储在第一存储池220内，也可存储到第二存储池230内的第二类对象中，因此为了保证所读取的第一类对象的准确性，本实施例首先会在第一存储池220内读取本次读取的第一类对象的内容数据；如果在第一存储池220内读取出的内容数据为空，则继续在第一存储池220内查找出本次读取的第一类对象与所聚合到的第二类对象之间的聚合映射关系，并根据该聚合映射关系在第二存储池230内查找出本次读取的第一类对象所聚合到的第二类对象，进而在该第二类对象中继续读取本次读取的第一类对象的内容数据。

对象存储网关210如果接收到第一类对象的读取请求，则由于第一存储池220内会存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，因此首先在第一存储池220内读取本次读取的第一类对象的内容数据，如果能够读取出该第一类对象的内容数据，则说明本次读取的第一类对象还未聚合到第二存储池230内的第二类对象中，进而直接将所读取的内容数据反馈给用户；而如果在第一存储池220内读取出的内容数据为空，则说明本次读取的第一类对象已经聚合到第二存储池230内的第二类对象中，因此需要在第一存储池220内查找出本次读取的第一类对象与所聚合到的第二类对象之间的聚合映射关系，如第一类对象在所聚合到的第二类对象中的偏移位置以及该第一类对象的数据长度等，进而根据该聚合映射关系在第二存储池230内查找出本次读取的第一类对象所聚合到的第二类对象，并在该第二类对象的相应偏移位置下继续读取出相应数据长度的内容数据，作为本次读取的第一类对象的内容数据。此外，为了保证所读取的内容数据的准确性，本实施例还会读取出该第一类对象的校验标签，并采用该校验标签来判断本次读取的内容数据是否出错，从而提高第一类对象的读取准确性。

3)针对第一类对象的删除操作，由于第一类对象既可存储在第一存储池220内，也可存储到第二存储池230内的第二类对象中，因此首先需要判断本次删除的第一类对象为未聚合到第二类对象的第一类对象，还是已聚合到第二类对象的第一类对象，以便后续执行不同的删除操作，确保本次删除的准确性。

对象存储网关210如果接收到第一类对象的删除请求，且本次删除的第一类对象为未聚合到第二类对象的第一类对象，则说明本次读取的第一类对象存储在第一存储池220内，在日志记录池250中记录有本次删除的第一类对象的写入日志或者修改日志，以便后续定期回放日志时能够将该第一类对象聚合到第二类对象中，因此本实施例直接在第一存储池220内删除本次删除的第一类对象的内容数据，同时为了避免后续定期回放日志时对本次删除的第一类对象进行聚合而导致聚合出错，还会在日志记录池250中删除本次删除的第一类对象的写入日志或者修改日志，使得后续不会回放已经删除的第一类对象的写入日志或修改日志，从而保证第一类对象的聚合准确性。但是，对象存储网关210如果接收到第一类对象的删除请求，且本次删除的第一类对象为已聚合到第二类对象的第一类对象，则说明本次删除的第一类对象存储在第二存储池230内的第二类对象中，在日志记录池250中已经回放过本次删除的第一类对象的写入日志或修改日志，不会再次回放，因此仅需要在第一存储池220内删除本次删除的第一类对象与所聚合到的第二类对象之间的聚合映射关系即可，而无需在第二存储池230内本次删除的第一类对象所聚合到的第二类对象中删除该第一类对象的内容数据，会通过对象存储网关210上配置的回收进程211来通过检测第二存储池230内的每个第二类对象的可回收容量来统一执行相应的回收操作，为了保证回收准确性，仅需要在第二存储池230内更新本次删除的第一类对象所聚合到的第二类对象的可回收容量，也就是在原有的可回收容量的基础上，再加上本次删除的第一类对象的数据长度，后续在第二类对象的可回收容量超出预设回收上限时进行相应的回收，将可回收容量超出预设回收上限的目标第二类对象所聚合的多个有效第一类对象重新写入到第一存储池220中，并删除第一存储池220内多个有效第一类对象与目标第二类对象之间的聚合映射关系，以及第二存储池230内的目标第二类对象。

4)针对第一类对象的修改操作，本实施例中的修改操作主要为对于当前已经写入的第一类对象的内容数据进行修改，由于第一类对象既可存储在第一存储池220内，也可存储到第二存储池230内的第二类对象中，因此首先需要判断本次修改的第一类对象为未聚合到第二类对象的第一类对象，还是已聚合到第二类对象的第一类对象，以便后续执行不同的修改操作，确保本次修改的准确性；而如果本次修改的第一类对象已经聚合到第二存储池230内的第二类对象中，由于修改前后的内容长度不同，则无法在第二类对象中对本次修改的第一类对象的内容数据进行修改，因此可以将修改操作作为删除操作和写入操作的组合，也就是通过对象存储网关210对已经写入的原有第一类对象执行相应的删除操作，在删除成功后，再次对当前要求写入的新的第一类对象执行相应的写入操作，从而保证修改操作的准确执行。

对象存储网关210如果接收到第一类对象的修改请求，且本次修改的第一类对象为未聚合到第二类对象的第一类对象，则说明本次读取的第一类对象存储在第一存储池220内，在日志记录池250中记录有本次删除的第一类对象的写入日志，因此可以直接更新第一存储池220内本次修改的第一类对象的内容数据，同时为了避免后续定期回放日志时对本次修改的第一类对象最初写入的内容数据进行聚合而导致聚合出错，还会在日志记录池250中记录本次修改的第一类对象的修改日志，并删除本次修改的第一类对象的写入日志，以便后续仅回放本次修改的第一类对象的修改日志，不再回放本次修改的第一类对象修改前的写入日志，从而保证本次修改的第一类对象在后续聚合时的所聚合的内容数据的准确性。但是，对象存储网关210如果接收到第一类对象的修改请求，且本次修改的第一类对象为聚合到第二类对象的第一类对象，则说明本次修改的第一类对象存储在第二存储池230内的第二类对象中，在日志记录池250中已经回放过本次修改的第一类对象的写入日志，不会再次回放，因此仅需要在第一存储池220内直接写入本次修改后的第一类对象，由于读取第一类对象时，会首先在第一存储池220内读取对应的内容数据，如果可以读取到内容数据，就不会再关注该第一类对象与第二类对象之间的聚合映射关系，因此本实施例即使在第一存储池220内写入本次修改后的第一类对象，而不删除第一存储池220内已经存储的该第一类对象在修改前的内容数据与所聚合到的第二类对象之间的聚合映射关系时，也能保证本次修改的第一类对象的读取准确性，因此在第一存储池220内写入本次修改后的第一类对象时，无需删除第一存储池220内已经存储的该第一类对象在修改前的内容数据与所聚合到的第二类对象之间的聚合映射关系，而需要将本次修改的第一类对象的修改日志记录到日志记录池250中，以便后续定期回放日志时，能够根据该修改日志将本次修改后的第一类对象重新聚合到第二存储池230内的第二类对象中，在将本次修改后的第一类对象聚合到第二类对象中时，才需要在第一存储池220内删除本次修改前的第一类对象与所聚合到的第二类对象之间的聚合映射关系，进而将本次修改后的第一类对象与所聚合到的第二类对象之间的聚合映射关系存储到第一存储池220中，从而保证第一类对象在修改后的读取准确性。

本实施例提供的技术方案，通过在日志记录池中标记对应的聚合检查点日志，对未聚合到第二类对象的第一类对象和已聚合到第二类对象的第一类对象进行准确区分，后续定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志，直接将每一回放日志面向的第一类对象作为未聚合到第二类对象的第一类对象，来聚合到第二存储池内的第二类对象中，从而保证第一类对象聚合到第二类对象的准确性，实现第一类对象到第二类对象之间的动态聚合，防止第一存储池内未聚合到第二类对象的第一类对象的过度存储，提高第一存储池的存储性能。

实施例三

图3为本申请实施例三提供的一种对象聚合方法的流程图，本实施例可适用于开源的Ceph文件系统下对任一对象进行存储的情况中，应用于上述实施例提供的对象存储平台中。本实施例提供的一种对象聚合方法可以由本申请实施例提供的对象聚合装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的服务器中。

参考图3，该方法可以包括如下步骤：

S310，定期在第一存储池内查找出未聚合到第二类对象的第一类对象。

第一存储池为在对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，存储有未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，第二存储池为在对象存储平台的内部存储空间上采用常规磁盘技术构建出的存储空间，存储有第一类对象聚合后的第二类对象。

由于本实施例对于在Ceph文件系统内刚开始写入的每个第一类对象，都会先将该第一类对象作为未聚合到第二类对象的第一类对象，直接存储到第一存储池中，因此本实施例通过对象存储网关分析第一存储池内的多个第一类对象的存储情况，定期在该第一存储池内查找出该时段内新写入该对象存储平台，且还未聚合到第二类对象的第一类对象，以便后续准确聚合到第二存储池内的第二类对象中。

示例性的，为了保证第一存储池内所查找出的未聚合到第二类对象中的第一类对象的全面性，由于对于新写入或修改的第一类对象，本实施例会将其作为未聚合到第二类对象中的第一类对象，先存储到第一存储池内，后续再定期聚合到第二存储池的第二类对象中，以保证部分第一类对象的读写性能，因此本实施例会预先设置一个日志记录池，在根据用户需求在第一存储池内写入新的第一类对象或者修改原有的第一类对象时，会在该日志记录池中记录该第一类对象的写入日志或修改日志，以供对象存储网关通过定期回放该日志记录池中所记录的多个日志，并查找出未聚合到第二类对象中的多个第一类对象的回放日志，进而将所查找出的回放日志面向的第一类对象作为未聚合到第二类对象的第一类对象，依次聚合到第二存储池内的第二类对象中。

本实施例中定期在第一存储池内查找出未聚合到第二类对象的第一类对象，可以包括：定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志；将每个回放日志面向的第一类对象作为未聚合到第二类对象的第一类对象。

为了保证所回放的日志能够准确判断所对应的第一类对象是否已经聚合到第二存储池内的第二类对象中，本实施例在定期回放日志记录池中所记录的多个日志时，还会相应标记出本次最后回放的日志，作为本实施例中的聚合检查点日志，由于对象存储网关会按照日志记录顺序来回放日志记录池中的日志，因此能够确定日志记录池中位于所标记的聚合检查点日志之前的日志均已经回放过，而已经回放过的日志所面向的第一类对象在回访过程中已经聚合到第二存储池内的第二类对象中，也就是日志记录池中位于所标记的聚合检查点日志之前的多个写入日志和修改日志所面向的第一类对象均已经聚合到第二存储池内的第二类对象中，而位于所标记的聚合检查点日志之后的多个写入日志和修改日志所面向的第一类对象还未聚合到第二存储池内的第二类对象中，因此对象存储网关在通过定期回放日志记录池中的日志来查找未聚合到第二类对象的第一类对象时，仅需要定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志，每一回放日志面向的第一类对象为未聚合到第二类对象的第一类对象，进而将每一回放日志面向的第一类对象聚合到第二存储池内的第二类对象中；同时，在将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中之后，还可以包括：根据本次聚合状态，在日志记录池内的多个写入日志和修改日志中重新标记聚合检查点日志，以便下次回放日志时，继续从该聚合检查点日志开始回放；例如，如果本次定期回放的所有日志全部回放完成，则将本次回放的最后一个日志作为新的聚合检查点日志，在日志记录池中标记出来，下次从该新的聚合检查点日志开始继续回放，从而提高未聚合到第二类对象的第一类对象的查找效率和准确性。

S320，将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在第一存储池内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系。

本实施例定期在第一存储池内查找出未聚合到第二类对象的第一类对象之后，会将所查找出的每一第一类对象不断聚合到第二存储池内的第二类对象中，可以直接将本次聚合的第一类对象按照映射标签、属性标签、内容数据和校验标签的数据格式依次追加到该第二类对象内最后聚合的第一类对象之后，从而保证第二类对象所聚合的多个第一类对象的顺序，避免在第二类对象的同一位置重复写入第一类对象而导致的聚合出错。

在将第一类对象聚合到第二类对象的过程中，第二存储池主要负责存储第二类对象的内容数据，而第二类对象由多个第一类对象聚合而成，第二类对象的内容数据则为所聚合的多个第一类对象的内容数据，因此为了确保第一类对象到第二类对象的成功聚合，并防止第二类对象下第一类对象的过度聚合，本实施例会通过分析Ceph文件系统所支持的最小操作粒度，在第二存储池上预先存储第二类对象的聚合上限，将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，可以包括：针对第一存储池内未聚合到第二类对象的每一第一类对象，如果第二存储池内当前第二类对象中第一类对象的聚合容量小于聚合上限，则直接在当前第二类对象内追加该第一类对象；如果第二存储池内当前第二类对象中第一类对象的聚合容量不小于聚合上限，将第二存储池内的下一第二类对象作为新的当前第二类对象，在新的当前第二类对象内追加该第一类对象；使得在将第一类对象聚合到第二类对象的过程中，如果第二类对象内所聚合的第一类对象的聚合占用空间已经达到该聚合上限，则不再向该第二类对象中继续聚合第一类对象，而切换到下一个新的第二类对象中聚合。

示例性的，对象存储网关在将第一存储池内未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中的聚合过程中，对于每聚合一个第一类对象之前，首先需要检测第二存储池内用于本次聚合的当前第二类对象下已经聚合的多个第一类对象的聚合容量是否大于或等于第二类对象的聚合上限；如果已经聚合的多个第一类对象的聚合容量小于该聚合上限，则继续在该当前第二类对象中按照第一类对象的映射标签、属性标签、内容数据和校验标签的数据格式追加本次聚合的第一类对象；如果已经聚合的多个第一类对象的聚合容量不小于该聚合上限，将第二存储池内的下一第二类对象作为新的当前第二类对象，继续将本次聚合剩余的第一类对象聚合到新的当前第二类对象中。

为了指示将第一存储池内未聚合到第二类对象的第一类对象聚合到第二类对象中的聚合过程，避免第一存储池内未聚合到第二类对象的第一类对象的聚合遗漏，本实施例通过对象存储网关上配置的查找进程定期在第一存储池内查找未聚合到第二类对象的第一类对象，并将所查找出的未聚合到第二类对象的第一类对象逐一记录到对应的聚合分片中；其中，对象存储网关上会预先设置多个聚合分片，多个聚合分片与多个聚合分片上配置的多个聚合进程一一对应；查找进程将从第一存储池内查找出的未聚合到第二类对象的多个第一类对象分别记录到多个聚合分片后，多个聚合分片对应的多个聚合进程会从相应聚合分片中并发读取该多个聚合分片中所记录的未聚合到第二类对象的多个第一类对象，并将读取出的第一类对象不断聚合到第二存储池内的第二类对象中，同时在第一存储池内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系，使得第一存储池内不再存储已聚合到第二类对象的第一类对象的内容数据，而只存储已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，从而在避免第一存储池过度存储的基础上，保证将第一存储池内未聚合到第二类对象的第一类对象聚合到第二存储池的第二类对象中的聚合准确性。

示例性的，本实施例以通过定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志，由对象存储网关上配置的查找进程和至少一个聚合进程共同配合来确定未聚合到第二类对象的多个第一类对象为例，对第一存储池内未聚合到第二类对象的多个第一类对象的查找过程进行说明：

可选的，通过对象存储网关上配置的查找进程会定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志，并将多个回放日志对应写入到多个聚合分片中，每个聚合进程从各自对应的聚合分片中并发读取回放日志，并将每一回放日志面向的第一类对象作为未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，同时聚合进程在每一第一类对象的聚合过程中，首先会检测第二存储池内用于本次聚合的当前第二类对象下已经聚合的多个第一类对象的聚合容量是否大于或等于第二类对象的聚合上限；若已经聚合的多个第一类对象的聚合容量小于第二类对象的聚合上，则继续在该当前第二类对象中按照第一类对象的映射标签、属性标签、内容数据和校验标签的数据格式追加本次聚合的第一类对象；若已经聚合的多个第一类对象的聚合容量大于或等于第二类对象的聚合上，将第二存储池内的下一第二类对象作为新的当前第二类对象，继续将本次聚合剩余的第一类对象聚合到新的当前第二类对象中。

实施例四

图4为本申请实施例四提供的一种对象聚合方法的流程图，本实施例是在上述实施例的基础上进行说明。如图4所示，本实施例主要对于在将第一类对象聚合到第二类对象的过程中存在的对第一类对象的多项操作过程和第二类对象的回收过程进行解释说明。

参考图4，该方法可以包括如下步骤：

S410，定期在第一存储池内查找出未聚合到第二类对象的第一类对象。

S420，将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在第一存储池内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系。

S430，实时检测第二存储池内每个第二类对象的可回收容量，将可回收容量超出预设回收上限的目标第二类对象所聚合的多个有效第一类对象重新写入到第一存储池中，并删除第一存储池内多个有效第一类对象与目标第二类对象之间的聚合映射关系，以及第二存储池内的目标第二类对象。

可选的，根据用户读写需求，会接收到用户对于其上存储的第一类对象的操作请求，对象存储网关会根据该操作请求，对第一存储池和第二存储池下该操作请求指向的对象信息进行相应的读取、写入、修改或删除等处理；因此，如果对象存储网关根据用户需求要删除一个第一类对象，且该第一类对象已经聚合到第二存储池内的一个第二类对象中，则需要在所聚合的第二类对象内相应删除该第一类对象的内容数据，该第二类对象内会出现相应存储空缺，而由于不同第一类对象的内容数据也不同，因此无法在第二类对象内的存储空缺位置再次添加新的第一类对象，使得第二类对象下的存储空间无法被完全使用；为了解决上述问题，本实施例会在对象存储网关上配置有回收进程，并在第二存储池上存储每个第二类对象的可回收容量，在删除第二存储池内第二类对象所聚合的第一类对象时，当前仅需要删除第一存储池内存储的该第一类对象与所聚合到的第二类对象之间的聚合映射关系，并根据本次删除的第一类对象的内容数据量来修改第二存储池上本次删除的第一类对象所聚合到的第二类对象的可回收容量，后续通过回收进程实时检测第二存储池内每个第二类对象的可回收容量，来及时回收第二类对象所聚合的第一类对象中已经被删除的第一类对象，从而保证所删除的第一类对象的存储空间可以及时被回收。

通过回收进程实时检测第二存储池内每个第二类对象的可回收容量，进而查找出可回收容量超出预设回收上限的目标第二类对象，该目标第二类对象所聚合的大部分第一类对象已经被删除，由于已经删除的第一类对象与所聚合到的第二类对象之间的聚合映射关系已经在第一存储池内删除了，因此可以根据第一存储池剩余记录的与目标第二类对象相关的聚合映射关系，在该目标第二类对象所聚合的多个第一类对象中查找出未被删除的多个有效第一类对象，进而将该目标第二类对象所聚合的多个有效第一类对象重新写入到第一存储池中，并删除第一存储池内多个有效第一类对象与该目标第二类对象之间的聚合映射关系，以及第二存储池中内的目标第二类对象，也就是将该目标第二类对象所聚合的多个有效第一类对象重新迁移到第一存储池内，并在第二存储池内全部删除该目标第二类对象，从而保证所删除的第一类对象的存储空间可以及时被回收，避免所删除的第一类对象所聚合的第二类对象上的存储空间浪费。

示例性的，本实施例中将可回收容量超出预设回收上限的目标第二类对象所聚合的多个有效第一类对象重新写入到第一存储池中，可以包括：在第一存储池中查找目标第二类对象所聚合的每一第一类对象与目标第二类对象之间的聚合映射关系；将聚合映射关系为非空的第一类对象作为目标第二类对象所聚合的有效第一类对象重新写入到第一存储池中。通过依次确定目标第二类对象所聚合的每一第一类对象，并判断在第一存储池中是否还存在该第一类对象与目标第二类对象之间的聚合映射关系，若在第一存储池中不存在该第一类对象与目标第二类对象之间的聚合映射关系，说明该第一类对象已经被删除而不作任何处理，若在第一存储池中存在该第一类对象与目标第二类对象之间的聚合映射关系，可以确定聚合映射关系为非空的第一类对象为目标第二类对象中未被删除的第一类对象，将其作为目标第二类对象所聚合的有效第一类对象重新写入到第一存储池中，并删除第一存储池内多个有效第一类对象与该目标第二类对象之间的聚合映射关系，以及第二存储池中内的目标第二类对象。

S440，如果接收到对第一类对象的操作请求，则对应更新操作请求在第一存储池和第二存储池下指向的对象信息。

可选的，根据用户需求对于所存储的第一类对象会存在相应的写入、读取、删除和更改等多项操作，为了保证第一存储池和第二存储池上存储信息在多项操作下的动态更新，本实施例会通过对象存储网关实时检测用户是否对第一类对象存在一项操作需求，如果接收到对第一类对象的操作请求，则直接在第一存储池和第二存储池下查找出该操作请求所指向的对象信息，该对象信息可以是第一存储池内未聚合到第二类对象的第一类对象的内容数据或者已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，或者第二存储池内已聚合到第二类对象的第一类对象的内容数据，进而对在第一存储池和第二存储池下查找出的该操作请求所指向的对象信息进行与本次操作相关的更新，以保证第一存储池和第二存储池上对象信息在多项操作下的动态更新，从而提高对象操作的准确性。

示例性的，本实施例根据用户需求对于所存储的第一类对象会存在相应的写入、读取、删除和修改等多项操作，以下对于本实施例中第一类对象的每一操作过程进行解释说明：

1)如果接收到对第一类对象的写入请求，则将本次写入的第一类对象作为未聚合到第二类对象的第一类对象，直接存储到第一存储池内，并在日志记录池中记录本次写入的第一类对象的写入日志。

如果通过对象存储网关接收到对第一类对象的写入请求，则首先将本次写入的第一类对象作为未聚合到第二类对象的第一类对象，直接存储到第一存储池内，并在日志记录池中对应记录本次写入的第一类对象的写入日志，以便后续通过定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志，本次写入的第一类对象的写入日志则会被回放，进而将本次写入的第一类对象聚合到第二存储池内的第二类对象中。

2)如果接收到对第一类对象的读取请求，则在第一存储池内读取本次读取的第一类对象的内容数据；如果在第一存储池内读取出的内容数据为空，则在第一存储池内查找出本次读取的第一类对象与所聚合到的第二类对象之间的聚合映射关系，并根据该聚合映射关系在第二存储池内的本次读取的第一类对象所聚合到的第二类对象中继续读取本次读取的第一类对象的内容数据。

如果通过对象存储网关接收到第一类对象的读取请求，则由于第一存储池内会存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，因此首先在第一存储池内读取本次读取的第一类对象的内容数据，如果能够读取出该第一类对象的内容数据，则说明本次读取的第一类对象还未聚合到第二存储池内的第二类对象中，进而直接将所读取的内容数据反馈给用户；而如果在第一存储池内读取出的内容数据为空，则说明本次读取的第一类对象已经聚合到第二存储池内的第二类对象中，因此需要在第一存储池内查找出本次读取的第一类对象与所聚合到的第二类对象之间的聚合映射关系，如第一类对象在所聚合到的第二类对象中的偏移位置以及该第一类对象的数据长度等，进而根据该聚合映射关系在第二存储池内查找出本次读取的第一类对象所聚合到的第二类对象，并在该第二类对象的相应偏移位置下继续读取出相应数据长度的内容数据，作为本次读取的第一类对象的内容数据。

3)如果接收到对第一类对象的删除请求，且本次删除的第一类对象为未聚合到第二类对象的第一类对象，则在第一存储池内删除本次删除的第一类对象，并在日志记录池中删除本次删除的第一类对象的写入日志；如果接收到第一类对象的删除请求，且本次删除的第一类对象为已聚合到第二类对象的第一类对象，则在第一存储池内删除本次删除的第一类对象与所聚合到的第二类对象之间的聚合映射关系，并在第二存储池内更新本次删除的第一类对象所聚合到的第二类对象的可回收容量。

如果通过对象存储网关接收到第一类对象的删除请求，且本次删除的第一类对象为未聚合到第二类对象的第一类对象，则说明本次读取的第一类对象存储在第一存储池内，在日志记录池中记录有本次删除的第一类对象的写入日志或者修改日志，以便后续定期回放日志时能够将该第一类对象聚合到第二类对象中，因此本实施例直接在第一存储池内删除本次删除的第一类对象的内容数据，同时为了避免后续定期回放日志时对本次删除的第一类对象进行聚合而导致聚合出错，还会在日志记录池中删除本次删除的第一类对象的写入日志或者修改日志，使得后续不会回放已经删除的第一类对象的写入日志或修改日志，从而保证第一类对象的聚合准确性。但是，如果通过对象存储网关接收到第一类对象的删除请求，且本次删除的第一类对象为已聚合到第二类对象的第一类对象，则说明本次删除的第一类对象存储在第二存储池内的第二类对象中，在日志记录池中已经回放过本次删除的第一类对象的写入日志或修改日志，不会再次回放，因此仅需要在第一存储池内删除本次删除的第一类对象与所聚合到的第二类对象之间的聚合映射关系即可，而无需在第二存储池内本次删除的第一类对象所聚合到的第二类对象中删除该第一类对象的内容数据，会通过对象存储网关上配置的回收进程来通过检测第二存储池内的每个第二类对象的可回收容量来统一执行相应的回收操作，为了保证回收准确性，仅需要在第二存储池内更新本次删除的第一类对象所聚合到的第二类对象的可回收容量，也就是在原有的可回收容量的基础上，再加上本次删除的第一类对象的数据长度，后续在第二类对象的可回收容量超出预设回收上限时进行相应的回收，将可回收容量超出预设回收上限的目标第二类对象所聚合的多个有效第一类对象重新写入到第一存储池中，并删除第一存储池内多个有效第一类对象与目标第二类对象之间的聚合映射关系，以及第二存储池内的目标第二类对象。

4)如果接收到对第一类对象的修改请求，且本次修改的第一类对象为未聚合到第二类对象的第一类对象，则更新第一存储池内本次修改的第一类对象的内容数据，同时在日志记录池中记录本次修改的第一类对象的修改日志，并删除本次修改的第一类对象的写入日志；如果接收到第一类对象的修改请求，且本次修改的第一类对象为聚合到第二类对象的第一类对象，则在第一存储池内直接写入本次修改后的第一类对象，并在将本次修改后的第一类对象聚合到第二类对象中时，在第一存储池内删除本次修改前的第一类对象与所聚合到的第二类对象之间的聚合映射关系。

如果通过对象存储网关接收到第一类对象的修改请求，且本次修改的第一类对象为未聚合到第二类对象的第一类对象，则说明本次读取的第一类对象存储在第一存储池内，在日志记录池中记录有本次删除的第一类对象的写入日志，因此可以直接更新第一存储池内本次修改的第一类对象的内容数据，同时为了避免后续定期回放日志时对本次修改的第一类对象最初写入的内容数据进行聚合而导致聚合出错，还会在日志记录池中记录本次修改的第一类对象的修改日志，并删除本次修改的第一类对象的写入日志，以便后续仅回放本次修改的第一类对象的修改日志，不再回放本次修改的第一类对象修改前的写入日志，从而保证本次修改的第一类对象在后续聚合时的所聚合的内容数据的准确性。但是，如果通过对象存储网关接收到第一类对象的修改请求，且本次修改的第一类对象为聚合到第二类对象的第一类对象，则说明本次修改的第一类对象存储在第二存储池内的第二类对象中，在日志记录池中已经回放过本次修改的第一类对象的写入日志，不会再次回放，因此仅需要在第一存储池内直接写入本次修改后的第一类对象，由于读取第一类对象时，会首先在第一存储池内读取对应的内容数据，如果可以读取到内容数据，就不会再关注该第一类对象与第二类对象之间的聚合映射关系，因此本实施例即使在第一存储池内写入本次修改后的第一类对象，而不删除第一存储池内已经存储的该第一类对象在修改前的内容数据与所聚合到的第二类对象之间的聚合映射关系时，也能保证本次修改的第一类对象的读取准确性，因此在第一存储池内写入本次修改后的第一类对象时，无需删除第一存储池内已经存储的该第一类对象在修改前的内容数据与所聚合到的第二类对象之间的聚合映射关系，而需要将本次修改的第一类对象的修改日志记录到日志记录池中，以便后续定期回放日志时，能够根据该修改日志将本次修改后的第一类对象重新聚合到第二存储池内的第二类对象中，在将本次修改后的第一类对象聚合到第二类对象中时，才需要在第一存储池内删除本次修改前的第一类对象与所聚合到的第二类对象之间的聚合映射关系，进而将本次修改后的第一类对象与所聚合到的第二类对象之间的聚合映射关系存储到第一存储池中，从而保证第一类对象在修改后的读取准确性。

本实施例提供的技术方案，直接在对象存储平台的内部存储空间上采用固态磁盘技术构建出第一存储池，采用常规磁盘技术构建出第二存储池，第一存储池的数据读取性能远高于第二存储池的数据读取性能，在第一存储池内存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，在第二存储池内存储第一类对象聚合后的第二类对象，无需借助第三方存储系统来存储第一类对象与第二类对象之间的聚合映射关系，调整了第一类对象的存储结构，提高了未聚合到第二类对象的第一类对象的读取性能；同时，对象存储网关能够定期将第一存储池内未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，实现第一类对象到第二类对象之间的动态聚合，防止第一存储池内未聚合到第二类对象的第一类对象的过度存储，提高第一存储池的存储性能；同时通过回收进程实时检测第二存储池内每个第二类对象的可回收容量，保证所删除的第一类对象的存储空间可以及时被回收，避免所删除的第一类对象所聚合的第二类对象上的存储空间浪费。

实施例五

图5为本申请实施例五提供的一种对象聚合装置的结构示意图，设置于上述实施例提供的对象存储平台中，如图5所示，该装置可以包括：

对象查找模块510，设置为定期在第一存储池内查找出未聚合到第二类对象的第一类对象；对象聚合模块520，设置为将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在第一存储池内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系；其中，第一存储池为在对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，存储有未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，第二存储池为在对象存储平台的内部存储空间上采用常规磁盘技术构建出的存储空间，存储有第一类对象聚合后的第二类对象。

本实施例提供的对象聚合装置可适用于上述任意实施例提供的对象聚合方法，具备相应的功能和效果。

实施例六

图6为本申请实施例六提供的一种服务器的结构示意图，如图6所示，该服务器包括处理器60、存储装置61和通信装置62；服务器中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；服务器中的处理器60、存储装置61和通信装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。

本实施例提供的一种服务器可设置为执行上述任意实施例提供的对象聚合方法，具备相应的功能和效果。

实施例七

本申请实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的对象聚合方法。该方法可以包括如下步骤：定期在第一存储池内查找出未聚合到第二类对象的第一类对象；将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在第一存储池内将本次聚合的第一类对象更换为该第一类对象与所聚合到的第二类对象之间的聚合映射关系；其中，第一存储池为在对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，存储有未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，第二存储池为在对象存储平台的内部存储空间上采用常规磁盘技术构建出的存储空间，存储有第一类对象聚合后的第二类对象。

本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本申请任意实施例所提供的对象聚合方法中的相关操作。

Claims

一种对象存储平台，包括：对象存储网关、第一存储池和第二存储池；其中，

所述第一存储池为在所述对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，设置为存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系；

所述第二存储池为在所述对象存储平台的内部存储空间上采用设定磁盘技术构建出的存储空间，设置为存储由多个第一类对象聚合后的第二类对象；其中，所述第一存储池所支持的数据读写性能高于所述第二存储池所支持的数据读写性能；

所述对象存储网关设置为定期将所述第一存储池内未聚合到第二类对象的第一类对象聚合到所述第二存储池内的第二类对象中，并在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系。
根据权利要求1所述的对象存储平台，其中，所述第二存储池内的第二类对象由所聚合的每个第一类对象的映射标签、属性标签、内容数据和校验标签组成。
根据权利要求1所述的对象存储平台，其中，所述对象存储网关上配置有查找进程和至少一个聚合进程；其中，

所述对象存储网关设置为通过所述查找进程定期在所述第一存储池内查找出未聚合到第二类对象的第一类对象，并记录到对应的所述对象存储网关的聚合分片中；

所述对象存储网关设置为通过所述至少一个聚合进程并发读取所述聚合分片中记录的未聚合到第二类对象的第一类对象，并将读取出的第一类对象聚合到所述第二存储池内的第二类对象中，同时在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系。
根据权利要求1所述的对象存储平台，还包括日志记录池，设置为记录所述第一类对象的写入日志和修改日志，并标记聚合检查点日志；

所述对象存储网关还设置为定期回放所述日志记录池中位于所述聚合检查点日志之后的多个写入日志和修改日志，其中，所述聚合检查点日志为上次回放中被回放的最后一个日志；将每一被回放的日志面向的第一类对象作为未聚合到第二类对象的第一类对象，并根据本次聚合状态，在所述日志记录池内重新标记所述聚合检查点日志。
根据权利要求1所述的对象存储平台，其中，所述第二存储池还设置为记录所述第二类对象的聚合上限；

所述对象存储网关设置为在将所述第一存储池内未聚合到第二类对象的第一类对象聚合到所述第二存储池内的当前第二类对象中，且所述第二存储池内所述当前第二类对象中已聚合的第一类对象的聚合容量大于或等于所述聚合上限的情况下，将所述第二存储池内的下一第二类对象作为新的当前第二类对象，将本次聚合中除当前已聚合的第一类对象外的第一类对象聚合到所述新的当前第二类对象中。
根据权利要求1-5中任一项所述的对象存储平台，其中，所述对象存储网关上配置有回收进程，所述第二存储池还设置为记录每个第二类对象的可回收容量；其中，

所述对象存储网关还设置为通过所述回收进程实时在所述第二存储池内查找出可回收容量超出预设回收上限的目标第二类对象，将所述目标第二类对象所聚合的多个第一类对象中未删除的多个有效第一类对象重新写入到所述第一存储池中，并删除所述第一存储池内所述多个有效第一类对象与所述目标第二类对象之间的聚合映射关系，以及所述第二存储池内的所述目标第二类对象。
根据权利要求1-5中任一项所述的对象存储平台，还包括索引记录池，设置为记录所述第一类对象的索引分类。
一种对象聚合方法，应用于权利要求1-7中任一项所述的对象存储平台中，包括：

定期在第一存储池内查找出未聚合到第二类对象的第一类对象；

将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系；

其中，所述第一存储池为在所述对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，设置为存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，所述第二存储池为在所述对象存储平台的内部存储空间上采用设定磁盘技术构建出的存储空间，设置为存储由多个第一类对象聚合后的第二类对象；所述第一存储池所支持的数据读写性能高于所述第二存储池所支持的数据读写性能。
根据权利要求8所述的方法，其中，所述定期在第一存储池内查找出未聚合到第二类对象的第一类对象，包括：

定期回放日志记录池中位于聚合检查点日志之后的多个写入日志和修改日志，其中，所述聚合检查点日志为上次回放中被回放的最后一个日志；

将每一被回放的日志面向的第一类对象作为未聚合到第二类对象的第一类对象。
根据权利要求9所述的方法，在所述将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中之后，还包括：

根据本次聚合状态，在所述日志记录池内的多个写入日志和修改日志中重新标记所述聚合检查点日志。
根据权利要求8所述的方法，其中，所述将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，包括：

针对所述第一存储池内未聚合到第二类对象的每一第一类对象，在所述第二存储池内当前第二类对象中已聚合的第一类对象的聚合容量小于聚合上限的情况下，直接在所述当前第二类对象内追加所述每一第一类对象；在所述第二存储池内当前第二类对象中已聚合的第一类对象的聚合容量不小于聚合上限的情况下，将所述第二存储池内的下一第二类对象作为新的当前第二类对象，在新的当前第二类对象内追加所述每一第一类对象。
根据权利要求8所述的方法，还包括：

实时检测所述第二存储池内每个第二类对象的可回收容量，将所述可回收容量超出预设回收上限的目标第二类对象所聚合的多个有效第一类对象重新写入到所述第一存储池中，并删除所述第一存储池内所述多个有效第一类对象与所述目标第二类对象之间的聚合映射关系，以及所述第二存储池内的所述目标第二类对象。
根据权利要求12所述的方法，其中，所述将所述可回收容量超出预设回收上限的目标第二类对象所聚合的多个有效第一类对象重新写入到所述第一存储池中，包括：

在所述第一存储池中查找所述目标第二类对象所聚合的每一第一类对象与所述目标第二类对象之间的聚合映射关系；

将所述聚合映射关系为非空的第一类对象作为所述目标第二类对象所聚合的有效第一类对象重新写入到所述第一存储池中。
根据权利要求8所述的方法，还包括：

在接收到对所述第一类对象的操作请求的情况下，更新所述操作请求在所述第一存储池和所述第二存储池下指向的对象信息。
根据权利要求14所述的方法，其中，所述在接收到对第一类对象的操作请求的情况下，更新所述操作请求在所述第一存储池和所述第二存储池下指向的对象信息，包括：

在接收到对所述第一类对象的写入请求的情况下，将本次写入的第一类对象作为未聚合到第二类对象的第一类对象，直接存储到所述第一存储池内。
根据权利要求15所述的方法，在所述将本次写入的第一类对象作为未聚合到第二类对象的第一类对象，直接存储到所述第一存储池内之后，还包括：

在日志记录池中记录本次写入的第一类对象的写入日志。
根据权利要求14所述的方法，其中，所述在接收到对第一类对象的操作请求的情况下，更新所述操作请求在所述第一存储池和所述第二存储池下指向的对象信息，包括：

在接收到对所述第一类对象的读取请求的情况下，在所述第一存储池内读取本次读取的第一类对象的内容数据；

在所述第一存储池内读取出的内容数据为空的情况下，在所述第一存储池内查找出本次读取的第一类对象与所聚合到的第二类对象之间的聚合映射关系，并根据读取的聚合映射关系在所述第二存储池内的本次读取的第一类对象所聚合到的第二类对象中读取本次读取的第一类对象的内容数据。
根据权利要求14所述的方法，其中，所述在接收到对第一类对象的操作请求的情况下，更新所述操作请求在所述第一存储池和所述第二存储池下指向的对象信息，包括：

在接收到对所述第一类对象的删除请求，且本次删除的第一类对象为未聚合到第二类对象的第一类对象的情况下，在所述第一存储池内删除本次删除的第一类对象，并在日志记录池中删除本次删除的第一类对象的写入日志；

在接收到对所述第一类对象的删除请求，且本次删除的第一类对象为已聚合到第二类对象的第一类对象的情况下，在所述第一存储池内删除本次删除的第一类对象与所聚合到的第二类对象之间的聚合映射关系，并在所述第二存储池内更新本次删除的第一类对象所聚合到的第二类对象的可回收容量。
根据权利要求14所述的方法，其中，所述在接收到对第一类对象的操作请求的情况下，更新所述操作请求在所述第一存储池和所述第二存储池下指向的对象信息，包括：

在接收到对所述第一类对象的修改请求，且本次修改的第一类对象为未聚合到第二类对象的第一类对象的情况下，更新所述第一存储池内本次修改的第一类对象的内容数据；

在接收到对所述第一类对象的修改请求，且本次修改的第一类对象为聚合到第二类对象的第一类对象的情况下，在所述第一存储池内直接写入本次修改后的第一类对象，并在将本次修改后的第一类对象聚合到第二类对象中的情况下，在所述第一存储池内删除本次修改前的第一类对象与所聚合到的第二类对象之间的聚合映射关系。
根据权利要求19所述的方法，在更新所述第一存储池内本次修改的第一类对象的内容数据之后，还包括：

在日志记录池中记录本次修改的第一类对象的修改日志，并删除本次修改的第一类对象的写入日志。
一种对象聚合装置，设置于权利要求1-7中任一项所述的对象存储平台中，包括：

对象查找模块，设置为定期在第一存储池内查找出未聚合到第二类对象的第一类对象；

对象聚合模块，设置为将未聚合到第二类对象的第一类对象聚合到第二存储池内的第二类对象中，并在所述第一存储池内将本次聚合的第一类对象更换为所述本次聚合的第一类对象与所聚合到的第二类对象之间的聚合映射关系；

其中，所述第一存储池为在所述对象存储平台的内部存储空间上采用固态磁盘技术构建出的存储空间，设置为存储未聚合到第二类对象的第一类对象，以及已聚合到第二类对象的第一类对象与所聚合到的第二类对象之间的聚合映射关系，所述第二存储池为在所述对象存储平台的内部存储空间上采用设定磁盘技术构建出的存储空间，设置为存储由多个第一类对象聚合后的第二类对象；所述第一存储池所支持的数据读写性能高于所述第二存储池所支持的数据读写性能。
一种服务器，包括：

至少一个处理器；

存储装置，设置为存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求8-20中任一项所述的对象聚合方法。
一种计算机可读存储介质，存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求8-20中任一项所述的对象聚合方法。