WO2021027541A1

WO2021027541A1 - 一种重复数据的删除方法及装置

Info

Publication number: WO2021027541A1
Application number: PCT/CN2020/104846
Authority: WO
Inventors: 任仁; 王晨; 郭平静
Original assignee: 华为技术有限公司
Priority date: 2019-08-14
Filing date: 2020-07-27
Publication date: 2021-02-18
Also published as: CN110618789B; EP4016276A4; US20220164316A1; EP4016276A1; CN110618789A

Abstract

一种重复数据的删除方法及装置，在该方法中，首先获取包含多个指纹记录项的指纹记录，然后从该指纹记录中确定出包括同一指纹的至少两个第一指纹记录项，例如，该至少两个第一指纹记录项中均包括第一指纹，从而将该至少两个第一指纹记录项中的该第一指纹对应的数据进行重复数据删除操作，删除该至少两个第一指纹记录项，以及，在该指纹记录中记录该第一指纹的存根，通过该第一指纹的存根指示该第一指纹为重复指纹。由于在指纹记录中增加与重复指纹对应的存根，这样，可以直接通过该存根来确定出该指纹记录项中包括的指纹是重复指纹，从而可以较快地确定出重复指纹，并进行重复数据删除操作，可以提高重复数据删除技术的效率。

Description

一种重复数据的删除方法及装置

技术领域

本申请涉及存储技术领域，尤其涉及一种重复数据的删除方法及装置。

背景技术

随着技术的发展，越来越多的数据需要使用存储系统进行存储。为了节省存储系统的存储空间，提出了重复数据删除技术，即，若某个数据在存储系统中存储多份，则将该多份数据删除而只保存一份数据，从而通过缩减数据实现减少数据所占用的存储空间的目的。

目前，其中一种重复数据删除技术的实现过程为：首先，计算每个数据的指纹，存储数据，记录指纹与数据的存储地址的映射。将存储的数据作为待重复数据删除的数据进行批量的重复数据删除。对存储的重复数据进行批量的重复数据删除包括：查询存储的数量在指纹表中是否有相同的指纹，如果有相同的指纹则判定该数据为重复数据，否则认为是唯一数据。并且删除前面的数据的指纹与存储地址的映射。可见，目前的重复数据删除技术是要在指纹表查找所有待重复的数据的指纹才能够判断是否是重复数据，造成重复数据删除效率低。

发明内容

本申请提供一种重复数据的删除方法及装置，用以提高重复数据删除技术的效率。

第一方面，提供一种重复数据的删除方法，在该方法中，首先获取包含多个指纹记录项的指纹记录，其中，每个指纹记录项中包含指纹和与该指纹对应的数据的存储地址，若两个数据相同，但是存储在不同的存储地址，则会对这两个数据分别生成不同的指纹记录项，这两个指纹记录项中包括相同的指纹但是与指纹对应的存储地址不同。在获取该指纹记录后，则从该指纹记录中确定出包括同一指纹的至少两个第一指纹记录项，例如，该至少两个第一指纹记录项中均包括第一指纹，从而将该至少两个第一指纹记录项中的该第一指纹对应的数据进行重复数据删除操作，删除该至少两个第一指纹记录项，以及，在该指纹记录中记录该第一指纹的存根，通过该第一指纹的存根指示该第一指纹为重复指纹。

在上述技术方案中，由于在指纹记录中增加与重复指纹对应的存根，这样，可以直接通过该存根来确定出该指纹记录项中包括的指纹是重复指纹，而不用像现有技术中要在指纹表查找所有待重复的数据的指纹才能够判断是否是重复数据，从而本申请可以较快地确定出重复指纹，并对与重复指纹对应的数据进行重复数据删除操作，可以提高重复数据删除技术的效率。

在一种可能的设计中，当存储系统中写入新的数据，则指纹记录中会记录与该新的数据对应的指纹记录项，作为一种示例，将该新的数据对应的指纹记录项记为第二指纹记录项，该第二指纹记录项包含该第一指纹以及该新的数据的存储地址。由于第一指纹的存根指示该第一指纹为重复指纹，而第二指纹记录项中包括该第一指纹，因此，确定第二指纹记录项中的第一指纹为重复指纹，从而对该新的数据进行重复数据删除操作。

在上述技术方案中，当存储系统中存储新的数据后，可以将该新的数据对应的指纹与该存根进行比较，若该新的数据对应的指纹与该存根指示的指纹相同，则可以对该新的数据进行重复数据删除操作，从而无需查询指纹表便可以对数据进行重复删除操作，节省了查询指纹表的过程，可以提高重复数据删除技术的效率。

在一种可能的设计中，当删除与第二指纹记录项对应的新写入的数据后，则可以删除该第二指纹记录项。

在上述技术方案中，将无效的指纹记录删除可以减小指纹记录所占用的存储空间，可以提高存储空间的利用率。

在一种可能的设计中，在指纹记录所占用的存储空间大于或等于第一门限时，则可以删除指纹记录表中的第三指纹记录项，该第三指纹记录项包括的指纹与该指纹记录中其他指纹记录项包括的指纹均不同。也就是说，删除指纹记录中落单的指纹记录项。

在上述技术方案中，随着写入存储系统中的数据越来越多，则指纹记录所占用的存储空间越来越大，其所占用的存储空间需要一定时长才会大于或等于第一门限。若某一个指纹记录项在该时长内落单，则说明重复存储与该指纹对应的数据的概率很小，且该指纹记录项需要等待更长的时间才可以进行重复数据删除操作，从而可以直接将该指纹记录项删除，以节省指纹记录所占用的存储空间。

在一种可能的设计中，在该指纹记录所占用的存储空间大于或等于第一门限时，则可以删除第四指纹记录项，该第四指纹记录项保存在该指纹记录中的时长大于或等于第二门限。也就是说，删除指纹记录中写入时间较早的指纹记录项。

在上述技术方案中，若数据已经被覆盖，则该数据不会在存储系统中重复存储，也就没有必要对该数据进行重复数据删除操作。而指纹记录项写入指纹记录的时间越早，则说明该与该指纹记录项对应的数据被新的数据覆盖的可能性越大，从而可以将该指纹记录中写入较早的指纹记录项删除，节省指纹记录所占用的存储空间。

在一种可能的设计中，在指纹记录所占用的存储空间大于或等于第一门限时，则可以删除指纹记录表中的第五指纹记录项，该指纹记录在预定的时间内未记录预定数量的第五指纹记录项。也就是说，删除指纹记录中出现次数较少的指纹记录项。

在上述技术方案中，若某一个指纹记录项在预定的时间内出现的次数较少，则说明重复存储与该指纹对应的数据的概率较小，从而可以直接将该指纹记录项删除，以节省指纹记录所占用的存储空间。

在一种可能的设计中，若指纹记录中记录第二指纹的存根，第二指纹的存根用于指示所述第二指纹为重复指纹，则在该指纹记录所占用的存储空间大于或等于第一门限时，可以确定该指纹记录在预定的时间内是否记录预定数量的包含该第二指纹的第三指纹记录项，若该指纹记录在该预定的时间内未记录该第二预定数量的第三指纹记录项，则删除该指纹记录中的第二指纹的存根。

在上述技术方案中，若在指纹记录中记录某一个指纹的存根后，指纹记录在后续记录中，记录的与该指纹对应的指纹记录项较少，则说明通过该指纹的存根确定出重复指纹的次数较少，也就是说，该指纹的存根对确定重复指纹的贡献较少，从而可以删除该指纹的存根，以节省指纹记录所占用的存储空间。

在本申请实施例中，不对第一门限、第二门限、预定数量以及预定的时间进行限制。

第二方面，提供一种重复数据的删除装置，该重复数据的删除装置可以是存储服务端，也可以是存储服务端中的装置。该重复数据的删除装置包括处理器，用于实现上述第一方面描述的方法。该重复数据的删除装置还可以包括存储器，用于存储程序指令和数据。该存储器与该处理器耦合，该处理器可以调用并执行该存储器中存储的程序指令，用于实现上述第一方面描述的方法中的任意一种方法。该重复数据的删除装置还可以包括通信接口，该通信接口用于该重复数据的删除装置与其它设备进行通信。示例性地，该其它设备为存储系统中的客户端。

在一种可能的设计中，该重复数据的删除装置包括处理器和通信接口，其中：

该通信接口，用于获取指纹记录，该指纹记录中包含多个指纹记录项，每个指纹记录项包含指纹；

该处理器，用于从该指纹记录中确定至少两个第一指纹记录项；其中，每个第一指纹记录项包含第一指纹和该第一指纹对应的数据的存储地址；该至少两个第一指纹记录项的该第一指纹对应的数据的存储地址均不同；以及，

对该至少两个第一指纹记录项中的该第一指纹对应的数据进行重复数据删除操作；以及，

删除该至少两个第一指纹记录项；以及，

在该指纹记录中记录该第一指纹的存根；其中，该第一指纹的存根用于指纹该第一指纹为重复指纹。

在一种可能的设计中，该处理器还用于：

在该指纹记录中记录第二指纹记录项；该第二指纹记录项包含该第一指纹以及该第一指纹对应的数据的新的存储地址；其中，该第二指纹记录项中的该第一指纹对应的数据为新写入的数据；

根据该第一指纹的存根确定该第二指纹记录项中的该第一指纹为重复指纹；

对该新写入的数据进行重复数据删除操作。

在一种可能的设计中，该处理器还用于：

删除该第二指纹记录项。

在一种可能的设计中，该处理器还用于：

在该指纹记录所占用的存储空间大于或等于第一门限时，删除第三指纹记录项，该第三指纹记录项包括的指纹与该指纹记录中其他指纹记录项包括的指纹均不同。

在一种可能的设计中，该处理器还用于：

在该指纹记录所占用的存储空间大于或等于第一门限时，删除第四指纹记录项，该第四指纹记录项保存在该指纹记录中的时长大于或等于第二门限。

在一种可能的设计中，该处理器还用于：

在指纹记录所占用的存储空间大于或等于第一门限时，则删除指纹记录表中的第五指纹记录项，该指纹记录在预定的时间内未记录预定数量的第五指纹记录项。

在一种可能的设计中，该处理器还用于：

在该指纹记录所占用的存储空间大于或等于第一门限时，确定该指纹记录在预定的时间内是否记录预定数量的第三指纹记录项；

当该指纹记录在该预定的时间内未记录该预定数量的第三指纹记录项时，删除该指纹记录中的第二指纹的存根；其中，该第二指纹的存根用于指纹该第二指纹为重复指纹；该第三指纹记录项包含该第二指纹。

第三方面，提供一种重复数据的删除装置，该重复数据删除装置可以是存储服务端，也可以是存储服务端中的装置，该重复数据删除装置可以包括处理模块和通信模块，这些模块可以执行上述第一方面任一种设计示例中的所执行的相应功能，具体的：

该通信模块，用于获取指纹记录，该指纹记录中包含多个指纹记录项，每个指纹记录项包含指纹；

该处理模块，用于从该指纹记录中确定至少两个第一指纹记录项；其中，每个第一指纹记录项包含第一指纹和该第一指纹对应的数据的存储地址；该至少两个第一指纹记录项的该第一指纹对应的数据的存储地址均不同；以及，

删除该至少两个第一指纹记录项；以及，

第四方面，本申请实施例中还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面及第一方面任一种设计中的方法。

第五方面，本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行第一方面及第一方面任一种设计中的方法。

第六方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现第一方面及第一方面任一种设计中的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

第七方面，本申请实施例提供了一种存储系统，该存储系统包括存储设备以及第二方面及第二方面任一种设计中所述的重复数据的删除装置，或者，该存储系统包括存储设备以及第三方面及第三方面任一种设计中所述的重复数据的删除装置。

上述第二方面至第六方面及其实现方式的有益效果可以参考对第一方面的方法及其实现方式的有益效果的描述。

附图说明

图1为本申请实施例提供的存储系统的一种示例的架构图；

图2为本申请实施例提供的一种重复数据的删除方法的流程图；

图3为本申请实施例中进行重复数据删除操作之前的指纹记录和进行重复数据删除操作之后的指纹记录的一种示例的示意图；

图4～图5为本申请实施例中进行重复数据删除操作之前的指纹记录和进行重复数据删除操作之后的指纹记录的另一种示例的示意图；

图6～图10为本申请实施例中根据指纹的存根删除指纹记录项的示例的示意图；

图11为本申请实施例中提供的重复数据的删除装置的一种示例的结构图；

图12为本申请实施例中提供的重复数据的删除装置的另一种示例的结构图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。

下面对本申请所涉及的技术术语进行说明，以便于本领域技术人员理解本申请的技术方案。

1)重删技术，按照执行重删操作的时刻，可以分为在线重删方式和后重删方式。其中，在线重删方式是指，在将存储系统的缓存中的数据存储到存储设备之前进行重删操作，然后将进行重删操作后的数据存储到存储设备中。后重删方式是指，计算缓存中的数据的指纹，将缓存中的数据存储到存储设备后，记录数据的指纹与存储地址的映射，在预设时间段(例如，在存储系统空闲时)读取映射，根据映射中的指纹对数据进行重删操作，并将进行重删操作后的数据存储到存储设备的重复数据删除区域中。需要说明的是，本申请实施例中的技术方案是针对后重删方式进行的改进。

2)指纹表，用于记录重复数据删除后的唯一数据的指纹与该唯一数据在重复数据删除区域的存储地址的映射。重复数据删除区域是指存储系统中用于存储重复数据删除后的唯一数据的存储区域。

3)本申请实施例中“多个”是指两个或两个以上，鉴于此，本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”，可理解为一个或多个，例如理解为一个、两个或更多个。例如，包括至少一个，是指包括一个、两个或更多个，而且不限制包括的是哪几个，例如，包括A、B和C中的至少一个，那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。

下面，结合附图对本申请实施例提供的重复数据的删除方法进行说明。

请参考图1，为本申请实施例中的方法所适用的存储系统的一种示例的架构图。在图1中以该存储系统为分布式存储系统为例。

在图1中，存储系统100包括1个服务端110和3个存储节点120(分别为存储节点1～存储节点3)，每个存储节点120包括至少一个存储设备，该存储设备，例如可以包括串行高级技术附件(serial advanced technology attachment，SATA)硬盘、小型计算机系统接口(small computer system interface，SCSI)硬盘、串行连接SCSI接口(serial attached SCSI，SAS)、光纤通道接口(fibre channel，FC)硬盘、机械硬盘(hard disk drive，HDD)以及固态硬盘(solid state drive，SSD)等。

请参考图2，为重复数据的删除方法的流程图。在下面的描述中，将以该方法应用在如图1所示的存储系统为例进行说明。该流程图的描述如下：

S201、存储系统获取指纹记录。

每一条指纹记录项包含指纹与该指纹对应的数据的存储地址的映射。在后重复数据删除操作中，存储系统接收数据，计算数据的指纹，存储数据，生成指纹记录项，在预设时间段(例如，在存储系统空闲时)对存储的数据进行重复数据删除。指纹记录项包含数据的指纹与数据的存储地址的映射。

具体实现中，可以使用日志的形式记录指纹记录，或者使用表项的形式记录指纹记录，本申请实施例对此不作限定。

作为一种示例，请参考图3，假设存储系统存储了10个数据，指纹记录中包含这10个数据的指纹记录项，如图3(a)所示。在图3(a)中，与数据对应的指纹记录项包括三个部分，分别为编号、指纹(finger print，FP)以及令牌(token)。编号可以指示指纹记录项的生成顺序，token来指示该数据的存储地址等信息。本申请实施例中，指纹记录项中的编号作为一种示例性的实现，用于表示指纹记录项的顺序。在另一种实现中也可以不使用编号，基于指纹记录项的生成时间排序。

需要说明的是，在存储系统为分布式存储系统的场景中，存储系统获取指纹记录具体为存储系统的服务端获取指纹记录。在存储系统为其他场景时，获取该指纹记录的也可以是其他装置或设备，例如，在存储系统为为存储阵列的场景中，存储系统获取指纹记录具体为存储阵列的阵列控制器获取指纹记录。

S202、存储系统对指纹记录进行排序。

具体来讲，存储系统可以按照指纹记录项中的FP从小到大的顺序，将指纹记录中的指纹记录项进行排序。这样，具有相同的指纹的指纹记录项排列在一起。例如，在图3(a)中包括5个不同的指纹，分别为FP_0～FP_4，其中，包括3个FP_1，4个FP_4，按照FP的从小到大排序后，得到如图3(b)所示的指纹记录。

S203、存储系统从指纹记录中确定重复指纹。

存储系统根据重复指纹的门限值从指纹记录中确定重复的指纹。这样，存储系统根据排序后的指纹记录，确定包括包含同一指纹的指纹记录项出现的次数是否大于或等于该门限值，若大于该门限值，则确定该这一指纹是重复指纹。

若某一个指纹为重复指纹，则说明包含该同一指纹的指纹记录项中的存储地址中存储的数据是重复数据。

作为一种示例，该门限值可以为3。在图3(b)所示的指纹记录中，有3个指纹记录项包括FP_1，以及，有4个指纹记录项包括FP_4，从而确定FP_1和FP_4为重复指纹。

S204、存储系统对指纹记录项中确定为重复指纹的指纹对应的数据进行重复数据删除。

仍然以图3(b)所示的指纹记录为例进行说明，FP_1和FP_4为重复指纹。即指纹记录有3个FP_1，即有3个数据的指纹均为FP_1；4个FP_4，即有4个数据的指纹均为FP_4。对FP_1和FP_4分别对应的数据进行重复数据删除。一方面，指纹记录中的FP_1和FP_4分别对应的数据本身已经是重复数据，使用FP_1和FP_4分别对应的数据查询指纹表，即使在指纹表中查找不到FP_1和FP_4分别对应的数据，仍然可以对指纹记录中的FP_1和 FP_4分别对应的数据本身进行重复数据删除操作，可以提高重复数据删除效率。具体实现，当在指纹表中查找到指纹FP_1，则表明存储系统中已经存储的指纹FP_1对应的唯一数据。指纹表中记录了指纹FP_1与指纹FP_1对应的唯一数据的存储地址的映射。因此不再需要存储指纹记录中的FP_1对应的数据，只需要建立指纹记录中的FP_1对应的数据的主机访问地址与指纹表中的指纹FP_1的映射即可。当在指纹表中查找不到指纹FP_4，则表明存储系统中没有存储的指纹FP_4对应的唯一数据。从指纹记录中包含指纹FP_4的指纹记录项中选择一个指纹记录，读取该指纹记录中指纹FP_4对应存储地址中的数据，将该数据存储到重复数据删除区域中，得到该数据的新的存储地址，在指纹表中建立指纹FP_4与该新的存储地址的映射。

S205、存储系统从指纹记录中删除包括该重复指纹的指纹记录项。

作为一种示例，在指纹记录中删除包括重复指纹的指纹记录项，例如，删除包含FP_1和FP_4的指纹记录项后，则得到如图3(c)所示的指纹记录。而针对其他指纹记录项，由于这些指纹记录项中的指纹不是重复指纹，从而将这些指纹记录继续保存在该指纹记录中。

上述将指纹记录中指纹的重复次数达到门限值的数据进行重复数据删除，提高了存储系统的重复数据删除率。但如果重复数据删除后，删除指纹记录中包含这些数据对应的指纹的指纹记录项，则再有这些指纹对应的数据写入存储系统，由于指纹记录中不包含这些指纹的指纹记录项，则新写入数据由于其对应的指纹的重复次数达不到门限值而无法进行重复数据删除，为解决这一问题，本申请实施例进一步包括：

S206、存储系统在该指纹记录中记录已经删除的指纹记录项中的指纹的存根。

在本申请实施例中，该已经删除的指纹记录项中的指纹的存根用于指示已经删除的指纹记录项中的指纹为重复指纹。

具体来讲，在图4(a)所示的指纹记录中，重复指纹有3个，分别为FP_1、FP_4以及FP_9，从而，在指纹记录中分别增加与该3个重复指纹对应的存根，即FP_1的存根，FP_4的存根以及FP_9的存根，从而得到如图4(b)所示的指纹记录。在图4(b)中，每个指纹的存根可以作为一个记录项，通过将令牌中的信息更改为stub来指示该记录项为指纹的存根。其中，与FP_1对应的记录项的令牌可以标记为stub_1，与FP_4对应的记录项的令牌可以标记为stub_2，与FP_9对应的记录项的令牌可以标记为stub_3。

S207、存储系统在指纹记录中记录新的指纹记录项。

在本申请实施例中，该新的指纹记录项包含该指纹FP_1以及该FP_1对应的数据的新的存储地址，该新指纹记录项中的指纹FP_1对应的数据为新写入的数据。

存储系统接收新的数据，计算该新数据的指纹，存储该新数据，并生成与该新的数据对应的指纹记录项。

S208、存储系统根据已经删除的指纹记录项中的指纹的存根确定该新的指纹记录项中的指纹为重复指纹。

当指纹记录中记录新的指纹记录项后，将新的指纹记录项与指纹记录中的存根进行比对，确定该新的指纹记录项中的指纹是否与存根对应的指纹相同，若相同，则确定该新的指纹记录项中的指纹是重复指纹，否则，该指纹不是重复指纹，从而等待该指纹的重复次数达到门限后进行重复数据删除操作。

作为一种示例，图4(c)的指纹记录中，新的指纹记录项中记录的新的数据的指纹为FP_1，与指纹FP_1的存根对应的指纹相同。因此，新的数据的指纹为重复指纹。

这样，当存储系统中存储新的数据后，可以将该新的数据对应的指纹与该存根进行比较，若该新的数据对应的指纹与该存根指示的指纹相同，则可以对该新的数据进行重复数据删除操作，无需等待包含新的数据的指纹的重复次数达到门限值，可以提高重复数据删除技术的效率。

S209、存储系统对该新写入的数据进行重复数据删除操作。

新的数据的指纹为重复指纹，则说明存储设备中已经存储了该数据，从而可以直接对该新的数据进行重复数据删除操作。

需要说明的是，对该新写入的业务数据进行重复数据删除时，由于指纹表中已经存储了该指纹，因此，也可以不用查询指纹表，直接建立该新的数据的主机访问地址与指纹FP_1的映射即可，可以减少重删操作的时延。

S210、存储系统删除该新的指纹记录项。

当对新写入的业务数据进行重复删除操作之后，则删除指纹记录中与该新的数据对应的新的指纹记录项，从而得到如图4(d)所示的指纹记录。通过将无效的指纹记录删除可以减小指纹记录所占用的存储空间，可以提高存储空间的利用率。

需要说明的是，新的数据也可能与存储系统中已经存储的数据均不相同。例如，新的数据还包括数据23，计算得到数据23的指纹为FP_8，与业务数据23对应的令牌为token_23，获取如图5(a)所示的指纹记录。由于与业务数据23对应的指纹记录项中包括FP_8，与指纹记录中的任意一个指纹记录项中的指纹均不相同，因此，与业务数据23对应的指纹记录项中包括的指纹不是重复指纹，从而不会对业务数据23进行重复数据删除操作，也不会删除与业务数据23对应的指纹记录项，从而得到如图5(b)所示的指纹记录。

S211、存储系统在指纹记录所占用的存储空间大于或等于第一门限时，删除部分指纹记录项。

在本申请实施例中，指纹记录保存在重删元数据空间中，由于重删元数据空间有限，随着写入存储系统的数据越来越多，则该指纹记录所占用的存储空间可能会超过第一门限，该第一门限可以是重删元数据空间的最大值的80％或者70％等。若指纹记录所占用的存储空间超过该第一门限，请参考图6(a)，则需要删除指纹记录中的部分指纹记录项，或者，也可以理解为淘汰部分指纹记录项。需要说明的是，淘汰或者删除指纹记录项是指，只对指纹记录项进行处理，而不用处理与指纹记录项对应的数据。

在本申请实施例中，删除部分指纹记录项可以包括但不限于如下三种方式。

第一种方式：

删除第三指纹记录项，该第三指纹记录项包括的指纹与指纹记录中其他指纹记录项包括的指纹均不同。也就是说，删除指纹记录中落单的指纹记录项。

若某一个指纹记录项在该时长内落单，则说明重复存储与该指纹对应的数据的概率很小，且该指纹记录项需要等待更长的时间才可以进行重复数据删除操作，从而可以直接将该指纹记录项删除，以节省指纹记录所占用的存储空间。

作为一种示例，在图6(a)中，与FP_0、FP_6、FP_7、FP_8、FP_10等对应的指纹记录项均为与落单的指纹对应的指纹记录项，则可以将这些指纹对应的指纹记录项删除，从而得到如图6(b)所示的指纹记录。

第二种方式：

删除第四指纹记录项，该第四指纹记录项保存在指纹记录中的时长大于或等于第二门限。也就是说，删除指纹记录中写入时间较早的指纹记录项。

由于指纹记录项写入指纹记录的时间越早，则说明该与该指纹记录项对应的数据被新的数据覆盖的可能性越大，若数据已经被覆盖，则该数据不会在存储系统中重复存储，也就没有必要对该数据进行重复数据删除操作，从而可以将该指纹记录中写入较早的指纹记录项删除，节省指纹记录所占用的存储空间。

作为一种示例，若存储系统是顺序写入数据，则数据的存储地址越小，则该数据在存储系统中存储的时间越长，从而与该数据对应的指纹记录项在指纹记录中保存的时间越长。因此，可以通过令牌的取值来确定指纹记录项在指纹记录中保存的时长。该第二门限可以是与指纹记录项中令牌的取值的最大值之间的差值，该差值可以为20或15等。以该差值为20为例，在图7(a)中，令牌的取值的最大值为31，该差值为20，则将该令牌的取值为1～11的指纹记录项删除，从而得到如图7(b)所示的指纹记录。

第三种方式：

删除指纹记录表中的第五指纹记录项，该指纹记录在预定的时间内未记录预定数量的第五指纹记录项。也就是说，删除指纹记录中出现次数较少的指纹记录项。

若某一个指纹记录项在预定的时间内出现的次数较少，则说明重复存储与该指纹对应的数据的概率较小，从而可以直接将该指纹记录项删除，以节省指纹记录所占用的存储空间。

作为一种示例，该预定数量可以为1(或2)，也就是说，删除指纹记录中，出现的次数小于或等于1次(或2次)的指纹对应的指纹记录项。当该预定数量的取值为1时，其结果与第一种方式中相同，当该预定数量的取值为2时，其具体过程可以参照第一种方式，在此不再赘述。

第四种方式：

若指纹记录中记录第二指纹的存根，第二指纹的存根用于指示所述第二指纹为重复指纹，确定该指纹记录在预定的时间内是否记录预定数量的包含该第二指纹的第三指纹记录项，若该指纹记录在该预定的时间内未记录该第二预定数量的第三指纹记录项，则删除该指纹记录中的第二指纹的存根。

若在指纹记录中记录某一个指纹的存根后，指纹记录在后续记录中，记录的与该指纹对应的指纹记录项较少，则说明通过该指纹的存根确定出重复指纹的次数较少，也就是说，该指纹的存根对确定重复指纹的贡献较少，从而可以删除该指纹的存根，以节省指纹记录所占用的存储空间。

作为一种示例，可以在指纹的存根对应的记录项中，记录预设的时间内包括该存根对应的指纹的数量，例如，在令牌中增加number参数，该number参数的取值则预设的时间内包括该存根对应的指纹的数量，例如，number参数的取值为3，则说明在预设的时间内记录了3次包括该存根对应的指纹的指纹记录项，请参考图8(a)。需要说明的是，该number参数的取值每隔该预设的时间会清零，该预设的时间可以是5s或者10s等。若预定数量为3，则若某个存根对应的记录项中number后携带的编号小于3，则可以删除该存储对应的记录项，从而得到如图8(b)所示的指纹记录。

作为另一种示例，可以在指纹的存根对应的记录项中，记录最近一次使用该存根确定出重复指纹的时间。例如，可以记录该存根在第几次排序过程中确定出重复指纹，可以标记为sorted，请参考图9(a)，其中，sorted_1表示使用该存根在上一次排序过程中确定出重复指纹，sorted_2表示使用该存根在距离当前次排序的前2次排序过程中确定出重复指纹，以此类推。若某个存根对应的记录项中sorted后携带的编号大于2，则可以删除该存储对应的记录项，从而得到如图9(b)所示的指纹记录。

第五种方式：

可以将上述第一种方式～第四种方式中的任意两种或更多种方式结合。

作为一种示例，将第一种方式和第二种方式进行结合。在图10(a)中，与FP_0、FP_6、FP_7、FP_8、FP_10、FP_13、FP_16～FP_18对应的指纹记录项均为与落单的指纹对应的指纹记录项，但是，由于FP_10、FP_13、FP_16～FP_18对应的指纹记录保存的时间较短(因为其写入的时间较晚)，从而，只删除与FP_0、FP_6、FP_7、FP_8对应的指纹记录项，保留与FP_10、FP_13、FP_16～FP_18对应的指纹记录，得到如图10(b)所示的指纹记录。

另外，在本申请实施例中，当确定指纹记录所占用的存储空间大于或等于该第一门限后，存储服务端也可以先确定需要删除的指纹记录项的数量，然后则从该指纹记录中删除对应数量的指纹记录项。例如，每个指纹记录项所占用的空间相同，则存储服务端可以确定指纹记录中最多可以存储多少个指纹记录项，例如，最多可以存储30个指纹记录项，则当指纹记录项中的数量达到33个时，可以确定需要删除的指纹记录项为3个，从而根据上述五种方式中的任意一种方式确定需要删除的3个指纹记录项，从而需要确定出3个满足条件的指纹记录项后，则可以将确定的3个指纹记录项删除，而不用遍历整个指纹记录，可以提高效率。

需要说明的是，还可以根据其他方式确定需要删除的指纹记录项，在此不一一举例。

在上述技术方案中，由于在指纹记录中增加与重复指纹对应的存根，这样，可以直接通过该存根来确定出该指纹记录项中包括的指纹是重复指纹，而不用像现有技术中只有等待该指纹重复到一定次数后才能确定，从而可以较快地确定出重复指纹，并对与重复指纹对应的数据进行重复数据删除操作，可以提高重复数据删除技术的效率。

另外，需要说明的是，在图2所示的实施例中，在分布式存储系统场景下是由分布式存储系统的服务端执行的；在存储阵列场景下是由存储阵列的阵列控制器执行的。

上述本申请提供的实施例中，为了实现上述本申请实施例提供的方法中的各功能，存储系统可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

图11示出了一种重复数据的删除装置1100的结构示意图。其中，重复数据的删除装置1100可以用于实现分布式存储系统的服务端的功能，也可以用于实现存储阵列中的阵列控制器的功能。重复数据的删除装置1100可以是硬件结构、软件模块、或硬件结构加软件模块。重复数据的删除装置1100可以由芯片系统实现。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

重复数据的删除装置1100可以包括处理模块1101和通信模块1102。

处理模块1101可以用于执行图2所示的实施例中的步骤S201～步骤S211，和/或用于支持本文所描述的技术的其它过程。

通信模块1102可以用于支持图2所示的实施例中通信系统获取数据，和/或用于支持本文所描述的技术的其它过程。通信模块1102用于重复数据的删除装置1100和其它模块进行通信，其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图11所示的实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

如图12所示为本申请实施例提供的重复数据的删除装置1200，其中，重复数据的删除装置1200可以用于实现分布式存储系统的服务端的功能，也可以用于实现存储阵列中的阵列控制器的功能。其中，该重复数据的删除装置1200可以为芯片系统。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

重复数据的删除装置1200包括至少一个处理器1220，用于实现或用于支持重复数据的删除装置1200实现本申请实施例提供的方法中存储服务端的功能。示例性地，处理器1220可以对新写入的数据进行重复数据删除操作，具体参见方法示例中的详细描述，此处不做赘述。

重复数据的删除装置1200还可以包括至少一个存储器1230，用于存储程序指令和/或数据。存储器1230和处理器1220耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器1220可能和存储器1230协同操作。处理器1220可能执行存储器1230中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。

重复数据的删除装置1200还可以包括通信接口1210，用于通过传输介质和其它设备进行通信，从而用于重复数据的删除装置1200可以和其它设备进行通信。示例性地，该其它设备可以是存储客户端或者存储设备。处理器1220可以利用通信接口1210收发数据。

本申请实施例中不限定上述通信接口1210、处理器1220以及存储器1230之间的具体连接介质。本申请实施例在图12中以存储器1230、处理器1220以及通信接口1210之间通过总线1240连接，总线在图12中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，处理器1220可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

在本申请实施例中，存储器1230可以是非易失性存储器，比如硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本申请实施例中还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行图2所示的实施例中存储服务端执行的方法。

本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行图2所示的实施例中存储服务端执行的方法。

本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现前述方法中存储服务端的功能。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

本申请实施例提供了一种存储系统，该存储系统包括存储设备以及图2所示的实施例中存储服务端。

本申请实施例提供的方法中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，简称DVD))、或者半导体介质(例如，SSD)等。

Claims

一种重复数据的删除方法，其特征在于，包括：

获取指纹记录，所述指纹记录中包含多个指纹记录项，每个指纹记录项包含指纹；

从所述指纹记录中确定至少两个第一指纹记录项；其中，每个第一指纹记录项包含第一指纹和所述第一指纹对应的数据的存储地址；所述至少两个第一指纹记录项的所述第一指纹对应的数据的存储地址均不同；

对所述至少两个第一指纹记录项中的所述第一指纹对应的数据进行重复数据删除操作；

删除所述至少两个第一指纹记录项；

在所述指纹记录中记录所述第一指纹的存根；其中，所述第一指纹的存根用于指示所述第一指纹为重复指纹。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述指纹记录中记录第二指纹记录项；所述第二指纹记录项包含所述第一指纹以及所述第一指纹对应的数据的新的存储地址；其中，所述第二指纹记录项中的所述第一指纹对应的数据为新写入的数据；

根据所述第一指纹的存根确定所述第二指纹记录项中的所述第一指纹为重复指纹；

对所述新写入的数据进行重复数据删除操作。
根据权利要求2所述的方法，其特征在于，所述方法还包括：

删除所述第二指纹记录项。
根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

在所述指纹记录所占用的存储空间大于或等于第一门限时，删除第三指纹记录项，所述第三指纹记录项包括的指纹与所述指纹记录中其他指纹记录项包括的指纹均不同。
根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

在所述指纹记录所占用的存储空间大于或等于第一门限时，删除第四指纹记录项，所述第四指纹记录项保存在所述指纹记录中的时长大于或等于第二门限。
根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

在所述指纹记录所占用的存储空间大于或等于第一门限时，确定所述指纹记录在预定的时间内是否记录预定数量的第三指纹记录项；

当所述指纹记录在所述预定的时间内未记录所述预定数量的第三指纹记录项时，删除所述指纹记录中的第二指纹的存根；其中，所述第二指纹的存根用于指示所述第二指纹为重复指纹；所述第三指纹记录项包含所述第二指纹。
一种重复数据的删除装置，其特征在于，包括通信接口和处理器，其中：

所述通信接口，用于获取指纹记录，所述指纹记录中包含多个指纹记录项，每个指纹记录项包含指纹；

所述处理器，用于从所述指纹记录中确定至少两个第一指纹记录项；其中，每个第一指纹记录项包含第一指纹和所述第一指纹对应的数据的存储地址；所述至少两个第一指纹记录项的所述第一指纹对应的数据的存储地址均不同；以及，

对所述至少两个第一指纹记录项中的所述第一指纹对应的数据进行重复数据删除操作；以及，

删除所述至少两个第一指纹记录项；以及，

在所述指纹记录中记录所述第一指纹的存根；其中，所述第一指纹的存根用于指示所述第一指纹为重复指纹。
根据权利要求7所述的装置，其特征在于，所述处理器还用于：

在所述指纹记录中记录第二指纹记录项；所述第二指纹记录项包含所述第一指纹以及所述第一指纹对应的数据的新的存储地址；其中，所述第二指纹记录项中的所述第一指纹对应的数据为新写入的数据；

根据所述第一指纹的存根确定所述第二指纹记录项中的所述第一指纹为重复指纹；

对所述新写入的数据进行重复数据删除操作。
根据权利要求8所述的装置，其特征在于，所述处理器还用于：

删除所述第二指纹记录项。
根据权利要求7-9任一所述的装置，其特征在于，所述处理器还用于：

在所述指纹记录所占用的存储空间大于或等于第一门限时，删除第三指纹记录项，所述第三指纹记录项包括的指纹与所述指纹记录中其他指纹记录项包括的指纹均不同。
根据权利要求7-10中任一项所述的装置，其特征在于，所述处理器还用于：

在所述指纹记录所占用的存储空间大于或等于第一门限时，删除第四指纹记录项，所述第四指纹记录项保存在所述指纹记录中的时长大于或等于第二门限。
根据权利要求7-11中任一项所述的装置，其特征在于，所述处理器还用于：

在所述指纹记录所占用的存储空间大于或等于第一门限时，确定所述指纹记录在预定的时间内是否记录预定数量的第三指纹记录项；

当所述指纹记录在所述预定的时间内未记录所述预定数量的第三指纹记录项时，删除所述指纹记录中的第二指纹的存根；其中，所述第二指纹的存根用于指示所述第二指纹为重复指纹；所述第三指纹记录项包含所述第二指纹。
一种重复数据的删除装置，其特征在于，包括：

通信模块，用于获取指纹记录，所述指纹记录中包含多个指纹记录项，每个指纹记录项包含指纹；

处理模块，用于从所述指纹记录中确定至少两个第一指纹记录项；其中，每个第一指纹记录项包含第一指纹和所述第一指纹对应的数据的存储地址；所述至少两个第一指纹记录项的所述第一指纹对应的数据的存储地址均不同；以及，

对所述至少两个第一指纹记录项中的所述第一指纹对应的数据进行重复数据删除操作；以及，

删除所述至少两个第一指纹记录项；以及，

在所述指纹记录中记录所述第一指纹的存根；其中，所述第一指纹的存根用于指示所述第一指纹为重复指纹。
根据权利要求13所述的装置，其特征在于，所述处理模块还用于：

在所述指纹记录中记录第二指纹记录项；所述第二指纹记录项包含所述第一指纹以及所述第一指纹对应的数据的新的存储地址；其中，所述第二指纹记录项中的所述第一指纹对应的数据为新写入的数据；

根据所述第一指纹的存根确定所述第二指纹记录项中的所述第一指纹为重复指纹；

对所述新写入的数据进行重复数据删除操作。
根据权利要求14所述的装置，其特征在于，所述处理模块还用于：

删除所述第二指纹记录项。
根据权利要求13-15任一所述的装置，其特征在于，所述处理模块还用于：

在所述指纹记录所占用的存储空间大于或等于第一门限时，删除第三指纹记录项，所述第三指纹记录项包括的指纹与所述指纹记录中其他指纹记录项包括的指纹均不同。
根据权利要求13-16中任一项所述的装置，其特征在于，所述处理模块还用于：

在所述指纹记录所占用的存储空间大于或等于第一门限时，删除第四指纹记录项，所述第四指纹记录项保存在所述指纹记录中的时长大于或等于第二门限。
根据权利要求13-17中任一项所述的装置，其特征在于，所述处理模块还用于：

在所述指纹记录所占用的存储空间大于或等于第一门限时，确定所述指纹记录在预定的时间内是否记录预定数量的第三指纹记录项；

当所述指纹记录在所述预定的时间内未记录所述预定数量的第三指纹记录项时，删除所述指纹记录中的第二指纹的存根；其中，所述第二指纹的存根用于指示所述第二指纹为重复指纹；所述第三指纹记录项包含所述第二指纹。
一种计算机存储介质，其特征在于，所述计算机存储介质存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的方法。
一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的方法。