WO2022062166A1

WO2022062166A1 - 一种数据处理方法、装置、设备及介质

Info

Publication number: WO2022062166A1
Application number: PCT/CN2020/132196
Authority: WO
Inventors: 江旭楷; 李红旺; 刘明伟
Original assignee: 上海依图网络科技有限公司
Priority date: 2020-09-27
Filing date: 2020-11-27
Publication date: 2022-03-31
Also published as: CN112148795B; CN112148795A

Abstract

本申请公开了一种数据处理方法、装置、设备及介质，应用于云存储技术领域，用以解决现有技术中的跨集群数据同步方法存在数据同步性能较差的问题。具体为：源集群存储系统在写入用户数据和用户数据的元数据时，通过将用户数据的元数据插入到该用户数据的头部，使得其他集群存储系统在数据同步时，可以从源集群存储系统中获取到头部插入有元数据的用户数据，进一步从用户数据的头部获取元数据后，即可实现对源集群存储系统中的用户数据和元数据的数据同步，从而简化了跨集群数据同步操作，提高了跨集群数据同步性能。

Description

一种数据处理方法、装置、设备及介质

相关申请的交叉引用

本申请要求在2020年09月27日提交中国专利局、申请号为202011031395.3、申请名称为“一种数据处理方法、装置、设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及云存储技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

近年来，随着互联网技术和计算机技术的不断发展，用户数据呈海量增长，直接推动了云存储技术的广泛应用，其中，基于对象存储的集群存储系统因其具有高可用性、高可扩展性等优点，在云存储技术领域备受青睐。

现有技术中，在源集群存储系统将用户数据写入用户数据存储节点，并将该用户数据的元数据写入元数据存储节点后，其它集群存储系统会对源集群存储系统中的用户数据和元数据进行数据同步，以实现各个集群存储系统的数据一致性，然而，目前的跨集群数据同步方法的数据同步性能较差。

发明内容

本申请实施例提供了一种数据处理方法、装置、设备及介质，用以解决现有技术中的跨集群数据同步方法存在数据同步性能较差的问题。

本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种数据处理方法，包括：

获取待写入的用户数据和用户数据的元数据；

将元数据插入至用户数据的头部，得到用户存储数据；

将用户存储数据写入用户数据存储节点，并将元数据写入元数据存储节点。

在一种可能的实施方式中，获取待写入的用户数据和用户数据的元数据，包括：

将数据采集设备采集的用户数据作为待写入的用户数据；

确定用户数据的数据长度和存储路径，并基于数据长度和存储路径，生成用户数据的元数据。

在一种可能的实施方式中，将元数据插入至用户数据的头部，得到用户存储数据，包括：

在用户数据的头部预留的设定长度的存储空间中插入元数据，得到用户存储数据。

另一方面，本申请实施例提供了另一种数据处理方法，包括：

接收数据同步指令；

基于数据同步指令，从源集群存储系统中获取用户存储数据，并从用户存储数据中获取用户数据的元数据，其中，用户存储数据是源集群存储系统在用户数据的头部插入用户数据的元数据后获得的；

在一种可能的实施方式中，基于数据同步指令，从源集群存储系统中获取用户存储数据，并从用户存储数据中获取元数据，包括：

基于数据同步指令，创建定时同步任务；

按照定时同步任务，分批次地从源集群存储系统中获取由用户存储数据组成的各个用户数据块；

每获取到一个用户数据块，对该用户数据块进行解码，得到该用户数据块中的用户存储数据和该用户存储数据中的元数据。

在一种可能的实施方式中，对该用户数据块进行解码，得到该用户数据块中的用户存储数据和该用户存储数据中的元数据，包括循环执行以下操作，直至用户数据块中的用户存储数据解码完成为止：

对基准数据后的设定长度的数据进行解码，得到元数据，其中，当首次解码时，基准数据为用户数据块的第一条数据，当非首次解码时，基准数据为上一次解码获得的用户存储数据后的第一条数据；

获取元数据中的数据长度为目标长度，并对元数据后的目标长度的数据进行解码，得到元数据对应的用户数据；

基于元数据和元数据对应的用户数据，获得用户存储数据。

另一方面，本申请实施例提供了一种数据处理装置，包括：

数据获取单元，用于获取待写入的用户数据和用户数据的元数据；

元数据插入单元，用于将元数据插入至用户数据的头部，得到用户存储数据；

数据写入单元，用于将用户存储数据写入用户数据存储节点，并将元数据写入元数据存储节点。

在一种可能的实施方式中，获取待写入的用户数据和用户数据的元数据时，数据获取单元具体用于：

将数据采集设备采集的用户数据作为待写入的用户数据；

在一种可能的实施方式中，将元数据插入至用户数据的头部，得到用户存储数据时，元数据插入单元具体用于：

另一方面，本申请实施例提供了另一种数据处理装置，包括：

指令接收单元，用于接收数据同步指令；

数据获取单元，用于基于数据同步指令，从源集群存储系统中获取用户存储数据，并从用户存储数据中获取用户数据的元数据，其中，用户存储数据是源集群存储系统在用户数据的头部插入用户数据的元数据后获得的；

在一种可能的实施方式中，基于数据同步指令，从源集群存储系统中获取目标数据类型的用户存储数据，并从用户存储数据中获取元数据时，数据获取单元具体用于：

基于数据同步指令，创建定时同步任务；

在一种可能的实施方式中，对该用户数据块进行解码，得到该用户数据块中的用户存储数据和该用户存储数据中的元数据时，数据获取单元具体用于循环执行以下操作，直至用户数据块中的用户存储数据解码完成为止：

基于元数据和元数据对应的用户数据，获得用户存储数据。

另一方面，本申请实施例提供了一种数据处理设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的数据处理方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的数据处理方法。

本申请实施例的有益效果如下：

本申请实施例中，源集群存储系统在写入用户数据和用户数据的元数据时，通过将用户数据的元数据插入到该用户数据的头部，使得其他集群存储系统在数据同步时，可以从源集群存储系统中获取到头部插入有元数据的用户数据，进一步从用户数据的头部获取元数据后，即可实现对源集群存储系统中的用户数据和元数据的数据同步，从而简化了跨集群数据同步操作，提高了跨集群数据同步性能。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中用户存储数据的组成结构示意图；

图2为本申请实施例中集群存储系统的系统架构示意图；

图3为本申请实施例中一种数据处理方法的概况流程示意图；

图4为本申请实施例中另一种数据处理方法的概况流程示意图；

图5为本申请实施例中数据处理方法的具体流程示意图；

图6为本申请实施例中一种数据处理装置的功能结构示意图；

图7为本申请实施例中另一种数据处理装置的功能结构示意图；

图8为本申请实施例中数据处理设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于本领域技术人员更好地理解本申请，下面先对本申请涉及的技术用语进行简单介绍。

1、用户数据，为数据采集设备采集的数据。例如，用户数据可以是摄像头采集的图像，也可以是考勤设备采集的指纹，还可以是车载终端采集的车辆位置等。

2、元数据，为对用户数据的数据长度和存储路径等属性进行描述的数据。

3、用户存储数据，为头部插入有元数据的用户数据。本申请中，参阅图1所示，用户存储数据可以是在用户数据的头部预留的设定长度的存储空间中插入有该用户数据的元数据的数据。

4、用户数据块，为对用户数据存储节点的磁盘中存储的由用户存储数据组成的数据块。

5、集群存储系统，为基于对象存储的数据存储系统。本申请中，参阅图2所示，集群存储系统可以包括但不限于：客户端文件系统、用户数据存储节点集群和元数据存储节点集群，其中：

客户端文件系统，为由多个部署有文件系统的客户端组成，用于根据用户操作，发起访问请求；

用户数据存储节点集群，为由多个用户数据存储节点组成，用于采用对象存储方式对用户存储数据进行存储；

元数据存储节点集群，为由多个元数据存储节点组成，用于采用对象存储方式对元数据进行存储。

在介绍了本申请涉及的技术用语后，接下来，对本申请实施例的应用场景和设计思想进行简单介绍。

目前，跨集群数据同步方法主要有两种，一种是从源集群存储系统中同时读取元数据和用户数据，这种数据同步方法由于元数据随机分布在元数据存储节点的磁盘上，且磁盘随机读取的性能远不如顺序读取，从而造成数据同步性能较差；另一种是源集群存储系统在写入用户数据和元数据的同时，将数据变化记录到操作日志(opLog)文件中，以使其它集群存储系统通过回放该opLog文件实现数据同步，这种数据同步方法除了正常写入用户数据和元数据之外还需要多写入一份opLog文件，且写数据的性能较差，从而造成数据同步性能较差。因此，如何提高跨集群数据同步的性能是当前需要解决的问题。

为此，本申请实施例中，源集群存储系统获取待写入的用户数据和用户数据的元数据后，可以将元数据插入至用户数据的头部，得到用户存储数据，并将用户存储数据写入用户数据存储节点，将元数据写入元数据存储节点；而其他集群存储系统接收到数据同步指令时，可以基于数据同步指令，从源集群存储系统中获取用户存储数据，并从用户存储数据中获取用户数据的元数据后，将用户存储数据写入用户数据存储节点，将元数据写入元数据存储节点。这样，源集群存储系统在写入用户数据和用户数据的元数据时，通过将用户数据的元数据插入到该用户数据的头部，使得其他集群存储系统在数据同步时，从源集群存储系统中获取到头部插入有元数据的用户数据，从用户数据的头部获取元数据，即可实现对源集群存储系统中的用户数据和元数据的数据同步，从而简化了跨集群数据同步操作，提高了跨集群数据同步性能。

在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行详细说明。

本申请实施例提供了一种数据处理方法，参阅图3所示，本申请实施例提供的数据处理方法的概况流程如下：

步骤301：获取待写入的用户数据和该用户数据的元数据。

实际应用中，数据采集设备可以将采集到的用户数据发送至源集群存储系统，源集群存储系统可以将数据采集设备采集的用户数据作为待写入的用户数据，并获取该用户数据的元数据，进一步的，源集群存储系统在获取该用户数据的元数据时，可以采用但不限于以下方式：

首先，源集群存储系统确定该用户数据的数据长度和存储路径。

在具体实施时，为了方便源集群存储系统确定该用户数据的存储路径，源集群存储系统可以根据数据采集设备的地理位置，对数据采集设备进行分片，并建立各个分片与用户数据存储节点集群中各个用户数据存储节点的对应关系，这样，源集群存储系统在确定该用户数据的存储路径时，可以先确定该用户数据对应的数据采集设备所属的分片，再根据该数据采集设备所属的分片，确定用户数据存储节点集群中用于存储该用户数据的用户数据存储节点，其次，基于确定出的用户数据存储节点存储的用户数据文件中当前最后一条数据的偏移量，确定该用户数据在该用户数据文件中的偏移量，最后，基于该用户数据对应的数据采集设备所属的分片、用户数据存储节点集群中用于存储该用户数据的用户数据存储节点，以及该用户数据在用户数据存储节点存储的用户数据文件中的偏移量，确定该用户数据的存储路径。

然后，源集群存储系统基于该用户数据的数据长度和存储路径，生成该用户数据的元数据。

步骤302：将该元数据插入至该用户数据的头部，得到用户存储数据。

实际应用中，源集群存储系统为了能够在用户数据的头部插入用户数据的元数据，可以在该用户数据的头部预留设定长度的存储空间，进而在获得该用户数据的元数据后，即可在该用户数据的头部预留的设定长度的存储空间中插入该用户数据的元数据，以获得用户存储数据。这样，其他集群存储系统在数据同步时，从源集群存储系统中获取用户存储数据并进一步从用户存储数据中获取用户数据的元数据，即可实现对源集群存储系统中的用户数据和元数据的数据同步，从而简化了跨集群数据同步操作，提高了跨集群数据同步性能。

步骤303：将该用户存储数据写入用户数据存储节点，并将该元数据写入元数据存储节点。

实际应用中，源集群存储系统可以将该用户数据的存储路径作为该用户存储数据的存储路径，并根据该用户存储数据的存储路径，将该用户存储数据写入用户数据存储节点集群中相应的用户数据存储节点。

在具体实施时，为了方便源集群存储系统确定元数据存储节点集群中用于存储该用户数据的元数据的元数据存储节点，源集群存储系统根据数据采集设备的地理位置，对数据采集设备进行分片，在建立各个分片与用户数据存储节点集群中各个用户数据存储节点的对应关系时，还可以建立各个分片与元数据存储节点集群中各个元数据存储节点的对应关系，这样，源集群存储系统在确定元数据存储节点集群中用于存储该用户数据的元数据的元数据存储节点时，可以先确定该用户数据的数据采集设备所属的分片，再根据数据采集设备所属的分片，确定元数据存储节点集群中用于存储该用户数据的元数据的元数据存储节点，其次，基于确定出的元数据存储节点存储的元数据文件中当前最后一条数据的偏移量，确定该用户数据的元数据在该用户数据文件中的偏移量，最后，基于该用户数据对应的数据采集设备所属的分片、元数据存储节点集群中用于存储该用户数据的元数据的元数据存储节点，以及该用户数据的元数据在元数据存储节点存储的元数据文件中的偏移量，确定该用户数据的元数据的存储路径，进而根据该用户数据的元数据的存储路径，将该用户数据的元数据写入元数据存储节点集群中相应的元数据存储节点。

进一步的，源集群存储系统写入用户存储数据和元数据后，其他集群存储系统即可采用本申请实施例提供的另一种数据处理方法，对源集群存储系统中的用户存储数据和元数据进行数据同步，具体的，参阅图4所示，本申请实施例提供的另一种数据处理方法的概况流程如下：

步骤401：接收数据同步指令。

实际应用中，源集群存储系统写入用户存储数据和元数据后，可以向其它集群存储系统发布数据同步指令，以触发其它集群存储系统开始执行数据同步操作。

步骤402：基于该数据同步指令，从源集群存储系统中获取用户存储数据，并从该用户存储数据中获取用户数据的元数据，其中，该用户存储数据是源集群存储系统在该用户数据的头部插入该用户数据的元数据后获得的。

实际应用中，其它集群存储系统在基于该数据同步指令，从源集群存储系统中获取用户存储数据，并从该用户存储数据中获取用户数据的元数据时，可以采用但不限于以下方式：

首先，其它集群存储系统基于该数据同步指令，创建定时同步任务。

然后，其它集群存储系统按照该定时同步任务，分批次地从源集群存储系统中获取由用户存储数据组成的各个用户数据块。

最后，其它集群存储系统每获取到一个用户数据块，对该用户数据块进行解码，得到该用户数据块中的用户存储数据和该用户存储数据中的元数据。

具体的，其它集群存储系统对该用户数据块进行解码时，可以循环执行以下操作，直至该用户数据块中的用户存储数据解码完成为止：

首先，其它集群存储系统对基准数据后的设定长度的数据进行解码，得到元数据。

其中，当首次解码时，该基准数据为该用户数据块的第一条数据，当非首次解码时，该基准数据为上一次解码获得的用户存储数据后的第一条数据。

然后，其它集群存储系统获取该元数据中的数据长度作为目标长度，对该元数据后的目标长度的数据进行解码，即可得到该元数据对应的用户数据。

最后，其它集群存储系统基于该元数据和该元数据对应的用户数据，获得用户存储数据。

步骤403：将该用户存储数据写入用户数据存储节点，并将该元数据写入元数据存储节点。

实际应用中，其它集群存储系统可以预先建立各个源集群存储系统与用户数据存储节点集群中各个用户数据存储节点的对应关系，这样，其它集群存储系统在对源集群存储系统的用户存储数据进行数据同步时，可以先确定用户数据存储节点集群中用于对该源集群存储系统的用户存储数据进行存储的用户数据存储节点，再基于确定出的用户数据存储节点存储的用户数据文件中当前最后一条数据的偏移量，确定该源集群存储系统的用户存储数据在该用户数据文件中的偏移量，其次，基于用户数据存储节点集群中用于对该源集群存储系统的用户存储数据进行存储的用户数据存储节点，以及该源集群存储系统的用户存储数据在用户数据存储节点存储的用户数据文件中的偏移量，确定该源集群存储系统的用户存储数据的存储路径，最后，根据该源集群存储系统的用户存储数据的存储路径，将该源集群存储系统的用户存储数据写入用户数据存储节点集群中相应的用户数据存储节点。

对应的，其它集群存储系统还可以预先建立各个源集群存储系统与元数据存储节点集群中各个元数据存储节点的对应关系，这样，其它集群存储系统在对源集群存储系统的元数据进行数据同步时，可以先确定元数据存储节点集群中用于对该源集群存储系统的元数据进行存储的元数据存储节点，再基于确定出的元数据存储节点存储的元数据文件中当前最后一条数据的偏移量，确定该源集群存储系统的元数据在该元数据文件中的偏移量，其次，基于元数据存储节点集群中用于对该源集群存储系统的元数据进行存储的元数据存储节点，以及该源集群存储系统的元数据在元数据存储节点存储的元数据文件中的偏移量，确定该源集群存储系统的元数据的存储路径，最后，根据该源集群存储系统的元数据的存储路径，将该源集群存储系统的元数据写入元数据存储节点集群中相应的元数据存储节点。

下面采用“用户数据是摄像头采集的图像”为具体应用场景，对本申请实施例提供的数据处理方法作进一步详细说明，参阅图5所示，本申请实施例提供的数据处理方法的具体流程如下：

步骤501：摄像头将采集到的图像发送至源集群存储系统。

步骤502：源集群存储系统将数据采集设备采集的图像作为待写入的用户数据，并确定该用户数据的数据长度和存储路径。

步骤503：源集群存储系统基于该用户数据的数据长度和存储路径，生成该用户数据的元数据。

步骤504：源集群存储系统在该用户数据的头部预留的设定长度的存储空间中插入该用户数据的元数据，得到用户存储数据。

步骤505：源集群存储系统将该用户数据的存储路径作为该用户存储数据的存储路径，并根据该用户存储数据的存储路径，将该用户存储数据写入用户数据存储节点集群中相应的用户数据存储节点。

步骤506：源集群存储系统确定该用户数据的元数据的存储路径，并根据该用户数据的元数据的存储路径，将该用户数据的元数据写入元数据存储节点集群中相应的元数据存储节点。

步骤507：源集群存储系统发布数据同步指令。

步骤508：其它集群存储系统接收到源集群存储系统发布的数据同步指令时，基于该数据同步指令，创建定时同步任务。

步骤509：其它集群存储系统按照该定时同步任务，分批次地从源集群存储系统中获取由用户存储数据组成的各个用户数据块。

步骤510：其它集群存储系统每获取到一个用户数据块，对该用户数据块进行解码，得到该用户数据块中的用户存储数据和该用户存储数据中的元数据。

步骤511：其它集群存储系统确定该用户存储数据的存储路径，并根据该用户存储数据的存储路径，将该用户存储数据写入用户数据存储节点集群中相应的用户数据存储节点。

步骤512：源集群存储系统确定该用户存储数据中的元数据的存储路径，并根据该用户存储数据中的元数据的存储路径，将该用户存储数据中的元数据写入元数据存储节点集群中相应的元数据存储节点。

基于上述实施例，本申请实施例提供了一种数据处理装置，参阅图6所示，本申请实施例提供的数据处理装置600至少包括：

数据获取单元601，用于获取待写入的用户数据和用户数据的元数据；

元数据插入单元602，用于将元数据插入至用户数据的头部，得到用户存储数据；

数据写入单元603，用于将用户存储数据写入用户数据存储节点，并将元数据写入元数据存储节点。

在一种可能的实施方式中，获取待写入的用户数据和用户数据的元数据时，数据获取单元601具体用于：

将数据采集设备采集的用户数据作为待写入的用户数据；

在一种可能的实施方式中，将元数据插入至用户数据的头部，得到用户存储数据时，元数据插入单元602具体用于：

基于上述实施例，本申请实施例还提供了另一种数据处理装置，参阅图7所示，本申请实施例提供的数据处理装置700至少包括：

指令接收单元701，用于接收数据同步指令；

数据获取单元702，用于基于数据同步指令，从源集群存储系统中获取用户存储数据，并从用户存储数据中获取用户数据的元数据，其中，用户存储数据是源集群存储系统在用户数据的头部插入用户数据的元数据后获得的；

数据写入单元703，用于将用户存储数据写入用户数据存储节点，并将元数据写入元数据存储节点。

在一种可能的实施方式中，基于数据同步指令，从源集群存储系统中获取目标数据类型的用户存储数据，并从用户存储数据中获取元数据时，数据获取单元702具体用于：

基于数据同步指令，创建定时同步任务；

在一种可能的实施方式中，对该用户数据块进行解码，得到该用户数据块中的用户存储数据和该用户存储数据中的元数据时，数据获取单元702具体用于循环执行以下操作，直至用户数据块中的用户存储数据解码完成为止：

基于元数据和元数据对应的用户数据，获得用户存储数据。

需要说明的是，本申请实施例提供的两种数据处理装置解决技术问题的原理与本申请实施例提供的数据处理方法相似，因此，本申请实施例提供的两种数据处理装置的实施可以参见本申请实施例提供的数据处理方法的实施，重复之处不再赘述。

在介绍了本申请实施例提供的数据处理方法和装置之后，接下来，对本申请实施例提供的数据处理设备进行简单介绍。

参阅图8所示，本申请实施例提供的数据处理设备800至少包括：处理器801、存储器802和存储在存储器802上并可在处理器801上运行的计算机程序，处理器801执行计算机程序时实现本申请实施例提供的数据处理方法。

需要说明的是，图8所示的数据处理设备800仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供的数据处理设备800还可以包括连接不同组件(包括处理器801和存储器802)的总线803。其中，总线803表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。

存储器802可以包括易失性存储器形式的可读介质，例如随机存储器(Random Access Memory，RAM)8021和/或高速缓存存储器8022，还可以进一步包括只读存储器(Read Only Memory，ROM)8023。

存储器802还可以包括具有一组(至少一个)程序模块8024的程序工具8025，程序模块8024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

数据处理设备800也可以与一个或多个外部设备804(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与数据处理设备800交互的设备通信(例如手机、电脑等)，和/或，与使得数据处理设备800与一个或多个其它数据处理设备800进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口805进行。并且，数据处理设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与数据处理设备800的其它模块通信。应当理解，尽管图8中未示出，可以结合数据处理设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。

下面对本申请实施例提供的计算机可读存储介质进行介绍。本申请实施例提供的计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的数据处理方法。具体地，该可执行程序可以内置或者安装在数据处理设备800中，这样，数据处理设备800就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的数据处理方法。

此外，本申请实施例提供的数据处理方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在数据处理设备800上运行时，该程序代码用于使数据处理设备800执行本申请实施例提供的数据处理方法。

本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

一种数据处理方法，其特征在于，包括：

获取待写入的用户数据和所述用户数据的元数据；

将所述元数据插入至所述用户数据的头部，得到用户存储数据；

将所述用户存储数据写入用户数据存储节点，并将所述元数据写入元数据存储节点。
如权利要求1所述的数据处理方法，其特征在于，获取待写入的用户数据和所述用户数据的元数据，包括：

将数据采集设备采集的用户数据作为待写入的用户数据；

确定所述用户数据的数据长度和存储路径，并基于所述数据长度和所述存储路径，生成所述用户数据的元数据。
如权利要求1或2所述的数据处理方法，其特征在于，将所述元数据插入至所述用户数据的头部，得到用户存储数据，包括：

在所述用户数据的头部预留的设定长度的存储空间中插入所述元数据，得到所述用户存储数据。
一种数据处理方法，其特征在于，包括：

接收数据同步指令；

基于所述数据同步指令，从源集群存储系统中获取用户存储数据，并从所述用户存储数据中获取用户数据的元数据，其中，所述用户存储数据是所述源集群存储系统在所述用户数据的头部插入所述用户数据的元数据后获得的；

将所述用户存储数据写入用户数据存储节点，并将所述元数据写入元数据存储节点。
如权利要求4所述的数据处理方法，其特征在于，基于所述数据同步指令，从源集群存储系统中获取用户存储数据，并从所述用户存储数据中获取元数据，包括：

基于所述数据同步指令，创建定时同步任务；

按照所述定时同步任务，分批次地从所述源集群存储系统中获取由用户存储数据组成的各个用户数据块；

每获取到一个用户数据块，对所述用户数据块进行解码，得到所述用户数据块中的用户存储数据和所述用户存储数据中的元数据。
如权利要求5所述的数据处理方法，其特征在于，对所述用户数据块进行解码，得到所述用户数据块中的用户存储数据和所述用户存储数据中的元数据，包括循环执行以下操作，直至所述用户数据块中的用户存储数据解码完成为止：

对基准数据后的设定长度的数据进行解码，得到元数据，其中，当首次解码时，所述基准数据为所述用户数据块的第一条数据，当非首次解码时，所述基准数据为上一次解码获得的用户存储数据后的第一条数据；

获取所述元数据中的数据长度为目标长度，并对所述元数据后的所述目标长度的数据进行解码，得到所述元数据对应的用户数据；

基于所述元数据和所述元数据对应的用户数据，获得用户存储数据。
一种数据处理装置，其特征在于，包括：

数据获取单元，用于获取待写入的用户数据和所述用户数据的元数据；

元数据插入单元，用于将所述元数据插入至所述用户数据的头部，得到用户存储数据；

数据写入单元，用于将所述用户存储数据写入用户数据存储节点，并将所述元数据写入元数据存储节点。
如权利要求7所述的数据处理装置，其特征在于，获取待写入的用户数据和所述用户数据的元数据时，所述数据获取单元具体用于：

将数据采集设备采集的用户数据作为待写入的用户数据；

确定所述用户数据的数据长度和存储路径，并基于所述数据长度和所述存储路径，生成所述用户数据的元数据。
如权利要求7或8所述的数据处理装置，其特征在于，将所述元数据插入至所述用户数据的头部，得到用户存储数据时，所述元数据插入单元具体用于：

在所述用户数据的头部预留的设定长度的存储空间中插入所述元数据，得到所述用户存储数据。
一种数据处理装置，其特征在于，包括：

指令接收单元，用于接收数据同步指令；

数据获取单元，用于基于所述数据同步指令，从源集群存储系统中获取用户存储数据，并从所述用户存储数据中获取用户数据的元数据，其中，所述用户存储数据是所述源集群存储系统在所述用户数据的头部插入所述用户数据的元数据后获得的；

数据写入单元，用于将所述用户存储数据写入用户数据存储节点，并将所述元数据写入元数据存储节点。
如权利要求10所述的数据处理装置，其特征在于，基于所述数据同步指令，从所述源集群存储系统中获取所述目标数据类型的用户存储数据，并从所述用户存储数据中获取元数据时，所述数据获取单元具体用于：

基于所述数据同步指令，创建定时同步任务；

按照所述定时同步任务，分批次地从所述源集群存储系统中获取由用户存储数据组成的各个用户数据块；

每获取到一个用户数据块，对所述用户数据块进行解码，得到所述用户数据块中的用户存储数据和所述用户存储数据中的元数据。
如权利要求11所述的数据处理装置，其特征在于，对所述用户数据块进行解码，得到所述用户数据块中的用户存储数据和所述用户存储数据中的元数据时，所述数据获取单元具体用于循环执行以下操作，直至所述用户数据块中的用户存储数据解码完成为止：

对基准数据后的设定长度的数据进行解码，得到元数据，其中，当首次解码时，所述基准数据为所述用户数据块的第一条数据，当非首次解码时，所述基准数据为上一次解码获得的用户存储数据后的第一条数据；

获取所述元数据中的数据长度为目标长度，并对所述元数据后的所述目标长度的数据进行解码，得到所述元数据对应的用户数据；

基于所述元数据和所述元数据对应的用户数据，获得用户存储数据。
一种数据处理设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的数据处理方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-6任一项所述的数据处理方法。