WO2015085530A1

WO2015085530A1 - 数据复制方法及存储系统

Info

Publication number: WO2015085530A1
Application number: PCT/CN2013/089176
Authority: WO
Inventors: 陈怡佳; 欧阳戟; 蒋培军
Original assignee: 华为技术有限公司
Priority date: 2013-12-12
Filing date: 2013-12-12
Publication date: 2015-06-18
Also published as: EP3062226A4; EP4089540A1; US10545994B2; CN103814360A; US11734306B2; US20200293551A1; PL3663922T3; EP3663922B1; ES2921209T3; CN103814360B; EP3358466A1; HUE036878T2; EP3663922A1; ES2669274T3; EP3062226B1; EP3358466B1; EP3062226A1; US20160292250A1; US20200125583A1; US10706072B2

Abstract

　本发明实施例提供了一种数据复制方法及存储系统。该方法应用于至少包括第一存储设备以及第二存储设备的存储系统中。该方法包括：第一存储系统确定复制信息，该复制信息用于指示所述第一存储系统在当前复制任务中需要复制到第二存储系统的数据；第一存储系统根据该复制信息确定第一复制子信息及第二复制子信息；所述第一存储设备根据所述第一复制子信息将需要由第一存储设备复制到第二存储系统的数据复制到第二存储系统；第二存储设备根据第二复制子信息将需要由第二存储设备复制到第二存储系统的数据复制到第二存储系统。该数据复制方法能够提高第一存储系统与第二存储系统之间的复制效率。

Description

数据复制方法及存储系统

技术领域

[0001] 本发明涉及存储技术领域，尤其涉及一种数据复制方法及存储系统。背景技术

[0002] 为了保护数据的安全，出于灾备（Di sas ter Recovery ) 的目的，各存储厂商会通过建立异地容灾中心来实现数据的远程备份 , 以便能够在灾难（例如火灾、地震等）发生之后确保原有的数据不会丢失或者遭到破坏，并保证关键业务在允许的时间范围内恢复运行，尽可能减少灾难带来的损失。

[0003] 当前主要的容灾系统主要包括：两中心容灾系统和三中心（3 Da ta Center , 3DC)容灾系统。两中心容灾系统通过建立两个数据中心来实现容灾，其中，主数据中心用于承担用户的业务,备份数据中心用于备份主数据中心的数据、配置、业务等。当主数据中心发生灾难时，备份数据中心可以接管主数据中心的业务。 3DC 容灾系统是通过部署在三个数据中心的存储系统来实现容灾。通常，在 3DC容灾系统中，三个数据中心可以分别称为生产站点、一级站点和二级站点，。通常，一级站点和二级站点属于灾备站点，生产站点与一级站点可以处于同一个城市的两个不同位置，而二级站点则与生产站点位于不同的城市。现有的 3DC 容灾系统通常是在三个数据中心之间通过同步远程复制技术以及异步远程复制技术来实现容灾。由于 3DC容灾系统的可靠性和可扩展性比较好，因此， 3DC容灾系统的适用范围也越来越广。

[0004] 然而，现有的 3DC容灾系统中，当需要将数据复制到二级站点时，通常是由生产站点或一级站点将数据复制到二级站点，数据复制效率不高。发明内容

[0005] 本发明实施例中提供的一种数据复制方法以及存储系统，能够提高复制效率。

[0006] 第一方面，本发明实施例提供一种数据复制方法，该方法至少包括第一存储设备以及第二存储设备的存储系统中，该方法包括：第一存储系统确定复制信息，所述复制信息用于指示所述第一存储系统在当前复制任务中需要复制到第二存储系统的数据，其中，所述第一存储系统中的第一存储设备与所述第二存储设备存储有相同的数据 ,所述第一存储系统与所述第二存储系统通过异步复制技术实现数据备份；

所述第一存储系统根据所述复制信息确定第一复制子信息及第二复制子信息，其中，所述第一复制子信息用于指示在所述当前复制任务中需要由所述第一存储设备复制到所述第二存储系统的数据，所述第二复制子信息用于指示在所述当前复制任务中需要由所述第二存储设备复制到所述第二存储系统的数据，且所述第一复制子信息指示的数据与所述第二复制子信息指示的数据不同；所述第一存储设备根据所述第一复制子信息将所述需要由所述第一存储设备复制到所述第二存储系统的数据复制到所述第二存储系统；

所述第二存储设备根据所述第二复制子信息将所述需要由所述第二存储设备复制到所述第二存储系统的数据复制到所述第二存储系统。

[0007] 在第一方面的第一种可能的实现方式中，所述第一存储设备才艮据所述第一复制子信息将所述需要由所述第一存储设备复制到所述第二存储系统的数据复制到所述第二存储系统包括：

所述第一存储设备根据所述第一复制子信息将第一源数据卷中存储的所述需要由所述第一存储设备复制到所述第二存储系统的数据复制到所述第二存储系统的目标数据卷中；

所述第二存储设备根据所述第二复制子信息将第二源数据卷中存储的所述需要由所述第二存储设备复制到所述第二存储系统的数据复制到所述第二存储系统的所述目标数据卷中；

其中，所述第一源数据卷中存储的数据与所述第二源数据卷中存储的数据相同。

[0008] 结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述第一存储系统确定复制信息包括：

所述第一存储设备向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识和所述目标数据卷的标识；所述第二存储设备根据所述第一源数据卷的标识、所述目标数据卷的标识以及预设的复制关系确定所述第二存储设备中的所述第二源数据卷，其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系；

所述第二存储设备根据确定的所述第二源数据卷中存储的数据确定所述复制信息；

所述第一存储设备根据所述第一源数据卷中存储的数据确定所述复制信息。

[0009] 结合第一方面的第一种可能的实现的方式，在第三种可能实现的方式中，所述第一存储系统确定复制信息包括：

所述第一存储系统中的所述第一存储设备根据所述第一源数据卷中存储的数据确定所述复制信息；

所述第一存储设备向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识、目标数据卷的标识以及所述复制信息；

所述第二存储设备根据所述第一源数据卷的标识、目标数据卷的标识以及预设的复制关系确定与所述复制信息对应的第二源数据卷，其中，所述复制关系中包含有所述第一源数据卷、所述目标数据卷与所述第二源数据卷的对应关系。

[0010] 结合第一方面或第一方面的第一种至第三种任意一种可能的实现方式，在第四种可能的实现方式中，系统才艮据所述复制信息确定第一复制子信息及第二复制子信息包括：所述第一存储设备根据所述复制信息以及预设的复制策略确定所述第一复制子信息；所述第二存储设备才艮据所述复制信息以及所述复制策略确定所述第二复制子信息。

[0011] 结合第一方面或第一方面的第一种至第四种任意一种可能的实现方式，在第五种可能的实现方式中，所述第一存储系统根据所述复制信息确定第一复制子信息及第二复制子信息包括：所述第一存第一存储设备接收所述第二存储设备的复制协商请求，所述复制协商请求中至少包含有所述第二存储设备与所述第二存储系统的链路带宽信息；所述第一存储设备根据所述链路带宽信息确定所述第一复制子信息以及所述第二复制子信息；所述第一存储设备向所述第二存储设备发送所述第二复制子信息。

[0012] 结合第一方面或第一方面的第一种至第五种中任意一种可能的实现方式，在第六种可能的实现方式中，所述复制信息由所述第一复制子信息以及所述第二复制子信息组成，所述方法还包括：在所述当前复制任务的执行过程中，所述第一存储设备根据已复制完成的数据生成第一复制进度信息；所述第一存储设备将所述第一复制进度信息发送给所述第二存储设备；当所述第一存储设备故障时，所述第二存储设备根据所述第一复制进度信息、第二复制子信息以及所述复制信息确定所述第一存储设备尚未复制完成的数据；所述第二存储设备将所述第一存储设备尚未复制完成的数据复制到所述第二存储系统。

[0013] 第二方面，本发明实施例提供一种数据复制方法，该方法应用于存储系统中，包括：

第二存储系统接收第一存储系统发送的复制信息，所述复制信息用于指示所述第一存储系统在当前复制任务中需要复制到所述第二存储系统的数据 , 其中，所述第一存储系统中至少包括第一存储设备以及第二存储设备，所述第一存储设备与所述第二存储设备中存储有相同的数据，所述第一存储系统与所述第二存储系统通过异步复制技术实现数据备份；

所述第二存储系统根据所述复制信息向所述第一存储设备发送第一获取请求，所述第一获取请求中包含有所述第二存储系统在所述当前复制任务中需要向所述第一存储设备获取的数据的信息；

所述第二存储系统根据所述复制信息向所述第二存储设备发送第二获取请求，所述第二获取请求中包含有所述第二存储系统在所述当前复制任务中需要向所述第二存储设备获取的数据的信息，其中，所述第一获取请求要获取的数据与所述第二获取请求要获取的数据不同；

所述第二存储系统接收所述第一存储设备根据所述第一获取请求发送的数据；

所述第二存储系统接收所述第二存储设备根据所述第二获取请求发送的数据。

[0014] 在第二方面的第一种实现方式中，所述第一获取请求中包含的要获取的数据的信息至少包括所述第一存储设备中的第一源数据卷的标识以及所述第一获取请求要获取的数据地址；

所述第二获取请求中包含的要获取的数据的信息至少包括第二存储设备中的第二源数据卷的标识以及所述第二获取请求要获取的数据地址；

其中，所述第一源数据卷与所述第二源数据卷中均存储有所述第一存储系统在当前复制任务中需要复制到所述第二存储系统的数据，且所述第一源数据卷与所述第二源数据卷中存储的数据相同。

[0015] 结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述第二存储系统接收第一存储系统发送的复制信息包括：所述第二存储系统接收所述第一存储系统发送的复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识以及根据所述第一源数据卷存储的数据确定的所述复制信息；

所述方法还包括：所述第二存储系统根据所述第一源数据卷的标识以及预设的复制关系确定所述第二存储设备中的第二源数据卷及所述第二存储系统中的目标数据卷；其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系，所述目标数据卷用于存储所述第二存储系统在所述当前复制任务中接收的数据。

[0016] 结合第二方面、第二方面的第一种或第二种可能的实现方式，在第三种可能的实现方式中，所述第二存储系统根据所述复制信息向所述第一存储设备发送第一获取请求包括：

所述第二存储系统根据所述复制信息以及所述第二存储系统与所述第一存储设备之间的链路带宽确定需要向所述第一存储设备获取的数据；

所述第二存储系统根据确定的所述需要向所述第一存储设备获取的数据向所述第一存储设备发送所述第一获取请求；

所述第二存储系统根据所述复制信息向所述第二存储设备发送第二获取请求包括：

所述第二存储系统根据所述复制信息以及所述第二存储系统与所述第二存储设备之间的链路带宽确定需要向所述第二存储设备获取的数据；

所述第二存储系统根据确定的所述需要向所述第二存储设备获取的数据向所述第二存储设备发送所述第二获取请求。 [0017] 第三方面，本发明实施例提供一种存储系统，该存储系统至少包括第一存储设备以及第二存储设备 ,所述第一存储设备与所述第二存储设备存储有相同的数据，其中：

所述存储系统，用于确定复制信息，所述复制信息用于指示所述存储系统在当前复制任务中需要复制到其他存储系统的数据，所述存储系统与所述其他存储系统通过异步复制技术实现数据备份；

所述存储系统，还用于根据所述复制信息确定第一复制子信息以及所述第二复制子信息，其中，所述第一复制子信息用于指示在所述当前复制任务中需要由所述第一存储设备复制到所述其他存储系统的数据 ,所述第二复制子信息用于指示在所述当前复制任务中需要由所述第二存储设备复制到所述其他存储系统的数据 ,且所述第一复制子信息指示的数据与所述第二复制子信息指示的数据不同；

所述第一存储设备，用于根据所述第一复制子信息将所述需要由所述第一存储设备复制到所述其他存储系统的数据复制到所述其他存储系统；

所述第二存储设备，用于根据所述第二复制子信息将所述需要由所述第二存储设备复制到所述其他存储系统的数据复制到所述其他存储系统。

[0018] 在第三方面的第一种可能的实现方式中，所述第一存储设备，用于根据所述第一复制子信息将第一源数据卷中存储的所述需要由所述第一存储设备复制到所述其他存储系统的数据复制到所述其他存储系统的目标数据卷中；所述第一存储设备，用于根据所述第二复制子信息将第二源数据卷中存储的所述需要由所述第二存储设备复制到所述其他存储系统的数据复制到所述其他存储系统的所述目标数据卷中；

[0019] 结合第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述第一存储设备，还用于向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识和所述目标数据卷的标识；

所述第二存储设备，还用于根据所述第一源数据卷的标识、所述目标数据卷的标识以及预设的复制关系确定所述第二存储设备中的所述第二源数据卷，并根据确定的所述第二源数据卷中存储的数据确定所述复制信息，其中，所述复制关系中包含有所述第一源数据卷、所述目标数据卷与所述第二源数据卷的对应关系；

所述第一存储设备，还用于根据所述第一源数据卷中存储的数据确定所述复制信息。

[0020] 结合第三方面的第一种可能的实现方式，在第三方面的第三种可能的实现方式中，所述第一存储设备，还用于根据所述第一源数据卷中存储的数据确定所述复制信息，并向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识、目标数据卷的标识以及所述复制信息；

所述第二存储设备，还用于据所述第一源数据卷的标识、目标数据卷的标识以及预设的复制关系确定与所述复制信息对应的第二源数据卷，其中，所述复制关系中包含有所述第一源数据卷、所述目标数据卷与所述第二源数据卷的对应关系。

[0021] 结合第三方面、第三方面的第一种至第三种中任意一种可能的实现方式，在第三方面的第四种可能的实现方式中，所述第一存储设备还用于才艮据复制信息以及预设的复制策略确定所述第一复制子信息；所述第二存储设备还用于才艮据所述复制信息以及所述复制策略确定所述第二复制子信息。

[0022] 结合第三方面、第三方面的第一种至第三种中任意一种可能的实现方式，在第三方面的第五种可能的实现方式中，所述第一存储设备，还用于接收所述第二存储设备的复制协商请求，所述复制协商请求中至少包含有所述第二存储设备与所述其他存储系统的链路带宽信息，根据所述链路带宽信息确定所述第一复制子信息以及所述第二复制子信息，并向所述第二存储设备发送所述第二复制子信息。

[0023] 结合第三方面、第三方面的第一种至第五种中任意一种可能的实现方式，在第三方面的第六种可能的实现方式中，所述复制信息由所述第一复制子信息以及所述第二复制子信息组成，所述第一存储设备，还用于在所述当前复制任务的执行过程中，根据已复制完成的数据生成第一复制进度信息，并将所述第一复制进度信息发送给所述第二存储设备；

所述第二存储设备 , 还用于当所述第一存储设备故障时，根据所述第一复制进度信息、第二复制子信息以及所述复制信息确定所述第一存储设备尚未复制完成的数据 ,并将所述第一存储设备尚未复制完成的数据复制到所述其他存储系统。

[0024] 第四方面，本发明实施例提供一种存储系统，包括：

接收模块，用于接收其他存储系统发送的复制信息，所述复制信息用于指示所述其他存储系统在当前复制任务中需要复制到所述存储系统的数据，其中，所述其他存储系统中至少包括所述第一存储设备以及第二存储设备，所述第一存储设备与所述第二存储设备中存储有相同的数据，所述存储系统与所述其他存储系统通过异步复制技术实现数据备份；

发送模块，用于根据所述复制信息向所述第一存储设备发送第一获取请求，所述第一获取请求中包含有所述存储系统在所述当前复制任务中需要向所述第一存储设备获取的数据的信息；

所述发送模块，还用于根据所述复制信息向所述第二存储设备发送第二获取请求，所述第二获取请求中包含有所述存储系统在所述当前复制任务中需要向所述第二存储设备获取的数据的信息，其中，所述第一获取请求要获取的数据与所述第二获取请求要获取的数据不同；

所述接收模块，还用于接收所述第一存储设备根据所述第一获取请求发送的数据 , 以及接收所述第二存储设备根据所述第二获取请求发送的数据。

[0025] 在第四方面的第一种可能的实现方式中，所述第一获取请求中包含的要获取的数据的信息至少包括所述第一存储设备中的第一源数据卷的标识以及所述第一获取请求要获取的数据地址；

其中，所述第一源数据卷与所述第二源数据卷中均存储有所述其他存储系统在当前复制任务中需要复制到所述存储系统的数据，且所述第一源数据卷与所述第二源数据卷中存储的数据相同。

[0026] 结合第四方面的第一种可能的实现方式，在第四方面的第二种可能的实现方式中，所述接收模块，还用于接收所述其他存储系统发送的复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识以及才艮据所述第一源数据卷存储的数据确定的所述复制信息；

所述存储系统还包括：消息处理模块，用于根据所述第一源数据卷的标识以及预设的复制关系确定所述第二存储设备中的第二源数据卷及所述第二存储系统中的目标数据卷；

其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系，所述目标数据卷用于存储所述存储系统在所述当前复制任务中接收的数据。

[0027] 结合第四方面或第四方面的第一种至第二种中任意一种可能的实现方式，在第四方面的第三种可能的实现方式中，该存储系统还包括：

确定模块，用于根据所述复制信息以及所述存储系统与所述第一存储设备之间的链路带宽确定需要向所述第一存储设备获取的数据 ,并根据所述复制信息以及所述存储系统与所述第二存储设备之间的链路带宽确定需要向所述第二存储设备获取的数据；

所述发送模块，具体用于根据所述确定模块确定的所述需要向所述第一存储设备获取的数据向所述第一存储设备发送所述第一获取请求，并且根据所述确定模块确定的所述需要向所述第二存储设备获取的数据向所述第二存储设备发送所述第二获取请求。

[0028] 第五方面，本发明实施例提供了又一种存储系统，包括控制器和存储器，其中，所述存储器用于存储其他存储系统发送的数据；所述控制器包括：通信接口，用于与所述其他存储系统进行通信；

内存，用于存储计算机执行指令；

处理器，用于运行所述计算机执行指令，执行前述第二方面中所述的方法。

[0029] 第六方面，本发明实施例提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行前述第一方面中所述的方法。

[0030] 第七方面，本发明实施例提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行前述第二方面中所述的方法。

[ 0031 ] 在本发明实施例中提供的数据复制方法中，由于第一存储系统中的第一存储设备和第二存储设备中存储有相同的数据，因此，在第一存储系统到第二存储系统的复制过程中，第一存储系统可以根据当前复制任务中的复制信息确定第一复制子信息以及第二复制子信息，并由第一存储设备才艮据第一复制子信息将数据复制到第二存储系统，由第二存储设备根据第二复制子信息将数据复制到第二存储系统。根据本发明实施例的方法，能够将第一存储系统的同一个复制任务由第一存储设备和第二存储设备进行分担,从而能够在不增加生产成本的情况下提升第一存储系统与第二存储系统之间的复制效率。附图说明

[ 0032] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作筒单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

[ 0033] 图 1为本发明实施例提供的一种应用场景示意图；

[ 0034] 图 1为本发明实施例提供的一种存储设备的结构示意图；

[ 0035] 图 3为本发明实施例提供的一种数据复制方法的流程图；

[ 0036] 图 3a为本发明实施例提供的一种复制位图的示意图；

[ 0037] 图 3b为本发明实施例提供的一种复制信息确定方法的流程图；

[ 0038] 图 3c为本发明实施例提供的又一种复制信息确定方法的流程图；

[ 0039] 图 4为本发明实施例提供的又一种数据复制方法的信令图；

[ 0040] 图 5为本发明实施例提供的又一种数据复制方法的流程图；

[ 0041 ] 图 6为本发明实施例提供的又一种数据复制方法的信令图；

[ 0042] 图 7为本发明实施例提供的又一种存储设备的结构示意图。具体实施方式

[ 0043] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。

[0044] 本发明实施例提供的数据备份方法主要应用于多数据中心的容灾系统中，本发明实施例所指的多数据中心的容灾系统是指包括不少于 3个数据中心的容灾系统。为了描述方便，本发明实施例以三数据中心（3 Data Center, 3DC ) 容灾系统为例进行描述。如图 1所示，图 1为本发明实施例的一种应用场景示意图。图 1所示的一种 3DC容灾系统包括至少一个主机 100以及三个数据中心。这三个数据中心包括至少一个生产站点以及两个灾备站点。为了描述方便，在本发明实施例中，将图 1 所示的三个数据中心分别称为生产站点 11、一级站点 12 以及二级站点 13, 其中一级站点 12以及二级站点 13通常属于灾备站点。这三个数据中心之间可以釆用星形组网方式通过光纤或网线进行连接。这三个数据中心之间可以通过 IP ( Internet Protocol )或者 FC (Fiber Chanel )进行数据传输。在本发明实施例中，主机 100与生产站点 11或一级站点 12之间可以基于小型计算机系统接口（SCSI, Small Computer System Interface)协议，或者基于互联网小型计算机系统接口（ iSCSI, Internet Small Computer System Interface)协议进行通信。在此不做限定。

[0045] 生产站点 11中包括第一存储设备 110,一级站点 12中包括第二存储设备 120, 并且在二级站点 13 中包括第三存储设备 130。其中，第一存储设备 110、第二存储设备 120以及第三存储设备 130可以是存储阵列、服务器等当前技术已知的存储设备。例如，第一存储设备 110、第二存储设备 120以及第三存储设备 130可以包括存储区域网络 (Storage Area Network, SAN)阵列，也可以包括网络附加存储（network attach storage, NAS)阵列。本发明实施例中不对各数据中心中的存储设备的具体形式进行限定。需要说明的是，在本发明实施例中的方法均是由这些站点中的存储设备来执行的。为了描述方便，在本发明实施例中，如无特别说明，生产站点 11指的是生产站点 11 中的第一存储设备 110, 一级站点 12指的是一级站点 12中的第二存储设备 120, 二级站点 13指的是二级站点 13中的第三存储设备 130。

[0046] 在图 1所示的应用场景中，生产站点 11和一级站点 12的距离比较近。通常，生产站点 11和一级站点 12的距离可以在 100km以内。例如，生产站点 11和一级站点 12可以位于同一个城市的两个不同位置。二级站点 13与生产站点 11或一级站点 12的距离较远。通常，二级站点 13与生产站点 11的距离可以在 1000km以上。例如，二级站点 13可以位于与生产站点 11位于不同的城市。当然，在本发明实施例中，并不限定生产站点 11和一级站点 12必须在同一个城市，只要在生产站点 11和一级站点 12之间能够实现数据的同步复制即可。

[0047] 主机 100可以包括当前技术已知的任何计算设备，如服务器、台式计算机、应用服务器等等，在主机 100中安装有操作系统以及其他应用程序，主机 100可以有多个。

[0048] 在图 1所示的应用场景中，二级站点 13主要作为灾备站点，用于备份数据。主机 100不会对二级站点 13进行访问。生产站点 11和一级站点 12均可以接收主机 100的访问。在一种情形下，主机 100可以将数据只写入生产站点

11。例如，可以是一个或多个主机 100对生产站点 11进行数据写入操作。在又一种情形下，一个主机 100也可以将不同的数据分别写入生产站点 11和一级站点 12。在又一种情形下，不同的主机 100可以分别对生产站点 11和一级站点 12 进行数据写入操作。例如主机 A对生产站点 11进行数据写入操作，同时主机 B 也在对一级站点 12进行数据写入操作。可以理解的是，在后两种情形下，由于生产站点 11和一级站点 12可以同时承担主机 100的业务，因此能够提高数据的读写效率。在本发明实施例中，不对生产站点 11和一级站点 12是否同时承担主机 100的业务进行限制，只要能在生产站点 11和一级站点 12之间能够实现同步复制，保证生产站点 11和一级站点 11中的数据实时同步即可。需要说明的是，由于在图 1所示的容灾系统中，生产站点 11和一级站点 12均可以接收主机 100 的访问，并且生产站点 11和一级站点 12通过同步复制方式保持存储的数据的一致性，所以生产站点 11和一级站点 12的角色可以互换。

[0049] 在本发明实施例中，生产站点 11和一级站点 12可以通过同步复制技术使生产站点 11和一级站点 12 中存储的数据实时保持同步。例如，在主机 100将数据写入生产站点 11时，生产站点 11可以同时将该数据备份到一级站点

12。当数据均写入生产站点 11和一级站点 12后，生产站点 11再向主机 100返回写入成功的响应，以保持生产站点 11和一级站点 12中的数据同步。由于二级站点 13与生产站点 11的距离较远，因此，生产站点 11或一级站点 12可以釆用异步复制技术将数据存储到二级站点 13。例如，当主机 100将数据写入生产站点 11时，生产站点 11可以直接向主机 100返回一个写入成功的响应。在间隔一段时间后，生产站点 11再将主机 100写入的数据发送到二级站点 13进行存储，以实现数据的进一步备份。需要说明的是，在本发明实施例中，将数据写入生产站点 11可以是将数据写入生产站点 11的緩存，也可以是指将数据写入生产站点 11的存储器中，在此不做限定。

[0050] 需要说明的是，生产站点 11的存储器构成的存储空间可以包括多个数据卷。其中，本发明实施例所述的数据卷是由物理存储空间映射而成的一段逻辑存储空间。例如，数据卷可以是逻辑单元号（Log ic Uni t Number, LUN )标识的逻辑单元，也可以是文件系统。可以理解的是，一级站点 12以及二级站点 13 的存储空间也可以包括多个数据卷。

[0051] 实际应用中，在 3DC容灾系统中，通常会在生产站点 11和一级站点 120之间釆用同步复制技术保持数据的同步，在生产站点 11和二级站点 13之间建立异步复制或者在一级站点 12与二级站点 13之间建立异步复制。例如，在异步复制的过程中，釆用生产站点 11和二级站点 13之间的链路进行异步复制，而将一级站点 12与二级站点 13之间的链路作为备份链路。为了描述方便，在本发明实施例中，将生产站点 11和二级站点 13之间的链路称为第一链路，将一级站点 12与二级站点 13之间的链路称为第二链路。当生产站点 11和二级站点 13 之间的复制进程出现异常时，可以从一级站点 12将数据重新复制到二级站点 13。其中，复制进程出现异常包括因生产站点 11发生故障导致复制进程出现异常，或者由于第一链路出现故障导致复制进程出现异常。可以理解的是，在异步复制的过程中，也可以釆用一级站点 12和二级站点 13之间的链路进行异步复制，而将生产站点 11与二级站点 13之间的链路作为备份链路。

[0052] 然而，由于生产站点 11中的数据变化量很大，在异步复制的过程中，如果仅釆用第一链路进行异步复制，可能导致第一链路的带宽成为数据备份的过程的瓶颈。并且在实际应用中，如果釆用带宽更大的第一链路进行备份，又会增加用户的成本。为了在不增加成本的情况下提高数据备份的带宽，在本发明实施例中，当需要进行异步复制时，由生产站点 11和一级站点 12 同时向二级站点 13 进行异步复制。根据这种方式，在异步复制的过程中，第一链路以及第二链路均处于活动（Act ive )状态。 [0053] 由于本发明实施例主要涉及如何将数据从生成站点 11以及一级站点 12复制到二级站点 13 , 因此为了描述方便，在下述的实施例中，将复制过程中发送数据的第一存储设备 110和第二存储设备 130组成的存储系统称为第一存储系统 33 ,将接收数据的第三存储设备 130所属的存储系统称为第二存储系统 44。可以理解的是，第一存储系统 33 还可以包括其他存储设备，第二存储系统 44 也还可以包括其他存储设备。

[0054] 图 1中所示的第一存储设备 110、第二存储设备 120和第三存储设备 130的结构可以如图 1所示。图 1为本发明实施例提供的一种存储设备 20的结构示意图，图 2所示的存储设备 20为一种存储阵列。如图 2所示，存储设备 20 可以包括控制器 200以及磁盘阵列 214 , 其中，其中，这里的磁盘阵列 214用于提供存储空间，可以包括独立磁盘冗余阵列（Redundant Arrays of Independent Di sks , RAID )或者由多个磁盘构成的磁盘拒。磁盘阵列 214可以有多个，磁盘阵列 214由多个磁盘 216构成。磁盘 216用于存储数据。磁盘阵列 216与控制器 200 之间可以通过小型计算机系统接口（Sma l l Computer Sys tem Interface , SCS I )协议等通信协议进行通信连接，在此不进行限定。

[0055] 可以理解的是，磁盘阵列 214仅仅是存储系统中的存储器的一种示例，在本发明实施例中，还可以通过磁带库等存储器来存储数据。需要说明的是，磁盘 216也仅仅是构建磁盘阵列 214的存储器的一种示例，实际应用中，还可以在包含多个磁盘的机拒之间构建磁盘阵列等实施方式。因此，在本发明实施例中，磁盘阵列 214还可以由固态硬盘（So l id S ta te Dr ives , SSD )、多个磁盘构成的机拒或服务器等由非易失性存储介质构成的存储器组成，在此不做限定。

[0056] 控制器 200 是存储设备 20 的 "大脑"，主要包括处理器 (proces sor) 202、緩存（ cache ) 204、内存（memory) 206、通信总线（筒称总线） 210以及通信接口（Communica t ion Interface) 212。处理器 202、緩存 204、内存 206以及通信接口 212通过通信总线 210完成相互间的通信。需要说明的是，在本发明实施例中，存储设备 20中的控制器 200可以是一个，也可以是多个。可以理解的是，当存储设备 20中包括至少两个控制器 200时，可以提高存储设备 20的稳定性。 [0057] 通信接口 212, 用于与主机 100、磁盘 216或其他存储设备通信。

[0058] 内存 206, 用于存放程序 208。内存 206可能包含高速 RAM存储器，也可能还包括非易失性存储器（non-volatile memory), 例如至少一个磁盘存储器。可以理解的是，内存 206可以为随机存储器（Random-Access Memory, RAM)、磁碟、硬盘、光盘、固态硬盘 (Solid State Disk, SSD)或者非易失性存储器等各种可以存储程序代码的非短暂性的（non-transitory)机器可读介质。

[0059] 程序 208可以包括程序代码，所述程序代码包括计算机操作指令。

[0060] 緩存 (Cache) 204是存在于控制器与硬盘之间的存储器，容量较硬盘小但速度比硬盘快。緩存 204用于緩存从主机 100或其他存储设备接收的数据以及緩存从磁盘 216读取的数据，以提高阵列的性能和可靠性。緩存 204可以是 RAM, ROM, 闪存（Flash memory )或固态硬盘 (Solid State Disk, SSD)等各种可以存储数据的非短暂性的（non-transitory)机器可读介质，在此不做限定。

[0061] 处理器 202可以是一个中央处理器 CPU, 或者是特定集成电路 ASIC ( Application Specific Integrated Circuit ), 或者是被配置成实施本发明实施例的一个或多个集成电路。在处理器 202中安装有操作系统和其他软件程序，不同的软件程序可以视作一个处理模块，具有不同的功能。例如，处理对磁盘 216的输入 /输出（Input/output, I/O)请求，对磁盘 216中的数据进行其他处理，或者修改存储设备 20中保存的元数据等等。从而使控制器 200可以实现 10操作、快照、镜像、复制等各种的数据管理功能。在本发明实施例中，处理器 202用于执行程序 208, 具体可以执行下述方法实施例中的相关步骤。

[0062] 可以理解的是，在本发明实施例中，第一存储设备 110、第二存储设备 120以及第三存储设备 130的硬件结构可能相似，但是由于在数据复制过程中第一存储设备 110、第二存储设备 120以及第三存储设备 130承担的职能不同，因此第一存储设备 110、第二存储设备 120以及第三存储设备 130中的处理器 202 执行的程序 208会有所不同。下面将对本发明实施例中各个存储设备具体如何实现数据复制的方法进行详细介绍。

[0063] 图 3是本发明实施例提供的一种数据复制方法的流程图。该方法可以应用于图 1所示的应用场景中。图 3所示的方法将从发送数据的第一存储系统 33侧进行描述。其中，第一存储系统 33可以包括图 1中所示的生产站点 11中的第一存储设备 110以及一级站点 12中的第二存储设备 120。其中，第一存储设备 110和第二存储设备 120中存储的数据相同。接收复制数据的第二存储系统 44可以包括第三存储设备 130。并且在本发明实施例中的第一存储设备 110、第二存储设备 120的硬件结构均可以如图 2所示。具体的，图 3所述的方法可以由第一存储设备 110、第二存储设备 120中的处理器 202共同执行。下面将结合图 1和图 2 , 对图 3中所示的数据复制方法进行描述。如图 3所示，该方法可以包括下述步骤。

[0064] 在步骤 300中，第一存储系统 33根据存储的数据确定复制信息，所述复制信息用于指示第一存储系统 33在当前复制任务中需要复制到第二存储系统 44的数据。其中，复制任务（也可以被称为异步远程复制任务）是指第一存储系统 33将一段时间内一个数据卷接收到的写数据命令携带的数据复制到第二存储系统 44的一个数据卷中。实际应用中，第一存储系统 33可以将这段时间内一个数据卷中的所有的数据都发送给第二存储系统 44 , 也可以将这段时间内接收到相对于上一次复制任务的差异数据（也称增量数据）发送给第二存储系统 44 , 在此不做限定。

[0065] 需要说明的是，在一种情形下，由于第一存储设备 110或第二存储设备 120中可以存在多个数据卷，因此，可能同时存在多个复制任务。在本发明实施例中，可以釆用复制任务标识来将不同的复制任务进行区分，其中，复制任务标识可以根据在当前复制过程中源数据卷的标识和目标数据卷的标识来确定。例如，复制任务标识可以为： A LUN001 B LUN002 , 用于表示该复制任务是将数据从存储设备 A中标识为 001的 LUN复制到存储设备 B中标识为 002的 LUN中。此外，复制任务标识还可以釆用其他标识来表示，在此不做限定。只要能让各存储设备识别出当前复制任务的源数据卷和目标数据卷即可。

[0066] 可以理解的是，在本发明实施例中，虽然第一存储设备 110与第二存储设备 120 通过同步复制的方式保持存储的数据的一致性，但第一存储设备 110与第二存储设备 120中存储相同数据的数据卷的标识并不一定相同。例如，在第一存储设备 110中存储数据 A的 LUN ID可以为 LUN 1# ,在第二存储设备 120 中存储数据 A的 LUN 的 ID可以为 LUN 2#。在实际应用中，可以预先配置第一存储设备 110、第二存储设备 120以及第三存储设备 130中各个数据卷之间的复制关系，使得第一存储设备 110、第二存储设备 120和第三存储设备 130在当前复制任务中均可以根据该复制关系确定相应的源数据卷和目标数据卷。换一种表达方式，在具有相同复制关系的各数据卷之间可以实现数据备份。

[0067] 在设置的复制关系中，可以包括复制关系标识，也可以包括第一存储设备 110、第二存储设备 120以及第三存储设备 130的 LUN的标识。例如，复制关系标识可以为： A LUN001 B LUN002 C LUN003 , 用于表示存储设备 A中标识为 001的 LUN、存储设备 B中标识为 002的 LUN以及存储设备 C中标识为 003 的 LUN之间存在复制关系。当然，复制关系标识也可以用其他的标识来表示，在此不做限定，只要能让各存储设备识别出当前复制任务中涉及的复制关系即可。在实际应用中，可以预先在第一存储设备 110、第二存储设备 120以及第三存储设备 130中均保存有这个复制关系。

[0068] 在本发明实施例中，复制任务是根据预设的复制关系启动的不同存储设备中的 LUN之间的复制任务，并且在某一时刻，具有相同复制关系的数据卷之间只可能存在一个复制任务。本发明实施例主要涉及在一个复制任务中各个设备之间的交互过程，因此在本发明实施例中，可以用复制关系标识来表示一个复制任务。换一种表达方式，在本发明实施例中，复制任务标识可以与复制关系标识相同。当然，实际应用中，若为了区分具有相同复制关系的数据卷之间在不同时间段存在的多个复制任务，复制任务标识也可以与复制关系标识不同，例如，复制任务标识可以在复制关系标识的基础上再增加时间标识，用于表示该复制任务是在具有相同复制关系的数据卷之间在不同时刻启动的复制任务。

[0069] 可以理解的是，在一种情形下，若第一存储设备 110、第二存储设备 120及第三存储设备 130的存储空间中均只存有一个数据卷时，当前复制任务就是针对各存储设备中唯一的一个数据卷在当前时刻启动的复制任务，因此，也可以不用预设各存储设备中各 LUN之间的复制关系。

[0070] 在本发明实施例中，复制信息可以根据第一存储设备 110或第二存储设备 120接收的差异数据信息来确定。差异数据信息是指存储设备在当前复制任务的前一个复制任务开始之后、并且在当前复制任务开始之前写入存储设备的数据的信息。实际应用中，差异数据信息可以用差异位图的方式来记录。以第一存储设备 100为例，第一存储设备 110可以为每一个数据卷（例如 LUN )创建一个差异位图，用于记录该数据卷中的写入的数据的信息。图 3a为本发明实施例提供的一种差异位图的示例。如图 3a所示，差异位图中的每一个格子对应 LUN 中的一段地址。在本发明实施例中，以标识位 " 来表示有数据写入。由于主机 100发送的写数据命令中会携带要写入的数据以及所述数据的地址，因此，当第一存储设备 100接收到主机 100发送的写数据命令后，可以根据该写数据命令中携带的数据的地址将差异位图中对应的格子中的标识位置为 "1"。通过这种差异位图的记录方式，能够记录写入该 LUN中的被改变的数据的信息。可以理解的是，在同一个复制周期中，如果同一个地址的数据被连续改变，则在记录时，可以将该数据地址对应的格子中的标识位保持为 "1"。可以理解的是，在另一种情形下，还可以以标识位 " 0" 来表示有数据写入。在又一种情形下，还可以 " 表示有数据写入，以 " 0" 表示没有数据写入。此外，还可以用其他标识位表示是否有数据写入，在此不对标识位的具体形式做限定。在本发明实施例中，差异位图可以保存在第一存储设备 110或第二存储设备 120的緩存中，也可以保存在第一存储设备 110或第二存储设备 120的存储器中。

[0071] 可以理解的是，差异数据信息除了可以以差异位图的形式来记录之外，还可以以 "树" 形结构来记录。例如可以釆用差异二叉树、差异 B+树以及其他树来记录差异数据信息。在釆用 "树"形结构来记录差异数据信息时，可以使每一个叶子节点对应 LUN中的一段地址。当有数据写入时，将该叶子节点的标识位置为相应的标识，用于表示该叶子节点对应的地址有数据写入。在又一种情形下，差异数据信息还可以以链表或表项的结构来记录，在釆用链表形式来表示时，该表中每一个表项对应 LUN中的一段地址。此外，差异数据信息还可以以日志等形式来记录，在此不做限定。与差异位图类似，上述以树形结构、链表结构或日志等形式记录的差异数据信息可以保存在第一存储设备 110 或第二存储设备 120的緩存中，也可以保存在第一存储设备 110或第二存储设备 120的存储器中。

[0072] 可以理解的是，当差异数据信息以差异位图的形式来记录时，复制信息也以复制位图的形式来表示。当差异数据信息以差异树的形式来记录时，复制信息也可以以复制树得形式来表示。以此类推，在此不再赘述。 [0073] 在本发明实施例中，为了描述方便，下面以差异位图为例进行描述，并且以标识位为 " 来表示有数据写入。当启动复制任务时，一种情形下，第一存储设备 110 可以将启动复制任务时的差异位图转换为复制位图以确定复制信息，并重新生成空的差异位图来记录该 LUN中在当前复制任务启动之后在第一存储设备 110中写入的数据。其中，复制位图用于表示在当前复制任务中需要复制到第三存储设备 130中的数据。根据这种方式，在复制时，可以将复制位图中为 "1"的格子对应的地址的数据复制到第三存储设备 130中。在又一种情形下，可以在第一存储设备 110中设置一个差异位图和一个复制位图，用差异位图来记录第一存储设备在当前复制任务的前一个复制任务开始之后、并且在当前复制任务开始之前写入的数据的信息。当启动当前复制任务时，可以将该差异位图转换为当前复制任务中的复制位图，并将前一个复制任务中使用完的复制位图转换为新的差异位图，用以记录当前复制任务开始之后写入的数据的信息。需要说明的是，当使用前一个复制任务中使用完的复制位图转换为新的差异位图时，需要清空前一个复制任务中的复制位图中的标识位后再作为新的差异位图。换一种表达方式，在这种情形下，可以将差异位图和复制位图更替使用，分别用以记录差异数据信息以及待复制到第三存储设备 130的数据的信息。在此不对如何具体根据差异数据信息确定复制信息的形式^故限定。

[0074] 如前所述，在图 1所示的 3DC容灾系统中，由于第一存储系统 33中的第一存储设备 110和第二存储设备 120通过同步复制技术保持存储的数据的一致性。当确定需要启动第一存储系统 33到第二存储系统 44的复制任务，换一种表达方式，当确定需要启动到第三存储设备 130 的异步复制时，第一存储系统 33需要确定复制信息，用于指示在当前复制任务中第一存储系统 33需要复制到第二存储系统 44的数据。在一种情形下，第一存储系统 33需要确定复制信息具体可以由第一存储设备 110与第二存储设备 120可以分别根据存储的数据确定复制信息。由于第一存储设备 110与第二存储设备 120中存储的数据相同，因此第一存储设备 110根据存储的数据确定的复制信息与第二存储设备 120根据存储的数据确定的复制信息相同。具体的，在本发明实施例中，以当前复制任务是在第一存储设备 110中的第一源数据卷、第二存储设备 120中的第二源数据卷以及第三存储设备 130中的目标数据卷之间启动的复制任务为例进行描述。其中，第一源数据卷与第二源数据卷中存储的数据相同。图 3b为本发明实施例提供的一种复制信息确定方法的流程图。如图 3b所示，该方法可以包括下述步骤。

[0075] 在步骤 310中，第一存储设备 110向第二存储设备 120发送复制任务启动消息。其中，所述复制任务启动消息中携带有第一存储设备 110中的第一源数据卷的标识和第三存储设备 130中的目标数据卷的标识。该复制任务启动消息用于通知第二存储设备 120当前复制任务为第一存储设备 110中的第一源数据卷与第三存储设备 130中的目标数据卷之间的复制任务。

[0076] 其中复制任务启动消息可以釆用预定义的消息格式进行。例如，在复制任务启动消息的头部可以包含消息类型（例如 opCode )字段、源设备 ID (例如， s rcAppId) 字段以及目标设备 ID (例如， ds tAppId ) 字段。其中，消息类型字段用于表示该消息的类型为复制任务启动信息。源设备 ID字段用于标识该复制进度消息的发起者，目标设备 ID字段用于标识该复制任务启动消息的接收者。源设备 ID以及目标设备 ID字段均可以用 IP地址来标识。复制任务启动消息的内容部分（例如，复制任务启动消息中的 da t a字段）的格式可以如下所示：

[0077] 其中： LUN ID: 可以位于第 0-4 个字节，用于表示当前复制任务中源数据卷的标识，该 LUN标识为唯一标识；

[0078] Rep l ica t ionObject LUN id: 可以位于第 4-8 个字节，用于表示当前复制任务中接收数据的目标设备中目标数据卷的标识，例如可以是目标设备的 LUN ID。换一种表达方式，该字段用于表示当前复制任务指向的目标存储设备中的目标数据卷。

[0079] 例如，在本步骤中，第一存储设备 110发送给第三存储设备 130的复制任务启动消息中， "LUN ID" 字段可以为第一存储设备 110中存储有待复制数据的第一源数据卷的 ID, 例如 LUN001。 "Rep l ica t ionObject LUN id" 字段可以为第三存储设备 130中的目标数据卷的 ID, 例如 LUN003。用于说明当前复制任务是第一存储设备 110中标识为 001的 LUN与第三存储设备 130中标识为 003的 LUN之间的复制任务。在又一种情形下， "LUN ID" 字段也可以为第二存储设备 120 中的第二源数据卷的 ID, 在这种情况下，可以由第一存储设备 110 预先根据预设的复制关系以及第一源数据卷的标识和目标数据卷的标识确定第二源数据卷的标识。

[0080] 在步骤 312 中，第二存储设备 120根据所述第一源数据卷的标识、所述目标数据卷的标识以及预设的复制关系确定所述第二存储设备中的所述第二源数据卷。其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系。如前所述，在本发明实施例中，在第一存储设备 110、第二存储设备 120以及第三存储设备 130中均预设有各数据卷之间的复制关系。在第二存储设备 120接收到第一存储设备 110的复制任务启动消息后，第二存储设备 120 可以根据预设的复制关系以及复制任务启动消息中携带的第一源数据卷的标识、目标数据卷的标识确定第二存储设备 120中的第二源数据卷。

[0081] 在步骤 314 中，第二存储设备 120根据确定的所述第二源数据卷中存储的数据确定所述复制信息。在步骤 316中，第一存储设备 110根据确定的所述第一源数据卷中存储的数据确定所述复制信息。例如，第二存储设备 120可以根据第二源数据卷的差异位图生成复制位图，第一存储设备 110可以根据第一源数据卷的差异位图生成复核位图。第一存储设备 110和第二存储设备 120具体如何根据数据卷中存储的数据确定复制信息可以参见前面的描述，在此不再赘述。由于第二源数据卷与第一源数据卷中存储的数据相同，因此，第二存储设备 120 根据第二源数据卷确定的复制信息与第一源数据卷确定的复制信息相同，且该复制信息即为第一存储系统 33在当前复制任务中的复制信息，用于指示第一存储系统 33在当前复制任务中需要复制到第二存储系统 44的数据。

[0082] 在另一种情形下，第一存储系统 33确定复制信息也可以具体由第一存储系统 33中的第一存储设备 110根据第一存储设备 110中存储的数据确定复制信息，再将确定后的复制信息发送给第二存储设备 120。通过这种方式也能够使第一存储设备 110和第二存储设备 120均具有相同的复制信息。具体的，可以如图 3c所示，图 3b为本发明实施例提供的又一种复制信息确定方法的流程图。图 3c所示的复制信息的确定方法仍然以当前复制任务是在第一存储设备 110中的第一源数据卷、第二存储设备 120 中的第二源数据卷以及第三存储设备 130 中的目标数据卷之间启动的复制任务为例进行描述。其中，第一源数据卷与第二源数据卷中存储的数据相同。该方法可以包括下述步骤。

[0083] 在步骤 320中，第一存储设备 110根据第一源数据卷中存储的数据确定复制信息。具体的，第一存储设备 110在需要启动复制任务时，可以根据第一源数据卷的差异位图确定复制信息，该复制信息用于指示当前复制任务中需要复制到第二存储系统 44的数据。第一存储设备 110确定复制信息的具体方式可以参见前面的描述，在此不再赘述。

[0084] 在步骤 322中，第一存储设备 110向所述第二存储设备 120发送复制任务启动消息。其中，该复制任务启动消息中可以携带所述第一源数据卷的标识、目标数据卷的标识以及所述复制信息。该复制任务启动消息用于通知第二存储设备 120当前复制任务为第一存储设备 110中的第一源数据卷与第三存储设备 130中的目标数据卷之间的复制任务。由于在步骤 320中，第一存储设备 110已经根据第一源数据卷确定了当前复制任务的复制信息，因此，第一存储设备 110 可以在通知第二存储设备 120启动复制任务时，将该复制信息同时发送给第二存储设备 120 ,从而第二存储设备 120可以不用自己确定复制信息。可以理解的是，在第二存储设备 120 没有记录差异数据的情形下，也可以由第一存储设备 110 将当前复制任务的复制信息发送给第二存储设备 120。可以理解的是，实际应用中，复制任务启动消息中除了携带复制信息外，还可以携带第一源数据卷的标识以及目标数据卷的标识，用于指示当前复制任务为第一源数据卷与目标数据卷之间的复制。关于复制任务启动消息的具体描述可以参见前面的描述的类似，具体还可以在前述复制任务启动消息的数据部分的其他字段携带复制信息。例如，可以在第 8个字节之后的字段中携带复制信息（例如，待复制的数据的地址信息），在此不再赘述。

[0085] 在步骤 324 中，第二存储设备 120根据所述第一源数据卷的标识、目标数据卷的标识以及预设的复制关系确定与所述复制信息对应的第二源数据卷。其中，所述复制关系中包含有所述第一源数据卷、所述目标数据卷与所述第二源数据卷的对应关系。具体的，第二存储设备 120接收到第一存储设备 110 的复制任务启动消息之后，可以根据预设的复制关系以及复制任务启动消息中携带的第一源数据卷的标识、目标数据卷的标识确定在第二存储设备 120中与第一源数据卷存储有相同数据的第二源数据卷，从而能够确定与该复制信息对应的第二源数据卷。

[0086] 图 3b和图 3c是本发明实施例提供的第一存储系统 33确定复制信息的两种实现方式，实际应用中，还可以才艮据具体网络的部署釆用其他的方式来确定第一存储系统 33 在当前复制任务中的复制信息，在此不对第一存储系统 33 确定复制信息的具体方式进行限定。需要说明的是，本发明实施例中，由于复制任务是在数据卷之间执行的复制任务，因此，本发明实施例中的复制信息均是指存储设备中某个数据卷的复制信息。通常，在一个复制任务中一个数据卷对应一个复制信息。

[0087] 在步骤 302中，第一存储系统 33根据所述复制信息确定第一复制子信息及第二复制子信息。其中，所述第一复制子信息用以指示需要由第一存储设备 110复制到第三存储设备 130的数据，所述第二复制子信息用于指示需要由第二存储设备 120复制到第三存储设备 130的数据。需要说明的是，在确定第一复制子信息和第二复制子信息时，需要确定第一复制子信息和第二复制子信息指示的数据范围，以避免第一存储设备 110和第二存储设备 120复制的数据重复。

[0088] 实际应用中，在一种情形下，第一复制子信息和第二复制子信息可以分别由第一存储系统 33中的第一存储设备 110和第二存储设备 120分别进行确定。具体的，第一存储设备 110可以才艮据在步骤 300中确定的复制信息以及预设的复制策略确定第一复制子信息，第二存储设备 120根据在步骤 300中确定的复制信息以及预设的复制策略确定第二复制信息。实际应用中，可以在第一存储设备 110中预先设定复制策略，其中，复制策略可以包括复制比例以及复制范围等。例如，在一种情形下，设定的策略可以为：第一存储设备 110从复制位图的头部开始向尾部方向复制，第二存储设备 120从复制位图的尾部开始向头部方向复制，当复制位置有交叉时结束复制。在又一种情形下，设定的策略可以为：第一存储设备 110从复制位图的头部开始向尾部方向复制 60%的差异数据，第二存储设备从复制位图的尾部开始向头部方向复制 40%的差异数据。在又一种情形下, 设定的策略还可以为：第一存储设备 110以及第二存储设备 120从复制位图的中部开始，分别向两头复制差异数据。此外设定的策略还可以包括第一存储设备 110需要复制的数据的地址范围以及第二存储设备 120需要复制的数据的地址范围等等。实际应用中可以才艮据具体情况设定复制策略，在此不对具体的复制策略进行限定。

[0089] 需要说明的是，由于本发明实施例中，启动异步复制时，需要将当前复制任务由第一存储设备 110与第二存储设备 120进行分担，因此需要在第一存储设备 110与第二存储设备 120中设置相同的复制策略，以避免第一存储设备 110和第二存储设备 120将相同的数据复制给第三存储设备 130。

[0090] 在又一种情形下，为了使第一存储设备 110与第二存储设备 120在复制过程中实现负载均衡，第一存储设备 110可以根据所述复制信息与第二存储设备 120协商确定第一复制子信息和第二复制子信息。具体的，如图 1所示，在协商过程，第一存储设备 110可以接收第二存储设备 120的协商请求，该协商请求中至少包含第二链路的带宽信息。第一存储设备 110可以根据第二链路的带宽信息确定第一复制子信息以及第二复制子信息。例如，若第二链路的带宽大于第一链路的带宽，第一存储设备 110可以确定第一复制子信息指示的数据量小于第二复制子信息指示的数据量，例如第一复制子信息指示的数据为需要复制的总数据量 30%, 第二复制子信息指示的数据为需要复制的总数据量 70%。在第一存储设备 110确定第一复制子信息和第二复制子信息后，第一存储设备 110可以将确定后的第二复制子信息发送给第二存储设备 120。第二复制子信息可以以协商响应消息的形式发送给第二存储设备 120 , 在协商响应消息中需要携带第二复制子信息所指示的数据的地址范围。

[0091] 需要说明的是，本发明实施例中，第一复制子信息和第二复制子信息均属于复制信息的一部分。或者，换一种表达方式，第一复制子信息指示的数据和第二复制子信息指示的数据均是复制信息指示的数据一部分。可以理解的是, 在第一存储系统 33只包括两个存储设备的情况下，复制信息可以由第一复制子信息和第二复制子信息组成。在本发明实施例中，当复制信息以复制位图的方式表示时，第一复制子信息或第二复制子信息并不需要另外以单独的复制位图来表示，可以在复制位图的基础上标识出第一复制子信息或第二复制子信息的范围即可。在本发明实施例中，并不对第一复制子信息和第二复制子信息的具体形式进行限定，只要第一复制子信息和第二复制子信息能够标识需要复制的数据的范围即可。

[0092] 可以理解的是，本发明实施例只是以第一存储系统 33中包括两个存储设备进行描述。在实际应用中，若第一存储系统 33中包含 N个存储设备，则在启动异步复制时，可以将当前复制任务的复制信息分为 N个部分。换一种表达方式，可以才艮据当前复制任务的复制信息确定 N个复制子信息，分别由 N个设备分别根据 N个复制子信息同时向第三设备进行复制。其中，Ν为大于 1的自然数。当复制信息以复制位图的方式表示时，第一复制子信息和第二复制子信息也可以以复制位图的方式来表示。

[0093] 在步骤 304 中，第一存储设备 110才艮据所述第一复制子信息将所述需要由所述第一存储设备 110复制到第三存储设备 130的数据复制到第三存储设备 130。例如，当复制信息以复制位图方式表示时，第一存储设备 110可以根据第一复制子信息将复制位图标识位为 "1" 的位置对应的第一源数据卷中的数据复制到第三存储设备 130的目标数据卷中。具体的，第一存储设备 110可以通过写数据命令或复制命令将需要由第一存储设备 110 中的第一源数据卷中的复制到第三存储设备 130的数据发送到第三存储设备 130的目标数据卷中。

[0094] 如图 1所示，由于第一存储设备 110和第三存储设备 130之间是釆用异步复制技术实现数据备份，因此第三存储设备 130中存储的数据会比第三存储设备 110 中存储的数据有一定时间的延迟。通常情况下，第一存储设备 110 在一段时间内会接收主机 100的多个写数据命令，并且第一存储设备 110在向第三存储设备 130进行异步远程复制时，主机 100仍然可能发送写数据命令给第一存储设备 110。因此在执行当前复制任务时，有必要将第一存储设备 110在当前复制任务中发送给第三存储设备 130的数据与其接收的新数据区分开。

[0095] 在本发明实施例中，可以利用快照技术将复制过程中第一存储设备 110发送给第三存储设备 130的数据与在复制过程中第一存储设备 110接收的新数据进行区分。快照是关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。在本发明实施例中，在启动复制时，可以通过对数据卷创建一个在创建时刻的状态视图，通过这个视图只可以看到数据卷在创建时刻的数据，在此时间点之后数据卷的修改（有新的数据写入），不会反映在快照视图中。利用这个快照视图，就可以做数据的复制。对于第一存储设备 110而言，由于快照数据是 "静止的，，，因此第一存储设备 110可以在将各个时间点的数据创建快照之后 , 再将快照数据复制到第三存储设备 130。通过这种方式既可以完成远程数据复制，也不会影响第一存储设备 110在复制期间继续接收主机 100发送的写数据命令。因此，第一存储设备 110可以在启动复制的时刻对第一源数据卷中的数据进行快照处理，以形成该时刻的第一源数据卷的数据副本，将所述数据副本发送给第三存储设备 130的目标数据卷。需要说明的是，所述数据副本即为在当前复制任务中待复制给第三存储设备 130的数据。

[0096] 可选的，本发明实施例还可以利用给第一存储设备 110接收到的每个写数据命令增加时间片编号的方式来解决上述问题。例如，第一存储设备 110 中可以包含一个当前时间片编号管理器，所述当前时间片编号管理器中保存有当前时间片编号。当前时间片编号可以用数值表示，例如 0、 1、 2。当前时间片编号也可以用字母表示，例如 a、 b、 c。在此不做限定。当第一存储设备 110接收到写数据命令时，在写数据命令携带的数据和数据的地址中增加由当前时间片编号赋值的第一编号。当一个异步远程复制任务触发时，将第一编号对应的数据作为在当前复制任务中的待复制给第三存储设备 130的数据，并且将第一编号对应的数据和数据的地址发送给第三存储设备 130。同时修改所述当前时间片编号，以标识后续的写数据命令。此外，在本发明实施例中，还可以釆用其他方式将第一存储设备 110在当前复制任务中需要发送给第三存储设备 130的数据与其接收的新数据进行区分。在此不做限定。

[0097] 在本发明实施例中，以第一存储设备 110 的存储空间中包含的数据卷为 LUN 为例。在启动复制任务时，例如，在确定复制信息时，第一存储设备 110可以通过快照的方式创建在当前时刻的第一源 LUN的副本。则在步骤 306中，第一存储设备 110可以将创建的第一源 LUN的副本中与第一复制子信息中标识位为 "1" 的格子对应的地址的数据复制到第三存储设备 130的目的 LUN中。本领域人员可以理解，通过这种创建 LUN副本的方式，即使在当前复制任务中，第一存储设备 110在第一源 LUN的相同地址又写入了新的数据，也不会影响当前复制任务中要复制的数据。

[0098] 在本步骤中，以第一存储设备 110通过写数据命令将数据复制到第三存储设备 130为例。当第一存储设备 110根据创建的第一源 LUN的副本以及所述第一复制子信息将数据复制到第三存储设备 130的目标 LUN中时，在第一存储设备 110发送给第三存储设备 130的写数据命令中，需要包含当前复制任务的目标 LUN的标识、待写入的数据以及待写入的数据的地址。其中，目标 LUN的标识可以是 LUN ID。待写入的数据的地址可以是数据的 LBA地址，用于表示所述数据的目的地址。第三存储设备 130可以根据所述目标 LUN的标识以及待写入的数据的 LBA地址将写数据命令中携带的数据写入第三存储设备 130的目标 LUN中。可以理解的是，在第一存储设备 110发送给第三存储设备 130的写数据命令中，还可以携带所述待写入数据的第一源 LUN的 ID, 用于标识该数据是从第一存储设备 110的第一源 LUN中发送的数据。

[0099] 在步骤 306 中，第二存储设备 120才艮据所述第二复制子信息将所述需要由所述第二存储设备 120复制到第三存储设备 130的数据复制到第三存储设备 130。由于步骤 306与步骤 304类似，因此可以参见步骤 304的相关描述。需要说明的是，在本发明实施例中，上述步骤 304和步骤 306没有先后顺序之分，第一存储设备 110的复制过程和第二存储设备 120的复制过程可以同时进行。

[00100] 在本发明实施例中，由于第一存储设备 110和第二存储设备 120通过同步复制方式保持存储的数据的一致性，并且，当前复制任务的复制信息是根据一个数据卷中写入的差异数据信息来确定的。例如，当前复制任务的复制信息是根据第一存储设备 110中的第一源数据卷中写入的差异数据信息来确定的。由于第一存储设备 110中的第一源数据卷中存储的数据与第二存储设备 120中的第二源数据卷存储的数据相同，第一复制子信息和第二复制子信息又是根据同一个复制信息确定的，因此，在第一源数据卷中也存储有与第二复制子信息指示的数据相同的数据，在第二源数据卷中也存储有与第一复制子信息指示的数据相同的数据。

[00101】在图 3所示的方法中，由于第一存储系统 33中的第一存储设备 110 和第二存储设备 120中存储的数据相同，因此，第一存储设备 110和第二存储设备 120可以有相同的复制信息。在启动异步复制过程中，第一存储系统 33通过复制信息确定第一复制子信息和第二复制子信息，并由第一存储设备 110才艮据第一复制子信息将数据复制到第三存储设备 130 , 由第二存储设备 120根据第二复制子信息将数据复制到第三存储设备 130。根据本发明实施例的方法，能够将第一存储系统 33的同一个复制任务由第一存储系统 33中的第一存储设备 110和第二存储设备 120 进行分担。与现有技术中只使用一条链路进行复制相比，图 3 所示的方法能够在不增加生产成本的情况下提升第一存储系统 33与第二存储系统 44之间的复制链路的带宽，提高了复制效率。例如，若图 1所示的第一链路和第二链路的带宽均为 10M, 则釆用本发明实施例的方法，在将第一存储系统 33 中的一个 LUN中的数据复制到第三存储设备 1 30时，复制链路带宽可以达到 20M。而釆用现有技术中只使用一条链路进行复制的方法，复制链路的带宽只有 1 0M。

[00102] 此外，与现有技术中只使用第一存储系统 33中的一个存储设备进行复制相比，釆用图 3所示的实施例的方法，在启动远程异步复制时是由第一存储系统 33中的多个存储设备同时进行，从而可以减少对第一存储系统 33中单个存储设备资源的消耗。

[00103] 图 4为本发明实施例提供的一种数据复制方法的信令图。图 4所示方法将从第一存储系统 33以及第二存储系统 44的角度对图 3所示的方法进一步进行详细描述。可以理解的是，图 4所示方法中的第一存储设备 110、第二存储设备 120以及第三存储设备 1 30的具体结构仍然可以如图 1所示。具体的，图 4 所示的方法可以分别由第一存储设备 110、第二存储设备 120以及第三存储设备 1 30中的处理器来执行。为了描述方便，本发明实施例中将复制信息以复制位图来表示、差异数据信息以差异位图来表示。在本发明实施例中，还是以当前复制任务为第一存储设备 110中的第一源数据卷、第二存储设备 120中的第二源数据卷以及第三存储设备 1 30中的目标数据卷之间的复制任务为例进行描述。下面将结合图 1和图 3对图 4所示的方法进行描述。具体如图 4所示，该方法包括：

[00104] 在步骤 402 中，第一存储设备 110确定启动异步复制任务。实际应用中，在第一存储设备 110中可以根据设定的定时器来确定是否启动异步复制任务，当定时器到达设定的异步复制时间时，确定启动异步复制任务。可以理解的是，第一存储设备 110通过设定定时器来启动异步复制只是一种实现方式.实际应用中，第一存储设备 110还可以根据接收的数据量来确定是否启动异步复制任务，当第一存储设备 110接收的数据量较少时，第一存储设备 110可以确定启动异步复制任务。

[00105] 在步骤 404中，第一存储设备 110停止接收主机 100的写数据命令，并处理已经接收的写数据命令。实际应用中，主机 100向第一存储设备 110写入数据或者主机 100从第一存储设备 110读取数据是通过向第一存储设备 110发送输入输出（Input /output , I /O )命令来实现的。在本发明实施例中，当第一存储设备 110确定启动向第三存储设备的异步复制流程时，第一存储设备可以停止接收主机的写数据命令，以便第一存储设备 110可以根据停止接收主机 100的写数据命令之前已接收的数据确定当前复制任务中需要从第一源数据卷复制的数据。

[00106] 在本步骤中，在第一存储设备 110和第二存储设备 120通过同步复制保持数据一致性的情况下，处理已经接收的写数据命令包括根据接收的写数据命令将数据写入第一存储设备 110以及第二存储设备 120。具体的，当第一存储设备 110接收到主机 100发送的写数据命令后，可以先緩存该写数据命令中携带的数据，再根据设定的写入策略将緩存中的数据写入数据卷中。与此同时，第一存储设备 110中的数据同步引擎获知了这个变化后，可以立即将变化的数据块从緩存中直接通过 SAN交换机发送到第二存储设备 120的緩存中。第二存储设备 120接收到该数据块后，会向第一存储设备 110发送一个写入成功的响应。第一存储设备 110在收到第二存储设备 120的响应后，会向主机 100返回一个写入成功的响应，以告知主机 100该写数据命令中的数据被处理完成。通过这种方式，可以使主机 100写入第一存储设备 110的第一源数据卷的数据被同步写入第二存储设备 120的第二源数据卷中。同样的，主机 100写入第二存储设备 120的第二源数据卷中的数据也会釆用类似的方式被同步写入第一存储设备 110 的第一源数据卷中。第一存储设备 110以及第二存储设备 120通过上述同步复制方式保持存储的数据的一致性。

[00107] 在步骤 406中，第一存储设备 110通知第二存储设备 120启动异步复制。在本发明实施例中，第一存储设备 110与第二存储设备 120通过同步复制方式使第一存储设备 110中存储的数据与第二存储设备 120中存储的数据相同。为了充分利用第一存储设备 110以及第二存储设备 120到第三存储设备 130之间的链路带宽，提高复制效率，在本发明实施例所述的复制过程中，可以由第一存储设备 110和第二存储设备 120—起完成同一个复制任务。因此，当第一存储设备 110确定启动异步复制时，需要通知第二存储设备 120启动异步复制流程。 [00108] 在本步骤中，第一存储设备 110可以向第二存储设备 120发送复制任务启动消息，具体的，在第一种情形下，第一存储设备 110可以将当前复制任务中涉及的复制关系通知第二存储设备 120 , 以使第二存储设备 120能够根据预设的复制关系确定当前复制任务所涉及的第二存储设备 120中的数据卷的标识。例如，第一存储设备 110可以在复制任务启动消息中将复制关系标识通知第二存储设备 120。在第二种情形下，第一存储设备 110可以在复制任务启动消息中携带第一源数据卷的标识以及目标数据卷的标识，以使第二存储设备 120可以根据预设的复制关系以及第一源数据卷的标识、目标数据卷的标识确定当前复制任务所涉及的第二存储设备 120中的第二源数据卷。在第三种情形下，第一存储设备 110在确定复制任务后，可以根据第一存储设备 110中预设的复制关系以及第一源数据卷的标识和目标数据卷的标识确定第二源数据卷的标识，并在发送给第二存储设备 120的复制任务启动消息中携带第二源数据卷的标识，使得第二存储设备 120能够根据接收的复制任务启动消息直接确定第二存储设备 120中的第二源数据卷。在第四种情况下，第一存储设备 110可以在复制任务启动消息中携带第一源数据卷的标识，以使第二存储设备 120可以根据第一源数据卷的标识及预设的复制关系确定当前复制任务所涉及的第二存储设备 120中的第二源数据卷。在第五种情况下，第一存储设备 110还可以在复制任务启动消息中携带目标数据卷的标识，以使第二存储设备 120可以根据目标数据卷的标识及预设的复制关系确定当前复制任务所涉及的第二存储设备 120中的第二源数据卷。在本发明实施例中不对第二存储设备 120 具体如何通过复制任务启动消息确定第二源数据卷的具体方式进行限定，只要能够让第二存储设备 120确定与第一源数据卷存储有相同数据的第二源数据卷即可。关于复制任务启动消息的具体描述可以参见图 3 所示实施例的相关描述。在此不再赘述。

[00109] 在步骤 408中，第二存储设备 120停止接收主机 100的写数据命令，并处理已经接收的写数据命令。具体的，当第二存储设备 120接收到第一存储设备 110关于启动异步复制的通知后，可以停止接收主机 100的写数据命令。由于步骤 408与步骤 404类似，具体描述可以参见步骤 404。

[00110] 在步骤 410中，第二存储设备 120创建当前时刻的第二源数据卷的副本。实际应用中，第二存储设备 120可以通过快照的方式创建在当前时刻的第二源数据卷的副本。通过这种方式，可以确定第二存储设备 120在当前复制任务中需要复制的数据，并可以通过第二源数据卷的副本将当前复制任务中需要复制的数据与第二存储设备 120在当前复制任务中新接收的数据进行区分。具体如何创建通过快照技术创建第二源数据卷的副本可以参见前面的描述，在此不再赘述。

[00111] 在步骤 412 中，第二存储设备 120根据第二源数据卷的差异位图生成第二复制位图。在本发明实施例中，第二存储设备 120在接收到主机 100发送的向第二源数据卷写数据的写数据命令后 ,会根据该写数据命令中携带的数据的地址更新第二源数据卷的差异位图。例如，第二存储设备 120可以将差异位图中与该数据地址对应的格子中的标识位置为 "1" , 用于标识该格子对应的地址有数据写入。第二存储设备 120的差异位图用于记录所述第二存储设备 120的第二源数据卷在当前复制任务的前一个复制任务开始之后、并且在当前复制任务开始之前写入的数据的信息。由于本步骤与步骤 301类似，因此，具体如何根据第二存储设备 120中第二源数据卷的差异位图生成第二复制位图可以参见步骤 301的描述。

[00112] 在步骤 414中，第二存储设备 120通知第一存储设备 110已准备好异步复制。实际应用中，为了使开始复制时第一存储设备 110 与第二存储设备 120均已做好异步复制的准备，例如第一存储设备 110与第二存储设备 120均已经准备好复制位图以及数据卷的副本，则在第二存储设备 120生成第二复制位图并创建当前复制任务所需的第二源数据卷的副本后，第二存储设备 120可以通知第一存储设备 110已经做好异步复制的准备。

[00113] 在步骤 416 中，第一存储设备 110创建当前时刻的第一源数据卷的副本。在第一存储设备 110确认第二存储设备 120已经做好异步复制的准备后，第一存储设备 110开始创建当前时刻的第一源数据卷的副本。该步骤与步骤 410 类似，具体可以参见步骤 410的描述。在此不再赘述。

[00114] 在步骤 418 中，第一存储设备 110根据第一源数据卷的差异位图生成第一复制位图。由于步骤 418与步骤 412类似，具体可以参见步骤 412的描述。需要说明的是，由于在本发明实施例中，第一存储设备 110与第二存储设备 120 通过同步复制技术保持存储的数据的一致性，第一源数据卷中存储的数据与第二源数据卷中存储的数据相同，因此，第一存储设备 110的第一复制位图与第二存储设备 120的第二复制位图相同。

[00115] 在步骤 420中，第一存储设备 110通知第二存储设备 120开始接收主机 100的写数据命令。为了使第一存储设备 110与第二存储设备 120保持同步，当第一存储设备 110在确认第一存储设备 110和第二存储设备 120已经做好当前复制任务的复制准备后，可以通知第二存储设备 120开始接收主机 100的写数据命令 , 因为在做好复制准备后接收的主机 100的写数据命令 , 不会影响当前复制任务的执行。

[00116] 在步骤 422中，第一存储设备 110开始接收主机 100的写数据命令。在步骤 424中，第二存储设备 120开始接收主机 100的写数据命令。可以理解的是，在当前复制任务启动之后写入第一存储设备 110和第二存储设备 120的数据将再下一个复制任务中被复制到第三存储设备 130。

[00117] 需要说明的是，实际应用中，步骤 404、 408、 410、 416以及 420-424 是可选的。例如，如前所述，如果釆用增加时间片编号的方式来确定存储设备在当前复制任务中需要复制的数据，则启动异步复制时，第一存储设备 110以及第二存储设备 120可以不停止接收主机 100的写数据命令，并且也可以不需要创建 LUN的副本。

[00118] 在步骤 426 中，第一存储设备 110才艮据第一复制位图和复制策略确定第一复制子信息。在步骤 428中，第二存储设备 120才艮据第二复制位图和复制策略确定第一复制子信息。在本发明实施例中，由于第一复制位图和第二复制位图相同，并且预设的复制策略也相同，因此第一存储设备 110 和第二存储设备 120 可以分别确定复制子位图。这里的复制子位图具体可以包括第一存储设备 110确定的第一复制子位图和第二存储设备 120确定的第二复制子位图。其中，第一复制子位图用于标识需要由第一存储设备 110复制到第三存储设备 130的数据的信息，第二复制子位图用于标识需要由第二存储设备 110复制到第三存储设备 130 的数据的信息。可以理解的是，在复制策略中会指定第一存储设备 110 与第二存储设备 120的具体复制范围，因此第一复制子位图指示的数据与第二复制子位图指示的数据不会重复。步骤 426和步骤 428与步骤 302类似，具体可以参见步骤 302的相关描述。

[00119] 在步骤 430中，第一存储设备 110才艮据第一复制子位图复制部分差异数据到第三存储设备 130。具体复制时，第一存储设备 110在当前复制任务的一次复制过程中可以根据第一存储设备 110的复制规则复制一部分差异数据，例如复制规则可以设定一次复制的数据块的 LBA的数量。

[00120] 在步骤 432中，第三存储设备 130向第一存储设备 110返回单次复制成功的响应，以通知第一存储设备 110该次复制的数据已被成功写入第三存储设备 130中。

[00121] 在步骤 434中，第一存储设备 110根据第三存储设备 130返回的复制成功响应更新第一复制子位图。具体的，在更新第一复制子位图时，可以将与已经复制完成的数据的地址对应的第一复制子位图中的格子打上复制完成的标识，也可以将第一复制子位图中与已复制完成的数据的地址对应的格子中的标识位删除。例如，可以将第一复制子位图中与已复制完成的数据的地址对应的格子中的标识位 "1" 删除。可以理解的是，由于第一复制子位图是第一复制位图的一部分，因此更新了第一复制子位图也就更新了第一复制位图。

[00122] 在步骤 436中，第一存储设备 110发送第一存储设备 110的复制进度信息给第二存储设备 120。在本发明实施例中，第一存储设备 110每复制完一次差异数据，就需要将第一存储设备 110 的复制进度信息发送给第二存储设备 120 , 以便第二存储设备 120可以了解第一存储设备 110的复制进度，若第一存储设备 110在复制过程中出现故障，则第二存储设备 120可以根据第一存储设备 110的复制进度信息对第一存储设备 110的复制任务进行接管。为了将第一存储设备 110的复制进度信息与第二存储设备 120的复制进度信息进行区分，在本发明实施例中将第一存储设备 110的复制进度信息称为第一复制进度信息，将第二存储设备 120的复制进度信息称为第二复制进度信息。

[00123] 实际应用中，第一存储设备 110可以通过复制进度消息的形式将第一复制进度信息发送给第二存储设备 120。其中，复制进度消息的格式可以与前述的复制任务启动消息的格式类似。在复制进度消息的头部也可以包含消息类型

(例如 opCode ) 字段、源设备 ID (例如， s rcAppId) 字段以及目标设备 ID (例如， ds tAppId )字段。其中，消息类型字段用于表示该消息的类型为复制进度信息。在复制进度消息的内容部分（例如，复制进度消息中的 da ta字段）除了需要携带当前复制任务的源数据卷以及目标数据卷以外，还需要携带当前的复制进度信息，例如复制进度消息的内容部分的格式可以如下所示:

其中：关于 "LUN ID" 和 "Repl icat ionObject LUN id" 字段的描述可以参见前述关于复制任务启动消息中的描述。在此不再赘述。

[00124] Addres s : 该字段可以位于第 8个字节之后，用于携带当前的复制进度信息。其中，复制进度信息可以是一个或多个逻辑单元地址（Logica l Block Addres s , LBA )地址，也可以是更新后的复制位图。例如可以是更新后的第一复制子位图。当复制进度信息为一个 LBA时，可以用于表示已经复制的最后一个数据的 LBA。当复制进度信息为多个 LBA时，可以用于表示当前已复制完成的所有数据的地址。在此不对复制进度信息的具体形式进行限定，只要能够表示复制进度即可。

[00125] 例如，在第一存储设备 110发送给第二存储设备 120的第一复制进度消息中，在第一复制进度消息的头部， "源设备 ID" 字段可以为第一存储设备 110的 IP地址， "目的设备 ID" 字段可以为第二存储设备 120的 IP地址。在第一复制进度消息的内容部分， "LUN ID" 字段可以为待复制的数据在第一存储设备 110的第一源数据卷的 ID; "Repl icat ionObject LUN id" 字段可以为第三存储设备 130 中的目标数据卷的 ID; "Addres s" 字段可以为已经复制的最后一个数据的 LBA。需要说明的是，在本发明实施例中，由于预先在第一存储设备 110 中第一源数据卷、第二存储设备 120 中的第二源数据卷以及第三存储设备 130 中的目标数据卷之间建立有复制关系。从而，第二存储设备 120可以根据第一复制进度消息中的 LUN id字段以及预设的复制关系确定当前复制任务对应的第二存储设备 120 中的第二源数据卷。并且第一存储设备 110和第二存储设备 120 对应的 LUN的 I D可以相同也可以不同，只要能够根据所述复制关系确定存储有相同数据的数据卷即可。

[00126] 在步骤 438 中，第二存储设备 120才艮据第二复制子位图复制部分差异数据到第三存储设备 130。在步骤 440中，第三存储设备 130向第二存储设备 120返回单次复制完毕的响应，以通知第二存储设备 120该次复制的数据已被成功写入第三存储设备 1 30中。在步骤 442中，第二存储设备 120根据第三存储设备 1 30返回的单次复制成功响应更新第二复制子位图。在步骤 444中，第二存储设备 120发送第二存储设备 120的复制进度信息给第一存储设备 110。

[00127] 需要说明的是，步骤 438至步骤 444描述的是第二存储设备 120在当前复制任务中的一次复制过程，该过程与步骤 430至步骤 436描述的第一存储设备 110在当前复制任务中的一次复制过程类似，因此关于步骤 438至步骤 444 描述的可以分别参见步骤 430至步骤 436的相关描述。

[00128] 在步骤 446 中，第一存储设备 110确定根据第一复制子位图复制完成，结束当前复制任务。在复制过程中，第一存储设备 110将循环执行步骤 430 至步骤 436的动作，直到第一存储设备 110确定根据第一复制子位图将需要由第一存储设备 110复制的数据复制完成为止，则第一存储设备 110可以结束本次复制任务。可以理解的是，若第一复制子位图是根据预设的复制策略来确定，且预设的复制策略是设定第一存储设备 110 从复制位图指示的数据的起始地址开始向终止地址的方向复制，第一存储设备 110从复制位图指示的数据的终止地址开始向起始地址的方向复制。则当第一存储设备 110根据第二存储设备 120的复制进度信息确定第一存储设备 110要复制的数据与第二存储设备 120已复制完成的数据有重复时，确定结束当前复制任务。需要说明的是，当结束当前复制任务后 , 需要删除第一存储设备 110在步骤 416中创建的第一存储设备 110中的第一源数据卷的副本。

[00129] 在步骤 448 中，第二存储设备 120确定才艮据第二复制子位图复制完成，结束当前复制任务。在复制过程中，第二存储设备 120将循环执行步骤 438 至步骤 _{4 4}4的动作，直到第二存储设备 120确定根据第二复制子位图将需要由第二存储设备 120复制的数据复制完成为止，第二存储设备 120可以结束当前复制任务。需要说明的是，当结束当前复制任务后，需要删除第二存储设备 120在步骤 410中创建的第二存储设备 120中的第二源数据卷的副本。

[00130] 需要说明的是，在复制过程中，第一存储设备 110和第二存储设备 120可以分别执行复制任务。在本发明实施例中，并不对第一存储设备 110执行步骤 430至步骤 436以及第二存储设备 120执行步骤 438至步骤 444的先后顺序进行限制。

[00131] 在又一种情形下，若在复制过程中，第一存储设备 110 出现故障，则在第二存储设备 120确定第一存储设备 110 出现故障后，第二存储设备 120 可以根据在第一存储设备 110出现故障前最后一次接收的第一存储设备 110的复制进度信息以及所述第二复制位图确定所述第一存储设备 110 尚未复制完成的数据，并从第二源数据卷中将第一存储设备 110尚未复制完成的数据复制到第三存储设备 130的目标数据卷中。

[00132] 实际应用中，第二存储设备 120可以根据第二存储设备 120与第一存储设备 110之间的心跳来检测第一存储设备 110是否出现故障，例如当第二存储设备 120在设定的时间内未收到第一存储设备 110的心跳信号时，则可以判断第一存储设备 110出现故障。进一步的，为了提高检测的准确性，第二存储设备 120在通过心跳判断第一存储设备 110出现故障后，可以向第三存储设备 130发送查询请求，该查询请求用于查询第一存储设备 110与第三存储设备 130的通信情况，若第二存储设备 120的第三存储设备 130返回的查询响应显示第一存储设备 110与第三存储设备 130的通信也已经中断，则第二存储设备 120可以确定第一存储设备 110出现故障。第二存储设备 120可以对第一存储设备 110的复制任务进行接管，将第一存储设备 110尚未复制到第三存储设备 130的数据复制到第三存储设备 130。

[00133] 在本发明实施例中，由于第二存储设备 120也可以将自己的复制进度信息通知第一存储设备 110 , 因此，若在复制过程中，第二存储设备 120出现故障，则第一存储设备 110也可以根据第二存储设备 120的复制进度信息以及第一复制位图对第二存储设备 120的复制任务进行接管，将第二存储设备 120尚未复制到第三存储设备 130的数据复制到第三存储设备 130。该过程与前述的第二存储设备 120接管第一存储设备 110的复制任务的过程类似，具体可以参见前面的描述，在此不做赞述。

[00134] 图 4所示的方法，在图 3所示的方法的基础上，通过在复制进程中，第一存储设备 110和第二存储设备 120相互通知复制进度 , 从而在复制过程中，若第一存储设备 110或第二存储设备 120出现故障，第一存储系统 33中未出现故障的一个存储设备能够继续完成出现故障的存储设备的复制任务。使第一存储系统 33的复制任务不会因为其中一个存储设备出现故障而中断，在提高复制效率的同时，进一步的增强了系统的稳定性。

[00135] 图 5为本发明实施例提供的又一种数据复制方法的流程图。图 5所示的方法仍然以包含有三个存储设备的 3DC容灾系统为例。图 5所示的方法是从接收数据的第二存储系统 44侧进行描述，其中，第一存储系统 33中包括第一存储设备 110和第二存储设备 120 , 第二存储系统 44中可以包含图 1所示的二级站点 1 3 中的第三存储设备 1 30。在本发明实施例中，还是以当前复制任务为第一存储设备 110中的第一源数据卷、第二存储设备 120中的第二源数据卷以及第三存储设备 1 30中的目标数据卷之间的复制任务为例进行描述。下面将结合图 1 对图 5所示的方法进行描述。如图 5所示：

[00136] 在步骤 500中，第三存储设备 1 30接收第一存储系统 33发送的复制信息，所述复制信息用于指示所述第一存储系统 33需要复制到所述第三存储设备 1 30中的数据。实际应用中，当启动第一存储系统 33和第二存储系统 44之间的异步复制任务时，可以由第一存储系统 33中的第一存储设备 110或第二存储设备 120向第二存储系统 44中的第三存储设备 1 30发送复制信息。下面以第一存储设备 110向第三存储设备 1 30发送复制信息为例。具体的，第一存储系统 33 中的第一存储设备 110可以根据第一源数据卷中存储的数据确定复制信息。其中，复制信息可以根据第一存储设备 110在当前复制任务开始时第一源数据卷的差异数据信息获得。在确定当前复制任务的复制信息后，第一存储设备 110 可以将确定的复制信息发送给第三存储设备 1 30。其中，复制信息可以以复制位图的形式来体现，也可以以 "树"型结构等其他结构形式来体现，在此不做限定。关于复制信息、差异数据信息的相关描述可以参见图 3中步骤 300的描述，在此不再赘述。

[00137] 实际应用中，第一存储设备 110可以通过向第三存储设备 1 30发送复制任务启动消息将复制信息发送给第三存储设备 1 30。所述复制任务启动消息中携带有所述第一源数据卷的标识以及根据所述第一源数据卷存储的数据确定的所述复制信息。复制任务启动消息的具体描述可以参见图 3或图 4所示的实施例中相关描述。 [00138] 在步骤 502 中，第三存储设备 130根据所述复制信息向第一存储设备 110发送第一获取请求。其中，第一获取请求中包含有第三存储设备 130需要向所述第一存储设备 110获取的数据的信息。第一获取请求中包含的数据的信息至少包括需要获取的数据所属的数据卷的标识以及数据的地址信息。例如，第一获取请求中包含的数据的信息至少包括第一源数据卷的标识以及第一获取请求要获取的数据的地址。其中，需要获取的数据所属的数据卷的标识可以为 LUN 的标识，数据的地址可以是一段 LBA地址。

[00139] 实际应用中，第一获取请求可以是读取命令或复制命令等命令格式，在此不做限定。第三存储设备 130也可以根据接收的复制信息准备好存储空间后再向第一存储设备 110发送第一获取请求，以便能够及时接收并存储第一存储设备 110根据第一获取请求发送的数据。

[00140] 需要说明的是，在本步骤中，所述第一获取请求的命令格式可以参照步骤 436中复制进度消息的格式，在第一获取请求中的消息类型需要指明该消息为获取请求。在第一获取请求中需要携带的要获取的数据的信息可以包括：当前复制任务中需要获取的数据在第一存储设备中的第一源数据卷的标识以及数据地址。

[00141] 在步骤 504 中，第三存储设备 130才艮据所述复制信息向所述第一存储系统 33中的第二存储设备 120发送第二获取请求。其中，第二获取请求中包含有第三存储设备 130需要向所述第二存储设备 120获取的数据的信息。具体的，在第三存储设备 130接收到第一存储设备 110发送的复制任务启动消息之后 ,可以根据预设的所述第一源数据卷的标识以及预设的复制关系确定所述第二存储设备 120中的第二源数据卷以及在第三存储设备 130中的目标数据卷。其中，第二源数据卷中存储的数据与第一源数据卷中存储的数据相同，目标数据卷用于存储第三存储设备 130在所述当前复制任务中接收的数据。第三存储设备 130在确定第二源数据卷之后，可以向第二存储设备 120发送第二获取请求，在第二获取请求中含的要获取的数据的信息至少包括第二存储设备中的第二源数据卷的标识以及所述第二获取请求要获取的数据地址。具体关于复制关系的描述可以参见图 3所示实施例的描述。

[00142] 可以理解的是，为了防止第一存储设备 110和第二存储设备 120复制的数据重复，所述第二获取请求中的数据地址与所述第一获取请求中的数据地址不同。根据这种方式，所述第二获取请求要获取的数据与所述第一获取请求要获取的数据不同。由于步骤 504与步骤 502类似，因此，关于第二获取请求的相关描述可以参见步骤 502的描述。

[00143] 需要说明的是，在本发明实施例中，步骤 502和步骤 504没有先后顺序之分，第三存储设备 130可以分别同时向第一存储设备 110和第二存储设备 120的发送请求，以分别向第一存储设备 110和第二存储设备 120获取数据。

[00144] 优选的，为了使第一存储设备 110和第二存储设备 120在复制过程中的负载均衡，在步骤 502中，第三存储设备 130向第一存储设备 110发送第一获取请求时，第三存储 130可以根据第三存储 130与第一存储设备 110之间的链路带宽来确定向第一存储设备 110获取的数据量。具体的，第三存储设备 130 可以根据接收的复制信息以及第三存储设备 130与第一存储设备 110之间的链路带宽确定需要向第一存储设备 110获取的数据后，再根据确定的需要向第一存储设备 110获取的数据向第一存储设备 110发送所述第一获取请求。同样的，在步骤 504中，第三存储设备 130向第二存储设备 120发送第二获取请求时，第三存储 130也可以根据第三存储 130与第二存储设备 120之间的链路带宽来确定向第二存储设备 120获取的数据量。具体的，第三存储设备 130 可以根据接收的复制信息以及第三存储设备 130与第二存储设备 120之间的链路带宽确定需要向第二存储设备 120获取的数据后，再根据确定的需要向第二存储设备 120获取的数据向第二存储设备 120发送所述第二获取请求。

[00145] 在步骤 506中，第三存储设备 130接收第一存储设备 110根据所述第一获取请求发送的数据。具体的，第一存储设备 110可以根据第一获取请求中携带的要获取的数据的地址将第一源数据卷中存储的相应的数据发送给第三存储设备 130 , 以将数据复制到第三存储设备 130的目标数据卷中。

[00146] 在步骤 508中，第三存储设备 130接收第二存储设备 120根据所述第二获取请求发送的数据。第二存储设备 120也可以根据第二获取请求中携带的要获取的数据的地址将第二源数据卷中存储的相应的数据发送给第三存储设备 130 , 以将数据复制到第三存储设备 130的目标数据卷中。

[00147] 在图 5所示的方法中，由于第三存储设备 130会接收第一存储设备 110发送的当前复制任务的复制信息，因此第三存储设备 130可以同时向第一存储设备 110和第二存储设备 120获取数据，提高了复制链路带宽以及复制效率。并且第三存储设备 130可以在准备好存储空间后再自主选择向第一存储设备 110 和第二存储设备 120获取的数据的范围，使得第三存储设备 130的自主性更强，操作更加灵活。此外，在第三存储设备 130向第一存储设备 110和第二存储设备 120获取数据时，可以根据链路带宽确定向第一存储设备 110或第二存储设备 120 获取的数据量，能够使第一存储设备 110和第二存储设备 120在当前复制任务中达到负载均衡。

[00148] 图 6 为本发明实施例提供的又一种数据复制方法的信令图。该方法也以图 1中所示的包含有三个存储设备的 3DC容灾系统为例对如何将第一存储系统 33中的数据复制到第二存储系统 44进行描述。为了描述方便，本发明实施例中仍然将复制信息以复制位图来表示、差异数据信息以差异位图来表示进行描述。下面将结合图 1对图 6进行描述。具体如图 6所示，该方法可以包括下述步骤。

[00149] 在步骤 602 中，第一存储设备 110确定启动异步复制任务。在步骤 604中，第一存储设备 110停止接收主机 100的写数据命令，并处理已经接收的写数据命令。在步骤 606中，第一存储设备 110通知第二存储设备 120启动异步复制。在步骤 608中，第二存储设备 120停止接收主机的写数据命令，并处理已经接收的写数据命令。在步骤 610 中，第二存储设备 120创建当前时刻的 LUN 的副本。在步骤 612中，第二存储设备 120通知第一存储设备 110已准备好异步复制。在步骤 614 中，第一存储设备 110创建当前时刻的 LUN的副本。在步骤 616中，第一存储设备 110根据差异位图生成复制位图。

[00150] 上述步骤与图 4所示实施例中的步骤 402至步骤 410、步骤 414至步骤 418类似，具体可以分别参见图 4相关步骤的描述。

[00151] 在步骤 618 中，第一存储设备 110将复制位图发送给第三存储设备 130。具体在发送复制位图时，第一存储设备 110仍然可以在复制任务启动消息中的内容部分携带复制位图的形式将复制位图发送给第三存储设备 130 , 其中，。关于复制任务启动消息的具体描述，可以参见图 3、图 4或图 5所示的实施例中相关描述。 [00152] 在步骤 620中，第三存储设备 1 30向第一存储设备 110返回收到复制位图的响应。在步骤 622中，第一存储设备 110删除本地复制位图。具体的，当第一存储设备 110将复制位图成功发送给第三存储设备 1 30后，为了节省资源，第一存储设备 110可以删除本地复制位图。需要说明的是，在图 6所示的实施例中，还可以由第二存储设备 120生成复制位图后发给第三存储设备 1 30 , 在此不进行限定。在图 6所示的实施例中，只需要由第一存储设备 110或第二存储设备 120生成一份复制位图即可，而不需要第一存储设备 110和第二存储设备 120均生成复制位图。

[00153] 在步骤 624中，第一存储设备 110通知第二存储设备 120开始接收主机的写数据命令。在步骤 626中，第一存储设备 110开始接收主机 100的写数据命令。在步骤 628中，第二存储设备 120开始接收主机 100的写数据命令。步骤 624至步骤 628分别与图 4中的步骤 420至步骤 424类似，具体可以参见图 4 中步骤 420至步骤 424的相关描述。

[00154] 在步骤 630中，第三存储设备 1 30根据所述复制位图向第一存储设备 110发送第一获取请求。其中，第一获取请求中包含有第三存储设备 1 30需要向所述第一存储设备 110获取的数据的地址信息。步骤 630与图 5 中步骤 503 类似，具体可以参见图 5所示实施例中步骤 503的相关描述。

[00155] 在步骤 632中，第三存储设备 1 30接收第一存储设备 110根据所述第一获取请求发送的数据。步骤 632与图 5中步骤 506类似，具体可以参见图 5 所示实施例中步骤 506的相关描述。

[00156] 在步骤 634 中，第三存储设备 1 30根据接收的数据更新所述复制位图。具体的，第三存储设备 1 30可以根据接收的数据的地址信息更新所述复制位图。具体的，在更新复制位图时，可以将与已经复制完成的数据的地址对应的复制位图中的格子打上复制完成的标识，也可以将复制位图中与已复制完成的数据的地址对应的格子中的标识位删除。例如，可以将复制位图中与已复制完成的数据的地址对应的格子中的标识位 " 删除。实际应用中，第三存储设备 1 30可以每接收一次数据就更新一次复制位图，在此不做限定。

[00157] 在步骤 636 中，第三存储设备 1 30根据所述复制位图向第二存储设备 120发送第二获取请求。其中，第二获取请求中包含有第三存储设备 1 30需要向所述第二存储设备 120获取的数据的地址信息。需要说明的是，为了防止第一存储设备 110和第二存储设备 120复制的数据重复，所述第二获取请求要获取的数据与所述第一获取请求要获取的数据不同。该步骤与步骤 504类似，具体可以参见步骤 504的相关描述。

[00158] 在步骤 638中，第三存储设备 1 30接收第二存储设备 120根据第二获取请求返回的数据。在步骤 640中，第三存储设备 1 30根据接收的第二存储设备 120发送的数据更新所述复制位图。步骤 638至步骤 640分别与步骤 632至步骤 634类似，具体可以参见步骤 632至步骤 634的相关描述。

[00159] 需要说明的是，在本发明实施例中，步骤 630至步骤 634与步骤 636 至步骤 640没有先后执行顺序之分，第三存储设备 1 30可以分别同时向第一存储设备 110和第二存储设备 120的发送请求，以分别向第一存储设备 110和第二存储设备 120获取数据。

[00160] 在步骤 642 中，第三存储设备 1 30根据更新后的复制位图确定当前复制任务完成，则结束当前复制任务。在实际应用中，步骤 630至步骤 640可以循环执行，第三存储设备 1 30每获取一次数据就可以向第一存储设备 110或第二存储设备 120发送一次获取请求，并根据接收的数据更新复制位图。当第三存储设备 1 30根据更新后的复制位图确定需要复制的数据已经全部复制完成时，可以结束当前复制任务，不再向第一存储设备 110或第二存储设备 120发送获取请求。可以理解的是，当前复制任务完成后，第三存储设备 1 30可以删除该复制位图。

[00161] 在又一种情形下，若在复制的过程中，第三存储设备 1 30确定第一存储设备 110和第二存储设备 120中任意一个存储设备出现了故障，则第三存储设备 1 30 可以向未出现故障的一个存储设备发送获取请求，请求第一存储设备 110和第二存储设备 120中未出现故障的一个存储设备将尚未复制的数据发送给第三存储设备 1 30。可以理解的是，第三存储设备 1 30确定第一存储设备 110或第二存储设备 120 是否故障，可以通过设定时间内是否收到第一存储设备 110 或第二存储设备 120的心跳信号来确定，也可以通过在设定时间内是否收到第一存储设备 110或第二存储设备 120发送的数据来确定，在此不对第三存储设备 1 30如何确定第一存储设备 11 0或第二存储设备 120是否故障的方法进行限定。

[00162] 由于在图 6所示的实施例中，第三存储设备 1 30可以同时向第一存储系统 33中的第一存储设备 110和第二存储设备 120获取待复制的数据，因此，提高了链路复制带宽。并且，当第一存储系统 33中的一个存储设备出现故障时，第三存储设备 1 30可以继续向未出现故障的存储设备获取数据 ,使第一存储系统 33 的复制任务不会因为其中一个存储设备出现故障而中断，在提高复制效率的同时，进一步的增强了系统的稳定性。

[00163] 需要说明的是，在上述实施例中，均是以第一存储设备 110和第二存储设备 120通过同步复制技术保持数据的一致性为例进行描述，实际应用中，第一存储设备 110和第二存储设备 120也可以通过异步复制保持存储的数据的一致性，只要在启动第一存储系统 33对第二存储系统 44的复制任务时，保证第一存储系统 33中的第一存储设备 110和第二存储设备 120中存储有相同的数据即可。在此不做限定。

[00164] 图 7为本发明实施例提供的又一种存储系统的结构示意图，图 7 中所示的存储系统可以为图 1所示的二级站点 1 3中的第三存储设备 1 30 , 下面仍然结合图 1对图 7中所示的存储系统进行描述。如图 7所示，该存储系统 70可以包括：

[00165] 接收模块 702 , 用于接收第一存储系统 33中发送的复制信息，所述复制信息用于指示第一存储系统 33在当前复制任务中需要复制到第三存储设备 1 30的数据，其中，所述第一存储系统 33中至少包括所述第一存储设备 110以及第二存储设备 120 , 第一存储设备 110与第二存储设备 120中存储有相同的数据。

[00166] 发送模块 704 ,用于根据所述复制信息向第一存储设备 110发送第一获取请求，所述第一获取请求中包含有存储系统 70在所述当前复制任务中需要向第一存储设备 110 获取的数据的信息。需要说明的是，在第一存储设备 110 包含有多个数据卷的情况下，所述第一获取请求中包含的要获取的数据的信息至少包括所述第一存储设备中的第一源数据卷的标识以及所述第一获取请求要获取的数据地址。其中，所述第一源数据卷存储有第一存储系统 33在当前复制任务中需要复制到第三存储设备 1 30的数据，

[00167] 发送模块 704 ,还用于根据所述复制信息向第二存储设备 120发送第二获取请求，所述第二获取请求中包含有存储系统 70在所述当前复制任务中需要向第二存储设备 120获取的数据的信息，其中，所述第一获取请求要获取的数据与所述第二获取请求要获取的数据不同。需要说明的是，在第二存储设备 120 包含有多个数据卷的情况下，所述第二获取请求中包含的要获取的数据的信息至少包括所述第二存储设备中的第二源数据卷的标识以及所述第一获取请求要获取的数据地址。其中，所述第二源数据卷中存储有第一存储系统 33在当前复制任务中需要复制到第三存储设备 130的数据。所述第一源数据卷与所述第二源数据卷中存储的数据相同。

[00168] 接收模块 702 ,还用于接收所述第一存储设备根据所述第一获取请求发送的数据 , 以及接收所述第二存储设备根据所述第二获取请求发送的数据。

[00169] 可以理解的是，复制信息可以是复制位图，复制位图可以根据第一存储系统 33在所述当前复制任务开始时的差异位图获得，所述差异位图用于记录所述第一存储系统 33在所述当前复制任务的前一个复制任务开始之后、并且在所述当前复制任务开始之前写入的数据的信息。

[00170] 在又一种情形下，当所述第一存储设备 110与所述第二存储设备 120 中均包含有多个数据卷时，接收模块 70 , 还用于接收第一存储系统 33发送的复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识以及根据所述第一源数据卷存储的数据确定的所述复制信息。存储系统 70还可以包括：

[00171] 消息处理模块 708 ,用于根据所述第一源数据卷的标识以及预设的复制关系确定所述第二存储设备 120 中的第二源数据卷及所述第三存储设备 130 中的目标数据卷。其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系，所述目标数据卷用于存储所述存储系统在所述当前复制任务中接收的数据。

[00172] 在又一种情形下，存储系统 70还可以包括：

确定模块 706 ,用于根据所述复制信息以及存储系统 70与第一存储设备 110之间的链路带宽确定需要向第一存储设备 110获取的数据，并根据所述复制信息以及存储系统 70与第二存储设备 120之间的链路带宽确定需要向第二存储设备 120获取的数据。 [00173] 发送模块 704 ,具体可以用于根据确定模块 706确定的所述需要向所述第一存储设备获取的数据向所述第一存储设备发送所述第一获取请求，并且根据确定模块 706 确定的所述需要向所述第二存储设备获取的数据向所述第二存储设备发送所述第二获取请求。

[00174] 在又一种情形下，存储系统 70还可以包括：

更新模块 710, 用于在所述当前复制任务的执行过程中，根据接收到的数据更新所述复制信息。

[00175] 本发明实施例所提供的存储系统 70可以执行图 5-图 6所述实施例所描述的数据复制方法，各个单元功能的详细描述可参见方法实施例中的描述，在此不再赘述。

[00176] 可以理解的是，图 7 所示的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个设备中，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

[00177] 作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部，模块来实现本实施例方案的目的。

[00178] 本发明实施例还提供一种数据处理的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行前述任意一个方法实施例所述的方法流程。本领域普通技术人员可以理解，前述的存储介质包括： U盘、移动硬盘、磁碟、光盘、随机存储器（Random-Acces s Memory, RAM)、固态硬盘（ Sol id State Di sk, SSD )或者非易失性存储器（ non-vo lat i le memory ) 等各种可以存储程序代码的非短暂性的（non-trans i tory )机器可读介质。

[00179] 需要说明的是，本申请所提供的实施例仅仅是示意性的。所属领域的技术人员可以清楚地了解到，为了描述的方便和筒洁，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本发明实施例、权利要求以及附图中揭示的特征可以独立存在也可以组合存在。在本发明实施例中以硬件形式描述的特征可以通过软件来执行，反之亦然。在此不做限定。

Claims

权利要求

1、一种数据复制方法，所述方法应用于至少包括第一存储设备以及第二存储设备的存储系统中，其特征在于，包括：

第一存储系统确定复制信息，所述复制信息用于指示所述第一存储系统在当前复制任务中需要复制到第二存储系统的数据，其中，所述第一存储系统中的第一存储设备与所述第二存储设备存储有相同的数据 ,所述第一存储系统与所述第二存储系统通过异步复制技术实现数据备份；

所述第一存储系统根据所述复制信息确定第一复制子信息及第二复制子信息，其中，所述第一复制子信息用于指示在所述当前复制任务中需要由所述第一存储设备复制到所述第二存储系统的数据，所述第二复制子信息用于指示在所述当前复制任务中需要由所述第二存储设备复制到所述第二存储系统的数据，且所述第一复制子信息指示的数据与所述第二复制子信息指示的数据不同；

所述第一存储设备根据所述第一复制子信息将所述需要由所述第一存储设备复制到所述第二存储系统的数据复制到所述第二存储系统；

2、根据权利要求 1所述的数据复制方法，其特征在于，

所述第一存储设备根据所述第一复制子信息将所述需要由所述第一存储设备复制到所述第二存储系统的数据复制到所述第二存储系统包括：

3、根据权利要求 2所述的数据复制方法，其特征在于，所述第一存储系统确定复制信息包括：所述第一存储设备向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识和所述目标数据卷的标识；

所述第二存储设备根据所述第一源数据卷的标识、所述目标数据卷的标识以及预设的复制关系确定所述第二存储设备中的所述第二源数据卷，其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系；

4、根据权利要求 2所述的数据复制方法，其特征在于，所述第一存储系统确定复制信息包括：

5、根据权利要求 1-4任意一项所述的数据复制方法，其特征在于，所述第一存储系统根据所述复制信息确定第一复制子信息及第二复制子信息包括：所述第一存储设备根据所述复制信息以及预设的复制策略确定所述第一复制子信息；

所述第二存储设备根据所述复制信息以及所述复制策略确定所述第二复制子信息。

6、根据权利要求 1-4任意一项所述的数据复制方法，其特征在于，所述第一存储系统根据所述复制信息确定第一复制子信息及第二复制子信息包括：

所述第一存储设备接收所述第二存储设备的复制协商请求，所述复制协商请求中至少包含有所述第二存储设备与所述第二存储系统的链路带宽信息；所述第一存储设备根据所述链路带宽信息确定所述第一复制子信息以及所述第二复制子信息；

所述第一存储设备向所述第二存储设备发送所述第二复制子信息。

7、根据权利要求 1-6所述的数据复制方法，其特征在于，所述复制信息由所述第一复制子信息以及所述第二复制子信息组成，所述方法还包括：

在所述当前复制任务的执行过程中，所述第一存储设备根据已复制完成的数据生成第一复制进度信息；

所述第一存储设备将所述第一复制进度信息发送给所述第二存储设备；当所述第一存储设备故障时，所述第二存储设备根据所述第一复制进度信息、第二复制子信息以及所述复制信息确定所述第一存储设备尚未复制完成的数据；所述第二存储设备将所述第一存储设备尚未复制完成的数据复制到所述第二存储系统。

8、根据权利要求 1-7任意一项所述的数据复制方法，其特征在于，还包括：在所述当前复制任务的执行过程中，所述第一存储设备根据已复制完成的数据更新所述第一复制子信息；

所述第二存储设备根据已复制完成的数据更新所述第二复制子信息。

9、一种数据复制方法，所述方法应用于存储系统中，其特征在于，包括：第二存储系统接收第一存储系统发送的复制信息，所述复制信息用于指示所述第一存储系统在当前复制任务中需要复制到所述第二存储系统的数据，其中，所述第一存储系统中至少包括第一存储设备以及第二存储设备，所述第一存储设备与所述第二存储设备中存储有相同的数据，所述第一存储系统与所述第二存储系统通过异步复制技术实现数据备份；

所述第二存储系统根据所述复制信息向所述第二存储设备发送第二获取请求，所述第二获取请求中包含有所述第二存储系统在所述当前复制任务中需要向所述第二存储设备获取的数据的信息，其中，所述第一获取请求要获取的数据与所述第二获取请求要获取的数据不同；所述第二存储系统接收所述第一存储设备根据所述第一获取请求发送的数据；

10、根据权利要求 9所述的方法，其特征在于：

所述第一获取请求中包含的要获取的数据的信息至少包括所述第一存储设备中的第一源数据卷的标识以及所述第一获取请求要获取的数据地址；

其中，所述第一源数据卷与所述第二源数据卷中均存储有所述第一存储系统在当前复制任务中需要复制到所述第二存储系统的数据 ,且所述第一源数据卷与所述第二源数据卷中存储的数据相同。

11、根据权利要求 10所述的方法，其特征在于，

所述第二存储系统接收第一存储系统发送的复制信息包括：

所述第二存储系统接收所述第一存储系统发送的复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识以及根据所述第一源数据卷存储的数据确定的所述复制信息；

所述方法还包括：

所述第二存储系统根据所述第一源数据卷的标识以及预设的复制关系确定所述第二存储设备中的第二源数据卷及所述第二存储系统中的目标数据卷；其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系，所述目标数据卷用于存储所述第二存储系统在所述当前复制任务中接收的数据。

12、根据权利要求 9-11任意一项所述的方法，其特征在于：

所述第二存储系统根据所述复制信息向所述第一存储设备发送第一获取请求包括：

所述第二存储系统根据确定的所述需要向所述第二存储设备获取的数据向所述第二存储设备发送所述第二获取请求。

13、根据权利要求 9-12任意一项所述的方法，其特征在于，还包括：在所述当前复制任务的执行过程中，所述第二存储系统根据接收的数据更新所述复制信息。

14、一种存储系统，其特征在于，所述存储系统至少包括第一存储设备以及第二存储设备，所述第一存储设备与所述第二存储设备存储有相同的数据，其中：所述存储系统，用于确定复制信息，所述复制信息用于指示所述存储系统在当前复制任务中需要复制到其他存储系统的数据，所述存储系统与所述其他存储系统通过异步复制技术实现数据备份；

所述存储系统，还用于根据所述复制信息确定第一复制子信息以及所述第二复制子信息，其中，所述第一复制子信息用于指示在所述当前复制任务中需要由所述第一存储设备复制到所述其他存储系统的数据，所述第二复制子信息用于指示在所述当前复制任务中需要由所述第二存储设备复制到所述其他存储系统的数据，且所述第一复制子信息指示的数据与所述第二复制子信息指示的数据不同; 所述第一存储设备，用于根据所述第一复制子信息将所述需要由所述第一存储设备复制到所述其他存储系统的数据复制到所述其他存储系统；

15、根据权利要求 14所述的存储系统，其特征在于，

所述第一存储设备，用于根据所述第一复制子信息将第一源数据卷中存储的所述需要由所述第一存储设备复制到所述其他存储系统的数据复制到所述其他存储系统的目标数据卷中；

所述第一存储设备，用于根据所述第二复制子信息将第二源数据卷中存储的所述需要由所述第二存储设备复制到所述其他存储系统的数据复制到所述其他存储系统的所述目标数据卷中；

16、根据权利要求 15所述的存储系统，其特征在于：

所述第一存储设备，还用于向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识和所述目标数据卷的标识；

所述第二存储设备，还用于根据所述第一源数据卷的标识、所述目标数据卷的标识以及预设的复制关系确定所述第二存储设备中的所述第二源数据卷，并根据确定的所述第二源数据卷中存储的数据确定所述复制信息，其中，所述复制关系中包含有所述第一源数据卷、所述目标数据卷与所述第二源数据卷的对应关系；所述第一存储设备，还用于根据所述第一源数据卷中存储的数据确定所述复制信息。

17、根据权利要求 15所述的存储系统，其特征在于：

所述第一存储设备，还用于根据所述第一源数据卷中存储的数据确定所述复制信息，并向所述第二存储设备发送复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识、目标数据卷的标识以及所述复制信息；

18、根据权利要求 14-17任意一项所述的存储系统，其特征在于：

所述第一存储设备，还用于根据复制信息以及预设的复制策略确定所述第一复制子信息；

所述第二存储设备，还用于才艮据所述复制信息以及所述复制策略确定所述第二复制子信息。

19、根据权利要求 14-17任意一项所述的存储系统，其特征在于：

所述第一存储设备，还用于接收所述第二存储设备的复制协商请求，所述复制协商请求中至少包含有所述第二存储设备与所述其他存储系统的链路带宽信息，才艮据所述链路带宽信息确定所述第一复制子信息以及所述第二复制子信息，并向所述第二存储设备发送所述第二复制子信息。

20、根据权利要求 14-19任意一项所述的存储系统，其特征在于，所述复制信息由所述第一复制子信息以及所述第二复制子信息组成，

所述第一存储设备，还用于在所述当前复制任务的执行过程中，根据已复制完成的数据生成第一复制进度信息，并将所述第一复制进度信息发送给所述第二存储设备；

所述第二存储设备，还用于当所述第一存储设备故障时，根据所述第一复制进度信息、第二复制子信息以及所述复制信息确定所述第一存储设备尚未复制完成的数据，并将所述第一存储设备尚未复制完成的数据复制到所述其他存储系统。

21、根据权利要求 14-20任意一项所述的存储系统，其特征在于：

所述第一存储设备，还用于根据已复制完成的数据更新所述第一复制子信息; 所述第二存储设备，还用于根据已复制完成的数据更新所述第二复制子信息。 11、一种存储系统，其特征在于，包括：

所述接收模块，还用于接收所述第一存储设备根据所述第一获取请求发送的数据 , 以及接收所述第二存储设备根据所述第二获取请求发送的数据。 23、根据权利要求 22所述的存储系统，其特征在于：

其中，所述第一源数据卷与所述第二源数据卷中均存储有所述其他存储系统在当前复制任务中需要复制到所述存储系统的数据 ,且所述第一源数据卷与所述第二源数据卷中存储的数据相同。

24、根据权利要求 23所述的存储系统，其特征在于：

所述接收模块，还用于接收所述其他存储系统发送的复制任务启动消息，所述复制任务启动消息中携带有所述第一源数据卷的标识以及根据所述第一源数据卷存储的数据确定的所述复制信息；

所述存储系统还包括：

消息处理模块，用于根据所述第一源数据卷的标识以及预设的复制关系确定所述第二存储设备中的第二源数据卷及所述第二存储系统中的目标数据卷；其中，所述复制关系中包含有所述第一源数据卷、所述第二源数据卷与所述目标数据卷的对应关系，所述目标数据卷用于存储所述存储系统在所述当前复制任务中接收的数据。

25、根据权利要求 22-24任意一项所述的存储系统，其特征在于，还包括：确定模块，用于根据所述复制信息以及所述存储系统与所述第一存储设备之间的链路带宽确定需要向所述第一存储设备获取的数据，并根据所述复制信息以及所述存储系统与所述第二存储设备之间的链路带宽确定需要向所述第二存储设备获取的数据；

26、根据权利要求 22-25任意一项所述的存储系统，其特征在于，还包括：更新模块，用于在所述当前复制任务的执行过程中，根据接收到的数据更新所述复制信息。

27、一种存储系统，其特征在于，包括控制器和存储器，其中：所述存储器，用于存储其他存储系统发送的数据；

所述控制器包括：

通信接口，用于与所述其他存储系统进行通信；

内存，用于存储计算机执行指令；

处理器，用于运行所述计算机执行指令，执行如权利要求 9-13任意一项所述的方法。

28、一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行如权利要求 1 -8任意一项所述的方法。

29、一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令用于执行如权利要求 9-13任意一项所述的方法。