WO2024078001A1

WO2024078001A1 - 数据处理系统、数据处理方法、装置及相关设备

Info

Publication number: WO2024078001A1
Application number: PCT/CN2023/101476
Authority: WO
Inventors: 任仁; 陈明军; 王伟; 武装; 曹宇
Original assignee: 华为技术有限公司
Priority date: 2022-10-13
Filing date: 2023-06-20
Publication date: 2024-04-18
Also published as: CN117931831A

Abstract

提供一种数据处理系统，包括计算集群、存储集群，计算集群包括主计算节点以及从计算节点，存储集群包括至少一个存储节点以及数据处理装置；主计算节点，用于接收访问请求，并向该存储集群写入数据；数据处理装置，用于监控并识别写入的数据包括目标重做日志时，控制至少一个存储节点中第一存储节点回放目标重做日志，以将该目标重做日志中记录的目标数据更新至持久化存储的数据中；从计算节点，用于根据更新后的持久化存储的数据，接管主计算节点上的访问请求。如此，从计算节点接管主计算节点上的访问请求时，无需执行回放重做日志的过程，从而有效缩短数据处理系统的RTO。此外，本申请还公开相应的数据处理方法、装置及相关设备。

Description

数据处理系统、数据处理方法、装置及相关设备

本申请要求于2022年10月13日提交中国国家知识产权局、申请号为202211253915.4、申请名称为“数据处理系统、数据处理方法、装置及相关设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据处理系统、数据处理方法、装置及相关设备。

背景技术

随着信息化技术的发展，数据处理系统，如MySQL，PostgreSQL，openGauss等，在金融、通讯、医疗、物流、电子商务等领域广泛应用，用于在各个领域中对业务数据进行持久化存储。

目前，数据处理系统通常会部署有主中心(或者称为生产中心)以及至少一个灾备中心。其中，正常情况下，主中心对外提供数据读写的服务，灾备中心负责对主中心存储的数据进行备份。这样，当主中心发生故障时，灾备中心即可利用备份的数据继续对外提供数据读写服务，避免数据发生丢失，以此保证数据存储的可靠性。

主中心通常是通过向灾备中心发送binlog文件(一种二进制日志文件)的方式，将主中心的数据复制至灾备中心。具体地，主中心发送的binlog文件中记录了主中心上用于更新数据的数据库语句，从而灾备中心在接收到binlog文件后，通过执行该binlog中的数据库语句来更新灾备中心的数据，以此实现对主中心数据的复制。但是，这种数据复制的方式，会导致数据处理系统的恢复点目标(recovery point objective，RTO)通常较长，影响数据处理系统的故障恢复性能。

发明内容

提供一种数据处理系统、数据处理方法、数据处理装置、计算设备、计算机可读存储介质以及计算机程序产品，以缩短数据处理系统的RTO，提高数据处理系统的故障恢复性能。

第一方面，本申请实施例提供一种数据处理系统，该数据处理系统包括计算集群、存储集群，该计算集群与存储集群通过网络进行连接，例如可以通过有线网络或者无线网络进行连接等，该计算集群包括主计算节点以及从计算节点，该从计算节点作为主计算节点的灾备，存储集群包括至少一个存储节点，比如，当存储集群包括一个存储节点时，主计算节点与从计算节点可以共享该存储节点，而当存储节点包括多个存储节点时，部分存储节点可以作为另一部分存储节点的灾备，主计算节点与从计算节点分别访问不同的存储节点；其中，主计算节点，用于接收访问请求，如用于请求向数据处理系统写入新数据的访问请求，或者用于请求对数据处理系统中已持久化存储的数据进行修改或者删除的访问请求等，并向该存储集群写入数据，所写入的数据例如可以是响应该访问请求的过程中所生成的重做日志、数据页或者其它类型的数据等；部署于存储侧的数据处理装置，用于监控主计算节点向存储集群写入的数据，并在识别到写入的数据包括目标重做日志时，控制至少一个存储节点中第一存储节点回放该目标重做日志，以将该目标重做日志中记录的目标数据更新至该至少一个存储节点所持久化存储的数据中；从计算节点，用于根据该至少一个存储节点中更新后的持久化存储的数据，接管主计算节点上的访问请求，例如可以接管主计算节点在故障时未完成处理的访问请求等。

如此，在从计算节点升级为主计算节点时(如原主计算节点发生故障或者从计算节点接收到主从切换的升级指令等)，由于位于存储侧的数据处理装置已经控制存储节点通过回放重做日志来更新持久化存储的数据，这使得从计算节点无需执行回放重做日志的过程，而能够直接根据存储节点中持久化存储的数据接管主计算节点上的访问请求，以继续为客户端或者其它设备提供数据读写服务，从而可以有效缩短数据处理系统的RTO，提高数据处理系统的故障恢复性能。并且，存储节点根据重做日志(其属于物理日志)对持久化存储的数据进行更新，相比于通过binlog(其属于逻辑日志)更新数据的方式，因为无需重复执行数据库语句，而是直接在物理的数据页上修改数据，这可以有效降低数据更新所需消耗的资源量。

在一种可能的实施方式中，至少一个存储节点中除了包括第一存储节点之外，还包括第二存储节点，并且，第一存储节点作为第二存储节点的灾备，如第二存储节点支持主计算节点对于数据的持久化存储，第一存储节点用于对第二存储节点所持久化存储的数据进行备份等；该第二存储节点，用于存储主计算节点写入的数据；该数据处理装置，用于在识别到主计算节点写入的数据中包括目标重做日志时，控制第二存储节点将目标重做日志发送至第一存储节点，以使得第一存储节点回放该目标重做日志，以更新该第一存储节点中持久化存储的数据。如此，在从计算节点接管主计算节点上的访问请求时，无需控制第一存储节点执行回放重做日志的过程，而能够直接根据第一存储节点中持久化存储的数据接管主计算节点上的访问请求，从而可以有效缩短数据处理系统的RTO，提高数据处理系统的故障恢复性能。

在一种可能的实施方式中，第二存储节点与第一存储节点部署于同一物理区域，如部署于同一数据中心等。如此，可以实现数据在本地存储的可靠性。或者，第二存储节点与第一存储节点部署于不同的物理区域，如第一存储节点部署于AZ1，而第二存储节点部署于AZ2等。如此，可以提高数据在异地存储的可靠性。

在一种可能的实施方式中，第一存储节点与第二存储节点部署于同一物理区域，数据处理装置，还用于根据第二存储节点在该物理区域内创建第一存储节点，该第一存储节点中的数据通过对第二存储节点中的数据进行快照或者克隆得到。如此，可以通过快照或者克隆的方式，实现作为灾备的存储节点的快速创建。

在一种可能的实施方式中，主计算节点上运行有目标应用，如MySQL等，该目标重做日志有该目标应用在运行过程中产生。实际应用时，目标应用可以包括服务层以及存储引擎层，其中，在响应访问请求的过程中，服务层可以生成相应的binlog，存储引擎层可以生成相应的重做日志，如上述目标重做日志。

可选地，主计算节点可以部署有多个应用，该多个应用包括目标应用。

在一种可能的实施方式中，数据处理装置，具体用于根据目标应用的配置文件或目标应用的重做日志的命名格式，识别目标重做日志。比如，目标应用为开源的应用时，可以预先了解目标应用生成的重做日志的命名规则，从而数据处理装置可以根据该命名规则来识别目标重做日志；或者，配置文件中可以记录有用于区分目标应用所生成的目标重做日志的信息，如目标重做日志的名称等，从而数据处理装置可以根据目标应用的配置文件识别出目标重做日志。

在一种可能的实施方式中，第一存储节点，用于根据目标应用对应的数据页的格式，回放目标重做日志，以更新第一存储节点上的数据页。比如，第一存储节点可以根据该数据页的格式，恢复第一存储节点中需要修改的数据页，并根据该目标重做日志中所记录的修改操作，对该数据页上的修改进行相应的修改，并将修改后的数据页再进行持久化存储。如此，可以利用目标重做日志实现对存储节点上的数据页的更新。

在一种可能的实施方式中，第一存储节点，还用于在回放目标重做日志之前，获取目标应用对应的数据页的格式，以便于根据该数据页的格式，恢复第一存储节点上需要修改的数据页。示例性地，数据页的格式，可以由技术人员预先配置于第一存储节点的代码程序中；或者，数据页的格式，可以被配置于第一存储节点中的配置文件，从而第一存储节点可以从该配置文件中读取该数据页的格式；或者，数据处理装置可以通过识别主计算节点所写入的数据中的数据页，确定数据页的格式，并将数据页的格式通知给第一存储节点，以便第一存储节点获知数据页的格式。

在一种可能的实施方式中，主计算节点上的目标应用可以包括关系数据库管理系统(RDBMS)，该关系数据库管理系统可以是MySQL、PostgreSQL、openGauss、oracle中的至少一种，或者可以是其它类型的应用。如此，当主计算节点上的应用为开源的MySQL、PostgreSQL、openGauss等数据库应用时，由于重做日志的回放操作，是由存储侧的数据处理装置控制完成，无需计算侧的主计算节点上的应用干预，对该应用透明，这使得在将该应用部署于主计算节点时，无需将该应用改造成具有控制存储节点回放重做日志的能力，从而可以有效降低在单机上部署应用的难度、提高应用部署效率。

在一种可能的实施方式中，第一存储节点与第二存储节点部署于不同物理区域，该第二存储节点，还用于在将目标重做日志发送至第一存储节点之前，将基线数据发送至第一存储节点，该基线数据可以是第一存储节点在某个时刻所持久化存储的数据以及所具有的重做日志；第一存储节点，还用于在回收目标重做日志之前，存储该基线数据。如此，第一存储节点与第二存储节点之间可以预先通过基线复制的过程实现数据的初始同步，以便后续根据目标重做日志保持两个存储节点之间数据的实时同步。

在一种可能的实施方式中，数据处理装置还用于在控制第二存储节点发送基线数据之前，设置第二存储节点中用于缓存重做日志的存储空间的下限值。如此，可以尽可能避免基线复制过程中所生成的部分重做日志在未及时复制至第一存储节点的情况下被回收，从而可以尽可能避免短期内第二次执行基线复制过程。

在一种可能的实施方式中，数据处理装置还用于控制第二存储节点在将目标数据对应的二进制日志(binlog)发送至第一存储节点，该二进制日志用于记录数据库语句；第一存储节点，具体用于采用二进制日志对目标重做日志进行验证，并在验证通过的情况下，回放该目标重做日志，以更新该第一存储节点中持久化存储的数据。如此，可以binlog来校验第一存储节点所要回放的重做日志的正确性，以保证数据在第一存储节点存储的正确性。

可选地，当目标重做日志未通过验证的情况下，第一存储节点可以拒绝对该目标重做日志进行回放，并可以指示从计算节点执行回放binlog的过程，以保证数据在第一存储节点存储的正确性。

可选地，二进制日志由主计算节点发送至从计算节点，并由从计算节点将所述二进制日志下发至所述从存储节点。

在一种可能的实施方式中，主计算节点与从计算节点均能够访问第一存储节点，该第一存储节点包括读缓存区域，则，第一存储节点，还用于在回放目标重做日志之前，将目标数据缓存至读缓存区域；主计算节点，还用于从读缓存区域中读取该目标数据。如此，当主计算节点需要读取该目标数据时，相比于从第一存储节点的持久化存储中读取数据的方式，从读缓存区域中直接读取该目标数据，可以有效提高数据读取效率。

在一种可能的实施方式中，第一存储节点在用于在回放目标重做日志之后，从读缓存区域中淘汰该目标数据。如此，可以释放目标数据在读缓存区域中的存储空间的占用，以便利用所释放的存储空间继续缓存主计算节点新写入的其它数据页，实现该读缓存区域的可持续性利用。

在一种可能的实施方式中，存储集群中的至少一个存储节点包括存储阵列，该存储阵列用于持久化存储数据，以此可以提高数据在存储阵列存储的可靠性。

第二方面，本申请实施例提供一种数据处理系统，该数据处理系统包括计算集群、存储集群，该计算集群与存储集群通过网络进行连接，例如可以通过有线网络或者无线网络进行连接等，该计算集群包括主计算节点以及从计算节点，该从计算节点作为主计算节点的灾备，存储集群包括第一存储节点以及第二存储节点，第二存储节点作为第一存储节点的灾备；主计算节点，用于接收访问请求，并生成目标数据对应的二进制日志，该二进制日志中记录数据库语句，并向存储集群写入数据；数据处理装置，用于监控主计算节点写入的数据，并在识别到该写入的数据包括二进制日志时，控制第一存储节点将二进制日志发送至第二存储节点，或，向第二存储节点发送所述二进制日志；从计算节点，用于回放二进制日志，以将目标数据更新至第二存储节点中持久化存储的数据，并根据所述更新后的第二存储节点中持久化存储的数据，接管主计算节点上的访问请求。

由于binlog是在存储侧完成从主中心到各个灾备中心的复制，这使得即使主中心的主计算节点的负荷较大，各个灾备中心也能通过存储节点接收到binlog，而无需由主计算节点再执行将binlog发送至各个灾备中心的过程。如此，各个灾备中心中的从计算节点通过回放该binlog，可以实现各个灾备中心与主中心之间的数据同步，保证数据处理系统的RPO能够为0，避免主计算节点因为负荷过大影响binlog在主中心与灾备中心之间的复制，而导致灾备中心的数据与主中心的数据不一致，影响数据处理系统的RPO。

第三方面，本申请实施例提供了一种数据处理方法，该方法应用于数据处理系统，数据处理系统包括计算集群、存储集群，计算集群与存储集群通过网络进行连接，计算集群包括主计算节点以及从计算节点，存储集群包括至少一个存储节点以及数据处理装置，从计算节点作为主计算节点的灾备，方法包括：数据处理装置监控主计算节点向存储集群写入的数据；数据处理装置在识别到写入的数据包括目标重做日志时，控制至少一个存储节点中的第一存储节点回放目标重做日志，以将目标重做日志中记录的目标数据更新至至少一个存储节点所持久化存储的数据中，至少一个存储节点中更新后的持久化存储的数据被从计算节点用于接管主计算节点上的访问请求。

在一种可能的实施方式中，至少一个存储节点还包括第二存储节点，第一存储节点作为第二存储节点的灾备，该方法还包括：数据处理装置在识别到写入的数据包括目标重做日志时，控制第二存储节点将目标重做日志发送至第一存储节点，以使得第一存储节点回放目标重做日志，以更新第一存储节点中持久化存储的数据。

在一种可能的实施方式中，第二存储节点与第一存储节点部署于同一物理区域；或者，第二存储节点与第一存储节点部署于不同物理区域。

在一种可能的实施方式中，主计算节点上运行有目标应用，目标重做日志由目标应用在运行过程中产生。

在一种可能的实施方式中，主计算节点部署有多个应用，该多个应用包括上述目标应用。

在一种可能的实施方式中，数据处理装置识别到写入的数据包括目标重做日志，包括：数据处理装置根据目标应用的配置文件或目标应用的重做日志的命名格式，识别到写入的数据包括目标重做日志。

在一种可能的实施方式中，第一存储节点与第二存储节点部署于同一物理区域，该方法还包括：数据处理装置根据第二存储节点在该物理区域内创建第一存储节点，该第一存储节点中的数据通过对第二存储节点中的数据进行快照或者克隆得到。

在一种可能的实施方式中，数据处理装置控制至少一个存储节点中的第一存储节点回放目标重做日志，包括：数据处理装置控制第一存储节点根据目标应用对应的数据页的格式回放目标重做日志，以更新第一存储节点上的数据页。

在一种可能的实施方式中，该方法还包括：数据处理装置控制第一存储节点在回放目标重做日志之前，获取目标应用对应的数据页的格式。

在一种可能的实施方式中，方法还包括：数据处理装置控制第二存储节点将目标数据对应的二进制日志发送至第一存储节点，二进制日志用于记录数据库语句；数据处理装置控制至少一个存储节点中的第一存储节点回放目标重做日志，包括：数据处理装置控制第一存储节点采用二进制日志对目标重做日志进行验证，以使得第一存储节点在确定验证通过的情况下，回放目标重做日志。

在一种可能的实施方式中，主计算节点与从计算节点均能够访问第一存储节点，第一存储节点包括读缓存区域；方法还包括：数据处理装置控制第一存储节点在回放目标重做日志之前，将目标数据缓存至读缓存区域，读缓存区域中的目标数据能够被主计算节点读取。

在一种可能的实施方式中，方法还包括：数据处理装置控制第一存储节点在回放目标重做日志之后，从读缓存区域淘汰目标数据。

在一种可能的实施方式中，目标应用包括关系数据库管理系统RDBMS，RDBMS包括MySQL、PostgreSQL、openGauss、oracle中的至少一种。

在一种可能的实施方式中第一存储节点与第二存储节点部署于不同物理区域；该方法还包括：数据处理装置控制第二存储节点在将目标重做日志发送至第一存储节点之前，将基线数据发送至第一存储节点；数据处理装置控制第一存储节点在回放目标重做日志之前，存储基线数据。

在一种可能的实施方式中，该方法还包括：数据处理装置在控制第二存储节点发送基线数据之前，设置第二存储节点中用于缓存重做日志的存储空间的下限值。

在一种可能的实施方式中至少一个存储节点包括存储阵列，存储阵列用于持久化存储数据。

在一种可能的实施方式中，二进制日志由主计算节点发送至从计算节点，并由从计算节点将该二进制日志下发至第一存储节点。

由于第三方面提供的数据处理方法，对应于第一方面提供的数据处理方法，因此，第三方面以及第三方面中各实施方式所具有技术效果，可以参见相应的第一方面以及第一方面中各实施方式所具有的技术效果，在此不做赘述。

第四方面，本申请实施例提供数据处理装置应用于数据处理系统，数据处理系统包括计算集群、存储集群，计算集群与存储集群通过网络进行连接，计算集群包括主计算节点以及从计算节点，存储集群包括至少一个存储节点以及数据处理装置，从计算节点作为主计算节点的灾备，数据处理装置包括：监控模块，用于监控主计算节点向存储集群写入的数据；控制模块，用于在识别到写入的数据包括目标重做日志时，控制至少一个存储节点中的第一存储节点回放目标重做日志，以将目标重做日志中记录的目标数据更新至至少一个存储节点所持久化存储的数据中，至少一个存储节点中更新后的持久化存储的数据被从计算节点用于接管主计算节点上的访问请求。

在一种可能的实施方式中，至少一个存储节点还包括第二存储节点，第一存储节点作为第二存储节点的灾备；控制模块，还用于在识别到写入的数据包括目标重做日志时，控制第二存储节点将目标重做日志发送至第一存储节点，以使得第一存储节点回放目标重做日志，以更新第一存储节点中持久化存储的数据。

在一种可能的实施方式中，控制模块，用于根据目标应用的配置文件或目标应用的重做日志的命名格式，识别到写入的数据包括目标重做日志。

在一种可能的实施方式中，控制模块，具体用于控制第一存储节点根据目标应用对应的数据页的格式回放目标重做日志，以更新第一存储节点上的数据页。

在一种可能的实施方式中，控制模块，还用于控制第一存储节点在回放目标重做日志之前，获取目标应用对应的数据页的格式。

在一种可能的实施方式中，控制模块，还用于控制第二存储节点将目标数据对应的二进制日志发送至第一存储节点，二进制日志用于记录数据库语句；控制模块，具体用于控制第一存储节点采用二进制日志对目标重做日志进行验证，以使得第一存储节点在确定验证通过的情况下，回放目标重做日志。

在一种可能的实施方式中，主计算节点与从计算节点均能够访问第一存储节点，第一存储节点包括读缓存区域；

控制模块，还用于控制第一存储节点在回放目标重做日志之前，将目标数据缓存至读缓存区域，读缓存区域中的目标数据能够被主计算节点读取。

在一种可能的实施方式中，控制模块，还用于控制第一存储节点在回放目标重做日志之后，从读缓存区域淘汰目标数据。

在一种可能的实施方式中，至少一个存储节点包括存储阵列，存储阵列用于持久化存储数据。

在一种可能的实施方式中，控制模块，还用于在控制第二存储节点发送基线数据之前，设置第二存储节点中用于缓存重做日志的存储空间的下限值。

在一种可能的实施方式中，第一存储节点与第二存储节点部署于同一物理区域，控制模块，还用于根据第二存储节点在该物理区域内创建第一存储节点，该第一存储节点中的数据通过对第二存储节点中的数据进行快照或者克隆得到。

第五方面，本申请实施例还提供一种数据处理方法，该方法应用于数据处理系统，数据处理系统包括计算集群、存储集群，计算集群与存储集群通过网络进行连接，计算集群包括主计算节点以及从计算节点，存储集群包括至少一个存储节点以及数据处理装置，从计算节点作为主计算节点的灾备，方法包括：至少一个存储节点中的第一存储节点获取目标重做日志；第一存储节点获取该第一存储节点中的数据页的格式；第一存储节点根据该数据页的格式，回放目标重做日志，以将目标重做日志中记录的目标数据更新至至少一个存储节点所持久化存储的数据中，第一存储节点中更新后的持久化存储的数据被从计算节点用于接管主计算节点上的访问请求。

在一种可能的实施方式中，第一存储节点从配置文件中读取数据页的格式。

在一种可能的实施方式中，第一存储节点接收数据处理装置发送的数据页的格式。

可选地，数据页的格式，也可以是被预先配置于第一存储节点的代码程序中。

第六方面，本申请实施例提供一种数据处理装置，该数据处理装置应用于数据处理系统中的第一存储节点，数据处理系统包括计算集群、存储集群，计算集群与存储集群通过网络进行连接，计算集群包括主计算节点以及从计算节点，存储集群包括至少一个存储节点以及数据处理装置，从计算节点作为主计算节点的灾备，该至少一个存储节点包括该第一存储节点，数据处理装置包括：获取模块，用于获取目标重做日志，并获取该第一存储节点中的数据页的格式；回放模块，用于根据该数据页的格式，回放目标重做日志，以将目标重做日志中记录的目标数据更新至至少一个存储节点所持久化存储的数据中，第一存储节点中更新后的持久化存储的数据被从计算节点用于接管主计算节点上的访问请求。

在一种可能的实施方式中，获取模块，用于从配置文件中读取数据页的格式。

在一种可能的实施方式中，获取模块，用于接收数据处理装置发送的数据页的格式。

第七方面，本申请实施例提供一种数据处理设备，包括：处理器和存储器；该存储器用于存储指令，当该数据处理设备运行时，该处理器执行该存储器存储的该指令，以使该数据处理设备执行上述第三方面或第三方面的任一实现方式中所述的数据处理方法。需要说明的是，该存储器可以集成于处理器中，也可以是独立于处理器之外。计算设备还可以包括总线。其中，处理器通过总线连接存储器。其中，存储器可以包括可读存储器以及随机存取存储器。

第八方面，本申请实施例提供一种芯片，包括供电电路以及处理电路，所述供电电路用于对所述处理电路进行供电，所述处理电路执行如上述第三方面或第三方面的任一实现方式中所述的数据处理方法。

第九方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序或指令，当其在计算机上运行时，使得上述第三方面或第三方面的任一实现方式中第一设备所述的数据处理方法被执行。

第十方面，本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第三方面或第三方面的任一实现方式中所述的数据处理方法。

另外，第三方面至十方面中任一种实现方式所带来的技术效果可参见第一方面以及第二方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为一数据处理系统的结构示意图；

图2为本申请实施例提供的一示例性数据处理系统的结构示意图；

图3为本申请实施例提供的另一示例性数据处理系统的结构示意图；

图4为本申请实施例提供的又一示例性数据处理系统的结构示意图；

图5为存储节点1021与存储节点1022可以部署于同一物理区域的示意图；

图6为存储节点1021与存储节点1022可以部署于不同物理区域的示意图；

图7为一示例性两个存储节点之间执行基线复制以及日志复制的示意图；

图8为又一示例性两个存储节点之间执行基线复制以及日志复制的示意图；

图9为本申请实施例提供的一种数据处理方法的流程示意图；

图10为本申请实施例提供的再一示例性数据处理系统的结构示意图；

图11为本申请实施例提供的一种数据处理装置的结构示意图；

图12为本申请实施例提供的一种数据处理设备的硬件结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合附图对本申请实施例中的各种非限定性实施方式进行示例性说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，基于上述内容所获得的所有其它实施例，都属于本申请保护的范围。

参见图1，为一示例性数据处理系统100的结构示意图，数据处理系统100可以采用存算分离架构。如图1所示，数据处理系统100中包括计算集群101、存储集群102，并且，计算集群101与存储集群102之间可以通过网络进行通信，例如可以通过有线网络或者无线网络进行通信等。

其中，计算集群101包括多个计算节点，不同计算节点之间可以相互通信，并且，每个计算节点可以是一种包括处理器的计算设备，如服务器、台式计算机等。在计算集群101中，部分计算节点可以作为另一部分计算节点的灾备。为便于说明，图1中以计算集群101包括主计算节点1011以及从计算节点1012为例进行示例性说明，并且，从计算节点1012作为主计算节点1011的灾备。示例性地，从计算节点 1012具体可以作为主计算节点1011的冷备，即在主计算节点1011运行时，从计算节点1012可以不运行，或者，从计算节点1012可以利用其上的计算资源处理其它业务，而当主计算节点1011发生故障时，从计算节点1012运行/收回计算资源，利用已备份的数据接管主计算节点1011上的业务。

存储集群102可以包括一个或者多个存储节点，每个存储节点可以是包括持久化存储介质的设备，如网络附属存储器(network attached storage，NAS)、存储服务器等，可用于对数据进行持久化存储。其中，存储节点中的持久化存储介质，例如可以是硬盘，如固态硬盘或者叠瓦式磁记录硬盘等。当存储集群102包括多个存储节点时，部分存储节点可以作为另一部分存储节点的灾备。为便于说明，图1中以存储集群102包括存储节点1021以及存储节点1022为例，并且，存储节点1022作为存储节点1021的灾备。主计算节点1011利用存储节点1021提供数据读写服务，并且在主计算节点1011发生故障后，从计算节点1012利用存储节点1022上备份的数据接管主计算节点1011上的业务。实际应用场景中，主计算节点1011与存储节点1021可以构成主中心(通常属于生产站点)，从计算节点1012与存储节点1022可以构成灾备中心(通常属于容灾站点)。或者，存储集群102也可以包括一个存储节点，此时，主计算节点1011与从计算节点1012可以共享该存储节点，以便在主计算节点1011发生故障后，从计算节点1012可以利用该存储节点中存储的数据继续提供数据读写服务。

主计算节点1011上可以部署有一个或者多个应用(图1中未示出)，所部署的应用例如可以是数据库应用或者其它应用等。示例性地，数据库应用例如可以是关系数据库管理系统(relational database management system，RDBMS)等，该RDBMS可以包括MySQL、PostgreSQL、openGauss、oracle中的至少一种，或者可以是其它类型的数据库系统等。在应用运行的过程中，主计算节点1011通常会接收到用户侧的客户端或者其它设备发送的访问请求，如接收到用户侧的客户端发送的用于读取或者修改存储节点1021中数据的访问请求等。此时，主计算节点1011上的应用可以响应该访问请求，为客户端或者其它设备提供相应的数据读写服务。其中，当主计算节点1011所接收到的访问请求，用于请求向数据处理系统100写入新数据，或者用于请求对数据处理系统100中已持久化存储的数据进行修改，又或者请求删除数据处理系统100中已持久化存储的数据时，主计算节点1011上的应用会生成二进制日志(binlog)，该binlog为逻辑日志，用于记录更新存储节点1021中持久化存储的数据的数据库语句，如SQL语句等。实际场景中，该应用可以包括服务层以及存储引擎层，并且可以由服务层生成binlog。然后，主计算节点1011会将生成的binlog发送至从计算节点1012，并由从计算节点1012通过执行该binlog中的数据库语句来更新存储节点1022中的数据，以此使得存储节点1022中的数据与存储节点1021中的数据保持一致，也即实现将存储节点1021中的数据复制至存储节点1022中。

在主计算节点1011发生故障后，从计算节点1012需要运行/回收计算资源，并利用该计算资源启动运行从计算节点1012上的应用。然后，从计算节点1012上的应用执行主计算节点1011在故障之前发送的binlog中所记录的数据库语句，以使得存储节点1022中的数据与存储节点1021在故障之前的数据保持一致。这样，从计算节点1012能够根据存储节点1022中存储的数据，接管主计算节点1011上未被完成的访问请求。

但是，从计算节点1012上的应用执行binlog中的数据库语句的过程所需的耗时通常较长，这会拖慢接管主计算节点1011上的访问请求的速度，从而导致数据处理系统100的RTO较长，影响数据处理系统100的故障恢复性能。其中，RTO是指灾难发生后，从数据处理系统100业务停顿之刻开始，到数据处理系统100恢复业务结束，这两个时刻之间的时间间隔。另外，从计算节点1012上的应用因为需要重新执行binlog中的数据库语句来同步存储节点1021与存储节点1022中存储的数据，这也需要消耗较多的资源。

基于此，本申请提供了一种数据处理系统200，在图1所示的数据处理系统100的基础上，在存储侧增设了数据处理装置201，该数据处理装置201例如可以部署于存储节点1021，用于控制将存储节点1021中的数据复制至存储节点1022中。

具体地，在主计算节点1011上的应用响应访问请求的过程中，不仅该应用的服务层可以针对数据的写入、修改或者删除生成binlog，而且，该应用的存储引擎层还能够生成相应的重做日志(redolog)，该重做日志属于物理日志，能够记录客户端或者其它设备所请求写入的新数据或者请求修改后的数据或者请求对数据进行删除。这样，数据处理装置201监控主计算节点1011向存储集群102写入的数据，所写入的数据可能包括重做日志，也可能包括发生更新的数据页(data page)或者其它类型的数据等，从而数据处理装置201在识别到主计算节点1011所写入的数据包括重做日志时，控制存储节点1021将该重做日志发送至存储节点1022中，以使得存储节点1022通过回放该重做日志，将写入的新数据或者修改后的数据更新至存储节点1022所持久化存储的数据中，或者对存储节点1022所持久化存储的部分数据进行删除。并且，存储节点1021也可以通过回放该重做日志，实现对自身持久化存储的数据进行更新，以此实现将存储节点1021与存储节点1022中持久化存储的数据保持一致。

如此，在从计算节点1012升级为主计算节点时(如原主计算节点1011发生故障或者从计算节点1012接收到主从切换的升级指令等)，由于位于存储侧的数据处理装置201已经控制存储节点1022通过回放重做日志来更新持久化存储的数据，这使得从计算节点1012无需执行回放重做日志的过程，而能够直接根据存储节点1022中持久化存储的数据接管主计算节点1011上的访问请求，以继续为客户端或者其它设备提供数据读写服务，从而可以有效缩短数据处理系统200的RTO，提高数据处理系统200的故障恢复性能。

并且，存储节点1022根据重做日志(其属于物理日志)对持久化存储的数据进行更新，相比于通过binlog(其属于逻辑日志)更新数据的方式，因为无需重复执行数据库语句，而是直接在物理的数据页上修改数据，这可以有效降低数据更新所需消耗的资源量。其中，利用重做日志中记录的数据更新存储节点中的数据页的过程，可以称之为日志加固(log consolidation)。

另外，当主计算节点1011上的应用为开源的MySQL、PostgreSQL、openGauss等数据库应用时，由于重做日志的回放操作，是由存储侧的数据处理装置201控制完成，无需计算侧的主计算节点1011上的应用干预，对该应用透明，这使得在将该应用部署于主计算节点1011时，无需将该应用改造成具有控制存储节点1021回放重做日志的能力，从而可以有效降低在单机上部署应用的难度、提高应用部署效率。

示例性地，上述部署于存储侧的数据处理装置201可以通过软件实现，如可以是部署于硬件设备上的程序代码等。实际应用时，数据处理装置201例如可以是作为插件、组件或者应用等软件形式部署于存储节点1021中(例如，部署在存储节点1021的控制器中)。或者，上述数据处理装置201可以通过物理设备实现，其中，该物理设备例如可以是CPU，或者可以是专用集成电路(application-specific integrated circuit，ASIC)、可编程逻辑器件(programmable logic device，PLD)、复杂程序逻辑器件(complex programmable logical device，CPLD)、现场可编程门阵列(field-programmable gate array，FPGA)、通用阵列逻辑(generic array logic，GAL)、片上系统(system on chip，SoC)、软件定义架构(software-defined infrastructure，SDI)芯片、人工智能(artificial intelligence，AI)芯片、数据处理单元(data processing unit，DPU)等任意一种处理器或其任意组合。

值得注意的是，图2所示的数据处理系统200仅作为一种示例性说明，实际应用时，数据处理系统200也可以采用其它方式实现。为便于理解，本实施例提供了以下几种实现示例。

在第一种实现示例中，数据处理装置201也可以部署于存储节点1021外部，如在存储节点1022中进行部署，或者，数据处理装置201可以独立于存储节点1021以及存储节点1022进行部署等。

在第二种实现示例中，主计算节点1011与从计算节点1012可以共享同一存储节点301，并且，数据处理装置201部署于该存储节点301中，如图3所示。此时，主计算节点1011与从计算节点1012均可以访问存储节点301，从而在主计算节点1011故障的情况下，从计算节点1012可以根据存储节点301中的数据接管主计算节点1011上的业务。由于从计算节点1012在接管主计算节点1011上的业务时，位于存储侧的数据处理装置201已经控制存储节点301根据重做日志完成数据更新的过程，这使得从计算节点1012能够直接根据存储节点301中持久化存储的数据继续提供数据读写服务，以此可以有效缩短数据处理系统200的RTO，从而提高数据处理系统200的故障恢复性能。

实际应用时，存储节点301中还可以配置有读缓存区域202，示例性地，读缓存区域202可以通过动态随机存取内存(dynamic random access memory，DRAM)等存储介质实现。读缓存区域202，用于对主计算节点1011写入的数据页进行缓存。示例性地，读缓存区域202中所缓存的数据页，例如可以是主计算节点1011生成的新的数据页。比如，主计算节点1011在完成对存储节点1021中的部分数据页的修改后，可以将修改后的数据页写入存储节点1021等。此时，读缓存区域202可以缓存该数据页。这样，当主计算节点1011需要读取该数据页时，可以直接从存储节点1021中的读缓存区域202中读取数据，相比于从存储节点1021的持久化存储介质(如硬盘等)中读取数据的方式，可以有效提高主计算节点1011读取数据的效率，降低数据访问时延。进一步地，当该数据页对应的重做日志完成回放，或者，存储节点1021完成对于该数据页的持久化存储，或者读缓存区域202的剩余存储空间少于阈值时，可以将该数据从读缓存区域202中进行淘汰，以释放该数据页所占用的缓存空间，从而支持读缓存区域202缓存主计算节点1011新写入的数据页，本实施例对此并不进行限定。

在第三种实现示例中，数据处理系统200中的计算集群以及存储集群中，均可以包括3个或者3个以上的节点，如图4所示。具体地，计算集群包括多个计算节点410，各个计算节点410之间可以相互通信，并且部分计算节点410可以作为另一部分计算节点401的灾备。每个计算节点410是一种包括处理器的计算设备，如服务器、台式计算机等。在硬件上，如图4所示，计算节点410至少包括处理器412、内存413、网卡414和存储介质415。其中，处理器412是一个中央处理器(central processing unit，CPU)，用于处理来自计算节点410外部的数据访问请求，或者计算节点410内部生成的请求。处理器412从内存413中读取数据，或者，当内存413中的数据总量达到一定阈值时，处理器412将内存413中存储的数据发送给存储节点400进行持久化存储。图4中仅示出了一个CPU 412，在实际应用中，CPU 412的数量往往有多个，其中，一个CPU 412又具有一个或多个CPU核。本实施例不对CPU的数量、CPU核的数量进行限定。

内存413是指与处理器直接交换数据的内部存储器，它可以随时读写数据，而且速度很快，作为操作系统或其他正在运行中的程序的临时数据存储器。内存包括至少两种存储器，例如内存既可以是随机存取存储器，也可以是只读存储器(Read Only Memory,ROM)。实际应用中，计算节点410中可配置多个内存413，以及不同类型的内存413。本实施例不对内存413的数量和类型进行限定。

网卡414用于与存储节点400通信。例如，当内存413中的数据总量达到一定阈值时，计算节点410可通过网卡414向存储节点400发送请求以对所述数据进行持久化存储。另外，计算节点410还可以包括总线，用于计算节点410内部各组件之间的通信。在实际实现中，计算节点410也可以内置少量的硬盘，或者外接少量硬盘。

每个计算节点410可通过网络访问存储集群中的存储节点400。存储集群包括多个存储节点400，并且，部分存储节点400可以作为另一部分存储节点400的灾备。一个存储节点400包括一个或多个控制器401、网卡404与多个硬盘405。网卡404用于与计算节点410通信。硬盘405用于持久化存储数据，可以是磁盘或者其他类型的存储介质，例如固态硬盘或者叠瓦式磁记录硬盘等。控制器401用于根据计算节点410发送的读/写数据请求，往硬盘405中写入数据或者从硬盘405中读取数据。在读写数据的过程中，控制器401需要将读/写数据请求中携带的地址转换为硬盘能够识别的地址。，并且，部分控制器401还可以用于实现上述数据处理装置201的功能，以实现该存储节点400与其它存储节点400之间的数据同步。

为便于理解与说明，下面基于图2所示的数据处理系统200，对数据处理装置201控制存储节点1021与存储节点1022之间进行数据同步的过程进行详细介绍。

通常情况下，主计算节点1011上运行有一个或者多个应用(如MySQL等)，为便于理解，下面以主计算节点1011上运行目标应用为例进行示例性说明，该目标应用在运行时，能够支持主计算节点1011为用户提供数据读写服务。以用户请求修改数据为例，在主计算节点1011接收到用户通过客户端发送的用于修改数据的访问请求后，目标应用可以先将该访问请求所请求修改的数据所在的数据页从存储节点1021读取至主计算节点1011中的缓冲池(buffer pool)，并根据该访问请求完成对该缓冲池中数据页的修改。此时，目标应用会为针对该数据页的修改内容分别生成binlog以及目标重做日志(redolog)，该binlog用于记录针对该数据页进行修改的数据库语句，该目标重做日志用于记录存储节点1021中该数据页上部分数据被修改为新数据(新数据可以为空，此时是对该数据页上的部分数据进行删除)，为便于区分和描述，以下将该新数据称之为目标数据。示例性地，目标应用所生成的目标重做日志可以是一组命名为ib_logfile的文件，例如可以是分别命名为ib_logfile0和ib_logfile1的一组文件等。

在完成对于缓冲池中数据页的修改并生成目标重做日志后，主计算节点1011可以向客户端反馈数据写入/修改成功。由于将数据写入缓冲池的速度通常高于对数据进行持久化存储的速度，如此，可以加快主计算节点1011响应访问请求。并且，目标应用可以向存储集群102写入数据，所写入的数据可以包括重做日志、修改后的数据页等。

数据处理装置201在存储侧可以监控主计算节点1011向存储集群102写入的数据，并识别所写入的数据中是否包括目标应用生成的目标重做日志(主计算节点1011所写入的数据也可能是针对存储节点1021的配置文件等其它类型的数据)。例如，数据处理装置201可以根据重做日志的命名格式识别出目标重做日志(例如，预先了解目标应用生成的重做日志的命名规则，并根据该命名规则来识别目标重做日志)，或者，数据处理装置201可以根据目标应用的配置文件识别出目标重做日志(该配置文件中可以记录有用于区分该目标应用所生成的目标重做日志的信息，如目标重做日志的文件名称：ib_logfile0和ib_logfile1等，并根据该信息识别目标重做日志)，并在存储侧控制存储节点1021回放该目标重做日志，以将目标重做日志中记录的目标数据更新至存储节点1021所持久化存储的数据中，从而提高数据存储的可靠性。实际应用时，上述根据目标重做日志更新持久化存储的数据的技术，可以称之为页面物化(page materialization)技术，或者称之为日志即数据(log is data)技术。

具体实现时，数据处理装置201可以识别存储节点1021的数据页的格式。比如，数据处理装置1021可以通过识别主计算节点1011所写入的数据中的数据页，确定数据页的格式；或者，数据处理装置201可以从存储节点1021中的配置文件中获取数据页的格式等。然后，数据处理装置201可以将数据页的格式通知给存储节点1021。这样，存储节点1021在回放该目标重做日志时，可以根据数据页的格式，恢复存储节点1021中目标数据所在的数据页，并根据该目标重做日志中所记录的修改操作，将该数据页上的相应数据修改为目标数据，并对修改后的数据页进行持久化存储。实际应用时，当目标应用具体为MySQL时，存储节点1021中可以部署有文件系统(file system，FS)，从而数据处理装置201可以指示存储节点1021中的FS回放目标重做日志，以将重做日志所记录的目标数据更新至存储节点1021持久化存储的数据中。

如此，可以实现将根据重做日志更新存储节点1021中持久化存储的数据的功能，由计算侧(原先由主计算节点1011根据binlog实现)卸载至存储侧(现在由数据处理装置201以及存储节点1021实现该功能)，无需主计算节点1011感知和执行回放目标重做日志的操作。

从计算节点1012，部署有与主计算节点1011相同的目标应用，并作为主计算节点1011的灾备，具体可以是热备或者冷备。其中，从计算节点1012作为热备时，从计算节点1012与主计算节点1011持续处于运行状态；这样，当主计算节点1011发生故障时，从计算节点1012可以利用存储节点1022所存储的数据立即接管主计算节点1011上的业务，具体是处理主计算节点1011在故障时未处理完成的访问请求。从计算节点1012作为冷备时，在主计算节点1011正常运行期间，从计算节点1012可以不运行(如处于休眠状态等)，或者从计算节点1012可以释放其上的计算资源并利用所释放的计算资源处理其它业务，如离线计算业务等。当主计算节点1011发生故障时，从计算节点1012启动运行/收回计算资源，并利用存储节点1022所存储的数据实现接管主计算节点1011上的业务，存储节点1022作为存储节点1021的灾备，用于对存储节点1021中持久化存储的数据进行备份。实际应用时，主计算节点1011可以具有多个作为灾备节点的从计算节点，从而部分从计算节点可以作为主计算节点1011的冷备，而另一部分从计算节点可以作为主计算节点1011的热备等。

本实施例中，数据处理装置201不仅控制存储节点1021回放目标重做日志更新数据，还会控制存储节点1022回放该目标重做日志，以对存储节点1022中持久化存储的数据进行数据更新，从而实现存储节点1021与存储节点1022之间的数据保持一致。

具体实现时，数据处理装置201可以控制存储节点1021，通过存储节点1021中的网卡或者通信接口将生成的目标重做日志发送给存储节点1022，并指示存储节点1022根据接收到的目标重做日志对自身持久化存储的数据进行更新，也可以由存储节点1022根据接收到的目标重做日志自动对持久化存储的数据进行更新。或者，数据处理装置201可以与存储节点1022建立有线或者无线连接，从而数据处理装置201可以通过与存储节点1022之间的连接，将目标重做日志发送给存储节点1022。然后，数据处理装置201再指示存储节点1022，也可以由存储节点1022自动根据接收到的目标重做日志对自身持久化存储的数据进行更新。实际应用场景中，存储节点1022在接收到目标重做日志后，可以立即执行针对该目标重做日志的回放过程，以此可以使得存储节点1022与存储节点1021之间能够实时保持数据一致。

作为一种实现示例，数据处理装置201(或者控制存储节点1021)在将目标重做日志发送至存储节点1022时，可以将目标重做日志中相对于上一次发送的重做日志的新增日志记录发送给存储节点1022。比如，数据处理装置201(或者控制存储节点1021)在上一次发送重做日志之前，可以记录该重做日志中最新的日志记录所在的位置，该位置能够用于标识已经发送给存储节点1022的日志记录。这样，当需要将目标重做日志发送至存储节点1022时，由于日志记录通常顺序保存在重做日志的文件中，因此，数据处理装置201可以根据所记录的位置，确定目标重做日志中尚未发送给存储节点1022的新增的日志记录，并进一步将该部分新增的日志记录发送至存储节点1022。相应地，数据处理装置201可以回放所接收到的日志记录，实现对持久化存储的数据更新。

在另一种实现示例中，数据处理装置201(或者控制存储节点1021)可以将目标重做日志的整个日志文件发送给存储节点1022。存储节点1022在接收到目标重做日志后，可以查找当前已回放的日志记录在重做日志的文件中的位置，从而可以根据该位置确定目标重做日志中尚未完成回放的日志记录，并从该位置开始，按照顺序逐个回放该目标重做日志中新增的各条日志记录。

实际应用时，重做日志中每更新一条日志记录，数据处理装置201(或者控制存储节点1021)可以将该条日志记录或者重做日志的整个日志文件发送给存储节点1022。或者，数据处理装置201在监控到重做日志发生更新(如重做日志的LSN发生变化等)时，可以判断该重做日志中的发生更新的日志记录的数量是否达到预设数量(如10条等)，并且，当更新的日志记录的数量达到预设数量时，确定将该新增的日志记录或者重做日志的整个日志文件发送给存储节点1022，以此可以减少存储节点1021与存储节点1022之间同步重做日志的输入输出(input/output，IO)。又或者，数据处理装置201在监控到重做日志发生更新时，可以判断该重做日志中的发生更新的日志记录所占用的存储空间达到预设阈值，并且，当占用的存储空间达到预设阈值时，确定将该新增的日志记录或者重做日志的整个日志文件发送给存储节点1022。再或者，数据处理装置201在监控到重做日志发生更新时可以启动计时，并且，当计时时长达到预设时长后，可以将重做日志中在计时时间段内新增的所有日志记录发送给存储节点1022，或者直接将该重做日志的整个日志文件发送给存储节点1022等。值得注意的是，上述各种触发数据处理装置201发送日志记录/重做日志的日志文件的实现方式仅作为示例性说明，在其它实施例中，还可以对上述各示例进行组合/变形，又或者可以是采用其它方式实现。并且，无论数据处理装置201发送的是日志记录，还是整个日志文件，均属于将重做日志发送至存储节点1022的理解范畴之内。

其中，存储节点1022在回放目标重做日志之前，可以获取存储节点1022中的数据页的格式。这样，存储节点1022可以根据数据页的格式，恢复存储节点1022中需要被修改的数据页，并根据该目标重做日志中所记录的修改操作，将该数据页上的相应数据修改为目标数据。然后，存储节点1022再对修改后的数据页进行持久化存储。

在一种示例中，数据页的格式，可以由技术人员预先配置于存储节点1022中，如静态配置于存储节点1022的代码程序中，或者记录于存储节点1022中的配置文件，从而存储节点1022可以从该配置文件中读取该数据页的格式。实际应用时，配置文件中可以记录有多种数据页的格式，不同数据页的格式对应于不同的应用，或对应于同一应用的不同版本，从而存储节点1022可以根据当前在主计算节点1011或者从计算节点1012运行的目标应用，从该配置文件中查询得到该目标应用所对应的数据页格式。在另一种示例中，数据处理装置201可以通过识别主计算节点1011所写入的数据中的数据页，确定数据页的格式，并将数据页的格式通知给存储节点1022，以便存储节点1022获知数据页的格式。

当主计算节点1011发生故障并由从计算节点1012接管业务时，由于数据处理装置201已经在存储侧控制存储节点1022完成目标重做日志的回放，使得存储节点1021与存储节点1022之间的数据保持一致，因此，从计算节点1012可以直接基于存储节点1022中持久化存储的数据继续为用户处理主计算节点1011未完成的访问请求，无需执行回放目标重做日志以将存储节点1022的数据更新为最新状态的过程，这可以有效降低数据处理系统200恢复业务的时延，也即可以有效降低数据处理系统200的RTO。并且，当数据处理装置201部署于存储节点1021时，数据处理装置201可以控制存储节点1021与至少一个作为其灾备的其它存储节点回放目标重做日志，这使得单个存储节点可以具备集群的管理能力(该集群即为多个存储节点构成的集群)。

在进一步可能的实施方式中，存储节点1021与存储节点1022在回放目标重做日志之前，还可以利用主计算节点1011生成的binlog校验目标重做日志的正确性。具体地，实际应用场景中，存储节点1021可能会因为程序运行错误或者其它原因，生成错误的重做日志，如对于主计算节点1011中已经完成回滚的binlog，存储节点1021仍然针对该binlog所指示修改的数据生成重做日志，或者，存储节点1021中因为部分重做日志生成失败而存在重做日志的缺漏等。为此，数据处理装置201还可以识别以及获取主计算节点1011中目标数据对应的binlog，并将binlog与存储节点1021中的目标重做日志一并发送至存储节点1022。或者，数据处理装置201可以通过与存储节点1022之间的连接，将该binlog发送给存储节点1022。又或者，binlog可以由主计算节点1011将binlog发送至从计算节点1012，再由从计算节点1012下发给存储节点1022等。然后，存储节点1022可以利用接收到的binlog对目标重做日志进行验证，如验证binlog与目标重做日志中所记录的已提交事务的标识是否一致等。并且，在目标重做日志通过验证的情况下(如binlog与目标重做日志中所记录的已提交事务的标识一致等)，存储节点1022回放目标重做日志，以更新存储节点1022中持久化存储的数据。当目标重做日志未通过验证时，存储节点1022可以向数据处理装置201反馈验证失败的结果。数据处理装置201可以指示从计算节点1012通过执行回放该binlog的操作，来更新存储节点1022中持久化存储的数据，以此保证存储节点1022中存储的数据的正确性。

而且，数据处理装置201还可以指示存储节点1021利用验binlog对目标重做日志进行验证，并在目标重做日志通过验证的情况下，通过回放目标重做日志来更新存储节点1021中持久化存储的数据。而当目标重做日志未通过验证时，数据处理装置201或者存储节点1021可以指示主计算节点1011通过执行回放该binlog的操作，来更新存储节点1021中持久化存储的数据，以此保证存储节点1021中存储的数据的正确性。

其中，数据在存储节点1021与存储节点1022中，可以是以文件的格式进行持久化存储，此时，存储节点1021与存储节点1022中可以分别部署有相应的文件系统(FS)，该FS用于对持久化存储的文件进行管理，如由FS执行回放目标重做日志以更新持久化存储的数据的过程。或者，数据在存储节点1021与存储节点1022中，也可以是以数据块格式(data block format)进行持久化存储，即存储节点1021与存储节点1022在存储数据时，将数据按照固定大小的尺寸进行分块，每个分块的数据量例如可以是512字节或者4千字节(KB)等。或者，数据在存储节点1021与存储节点1022中，也可以是以对象(object)格式进行存储，此时，对象可以是存储节点存储数据的基本单位，每个对象可以包括数据和该数据的属性的综合体，其中，数据的属性可以根据计算节点中应用的需求进行设置，包括数据分布、服务质量等。本实施例中对于数据的存储格式并不进行限定。

实际应用时，数据处理系统中的存储节点1021与存储节点1022的部署方式，可以存在多种实现方式。

在第一种实现方式中，存储节点1021与存储节点1022可以部署于同一物理区域，如图5所示。例如，存储节点1021与存储节点1022可以部署于同一数据中心，或者部署于同一可用区(availability zones，AZ)等。此时，通过在同一物理区域内为数据创建多个副本，可以有效提高数据在本地存储的可靠性。

示例性地，数据处理装置201可以将存储节点1021中的存储卷作为主卷，在逻辑上创建从卷(即slave卷)，并将该从卷分配给存储节点1022；然后，数据处理装置201可以记录当前时刻(假设为时刻t)的重做日志的日志序列号(log sequence number，LSN)的值，并控制存储节点1021将主卷在该当前时刻所持久化存储的数据复制至从卷，将存储节点1021中LSN不大于该值的重做日志复制至存储节点1022。如此，存储节点1021以及存储节点1022通过分别对重做日志进行回放，可以实现存储节点1021以及存储节点1022之间在时刻t的数据同步。当存储节点1021基于新写入的数据生成新的重做日志时，数据处理装置201通过将该新的重做日志复制至存储节点1022，以此保证两个存储节点之间的数据一致性。实际应用时，数据处理装置201除了以存储卷为对象创建副本之外，还可以基于其它存储对象创建副本，本实施例对此并不进行限定。

其中，主卷中的数据，可以通过数据克隆的方式，复制至从卷中，此时，从卷也可以称之为克隆卷。或者，主卷中的数据，可以通过快照的方式复制至从卷中，如此，在实现数据备份的基础上，不仅能够提高数据备份效率，而且，也能降低数据备份所需的开销、减少副本的存储空间。

进一步地，数据处理系统200还可以通过级联克隆的方式，支持对数据处理系统200某一时刻的数据进行读写。比如，当需要基于数据处理系统200在时刻T的数据执行相应的分析或者测试业务时，数据处理系统200可以创建新的存储节点1023，并对存储节点1022的从卷中的数据进行数据克隆，生成克隆卷，如图5所示。然后，数据处理装置201可以将该克隆卷分配给新创建的存储节点1023，并将时刻T之前所生成的重做日志复制至该新创建的存储节点1023中。如此，数据处理系统200可以基于该新创建的存储节点中克隆卷的数据，支持用户利用计算节点1013对分析/测试业务中的数据读写。实际应用时，数据处理装置201可以创建复制组，该复制组中包括主卷以及至少一个从卷，并且，从卷中的数据可以通过对主卷进行复制或者快照的方式得到。并且，数据处理装置201能够用于处理该复制组内的不同存储卷之间的数据同步，这使得计算侧的主计算节点1011可以无需对复制组进行维护，从而可以简化主计算节点1011的数据处理逻辑、有助于提高主计算节点1011提供业务服务的性能。

相应地，从计算节点1012可以实时或者周期性的检测主计算节点1011是否发生故障，如从计算节点1012可以在未接收到主计算节点1011发送的心跳消息时确定主计算节点1011发生故障等。当确定主计算节点1011故障时，从计算节点1012升级为主计算节点，并指示存储节点1022升级为主存储节点，此时，从计算节点1012直接基于存储节点1022中的数据继续接管主计算节点1011上的业务。

对于用户通过客户端新写入的数据，从计算节点1012可以按照前述方式写入从计算节点1012中的缓冲区，并生成重做日志，并将其写入存储节点1022(当前已升级为主存储节点)。然后，数据处理装置201可以指示存储节点1022对该重做日志进行回放，以实现对持久化存储的数据进行更新。并且，数据处理装置201还可以控制将该重做日志复制至存储节点1021，以便存储节点1021通过回放该重做日志，保持与存储节点1022之间的数据同步。实际应用时，主计算节点1011在故障恢复后，可以作为从计算节点1012的灾备，即从计算节点1012保持为主节点，主计算节点1011作为从节点。或者，主计算节点1011可以触发主从切换过程，以便将主计算节点1011再次恢复为主节点、将从计算节点1012再次恢复为从节点等。

在第二种实现方式中，存储节点1021与存储节点1022可以部署于不同的物理区域，如图6所示的物理区域1以及物理区域2。例如，存储节点1021部署于数据中心A，存储节点1022部署于数据中心B；或者，存储节点1021部署于AZ1，存储节点1022部署于AZ2等。如此，可以实现跨数据中心或者跨AZ容灾，以此提高数据在异地存储的可靠性。

示例性地，数据处理装置201可以将存储节点1021中的存储卷作为主卷，并在远端的存储节点1022中创建逻辑上的从卷。然后，在将存储节点1021中的数据复制至存储节点1022时，数据处理装置201可以先记录当前时刻的重做日志的LSN的值，并控制存储节点1021将主卷上的数据、以及存储节点1021中LSN不大于该值的重做日志远程发送至存储节点1022，以此实现存储节点1021与存储节点1022之间在时刻t的数据同步。对于存储节点1021在时刻t之后所发生更新的数据，数据处理装置201可以控制存储节点1021将时刻t之后所生成的重做日志远程发送给存储节点1022，以此保证两个存储节点之间的数据一致性。在该示例中，是以数据处理装置201基于存储卷创建副本为例进行说明，在其它实施方式中，数据处理装置201也可以基于其它类型的存储对象创建副本，本实施例对此并不进行限定。实际应用时，数据处理装置201可以创建复制组，该复制组中包括主卷以及位于其它物理区域的至少一个从卷，并且，从卷中的数据可以通过对主卷进行复制的方式得到。并且，数据处理装置201能够用于处理该复制组内的不同存储卷之间的数据同步，这使得计算侧的主计算节点1011可以无需对复制组进行维护。

相应地，从计算节点1012可以实时或者周期性的检测主计算节点1011发生故障，并且，当确定主计算节点1011故障时，从计算节点1012升级为主计算节点，存储节点1022升级为主存储节点，并且，从计算节点1012直接基于存储节点1022中的数据继续接管主计算节点1011上的业务。相应地，从计算节点1012对于用户通过客户端新写入的数据，可以按照前述方式写入缓冲区，并生成重做日志，然后，数据处理装置201可以通过控制存储节点1022将新生成的重做日志复制至存储节点1021中，以实现两个存储节点之间的数据同步。主计算节点1011在故障恢复后，可以作为从计算节点1012的灾备；或者，主计算节点1011可以通过主从切换，将主计算节点1011再次恢复为主节点等。

上述两种实现方式，仅作为一些示例性说明。比如，在其它可能的实施方式中，存储节点1021可以存在多个灾备节点，此时，该多个灾备节点中的部分节点可以与存储节点1021部署于同一物理区域，该多个灾备节点中的另一部分节点可以与存储节点1021部署于不同的物理区域等，以此可以同时提高数据在本地存储以及异地存储的可靠性。

实际应用时，存储节点1021(以及存储节点1022)可以基于存储阵列(memory array)持久化存储数据，并且，可以在该存储阵列上基于独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)技术、纠删码(erasure coding，EC)技术、重删压缩、数据备份等技术，进一步提高数据在存储节点1021(以及存储节点1022)中持久化存储的可靠性。

在进一步可能的实施方式中，当存储节点1021与存储节点1022部署于不同的物理区域时，存储节点1021与存储节点1022之间可以基于多种数据复制方式保持两个存储节点的数据一致性。其中，下面对存储节点1021与存储节点1022之间数据复制过程进行详细介绍。

作为第一种实现示例，数据处理装置201可以先判断是否存储节点1021与存储节点1022之间是否进行基线(baseline)复制。其中，基线复制，是指将存储节点1021在某个时间点(如当前时刻)所持久化存储的数据以及所生成的日志全部发送至存储节点1022。比如，当存储节点1021与存储节点1022之间第一次执行数据复制操作时，数据处理装置201可以确定进行基线复制。或者，当存储节点1021中存在部分重做日志未被及时发送至存储节点1022而在存储节点1021中被删除，如该部分重做日志在存储节点1021中的生命周期超出预设时长而被删除，或者因为存储节点1021中用于存储重做日志的可用区域不足而删除部分最先生成的重做日志等，此时，存储节点1022无法获得该部分被删除的重做日志来保持与存储节点1021之间的数据同步，因此，数据处理装置201可以确定对存储节点1021与存储节点1022进行基线复制，以便基于该基线同步两个存储节点中的数据。

在确定采用基线复制时，数据处理装置201可以将第一时刻(如当前时刻)确定为基线对应的时刻，并基于该时刻确定基线数据。其中，基线数据包括当前存储节点1021中所持久化存储的数据以及该时刻所最新生成的重做日志。在确定基线数据后，数据处理装置201可以记录该基线数据中的重做日志的LSN，以下将该LSN称之为基线LSN，并控制存储节点1021将该基线数据远程发送至存储节点1022，如图7所示，以便存储节点1022存储该基线数据，具体可以是持久化存储该基线数据中的多个数据页上的数据，并根据该基线数据中的重做日志对当前持久化存储的数据进行更新。可以理解，由于存储节点1021远程发送基线数据的过程中(也即基线复制过程中)以及基线复制完成之后，用户可能会通过客户端向存储节点1021写入新的数据，从而基于该新写入的数据生成新的重做日志，如上述目标重做日志等。因此，数据处理装置201可以指示存储节点1021将新生成的重做日志(也即LSN大于该基线LSN的重做日志)写入缓存区域701中进行临时存储。

实际应用时，由于缓存区域701的存储空间有限，存储节点1021可能会在缓存区域701的剩余存储空间小于阈值时，回收缓存区域701中已缓存的重做日志。为避免基线复制过程中所生成的部分重做日志在未及时复制至存储节点1022的情况下被回收，数据处理装置201可以设置存储节点1021中缓存区域701的存储空间的下限值，也即设置存储节点1021所创建的缓存区域701的存储空间不小于该下限值。在基线复制过程中，数据处理装置201可以指示存储节点1021与存储节点1022对基线数据中的重做日志进行回放，以使得存储节点1021与存储节点1022中持久化存储的数据均与该基线保持一致。

在完成基线复制后，数据处理装置201可以校验是否存在LSN大于基线LSN的重做日志被回收，如存储节点1021在回收重做日志时会记录该重做日志的LSN，从而当回收的重做日志的LSN大于基线LSN时，确定存在LSN大于基线LSN的重做日志被回收，否则确定不存在LSN大于基线LSN的重做日志被回收。

若存在LSN大于基线LSN的重做日志被回收，则数据处理装置201指示存储节点1021重新确定基线，如基于第二时刻(如当前时刻)确定基线等，并基于重新确定的基线再次执行基线复制过程，以保证两个存储节点之间的数据一致性(避免存储节点1022丢失存储节点1021中的部分数据)。其中，新的基线复制过程可以是相对于上一次基线复制过程的增量复制，以此可以减少基线复制过程所需传输的数据量；或者，新的基线复制过程也可以是全量复制等。

若不存在LSN大于基线LSN的重做日志被回收，则数据处理装置201指示存储节点1021将缓存区域701中的新生成重做日志发送至存储节点1022，该过程即为日志复制过程。实际应用时，存储节点1021也可以是将新生成的重做日志中相对于基线数据中的重做日志所新增的日志记录发送至存储节点1022，而可以不用发送该新生成的重做日志中的所有日志记录。并且，数据处理装置201可以指示存储节点1022对该新生成的重做日志进行回放，以更新自身持久化存储的数据。其中，存储节点1021可以与存储节点1022同时执行回放该重做日志的过程，或者存储节点1021与存储节点1022异步执行回放该重做日志的过程。对于缓存区域中601中已经在存储节点1021完成回放并且已经被发送至存储节点1022的重做日志，存储节点1021可以对其进行回收。并且，在日志复制过程中，存储节点1021若生成新的重做日志，则仍然将其写入缓存区域701中，以便后续将其发送至存储节点1022中。

在完成日志复制过程时，也即缓存区域701中不存在未被发送至存储节点1022的重做日志，数据处理系统200的恢复点目标(recovery point object，RPO)能够为0，该RPO可以用于衡量数据处理系统200灾难恢复时所发生的最大数据丢失量。此时，如果存储节点1021与存储节点1022之间的数据复制方式被配置为同步复制，则对于存储节点1021后续所生成的新的重做日志，数据处理装置201可以控制存储节点1021执行重做日志的镜像功能，并将该重做日志的镜像发送至存储节点1022，以便存储节点1022根据对该重做日志的镜像文件进行回放。在确定存储节点1022成功接收到镜像文件后，数据处理装置201可以控制存储节点1021可以回放该重做日志，控制存储节点1022回放该重做日志的镜像文件，以此实现存储节点1021与存储节点1022之间的数据同步。而若存储节点1021与存储节点1022之间的数据复制方式被配置为异步复制，则对于存储节点1021新生成的重做日志，存储节点1021可以将其添加至缓存区域701中，并且，数据处理装置201可以指示存储节点1021回放该重做日志，并将缓存区域701中的重做日志发送至存储节点1022中，以便存储节点1022通过回放接收到的重做日志来实现存储节点1021与存储节点1022之间的数据同步。

实际应用场景中，在进行日志复制过程的过程中，如果存储节点1021与存储节点1022之间断开连接，则这两个存储节点处于待同步的状态。当存储节点1021与存储节点1022之间恢复连接时，如果存储节点1021中不存在未复制的重做日志被回收，则存储节点1021与存储节点1022可以继续执行日志复制过程，而若存储节点1021中存在部分未复制的重做日志被回收，则数据处理装置201指示存储节点1021重新确定基线，并基于重新确定的基线再次执行基线复制过程，以保证两个存储节点之间的数据一致性。

上述第一种实施示例中，存储节点1021与存储节点1022之间可以串行执行基线复制过程以及日志复制过程，而在其它可能的实施方式中，存储节点1021与存储节点1022之间可以并行执行基线复制过程以及日志复制过程。

具体地，作为第二种实现示例，数据处理装置201可以先判断是否存储节点1021与存储节点1022之间是否进行基线(baseline)复制。若确定采用基线复制，则数据处理装置201可以记录该基线对应的重做日志的基线LSN(假设为最新的重做日志对应的LSN)，并控制存储节点1021将该基线对应的持久化数据以及不大于该基线LSN的重做日志远程发送至存储节点1022，如图8所示。在基线复制过程中(以及完成基线复制后)，对于存储节点1021生成的新的重做日志，数据处理装置201可以控制存储节点1021对该重做日志进行镜像，并将该重做日志的镜像文件发送至存储节点1022。在此过程中，数据处理装置201可以控制存储节点1021对新生成的重做日志进行回放，以在存储节点1021进行数据更新。

在完成基线复制后，数据处理装置201可以控制存储节点1022先回放基线中包括的LSN不大于基线LSN的重做日志，然后，再按照日志接收顺序对接收到的重做日志的镜像文件进行回放，直至存储节点1022完成对最新接收到的重做日志的镜像文件进行回放。此时，存储节点1021与存储节点1022中持久化存储的数据可以保持一致，数据处理系统200的RPO能够为0。

值得注意的是，上述是以数据处理装置201控制两个存储节点分别回放重做日志进行示例性说明，在其它可能的实施方式中，主计算节点1012与从计算节点1012之间也可以共享同一存储节点，如图3所示，主计算节点1012与从计算节点1012均可以访问存储节点301。此时，对于主计算节点1011下发的重做日志，数据处理装置201控制一个存储节点(即存储节点301)对该重做日志完成回放即可。又或者，当存储节点1021具有多个作为灾备的从存储节点时(即一主多从的灾备架构)，数据处理装置201可以控制多个存储节点分别回放重做日志，已实现数据在主、从存储节点之间的数据同步。

如图9所示，为本申请实施例中一种数据处理方法的流程示意图，该方法可以应用于如图2所示的数据处理系统200中。实际应用时，该方法也可以应用于其它可适用的数据处理系统中。为便于理解与描述，下面以应用于图2所示的数据处理系统200为例进行示例性说明，该方法具体可以包括：

S901：主计算节点1011接收访问请求，并向存储集群102写入数据。

实际应用时，主计算节点1011可以接收用户侧的客户端或者其它设备发送的访问请求，该访问请求可以用于请求读取数据处理系统200中所持久化存储的数据，或者可以用于请求对数据处理系统200中所持久化存储的数据进行修改，或者可以用于请求向数据处理系统200写入新数据等。

其中，当主计算节点1011接收到的访问请求用于请求修改数据或者写入新数据时，主计算节点1011在响应该访问请求的过程中，可以对修改后的数据或者新写入的数据进行缓存，并为该数据生成重做日志。

S902：数据处理装置201监控主计算节点1011向存储集群102写入的数据。

主计算节点1011向存储集群102写入的数据，例如可以包括重做日志、数据页等数据，还可以是其它类型的数据。

S903：数据处理装置201识别到主计算节点1011向存储集群102写入的数据包括重做日志。

S904：数据处理装置201判断存储节点1021中是否存在未复制至存储节点1022的重做日志发生回收，若是，则执行步骤S905；若否，则执行步骤S907。

S905：数据处理装置201控制存储节点1021与存储节点1022之间进行基线复制。

具体实现时，数据处理装置201可以记录最新生成的重做日志(如步骤S903中所识别到的重做日志)的LSN，并根据当前时刻已生成的重做日志以及存储节点1021中持久化存储的数据作为基线，控制存储节点1021将该基线包括的数据以及重做日志远程发送至存储节点1022。

其中，在基线复制过程中，数据处理装置201还可以控制存储节点1022对基线中的重做日志进行回放，以使得存储节点1021与存储节点1022基于该基线所持久化存储的数据保持一致。

S906：数据处理装置201将存储节点1021在基线复制过程中所生成的新的重做日志复制至存储节点1022，并返回执行步骤S902。

本实施例中，存储节点1021与存储节点1022之间可以串行执行基线复制过程以及日志复制过程，则，数据处理装置201可以指示存储节点1021在基线复制过程中所生成的新的重做日志进行缓存，从而在完成基线复制后，控制存储节点1021将缓存的重做日志(该重做日志的LSN大于基线包括的重做日志的LSN)发送至存储节点1022，并控制存储节点1022回放所接收到的重做日志。

或者，存储节点1021与存储节点1022之间可以并行执行基线复制过程以及日志复制过程，则，数据处理装置201可以指示存储节点1021对基线复制过程中所生成的新的重做日志进行镜像，并将该新的重做日志的镜像文件发送至存储节点1022，并控制存储节点1022在回放完成基线中的所有重做日志后，再回放其接收到的重做日志的镜像文件。

S907：数据处理装置201控制存储节点1021将识别到的重做日志复制至存储节点1022。

其中，当存储节点1021与存储节点1022之间采用异步复制时，存储节点1021所生成的重做日志被写入缓存区域中，从而数据处理装置201可以指示存储节点1021将缓存区域中的重做日志发送至存储节点1022。

当存储节点1021与存储节点1022之间采用同步复制时，数据处理装置201可以指示存储节点1021对生成的重做日志进行镜像，并将镜像文件发送至存储节点1022。

S908：数据处理装置201分别控制存储节点1021以及存储节点1022回放其上的重做日志，以更新各存储节点所持久化存储的数据，并返回执行步骤S902。

如此，存储节点1021与存储节点1022根据重做日志对持久化存储的数据进行更新，相比于通过binlog更新数据的方式，因为无需执行数据库语句，而是直接在存储节点的数据页上修改数据，这可以有效降低更新存储节点中持久化存储的数据所需消耗的资源量。

并且，由于位于存储侧的数据处理装置201已经控制存储节点1022根据存储节点1021中的重做日志更新持久化存储的数据，这使得在从计算节点1012升级为主计算节点时(原主计算节点1011发生故障或者从计算节点1012接收到主从切换的升级指令等)，从计算节点1012无需执行根据重做日志更新数据的过程，而能够直接根据存储节点1022中持久化存储的数据继续提供数据读写服务，以此可以有效缩短数据处理系统200的RTO，提高数据处理系统200的故障恢复性能。

值得注意的是，本实施例中是以应用于图2所示的数据处理系统为例，介绍多个存储节点之间的数据同步过程，当应用于3所示的数据处理系统时，主计算节点1011与从计算节点1012共享同一存储节点，此时，数据处理装置201指示存储节点301对生成的重做日志进行回放以更新持久化存储的数据即可。这样，当主计算节点1011故障后，从计算节点1012无需再执行回放重做日志的过程，而可以直接基于当前持久化存储的数据恢复业务运行，以此可以降低数据处理系统200的RTO。

图9所示的数据处理方法实施例，对应于图2至图8所示的数据处理系统200实施例，故图9所示的数据处理方法中的具体实现过程，可参见前述实施例的相关之处描述，在此不做重述。

上述各实施例中，是以数据处理装置201利用重做日志控制存储节点1021与存储节点1022保持数据一致性为例进行示例性说明。在其它可能的实施例中，数据处理装置201也可以利用binlog控制多个存储节点之间保持数据一致性。下面结合图10进行示例性说明。

参见图10，示出了本申请实施例提供的另一种数据处理系统500。如图10所示，数据处理系统500中的计算集群包括主计算节点5011、从计算节点5012以及从计算节点5013，并且，从计算节点5012以及从计算节点5013均作为主计算节点5011的灾备，例如可以是热备等。数据处理系统500中的存储集群包括存储节点5021、存储节点5022、存储节点5023以及数据处理装置503，并且，存储节点5022以及存储节点5023均作为存储节点5011的灾备。其中，主计算节点5011与存储节点5021可以构成主中心，从计算节点5012与存储节点5022可以构成灾备中心1，从计算节点5013与存储节点5023可以构成灾备中心2，并且，主中心与灾备中心1部署于同一物理区域，主中心与灾备中心2部署于不同的物理区域，如部署于不同的数据中心等。

主计算节点5011在向存储节点5021写入新的数据，或者对存储节点5021中的数据进行修改的过程中，通常会生成binlog(一种逻辑日志)，该binlog中可以记录用于更新存储节点5021中持久化存储的数据的数据库语句，如SQL语句等。

此时，数据处理装置503可以感知并识别主计算节点5011中的binlog，例如可以是根据binlog的日志格式识别出binlog等，并从主计算节点5011中获取该binlog。当数据处理装置503部署于存储节点5021时，数据处理装置503可以控制存储节点5021，将binlog分别发送至灾备中心1以及灾备中心2，具体可以是将binlog分别发送至存储节点5022以及存储节点5023。而当数据处理装置5031独立于各个存储节点进行部署时，数据处理装置503可以配置有网卡，从而数据处理装置503可以通过该网卡将binlog分别发送至各个灾备中心等。然后，数据处理装置503可以分别指示从计算节点5012以及从计算节点5013回放各自所接收到的binlog。

从计算节点5012在回放binlog时，通过执行binlog中所记录的数据库语句，可以对存储节点5022中持久化存储的数据进行更新，以使得存储节点5022中的数据与存储节点5021中的数据保持一致。类似地，从计算节点5013也可以通过执行binlog中所记录的数据库语句，对存储节点5023中持久化存储的数据进行更新，以使得存储节点5023中的数据与存储节点5021中的数据保持一致。

由于binlog是在存储侧完成从主中心到各个灾备中心的复制，这使得即使主中心的主计算节点5011的负荷较大，各个灾备中心也能通过存储节点接收到binlog，而无需由主计算节点5011再执行将binlog发送至各个灾备中心的过程。如此，各个灾备中心中的从计算节点通过回放该binlog，可以实现各个灾备中心与主中心之间的数据同步，保证数据处理系统500的RPO能够为0，避免主计算节点5011因为负荷过大影响binlog在主中心与灾备中心之间的复制，而导致灾备中心的数据与主中心的数据不一致，影响数据处理系统500的RPO。

在进一步可能的实施方式中，数据处理装置503还可以判断存储节点5021与各个作为其灾备的存储节点之间是否需要进行基线复制。比如，当主中心与灾备中心之间第一次执行数据复制过程时，数据处理装置503可以确定进行基线复制。或者，当主计算节点5011生成的部分binlog未被及时发送至各个灾备中心而在主计算节点5011中被删除，如该部分binlog在主计算节点5011中的生命周期超出预设时长而被删除，或者因为主计算节点5011中用于存储binlog的可用区域不足而删除部分最先生成的binlog等，此时，存储节点5022以及存储节点5023难以获得该部分被删除的binlog，从而导致各灾备中心难以通过回放binlog来保持各灾备中心与主中心之间的数据同步。因此，数据处理装置503在确定对存储节点5021与各个存储节点之间是否需要进行基线复制时，基于该基线将存储节点5021中主卷的数据，分别复制至存储节点5022的从卷以及存储节点5023的从卷中。本实施例中，数据处理装置503控制存储节点5021分别与各个存储节点之间进行基线复制的具体实现，可参见前述实施例中数据处理装置201控制存储节点1021与存储节点1022之间进行基线复制的相关之处描述，在此不做重述。

值得注意的是，图10所示的数据处理系统500仅作为一种示例性说明。在其它可能的数据处理系统中，灾备中心(以及作为灾备的存储节点)的数量可以更少，或者可以更多等，本实施例对此并不进行限定。

上文中结合图1至图10，详细描述了本申请所提供的数据处理系统，下面将结合图11和图12，描述根据本申请所提供的数据处理装置、数据处理设备。

与上述方法同样的发明构思，本申请实施例还提供一种数据处理装置。参见图11，示出了本申请实施例提供的一种数据处理装置的示意图。其中，图11所示的数据处理装置1100位于数据处理系统，如图2所示的数据处理系统200等，该数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及所述数据处理装置，所述从计算节点作为所述主计算节点的灾备。

如图11所示，数据处理装置1100包括：

监控模块1101，用于监控所述主计算节点向所述存储集群写入的数据；

控制模块1102，用于在识别到所述写入的数据包括所述目标重做日志时，控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，以将所述目标重做日志中记录的目标数据更新至所述至少一个存储节点所持久化存储的数据中，所述至少一个存储节点中更新后的持久化存储的数据被所述从计算节点用于接管所述主计算节点上的访问请求。

在一种可能的实施方式中，至少一个存储节点还包括第二存储节点，第一存储节点作为第二存储节点的灾备；

控制模块1102，还用于在识别到写入的数据包括目标重做日志时，控制第二存储节点将目标重做日志发送至第一存储节点，以使得第一存储节点回放目标重做日志，以更新第一存储节点中持久化存储的数据。

在一种可能的实施方式中，控制模块1102，用于根据目标应用的配置文件或目标应用的重做日志的命名格式，识别到写入的数据包括目标重做日志。

在一种可能的实施方式中，控制模块1102，具体用于控制第一存储节点根据目标应用对应的数据页的格式回放目标重做日志，以更新第一存储节点上的数据页。

在一种可能的实施方式中，控制模块1102，还用于控制第一存储节点在回放目标重做日志之前，获取目标应用对应的数据页的格式。

在一种可能的实施方式中，控制模块1102，还用于控制第二存储节点将目标数据对应的二进制日志发送至第一存储节点，二进制日志用于记录数据库语句；

控制模块1102，具体用于控制第一存储节点采用二进制日志对目标重做日志进行验证，以使得第一存储节点在确定验证通过的情况下，回放目标重做日志。

控制模块1102，还用于控制第一存储节点在回放目标重做日志之前，将目标数据缓存至读缓存区域，读缓存区域中的目标数据能够被主计算节点读取。

在一种可能的实施方式中，控制模块1102，还用于控制第一存储节点在回放目标重做日志之后，从读缓存区域淘汰目标数据。

在一种可能的实施方式中，控制模块1102，还用于在控制第二存储节点发送基线数据之前，设置第二存储节点中用于缓存重做日志的存储空间的下限值。

本实施例提供的数据处理装置1100，对应于上述各实施例中的数据处理系统，用于实现上述各实施例中数据处理装置201的功能或者数据处理装置201所执行的数据处理方法，因此，本实施例中的各个模块的功能及其所具有的技术效果，可参见前述实施例中的相关之处描述，在此不做赘述。

此外，本申请实施例还提供一种数据处理设备，如图12所示，数据处理设备1200中可以包括通信接口1210、处理器1220。可选的，数据处理设备1200中还可以包括存储器1230。其中，存储器1230可以设置于数据处理设备1200内部，还可以设置于数据处理设备1200外部。示例性地，上述实施例中数据处理装置201执行的各个动作均可以由处理器1220实现。在实现过程中，处理流程的各步骤可以通过处理器1220中的硬件的集成逻辑电路或者软件形式的指令完成前述实施例中数据处理装置201执行的方法。为了简洁，在此不再赘述。处理器1220用于实现上述方法所执行的程序代码可以存储在存储器1230中。存储器1230和处理器1220连接，如耦合连接等。

本申请实施例的一些特征可以由处理器1220执行存储器1230中的程序指令或者软件代码来完成/支持。存储器1230上在加载的软件组件可以从功能或者逻辑上进行概括，例如，图11所示的监控模块1101、控制模块1102，图11所示的监控模块1101的功能可以由通信接口1010实现。

本申请实施例中涉及到的任一通信接口可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。比如数据处理设备1200中的通信接口1210，示例性地，该其它装置可以是与该数据处理设备1200相连的设备等。

基于以上实施例，本申请实施例还提供了一种芯片，包括供电电路以及处理电路，所述供电电路用于对所述处理电路进行供电，所述处理电路用于：

监控所述主计算节点向所述存储集群写入的数据；

在识别到所述写入的数据包括所述目标重做日志时，控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，以将所述目标重做日志中记录的目标数据更新至所述至少一个存储节点所持久化存储的数据中，所述至少一个存储节点中更新后的持久化存储的数据被所述从计算节点用于接管所述主计算节点上的访问请求，其中，该芯片应用于数据处理系统中的数据处理装置，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备。

示例性地，供电电路包括但不限于如下至少一个：供电子系统、电管管理芯片、功耗管理处理器或功耗管理控制电路。

在一种可能的实施方式中，至少一个存储节点还包括第二存储节点，第一存储节点作为第二存储节点的灾备，所述处理电路用于：

在识别到写入的数据包括目标重做日志时，控制第二存储节点将目标重做日志发送至第一存储节点，以使得第一存储节点回放目标重做日志，以更新第一存储节点中持久化存储的数据。

在一种可能的实施方式中，所述处理电路具体用于：

根据目标应用的配置文件或目标应用的重做日志的命名格式，识别到写入的数据包括目标重做日志。

在一种可能的实施方式中，第一存储节点与第二存储节点部署于同一物理区域，所述处理电路还用于：

根据第二存储节点在该物理区域内创建第一存储节点，该第一存储节点中的数据通过对第二存储节点中的数据进行快照或者克隆得到。

在一种可能的实施方式中，所述处理电路具体用于：

控制第一存储节点根据目标应用对应的数据页的格式回放目标重做日志，以更新第一存储节点上的数据页。

在一种可能的实施方式中，所述处理电路还用于：

控制第一存储节点在回放目标重做日志之前，获取目标应用对应的数据页的格式。

在一种可能的实施方式中，所述处理电路还用于：

控制第二存储节点将目标数据对应的二进制日志发送至第一存储节点，二进制日志用于记录数据库语句；

则，所述处理电路具体用于：控制第一存储节点采用二进制日志对目标重做日志进行验证，以使得第一存储节点在确定验证通过的情况下，回放目标重做日志。

则，所述处理电路还用于：控制第一存储节点在回放目标重做日志之前，将目标数据缓存至读缓存区域，读缓存区域中的目标数据能够被主计算节点读取。

在一种可能的实施方式中，所述处理电路还用于：

控制第一存储节点在回放目标重做日志之后，从读缓存区域淘汰目标数据。

在一种可能的实施方式中第一存储节点与第二存储节点部署于不同物理区域；所述处理电路还用于：

控制第二存储节点在将目标重做日志发送至第一存储节点之前，将基线数据发送至第一存储节点；数据处理装置控制第一存储节点在回放目标重做日志之前，存储基线数据。

在一种可能的实施方式中，所述处理电路还用于：

在控制第二存储节点发送基线数据之前，设置第二存储节点中用于缓存重做日志的存储空间的下限值。

本申请实施例中涉及的处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请实施例中的耦合是装置、模块或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、模块或模块之间的信息交互。

处理器可能和存储器协同操作。存储器可以是非易失性存储器，比如硬盘或固态硬盘等，还可以是易失性存储器，例如随机存取存储器。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

本申请实施例中不限定上述通信接口、处理器以及存储器之间的具体连接介质。比如存储器、处理器以及通信接口之间可以通过总线连接。所述总线可以分为地址总线、数据总线、控制总线等。

基于以上实施例，本申请实施例还提供了一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个计算设备读取并执行时可实现上述任意一个或多个实施例提供的数据处理装置102执行的方法。所述计算机存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备；

所述主计算节点，用于接收访问请求，并向所述存储集群写入数据；

所述数据处理装置，用于监控所述主计算节点向所述存储集群写入的数据，并在识别到所述写入的数据包括所述目标重做日志时，控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，以将所述目标重做日志中记录的目标数据更新至所述至少一个存储节点所持久化存储的数据中；

所述从计算节点，用于根据所述至少一个存储节点中更新后的持久化存储的数据，接管所述主计算节点上的访问请求。
根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；

所述第二存储节点，用于存储所述主计算节点写入的数据；

所述数据处理装置，用于在识别到所述写入的数据包括所述目标重做日志时，控制所述第二存储节点将所述目标重做日志发送至所述第一存储节点，以使得所述第一存储节点回放所述目标重做日志，以更新所述第一存储节点中持久化存储的数据。
根据权利要求2所述的数据处理系统，其特征在于，所述第二存储节点与所述第一存储节点部署于同一物理区域；或者，所述第二存储节点与所述第一存储节点部署于不同物理区域。
根据权利要求2或3所述的数据处理系统，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
根据权利要求4所述的数据处理系统，其特征在于，

所述数据处理装置，具体用于根据所述目标应用的配置文件或所述目标应用的重做日志的命名格式，识别所述目标重做日志。
根据权利要求4或5所述的数据处理系统，其特征在于，

所述第一存储节点，用于根据所述目标应用对应的数据页的格式，回放所述目标重做日志，以更新所述第一存储节点上的数据页。
根据权利要求6所述的数据处理系统，其特征在于，

所述第一存储节点，还用于在回放所述目标重做日志之前，获取所述目标应用对应的数据页的格式。
根据权利要求4所述的数据处理系统，其特征在于，所述目标应用包括关系数据库管理系统RDBMS，所述RDBMS包括MySQL、PostgreSQL、openGauss、oracle中的至少一种。
根据权利要求3所述的数据处理系统，其特征在于，所述第一存储节点与所述第二存储节点部署于不同物理区域；

所述第二存储节点，还用于在将所述目标重做日志发送至所述第一存储节点之前，将基线数据发送至所述第一存储节点；

所述第一存储节点，还用于在回放所述目标重做日志之前，存储所述基线数据。
根据权利要求2至9任一项所述的数据处理系统，其特征在于，所述数据处理装置，还用于控制所述第二存储节点将所述目标数据对应的二进制日志发送至所述第一存储节点，所述二进制日志用于记录数据库语句；

所述第一存储节点，具体用于采用所述二进制日志对所述目标重做日志进行验证，并在验证通过的情况下，回放所述目标重做日志，以更新所述第一存储节点中持久化存储的数据。
根据权利要求1所述的数据处理系统，其特征在于，所述主计算节点与所述从计算节点均能够访问所述第一存储节点，所述第一存储节点包括读缓存区域；

所述第一存储节点，还用于在回放所述目标重做日志之前，将所述目标数据缓存至所述读缓存区域；

所述主计算节点，还用于从所述读缓存区域中读取所述目标数据。
根据权利要求11所述的数据处理系统，其特征在于，所述第一存储节点还用于在回放所述目标重做日志之后，从所述读缓存区域淘汰所述目标数据。
根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点包括存储阵列，所述存储阵列用于持久化存储数据。
一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备，所述方法包括：

所述数据处理装置监控所述主计算节点向所述存储集群写入的数据；

所述数据处理装置在识别到所述写入的数据包括所述目标重做日志时，控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，以将所述目标重做日志中记录的目标数据更新至所述至少一个存储节点所持久化存储的数据中，所述至少一个存储节点中更新后的持久化存储的数据被所述从计算节点用于接管所述主计算节点上的访问请求。
根据权利要求14所述的方法，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备，所述方法还包括：

所述数据处理装置在识别到所述写入的数据包括所述目标重做日志时，控制所述第二存储节点将所述目标重做日志发送至所述第一存储节点，以使得所述第一存储节点回放所述目标重做日志，以更新所述第一存储节点中持久化存储的数据。
根据权利要求15所述的方法，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
根据权利要求16所述的方法，其特征在于，所述数据处理装置识别到所述写入的数据包括所述目标重做日志，包括：

所述数据处理装置根据所述目标应用的配置文件或所述目标应用的重做日志的命名格式，识别到所述写入的数据包括所述目标重做日志。
根据权利要求16或17所述的方法，其特征在于，所述数据处理装置控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，包括：

所述数据处理装置控制所述第一存储节点根据所述目标应用对应的数据页的格式回放所述目标重做日志，以更新所述第一存储节点上的数据页。
根据权利要求18所述的方法，其特征在于，所述方法还包括：

所述数据处理装置控制所述第一存储节点在回放所述目标重做日志之前，获取所述目标应用对应的数据页的格式。
根据权利要求15至19任一项所述的方法，其特征在于，所述方法还包括：

所述数据处理装置控制所述第二存储节点将所述目标数据对应的二进制日志发送至所述第一存储节点，所述二进制日志用于记录数据库语句；

所述数据处理装置控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，包括：

所述数据处理装置控制所述第一存储节点采用所述二进制日志对所述目标重做日志进行验证，以使得所述第一存储节点在确定所述验证通过的情况下，回放所述目标重做日志。
根据权利要求14所述的方法，其特征在于，所述主计算节点与所述从计算节点均能够访问所述第一存储节点，所述第一存储节点包括读缓存区域；

所述方法还包括：

所述数据处理装置控制所述第一存储节点在回放所述目标重做日志之前，将所述目标数据缓存至所述读缓存区域，所述读缓存区域中的所述目标数据能够被所述主计算节点读取。
根据权利要求21所述的方法，其特征在于，所述方法还包括：

所述数据处理装置控制所述第一存储节点在回放所述目标重做日志之后，从所述读缓存区域淘汰所述目标数据。
一种数据处理装置，其特征在于，所述数据处理装置应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及所述数据处理装置，所述从计算节点作为所述主计算节点的灾备，所述数据处理装置包括：

监控模块，用于监控所述主计算节点向所述存储集群写入的数据；

控制模块，用于在识别到所述写入的数据包括所述目标重做日志时，控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，以将所述目标重做日志中记录的目标数据更新至所述至少一个存储节点所持久化存储的数据中，所述至少一个存储节点中更新后的持久化存储的数据被所述从计算节点用于接管所述主计算节点上的访问请求。
根据权利要求23所述的数据处理装置，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；

所述控制模块，还用于在识别到所述写入的数据包括所述目标重做日志时，控制所述第二存储节点将所述目标重做日志发送至所述第一存储节点，以使得所述第一存储节点回放所述目标重做日志，以更新所述第一存储节点中持久化存储的数据。
根据权利要求24所述的数据处理装置，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
根据权利要求25所述的数据处理装置，其特征在于，所述控制模块，用于根据所述目标应用的配置文件或所述目标应用的重做日志的命名格式，识别到所述写入的数据包括所述目标重做日志。
根据权利要求25或26所述的数据处理装置，其特征在于，所述控制模块，具体用于控制所述第一存储节点根据所述目标应用对应的数据页的格式回放所述目标重做日志，以更新所述第一存储节点上的数据页。
根据权利要求27所述的数据处理装置，其特征在于，所述控制模块，还用于控制所述第一存储节点在回放所述目标重做日志之前，获取所述目标应用对应的数据页的格式。
根据权利要求23至28任一项所述的数据处理装置，其特征在于，所述控制模块，还用于控制所述第二存储节点将所述目标数据对应的二进制日志发送至所述第一存储节点，所述二进制日志用于记录数据库语句；

所述控制模块，具体用于控制所述第一存储节点采用所述二进制日志对所述目标重做日志进行验证，以使得所述第一存储节点在确定所述验证通过的情况下，回放所述目标重做日志。
一种数据处理设备，其特征在于，所述计算设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述数据处理设备执行如权利要求14至22中任一项所述的方法。
一种芯片，其特征在于，包括供电电路以及处理电路，所述供电电路用于对所述处理电路进行供电，所述处理电路执行如权利要求14至22中任一项所述的方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算设备上运行时，使得所述计算设备执行如权利要求14至22任一项所述的方法。
一种包含指令的计算机程序产品，其特征在于，当其在至少一个计算设备上运行时，使得所述至少一个计算设备执行如权利要求14至22中任一项所述的方法。