WO2019109854A1 - 分布式数据库数据处理方法、装置、存储介质及电子装置 - Google Patents

分布式数据库数据处理方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
WO2019109854A1
WO2019109854A1 PCT/CN2018/118243 CN2018118243W WO2019109854A1 WO 2019109854 A1 WO2019109854 A1 WO 2019109854A1 CN 2018118243 W CN2018118243 W CN 2018118243W WO 2019109854 A1 WO2019109854 A1 WO 2019109854A1
Authority
WO
WIPO (PCT)
Prior art keywords
database
export
data
import
management node
Prior art date
Application number
PCT/CN2018/118243
Other languages
English (en)
French (fr)
Inventor
郭龙波
丁岩
徐宜良
张鹏
卢家顺
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to EP18886794.9A priority Critical patent/EP3722973B1/en
Priority to US16/754,150 priority patent/US11928089B2/en
Publication of WO2019109854A1 publication Critical patent/WO2019109854A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

一种分布式数据库数据处理方法、装置、存储介质及电子装置，该方法包括：数据库导入导出管理节点在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息；数据库导入导出管理节点根据导出表分布信息通知对应数据库执行数据导出操作；数据库导入导出管理节点在确定对应数据库执行完所述数据导出操作之后，将活跃事务列表发送给对应数据库的数据库代理节点；数据库导入导出管理节点在接收到数据一致性反向补偿语句之后，将对应数据库导出的数据导入到预定数据库中，并指示预定数据库执行数据一致性反向补偿语句。

Description

分布式数据库数据处理方法、装置、存储介质及电子装置 技术领域
本发明涉及通信领域，具体而言，涉及一种分布式数据库数据处理方法、装置、存储介质及电子装置。
背景技术
在相关技术中，分布式数据库数据导出方法主要有两种，一种是通过单节点数据导出后合并成一份数据，一种是从分布式数据库代理中将数据选取出来，并重定向输出到数据文件中，然而在这些机制下分布式数据库导出存在明显的缺陷和局限性。
目前分布式数据库最常用的一种数据导出方案是首先通知数据库代理将要进行数据导出工作，请求数据库代理不接收新的事务且等待当前活跃事务完成后，返回分布式数据库线上禁用成功后，开始向各数据库节点发起数据导出任务，任务开始执行即导出语句获得一致性快照后，数据库代理解禁并开始处理新事务。
由于分布式数据库涉及大量数据库实例，各数据库实例独自保证数据事务ACID特性(为Atomic原子性，Consistency一致性，Isolation隔离性，Durability持久性的全称)，但分布式数据库也要面临不同于单机的数据导出问题----分布式事务数据一致性。所谓分布式事务数据一致性是指，处于分布式数据库代理发出的分布式事务，要么全部执行并提交成功，要么全部不执行(即处于执行之前状态)。以银行转账为例，假设A用户相关数据存在数据库节点G1，B用户相关数据存在G2节点中，现需要从A账户转出100元到B用户，所谓分布式事务一致性是指，G1节点A用户账户扣除和G2节点B用户账户转入需逻辑绑定为一次操作，只能处于执行成功或者未执行状态。
分布式数据导出关键的一个难题是如何保证各数据库节点数据一致性；在分布式数据库运行过程中，存在分布式事务分发到各节点语句数不同，同时存在不同节点执行语句速度不一致问题，会存在分布式事务在各数据库节点状态不同(已提交和未提交)，此时若进行数据导出，就会存在数据不一致问题；而线下数据导出方案，由于必须禁止数据库代理对外提供服务，人为使各数据库节点处于数据一致性状态的方法，不是业界的主流方式，且对在线业务影响较大。采用相关技术中的分布式数据导出有着明显的局限性，整个数据导出过程过长，数据库代理逻辑处理过于复杂，异常流程过多，不利于分布式数据库运维；不支持存在长事务场景，若存在长事务将会对现场业务存在较大的影响，其可使用性接近于线下数据导出；通过从单节点数据库执行选择命令，将结果集返回到数据库代理，数据库代理将数据写入到文件中，此方案会大量占用数据库代理和数据库之间的网络I/O并占用数据库代理系统资源，进而严重影响分布式数据库性能。
针对相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种分布式数据库数据处理方法、装置、存储介质及电子装置，以至少解决相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题。
根据本发明的一个实施例，提供了一种分布式数据库数据处理方法，包括：数据库导入导出管理节点在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，所述活跃事务列表用于标识当前数据导入导出操作的完成度，所述导出表分布信息用于标识需要导出数据的数据库；所述数据库导入导出管理节点根据所述导出表分布信息通知对应数据库执行数据导出操作；所述数据库导入导出管理节点在确定所述对应数据库执行完所述数据导出操作之后， 将所述活跃事务列表发送给所述对应数据库的数据库代理节点，以指示所述数据库代理节点根据所述活跃事务列表以及当前所述对应数据库的日志生成数据一致性反向补偿语句；所述数据库导入导出管理节点在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述对应数据库导出的数据导入到预定数据库中，并指示所述预定数据库执行所述数据一致性反向补偿语句。
根据本发明的另一个实施例，提供了一种分布式数据库数据处理装置，应用于数据库导入导出管理节点中，包括：获取模块，设置为在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，所述活跃事务列表用于标识当前数据导入导出操作的完成度，所述导出表分布信息用于标识需要导出数据的数据库；通知模块，设置为根据所述导出表分布信息通知对应数据库执行数据导出操作；发送模块，设置为在确定所述对应数据库执行完所述数据导出操作之后，将所述活跃事务列表发送给所述对应数据库的数据库代理节点，以指示所述数据库代理节点根据所述活跃事务列表以及当前所述对应数据库的日志生成数据一致性反向补偿语句；导入模块，设置为在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述对应数据库导出的数据导入到预定数据库中，并指示所述预定数据库执行所述数据一致性反向补偿语句。
在一个可选的实施例中，还提供了一种数据库导入导出管理节点，包括：处理器，所述处理器设置为执行以下操作：在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，所述活跃事务列表用于标识当前数据导入导出操作的完成度，所述导出表分布信息用于标识需要导出数据的数据库；根据所述导出表分布信息通知对应数据库执行数据导出操作；在确定所述对应数据库执行完所述数据导出操作之后，将所述活跃事务列表发送给所述对应数据库的数据库代理节点，以指示所述数据库代理节点根据所述活跃事务列表以及当前所述对应数据库的日志生成数据一致性反向补偿语句；在接收到所 述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述对应数据库导出的数据导入到预定数据库中，并指示所述预定数据库执行所述数据一致性反向补偿语句。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项所述的方法。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序执行上述任一项所述的方法。
通过本发明中的实施例，由于在数据库执行完数据导出操作之后，数据库导入导出管理节点会将活跃事务列表通知给数据块的数据库代理节点，以指示该数据库代理节点根据所述活跃事务列表以及当前对应数据库的日志生成数据一致性反向补偿语句，从而确定在数据导入导出操作中已执行以及未执行的动作；从而在后续数据导入中，可以根据该数据一致性反向补偿语句保证数据导入导出的一致性。与相关技术相比，本发明中的实施例能够至少解决相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题，进而实现保证分布式数据库在线数据导出分布式事务的一致性，进一步加强分布式数据库可维护性及易用性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的分布式数据库处理方法的流程图；
图2是根据本发明实施例的分布式数据库架构图；
图3是根据本发明实施例的数据导出架构图；
图4是根据本发明实施例的分布式数据库数据处理装置的结构框图；
图5是根据本发明具体实施例一的数据导出时序图；
图6是根据本发明具体实施例二的单表数据导出流程图；
图7是根据本发明具体实施例三的从延时节点恢复主机流程图；
图8是根据本发明具体实施例四的增量数据迁移流程图；
图9是根据本发明具体实施例五的多表数据导出流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本发明实施例的关键是针对目前业界分布式数据库数据导出技术的局限性和缺陷，提出一种新型分布式数据库数据导出方法，以保证分布式事务一致性，进一步提升分布式数据库系统的可用性及数据可靠性。
图1是根据本发明实施例的分布式数据库处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，数据库导入导出管理节点在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，该活跃事务列表用于标识当前数据导入导出操作的完成度，该导出表分布信息用于标识需要导出数据的数据库；
步骤S104，该数据库导入导出管理节点根据导出表分布信息通知对应数据库执行数据导出操作；
步骤S106，该数据库导入导出管理节点在确定上述对应数据库执行完数据导出操作之后，将活跃事务列表发送给对应数据库的数据库代理节点，以指示数据库代理节点根据活跃事务列表以及当前对应数据库的日志生成数据一致性反向补偿语句；
步骤S108，该数据库导入导出管理节点在接收到上述数据库代理节 点返回的数据一致性反向补偿语句之后，将对应数据库导出的数据导入到预定数据库中，并指示该预定数据库执行数据一致性反向补偿语句。
在上述实施例中，数据一致性反向补偿语句是用于为保证不同数据库中的数据的一致性所执行反向补偿的语句，其具体形式不受限，可以采用现有技术中的反向补偿语句，也可以根据实际情况进行设置。
通过上述实施例，由于在数据库执行完数据导出操作之后，数据库导入导出管理节点会将活跃事务列表通知给数据块的数据库代理节点，以指示该数据库代理节点根据所述活跃事务列表以及当前对应数据库的日志生成数据一致性反向补偿语句，从而确定在数据导入导出操作中已执行以及未执行的动作；从而在后续数据导入中，可以根据该数据一致性反向补偿语句保证数据导入导出的一致性。与相关技术相比，本发明中的实施例能够至少解决相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题，进而实现保证分布式数据库在线数据导出分布式事务的一致性，进一步加强分布式数据库可维护性及易用性。也就是说，通过本实施例中提供的分布式数据库数据处理方法，可以不用停止分布式数据库在线业务，不需要担心分布式事务各数据库节点事务不一致，也不会对分布式数据库产生大的性能影响，能灵活配置从主节点导出数据还是从备节点导出数据。
在一个可选的实施例中，上述数据库导入导出管理节点在根据导出表分布信息通知对应数据库执行数据导出操作之后，上述方法还包括：数据库导入导出管理节点将对应数据库导出的数据存储在预定位置中，其中，该预定位置包括以下至少之一：对应数据库中；数据库导入导出管理节点所在的服务器中。在本实施例中，当导出的数据存储在对应数据库中时，可进行单独存储，即，将对应数据库中导出的数据还存储在该对应数据库中。同样地，在将导出的数据存储在数据库导入导出管理阶段所在的服务器中时，也可以将导出的数据进行单独存储。
在一个可选的实施例中，上述数据库导入导出管理节点将上述对应数 据库导出的数据存储在数据库导入导出管理节点所在的服务器中包括：数据库导入导出管理节点对上述导出的数据进行合并，得到第一合并数据；该数据库导入导出管理节点将第一合并数据存储在数据库导入导出管理节点所在的服务器中。在本实施例中，当需要将导出的数据存储到数据库导入导出管理节点所在的服务器中时，可以对导出的数据进行合并，并将合并后的数据存储到该服务器中。
在一个可选的实施例中，上述数据库导入导出管理节点在接收到数据库代理节点返回的数据一致性反向补偿语句之后，上述方法还包括：数据库导入导出管理节点将上述数据一致性反向补偿语句存储在预定位置中，其中，该预定位置包括以下至少之一：对应数据库中；数据库导入导出管理节点所在的服务器中。在本实施例中，当数据一致性反向补偿语句存储在对应数据库中时，可进行单独存储，即，将对应数据库的数据库代理节点生成的数据一致性反向补偿语句分别存储在对应数据库中。同样地，在将数据一致性反向补偿语句存储在数据库导入导出管理阶段所在的服务器中时，也可以将数据一致性反向补偿语句进行单独存储。
在一个可选的实施例中，上述数据库导入导出管理节点将数据一致性反向补偿语句存储在数据库导入导出管理节点所在的服务器中包括：数据库导入导出管理节点对数据一致性反向补偿语句进行合并，得到第二合并数据；数据库导入导出管理节点将第二合并数据存储在数据库导入导出管理节点所在的服务器中。在本实施例中，当需要将数据一致性反向补偿语句存储到数据库导入导出管理节点所在的服务器中时，可以对数据一致性反向补偿语句进行合并，并将合并后的数据存储到该服务器中
需要说明的是，上述数据库导入导出管理节点的位置是可以灵活设置的，数据库导入导出管理节点可以设置在能够直接和数据库(或数据库代理)进行交互的位置，也可以设置在需要通过集群管理器与数据库(或数据库代理)进行交互的位置，在一个可选的实施例中，上述数据库导入导出管理节点根据导出表分布信息通知对应数据库执行数据导出操作包括：数据库导入导出管理节点根据导出表分布信息向集群管理器发送数据导 出消息，以指示该集群管理器通知对应数据库执行数据导出操作。在本实施例中，集群管理器在通知对应数据库执行数据导出操作时，可以通过数据库的数据库代理控制对应数据执行数据导出操作。
同样地，在另一个可选的实施例中，上述数据库导入导出管理节点将活跃事务列表发送给对应数据库的数据库代理节点包括：上述数据库导入导出管理节点通过集群管理器将活跃事务列表发送给对应数据库的数据库代理节点。
下面结合具体实施例对本发明进行说明：
首先，对本发明实施例中可能用到的模块进行说明，在本发明实施例中可能用到的模块如下所述：
分布式数据库统一客户端(dbtool)：分布式数据库维护工具，能将维护或执行命令发送到指定服务上执行；
数据库导入导出管理节点(LoadServer)：接受统一客户端工具发送的导入导出命令，并执行导入导出命令，监控整个导入导出过程，并向客户端反馈结果；
全局事务管理节点(Golbal Transaction Manager，简称为GTM)：全局事务ID生成及管理活跃事务，并提供查询活跃事务接口；
分布式数据库元数据管理节点(Meta Data Server)：管理分布式元数据定义，具体包括表定义，表分布信息等；
集群管理器(Cluster Manger)：接收上层业务的集群相关请求，对分布式集群进行管理，将导入导出命令中转到各数据库代理节点；
数据库代理(DB Agent)：它通常是数据库的上层代理，是响应上层请求对数据库进行复杂操作的本地数据库监控程序；
数据库(DB)：它是保存数据及sql语句执行的基本节点；
分布式数据库服务代理(Proxy)：分布式数据库业务对外统一接口，支持mysql客户端、jdbc、odbc等方式连接，支持标准SQL；
下面结合上述模块对上述实施例进行说明：
当需要进行数据导出迁移业务时，可以通过分布式数据库统一客户端通知数据库导入导出管理节点，数据库导入导出管理节点可以控制整个数据导出迁移过程。数据库导入导出管理节点可以从全局事务管理节点中获取当前时刻活跃事务列表并保存，在获取了活跃事务列表后数据库导入导出管理节点可以从分布式数据库元数据管理节点中获取当前导出表分布信息；在获得了导出表分布信息后，数据库导入导出管理节点会将数据导出消息通知到集群管理器，集群管理器会根据导出消息将导出命令分发到本次导出相关的各数据库代理上；
数据库代理收到导出命令后发送该导出命令到相应数据库执行，并监控执行过程；各节点(即，各数据库)完成数据导出后，数据库导入导出管理节点会继续将活跃事务列表发送到集群管理器，通过集群管理器将活跃事务列表分发到各数据库代理节点；
各数据库代理收到活跃事务列表后，会结合当前数据库的二进制日志，生成数据一致性反向补偿语句并存储；
数据库导入导出管理节点可以根据用户配置决定导出的数据和/或数据一致性反向补偿语句的存储位置，包括如下至少之一：1)将导出的数据和/或数据一致性反向补偿语句保存在各数据库中；2)将导出数据和/或数据一致性反向补偿语句保存数据库导入导出管理节点所在的服务器；3)将各导出的数据进行合并，和/或将数据一致性反向补偿语句合并，并将合并后的导出的数据，合并后的数据一致性反向补偿语句保存到数据库导入导出管理节点所在的服务器；
在执行完数据导出操作之后，需要执行数据导入处理，本发明实施例中采用的是一致性数据导入，即，首先通过数据库导入导出管理节点或单数据服务将导出的数据导入到分布式数据库中，进而通过分布式数据库服务代理或单数据库服务执行一致性反向补偿语句，从而保证迁移表导出及导入前后数据一致性。其中，分布式数据库架构可以参考图2。
由上述实施例可知，在本发明实施例中，主要是通过如下四步实现的数据一致性的：
第一步：数据库导入导出管理节点收到数据导出请求后，查询活跃事务列表及导出表定义信息，并通过集群管理器向各数据库节点(即，上述的对应的数据库)发送数据导出请求，由于各数据库节点信息都保存在集群管理器中，该方法支持从备机导出；
第二步：在不停止业务进行数据导出时，由于网络限制和各节点执行语句数及各节点实际环境不同，造成各节点接收到命令时，分布式事务处于不同的状态(如：数据库节点1事务已提交，数据库节点2事务尚未提交)，此时数据库导出时获取单节点数据库的MVCC快照就不是分布式事务一致；只有将这些活跃事务反向补偿到未开始状态，才能保证各节点导出数据基于分布式事务一致；
第三步：各节点数据导出完成后，数据导入导出管理节点会通过集群管理器向各数据库代理发送生成活跃事务反向补偿语句请求；其中，数据导出架构图可以参考图3。
第四步：数据导入完成后，反向补偿活跃事务后即可保证数据的分布式事务的一致性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种分布式数据块数据处理装置，该装置用于 实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的分布式数据库数据处理装置的结构框图，该装置可以应用于数据库导入导出管理节点中，如图4所示，该装置包括如下模块：
获取模块42，设置为在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，该活跃事务列表用于标识当前数据导入导出操作的完成度，该导出表分布信息用于标识需要导出数据的数据库；通知模块44，连接至上述获取模块42，设置为根据上述导出表分布信息通知对应数据库执行数据导出操作；发送模块46，连接至上述通知模块44，设置为在确定上述对应数据库执行完数据导出操作之后，将活跃事务列表发送给对应数据库的数据库代理节点，以指示该数据库代理节点根据活跃事务列表以及当前对应数据库的日志生成数据一致性反向补偿语句；导入模块48，连接至上述发送模块46，设置为在接收到上述数据库代理节点返回的数据一致性反向补偿语句之后，将对应数据库导出的数据导入到预定数据库中，并指示该预定数据库执行数据一致性反向补偿语句。
在一个可选的实施例中，上述装置还包括第一存储模块，设置为在根据所述导出表分布信息通知对应数据库执行数据导出操作之后，将对应数据库导出的数据存储在预定位置中，其中，该预定位置包括以下至少之一：对应数据库中；数据库导入导出管理节点所在的服务器中。
在一个可选的实施例中，上述第一存储模块可以通过如下方式将对应数据库导出的数据存储在数据库导入导出管理节点所在的服务器中：对导出的数据进行合并，得到第一合并数据；将第一合并数据存储在数据库导入导出管理节点所在的服务器中。
在一个可选的实施例中，上述装置还包括：第二存储模块，设置为在接收到数据库代理节点返回的数据一致性反向补偿语句之后，将该数据一致性反向补偿语句存储在预定位置中，其中，该预定位置包括以下至少之一：对应数据库中；数据库导入导出管理节点所在的服务器中。
在一个可选的实施例中，上述第二存储模块可以通过如下方式将数据一致性反向补偿语句存储在数据库导入导出管理节点所在的服务器中：对上述数据一致性反向补偿语句进行合并，得到第二合并数据；将第二合并数据存储在数据库导入导出管理节点所在的服务器中。
在一个可选的实施例中，上述通知模块44可以通过如下方式通知对应数据库执行数据导出操作：根据该导出表分布信息向集群管理器发送数据导出消息，以指示该集群管理器通知对应数据库执行数据导出操作。
可选地，上述发送模块46可以通过如下方式将活跃事务列表发送给对应数据库的数据库代理节点：通过集群管理器将活跃事务列表发送给对应数据库的数据库代理节点。
下面结合具体实施例对本发明进行说明：
具体实施例一
图5是根据本发明具体实施例一的数据导出时序图，如图5所示，包括如下步骤：
步骤S502，数据导入导出管理节点收到数据导出请求后，首先需要从全局事务管理节点查询活跃事务列表信息；
步骤S504，数据导入导出管理节点接收到全局事务管理节点返回的成功响应后，需要向元数据管理节点请求获取导出表元数据信息；
步骤S506，数据导入导出管理节点接收到元数据管理节点返回的成功响应后，开始按照指定导出规则向集群管理器发送导出命令；
步骤S508，集群管理器收到数据导出请求后，按照数据导入导出管 理节点发送的导出规则将导出命令发送到相关数据库代理节点；数据代理节点接收到导出命令后将命令推送到数据库执行；
步骤S510，数据导入导出管理节点接收到集群管理节点导出命令执行成功结果后，将活跃事务列表推送到集群管理器(对应于图5中请求集群管理器生成回滚语句，即生成活跃事务反向补偿SQL语句，对应于上述的数据一致性反向补偿语句)；
步骤S512，集群管理器将接收到的活跃事务列表推送到所有相关数据库代理节点；数据库代理节点根据接收到的活跃事务列表及数据产生的二进制日志文件，以事务为单位生成活跃事务反向补偿SQL语句；
步骤S514，数据导入导出管理节点接收到集群管理器返回的活跃事务列表生成反向补偿SQL语句成功响应后，根据导出指定参数执行后续命令，若将文件保存在数据库节点则导出任务结束返回结果，若需要将文件上传到数据库导入导出管理节点或上传到数据库导入导出管理节点并合并，则下发文件上传请求到数据库集群管理器；
步骤S516，集群管理器将接收到的数据文件上传请求推送到相关数据库代理节点，数据库代理节点将需要的数据文件及活跃事务反向补偿SQL文件上传到数据库导入导出管理节点所在服务器；数据库导入导出管理节点收到文件成功上传响应后，判断是否需要合并文件，若需要合并文件则将各节点上传的文件分类合并，合并完成后导出任务结束并返回结果；若无需合并则任务结束直接返回结果。
具体实施例二
在本具体实施例中提供了一种基于mysql分步式数据库数据导出方法，该方法是基于分布式数据库系统应用过程中，存在需要将某张表数据导出进行逻辑备份的过程。在本具体实施例中，以图6所示的单表数据导出流程图为例进行说明，如图6所示，包括如下操作：
在本方案的实现细节中，假设业务需要将订单表从分布式数据库系统中导出进行逻辑备份。
本次数据导出首先通过数据库导入导出管理节点向全局事务管理节点请求获取活跃事务列表，并保存到内存中。
收到全局事务管理节点回复成功响应后，解析响应消息保存到内存中，开始向元数据管理节点(对应于上述的分布式数据库元数据管理)请求获取导出表的元数据信息。
收到元数据管理节点成功响应后，解析出该表涉及到的数据库节点。
数据库导入导出管理节点通过集群管理器向各数据节点发送数据导出请求，具体命令为select…from….into outfile…,请求将各节点的数据导出。
数据库导入导出管理节点收到各节点反馈的数据导出成功请求后，通过集群管理器向各数据库节点发送活跃事务列表信息，活跃事务列表包含活跃事务明细枚举及最大活跃事务ID，数据库代理收到活跃事务列表后结合二进制日志及活跃事务列表生成反向补偿语句(标准SQL语句)。
数据库导入导出管理节点收到反向补偿语句生成成功请求后，通过集群管理器发送文件处理请求到各相关节点，请求各节点将反向补偿语句文件及导出数据文件上传到数据库导入导出管理节点中。
数据库导入导出管理节点收到文件上传成功请求后，将各节点数据导出文件合并为导出数据文件，同时将反向补偿语句文件合并为一致性数据反向补偿语句文件，合并完成后返回导出数据成功并向客户端返回导出相关结果文件。
具体实施例三
在本具体实施例中提供了一种基于Mariadb分布式数据库数据误操作恢复的方法，由于Mariadb数据库不支持误操作恢复场景，如在数据库线上维护过程中，误操作将表数据甚至是表删除，此时需要从延时同步节点将数据导出并恢复表数据。以图7所示的从延时节点恢复主机流程图为例，本图7中，(1)为查询活跃事务；(2)为查询元数据信息；(3)为导出语 句；(4)为生成反向补偿语句；(5)为导入语句；(6)为执行反向补偿语句。包括如下操作：
本次数据恢复过程首先通过数据库导入导出管理节点向全局事务管理节点请求获取活跃事务列表，并保存到内存中；
收到全局事务管理节点回复成功响应后，解析响应消息保存到内存中，开始向元数据管理节点请求获取导出表的元数据信息。
收到元数据管理节点成功响应后，解析出该表涉及到的数据库节点。
数据库导入导出管理节点通过集群管理器向指定数据节点发送数据导出请求，具体命令可以为select…from….into outfile…，以请求将指定节点的数据导出，并上传到数据库导入导出管理节点。
表数据恢复，数据库导入导出管理节点收到数据上传成功响应后，将导出的数据文件导入到待恢复数据库节点中；并通知数据库代理利用当前主机产生的二进制日志将数据恢复到删除前位置；
最后按照事务通过分布式数据库代理执行分布式数据库活跃事务反向补偿，当上述两个动作都成功完成，表恢复成功。
具体实施例四
在本具体实施例中提供了一种基于Percona分布式数据库数据增量数据抽取方法，在该联合系统中，存在在线事务系统(OLTP)和在线分析系统(OLAP)，此时需要每天定时将增量数据从OLTP系统抽取履历数据到OLAP系统中，在OLAP系统中进行数据分析处理，此任务需要在每张表中增加最后修改时间字段来标识增量数据；履历表记录了在线表所有数据变更履历，业务对于该表只有插入操作。图8是根据本发明具体实施例四的一种基于Percona分布式数据库数据增量数据抽取的增量数据迁移流程图，如图8所示，包括如下操作：
每次数据库导入导出管理节点在接收到增量数据抽取请求时，首先向 全局事务管理节点请求获取当前活跃事务，并获取当前最大活跃事务号；
收到全局事务管理节点成功响应后，向元数据管理节点发送获取履历表元数据信息；
收到成功响应后，数据库导入导出管理节点从结果文件读取前一天导出最先执行GTID的时间，如无结果文件则导出全量数据，生成导出语句(类似于select*from dbtest.tbtest where itimestamp>‘2017-05-11 00:00:00’into outfile‘test.txt’)，并下发到集群管理器执行；
集群管理器收到导出数据响应后，导出命令转发到各个相关数据库代理；
数据库代理收到请求后，连接数据库执行导出命令，并反馈结果到集群管理器；
数据库导入导出管理节点收到各节点反馈的数据导出成功请求后，通过集群管理器向各数据库代理节点发送活跃事务列表信息，活跃事务列表包含活跃事务的枚举及最大活跃事务ID，数据库代理收到活跃事务列表后结合二进制日志及活跃事务列表生成反向补偿语句，并反馈该数据库最小GTID的开始时间；
数据库导入导出管理节点收到生成反向补偿文件成功响应后，通过集群管理器向各代理节点发送文件处理请求，数据库代理会将数据库导出文件和反向补偿语句文件上传到数据库导入导出管理节点，并返回成功响应；
数据库导入导出管理节点接收到成功响应后，将数据文件合并为一个数据文件并将反向补偿文件也合并为一个文件；
合并完成后数据库导入导出管理节点连接OLAP系统将增量数据导入到OLAP系统中，导入完成后将反向补偿语句发送到OLAP系统执行；
执行完成后，数据库导入导出管理工具将本次执行到的最小GTID时间保存到结果文件中，本次增量数据抽取完成。
具体实施例五
如图7所示，本实施例提供一种分布式数据库多表数据导出流程图。
在本具体实施例中，提供一种分布式数据库多表数据导出方法，其中，需要将分布式数据库迁移到备份数据库中，以oracle为例，需要将数据从分布式数据库导出并导入到oracle数据库中。如图9所示，包括如下操作：
数据库导入导出管理节点收到数据迁移任务后向全局事务管理节点请求获取当前活跃事务，并获取当前最大活跃事务号；
收到全局事务管理节点回复成功响应后，解析响应消息并保存到内存中，开始向元数据管理节点请求获取所有表的元数据信息；
收到元数据管理节点成功响应后，解析出各表涉及到的数据库节点，将导出数据请求发送到各节点执行；
集群管理器收到导出数据请求后，导出命令转发到各个相关数据库代理；
数据库代理收到请求后，连接数据库执行导出命令，并反馈结果到集群管理器；
数据库导入导出管理节点收到各节点反馈的数据导出成功请求后，通过集群管理器向各数据库代理节点发送活跃事务列表信息，活跃事务列表包含活跃事务的枚举及最大活跃事务ID，数据库代理收到活跃事务列表后结合二进制日志及活跃事务列表生成反向补偿语句；
数据库导入导出管理节点收到数据导出成功响应后，通过集群管理器将文件上传请求发送到各数据代理；
数据库代理收到文件上传请求后，将数据文件及反向补偿语句文件上传到数据库导入导出管理节点并返回成功响应；
数据库导入导出管理节点接收到文件上传成功响应后，将数据文件按表合并，同时合并反向补偿语句文件。合并完成后连接OLAP系统按表导入到oracle数据库中；
导入命令执行完成后，开始执行一致性反向补偿文件，执行成功后，本次数据迁移完成。
在一个可选的实施例中，还提供了一种数据库导入导出管理节点，包括：处理器，该处理器设置为执行以下操作：在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，上述活跃事务列表用于标识当前数据导入导出操作的完成度，上述导出表分布信息用于标识需要导出数据的数据库；根据上述导出表分布信息通知对应数据库执行数据导出操作；在确定上述对应数据库执行完上述数据导出操作之后，将上述活跃事务列表发送给上述对应数据库的数据库代理节点，以指示上述数据库代理节点根据上述活跃事务列表以及当前上述对应数据库的日志生成数据一致性反向补偿语句；在接收到上述数据库代理节点返回的上述数据一致性反向补偿语句之后，将上述对应数据库导出的数据导入到预定数据库中，并指示上述预定数据库执行上述数据一致性反向补偿语句。
在一个可选的实施例中，上述处理器还设置为：在根据上述导出表分布信息通知对应数据库执行数据导出操作之后，将上述对应数据库导出的数据存储在预定位置中，其中，上述预定位置包括以下至少之一：上述对应数据库中；上述数据库导入导出管理节点所在的服务器中。
在一个可选的实施例中，上述处理器还设置为：在接收到上述数据库代理节点返回的上述数据一致性反向补偿语句之后，将上述数据一致性反向补偿语句存储在预定位置中，其中，上述预定位置包括以下至少之一：上述对应数据库中；上述数据库导入导出管理节点所在的服务器中。
需要说明的是，具体的处理器所执行的动作与前述的分布式数据库数据处理装置中各模块的执行动作类似，具体可参见前述的实施例，再次不再赘述。
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项所述的方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器通过计算机程序执行上述任一项所述的方法。本实施例胡总的处理器与前述的数据库导入导出管理节点中的处理器可以是不同的处理器。可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通过上述实施例，可以解决相关技术中分布式数据库在数据导出时无需暂停在线业务，同时支持长事务场景，并且不会占用数据库代理大量的I/O的问题，本发明中的实施例能够将导出时数据流和分布式数据库正常业务数据流独立开来，提高了分布式数据库性能，具体可以达到以下效果：
1)在整个导入导出过程在线进行，不会中断业务；2)选择数据导出目标节点灵活，支持从备机导出数据，且数据导出时数据流和在线业务数据流独立，对在线业务性能几乎无影响；3)能够实现基于分布式事务的数据一致性；4)导出文件存放方式灵活，支持存放到数据库节点，数据库节点或导入导出管理节点，且可指定导出文件存放于导入导出管理节点时是否需要分类合并文件；5)支持指定节点进行数据导出。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
工业实用性
如上所述，本发明实施例提供的一种分布式数据库数据处理方法、装置、存储介质及电子装置具有以下有益效果：至少解决相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题，进而实现保证分布式数据库在线数据导出分布式事务的一致性，进一步加强分布式数据库可维护性及易用性。

Claims (15)

  1. 一种分布式数据库数据处理方法，包括：
    数据库导入导出管理节点在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，所述活跃事务列表用于标识当前数据导入导出操作的完成度，所述导出表分布信息用于标识需要导出数据的数据库；
    所述数据库导入导出管理节点根据所述导出表分布信息通知对应数据库执行数据导出操作；
    所述数据库导入导出管理节点在确定所述对应数据库执行完所述数据导出操作之后，将所述活跃事务列表发送给所述对应数据库的数据库代理节点，以指示所述数据库代理节点根据所述活跃事务列表以及当前所述对应数据库的日志生成数据一致性反向补偿语句；
    所述数据库导入导出管理节点在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述对应数据库导出的数据导入到预定数据库中，并指示所述预定数据库执行所述数据一致性反向补偿语句。
  2. 根据权利要求1所述的方法，其中，所述数据库导入导出管理节点在根据所述导出表分布信息通知对应数据库执行数据导出操作之后，所述方法还包括：
    所述数据库导入导出管理节点将所述对应数据库导出的数据存储在预定位置中，其中，所述预定位置包括以下至少之一：
    所述对应数据库中；
    所述数据库导入导出管理节点所在的服务器中。
  3. 根据权利要求2所述的方法，其中，所述数据库导入导出管理节点将所述对应数据库导出的数据存储在所述数据库导入导出管理节点所在的服务器中包括：
    所述数据库导入导出管理节点对所述导出的数据进行合并，得到第一合并数据；
    所述数据库导入导出管理节点将所述第一合并数据存储在所述数据库导入导出管理节点所在的服务器中。
  4. 根据权利要求1所述的方法，其中，所述数据库导入导出管理节点在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，所述方法还包括：
    所述数据库导入导出管理节点将所述数据一致性反向补偿语句存储在预定位置中，其中，所述预定位置包括以下至少之一：
    所述对应数据库中；
    所述数据库导入导出管理节点所在的服务器中。
  5. 根据权利要求4所述的方法，其中，所述数据库导入导出管理节点将所述数据一致性反向补偿语句存储在所述数据库导入导出管理节点所在的服务器中包括：
    所述数据库导入导出管理节点对所述数据一致性反向补偿语句进行合并，得到第二合并数据；
    所述数据库导入导出管理节点将所述第二合并数据存储在所述数据库导入导出管理节点所在的服务器中。
  6. 根据权利要求1所述的方法，其中，所述数据库导入导出管理节点根据所述导出表分布信息通知对应数据库执行数据导出操作包括：
    所述数据库导入导出管理节点根据所述导出表分布信息向集群管理器发送数据导出消息，以指示所述集群管理器通知所述对应数据库执行数据导出操作。
  7. 根据权利要求1所述的方法，其中，所述数据库导入导出管理节点将所述活跃事务列表发送给所述对应数据库的数据库代理节点包括：
    所述数据库导入导出管理节点通过集群管理器将所述活跃事务列表发送给所述对应数据库的数据库代理节点。
  8. 一种分布式数据库数据处理装置，应用于数据库导入导出管理节点中，包括：
    获取模块，设置为在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，所述活跃事务列表用于标识当前数据导入导出操作的完成度，所述导出表分布信息用于标识需要导出数据的数据库；
    通知模块，设置为根据所述导出表分布信息通知对应数据库执行数据导出操作；
    发送模块，设置为在确定所述对应数据库执行完所述数据导出操作之后，将所述活跃事务列表发送给所述对应数据库的数据库代理节点，以指示所述数据库代理节点根据所述活跃事务列表以及当前所述对应数据库的日志生成数据一致性反向补偿语句；
    导入模块，设置为在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述对应数据库导出的数据导入到预定数据库中，并指示所述预定数据库执行所述数据一致性反向补偿语句。
  9. 根据权利要求8所述的装置，其中，所述装置还包括：
    第一存储模块，设置为在根据所述导出表分布信息通知对应数据库执行数据导出操作之后，将所述对应数据库导出的数据存储在预定位置中，其中，所述预定位置包括以下至少之一：
    所述对应数据库中；
    所述数据库导入导出管理节点所在的服务器中。
  10. 根据权利要求8所述的装置，其中，所述装置还包括：
    第二存储模块，设置为在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述数据一致性反向补偿语句存储在预定位置中，其中，所述预定位置包括以下至少之一：
    所述对应数据库中；
    所述数据库导入导出管理节点所在的服务器中。
  11. 一种数据库导入导出管理节点，包括：处理器，所述处理器设置为执行以下操作：
    在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息，其中，所述活跃事务列表用于标识当前数据导入导出操作的完成度，所述导出表分布信息用于标识需要导出数据的数据库；
    根据所述导出表分布信息通知对应数据库执行数据导出操作；
    在确定所述对应数据库执行完所述数据导出操作之后，将所述活跃事务列表发送给所述对应数据库的数据库代理节点，以指示所述数据库代理节点根据所述活跃事务列表以及当前所述对应数据库的日志生成数据一致性反向补偿语句；
    在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述对应数据库导出的数据导入到预定数据库中，并指示所述预定数据库执行所述数据一致性反向补偿语句。
  12. 根据权利要求11所述的数据库导入导出管理节点，其中，所述处理器还设置为：
    在根据所述导出表分布信息通知对应数据库执行数据导出操作 之后，将所述对应数据库导出的数据存储在预定位置中，其中，所述预定位置包括以下至少之一：
    所述对应数据库中；
    所述数据库导入导出管理节点所在的服务器中。
  13. 根据权利要求11所述的数据库导入导出管理节点，其中，所述处理器还设置为：
    在接收到所述数据库代理节点返回的所述数据一致性反向补偿语句之后，将所述数据一致性反向补偿语句存储在预定位置中，其中，所述预定位置包括以下至少之一：
    所述对应数据库中；
    所述数据库导入导出管理节点所在的服务器中。
  14. 一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的方法。
  15. 一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述权利要求1至7中任一项所述的方法。
PCT/CN2018/118243 2017-12-07 2018-11-29 分布式数据库数据处理方法、装置、存储介质及电子装置 WO2019109854A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18886794.9A EP3722973B1 (en) 2017-12-07 2018-11-29 Data processing method and device for distributed database, storage medium, and electronic device
US16/754,150 US11928089B2 (en) 2017-12-07 2018-11-29 Data processing method and device for distributed database, storage medium, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711287703.7 2017-12-07
CN201711287703.7A CN110019469B (zh) 2017-12-07 2017-12-07 分布式数据库数据处理方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
WO2019109854A1 true WO2019109854A1 (zh) 2019-06-13

Family

ID=66750067

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/118243 WO2019109854A1 (zh) 2017-12-07 2018-11-29 分布式数据库数据处理方法、装置、存储介质及电子装置

Country Status (4)

Country Link
US (1) US11928089B2 (zh)
EP (1) EP3722973B1 (zh)
CN (1) CN110019469B (zh)
WO (1) WO2019109854A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955410A (zh) * 2019-10-23 2020-04-03 山东中创软件工程股份有限公司 一种代码自动生成方法、装置、设备及介质
RU2738961C1 (ru) * 2020-06-08 2020-12-21 Федеральное государственное унитарное предприятие "Ростовский-на-Дону научно-исследовательский институт радиосвязи" (ФГУП "РНИИРС") Способ определения пространственных параметров элементов телекоммуникационных систем, использующих широкополосные сигналы

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11372733B2 (en) * 2020-03-06 2022-06-28 Google Llc Mount and migrate
CN113268471B (zh) * 2021-06-24 2023-09-22 京东科技控股股份有限公司 处理分布式事务的方法、代理连接池、系统、设备及介质
CN114706922A (zh) * 2021-11-04 2022-07-05 金篆信科有限责任公司 数据导出方法、节点、服务器、系统、设备和存储介质
CN115185466B (zh) * 2022-07-25 2023-02-28 北京珞安科技有限责任公司 一种移动存储设备的分级管控工具和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572895A (zh) * 2014-12-24 2015-04-29 天津南大通用数据技术股份有限公司 MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN106557514A (zh) * 2015-09-29 2017-04-05 中兴通讯股份有限公司 一种分布式事务回滚方法及装置
CN106610876A (zh) * 2015-10-23 2017-05-03 中兴通讯股份有限公司 数据快照的恢复方法及装置
CN107436799A (zh) * 2016-05-26 2017-12-05 阿里巴巴集团控股有限公司 分布式事务一致性实现方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240428B1 (en) * 1997-10-31 2001-05-29 Oracle Corporation Import/export and repartitioning of partitioned objects
US6438582B1 (en) * 1998-07-21 2002-08-20 International Business Machines Corporation Method and system for efficiently coordinating commit processing in a parallel or distributed database system
US6266698B1 (en) 1998-07-31 2001-07-24 Compaq Computer Corporation Logging of transaction branch information for implementing presumed nothing and other protocols
US8341120B2 (en) * 2003-09-05 2012-12-25 Oracle International Corporation Apparatus and methods for transferring database objects into and out of database systems
US7610314B2 (en) * 2005-10-07 2009-10-27 Oracle International Corporation Online tablespace recovery for export
US7991740B2 (en) * 2008-03-04 2011-08-02 Apple Inc. Synchronization server process
US7962458B2 (en) 2008-06-12 2011-06-14 Gravic, Inc. Method for replicating explicit locks in a data replication engine
US9633051B1 (en) * 2013-09-20 2017-04-25 Amazon Technologies, Inc. Backup of partitioned database tables
US9632878B1 (en) * 2013-09-20 2017-04-25 Amazon Technologies, Inc. Verification of database table partitions during backup
US9778991B2 (en) * 2014-11-25 2017-10-03 Sap Se Exporting and importing database tables in a multi-user database environment
GB201615748D0 (en) * 2016-09-15 2016-11-02 Gb Gas Holdings Ltd System for importing data into a data repository
US20180189328A1 (en) * 2016-12-30 2018-07-05 Teradata Us, Inc. Method and system for providing data access and local processing across disparate data systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572895A (zh) * 2014-12-24 2015-04-29 天津南大通用数据技术股份有限公司 MPP数据库与Hadoop集群数据互通方法、工具及实现方法
CN106557514A (zh) * 2015-09-29 2017-04-05 中兴通讯股份有限公司 一种分布式事务回滚方法及装置
CN106610876A (zh) * 2015-10-23 2017-05-03 中兴通讯股份有限公司 数据快照的恢复方法及装置
CN107436799A (zh) * 2016-05-26 2017-12-05 阿里巴巴集团控股有限公司 分布式事务一致性实现方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3722973A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955410A (zh) * 2019-10-23 2020-04-03 山东中创软件工程股份有限公司 一种代码自动生成方法、装置、设备及介质
RU2738961C1 (ru) * 2020-06-08 2020-12-21 Федеральное государственное унитарное предприятие "Ростовский-на-Дону научно-исследовательский институт радиосвязи" (ФГУП "РНИИРС") Способ определения пространственных параметров элементов телекоммуникационных систем, использующих широкополосные сигналы

Also Published As

Publication number Publication date
US11928089B2 (en) 2024-03-12
EP3722973A4 (en) 2021-08-11
US20220229822A1 (en) 2022-07-21
EP3722973B1 (en) 2023-03-08
EP3722973A1 (en) 2020-10-14
CN110019469B (zh) 2022-06-21
CN110019469A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
WO2019109854A1 (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
US10216584B2 (en) Recovery log analytics with a big data management platform
US11061884B2 (en) Method and system to accelerate transaction commit using non-volatile memory
JP6254606B2 (ja) バックアップシステムからのデータベースのストリーミング復元
US10216588B2 (en) Database system recovery using preliminary and final slave node replay positions
US20130262389A1 (en) Parallel Backup for Distributed Database System Environments
CN109643310B (zh) 用于数据库中数据重分布的系统和方法
JPWO2011108695A1 (ja) 並列データ処理システム、並列データ処理方法及びプログラム
Yang et al. F1 Lightning: HTAP as a Service
WO2016192496A1 (zh) 数据迁移处理方法及装置
EP4170509A1 (en) Method for playing back log on data node, data node, and system
JP2012003394A (ja) データ処理の障害回復方法、システムおよびプログラム
CN115994053A (zh) 数据库备机的并行回放方法、装置、电子设备及介质
US11797523B2 (en) Schema and data modification concurrency in query processing pushdown
US11625503B2 (en) Data integrity procedure
US11436089B2 (en) Identifying database backup copy chaining
US11093290B1 (en) Backup server resource-aware discovery of client application resources
US11768853B2 (en) System to copy database client data
US20230376479A1 (en) Schema and data modification concurrency in query processing pushdown
US20210141806A1 (en) Maintain Constant Load on Global Database After Regionalization
CN114706832A (zh) 一种数据重分布方法、装置、设备及存储介质
Zhao et al. An Overview of the NoSQL World.
Zhao et al. 9 An Overview of the
Zhao et al. Cloud-Hosted Data Storage Systems
Pendem A new checkpoint and rollback for high availability of MapReduce computing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18886794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018886794

Country of ref document: EP

Effective date: 20200707