WO2021109777A1 - 一种数据文件的导入方法及装置 - Google Patents

一种数据文件的导入方法及装置 Download PDF

Info

Publication number
WO2021109777A1
WO2021109777A1 PCT/CN2020/126454 CN2020126454W WO2021109777A1 WO 2021109777 A1 WO2021109777 A1 WO 2021109777A1 CN 2020126454 W CN2020126454 W CN 2020126454W WO 2021109777 A1 WO2021109777 A1 WO 2021109777A1
Authority
WO
WIPO (PCT)
Prior art keywords
data file
data
import
fragments
database
Prior art date
Application number
PCT/CN2020/126454
Other languages
English (en)
French (fr)
Inventor
陆平
刘志文
郭啸
孙洪玲
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2021109777A1 publication Critical patent/WO2021109777A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Definitions

  • the present disclosure relates to the field of communications, and in particular, to a method and device for importing data files.
  • the development of information services has brought about an increase in the amount of data.
  • the database plays an indispensable role of data bridge in the information system.
  • Distributed database is a logically unified database composed of multiple physically scattered database units connected by a computer network. It has the characteristics of large storage capacity, high business concurrency, and good scalability, and its application is increasingly widespread.
  • data backup, recovery, and migration are common operations, which requires the database system to provide a complete and reliable data import function.
  • the import function of the database is basically realized by the way of business insertion, that is, the database agent node connected to the upper layer of the distributed storage node executes the insertion statement queue.
  • the technology is mature but low in performance, and it will put a lot of pressure on the agent node when a large amount of data is imported.
  • the serial execution service mode adopted by this method often takes too long, which seriously affects the performance of the data import service of the distributed database.
  • the embodiments of the present disclosure provide a method and device for importing data files, so as to at least solve the problem of low data import efficiency of databases in related technologies.
  • a method for importing a data file includes: splitting a data file to be stored in a database into data file fragments; and concurrently importing the data file into a database in fragments.
  • an apparatus for importing data files including:
  • the splitting module is set to split the data file to be stored in the database into data file fragments; the importing module is set to split the data file into the database concurrently.
  • a computer-readable storage medium in which a computer program is stored, wherein the computer program is configured to execute any of the foregoing when running. The steps in the method embodiment.
  • an electronic device including a memory and a processor, the memory is stored with a computer program, and the processor is configured to run the computer program to execute any of the above Steps in the method embodiment.
  • the problem of low data import efficiency of the database in the related technology can be solved. Achieve the effect of improving the efficiency of data import.
  • Fig. 1 is a flowchart of a method for importing a data file according to an embodiment of the present disclosure
  • Fig. 2 is a structural block diagram of a data file importing device according to an embodiment of the present disclosure
  • Fig. 3 is an architecture diagram of a distributed database concurrent data import system according to an optional embodiment of the present disclosure
  • Fig. 4 is a flow chart of concurrent data import business according to an optional embodiment of the present disclosure.
  • FIG. 5 is a schematic diagram of the principle of data file splitting according to an optional embodiment of the present disclosure.
  • Fig. 6 is a diagram showing the direction of concurrent import data flow of a distributed database according to an optional embodiment of the present disclosure
  • FIG. 7 is a schematic diagram of a business and feedback mode of a storage node management monitoring module according to an optional embodiment of the present disclosure
  • Fig. 8 is a flow chart of business failure processing of a data import service platform according to an optional embodiment of the present disclosure
  • Fig. 9 is a network diagram of concurrent import system modules applied to a big data platform according to an optional embodiment of the present disclosure.
  • Fig. 10 is a flow chart of concurrent import business processing applied to a big data platform according to an optional embodiment of the present disclosure.
  • FIG. 1 is a flowchart of the method for importing data files according to an embodiment of the present disclosure. As shown in FIG. 1, the process includes The following steps:
  • Step S101 split the data file to be stored in the database into data file fragments
  • step S103 the data file is segmented and imported into the database concurrently.
  • the execution subject of the foregoing steps may be a data import service platform that can interact with a distributed database, but is not limited to this.
  • splitting the data file to be stored into data file fragments includes: obtaining data dictionary information; splitting the data file to be stored into data file fragments according to the data dictionary information, Wherein, the data dictionary information shown includes a data file distribution strategy.
  • the data dictionary is a way for the metadata server to store table information.
  • the data dictionary contains table building statements (that is, table definitions), and the table definitions can contain data file distribution strategies.
  • splitting the data file to be stored in the database into data file fragments according to the data dictionary information further includes: verifying the data file to be stored in the database according to the data dictionary information to obtain the correct verification data file.
  • the data files can be checked column by column in sequence. It should also be noted that if there is data that fails the verification, the failed data can be fed back for further processing.
  • splitting the data file to be stored into data file fragments according to the data dictionary information further includes: transforming the data file to obtain the transformed data file.
  • data files that have been verified correctly can also be modified to further modify the data files.
  • the data after verification and transformation can be split; for example, after the entire data file is fully verified and transformed, the data file is split, or , With the column as the unit, verify, transform, and split each column of data until the split of the entire data file is completed.
  • importing the data file fragments into the database concurrently includes: sending the data file fragments to the corresponding destination storage node according to the distribution information of the data file fragments, where the distribution information is distributed according to the data file If the policy is determined, the distribution information includes the destination storage node information of the data file fragments.
  • sending the data file fragments to the corresponding destination storage node according to the distribution information of the data file fragments includes: sending a download instruction to the management module of the destination storage node, where the download instruction is used to indicate The management module downloads the corresponding data file fragments; receives the download status of the data file fragments fed back by the management module.
  • failure analysis may also be performed on the segments that have failed to download, so as to facilitate further downloading.
  • sending the data file fragments to the corresponding destination storage node according to the distribution information of the data file fragments further includes: sending an import command to the management module of the destination storage node, where the import command is used for Instruct the management module to import data file fragments to the storage node; receive the import status of the data file fragments fed back by the management module.
  • the data file that fails to be imported may be further processed, such as analyzing the reason for the failure, so as to continue the import after adjustment.
  • the method according to the above embodiment can be implemented by means of software plus the necessary general hardware platform, of course, it can also be implemented by hardware, but in many cases the former is Better implementation.
  • the technical solution of the present disclosure essentially or the part that contributes to the existing technology can be embodied in the form of a software product, and the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, The optical disc) includes several instructions to enable a terminal device (which can be a mobile phone, a computer, a server, or a network device, etc.) to execute the methods described in the various embodiments of the present disclosure.
  • a device for importing data files is also provided, which is used to implement the above-mentioned embodiments and preferred implementations, and those that have been explained will not be repeated.
  • the term "module” can implement a combination of software and/or hardware with predetermined functions.
  • the devices described in the following embodiments are preferably implemented by software, implementation by hardware or a combination of software and hardware is also possible and conceived.
  • Fig. 2 is a structural block diagram of an apparatus for importing data files according to an embodiment of the present disclosure. As shown in Fig. 2, the apparatus includes:
  • the splitting module 22 is configured to split the data file to be stored in the database into data file fragments
  • the import module 24 is configured to import the data file into the database concurrently in fragments.
  • split modules including:
  • the acquisition unit is set to acquire data dictionary information
  • the splitting unit is configured to split the data file to be stored in the database into data file fragments according to the data dictionary information, where the data dictionary information shown includes the data file distribution strategy.
  • the splitting unit includes: a check subunit configured to check the data file to be stored in the library according to the data dictionary information to obtain a data file with correct check.
  • the splitting unit further includes: a transformation subunit, which is configured to transform the data file to obtain the transformed data file.
  • the import module includes: a sending unit configured to send the data file fragments to the corresponding destination storage node according to the distribution information of the data file fragments, where the distribution information is determined according to the data file distribution strategy, and the distribution information Including the destination storage node information of the data file fragment.
  • the sending unit includes:
  • the first sending subunit is configured to send a download instruction to the management module of the destination storage node, where the download instruction is used to instruct the management module to download corresponding data file fragments;
  • the first receiving subunit is configured to receive the download status of the data file fragments fed back by the management module.
  • the sending unit further includes:
  • the second sending subunit is configured to send an import command to the management module of the destination storage node, where the import command is used to instruct the management module to import data file fragments to the storage node;
  • the second receiving subunit is set to receive the import state of the data file fragments fed back by the management module.
  • each of the above modules can be implemented by software or hardware.
  • it can be implemented in the following manner, but not limited to this: the above modules are all located in the same processor; or, the above modules can be combined in any combination.
  • the forms are located in different processors.
  • the embodiments of the present disclosure relate to the field of database technology, in particular to the concurrent import technology of distributed databases.
  • This technology analyzes data distribution strategies, obtains distribution nodes, and splits data files, thereby directly connecting storage nodes for batch import, so as to achieve the effect of multi-node concurrent import to improve data migration performance.
  • the embodiment of the present disclosure proposes a distributed database concurrent data import technology, which overcomes the problems and defects of low efficiency, lack of intermediate feedback, and unsuitability for massive data scenarios in existing distributed database import methods, and provides a direct connection
  • the technical solution for batch concurrent import of storage nodes splits and distributes files through the analysis of data distribution strategies, avoids the time-consuming problem of mass services accessing business nodes during the data import process, and optimizes the data of distributed databases Import performance and establish a timely feedback mechanism.
  • the concurrent data import system described in the embodiment of the present disclosure mainly includes two parts: a distributed database platform and a data import service platform.
  • the distributed database platform is the entity and core of the distributed database, which is mainly responsible for the management and monitoring of data storage and system status;
  • the data import service platform is set to provide batch data import services from external data platforms to internal distributed database systems.
  • Fig. 3 is an architecture diagram of a distributed database concurrent data import system according to an optional embodiment of the present disclosure, and the distributed concurrent data import system architecture is shown in Fig. 3:
  • the distributed database platform also includes storage nodes, storage node management and monitoring modules, and metadata service modules.
  • the functions of each module are as follows:
  • Storage node responsible for data storage.
  • Storage node management and monitoring responsible for real-time monitoring of the running status and statistical information of the node.
  • the storage node performs data import, and the management monitoring module provides peripheral services such as service response, file sending and receiving, and status feedback for the storage node.
  • Metadata service All meta information of the distributed database system is stored and managed by it, and other modules are provided with the metadata information they need.
  • the data import service platform includes a data file processing module, a file distribution module, and an import status statistics module.
  • the functions of each module are as follows:
  • Data file processing Provide a data exchange interface with external systems, receive batch import commands from users, and split the data files to be stored in the database according to the data distribution strategy.
  • File distribution Directly connect distributed storage nodes and storage node management and monitoring modules for file distribution.
  • Import status statistics Receive import status feedback from the management and monitoring modules of each storage node, and report statistics.
  • the data file processing module can obtain the data distribution strategy from the metadata service module, while the file distribution module, distributed storage node, and storage node management monitoring module form the completed data import business process, and the import status statistics feedback module is for users Provide status feedback to form a complete business service.
  • Fig. 4 is a flow chart of a concurrent data import service according to an optional embodiment of the present disclosure.
  • the distributed database concurrent data import method described in this embodiment includes the following steps.
  • the detailed overall service processing flow is shown in Fig. 4:
  • the first step data file processing
  • Step 11 The data import service platform receives the import command from the client, and obtains the data file to be imported into the database from the external system.
  • Step 12 The data import service platform obtains data dictionary information such as the table definition and data distribution of each table from the metadata service module.
  • Step 13 Split the data file according to the data distribution strategy.
  • Step 2 Distribution of data files
  • Step 21 The data import service platform sends a message to notify the storage node management and monitoring module to download the data file.
  • Step 22 The storage node management and monitoring module downloads the split data file that needs to be imported for the segment.
  • Step 23 The storage node management and monitoring module reports the download status statistics to the data import service platform.
  • the third step data file import
  • Step 31 The data import service platform notifies the storage node management and monitoring module to import data.
  • Step 32 The management and monitoring module of each storage node initiates a service and imports the data file into the storage node.
  • Step 33 The storage node management and monitoring module reports the import status statistics to the data import service platform.
  • the fourth step import status statistics and report
  • Step 41 The data import service platform summarizes the import status information reported by each node.
  • Step 42 The data import service platform feeds back the import result to the business system.
  • FIG. 5 is a schematic diagram of the principle of data file splitting according to an optional embodiment of the present disclosure, as shown in FIG. 5, and the process is as follows:
  • This module draws on, reuses, and modifies the processing logic of the open source database (Mariadb).
  • the data analysis logic is to analyze the order of each column field of the imported data file according to the table metadata cache, for example, first read the imported file to get one column in a row Data, use metadata to verify whether the column data is correct. Analyze each column of data in this order until the end of a row. This method can check row data errors, such as: column data does not match the field, few columns of data, multiple columns of data, etc.
  • This module caches the checked row data and can modify the data to support new features, such as: support for DB2 database empty string import, support for tolerating the largest error row of the import file, support for fewer columns of data, support for conditional import Wait.
  • Row data distribution process For example, in the upstream data analysis stage, check the correct column data for each field to construct an Item object, use the packaged distribution algorithm to calculate the destination distribution node, write it into the corresponding shard data cache, and write the incorrectly calculated row data into the error file cache , So as to ensure that user data is not lost.
  • Fig. 6 is a diagram showing the direction of concurrent import data flow of distributed database according to an optional embodiment of the present disclosure.
  • the direction of concurrent import data flow of distributed database is shown in Fig. 6.
  • the interface between this system and an external system adopts The file interface method can avoid the strong coupling of the two systems, and both parties follow the common file interface specification to handle data exchange.
  • the big data platform is a data source of the distributed database system platform, which generates data files according to the agreed file format, and transfers and stores these data files to the agreed file directory.
  • the data file is read by the data import service platform according to certain rules, and is parsed and split into data file fragments conforming to the distribution strategy, and transferred to each storage node management and monitoring module through the FTP/SFTP protocol. Finally, the data file fragments are converted into data stored in the distributed database by the storage node management module executing the storage operation.
  • FIG. 7 is a schematic diagram of the business and feedback mode of the storage node management and monitoring module according to an optional embodiment of the present disclosure.
  • the business logic of the storage node management and monitoring module which serves as a bridge between the data import service platform and the database of each node and is mainly responsible for Download data file fragments, control storage nodes to import data, monitor business status, and provide timely feedback to the data import service platform.
  • the feedback information includes data fragmentation information, which is convenient for the data import service platform to deal with the failed file accordingly.
  • FIG. 8 is a flowchart of processing failures of a data import service platform according to an optional embodiment of the present disclosure. As shown in FIG. 8, if there is an import service failure, the data import service platform summarizes the failure feedback of each storage node management monitoring module, and it will fail. The files are sorted and stored in a specific directory for manual processing, and the failure information is fed back to the external business system.
  • the data import performance of the distributed database is optimized, the effect of concurrent import of directly connected multiple nodes is achieved, the time for batch data import to multiple storage nodes is saved, and a timely feedback mechanism is established.
  • this embodiment can also be applied to a distributed database concurrent import system of a big data platform.
  • the following describes an embodiment of a combined application of a distributed concurrent import system and a big data platform.
  • FIG. 9 is based on the present disclosure.
  • An optional embodiment is a network diagram of concurrent import system modules applied to a big data platform. The system architecture of this embodiment is shown in FIG. 9, in which two systems are coupled through a file interface.
  • Fig. 10 is a flow chart of concurrent import business processing applied to a big data platform according to an optional embodiment of the present disclosure. As shown in Fig. 10, the business processing flow of this embodiment operates according to the following steps:
  • Step 1 The big data platform generates data files in accordance with the agreed file format, and stores the data files in the agreed file directory through FTP or other file transfer protocols.
  • Step 2 The big data platform sends an import command to the data import server.
  • Step 3 The data import server sends a metadata acquisition request message to the metadata server according to the cluster number, library name, and table name information.
  • Step 4 The data import server parses the metadata response, parses the data distribution strategy, and splits the data file into fragmented files.
  • Step 5 The data import server sends a file download request to the management monitoring program of the database server to specify the location and file name of the data file fragments.
  • Step 6 The management monitoring program downloads the file fragments corresponding to the node from the data import server through the FTP/SFTP protocol.
  • Step 7 The data import server sends a file import request to the management monitoring program.
  • Step 8 The management monitoring program executes LOAD DATA INFILE to import the file into the database.
  • Step 9 The data import server summarizes the file import status feedback of each node, summarizes the failed data files, and transfers them as required.
  • Step 10 Feed back the import result to the big data platform. If there is a failed file, feed back the reason for the failure and the corresponding file segmentation information.
  • the embodiment of the present disclosure also provides a computer-readable storage medium, and a computer program is stored in the computer-readable storage medium, wherein the computer program is configured to execute any of the foregoing method embodiments when running. step.
  • the foregoing computer-readable storage medium may be configured to store a computer program for executing the following steps:
  • Step S1 split the data file to be stored into the database into data file fragments
  • step S2 the data file is segmented and imported into the database concurrently.
  • the foregoing storage medium may include, but is not limited to: U disk, Read-Only Memory (Read-Only Memory, ROM for short), Random Access Memory (Random Access Memory, RAM for short), Various media that can store computer programs, such as mobile hard disks, magnetic disks, or optical disks.
  • An embodiment of the present disclosure also provides an electronic device, including a memory and a processor, the memory is stored with a computer program, and the processor is configured to run the computer program to execute the steps in any of the foregoing method embodiments.
  • the aforementioned electronic device may further include a transmission device and an input-output device, wherein the transmission device is connected to the aforementioned processor, and the input-output device is connected to the aforementioned processor.
  • the foregoing processor may be configured to execute the following steps through a computer program:
  • Step S1 split the data file to be stored into the database into data file fragments
  • step S2 the data file is segmented and imported into the database concurrently.
  • modules or steps of the present disclosure can be implemented by a general computing device, and they can be concentrated on a single computing device, or distributed on a network composed of multiple computing devices Above, alternatively, they can be implemented with program codes executable by a computing device, so that they can be stored in a storage device for execution by the computing device, and in some cases, can be executed in a different order than here. Perform the steps shown or described, or fabricate them into individual integrated circuit modules respectively, or fabricate multiple modules or steps of them into a single integrated circuit module for implementation. In this way, the present disclosure is not limited to any specific combination of hardware and software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据文件的导入方法及装置，其中，上述方法包括将待入库的数据文件拆分为数据文件分片（S101），将该数据文件分片并发导入数据库（S103），可以解决相关技术中数据库的数据导入效率较低的问题。

Description

一种数据文件的导入方法及装置 技术领域
本公开涉及通信领域，具体而言，涉及一种数据文件的导入方法及装置。
背景技术
信息业务的发展带来了数据量的与日俱增，数据库在信息系统中承担着不可或缺的数据桥梁作用。分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库，有着存储量大、业务并发量高、可扩展性好的特点，其应用日益广泛。在分布式数据库的应用场景中，数据的备份、恢复和迁移等是常见操作，这就要求数据库系统提供完备可靠的数据导入功能。
目前数据库的导入功能基本是由业务插入的方式实现，也就是连接分布式存储节点上层的数据库代理节点执行插入语句队列。该技术成熟但性能低，在大数据量导入的情况下会对代理节点造成比较大的压力。该方法采用的串行执行业务的模式，往往耗时过长，严重影响了分布式数据库的数据导入服务性能。
针对相关技术中数据库的数据导入效率较低的问题，尚不存在解决方案。
发明内容
本公开实施例提供了一种数据文件的导入方法及装置，以至少解决相关技术中数据库的数据导入效率较低的问题。
根据本公开的一个实施例，提供了一种数据文件的导入方法，包括：将待入库的数据文件拆分为数据文件分片；将所述数据文件分片并发导入数据库。
根据本公开的另一个实施例，提供了一种数据文件的导入装置，包括：
拆分模块，设置为将待入库的数据文件拆分为数据文件分片；导入模块，设置为将所述数据文件分片并发导入数据库。
根据本公开的又一个实施例，还提供了一种计算机可读的存储介质，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本公开的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本公开实施例，由于将待入库的数据文件拆分为数据文件分片，将所述数据文件分片并发导入数据库，因此，可以解决相关技术中数据库的数据导入效率较低的问题，达到提高数据导入效率的效果。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是根据本公开实施例的数据文件的导入方法的流程图；
图2是根据本公开实施例的数据文件的导入装置的结构框图；
图3是根据本公开可选实施例的分布式数据库并发数据导入系统架构图；
图4是根据本公开可选实施例的并发数据导入业务流程图；
图5是根据本公开可选实施例的数据文件拆分原理示意图；
图6是根据本公开可选实施例的分布式数据库并发导入数据流方向图；
图7是根据本公开可选实施例的存储节点管理监控模块业务及反馈模式示意图；
图8是根据本公开可选实施例的数据导入服务平台业务失败处理流程 图；
图9是根据本公开可选实施例的应用于大数据平台的并发导入系统模块组网图；
图10是根据本公开可选实施例的应用于大数据平台的并发导入业务处理流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本公开。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种可以运行于数据导入服务平台的数据文件的导入方法，图1是根据本公开实施例的数据文件的导入方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，将待入库的数据文件拆分为数据文件分片；
步骤S103，将数据文件分片并发导入数据库。
通过上述步骤，由于将待入库的数据文件拆分为数据文件分片，再将数据文件分片并发导入数据库，解决了相关技术中数据库的数据导入效率较低的问题，提高了数据导入效率。
可选地，上述步骤的执行主体可以为与分布式数据库能够进行交互的数据导入服务平台等，但不限于此。
在一个可选的实施方式中，将待入库的数据文件拆分为数据文件分片，包括：获取数据字典信息；根据数据字典信息将待入库的数据文件拆分为数据文件分片，其中，所示数据字典信息中包括数据文件分发策略。
需要说明的是，数据字典是元数据服务器的存储表信息的方式，数据字典中包含了建表语句(也就是表定义)，表定义里面可以包含有数据文 件分发策略。
在一个可选的实施方式中，根据数据字典信息将待入库的数据文件拆分为数据文件分片，还包括：根据数据字典信息对待入库的数据文件进行校验，得到校验正确的数据文件。
需要说明的是，可以对按顺序对数据文件逐列校验。还需要说明的是，如有校验失败的数据，则可以进行失败数据的反馈，以便进一步处理。
在一个可选的实施方式中，根据数据字典信息将待入库的数据文件拆分为数据文件分片，还包括：对数据文件进行改造，得到改造后的数据文件。
需要说明的是，还可以对校验正确的数据文件进行改造，以对数据文件进行进一步的修饰。
需要说明的是，在一个可选的实施方式中，可以对经校验、改造之后的数据进行拆分；例如，在整个数据文件全部校验、改造完成之后，对数据文件进行拆分，或者，以列为单位，对每一列数据进行校验、改造、拆分，直至完成对整个数据文件的拆分。
在一个可选的实施方式中，将数据文件分片并发导入数据库，包括：根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，其中，分发信息是根据数据文件分发策略确定的，分发信息中包括数据文件分片的目的存储节点信息。
在一个可选的实施方式中，根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，包括：向目的存储节点的管理模块发送下载指令，其中，下载指令用于指示管理模块下载对应的数据文件分片；接收管理模块反馈的数据文件分片的下载状态。
需要说明的是，在一个可选的实施方式中，还可以对下载失败的分片进行失败分析，以便于进一步下载。
在一个可选的实施方式中，根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，还包括：向目的存储节点的管理模块发 送导入命令，其中，导入命令用于指示管理模块向存储节点导入数据文件分片；接收管理模块反馈的数据文件分片的的导入状态。
需要说明的是，在一个可选的实施方式中，还可以对导入失败的数据文件进行进一步处理，例如分析失败原因等，以便于调整之后继续导入。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
在本实施例中还提供了一种数据文件的导入装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本公开实施例的数据文件的导入装置的结构框图，如图2所示，该装置包括：
拆分模块22，设置为将待入库的数据文件拆分为数据文件分片；
导入模块24，设置为将数据文件分片并发导入数据库。
通过上述模块，由于将待入库的数据文件拆分为数据文件分片，再将数据文件分片并发导入数据库，解决了相关技术中数据库的数据导入效率较低的问题，提高了数据导入效率。
可选地，拆分模块，包括：
获取单元，设置为获取数据字典信息；
拆分单元，设置为根据数据字典信息将待入库的数据文件拆分为数据文件分片，其中，所示数据字典信息中包括数据文件分发策略。
可选地，拆分单元，包括：校验子单元，设置为根据数据字典信息对待入库的数据文件进行校验，得到校验正确的数据文件。
可选地，拆分单元，还包括：改造子单元，设置为对数据文件进行改造，得到改造后的数据文件。
可选地，导入模块，包括：发送单元，设置为根据数据文件分片的分发信息将数据文件分片发送至对应的目的存储节点，其中，分发信息是根据数据文件分发策略确定的，分发信息中包括数据文件分片的目的存储节点信息。
可选地，发送单元，包括：
第一发送子单元，设置为向目的存储节点的管理模块发送下载指令，其中，下载指令用于指示管理模块下载对应的数据文件分片；
第一接收子单元，设置为接收管理模块反馈的数据文件分片的下载状态。
可选地，发送单元，还包括：
第二发送子单元，设置为向目的存储节点的管理模块发送导入命令，其中，导入命令用于指示管理模块向存储节点导入数据文件分片；
第二接收子单元，设置为接收管理模块反馈的数据文件分片的的导入状态。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
可选实施方式
本公开实施例涉及数据库技术领域，尤其涉及分布式数据库的并发导入技术。该技术通过解析数据分布策略、获取分发节点、拆分数据文件， 从而直连存储节点进行批量导入，以达到多节点并发导入提升数据迁移性能的效果。
本公开实施例提出一种分布式数据库并发数据导入技术，克服了现有分布式数据库导入方式中存在的效率低、缺乏中间反馈、不适用于海量数据场景的问题和缺陷，提供一种直连存储节点进行批量并发导入的技术方案，通过数据分布策略的解析对文件进行拆分和下发，避免了在数据导入过程中海量业务访问业务节点耗时较长的问题，优化分布式数据库的数据导入性能，并建立及时反馈机制。
本公开实施例所述的并发数据导入系统主要包含两个部分：分布式数据库平台和数据导入服务平台。其中，分布式数据库平台是分布式数据库的实体与核心，主要负责数据存储与系统状态的管理和监控；数据导入服务平台设置为提供从外部数据平台到内部分布式数据库系统的批量数据导入服务。图3是根据本公开可选实施例的分布式数据库并发数据导入系统架构图，分布式并发数据导入系统架构如图3所示：
分布式数据库平台中又包含存储节点、存储节点管理监控模块和元数据服务模块，各模块的功能如下：
(1)存储节点：负责数据存储。
(2)存储节点管理监控：负责实时监控该节点的运行状态与统计信息。在数据导入过程中，存储节点执行数据导入，管理监控模块为存储节点提供服务响应、文件收发、状态反馈等外围服务。
(3)元数据服务：分布式数据库系统所有元信息都由其保存和管理，为其他模块提供其所需要的元数据信息。
数据导入服务平台中包含数据文件处理模块、文件分发模块和导入状态统计模块，各模块功能如下：
(1)数据文件处理：提供与外部系统的数据交换接口，接收用户批量导入命令，对待入库数据文件根据数据分布策略进行拆分。
(2)文件分发：直连分布式存储节点以及存储节点管理监控模块，进 行文件下发。
(3)导入状态统计：接收各存储节点管理监控模块的导入状态反馈，统计上报。
其中，数据文件处理模块可以从元数据服务模块处获取数据分布策略，而文件分发模块和分布式存储节点以及存储节点管理监控模块组成了完成的数据导入业务流程，导入状态统计反馈模块则为用户提供状态反馈，构成完整的业务服务。
图4是根据本公开可选实施例的并发数据导入业务流程图，本实施例所述的分布式数据库并发数据导入方法包括以下步骤，详细的业务总体处理流程如图4：
第一步：数据文件处理
步骤11、数据导入服务平台接收客户端的导入命令，从外部系统获取要导入数据库的数据文件。
步骤12、数据导入服务平台向元数据服务模块获取每张表的表定义和数据分布等数据字典信息。
步骤13、根据数据分布策略进行拆分数据文件。
第二步：数据文件下发
步骤21、数据导入服务平台发送消息，通知存储节点管理监控模块下载数据文件。
步骤22、存储节点管理监控模块下载该分片所需导入的拆分数据文件。
步骤23、存储节点管理监控模块将下载状态统计上报给数据导入服务平台。
第三步：数据文件导入
步骤31、数据导入服务平台通知存储节点管理监控模块进行数据导入。
步骤32、各存储节点管理监控模块发起业务，将数据文件导入存储节点。
步骤33、存储节点管理监控模块将导入状态统计上报给数据导入服务平台。
第四步、导入状态统计与上报
步骤41、数据导入服务平台汇总各节点上报的导入状态信息。
步骤42、数据导入服务平台将导入结果反馈给业务系统。
文件拆分是数据文件处理模块的核心步骤，将文件按照分发策略拆分为数据分片，图5是根据本公开可选实施例的数据文件拆分原理示意图，如图5示意，过程如下：
(1)根据集群号、数据库名、表名，向管理系统(例如元数据服务器)请求元数据DDL，然后在本地建立表文件结构，生成表元数据缓存。
(2)对文件数据按行分析。本模块借鉴、复用、修改了开源数据库的处理逻辑(Mariadb)，数据分析逻辑为按照表元数据缓存对导入数据文件每个列字段顺序分析，例如先读取导入文件获取一行中的一个列数据，用元数据校验该列数据是否正确。如此顺序分析每一个列数据直到一行结束。此种方法能够检查行数据错误，例如：列数据与字段不匹配、少列数据、多列数据等。
(3)文件数据特性改造。本模块将校验过的行数据缓存下来，可以对该数据改造以支持新特性，例如：支持DB2数据库空字符串导入、支持容忍导入文件最大错误行、支持少列数据补齐、支持条件导入等。
(4)行数据分发过程。如上行数据分析阶段，对各个字段校验正确的列数据构造Item对象，使用封装好的分发算法计算出目的分发节点，写入相应的分片数据缓存，计算错误的行数据写入错误文件缓存，从而保证用户数据不丢失。
(5)本模块处理结束后则删除创建的表文件及元数据缓存，结束该功能，减少与其他模块耦合的程度。
图6是根据本公开可选实施例的分布式数据库并发导入数据流方向图， 分布式数据库并发导入数据流的方向如图6所示，本系统与外部系统(例如大数据平台)的接口采用文件接口方式，这样可以避免两个系统的强耦合，双方都遵循共同的文件接口规范来处理数据交换。大数据平台是分布式数据库系统平台的一个数据来源，按照约定的文件格式生成数据文件，并把这些数据文件传输存放到约定的文件目录下。数据文件由数据导入服务平台按一定规则读取，并被解析和拆分成符合分发策略的数据文件分片，通过FTP/SFTP协议传输到各存储节点管理监控模块上。最后，数据文件分片由存储节点管理模块执行入库操作变为存储于分布式数据库中的数据。
大批量数据导入过程中，由于网络、硬件、业务等问题，可能出现导入业务部分失败的问题。本系统针对数据文件导入过程中可能出现的失败阶段，都借助存储节点管理监控模块及时作出反馈，包含数据文件和业务阶段信息，便于定位问题。图7是根据本公开可选实施例的存储节点管理监控模块业务及反馈模式示意图，存储节点管理监控模块的业务逻辑参考图7，作为数据导入服务平台和各节点数据库之间的桥梁，主要负责下载数据文件分片、控制存储节点导入数据，以及监控业务状态，向数据导入服务平台做出及时反馈。在数据文件下载失败或存储节点导入数据失败的情况下，分析失败原因并反馈给数据导入服务平台，反馈信息包括数据分片信息，便于数据导入服务平台对失败文件做相应的处理。
图8是根据本公开可选实施例的数据导入服务平台业务失败处理流程图，如图8所示，若有导入业务失败，数据导入服务平台汇总各存储节点管理监控模块的失败反馈，将失败文件整理并存放于特定目录下待人工处理，并将失败信息反馈给外部业务系统。
采用本实施例所述方法和装置，优化了分布式数据库的数据导入性能，达到了直连多节点并发导入的效果，节省了批量数据导入多存储节点的时间，并建立了及时反馈机制。
在一个可选的实施方式中，本实施例还可以应用于大数据平台的分布 式数据库并发导入系统，下面介绍分布式并发导入系统与大数据平台结合应用的实施例，图9是根据本公开可选实施例的应用于大数据平台的并发导入系统模块组网图，本实施例系统架构如图9所示，其中两个系统之间通过文件接口耦合。
图10是根据本公开可选实施例的应用于大数据平台的并发导入业务处理流程图，如图10所示，本实施例业务处理流程按照如下步骤操作：
步骤1，大数据平台按照约定的文件格式生成数据文件，并通过FTP或者其他文件传输协议把数据文件存放到约定的文件目录下。
步骤2，大数据平台向数据导入服务器发送导入命令。
步骤3，数据导入服务器根据集群号、库名、表名信息向元数据服务器发送获取元数据请求消息。
步骤4，数据导入服务器解析元数据响应，解析数据分发策略，将数据文件拆分为分片文件。
步骤5，数据导入服务器向数据库服务器的管理监控程序发送下载文件请求，明确数据文件分片的位置和文件名。
步骤6，管理监控程序通过FTP/SFTP协议，从数据导入服务器下载该节点对应的文件分片。
步骤7，数据导入服务器向管理监控程序发送导入文件请求。
步骤8，管理监控程序执行LOAD DATA INFILE将文件导入数据库。
步骤9，数据导入服务器汇总各节点的文件导入情况反馈，将汇总失败数据文件，按需求转存。
步骤10，向大数据平台反馈导入结果，若存在失败文件，反馈失败原因以及对应文件分片信息。
本公开的实施例还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
步骤S1，将待入库的数据文件拆分为数据文件分片；
步骤S2，将数据文件分片并发导入数据库。
通过上述步骤，由于将待入库的数据文件拆分为数据文件分片，再将数据文件分片并发导入数据库，解决了相关技术中数据库的数据导入效率较低的问题，提高了数据导入效率。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本公开的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S1，将待入库的数据文件拆分为数据文件分片；
步骤S2，将数据文件分片并发导入数据库。
通过上述步骤，由于将待入库的数据文件拆分为数据文件分片，再将数据文件分片并发导入数据库，解决了相关技术中数据库的数据导入效率较低的问题，提高了数据导入效率。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式 中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本公开的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本公开不限制于任何特定的硬件和软件结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

  1. 一种数据文件的导入方法，包括：
    将待入库的数据文件拆分为数据文件分片；
    将所述数据文件分片并发导入数据库。
  2. 根据权利要求1所述的方法，其中，将待入库的所述数据文件拆分为所述数据文件分片，包括：
    获取数据字典信息；
    根据所述数据字典信息将待入库的所述数据文件拆分为所述数据文件分片，其中，所示数据字典信息中包括数据文件分发策略。
  3. 根据权利要求2所述的方法，其中，根据所述数据字典信息将待入库的所述数据文件拆分为所述数据文件分片，包括：
    根据所述数据字典信息对待入库的所述数据文件进行校验，得到校验正确的所述数据文件。
  4. 根据权利要求2所述的方法，其中，根据所述数据字典信息将待入库的数据文件拆分为数据文件分片，还包括：
    对所述数据文件进行改造，得到改造后的所述数据文件。
  5. 根据权利要求1至4中的任一项所述的方法，其中，将所述数据文件分片并发导入数据库，包括：
    根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，其中，所述分发信息是根据数据文件分发策略确定的，所述分发信息中包括所述数据文件分片的目的存储节点信息。
  6. 根据权利要求5所述的方法，其中，根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，包括：
    向所述目的存储节点的管理模块发送下载指令，其中，所述下载指令用于指示所述管理模块下载对应的所述数据文件分片；
    接收所述管理模块反馈的所述数据文件分片的下载状态。
  7. 根据权利要求5所述的方法，其中，根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，还包括：
    向所述目的存储节点的管理模块发送导入命令，其中，所述导入命令用于指示所述管理模块向所述存储节点导入所述数据文件分片；
    接收所述管理模块反馈的所述数据文件分片的的导入状态。
  8. 一种数据文件的导入装置，包括：
    拆分模块，设置为将待入库的数据文件拆分为数据文件分片；
    导入模块，设置为将所述数据文件分片并发导入数据库。
  9. 根据权利要求8所述的装置，其中，所述拆分模块，包括：
    获取单元，设置为获取数据字典信息；
    拆分单元，设置为根据所述数据字典信息将待入库的所述数据文件拆分为所述数据文件分片，其中，所示数据字典信息中包括数据文件分发策略。
  10. 根据权利要求9所述的装置，其中，所述拆分单元，包括：
    校验子单元，设置为根据所述数据字典信息对待入库的所述数据文件进行校验，得到校验正确的所述数据文件。
  11. 根据权利要求9所述的装置，其中，所述拆分单元，还包括：
    改造子单元，设置为对所述数据文件进行改造，得到改造后的所述数据文件。
  12. 根据权利要求8至11中的任一项所述的装置，其中，所述导入模块，包括：
    发送单元，设置为根据所述数据文件分片的分发信息将所述数据文件分片发送至对应的目的存储节点，其中，所述分发信息是根据数据文件分发策略确定的，所述分发信息中包括所述数据文件分片的目的存储节点信息。
  13. 根据权利要求12所述的装置，其中，所述发送单元，包括：
    第一发送子单元，设置为向所述目的存储节点的管理模块发送下载指令，其中，所述下载指令用于指示所述管理模块下载对应的所述数据文件分片；
    第一接收子单元，设置为接收所述管理模块反馈的所述数据文件分片的下载状态。
  14. 根据权利要求12所述的装置，其中，所述发送单元，还包括：
    第二发送子单元，设置为向所述目的存储节点的管理模块发送导入命令，其中，所述导入命令用于指示所述管理模块向所述存储节点导入所述数据文件分片；
    第二接收子单元，设置为接收所述管理模块反馈的所述数据文件分片的的导入状态。
  15. 一种计算机可读的存储介质，所述计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
  16. 一种电子装置，包括存储器和处理器，所述存储器中存储有 计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
PCT/CN2020/126454 2019-12-03 2020-11-04 一种数据文件的导入方法及装置 WO2021109777A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911222478.8 2019-12-03
CN201911222478.8A CN112905676A (zh) 2019-12-03 2019-12-03 一种数据文件的导入方法及装置

Publications (1)

Publication Number Publication Date
WO2021109777A1 true WO2021109777A1 (zh) 2021-06-10

Family

ID=76104084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/126454 WO2021109777A1 (zh) 2019-12-03 2020-11-04 一种数据文件的导入方法及装置

Country Status (2)

Country Link
CN (1) CN112905676A (zh)
WO (1) WO2021109777A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392067A (zh) * 2021-06-11 2021-09-14 北京金山云网络技术有限公司 一种针对分布式数据库的数据处理方法、装置及系统
CN115481539B (zh) * 2022-09-29 2023-06-06 成都安世亚太科技有限公司 一种仿真结果数据快速解析存储方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077183A (zh) * 2012-12-14 2013-05-01 北京普泽天玑数据技术有限公司 一种分布式顺序表的数据导入方法及其系统
CN104166600A (zh) * 2014-08-01 2014-11-26 腾讯科技（深圳）有限公司 数据备份与恢复方法及装置
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
CN105912609A (zh) * 2016-04-06 2016-08-31 中国农业银行股份有限公司 一种数据文件处理方法和装置
CN106970929A (zh) * 2016-09-08 2017-07-21 阿里巴巴集团控股有限公司 数据导入方法及装置
CN107515878A (zh) * 2016-06-16 2017-12-26 苏宁云商集团股份有限公司 一种数据索引的管理方法及装置
US20180089224A1 (en) * 2016-09-29 2018-03-29 Hewlett Packard Enterprise Development Lp Tiering data blocks to cloud storage systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077183A (zh) * 2012-12-14 2013-05-01 北京普泽天玑数据技术有限公司 一种分布式顺序表的数据导入方法及其系统
CN104166600A (zh) * 2014-08-01 2014-11-26 腾讯科技（深圳）有限公司 数据备份与恢复方法及装置
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
CN105912609A (zh) * 2016-04-06 2016-08-31 中国农业银行股份有限公司 一种数据文件处理方法和装置
CN107515878A (zh) * 2016-06-16 2017-12-26 苏宁云商集团股份有限公司 一种数据索引的管理方法及装置
CN106970929A (zh) * 2016-09-08 2017-07-21 阿里巴巴集团控股有限公司 数据导入方法及装置
US20180089224A1 (en) * 2016-09-29 2018-03-29 Hewlett Packard Enterprise Development Lp Tiering data blocks to cloud storage systems

Also Published As

Publication number Publication date
CN112905676A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US20210064476A1 (en) Backup of partitioned database tables
JP6412632B2 (ja) バックアップシステムからのデータベースのストリーミング復元
US11036591B2 (en) Restoring partitioned database tables from backup
US9031910B2 (en) System and method for maintaining a cluster setup
US7610314B2 (en) Online tablespace recovery for export
US8560502B2 (en) Method and a system for replaying database workload with transactional consistency
US11860741B2 (en) Continuous data protection
US20120284228A1 (en) User-Defined Parallelization in Transactional Replication of In-Memory Database
US20120221605A1 (en) Linking framework for information technology management
WO2010015143A1 (zh) 一种分布式文件系统及其数据块一致性管理的方法
WO2021109777A1 (zh) 一种数据文件的导入方法及装置
WO2018001200A1 (zh) 数据处理方法、集群管理器、资源管理器、数据处理系统
WO2023046042A1 (zh) 一种数据备份方法和数据库集群
WO2019109854A1 (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
US10795777B1 (en) Continuous verified backups
US20200104404A1 (en) Seamless migration of distributed systems
WO2021238902A1 (zh) 数据导入方法、装置、服务平台及存储介质
US20220156277A1 (en) Data synchronization in a data analysis system
US7069270B1 (en) Automated method and mechanism for converting a single instance application to a multiple instance application
CN110196859A (zh) 基于jdbc分发器的数据库读写分离集群实时一致性方法
WO2013026287A1 (zh) 基于分布式数据库系统的数据控制方法及系统
WO2023134614A1 (zh) 事务的处理
WO2022135471A1 (zh) 多版本并发控制和日志清除方法、节点、设备和介质
WO2024109253A1 (zh) 一种数据备份方法、系统和设备
US11726964B2 (en) Correction, synchronization, and migration of databases

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897357

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20897357

Country of ref document: EP

Kind code of ref document: A1